New
-
AWS S3를 이용한 Jenkins 마이그레이션
기존 Jenkins 환경을 다른 서버로 마이그레이션을 해야할 때가 있습니다. 일반적으로는 잘 없지만, 계열사 혹은 서비스 분리로 AWS 환경 자체가 변경될 경우가 있습니다. 그럴때를 대비해서 EC2에 설치된 Jenkins를 다른 EC2로 마이그레이션 하는 방법을 진행해보겠습니다. 전체 구조는 아래와 같습니다. Jenkins는 모든 설정과 Job 내용이 파일로 관리가 됩니다. 그래서 Jenkins가 설치된 디렉토리 전체를 타 서버로 이관만 하..
2020.07.09
-
Spring Batch ItemWriter 성능 비교
대규모 데이터를 처리하는 Spring Batch 에서 배치 성능은 중요한 요소입니다. 배치 성능에 있어서 튜닝 요소는 크게 2가지로 정리 될 수 있습니다. Reader를 통한 데이터 조회 Writer를 통한 데이터 등록/수정 Reader의 경우엔 Select Query 튜닝을 통한 개선 이야기가 많이 공유되어있습니다. Querydsl을 통한 Paging, No Offset 조회 방법은 이전 포스팅 을 참고하시면 됩니다. 반면 Writer의 경우에는 Reader에 비해서는 공..
2020.07.08
-
Spring Batch ItemReader에서 Reader DB 사용하기 (feat. AWS Aurora)
일반적으로 서비스가 커지게 되면 DB를 여러대로 늘리게 됩니다. 이때 가장 첫 번째로 고려하는 방법이 Replication 입니다. 즉, 1대의 마스터 DB와 여러대의 Slave DB를 두는 것이죠. 데이터의 변경은 모두 마스터 DB에서만 이루어지고, SlaveDB들은 이 변경사항을 실시간으로 수신 받고, 성능 이슈가 심한 조회 요청에 대해서 처리합니다. (일반적인 웹 서비스에서는 조회와 등록/수정 비율이 80%:20% 정도입니다) 위와 같은..
2020.06.15
-
(2020) 1. 비전공자로 자바 백엔드 개발자 시작하기
저는 개인적으로 이런 이야기를 하는 것을 썩 좋아하진 않습니다. 어떤 사람의 커리어나, 그 사람의 현재 위치는 운이 굉장히 큰 영향을 끼쳤다고 믿기 때문입니다. 그 사람이 했던 방식, 했던 선택들을 그대로 한다고 해서 똑같은 결과물이 나온다는 보장이 없다고 생각합니다. 그래서 누군가의 상황을 듣고, "아! 그런 상황은 이렇게 이렇게 해보세요" 라고 조언할 수가 없습니다. 일단, 저도 모든 선택이 다 처음이여서요. 리..
2020.06.01
-
Get 요청시 LocalDate 필드에 2월 31일 올 경우 정상 처리 방법 (feat. @DateTimeFormat 제거하기)
Spring Boot로 LocalDate를 Request Parameter로 받을 경우 예상치 못한 이슈가 발생합니다. 이번 시간에는 여러 이슈 중 하나인 초과된 날짜에 대해 LocalDate로 받으면 400에러가 발생하는 경우를 어떻게 안전하게 해결할지에 대해서 이야기해보겠습니다. 모든 코드는 Github에 있습니다. 문제 상황 예를 들어 다음과 같은 상황이 있다고 가정해봅시다. 날짜를 파라미터로 하는 API를 제공하고, 다른 팀에서 해당 API를 사용한..
2020.05.25
-
오늘의 질문 2020.05.09
Q.1 Q. SI기업에서 서비스 기업으로 이직 하고 싶은 3년차 개발자입니다. 연봉 2700에 자취까지 하고 있으니 패스트캠퍼스 같은 유료 강의를 들을때면 몇 개월을 절약해야되어서 최근 1년 간은 여행도 못가고 카페에서 공부만 하고 있습니다. 그러다보니 당장 언제 죽을지도 모르는데 그렇게 하면 나중에 후회할거라는 이야기를 주변에서 많이 얘기합니다. 20대때 하는 여행과 50대의 여행은 다르다는 이야기도 자주 듣습니다...
2020.05.09
-
불행한 천국
아래 글은 제 브런치에 올렸던 글을 기록 차원에서 블로그로 옮긴 글입니다. 주변의 많은 지인들이 좋은 회사에 취업하고 이직하는 것을 본다. 좋은 회사에 합격할만큼 충분히 노력한 친구들이라고 생각해서 굉장히 기쁘고 뿌듯했다. 같이 축배를 들고 즐기다가 꽤 시간이 흘렀다. 입사일 이후로 몇 주가 지났는데 그 친구의 Github 커밋이 올라오지 않았다. 단체 카톡방에서 재밌게 이야기는 계속 하고 있던터라 농담 삼아 주말..
2020.05.04
-
왜 공부 해야하나요?
아래 글은 제 브런치에 올렸던 글을 기록 차원에서 블로그로 옮긴 글입니다. "정기씨 아까 제가 꽃을 버려서 슬펐나요? 그건 신발이 진창에 빠졌을때 만큼 슬펐나요, 아니면 가까운 이가 아플때만큼 슬펐나요? 어떤 슬픔은 어렴풋한 슬픔이고, 어떤 슬픔은 처절한 슬픔이죠. 소소한 슬픔도, 아련한 슬픔도, 잊혀가는 슬픔도, 문득 기억이 떠올라 때때로 가슴이 아파지는 슬픔까지, 같은 슬픔조차도 사실은 전부 달라요. 책을 읽..
2020.05.03
-
착각 주도 개발
아래 글은 제 브런치에 올렸던 글을 기록 차원에서 블로그로 옮긴 글입니다. 개인 프로젝트를 어떻게 진행해야할지, 기술 블로그를 어떻게 진행해야할지 여쭤보시는 분들이 가끔 계신다. outsider님이나 진유림님 같은 분들이면 모를까 내가 해드릴 이야기가 있을까 싶다. 그래서 조언이라기 보다는 내가 어떻게 개인 프로젝트를 진행하고, 블로그 글감을 구하는지 주절주절 쓰려고 한다. 사실 헛소리에 가깝다 부끄러움이 많아..
2020.05.03
-
팀에서 얻을 수 있는 것
아래 글은 제 페이스북에 올렸던 글을 기록 차원에서 블로그로 옮긴 글입니다. 오늘 오후 날씨가 너무 좋아서 오랫만에 개발하지 않고 책만 봤다. 곧 있으면 맡고 있던 정산시스템이 개편된지 만 3년이 된다. 확인해보니 당시 하루 바로결제 주문건이 10만 ~ 20만건 정도 되었다. 지금은 5 ~ 10배정도 급 성장한걸 보면 새삼 놀랍기도 하다. (딱 3주년 되는 시점에 사내 블로그에 회고록 같은걸 써봐도 좋겠다는 생각이 든다) 그..
2020.04.26
-
Spring Batch에서 MultiThread로 Step 실행하기
일반적으로 Spring Batch는 단일 쓰레드에서 실행됩니다. 즉, 모든 것이 순차적으로 실행되는 것을 의미하는데요. Spring Batch에서는 이를 병렬로 실행할 수 있는 방법을 여러가지 지원합니다. 이번 시간에는 그 중 하나인 멀티스레드로 Step을 실행하는 방법에 대해서 알아보겠습니다. 1. 소개 Spring Batch의 멀티쓰레드 Step은 Spring의 TaskExecutor 를 이용하여 각 쓰레드가 Chunk 단위로 실행되게 하는 방식입니다. Sprin..
2020.04.18
-
오늘의 질문 2020.04.04
Q.1 Q. 저는 오픈 후 결함을 극도로 싫어하여 한번씩 더 챙겨본다고 일정을 하루 이틀 지연시키는 성향이 있습니다. 그래도 오픈 후 이슈가 적은 편이 더 낫다는 판단이였는데요. 이와 반대로 지정된 일정을 맞추기만 하고 배포후 이슈가 펑펑 터지는 분이 있습니다. 연봉협상 단계에서 이분이 평가를 더 잘 받는 것을 확인하였습니다. 이 분이 작업한 프로젝트는 이후에도 버그 개선으로 더 많은 공수가 들어감에도 저 보다 좋..
2020.04.05
-
VS Code에서 나만의 Snippets 만들기
저같은 경우 블로그 글을 마크다운 (Markdown) 으로 작성을 하는데요. 이때 카테고리 별로 정해진 포맷을 사용합니다. 매번 여러 카테고리의 글을 써야하니, 이 포맷들을 모두 기억하고 사용하기가 어렵습니다. 그러다보니 카테고리별로 전체 마크다운 포맷을 미리 등록하여 사용하면 어떨까 싶었는데요. 이와 비슷한 경우를 Snippets이란 이름으로 여러 에디터에서는 지원하고 있습니다. (VS Code의 Snippets 예시) 각 언어별/..
2020.04.04
-
JobParameter 활용 방법 (feat. LocalDate 파라미터 사용하기)
Spring Batch에서는 Spring Environment Variables (환경 변수) 외에 Batch에서만 사용할 수 있는 JobParameter를 지원합니다. Spring Batch Scope와 Job Parameter 기존에 사용하던 방식으로는 불편한 점이나 단점이 많아 이를 어떻게 해결하면 좋을지에 대해 정리하게 되었습니다. 기존에 사용하던 방식은 무엇인지, 해당 방식에 어떤 단점이 있는지, 개선할 수 있는 방법은 무엇인지 등등을 정리해보았으니 Job Parameter를..
2020.03.30
-
Spring Batch 관리 도구로서의 Jenkins
Spring Batch는 아직까지 확실한 표준 관리 도구가 없습니다. 각 팀/회사마다 상이한 방법들을 사용하는데요. 대표적인 방법들은 아래와 같습니다. Cron 클라우드 서버리스 이를테면 AWS의 Lambda 에 배치 코드를 등록하고, AWS CloudWatch에서 스케줄링 실행을 하도록 구성하는 방식입니다. API 기반의 직접 만든 관리자 페이지 Spring Batch Admin Deprecated 되었습니다. 더이상 개선하지 않겠다고 합니다. Spring Cloud Data..
2020.03.22
