전체글623 Spring Batch에서 Multithread로 Step 실행하기 일반적으로 Spring Batch는 단일 쓰레드에서 실행됩니다. 즉, 모든 것이 순차적으로 실행되는 것을 의미하는데요. Spring Batch에서는 이를 병렬로 실행할 수 있는 방법을 여러가지 지원합니다. 이번 시간에는 그 중 하나인 멀티스레드로 Step을 실행하는 방법에 대해서 알아보겠습니다. 1. 소개 Spring Batch의 멀티쓰레드 Step은 Spring의 TaskExecutor를 이용하여 각 쓰레드가 Chunk 단위로 실행되게 하는 방식입니다. Spring Batch Chunk에 대한 내용은 이전 포스팅에 소개되어있습니다. 여기서 어떤 TaskExecutor 를 선택하냐에 따라 모든 Chunk 단위별로 쓰레드가 계속 새로 생성될 수도 있으며 (SimpleAsyncTaskExecutor) 혹은 .. 2020. 4. 18. 일정 vs 퀄리티 (오늘의 질문 2020.04.04) Q.1 Q. 저는 오픈 후 결함을 극도로 싫어하여 한번씩 더 챙겨본다고 일정을 하루 이틀 지연시키는 성향이 있습니다. 그래도 오픈 후 이슈가 적은 편이 더 낫다는 판단이였는데요. 이와 반대로 지정된 일정을 맞추기만 하고 배포후 이슈가 펑펑 터지는 분이 있습니다. 연봉협상 단계에서 이분이 평가를 더 잘 받는 것을 확인하였습니다. 이 분이 작업한 프로젝트는 이후에도 버그 개선으로 더 많은 공수가 들어감에도 저 보다 좋은 평가를 받는게 이해가 가질 않습니다. 속도만 중시해서 엄청 많은 버그를 발생시키는게 맞는걸까요? A. 음 일단 이 부분은 한번은 조직장 면담을 통해서 실제 이 이유 때문에 평가가 낮은것인지 확인이 필요해보입니다. 결국은 질문자분의 추측이라서요. 한번은 정확하게 피드백 받으시고, 이 외에도 고.. 2020. 4. 5. VS Code에서 나만의 Snippets 만들기 저같은 경우 블로그 글을 마크다운 (Markdown) 으로 작성을 하는데요. 이때 카테고리 별로 정해진 포맷을 사용합니다. 매번 여러 카테고리의 글을 써야하니, 이 포맷들을 모두 기억하고 사용하기가 어렵습니다. 그러다보니 카테고리별로 전체 마크다운 포맷을 미리 등록하여 사용하면 어떨까 싶었는데요. 이와 비슷한 경우를 Snippets이란 이름으로 여러 에디터에서는 지원하고 있습니다.(VS Code의 Snippets 예시)각 언어별/프레임워크별로 Snippets을 지원하지만, 여기서는 제가 필요한대로 코드가 생성되어야 하므로 나만의 Snippets을 만들어 보겠습니다. 본문 먼저 Code -> Preferences -> User Snippets로 이동합니다. Windows에서는 File -> Preferen.. 2020. 4. 4. JobParameter 활용 방법 (feat. LocalDate 파라미터 사용하기) Spring Batch에서는 Spring Environment Variables (환경 변수) 외에 Batch에서만 사용할 수 있는 JobParameter를 지원합니다. Spring Batch Scope와 Job Parameter 기존에 사용하던 방식으로는 불편한 점이나 단점이 많아 이를 어떻게 해결하면 좋을지에 대해 정리하게 되었습니다. 기존에 사용하던 방식은 무엇인지, 해당 방식에 어떤 단점이 있는지, 개선할 수 있는 방법은 무엇인지 등등을 정리해보았으니 Job Parameter를 사용하면서 불편하셨던 분들은 참고하시면 좋을것 같습니다. 기본적인 내용은 아래 호돌맨님의 블로그 글을 참고하시면 더욱 좋습니다. 호돌맨 - SpringBoot Batch에서 JobParameter로 받을 수 있는 Type .. 2020. 3. 30. Spring Batch 관리 도구로서의 Jenkins Spring Batch는 아직까지 확실한 표준 관리 도구가 없습니다. 각 팀/회사마다 상이한 방법들을 사용하는데요. 대표적인 방법들은 아래와 같습니다. Cron 클라우드 서버리스 이를테면 AWS의 Lambda 에 배치 코드를 등록하고, AWS CloudWatch에서 스케줄링 실행을 하도록 구성하는 방식입니다. API 기반의 직접 만든 관리자 페이지 Spring Batch Admin Deprecated 되었습니다. 더이상 개선하지 않겠다고 합니다. Spring Cloud Data Flow 로 전환하라고 합니다. 참고 Quartz를 이용한 관리자 페이지 Scheduler 역할로 Quartz를 사용하고 그에 대한 UI 대시보드를 직접 만드는 경우입니다. 참고 CI 서비스 (Jenkins / Teamcity 등.. 2020. 3. 22. Spring Batch의 유니크 Job Parameter 활용하기 Spring Batch의 경우 일반적으로 동일 Job Parameter로 실행시 어떻게 처리할 것인지에 대해 여러가지 옵션을 제공합니다. 해당 파라미터로 최근 실패한 이력이 있다면 이어서 실행할 것인지 해당 파라미터로 최근 실패 혹은 성공한 이력이 있다면 실행하지 않을 것인지 해당 파라미터로 최근 실행한 이력이 있어도 무시하고 다시 실행할 것인지 등등이 있습니다. 대부분의 경우 동일 Job Parameter 실행을 막곤 하는데요. (중복 데이터가 쌓일 수가 있기 때문에) 일부 배치에서는 동일 Job Parameter로 계속 실행이 될 수 있길 원하기도 합니다. 예를 들어 특정 데이터에 대한 검증 로직 혹은 데이터 갱신 배치 등이 이에 해당 됩니다. 이번 글에서는 바로 이렇게 동일 Job Parameter.. 2020. 3. 15. 이전 1 ··· 45 46 47 48 49 50 51 ··· 104 다음
