Spring Batch의 멱등성 유지하기

프로그래밍에서 자주 사용되는 단어 중에 멱등성 이 있습니다.
이 멱등성을 한마디로 정의 하면

연산을 여러번 적용하더라도 결과가 달라지지 않는 성질

입니다.

참고: idempotent-rest-apis

Spring Batch에서도 역시 이런 멱등성이 필요한 경우가 있습니다.

예를 들어 Spring Batch를 사용하다보면 동적으로 변하는 날짜가 필요한 경우가 있습니다.
대표적으로 다음과 같은 경우들 입니다.

매일 한번 어제 매출 데이터를 집계해야할 때
현재 시간을 기준으로 유효기간이 만료된 포인트를 정리할 때
매일 한번 오늘을 기준으로 휴면회원 처리를 할 때

등등 실행되는 시간을 기준으로 데이터를 조회하고 처리해야할 경우들입니다.
이럴때 가장 흔하게 사용되는 방법이 LocalDate.now() 혹은 LocalDateTime.now()를 코드에서 사용하는 것 입니다.

예시로 아래와 같이 오늘 날짜를 기준으로 데이터를 처리하는 배치 코드입니다.

@Bean(name = BATCH_NAME +"_reader")
@StepScope
public JpaPagingItemReader<Product> reader() {

    LocalDate now = LocalDate.now();
    Map<String, Object> params = new HashMap<>();
    params.put("now", now);

    return new JpaPagingItemReaderBuilder<Product>()
            .name(BATCH_NAME +"_reader")
            .entityManagerFactory(entityManagerFactory)
            .pageSize(chunkSize)
            .queryString("SELECT p FROM Product p WHERE p.createDate =:now")
            .parameterValues(params)
            .build();
}

평소에는 별 문제가 없지만, 갑자기 이슈가 발생해서 어제 데이터를 다시 처리할 필요가 생긴다면 어떡해야할까요?

before

이렇게 되면 해결책은 단 하나 뿐입니다.

코드를 임시 수정 & 임시 배포해서
배치를 돌리고
다시 롤백한다.

운영의 문제 뿐만 아니라 테스트의 문제도 있습니다.

참고: 테스트 코드에선 LocalDate.now()를 쓰지 말자.

공휴일/주말/평일 마다 테스트 결과가 달라지게 될 수도 있습니다.

자 이런 경우가 바로 멱등성이 깨진 경우입니다.
언제 실행하던지 같은 결과가 나와야하는데, 지금과 같이 코드 내부에서 LocalDate.now()를 사용하게 되면 실행되는 날짜에 따라 언제든 결과가 달라 집니다.

9월 16일에 이 코드를 실행할때와 9월 17일에 실행할때가 결과가 달라지기 때문입니다.
파라미터는 똑같이 넣었는데도 말이죠.

그럼 어떻게 해야 이 문제를 해결할 수 있을까요?

해결책

위와 같이 멱등성이 깨진 이유는 제어할 수 없는 코드가 내부에 있기 때문입니다.
즉, new Scanner(System.in), LocalDate.now(), new Random() 등 결과를 개발자가 제어할 수 없는 코드는 내부에서 사용 하면 안됩니다.

이런 값들이 필요하다면 외부에서 값을 주입하도록 해야 합니다.
지금 같은 경우 LocalDate.now() 를 호출하기 보다는 Spring Batch Job Parameter로 오늘의 날짜가 넘어오도록 하면 됩니다.

after