목록2025/05/15 (1)

youngseo's TECH blog

[Spring Batch] 효과적인 ETL 처리를 위한 Spring Batch

ETL 파이프라인 과정에서 사용했던 Spring Batch를 사용하며 경험할 수 있는 장점들을 소개하려고 합니다.기존에 사용했던 배치 처리 방식에는 linux tab에서 제공해주는 cron job이나 Spring의 @Scheduler 정도만 알고 있었는데, Spring Batch를 쓰면서 배치잡 처리의 더 많은 부분들에 인사이트를 얻을 수 있었습니다. Spring Batch의 동작 과정전반적인 핵심 컨셉은 Reader(E) -> Processor(T) -> Writer(L) 의 흐름입니다.Reader - 데이터베이스, 파일, 큐에서 다량의 데이터 조회Processor - 특정 방법으로 데이터를 가공Writer - 데이터를 수정된 양식으로 다시 저장이 흐름을 실제로 제어해주는 스프링 배치의 단위를 하나씩 ..
BackEnd 2025. 5. 15. 13:10
이전 Prev 1 Next 다음