스프링 클라우드 데이터 플로우 (SCDF)를 활용한 실시간 대용량 데이터 처리 프로젝트 소개와 경험 공유

 

 

 

 

안녕하세요 

 

한동안 정신없이 바빴던 

 

네띠와 레디스를 사용한 사내 프로젝트를 마무리하고 

 

새로운 프로젝트를 시작하려 합니다.

 

네띠와 레디스에 대해 배운점은 차근차근 

 

업데이트 할 예정이고 오늘은 새로운 프로젝트의 주요기술인

 

스프링 클라우드 데이터 플로우(SCDF)에 대해 알아보겠습니다.

 

 

사내에서 레거시 대용량 데이터를 관리하는 부분에 해당 기술을 적용하려 하는데요 

 

해당 기술을 찾아보면서 제가 알게된 내용들을 공유해드리려 합니다.

 

공식 문서를 찾아보면 Spring Cloud Data Flow는 구성 가능한 데이터

마이크로서비스를 위한 클라우드 네이티브 프로그래밍 및 운영 모델입니다.

데이터 수집, 실시간 분석 및 데이터 가져오기/내보내기와 같은

일반적인 사용 사례를 위한 데이터 파이프라인을 만들고 오케스트레이션할 수 있습니다  

 

라고 되어있는데요 간단히 말하면 데이터를 실시간으로 관리하기 용이하다 할 수 있겠습니다.

 

두가지 주요 기능이 있는데

 

 

 

 

 

1. streams : 무한한 양의 데이터가 메시징 미들웨어를 통해 소비되거나 생성됩니다. 

 

2. tasks : 수명이 짧은 작업은 한정된 데이터 집합을 처리한 다음 종료

 

 

 

 

제가 사용할 기능은 streams 입니다.

 

바로 실습해봅시다.

 

 

https://rhgustmfrh.tistory.com/45

스프링 클라우드 데이터 플로우 (SCDF)를 이용한 로컬 서버 구축 및 어플리케이션 통합 - 실습 가