대용량 데이터베이스 동기화를 위한 최적의 CDC 시스템 구축기 / if(kakaoAI)2024

카카오 내 다양한 서비스의 데이터를 한 곳으로 응집하기 위한 대규모 CDC 파이프라인을 구축한 사례를 소개합니다 Flink와 Kafka Connect를 통해 수십억 건의 데이터를 MySQL과 Iceberg 까지 연동하는 과정에서 맞닥뜨린 어려움과 해결 방안을 공유합니다 #Data #CDC #Debezium #Flink #Iceberg #Spark 카카오 전사 데이터 조직의 데이터 엔지니어 Dawn입니다 카카오의 방대하고 다양한 데이터를 효율적으로 처리하는 대규모 CDC 파이프라인을 개발하고 있습니다 flink와 kafka를 활용하여 여러 시도를 하고 있는 Louis입니다 요즘은 flink로 iceberg에 데이터를 적재하는 것에 집중하고 있어요 발표자료 보기 👉 if(kakaoAI)2024에 대한 자세한 정보는 👉 #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024