01핵심 기술Data Pipeline
대용량 데이터 처리·분석·관리
공공·엔터프라이즈 보안관제 데이터 규모까지 감당하는 처리 파이프라인.
개요
초당 수십만 건 로그·이벤트를 실시간 수집·전처리·저장·질의 가능한 분산 데이터 파이프라인을 구축합니다. 수집-스트리밍 처리-장기보관-집계쿼리 전 구간을 내재화, 벤더 종속 없이 운영·확장 가능. 금융보안원·KISTI·통일부 대규모 보안관제 현장의 운영 요건에서 검증된 스택.
핵심 역량
5개 역량
- 01초당 수십만 건 로그·이벤트 스트리밍 처리
- 02분산 저장 (콜드·핫 계층 분리, 장기 보관 설계)
- 03실시간 집계·질의 · 이상징후 룰 실행
- 04멀티 테넌트 격리 · 권한 파티셔닝
- 05운영 모니터링 · 데이터 품질 관리 자동화
기술 · 방법
- Kafka
- Spark
- Elasticsearch
- Hadoop
- Ceph