AI 활용중급
데이터 수집 파이프라인
Data Collection Pipeline · 데이터 수집 전략 · Data Ingestion
API, 크롤링, 스크래핑, 공공 데이터, RSS 등 다양한 채널에서 목적에 맞는 데이터를 확보하는 전략과 파이프라인 설계를 다루는 활용 영역이다. 1인 기업가에게 데이터 수집은 "돈 주고 사는 것"이 아니라 "시스템으로 흘러오게 만드는 것"이다.
- •API 이코노미 시장 $17.13B(2025), 클라우드 API $64.78B(2025)
- •2026년 핵심 변화: 소셜 API 급격한 유료화, LLM 기반 비정형→정형 추출, SSE의 부활
- •전 세계 일일 데이터 생성 2.5 엑사바이트(초당 29TB), 90%가 비정형
- •4대 채널 우선순위: API(공식) → RSS(무료) → 공공 데이터 → 스크래핑(최후 수단)