API를 활용한 데이터 자동 수집 파이프라인
·
Programming/API
전체 구조API 호출 → 데이터 파싱 → 저장소에 적재 ↑스케줄러가 주기적으로 반복 실행 세 가지만 붙이면 됩니다. API 호출, 저장, 반복 실행.공공데이터 API 특징일반 REST API랑 구조가 조금 다릅니다.인증: URL 파라미터에 serviceKey를 넣는 방식응답: JSON 또는 XML 선택 가능 (_type=json 파라미터)응답 구조: response > body > items > item 형태로 깊게 중첩호출 제한: 하루 호출 횟수 제한 있음 (서비스마다 다름)키 발급 흐름1. data.go.kr 회원가입2. 원하는 데이터셋 검색 후 활용신청3. 승인 후 마이페이지 → 인증키 확인4. Decoding 키를 requests params에 넣어 씁니다URL에 직접 붙일 땐 Encodin..