API를 활용한 데이터 자동 수집 파이프라인
·
Programming/API
전체 구조API 호출 → 데이터 파싱 → 저장소에 적재 ↑스케줄러가 주기적으로 반복 실행 세 가지만 붙이면 됩니다. API 호출, 저장, 반복 실행.공공데이터 API 특징일반 REST API랑 구조가 조금 다릅니다.인증: URL 파라미터에 serviceKey를 넣는 방식응답: JSON 또는 XML 선택 가능 (_type=json 파라미터)응답 구조: response > body > items > item 형태로 깊게 중첩호출 제한: 하루 호출 횟수 제한 있음 (서비스마다 다름)키 발급 흐름1. data.go.kr 회원가입2. 원하는 데이터셋 검색 후 활용신청3. 승인 후 마이페이지 → 인증키 확인4. Decoding 키를 requests params에 넣어 씁니다URL에 직접 붙일 땐 Encodin..
실전에서 API 안정적으로 쓰기
·
Programming/API
에러 처리와 재시도API 호출은 언제든 실패할 수 있습니다.에러 처리는 선택이 아닙니다.import requestsfrom requests.exceptions import Timeout, ConnectionErrorimport timedef safe_request(url, retries=3): for attempt in range(retries): try: response = requests.get(url, timeout=10) response.raise_for_status() # 4xx, 5xx면 예외 발생 return response.json() except Timeout: print(f"타..
파이썬으로 API 호출하기
·
Programming/API
requests 설치pip install requests기본 요청import requests# GET — 데이터 조회response = requests.get("https://api.example.com/users")print(response.status_code) # 200print(response.json()) # JSON → dict 변환print(response.text) # 원시 텍스트print(response.headers) # 응답 헤더# POST — 데이터 생성payload = {"name": "Alice", "email": "alice@example.com"}response = requests.post("https://api.example.com/use..
API의 개념
·
Programming/API
API가 무엇인가두 소프트웨어가 서로 대화하는 방법을 정해놓은 약속입니다.지도를 앱에 넣고 싶을 때 지도를 직접 만들 필요 없이 Google Maps API를 씁니다.날씨가 필요하면 OpenWeatherMap API를 씁니다.결제가 필요하면 토스 API를 씁니다.이미 잘 만들어진 걸 가져다 쓰는 겁니다.API 종류REST API — 현재 가장 많이 씁니다. URL로 자원을 요청하는 방식입니다.GraphQL — 필요한 데이터만 정확히 골라서 한 번에 가져올 수 있습니다. REST는 정해진 대로 다 받아야 하는데 GraphQL은 내가 원하는 필드만 지정합니다.WebSocket — 연결을 계속 유지하면서 실시간으로 주고받습니다. 채팅, 주식 시세, 게임에 씁니다.gRPC — 마이크로서비스끼리 통신할 때 씁니다..