파이썬 빅데이터 분석 Day 1
·
데이터분석실습/데이터 과학 기반의 파이썬 빅데이터 분석
1. 네이버 API를 이용한 크롤링(22.05.12) 1. 크롤링이란 웹에서 데이터를 수집하는 기술에는 스크레이핑, 크롤링 이렇게 두가지가 존재한다. 두개를 구분하자면 스크레이핑은 웹에서 특정데이터를 수집하는 것이고, 크롤링은 프로그램으로 웹사이트에서 데이터를 추출하는 것인데 그냥 웹에서 데이터를 수집하는 것 자체를 크롤링이라고 묶어서 부른다. 크롤링의 원리는 웹의 통신 방법에 있다. [웹의 통신방법] 사용자가 데이터를 가지고있는서버의 url에 접속 수집할 데이터에 HTTP 요청(request) 서버가 그에 대한 응답(response) 응답을 JSON 또는 XML형식으로 보내는 방식 > 이 때 API( 웹사이트의 기능을 외부에서 쉽게 사용할 수 있도록 사용절차와 규약을 정의해놓은 것)을 사용한다. 웹 A..