데이터 수집 2

[TIL] [KT AIVLE School] KT 에이블스쿨 6기(DX 트랙) 5주차 1일. 데이터 수집(2)

데이터 수집 파트의 둘째날이자 마지막 날. 웹 분야를 완전히 처음 접하는 건 아니지만...강사님 설명이 무척 빠르셨다. 아예 처음이었으면 멘탈이 많이 갈렸을 듯.  동적 페이지 크롤링 실습 몇가지 사례를 통해 동적 페이지 크롤링을 더 해 보았다. 사전학습 때도 느꼈지만, 크롤링은 변수와 상황이 너무 많아서 힘든 것 같다 ㅠ 공식처럼 쓰는 게 안된달까... 큰 틀은 지난 포스팅에서 본 것과 같다.# 1. URLurl = 'https://m.stock.naver.com/api/index/KOSPI/price?pageSize=10&page=2'# 2. request(URL) > response(JSON(str))response = requests.get(url)# 3. JSON(str) > list or di..

[TIL] [KT AIVLE School] KT 에이블스쿨 6기(DX 트랙) 5주차 1일. 데이터 수집(1) - 웹 크롤링 이론, python class

폭풍같안던 한기영 강사님의 데이터 분석 파트가 끝나고... 미니프로젝트 D-day 카운트와 함께 박두진 강사님께서 오셨다. 전직 국어쌤으로서 괜히 친근감이 드는 성함이다. 청록파 박두진 강사님은 뭐랄까,기본을 탄탄하게 쌓아 주시고, 잡담이 없으신 편이다. 처음에는 너무 달리신다... 싶었는데,오히려 그래서 집중도 잘 되고 시간이 녹게 만드는 마성(?)을 지니셨다.  오늘부터 이틀간 배울 것은 데이터 수집! 분석할 데이터를 가져 오는 아주 중요한 과정이다. 다만 오늘의 내용은 그 전에 알아야 할 과정이랄까? 데이터가 클라이언트와 서버 간에 어떻게 전달되는지,그 원리를 통해서 동적 페이지에서 크롤링을 어떻게 해 오는지,파이썬에서 클래스란 무엇인지 등을 배웠다.          웹 크롤링 이론 클라이언트 - ..