khstar

파이썬으로 웹 클로러 만들기 본문

개발/리뷰

파이썬으로 웹 클로러 만들기

khstar 2020. 10. 24. 14:33
반응형

www.hanbit.co.kr/store/books/look.php?p_code=B7159663510

 

파이썬으로 웹 크롤러 만들기

웹 어디서든 내가 원하는 데이터를 쏙쏙쏙

www.hanbit.co.kr

자바 개발자로 일을 하다가 최근에 파이썬과 클롤링에 대해서 조금 관심을 갖고 있는 찰나에 우연히 서평이벤트에 당첨된 파이썬으로 웹 크롤러 만들기를 읽게 되었다.

 

우선 책은 매우 잘 쓰여 있는 듯 하다. 파이썬 개발자가 아니더라도 한번쯤 읽어 볼만하다는 생각이 들며 파이썬 기본 문법만 배우고 따라해도 충분히 이해할만 하다. 

 

또한 크롤링에 대해 관심을 가지면서 궁금했던것은 법적인 문제였다. 

아주 자세하게 설명한 것은 아니지만 크롤링에 시작하려는 사람들은 18장 웹 스크레이핑의 합법성과 윤리를 먼저 읽고 시작하는 것도 좋을거 같다.

 

이 책을 정말 잘 설명한 것은 책의 뒷면에 있다.

--

예제를 추가 업데이트했고 모던 웹에서 거의 모든 종류의 데이터를 가져오는 방법을 포괄적으로 다룬다.

  • 복잡한 HTML 페이지 파싱
  • 자연어 읽고 쓰기 
  • 스크레이피 프레임워크로 클롤러 만들기
  • 폼 및 로그인 크롤링
  • 수집한 데이터를 저장하는 다양한 방법
  • 자바스크립트 수집 및 API 이용
  • 문서에서 데이터를 읽고 추출하기
  • 봇 차단을 피하는 법
  • 지저분한 데이터 형식 정돈하기
  • 크롤러를 이용한 웹사이트 테스팅

반응형
Comments