IT/Python

Python을 이용한 웹 크롤링 개발 도구 선택

밥알이 2016. 5. 23. 12:59

Python을 이용한 웹 크롤링에 필요한 개발도구

  1. 사용 라이브러리 : Beautiful Soup 4.X
  2. 사용 라이브러리 : Scrapy
  3. Window 객체 사용 가능 라이브러리 : pywin32 
    https://sourceforge.net/projects/pywin32/?source=navbar
  4. 언어 : Python 2.7
  5. pyOpenSSL 설치
    https://pypi.python.org/pypi/pyOpenSSL
  6. 기타 : virtualEnv, virtualenvwrapper
  7. 사이트 구조 분석 방법
  8. 특정 사이트 데이터 취득


1. 웹 크롤링에 필요한 관련 Lib 설치 방법

1) easy_install pyopenssl

2) easy_install beautifulsoup

3) easy_install Scrapy

    Scrapy로 설치시 twisted관련 오류가 발생할 경우 아래 zope.interface를 추가로 설치한다.

4) easy_install zope.interface