Python을 이용한 웹 크롤링 개발 도구 선택

Python을 이용한 웹 크롤링에 필요한 개발도구

1. 사용 라이브러리 : Beautiful Soup 4.X
2. 사용 라이브러리 : Scrapy
3. Window 객체 사용 가능 라이브러리 : pywin32 
   https://sourceforge.net/projects/pywin32/?source=navbar
4. 언어 : Python 2.7
5. pyOpenSSL 설치
   https://pypi.python.org/pypi/pyOpenSSL
6. 기타 : virtualEnv, virtualenvwrapper
7. 사이트 구조 분석 방법
8. 특정 사이트 데이터 취득

1. 웹 크롤링에 필요한 관련 Lib 설치 방법

1) easy_install pyopenssl

2) easy_install beautifulsoup

3) easy_install Scrapy

    Scrapy로 설치시 twisted관련 오류가 발생할 경우 아래 zope.interface를 추가로 설치한다.

4) easy_install zope.interface