나만의공간

1. Scrapy Tutorial아래 문서는 http://doc.scrapy.org/en/latest/intro/tutorial.html에 있는 문서를 참고 하여 작성 하였습니다.해당 문서는 윈도우 환경 기반으로 작성하였습니다.Scrapy Tutorial을 진행하기 위한 순서1) 신규 Scrapy Project를 생성한다.2) Items에 대한 정의를 한다.3) Spider를 만들고 원하는 사이트 정보를 Items에 넣는다.4) Pipeline을 이용하여 Items 정보를 저장 매체에 저장한다. 2. Createing Project1) 프로젝트를 만들기 전에 폴더를 먼저 생성한다.(1) 윈도우키 + R을 누른 후 CMD를 입력하고 엔터를 누른다.(2) 윈도우 Command창이 정상적으로 나온것을 확인한다..

1. Python whl 파일 설치 방법1) 설치하고자 하는 whl 파일을 다운로드 받는다.2) python -m pip install whl파일명 2. Beautifulsoup 설치 방법1) https://pypi.python.org/pypi/beautifulsoup4 여기서 관련 whl 파일을 다운로드 한다.2) 아래 해당 명령어를 console에서 실행한다.python -m pip install beautifulsoup4-4.4.1-py2-none-any.whl 3) 정상 설치 여부를 확인한다. >>> import bs4 >>> bs4 >>> from bs4 import BeautifulSoup >>> soup = BeautifulSoup("data", "html.parser") >>> soup d..

Python을 이용한 웹 크롤링에 필요한 개발도구사용 라이브러리 : Beautiful Soup 4.X사용 라이브러리 : ScrapyWindow 객체 사용 가능 라이브러리 : pywin32 https://sourceforge.net/projects/pywin32/?source=navbar언어 : Python 2.7pyOpenSSL 설치 https://pypi.python.org/pypi/pyOpenSSL기타 : virtualEnv, virtualenvwrapper사이트 구조 분석 방법특정 사이트 데이터 취득 1. 웹 크롤링에 필요한 관련 Lib 설치 방법1) easy_install pyopenssl2) easy_install beautifulsoup3) easy_install Scrapy Scrapy로 설..