나만의공간

MongoDB는 여러곳에서 사용하고 있는 NoSQL 데이터베이스 중에 하나이다.여러곳에서 사용하는 만큼 안정성이나 장점이 많이 검증된 것이기 때문에 사용해 보기로 한다.일단 로컬 PC에 Mongo DB를 설치해 보기로 한다. MongoDB 설치 가이드는 아래 에서 확인해 보시기 바랍니다.Windows에 MongoDB 설치하기 1. MongoDB Python Driver 설치하기pip install pymongo Security 관련문제로 인하여 install이 안될경우 아래와 같이 실행한다. pip install --upgrade --trusted-host pypi.python.org pymongo2. MongoDB Connection 및 데이타 저장방법from pymongo import MongoCli..

Scrapy 가이드 #1에서는 Scrapy Project 생성 및 Spider를 만들어 크롤링 하는 방법 까지 설명이 되어 있다.이번장은 계속 이어서 크롤링한 웹페이지에서 내가 원하는 데이타를 Items에 추출하는 내용을 설명한다. 1. Extracting Items (아이템 추출)1) Selectors에 대한 소개(1) 크롤링한 웹 페이지에서 데이타를 추출하는 몇가지 방법이 있다. XPath 혹은 CSS 표현을 이용한 Selectors를 이용하거나 더 많은 정보가 필요할 경우 Selectors Documeneation을 참조하기 바란다. (2) XPath 표현을 이용한 샘플▶ /html/head/title : title elements를 선택한다. HTML문서중 head에 있는 정보이다. ▶ /html..

1. Scrapy Tutorial아래 문서는 http://doc.scrapy.org/en/latest/intro/tutorial.html에 있는 문서를 참고 하여 작성 하였습니다.해당 문서는 윈도우 환경 기반으로 작성하였습니다.Scrapy Tutorial을 진행하기 위한 순서1) 신규 Scrapy Project를 생성한다.2) Items에 대한 정의를 한다.3) Spider를 만들고 원하는 사이트 정보를 Items에 넣는다.4) Pipeline을 이용하여 Items 정보를 저장 매체에 저장한다. 2. Createing Project1) 프로젝트를 만들기 전에 폴더를 먼저 생성한다.(1) 윈도우키 + R을 누른 후 CMD를 입력하고 엔터를 누른다.(2) 윈도우 Command창이 정상적으로 나온것을 확인한다..

1. Python whl 파일 설치 방법1) 설치하고자 하는 whl 파일을 다운로드 받는다.2) python -m pip install whl파일명 2. Beautifulsoup 설치 방법1) https://pypi.python.org/pypi/beautifulsoup4 여기서 관련 whl 파일을 다운로드 한다.2) 아래 해당 명령어를 console에서 실행한다.python -m pip install beautifulsoup4-4.4.1-py2-none-any.whl 3) 정상 설치 여부를 확인한다. >>> import bs4 >>> bs4 >>> from bs4 import BeautifulSoup >>> soup = BeautifulSoup("data", "html.parser") >>> soup d..

Python을 이용한 웹 크롤링에 필요한 개발도구사용 라이브러리 : Beautiful Soup 4.X사용 라이브러리 : ScrapyWindow 객체 사용 가능 라이브러리 : pywin32 https://sourceforge.net/projects/pywin32/?source=navbar언어 : Python 2.7pyOpenSSL 설치 https://pypi.python.org/pypi/pyOpenSSL기타 : virtualEnv, virtualenvwrapper사이트 구조 분석 방법특정 사이트 데이터 취득 1. 웹 크롤링에 필요한 관련 Lib 설치 방법1) easy_install pyopenssl2) easy_install beautifulsoup3) easy_install Scrapy Scrapy로 설..