나만의공간

Python에서 사용하는 기본 문법들에 대한 설명을 시작합니다. 숫자자료형 Python은 여러 자료형이 있고, 그 중 숫자자료형은 저희가 사용하는 일반적인 숫자에 대한것을 이야기 합니다. print는 괄호()안에 있는 구문을 그대로 출력하라는 Python 명령어 입니다. print(7) #7을 출력 print(-10) #-10을 출력 print(3.14159) #3.14159 소수점을 출력 print(10000) #10000을 출력 print(10+20) # 10+20 값인 30 출력 print(20*100) # 20*100 값인 2000 출력 print(7*(5+5)) # 7*10 값인 70 출력 결과 7 -10 3.14159 10000 30 2000 70 문자자료형 Python에서 문자를 출력하는 방..

Python을 맥북에 설치 하는 방법 입니다. 아래 Site에서 맥용 Python을 설치 하시면 됩니다. 설치 시점에 버전을 다를 수 있으니 최신 버전을 설치 하시면 됩니다. Site : https://www.python.org/downloads/ 개발 Tool로는 요즘 많이 사용하는 Visual Studio를 설치 합니다. Visual Studio 설치 완료 후 Python개발시 편의성을 제공하는 plugin을 설치 하면 됩니다. 마켓플레이스에서 python을 검색해서 상단에 보이는 plugin을 설치하고, 그 외에 개발에 필요한 plugin은 개발하면서 하나씩 추가로 설치 하시면 됩니다. 이제 개발을 위한 기본환경을 모두 완료 하였으니 개발에 가장 기초가 되는 "Hello World"를 출력해 보겠습..

MongoDB는 여러곳에서 사용하고 있는 NoSQL 데이터베이스 중에 하나이다.여러곳에서 사용하는 만큼 안정성이나 장점이 많이 검증된 것이기 때문에 사용해 보기로 한다.일단 로컬 PC에 Mongo DB를 설치해 보기로 한다. MongoDB 설치 가이드는 아래 에서 확인해 보시기 바랍니다.Windows에 MongoDB 설치하기 1. MongoDB Python Driver 설치하기pip install pymongo Security 관련문제로 인하여 install이 안될경우 아래와 같이 실행한다. pip install --upgrade --trusted-host pypi.python.org pymongo2. MongoDB Connection 및 데이타 저장방법from pymongo import MongoCli..

Scrapy 가이드 #1에서는 Scrapy Project 생성 및 Spider를 만들어 크롤링 하는 방법 까지 설명이 되어 있다.이번장은 계속 이어서 크롤링한 웹페이지에서 내가 원하는 데이타를 Items에 추출하는 내용을 설명한다. 1. Extracting Items (아이템 추출)1) Selectors에 대한 소개(1) 크롤링한 웹 페이지에서 데이타를 추출하는 몇가지 방법이 있다. XPath 혹은 CSS 표현을 이용한 Selectors를 이용하거나 더 많은 정보가 필요할 경우 Selectors Documeneation을 참조하기 바란다. (2) XPath 표현을 이용한 샘플▶ /html/head/title : title elements를 선택한다. HTML문서중 head에 있는 정보이다. ▶ /html..

1. Scrapy Tutorial아래 문서는 http://doc.scrapy.org/en/latest/intro/tutorial.html에 있는 문서를 참고 하여 작성 하였습니다.해당 문서는 윈도우 환경 기반으로 작성하였습니다.Scrapy Tutorial을 진행하기 위한 순서1) 신규 Scrapy Project를 생성한다.2) Items에 대한 정의를 한다.3) Spider를 만들고 원하는 사이트 정보를 Items에 넣는다.4) Pipeline을 이용하여 Items 정보를 저장 매체에 저장한다. 2. Createing Project1) 프로젝트를 만들기 전에 폴더를 먼저 생성한다.(1) 윈도우키 + R을 누른 후 CMD를 입력하고 엔터를 누른다.(2) 윈도우 Command창이 정상적으로 나온것을 확인한다..

1. Python whl 파일 설치 방법1) 설치하고자 하는 whl 파일을 다운로드 받는다.2) python -m pip install whl파일명 2. Beautifulsoup 설치 방법1) https://pypi.python.org/pypi/beautifulsoup4 여기서 관련 whl 파일을 다운로드 한다.2) 아래 해당 명령어를 console에서 실행한다.python -m pip install beautifulsoup4-4.4.1-py2-none-any.whl 3) 정상 설치 여부를 확인한다. >>> import bs4 >>> bs4 >>> from bs4 import BeautifulSoup >>> soup = BeautifulSoup("data", "html.parser") >>> soup d..

Python을 이용한 웹 크롤링에 필요한 개발도구사용 라이브러리 : Beautiful Soup 4.X사용 라이브러리 : ScrapyWindow 객체 사용 가능 라이브러리 : pywin32 https://sourceforge.net/projects/pywin32/?source=navbar언어 : Python 2.7pyOpenSSL 설치 https://pypi.python.org/pypi/pyOpenSSL기타 : virtualEnv, virtualenvwrapper사이트 구조 분석 방법특정 사이트 데이터 취득 1. 웹 크롤링에 필요한 관련 Lib 설치 방법1) easy_install pyopenssl2) easy_install beautifulsoup3) easy_install Scrapy Scrapy로 설..