나만의공간

3. Fiddler 화면별 기능에 대한 설명 - 중요 사용하는 기능에 대해서 기술 한다. 1) File(1) Capture traffic (F12)- traffic에 대한 capture를 Stop / Start한다.(2) New Viewer- Fiddler Viewer를 볼 수 있는 Window를 생성한다.2)

1. Fiddler를 이용한 Capturing 방법1) Fiddler를 이용한 Capturing방법은 Fiddler를 실행 하면 기본적으로 실행이 된다./* 캡쳐 이미지 저장 */ 2. Fiddler Capturing에 대한 사용법 이해/* daum.net capturing 화면*/ 1) 왼쪽에 보이는 traffic 화면이 Fiddler가 Caputring된 화면이다.2) 왼쪽에 보이는 traffic 화면에서 하나씩 클릭 하면 오른쪽 화면에 해당 URL에 대한 정보들이 상세히 노출 된다. 3. Fiddler 기본 단축키1) Capture 시작 (F12)/ 중지(F12)2) traffic 결과 삭제 - 상단 아이콘 클릭 단축키 ??? 4. 다음 장에서는 화면에 대한 각 기능을 설명할 예정임

1. Fiddler 설치www.telerik.com에서 제공하는 DEBUGGING 툴중에 하나이다.위 사이트에서 여러 종류에 개발툴을 제공하고 있으니 필요할 경우 하나씩 사용해 보기를 권장한다. 1) www.telerik.com에 접속하여 Fiddler를 다운로드 받는다.2) 이메일정보를 추가로 넣어주고 License 정보도 확인한다.3) 다운로드 버튼을 누르면 fiddlersetup.exe 파일을 다운로드 받는다.4) 다운로드 받은 fiddlersetup.exe 파일을 실행해서 설치한다. 2. 설치가 완료되면 바탕화면에 있는 단축 아이콘을 더블 클릭하여 실행한다. 3. 위와 같이 하면 Web Debugging Tool인 Fiddler 실행 준비가 완료 된다.

MongoDB는 여러곳에서 사용하고 있는 NoSQL 데이터베이스 중에 하나이다.여러곳에서 사용하는 만큼 안정성이나 장점이 많이 검증된 것이기 때문에 사용해 보기로 한다.일단 로컬 PC에 Mongo DB를 설치해 보기로 한다. MongoDB 설치 가이드는 아래 에서 확인해 보시기 바랍니다.Windows에 MongoDB 설치하기 1. MongoDB Python Driver 설치하기pip install pymongo Security 관련문제로 인하여 install이 안될경우 아래와 같이 실행한다. pip install --upgrade --trusted-host pypi.python.org pymongo2. MongoDB Connection 및 데이타 저장방법from pymongo import MongoCli..

MongoDB Windows에 설치하기 1. 다운로드 https://www.mongodb.com/download-center?jmp=nav 2. MongoDB 설치 가이드 원문 https://docs.mongodb.com/manual/tutorial/install-mongodb-on-windows/ 3. 다운로드 완료 후 C:\에 .msi 파일을 복사하여 설치를 진행한다. - 설치시 특별히 문제가 될만한 내용은 없다. 4. 설치 완료 후 DataBase File을 저장할 폴더를 D:\에 만든다. - D:\mkdir D:\mongodb\data 5. MongoDB 실행하기 - C:\Program Files\MongoDB\Server\3.2\bin\mongodb.exe --dbpath D:\mongodb\d..

Scrapy 가이드 #1에서는 Scrapy Project 생성 및 Spider를 만들어 크롤링 하는 방법 까지 설명이 되어 있다.이번장은 계속 이어서 크롤링한 웹페이지에서 내가 원하는 데이타를 Items에 추출하는 내용을 설명한다. 1. Extracting Items (아이템 추출)1) Selectors에 대한 소개(1) 크롤링한 웹 페이지에서 데이타를 추출하는 몇가지 방법이 있다. XPath 혹은 CSS 표현을 이용한 Selectors를 이용하거나 더 많은 정보가 필요할 경우 Selectors Documeneation을 참조하기 바란다. (2) XPath 표현을 이용한 샘플▶ /html/head/title : title elements를 선택한다. HTML문서중 head에 있는 정보이다. ▶ /html..

1. Scrapy Tutorial아래 문서는 http://doc.scrapy.org/en/latest/intro/tutorial.html에 있는 문서를 참고 하여 작성 하였습니다.해당 문서는 윈도우 환경 기반으로 작성하였습니다.Scrapy Tutorial을 진행하기 위한 순서1) 신규 Scrapy Project를 생성한다.2) Items에 대한 정의를 한다.3) Spider를 만들고 원하는 사이트 정보를 Items에 넣는다.4) Pipeline을 이용하여 Items 정보를 저장 매체에 저장한다. 2. Createing Project1) 프로젝트를 만들기 전에 폴더를 먼저 생성한다.(1) 윈도우키 + R을 누른 후 CMD를 입력하고 엔터를 누른다.(2) 윈도우 Command창이 정상적으로 나온것을 확인한다..

1. Python whl 파일 설치 방법1) 설치하고자 하는 whl 파일을 다운로드 받는다.2) python -m pip install whl파일명 2. Beautifulsoup 설치 방법1) https://pypi.python.org/pypi/beautifulsoup4 여기서 관련 whl 파일을 다운로드 한다.2) 아래 해당 명령어를 console에서 실행한다.python -m pip install beautifulsoup4-4.4.1-py2-none-any.whl 3) 정상 설치 여부를 확인한다. >>> import bs4 >>> bs4 >>> from bs4 import BeautifulSoup >>> soup = BeautifulSoup("data", "html.parser") >>> soup d..

Python을 이용한 웹 크롤링에 필요한 개발도구사용 라이브러리 : Beautiful Soup 4.X사용 라이브러리 : ScrapyWindow 객체 사용 가능 라이브러리 : pywin32 https://sourceforge.net/projects/pywin32/?source=navbar언어 : Python 2.7pyOpenSSL 설치 https://pypi.python.org/pypi/pyOpenSSL기타 : virtualEnv, virtualenvwrapper사이트 구조 분석 방법특정 사이트 데이터 취득 1. 웹 크롤링에 필요한 관련 Lib 설치 방법1) easy_install pyopenssl2) easy_install beautifulsoup3) easy_install Scrapy Scrapy로 설..

Maven 프로젝트 생성시 관련 정보를 못가져올 경우 setting.xml을 아래로 변경해서 만들면 정상적으로 관련 정보를 가져 올 수 있음. 관련 오류 메세지 : could not calculate build plan maven-resources-plugin:2.6 UK UK Central http://uk.maven.org/maven2 central