ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 네이버 실시간 검색어 크롤링 프로그램
    Programming/Python 2019. 2. 1. 15:34

    파이썬 네이버 실시간 검색어 크롤링 프로그램

    안녕하세요. 학생개발자입니다. 이번에는 파이썬과 크롬 드라이버를 활용한
    네이버 실시간 검색어 크롤링 프로그램을 만들어 보았습니다.

    다운로드는 제 깃허브에서 받으시면 됩니다.

    사용방법

    PYTHON 3.7 사용 모듈

    BeautifulSoup4 selenium

    모듈 설치

    pip3 install BeautifulSoup4

    pip3 install selenium

    pip버전 오류시 python -m pip3 install --upgrade pip3


    소스코드

    # -*- coding: utf-8 -*-
    # 네이버 실시간 검색어 크롤링 프로그램
    # 개발자: 학생개발자
    from bs4 import BeautifulSoup
    from selenium import webdriver
    import os
    import time
    # 크롬드라이버 옵션
    options = webdriver.ChromeOptions()
    options.add_argument('headless')
    options.add_argument('window-size=1920x1080')
    options.add_argument("disable-gpu")
        
            
    driver = webdriver.Chrome('C:\chromedriver', chrome_options=options) #크롬 드라이버 패치 및 옵션
    driver.implicitly_wait(3)
    driver.get_screenshot_as_file('naver_main.png') #스크린샷

    delay_time = 3 # 페이지 로딩을 위해 딜레이
    driver.implicitly_wait(delay_time)
    driver.get("https://www.naver.com") # 크롤링 대상 사이트

    html = driver.page_source
    soup = BeautifulSoup(html, 'html.parser')
    realtime_search_word = soup.select('div.ah_roll_area > ul.ah_l > li > a > span.ah_k')
    now = time.localtime()

    driver.close()

    s = "%04d-%02d-%02d %02d:%02d:%02d" % (now.tm_year, now.tm_mon, now.tm_mday, now.tm_hour, now.tm_min, now.tm_sec) #날짜 시간 초
    path = os.getcwd() # 현제 경로 
    f = open(path + "\실시간검색어.txt",'a', encoding="utf-8") #실검 저장
    f.write("==============")
    f.write(s)
    f.write("==============")
    f.write('\n')
    for list in realtime_search_word:
        BOT = list.text.strip()
        path = os.getcwd()
        f = open(path + "\실시간검색어.txt",'a', encoding="utf-8")
        f.write(BOT)
        f.write('\n')
        f.close()


    ==License==

    MIT License - Korean version

    Copyright (c) 2019 EuiseoCha

    소프트웨어의 사용, 복사, 수정, 병합, 게시, 배포, 재허가 및/또는 판매 권한을

    제한 없이 포함하여 본 소프트웨어와 관련 문서 파일의 

    사본을 입수하는 모든 개인에게 무료로 사용 권한을 부여합니다. 

    소프트웨어를 설치할 수 있는 대상자는 다음과 같은 조건에 따릅니다.

    위의 저작권 고지 및 이 허가 통지는 소프트웨어의 모든 사본 또는 상당 부분에 포함되어야 합니다.

    본 소프트웨어는 "있는 그대로" 제공되며, 상업성, 특정 목적에 대한 적합성 및 

    비침해성에 대한 보증을 제한하지 않는 한, 

    명시적이거나 묵시적인 어떠한 종류의 보증도 없습니다. 

    어떠한 경우에도 본 소프트웨어는 허가 또는 무효화되지 않습니다.

    소프트웨어 또는 소프트웨어의 사용 또는 기타 판매로부터 발생하거나, 

    소프트웨어 또는 소프트웨어와 연결에서 발생하는 위험을 방지합니다.


    MIT License - English version

    Copyright (c) 2019 EuiseoCha

    Permission is hereby granted, free of charge, to any person obtaining 

    a copy of this software and associated documentation files (the "Software"), 

    to deal in the Software without restriction, 

    including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, 

    and/or sell copies of the Software, 

    and to permit persons to whom the Software is furnished to do so, 

    subject to the following conditions:

    The above copyright notice and this permission notice shall be included in 

    all copies or substantial portions of the Software.


    THE SOFTWARE IS PROVIDED "AS IS", 

    WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, 

    INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 

    FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. 

    IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, 

    DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, 

    TORT OR OTHERWISE, ARISING FROM, 

    OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

    댓글 1

Designed by Tistory.