【技術記事】PythonのSeleniumでウェブスクレイピング入門！

2020.10.09

みなさん、こんにちは、
みむすたーです。

本日は、PythonのWebテストライブラリであるSeleniumを使用して、
ウェブスクレイピングをしましょう。

もくじ

導入方法

Google Colaboratoryでの導入

以下のコードを実行することで、導入できます。

!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
!pip install selenium

Macでの導入

まずは、以下のURLからchromeドライバーを入手しましょう。

URL
https://sites.google.com/a/chromium.org/chromedriver/downloads

その上で、以下のコマンドを実行しましょう。

pip install selenium

サンプルコード

# インポート
from selenium import webdriver

# オプション設定
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')


# Webページ情報を取得し、print関数で表示する
wd = webdriver.Chrome('chromedriver',options=options)
wd.get("https://www.google.com")
print(wd.page_source)  # results

コメント