「python」の記事一覧

Python+Seleniumで検索結果をスクレイピングしてCSV出力する方法を紹介します。とりあえず動かしてみたい方は参考程度にどうぞ。 事前準備 Seleniumをインストール [crayon-5da9ce29d65c9280089761/] WebDriverをダウンロードし、格納 以下の公式サイトからChromeのWebDriverをダウンロードします。 https://sites.google.com/a/chromium.org/chromedriver/downloads ダウンロードしたらZIPファイルを展開し、「chromedriver.exe」を適当な場所に格納します。 今回はCドライブ直角にdriverファルダを作成し、その配下に格納しました。 [crayon-5da9ce29d65ce890903039/] 検索キーワードからGoogle検索結果をスクレイピングする ・searchGoogleResult.py [crayon-5da9ce29d65cf026163920/] スクレイピングの各処理を解説 必要なモジュールをインポートします。 CSV出力とスリープのため「import csv」、「import time」を追加しています。 [crayon-5da9ce29d65d1377041369/] 先ほど格納したドライバーを呼び出し、Chromeを立ち上げます。 [crayon-5da9ce29d65d2816850275/] inputから検索キーワードと取得ページ数を入力してもらいます。 [crayon-5da9ce29d65d3217715018/] 「chrome.find_element_by_name("q")」からname属性がqの検索ボックスを指定し、取得したキーワードの検索を実行します。 [crayon-5da9ce29d65d4844901380/] 先ほど入力した取得ページ数から検索キーワードの検索結果を格納していきます。今回は、検索結果のタイトルとURLを取得しています。 try・exceptで囲っているため、次ページがない場合は格納処理を終了します。 また、短時間で複数回アクセスするとDos攻撃として認識されることがあるため、sleepメソッドを使って5秒間スリープしています。 [crayon-5da9ce29d65d5444243946/] 検索結果の取得終了後、CSV出力を実行します。 [crayon-5da9ce29d65d6242768627/] 実行する際は、作成したファイル直下に移動し、以下のコマンドを叩きます(searchGoogleResult.pyの部分は作成したファイル名に置き換える)。 [crayon-5da9ce29d65d7199286131/] スクレイピングをHeadlessモードで実行する ブラウザの画面を表示せずに実行する場合は、Headlessモードを有効にすることで実現できます。 [crayon-5da9ce29d65d8911558274/] 追記：クラス化・関数化・機能追加しました。 https://github.com/simanapo/selenium-scrape-sample/blob/master/seleniumScrapeSample.py

みんたく

「python」の記事一覧

【Python】Seleniumで検索結果をスクレイピングしてCSV出力する