PythonとGoogle Jobs APIを使用したWebスクレイピング

Google Jobsは、世界中のさまざまなソースから求人情報を集める求人リストの集約者です。キャリアの機会を無限にウェブサーフィンしたり、新鮮な求人リストでプロジェクトを燃料供給したい場合、Google JobsデータのWebスクレイピングを開始するのが最善の選択です。

この記事では、PythonとOxylabsのGoogle Jobs Scraper APIを使用して、複数の検索クエリと地理的な位置情報を同時にスクレイピングするGoogle Jobsスクレイパーを作成する方法を学びます。

Google JobsのWebサイトの概要

Google Jobsのページを訪れると、すべての求人リストが左側に表示されます。HTML構造を見ると、各リストが<li>タグで囲まれ、<ul>タグで包まれていることがわかります。

Google Jobsスクレイパーの作成

まず、Oxylabsのダッシュボードにアクセスしてアカウントを作成し、Google Jobs APIの1週間の無料トライアルを申し込みます。次に、Pythonをインストールします。このチュートリアルではPython 3.12.0を使用していますので、互換性のあるバージョンを確認してください。

テストリクエストの送信

APIユーザーを作成したら、認証に使用するAPIユーザーの資格情報をコピーして保存します。次に、ターミナルを開いてrequestsライブラリをインストールします。

pip install requests

次に、Google Jobsの結果をスクレイピングしてHTMLファイル全体を取得する以下のコードを実行します。

import requests

payload = {
    "source": "google",
    "url": "https://www.google.com/search?q=developer&ibp=htl);jobs&hl=en&gl=us",
    "render": "html"
}

response = requests.post(
    "https://realtime.oxylabs.io/v1/queries",
    auth=("USERNAME", "PASSWORD"),  # Replace with your API user credentials
    json=payload
)

print(response.json())
print(response.status_code)

これで、PythonとGoogle Jobs APIを使用してWebスクレイピングを行う準備が整いました。これからは、このスクリプトを使用して、求人情報を大規模に収集し、あなたのプロジェクトに活用することができます。