PythonとBeautifulSoupを使用したデータフレームの作成

PythonとBeautifulSoupを使用してWebページからデータを取得し、それをpandasのデータフレームに変換する方法について説明します。

BeautifulSoupとは

BeautifulSoupは、HTMLやXMLのパースを行うPythonライブラリです。Webスクレイピングによく使用されます。

pandasとは

pandasは、Pythonで使用されるデータ分析ライブラリで、特にデータフレームというデータ構造を提供しています。

BeautifulSoupとpandasを使用したデータフレームの作成

以下に、BeautifulSoupとpandasを使用してWebページからデータを取得し、それをデータフレームに変換するコードの例を示します。

import requests
from bs4 import BeautifulSoup
import pandas as pd

# Webページデータを取得
url = "https://en.wikipedia.org/wiki/Transistor_count"
page = requests.get(url)

# HTMLをパース
soup = BeautifulSoup(page.text, 'html.parser')

# テーブルに該当する部分を抽出
table = soup.find('table', {'class':'wikitable'}).tbody

# 行成分を取得
rows = table.find_all('tr')

# データフレームを作成
columns = [v.text.replace('\n', '') for v in rows[0].find_all('th')]
df = pd.DataFrame(columns=columns)

for i in range(1, len(rows)):
    tds = rows[i].find_all('td')
    values = [td.text.replace('\n', '') for td in tds]
    df = df.append(pd.Series(values, index=columns), ignore_index=True)

このコードは、Wikipediaのページからトランジスタ数の一覧表を取得し、それをpandasのデータフレームに変換します。

以上がPythonとBeautifulSoupを使用したデータフレームの作成方法になります。この方法を使えば、Webページからのデータ取得とその後のデータ分析を効率的に行うことができます。