PythonとAWS Lambdaを使用してS3からCSVファイルを読み込む方法

PythonとAWS Lambdaを使用して、S3に保存されたCSVファイルを読み込む方法について説明します。この記事では、Pythonのboto3とcsvモジュールを使用して、S3に配置されたCSVファイルを読み込む方法を示します。

まず、boto3モジュールを使用してS3に接続します。次に、get_objectメソッドを使用してS3からCSVファイルを取得します。

import boto3
s3 = boto3.client('s3')
bucket_name = 'your_bucket_name'  # バケット名を指定
file_name = 'your_file.csv'  # CSVファイル名
response = s3.get_object(Bucket=bucket_name, Key=file_name)
body = response['Body'].read()

上記のコードは、指定したバケットからCSVファイルを読み込み、その内容をbody変数に保存します。

次に、csvモジュールを使用してCSVデータを解析します。

import csv
from io import StringIO

csv_data = body.decode('utf-8')
csv_reader = csv.reader(StringIO(csv_data))

for row in csv_reader:
    print(row)

このコードは、CSVデータをデコードし、それをStringIOオブジェクトに渡してcsv.readerに供給します。その後、各行をループして印刷します。

以上がPythonとAWS Lambdaを使用してS3からCSVファイルを読み込む基本的な方法です。この方法を使用すると、大量のデータを効率的に処理することができます。.