PythonでUTF-8エンコードされたファイルを扱う際、BOM（Byte Order Mark）が付いている場合と付いていない場合があります。これは、ファイルのエンコーディングを識別するためのマーカーで、ユニコード文字U+FEFFがそのマーカーとして使用されています。
PythonでBOM付きUTF-8（’utf-8-sig’）を扱う場合、BOMがある場合はそれをスキップして読み込み、BOMがない場合はそのままUTF-8として読み込むことが可能です。具体的なコードは以下の通りです。
import io
with io.open('sample.csv', 'rt', encoding='utf_8_sig') as f:
print(f.readlines())
このコードは、’utf_8_sig’エンコーディングを指定してファイルを開き、その内容を表示します。BOM付きUTF-8ファイルを扱う際には、このように’utf_8_sig’エンコーディングを指定することで、BOMを考慮した上でファイルを読み込むことができます。
また、BOM付きUTF-8ファイルを書き出す際にも’utf_8_sig’エンコーディングを使用することができます。以下にその例を示します。
with open('file_out_with_utf8_with_bom', 'w', encoding='utf_8_sig') as f:
f.write('This is a file written with utf-8 with BOM.')
このコードは、’utf_8_sig’エンコーディングを指定して新しいファイルを作成し、その中にテキストを書き込みます。このように、Pythonでは’utf_8_sig’エンコーディングを使用することで、BOM付きUTF-8ファイルの読み書きを容易に行うことができます。
以上、PythonでのUTF-8-SIGの取り扱いについて説明しました。この情報がPythonでのエンコーディング問題を解決するのに役立つことを願っています。