PythonでUTF-8エンコードのファイルを読み込む際には、open関数のencoding引数に'utf-8'を指定します。これにより、ファイルの文字エンコーディングがUTF-8であることをPythonに伝え、適切にファイルを読み込むことができます。
with open('utf-8.txt', encoding='utf-8') as fp:
text = fp.read()
しかし、Windows環境では、デフォルトの文字エンコーディングがcp932であるため、UTF-8エンコードのファイルを読み込むとUnicodeEncodeErrorが発生することがあります。この問題を解決するためには、ファイルを開く際に文字エンコーディングを明示的に'utf-8'に設定します。
f_add = open(out_file + '.tmp', 'a', encoding='utf-8')
また、BOM付きUTF-8のファイルを読み込む場合は、'utf-8_sig'を指定します。
with open(filename, "r", encoding="utf_8_sig") as file:
text = file.read()
これらの方法を用いることで、PythonでUTF-8エンコードのファイルを適切に読み込むことができます。ただし、エンコーディングを指定する際には、ファイルの実際のエンコーディングと一致していることを確認してください。