Pythonで並列処理を行うための主なライブラリには、async、threading、multiprocessingの3つがあります。それぞれのライブラリは異なる目的と状況で使用されます。
async
asyncは非同期処理を行うためのライブラリで、スレッド数もコア数も1です。非同期処理は、複数のリクエストを同時に投げて、すべてのレスポンスが帰ってくるまで待つことで、効率的にタスクを処理します。
threading
threadingはPythonの基本的な並行処理ライブラリで、複数のタスクを高速に切り替えて処理します。しかし、完全な並列処理ではなく、タスクを高速に切り替えているだけなので、大量の演算処理を行う場合や、厳密なタイミング制御が必要な処理には向いていません。
multiprocessing
multiprocessingはPythonの標準ライブラリで、CPUのコアを複数扱うことで並列化を達成します。これにより、大量の計算の高速化や、厳密なタイミング制御が可能になります。
また、multiprocessingを簡単に実装し、進捗を可視化するためのライブラリとしてprogress-parallelがあります。このライブラリは、concurrent.futuresを用いた並列処理を簡単に行え、進捗を可視化することができます。
以上のライブラリを適切に選択し使用することで、Pythonでの並列処理を効率的に行うことができます。