Llama2とは
Llama2 (ラマツー)とは、Facebookを運営するMeta社が開発した言語生成AI (LLM)で、OpenAI社のChatGPTに匹敵する性能を持っています。Llama2の特徴としては、軽量モデルで高性能、そして無料で使えるオープンソースであるため、開発者にとって扱いやすいモデルになっています。
Windowsのローカル環境でLlama2を動かす (llama-cpp-python)
llama-cpp-pythonは、Llama.cppをPythonで扱えるようにしたバインディングです。Llama.cppはもともとMacBookでLlamaを実行することを目指して開発されたランタイムですが、Windowsでも動かすことができます。Windowsの環境では主にCPUを利用して、4bit量子化されたLlama2モデルを実行することが可能です。
Llama 2 のモデル一覧
「Llama.cpp」を利用するには、「Llama 2」モデルをGGML形式に変換する必要があります。HuggingFaceには、変換済みのモデルが公開されていますので、これを使用します。
実行環境
この記事では以下のスペックのMacBookを使用しました。
– OS：Windows 11
– CPU：Intel Core i5-113
– メモリ：８GB
WSL・Ubuntuのインストール
Ubuntuのコマンドラインからapt パッケージを更新します。必要なパッケージをインストールします。
Dockerのリポジトリを設定する
Ubuntuのコマンドラインからapt パッケージを更新します。必要なパッケージをインストールします。
Dockerをインストールする
Ubuntuのコマンドラインからapt パッケージを更新します。必要なパッケージをインストールします。
ユーザーをDockerグループに追加
Ubuntuのコマンドラインからapt パッケージを更新します。必要なパッケージをインストールします。
モデルのダウンロード
Ubuntuのコマンドラインからapt パッケージを更新します。必要なパッケージをインストールします。
Dockerイメージのビルドとコンテナ起動
Ubuntuのコマンドラインからapt パッケージを更新します。必要なパッケージをインストールします。
llama-cpp-pythonのモデル設定
Ubuntuのコマンドラインからapt パッケージを更新します。必要なパッケージをインストールします。
llama-cpp-pythonでテキスト生成
Ubuntuのコマンドラインからapt パッケージを更新します。必要なパッケージをインストールします。
まとめ
この記事では、Windows CPUのローカル環境を使ってLlama-cpp-pythonによるテキスト生成をする方法（推論）について紹介しました。Llama2は、Facebookを運営するMeta社が開発した言語生成AI (LLM)で、OpenAI社のChatGPTに匹敵する性能を持っています。Llama2の特徴としては、軽量モデルで高性能、そして無料で使えるオープンソースであるため、開発者にとって扱いやすいモデルになっています。