"#ローカルLLM"

Mac だけで 2,900 万パラメータの日本語言語モデルを 43 時間学習した記録

NVIDIA の GPU なし、Apple シリコンの Mac 1 台で、29,008,384 パラメータの日本語言語モデルをゼロから事前学習した。1B トークン、20,345 ステップ、43 時間。検証損失 3.11、パープレキシティ 22.5。日本語を実際に喋る。 やってみて分かった罠を 3 つ書く。どれもドキュメントに書いていない。