DeepSeek のフラッシュモデルは AI メモリ需要を削減し、韓国のメモリ株を揺さぶる

テクノロジー

Zero Hedge

DeepSeek は V4.1-Flash、5520億パラメータのモデルを発表。入力用に800?億パラメータを活性化し、出力用に160億パラメータを活性化、1,000,000トークンのコンテキストウィンドウをサポートし、画像をネイティブに読み取る。アーキテクチャは層間でのキャッシュを再利用し、KV キャッシュを4ビット精度で保存、要求に応じて値を再構成することで、トークンあたり約890バイトのキャッシュを生成し、2024年1月からトークンあたりのメモリを437倍削減した。このリリースと付随する価格動向はソウルで売り圧力を生み、AI ワークロードの単位メモリ需要の見積が下方修正されたことを受けて Samsung と SK Hynix が下落した。

V4.1-Flash によりキャッシュがトークンあたり約890バイトへ削減された。