図: The Verge 1 月の Microsoft Research Forum で、Microsoft Research Lab NYC および AI Frontiers の上級研究員である Dipendra Misra 氏は、Layer-Selective Rank Reduction (LASER) がどのようにして大規模な言語モデルをより正確にすることができるかを説明しました。 LASER を使用すると、研究者が「介入」して、1 つの重み行列をほぼ小さい重み行列に置き換えることができます。重みは、モデルが構築するコンテキスト上の接続です。重量が重いほど、モデルはそれに依存します。では、何かをより多くの相関とコンテキストに置き換えると、モデルの精度は低下するのでしょうか?彼らのテスト結果によると、答えは驚くべきことに「ノー」です。 「LLM で LASER を使用して介入を行っているため、より多くの近似を行うにつれてモデル損失が増加することが予想されます。… 続きを読む…Source: The Verge
関連銘柄：マイクロソフト (MSFT)
