生成AIを広告制作の現場で導入する際に押さえておくべきこととは。生成AIやxR領域でのテクニカルディレクションに携わる岡田太一さんが解説する。
群雄割拠のLLM勢力図、台風の目は?
大規模言語モデル(LLM/Large Language Model)の研究は多数のプレイヤーが参入する群雄割拠の時代に突入していますが、その中でも主要なプレイヤーとして、OpenAI、Google、Metaが挙げられます(図1)。
OpenAIの開発したChatGPT(GPT-3、3.5、4)はこれまでも紹介してきましたが、こちらはWebサービスまたはAPI提供のみのクローズドなLLMになります。同じくGoogleも以前より開発していたPaLM2というモデルを使って、Bardというチャットサービスを試験公開中ですが、こちらもChatGPTと同じくクローズドなLLMとなっています。
一方、Metaが開発するLLMがLlamaです。Llamaは7B(70億)~65B(650億)のパラメータ数で学習されています。これはOpenAIのGPT-3(175Bパラメータ)に比べると大変小さなモデルで、学習に必要なコンピューティングリソースを大幅に節約できます。
MetaはLlamaのデータセットこそ公開していませんが、学習済みモデルを公開(※1)しており、学習環境、推論環境などオープンなエコシステムが展開されています。その結果、オープンソースのLLM研究では、Llamaおよびその派生モデルを用いた研究が急速に広がっています。この動向は、以前紹介したStable Diffusionでも見られたもので...