生成AIの台頭により、業務の効率化が実現するとともに、メディアの在り方や、企業と生活者の接点のつくりかたをも変えるような大きなインパクトが予測されます。マーケターは、これらの技術をどのように受け入れ、業務に生かしていけばよいのでしょうか。11回目は、大規模なサーバーも不要で、学習やチューニングに必要な時間やコストが比較的軽い「軽量LLM」について解説します。
LlaMA3の登場 国内勢のFugaku-LLMも奮闘
先日、新たにChatGPT-4oがリリースされた。これまでと比較し、格段に生成速度が向上している。また、何度か紹介しているClaudeも、長文を受け付ける点で見逃せない。今回は、日々進化を続けるこれらのAIサービスに対して、私たちの手元で動かせるLLMについて、解説したい。
LLMなど、一般に深層学習で用いられるニューラルネットワークにおいては、モデルは膨大な数のパラメータを持つ。このパラメータは重みやバイアス（“傾き”や“切片”のこと）を持ち、データからパターンを学習し、予測を行うために最適化される。
このパラメータ数が大きいほうが、表現力が大きく、性能が良いことが多いため、昨今は大規模な計算資源（特にNVIDIAのGPU）の獲得競争になっている側面がある。
先日、東京工業大、東北大、理化学研究所、名古屋大、サイバーエージェント、Kotoba Technologies、富士通からリリースされたFugaku-LLMは13B、すなわち130億のパラメータを持っている。また、従来の日本語向けLLMでは海外で開発されたLLMに継続学習で日本語データを学習させることが多かったのに対し、…
あと80％
