著者：

Data & AI ストラテジック・パートナーシップ プロダクト・マネジメント ディレクター マリアム・アショリ（Maryam Ashoori）

Watson プロダクト・マーケティング　リンジー・ワーショー（Lindsay Wershaw）

InstructLab for watsonx.ai シニア・プロダクト・マネージャー スハス・カシャップ（Suhas Kashyap）

生成AIには、創造的・分析的プロセスを自動化し、強化する能力があるため、世界中の多くの産業に大きな変化をもたらしていることは間違いありません。McKinsey社によると、生成AIは世界経済を4兆ドル拡大させる可能性があります。生成AI、特に大規模言語モデル (LLM) の出現により、多大な機会と効率性が促進されています。しかし、組織が生成AIプロジェクトを本番環境で効果的に使用し、拡張させるための成功への道は、それほど簡単ではないことがわかってきています。

言語モデルの次のイテレーション

AIの拡大には、企業、人材、インフラストラクチャー、およびデータへの投資が必要です。LLMを学習するための高品質なデータ・セットが、これまで以上に必要とされる時代になりつつあります。多くの企業は、独自のデータを使用してモデルを適応・チューニングして、モデルに自社のビジネス言語を教えようとしています。さらに、モデル・アーキテクチャーも変化しています。外部メモリーに依存するモジュール化が進んでいます。そのため、組織はマルチ・モデル・アプローチを採用し、ユースケースに応じて、オープンソースか商用かにかかわらず、さまざまなモデルと連携できる柔軟性とモジュール性を求めています。

ガバナンスは、必要不可欠です。モデルの信頼性、透明性、エンドツーエンドの説明可能性を管理・監視する必要があり、これには、ハルシネーション、バイアス、ドリフトなどの確認のために、モデルを追跡することも含みます。最後に、エンドツーエンドのタスク自動化により、消費者が生成AIアプリケーションと対話したりチャットしたりする主要なエクスペリエンス・レイヤーとして、AIエージェントが登場しています。

これらすべての変化おいて、「どのように遅れずについていけばよいか？」という共通の疑問があります。最新の知識とスキル不足によって、LLMは定期的に古くなる可能性があるため、AI開発者がオープンな単一のLLMに効果的に貢献し、強化する方法はあまり知られていません。私たちは、今日のLLMが真にコミュニティー主導ではないことに気付いてきました。また、コミュニティー主導の開発の恩恵を最大限に享受しようとしても、オープンな場で既存のLLMに貢献し、強化するための明確な道筋がありません。

その結果、開発者は、異なる専門分野に対応する、単一のLLMの様々なバリアントを作成することになりました。標準が欠如しているため、今日の「オープンソースLLM」の多くは、サイロ化された貢献によるモノリシックな開発に悩まされる可能性があります。次に何が起こるのかや、必要なタスクに最適なモデルを学習・チューニングする方法を誰も知らないのです。IBMは、オープンで真の共創的モデル開発を可能にし、誰もがAI構築を民主化できるようにするための、より良い道筋があると信じています。

InstructLabの紹介：モデルのカスタマイズの創造的破壊

単一のオープンソース・モデルを起源とする複数のバリアントという課題を克服するために、IBM ResearchはLAB (Large-Scale Alignment for ChatBots) という新しい手法を発表しました。現代のチャットボットの背後にあるLLMは、大量の非構造化テキストで事前学習されています。これにより、アラインメント段階でラベル付きのインストラクションを見ると、多くの新しいタスクをすばやく学習できます。ただし、質の高いインストラクション・データを作成することは困難であり、コストもかかります。そのため、このLABの手法では、タクソノミーに基づく合成データ生成を使用することで、LLMの学習に関するいくつかの課題を克服することを狙いました。これこそが、IBM ResearchとRed Hat ®によるオープンソース・プロジェクトであるInstructLabを導入した理由です。InstructLabは、スキルと知識の学習を通じた言語モデル開発をコミュニティー主導のアプローチで実現するために、LAB手法に基づいて構築されています。

InstructLabは、LLMの共創的カスタマイズとチューニングを行うための新しい方法を提供します。チャットボットに実行させたいタスク用の合成データを体系的に生成し、モデルがすでに学習したことを上書きすることなく、新しい知識や機能を基盤モデルに同化させます。InstructLabの学習技術により、通常のLLMの学習よりも短時間、低コストでLLMを改善することができます。このコミュニティー・エンゲージメントを強化するために、開発者は、プロジェクトのLLMを学習するためのシード・コンピューティングとインフラストラクチャーにアクセスできます。モデルは、Red Hatが全体調整し、週単位で受理されたすべてのコミュニティーからのコントリビューションを統合し、継続的に更新・リリースされます。

LABアライメント・モデルは、最先端のチャット・パフォーマンスを実現

IBM社内のベンチマークテストによると、watsonx.aiで提供するIBM Granite-chat-13B-v2モデルのMT-Benchスコアでは、InstructLab手法により優れたパフォーマンスを示しています。IBM Researchは、Mistral 7Bを元に構築されたオープンソースのLLM MerliniteにInstructLab手法を適用した場合、MT-BenchとMMLU (5ショット) で高いスコアを達成したことも明らかにしています。

開発者は、watsonx.aiを通じて、InstructLabでチューニングされた一連の言語モデルとオープン・コード・モデルにアクセスできます。これには、InstructLabで学習された4つの言語モデル(granite-7b-lab、merlinite-7b、granite-20b-multilingual、granite-13b-chat-v2)に加えて、コード生成やコード修正を含む幅広いコーディング・タスクで優れたパフォーマンスを発揮する4つの最先端のオープン・コード・モデル（granite-3b, granite-8b, granite-20b and granite-34b）が含まれます。

IBMとRed Hatは、InstructLabプロジェクトを通じて、Apache 2.0ライセンスの下、オープンソース・ライセンスのGraniteの言語モデルとコード・モデルをリリースしました。Red HatからRHEL AIの商用ライセンスを定期購入するか、watsonx.aiのInstructLabモデルとツールキットにアクセスすることで、お客様はオープンソース・ライセンスのGranite言語モデルとコード・モデルにアクセスできます。これらはRed Hatによってサポートされ、補償されます。例えば、IBMのgranite-7b English language modelは、InstructLabコミュニティーに完全に統合され、watsonx.aiから直接アクセスできるようになりました。他のオープンソース・プロジェクトと同様に、開発者は新しいスキルや知識を提供して、これらのモデルを共同で強化することができます。

watsonx.aiは、InstructLabのモデル・チューニングを支える知識、スキル・データ、タクソノミーを探索できる「Taxonomy Explorer」と呼ばれる新しいインタラクティブな可視化ツールも導入しています。

生成AIの未来の構築に向け、共創的な言語モデルの強化用プラットフォームを提供

IBMは、watsonx.aiのモデル戦略を継続的に進化させ、企業の開発者やライン部門 (LoB)のリーダーがAIアプリケーションの開発を加速できるよう支援しています。これには、急速に進化するデジタル環境で成功するために、生成AI機能、ツール、プラットフォームを拡張するオープンなハイブリッドクラウドのフルスタック・アプローチが必要です。watsonx.aiでは、事前に組み込まれた生成AIパターンを使用して直感的で共創しやすい開発スタジオ環境を構築し、本番環境レベルのワークロードに不可欠なエンタープライズ機能を統合しています。例えば、企業の開発者は、モデル、ツール、SDK、ノートブック、API統合、ランタイムを使用して、本番環境に対応したAIアプリケーションの開発を最適化し、AIアプリケーションを大規模にデプロイすることができます。

IBMでは、お客様が新しいスキルと知識によって、より柔軟にモデルを選択・強化できるように、AIに関するオープン・イノベーション・エコシステムの拡大を推進しています。ハイブリッド・モデル／マルチ・モデル戦略の一環として、Meta社やMistral AIなどの戦略的パートナーが提供するサードパーティー・モデル、Hugging Faceから厳選したオープンソース・モデル、Bring Your Own Model (BYOM)、IBMが開発し、IP補償が備わった分野固有の独自モデル、Red Hat社がライセンスするIBMがオープンソース化したInstructLabコード・モデルおよび言語モデルを組み合わせて提供します。スペイン政府との最近の戦略的協業において強調されているように、IBMの「オープン、マルチ・モデル、多言語」という戦略が具現化しつつあります。これは、スペイン語および他の公用語に堪能な大規模言語モデルと小規模言語モデルの両方を含む、世界をリードする基盤モデル・スイートを構築することを目的としています。

Red Hatとの緊密なパートナーシップを通じて、将来的には、RHEL AIの基盤モデルランタイムエンジンから、サポートされているInstructLabアライメントCLIをwatsonx.aiに直接組み込む予定です。エンドツーエンドの開発者AIワークフローをサポートし、独自のビジネスデータを使用することで、モデルを新しいスキルと知識に迅速に適応させることができるようになります。これにより、watsonx.ai内のオープンでカスタマイズされたInstructLabトレーニング済みモデルのより迅速なデプロイ、チューニング、カスタマイズが容易になり、マシン、デバイス、エンドアプリケーション、ビジネス・プロセスにわたってモデルをスケーリングできるようになります。さらに、組織はwatsonxプラットフォームの他の部分とネイティブな環境で統合することにより、クラウドまたはオンプレミス環境全体で、データリネージュ、ストレージ、ライフサイクルガバナンスを伴って、AIソリューションを構築、拡張、管理できるようになります。

当報道資料は、2024年5月21日（現地時間）にIBM Corporationが発表したブログの抄訳をもとにしています。原文はこちらを参照ください。