生成AIエンジン特集
他の生成AIエンジンの検証プログラム(AACGPB)のご案内 (随時更新)
弊社ご提案の社内GPB(生成AIナレッジシステム)は弊社生成AIエンジン必要要件を満た
すLLM(大規模言語モデル)として、最初にChatGPTの開発会社であるOpenAI社を選びました。
そしてOpenAI版AACGPB(AAC生成AI検証プログラム)を作成し、7月中旬にはそこそこの
回答精度が得られるようになりました。
その直後、Meta社が生成AIエンジンであるLLAMA2を発表しました。
弊社も情報収集を始めました。
本特集では、お客様に生成AIナレッジシステム導入時の生成AIエンジンの選択が出来る
よう、OpenAI社以外の生成AIエンジンについて可能性を追及させて戴きます。
また、今後、OpenAI、Meta以外でも弊社生成AIエンジン必要要件にマッチする生成AIエン
ジンがリリースされ次第、AACGPBを新しい生成AIエンジンに対応させ、お客様の選択肢
を増やして行きたいと思います。
更に、これまではプロンプトを文章で与えて、文章を生成させる前提でしたが、生成AIエン
ジン又は関連製品の機能及び製造業ニーズに応じて、画像等のマルチモーダル対応も
視野に入れていきたいと考えています。
マルチモーダルの調査は弊社の生成AI着手(今年2月)以来進めていますが、生成AIナレ
ッジシステムとしてはLLAMA2発表直後の7月21日から開始しています。
一部のお客様には既に個別にご案内させて戴いていますが、今後は本特集頁で公開して
本腰を入れて進めて参ります。
2023年8月10日
*******************************************
2023年7月21日 AACGPB LLAMA版の調査開始
お客様向けに生成AIエンジンの選択肢を増やす為に、OpenAI以外についても調査開
始していました。
公開情報の回答精度はこれまでも他の生成AIエンジンの検証もしていますが、OpenAI
同等レベルのAACGPB(生成AIナレッジシステムの検証プログラム)の実現性について
進めて参ります。
先ずは7月18日に発表され、APIがあると思われるMeta
LLAMA調査を開始しました。
これまでのAACGPBはOpenAI社のみを進めて参りましたが、今後は常に同じ質問によ
る回答精度の比較が出来るように、当面はLLAMA2の情報収集や協力会社推進も進
めて参ります。
*******************************************
2023年10月8日 AAC生成AIナレッジシステム(GPB)との適性
これまで有力な生成AIエンジンの調査・検証をして参りましたが、ここでGPBにとっての
適性について述べさせて戴きます。
適性としては回答結果について、以下の評価軸で判断するのが良いと考えます。
1 回答精度
2 回答網羅性
3 回答拡張性
4 回答最適性
5 回答性能
以下に、各々について説明させて戴きます。
1 精度
回答精度です。
質問に対して、社内情報や特定情報等の独自学習データやLLMの公開情報の回
答の正確性の評価軸です。
これは高いことが求められますが、低い場合は生成エンジンの向き・不向きの判
断、学習方法や問合せ方法の改善等が必要と考えられます。
2 網羅性
回答網羅性です。
質問に対して、学習データをどこまで網羅した回答が得られるかの評価軸です。
目的とした回答が得られるのは無論ですが、質問の仕方によっては学習データを
出来るだけ幅広く網羅して欲しいものです。
3 拡張性
回答拡張性です。
質問に対する回答が学習データ内で納まる場合は学習データ次第になりますが、
学習データ内に含まれない回答が求められる場合の評価軸です。
GPBは社内情報や特定情報等の独自学習を前提にしていますが、質問の回答が
独自学習で足りない場合に公開情報(LLM)への拡張部分も参照して回答する仕組
でもあります。
4 最適性
回答最適性です。
欲しい回答が得られるかどうかの評価軸です。
簡単に申しますと「ここまでの回答を返してくれるのか」と思えるような回答です。
5 性能
回答性能(回答時間)です。
起動時間や質問してから回答が完了するまでの回答時間の評価軸です。
上記のような回答内容がある程度良好である前提になりますが、これらの所用時間
は業務効率に直接影響するので、生成AI業界で最も浸透している、OpenAI社の
ChatGPTが事実上の基準になると思われます。
無論、サーバやクライアント等のハードウェアやネットワーク等のITインフラの性能
にも関係しすますが、利用者にとっては実務での有益性が前提になるので、最適な
環境を提供することが肝要となります。
弊社では、生成AI特集でもご説明させて戴いた生成AIナレッジシステムの生成AIエン
ジンとしての必要事項と共に、上記のような評価軸も弊社のお客様への参考情報とし
て個別にご提供させて戴きます。