AACGPB特集 (AAC
GenerativeAI Pretrained knowledge and Brains(GPB) の
検証プログラム(AACGPB)のご案内 (随時更新)
弊社では、業種・業態に関係なく、特定目的のナレッジを事前に学習させて質疑応答する
仕組を、生成AIの新しい活用分野として推進して参ります。
2023年年明けからChatGPTの情報収集を開始し、自分でもChatGPTを使い、8年前の
2015年からの構想(情報材料を与えて最適回答を自動生成してくれるAI)が実現出来る
感触が得られ、2023年6月現在、これまでに色々な検証を重ねて参りました。
弊社の生成AIに関する取組は、
「ChatGPTをどう使うか」は全く考えておらず、
「生成AIエンジン及びAPIを使って、如何に究極のナレッジシステムを作るか」
のみです。
実際にChatGPTを使ってみて、更に構想が具体化し、先ずは仕組として実現出来るのか
(実現性)、使えるのか(有用性)を検証する為に、
PLMデータを学習させる想定での実現性・有用性の検証プログラム(AACGPB)
を作り始めておりました。
これまで、社内及び一部のお客様にご案内させて戴いていましたが、ここに至って、実現
性・有用性の見通しが立ちましたので、AACGPB(検証プログラム)の状況について公開に
踏み切りました。(社内専用環境なので、インターネット環境では使えません。)
ここでは、弊社検証プログラム(AACGPB、アアクジーピービー)の進捗状況、検証状況
について共有させて戴き、ご興味を持って戴ける製造業様、一緒にやって戴けるパートナ
ー様のご連絡をお待ちしております。
(先ずは弊社要件を満たしているOpenAI社APIから)
生成AIエンジンは次々に発表、リリースされています。
弊社では生成AIエンジンを選べるようにし、途中で変更する場合に、それまでのリソースを
出来るだけ無駄にしないよう、出来るだけモジュール化するように心掛けています。
場合によっては、運用中に複数の生成AIエンジンが選択出来るようにとも考えています。
本書を読んで戴いたお客様には、社内調整の上、プロジェクト化を検討して戴きますよう
お願い申し上げます。
2023年6月28日
*******************************************
2023年4月1日 検証プログラム(AACGPB)作成の検討開始
製造業の究極のナレッジシステムを前提にしている為、
Q1 どんなデータを学習させて
Q2 どんな質問を想定し
Q3 どんな回答を期待するのか
の構想を整理しました。
その結果、例として、
A1 PLMデータ、保守情報、ノウハウ情報を学習させ
A2 設計業務で新規開発や流用設計をする時の課題を質問して
A3 課題解決の為のヒントを得る
という方針に決めました。
これらの方針の元に、検証プログラムの作成を開始しました。
飽くまで検証プログラムである為、操作性は全く考えておらず、ひたすら質問と回答と
いう、回答精度の向上に努めて参ります。
但し、製造業、建設業を軸足にはしていますが、仕組としては汎用なので、業種に関係
なく、全ての業種で活用可能です。
*******************************************
2023年6月1日 検証プログラム(AACGPB)の詳細仕様調整
学習データはPLMのDBから抽出する想定で架空の製造業の会社を設定し、社内情報
として用意した学習データを学習させることにしました。
PLMの学習データ項目は、品番や図番というユニークキーに、品名や材料等の属性
を追加し、図面も意識して設計者、検図者、承認者等も入れました。
*******************************************
2023年6月10日 AACGPB 1.0
PLMデータを学習させた言語モデル及び検証プログラムの第1弾が出来ました。
回答精度はまだまだ改善の余地がありますが、仕組としては実現可能であることが確
認出来ました。
学習データにご興味ある製造業の方は、個別にお送りしますので、お申し付け下さい。
*******************************************
2023年6月28日 AACGPB 2.0
回答精度を向上させるやり方に変更して、かなりの回答精度向上になりました。
回答内容についても内部で参照しているChatGPTの回答レベルに近付いて来ました。
また、4月1日に決めた”課題解決の為のヒントを得る”という段階にもなりました。
ご興味ある製造業の方には使用した学習データを個別にお送りさせて戴くので、
「こんな質問をしてみたい」
というご質問をお待ちしています。
例えば
「品番AACPART001の材料を変更して更に強度の高い材料にするにはどうしたらい
いですか?」
のような、生成AI特集のユースケースにあるような質問です。
学習データはPLMの情報(非公開情報)であり、属性情報の集合なので”強度の高い”
という情報は入っていません。
これによって、学習データ(非公開情報)及びGPTモデル(公開情報)が参照されている
ことが確認出来ます。
PLM学習データはCSVにして20行のテキストファイルですので、容量は殆ど気になら
ないサイズです。
今後、状況に応じて増やして行く可能性もありますが、先ずは、基本的な仕組として参
考にして戴けますと幸甚でございます。
まだ検証段階なので、最適な回答かどうかはわかりませんが、本日版の言語モデル
及びプログラムでの回答をお返しすることは可能です。
学習データにご興味ある製造業の方は、個別にお送りしますので、お申し付け下さい。
*******************************************
2023年6月30日 AACGPB 3.0
学習データの範囲をCSVから文章テキストファイルに拡張しました。
これによって、学習データの幅が、CAD、PLM、文書管理等の属性項目を持つDBを持
ったシステムのデータ(CSVのみ)から、一気に管理システムが参照している文書ファイ
ル、管理されていない文書ファイル(文章テキストファイル)にも適用範囲が広がったこ
とになります。
例えば、設計部門の設計仕様書、生産部門の各種ドキュメントファイル、品証部門の
トラブル対応報告書、議事録等です。
例えば、
「品番AACPART001に関する過去のトラブルを教えて下さい」
という質問に対して回答が可能です。
検証プログラムは弊社内環境でしか動かないので、試して見られたいお客様は
1 個別に学習データを送らせて戴き、質問を送って戴き、回答を返送させて戴く。
2 事前に学習データを送らせて戴き、Web会議ツールで画面共有させて戴く。
等の方法でご確認戴くことが可能です。
是非、ご相談下さいますようお願い申し上げます。
*******************************************
2023年7月2日 AAC生成AIナレッジシステム AACGPB 3.0の検証例
現在、以下のような検証を行っています。
1 追加学習させた社内情報の範囲で質疑応答が正しく出来ること。
2 GPT3.5言語モデルの両方を参照した質疑応答が出来ること。
3 ChatGPT本体とAACGPBの質疑応答比較して回答に矛盾がないこと。
等です。
以下は検証結果の例です。(上記3項目の順番です)
=====質問1
質問:
品番AACPART001に関する過去のトラブルを教えて下さい。
回答:
AACGPBの場合
品番AACPART001に関する過去のトラブルは、エンジンの寸法に問題があり、エンジン
ルームに入らないという問題が発生しました。現在の長手方向は500ミリであり、498ミ
リ
以下に変更が必要であるとされました。この問題は、設計部に連絡し、エンジンの長
手方向を495ミリに設計変更することで解決されました。生産技術部に連絡して金型を
変更し、製造し直した結果、車両品質管理部で合格したと報告されています。
=====
これらからわかることは、
該当する社内の品質管理報告書を参照して、要約した最適な回答が出来ている。
ということです。
=====質問2
質問:
品番AACPART001の材料を変更して更に強度の高い材料にするにはどうしたらいいで
すか?
回答:
AACGPBの場合
品番AACPART001の材料を変更して更に強度の高い材料にするには、鉄からより強
度の高い材料に変更する必要があります。具体的な材料の選択は、使用目的や要件
によって異
なりますが、例えば特殊鋼やチタンなどの強度の高い材料を検討すること
ができます。また、材料の変更に伴い設計や製造プロセスの変更も必要になる場合が
ありますので、 それにも注意が必要です。
=====
これらからわかることは、
材料の種類はPLMからの学習データに入れているので参照されていますが、”強度”
の情報は学習データにないので公開情報が参照されています。
非公開情報(機密情報)と公開情報の両方が参照された回答になっている。
ということです。
=====質問3
質問:
品番AACPART001に関する過去のトラブルを教えて下さい。
回答:
AACGPBの場合(上記と同じ)
品番AACPART001に関する過去のトラブルは、エンジンの寸法に問題があり、エンジン
ルームに入らないという問題が発生しました。現在の長手方向は500ミリであり、498ミ
リ
以下に変更が必要であるとされました。この問題は、設計部に連絡し、エンジンの長
手方向を495ミリに設計変更することで解決されました。生産技術部に連絡して金型を
変更し、製造し直した結果、車両品質管理部で合格したと報告されています。
=====
ChatGPTの場合
申し訳ありませんが、私は過去のトラブルや特定の品番に関する情報を保持していま
せん。私はGPT-3.5モデルであり、2021年9月までの情報を元にトレーニングされてい
ますので、最新の特定の品番のトラブル情報にはアクセスできません。トラブルに関す
る情報は、製品または部品を提供している企業やメーカーに直接お問い合わせいただ
くか、関連する業界の専門家に相談することをお勧めします。申し訳ありませんが、よ
り具体的なお手伝いができなくて残念です。他に何かお手伝いできることがありますで
しょうか?
=====
これらからわかることは、
過去のトラブル情報は社内の品質管理報告書を学習させているので参照されていま
すが、公開されている情報ではないのでChatGPTは矛盾せず正しい回答をしている。
ということです。
まだまだ改善が必要ですが、2015年の”最適回答自動生成AI”の実現見通しが立ち
1 ”生成AIナレッジシステム”の構想、
2 検証プログラム(AACGPB)構想、
3 学習データ(現在はPLM、ノウハウ情報、品質情報)の作成、
4 検証プログラムの作成、
5 検証プログラムの検証
と着実に進んでいます。
上記につき製造業、建設業、他機密情報の多い会社様のご連絡をお待ちしています。
*******************************************
2023年7月3日 AACGPBのデモ環境
AACGPB(AAC生成AIナレッジシステム検証プログラム)のデモ環境が出来ました。
現在のデモ環境は開発環境が必要であり、目的も
質問に対する回答精度の検証なので、ユーザインターフェースは殆ど考えていません。
対面又は画面共有でお見せすることは可能です。(
実現性、有用性のみの検証です)
標準デモは以下を想定しているので、デモご要望の方は弊社までお問合せ下さい
ますようお願い致します。
前提条件
1 弊社生成AI特集をご覧戴いていること。(デモでは割愛させて戴きます)
2 弊社生成AIナレッジシステム概説書をご覧戴いていること。(非公開、デモ割愛)
デモ手順
1 AACGPB(3.0)での実現内容のご説明。
2 学習データのご説明。
3 AACGPBの質疑応答の実演。(必要に応じてChatGPTでも同じ質疑応答も)
4 皆様から学習データを想定して、AACGPBへの質問を戴きます。(あれば)
5 全体的なご質問(あれば)
その他
1 事前に学習データがご入用の方はご相談下さい。
2 デモ環境はデモ内でご説明させて戴きます。
3 実演時、皆様のお手元のChatGPTで同じ質問をして戴いても結構です。
これらのデモを通じて、お客様内でプロジェクト化のご検討を開始して戴けますと
幸甚でございます。
弊社にて課題整理から、必要に応じてBPR、学習データ整理、社内GPBプロト開発
ご支援、検証・評価、特定部署試験運用、他部署展開、全社展開、運用支援等、
プロジェクトの全工程にてご支援させて戴きます。
*******************************************
2023年7月7日 AACGPB 4.0
既存ファイルを直接学習出来るようになりました。
これまで、追加学習のファイル形式はcsvに始まり、txtまででしたが、以下のファイ
ル形式が
Word(docx)
Excel(xlsx、全シートが対象)
PowerPoint(pptx)
PDF(文字として認識出来る範囲)
これによって、合計6種類のファイル形式に対応出来るようになり、txtに変換する
手間がなくなったので、追加学習させる時の作業効率化にもつながります。
*1 古い形式の場合(doc、xls、ppt)は新形式にアップグレードしてから学習させ
て下さい。(現時点では)
*2 画像のPDFやTiff等のラスターデータは、現時点ではOCR機能が必要なの
で、予め市販製品で文字認識出来る形式に変換して下さい。(現時点では)
*3 今後の課題は、回答精度の更なる向上です。
回答精度は学習データ、生成AIエンジン及びAPI機能、APIの使い方、プロンプト
の書き方等に依存しますが、本テーマ(究極の生成AIナレッジシステム)にとっ
て、製造業事業部門(主に設計、生産、品証)ユーザ様に最大限役立つツール
になるよう心掛けています。
*******************************************
2023年7月10日 AACGPB 4.1
回答精度が向上しました。
まだAACGPBも発展途上ではありますが、公開情報についてはChatGPTとの比較が
出来る程度になりました。
AACGPBも公開情報はChatGPTを内部で参照していますが、社内情報と合成される
と、公開情報だけでも回答は一致しないようです。
ここでは、整合性が取れているか、矛盾がないか、その他の問題がないかも確認して
います。
また、AACGPB、ChatGPT、Bing、Bard等に同じ質問をした時の回答精度にも注力し、
OpenAI以外のAPIが出来た時の準備に備えて参ります。
(いずれも記録を残しています)
今後は、これらのノウハウを基に、個別のお客様の生成AIナレッジシステムの構築に
生かして参ります。
*******************************************
2023年7月17日 AACGPB 4.2
回答精度が更に向上しました。
4.1での回答精度は75%でしたが、4.2では93%まで改善しました。
まだ改善の余地はあり、現在も改善中です。
テスト項目は基本的な質疑応答、やや実用的な質疑応答、実際想定される質疑応答
など、現在316項目をテストしており、マイナーバージョンアップ時も正常系、異常系
含めた網羅的な検証をしています。
また、従来の同じ質問におけるChatGPTの質疑応答検証に加えて、他のリリース済の
生成AIサービスの質疑応答検証も追加検証して記録しています。
弊社生成AIナレッジシステムはAPI完備の生成AIエンジンであれば対応可能なアーキ
テクチャーにしてあり、オンプレ/クラウド含めて、選択肢の幅を増やして、お客様毎に
ベストなコンサルティング、構築ご支援をご提案させて戴きます。