2023年7月17日 回答精度が94%に達成してGPB実用性の見通しが立ちました。
製造業の各部門で使用する社内情報(8種類、6拡張子)から、生成AIとして運用する
場合の質問事項を320個作成しており、これまで回答精度向上に務めて参りましたが、
回答精度が94%になった為、実用性有と判断しました。
質問の種類は
1 学習させた基本的な質問
2 学習させた応用編1(特定ファイルからの抽出)
3 学習させた応用編2(複数ファイルからの抽出)
4 類似内容でファイル形式認識
5 学習させていない情報
の5種類です。
回答の判定は
◎ 上出来 質問したことや学習データを超えるアドバイスも含んでいること。
○ 正解 質問したことが学習データ範囲で正しく回答されること。
△ 今一 間違いではないが、充分でもない。
× 不正解 学習データと矛盾する。
✖ 意味不明 質問を理解していない、日本語で回答が返って来ない。
の5段階です。
全質問を個別に行って、回答精度を5段階評価し、○以上を集計した結果が93.8%
(約94%)になった為、生成AIとしては合格点と判断しました。
これによって、生成AIで天下が取れる見通しが立ちました。