- DataRobotがAIプラットフォームに監視機能を新たに追加
- 性能向上と生成AIアプリケーションのリスクを抑制
- データの品質と話題の流れをチェックする新診断機能
DataRobotは、生成型AIアプリケーションのデプロイを望む企業に向けて、大規模言語モデル(LLMs)のリスクを抑制する新機能をAIプラットフォームに導入しました。
有害コンテンツの発生や機密データの流出、さらには「幻覚」と呼ばれる事象への懸念が高まる中、新たに強化されたAI監視能力は企業の信頼性の問題を解決することを目指しています。
特に、生成AIシステムやチャットボットを構築する企業が、これらのシステムの挙動が不確かなため実運用に踏み切れないという課題に対応します。
AIプラットフォームへのアップデートは、いくつかの予設定されたガードモデルを使用しており、これによりユーザー入力のスキャンや不適切なLLM出力の検知が可能となります。
有害な出力や個人情報の漏えいを防ぐための新しいアラートポリシー、問題の視覚的なトラブルシューティングや回答のトレースバック向けの新しい方法、データの品質や話題の流れをチェックする新診断機能などが導入されています。
DataRobotのCTOであるMichael Schmidt氏は、顧客からの最も大きな問題が信頼性の差であると述べ、新たなガードライブラリがプロンプトの注入、毒性の検出、個人情報の検知、幻覚の緩和といった問題に対応するガードモデルを提供すると語りました。
AIプラットフォーム内の新しい機能は、生成AIアプリケーションの終端としてのガードレールと機能し、信頼できる応用のための安全策が提供されます。
さらに、新リリースには、GenAIアプリケーションの改善に役立つ新たなフィードバックメカニズムも含まれており、顧客体験から得られるフィードバックを基にモデルの最適化が可能です。
おい、これさぁ、AIが勝手に人の情報バラしたりヘンなこと言わないようにするってことかい？ どうやってそんなことするの？
はい、その通りです。DataRobotは新しい機能を追加して、生成AIが不適切な内容や個人情報を出さないようにしています。ユーザーの入力を監視して、問題があれば警告するシステムですね。品質チェックや、何かあったときにどうしてそうなったのかを追いかけられる機能もあるんですよ。
それでね、DataRobotって会社が生成型AI向けに安全策を新たに加えたんだ。
具体的にはね、企業が自分たちのAIアプリを安全に使えるように、いろんなリスクを事前に抑え込める監視ツールを用意したわけ。
ユーザーが入力したものをしっかりチェックして、もし不適切な出力がありそうならアラートを出すシステムさ。
これでね、AIが変なこと言ったり、個人情報を漏らすのを未然に防ごうってわけ。
さらに、何かトラブルがあったときの原因追求にも役立つ診断ツールも新たに生まれたんだよ。
これでさ、モデルをどんどん良くして、もっと安心して使えるAI環境を作れるってことになるんだね。