Microsoftの新しい安全システムは顧客のAIアプリの幻覚をキャッチできる

図: The Verge Microsoft の責任ある AI 担当最高製品責任者である Sarah Bird 氏は、The Verge のインタビューで、彼女のチームはテストのためにレッド チームのグループを雇っていない Azure の顧客にとって使いやすいいくつかの新しい安全機能を設計したと語った。彼らが構築した AI サービス。 Microsoft によれば、これらの LLM を利用したツールは、プラットフォーム上でホストされているモデルを使用している Azure AI の顧客に対して、潜在的な脆弱性を検出し、「もっともらしいがサポートされていない」幻覚を監視し、悪意のあるプロンプトをリアルタイムでブロックできると述べています。 「顧客全員がプロンプト インジェクション攻撃やヘイト コンテンツに関する深い専門知識を持っているわけではないことを私たちは知っています。そのため、評価システムは、この種の攻撃をシミュレートするために必要なプロンプトを生成します。その後、顧客はスコアを取得して結果を確認できます」と彼女は言います。これは、有名人のあからさまな偽物 (Microsoft の Designer 画像ジェネレーター)、歴史的に不正確な画像 (Google Gemini)、またはツインタワーに向かって飛行機を操縦するマリオ (Bing) など、望ましくない、または意図しない反応によって引き起こされる生成 AI 論争を避けるのに役立ちます。 。
Source: The Verge

ニューストップ