モデル · エージェント · 自律
システム自体が判断する、はじめての責任分野
AIの系はソフトウェアのようには壊れません。確率的に、分布の裾で失敗し、そして行為します。モデルに道具と予算と実行の権限が与えられたとき、エクスポージャーは専門職業賠償責任から離れ、運用上の責任に近いものへ移ります。1Bはその移りかわりを引き受けます。
- リスク分類
- AIリスク
- 対象
- モデル · エージェント · 自律
- 関連プロダクト
- HUMANO-SURE · NOVA
- 運用モデル
- 検証 → 監視 → 予防 → 復旧 → 保険
モデルの挙動
アクティベーション · ドリフト · テールエクスポージャー · 自律度
隔たり
既存市場が苦戦する理由
テクノロジーE&Oは、追跡し、再現し、修正できる欠陥を前提にします。モデルの挙動は創発的で、分布に敏感で、しばしば再現しません。因果は争われ、責任の連鎖はモデル開発者、運用者、統合者にまたがり、損害は評判、規制、財務のすべてに同時に及びえます。引き受けるには、口約束ではなく評価の証拠が要ります。
エクスポージャーの面
何を軸に組み立てるか。
プログラムの形を決めるリスクの面です。補償は取引相手ごとに組み立てられます。これは地図であって、約款ではありません。
誤った出力と判断による損害
稼働中のプロセスで依拠されたモデル出力によって生じた財務的または物理的な損失。
自律エージェントの行為
系が道具へのアクセス、支出権限、または取引する能力を持つときに生じる露出。
モデルの完全性
データ汚染、プロンプトインジェクション、モデル抽出、敵対的操作。
知的財産とコンテンツ
学習データ、生成された出力、その下流での配布から生じる第三者請求。
規制とコンプライアンス
高リスクの運用に付随する義務を含む、形成途上のAI規制のもとでの露出。
性能と可用性
顧客が依拠する本番系における性能劣化、ドリフト、依存先の障害。
1Bはここでどう動くか
この分類に当てた五つの循環。
同じ五つの段階を、このリスク分類が実際に生む証拠に合わせて較正しています。
- 検証
評価手法、ガードレール、人を介在させる設計、そして運用の境界を精査します。
- 監視
ドリフト、事故率、自律の範囲、モデルまたは提供者の変更について継続的なシグナルを得ます。
- 予防
合意された封じ込め。能力の上限、エスカレーション条件、そして巻き戻しの要件。
- 復旧
技術的な封じ込め、開示、第三者への露出を含むインシデント対応。
- 保険
本番で実際に働いている自律の水準に合わせて較正したリスク移転。
継続的なシグナル
リスクを引き受けたあと、観測し続けるもの。
- 本番における自律の水準
- 評価とレッドチームの頻度
- 人による監督の網羅範囲
- 道具と支出権限の範囲
- モデルと提供者の変更頻度
- 事故とヒヤリハットのテレメトリ
- データ来歴の状態
対象
- AIモデルの開発者
- エージェント型システムを運用する企業
- 医療、法務、金融のAI事業者
- プラットフォームとインフラの提供者
- AIポートフォリオを引き受ける投資家