A primeira classede responsabilidadeem que o sistema decide
- Classe de risco
- Risco de IA
- Foco
- Modelos · Agentes · Autonomia
- Produtos relacionados
- NOVA
- Modelo operacional
- Verificar → Monitorizar → Prevenir → Recuperar → Segurar
As dificuldades do mercado tradicional
O seguro tecnológico de erros e omissões pressupõe um defeito que pode ser rastreado, reproduzido e corrigido. O comportamento de um modelo é emergente, sensível à distribuição e muitas vezes não reproduzível. O nexo de causalidade é contestado, a cadeia de responsabilidade abrange o programador do modelo, quem o implementa e quem o integra, e a perda pode ser reputacional, regulamentar e financeira em simultâneo. Subscrever este risco exige evidência de avaliação, não garantias.
É em torno distoque estruturamos.
Resultados erróneos e danos decorrentes de decisões
Prejuízo financeiro ou dano físico causado por resultados do modelo utilizados como base num processo em produção.
Ação de agentes autónomos
Exposição criada quando um sistema dispõe de acesso a ferramentas, poder de despesa ou capacidade de transacionar.
Integridade do modelo
Envenenamento de dados, injeção de instruções, extração de modelos e manipulação adversarial.
Propriedade intelectual e conteúdos
Reclamações de terceiros decorrentes dos dados de treino, dos resultados gerados e da sua distribuição a jusante.
Regulamentação e conformidade
Exposição ao abrigo dos regimes emergentes de IA, incluindo as obrigações aplicáveis a implementações de risco elevado.
Desempenho e disponibilidade
Degradação, desvio e falha de dependências nos sistemas em produção em que os clientes se apoiam.
O ciclo, aplicadoa esta classe.
- Verificar
Revisão da metodologia de avaliação, dos mecanismos de salvaguarda, do desenho da supervisão humana e dos limites de implementação.
- Monitorizar
Sinal contínuo sobre desvio, taxa de incidentes, âmbito da autonomia e alteração de modelo ou de fornecedor.
- Prevenir
Contenção acordada: limites de capacidade, critérios de escalonamento e condições de reversão.
- Recuperar
Resposta a incidentes que abrange a contenção técnica, a divulgação e a exposição a terceiros.
- Segurar
Transferência de risco calibrada pelo nível de autonomia efetivamente em operação em produção.
O que permanece sob observação uma vez assumido o risco.
- Nível de autonomia em produção
- Cadência de avaliação e red team
- Cobertura da supervisão humana
- Âmbito do acesso a ferramentas e do poder de despesa
- Taxa de alteração de modelo e fornecedor
- Telemetria de incidentes e quase-incidentes
- Estado da proveniência dos dados
- Programadores de modelos de IA
- Empresas que implementam sistemas agénticos
- Fornecedores de IA para saúde, direito e finanças
- Fornecedores de plataformas e infraestrutura
- Investidores que subscrevem carteiras de IA