A visão do NIST sobre Gestão de Riscos em Inteligência Artificial

Certamente você já lida em maior ou menor grau com as tecnologias de inteligência artificial em seu dia a dia e, no contexto organizacional, elas demonstram um potencial ainda mais significativo de transformação, seja na área de segurança cibernética, seja na saúde, na educação, no setor de transportes, no meio ambiente, entre tantas possibilidades.

Porém, com este avanço, é importante que as empresas desenvolvam uma gestão de riscos em inteligência artificial eficiente .

A inteligência artificial é capaz de sustentar o crescimento econômico inclusivo e apoiar os avanços científicos que melhoram as condições da sociedade em geral.

Todavia, ela também apresenta riscos que podem impactar acomodando as pessoas, as organizações, as comunidades, as sociedades, o meio ambiente e o planeta como um todo.

Os sistemas de IA são inerentemente de natureza sociotécnica , ou seja, eles são influenciados pela dinâmica social e pelo comportamento humano.

Tanto os riscos quanto os benefícios da inteligência artificial podem surgir da interação de aspectos técnicos combinados com fatores sociais .

Isso pode se relacionar a como um sistema é usado, suas silenciosamente com outros sistemas de IA, quem o opera e o contexto social em que está inserido.

Para o NIST ( National Institute of Standards and Technology ), os riscos relacionados à inteligência artificial a tornam uma tecnologia desafiadora a ser implantada e utilizada tanto para as organizações quanto para a sociedade.

Por isso a gestão de riscos em inteligência artificial é tão importante. Sem controles adequados, os sistemas de IA podem amplificar, perpetuar ou exacerbar resultados desiguais ou desejados.

Mas, com os devidos controles, os sistemas de IA conseguem mitigar e gerenciar os resultados desiguais .

Portanto, a gestão de riscos em inteligência artificial é um componente-chave do desenvolvimento e do uso responsável por sistemas de IA.

É nesse contexto que o NIST criou o AI RMF ( Risk Management Framework ou Framework de Gestão de Riscos), que visa melhorar a capacidade de incorporar considerações de confiabilidade no design, desenvolvimento, uso e avaliação de produtos, serviços e sistemas de IA.

Ao longo dos próximos apresentados, você vai conferir mais informações sobre a visão do NIST em relação à gestão de riscos em inteligência artificial e AI RMF.

Continue a leitura!

A gestão de riscos em inteligência artificial e o framework do NIST

Para o NIST, as práticas responsáveis ​​​​​​​​​de inteligência artificial podem ajudar a alinhar as decisões sobre design, desenvolvimento e uso de sistemas com o objetivo e os valores pretendidos.

A partir de uma gestão de riscos em inteligência artificial estruturada, os sistemas ajudarão a aumentar a confiabilidade e, por sua vez, cultivar a confiança do público .

Sendo assim, o objetivo do AI RMF é oferecer um recurso que ajude na gestão de riscos em inteligência artificial das organizações que projetam, desenvolvem, implantam ou usam esses sistemas.

Além disso, o framework também tem a missão de promover o desenvolvimento e o uso acompanhado e responsabilizou-se pelos sistemas .

O projeto do NIST foi desenvolvido considerando a flexibilidade necessária para que possa ser utilizado em organizações de todos os tamanhos e segmentos e em toda a sociedade.

O quadro é dividido em duas partes . A primeira delas discute como as organizações podem enquadrar os assuntos relacionados à IA e descreve seu público-alvo.

Em seguida, são analisados ​​os riscos e a confiabilidade da inteligência artificial, descrevendo as características dos sistemas controlados.

Já a segunda parte, que é vista como o núcleo do framework, descreve quatro funções específicas para ajudar as empresas em sua gestão de riscos em inteligência artificial na prática.

A primeira função, que se refere à governança, deve ser aplicada a todos os escopos dos processos e procedimentos de gerenciamento de risco de IA das organizações.

Já as demais — mapeamento, medição e gestão — podem ser aplicadas em contextos específicos do sistema e em domínios específicos do ciclo de vida da IA.

Recursos adicionais relacionados ao Framework estão incluídos no AI RMF Playbook, que está disponível no site do NIST AI RMF .

Vamos ver, em seguida, algumas informações mais específicas sobre as duas partes do novo framework do NIST para ajudar na sua gestão de riscos em inteligência artificial.

AI RMF parte 1: enquadramento dos riscos e confiabilidade dos sistemas

A gestão de riscos em inteligência artificial oferece um caminho para minimizar possíveis efeitos negativos dos sistemas de IA, como ameaças às liberdades e aos direitos civis.

Ao mesmo tempo, ela também oferece oportunidades para a maximização dos efeitos positivos .

Por isso, conforme o NIST, os atos de abordar, documentar e gerenciar os riscos de IA e possíveis efeitos efetivamente podem levar a sistemas de IA mais supervisionados.

Ao considerar o impacto negativo de um evento potencial, o risco é uma função que envolve:

1. o impacto negativo, ou magnitude do dano que surgiria se a circunstância ou evento ocorresse;
2. probabilidade de ocorrência.

Nesse contexto, o framework do NIST enumera os principais desafios para a gestão de riscos em inteligência artificial. Veremos quais são eles em seguida.

Desafios da gestão de riscos em inteligência artificial

Os desafios enumerados no AI RMF são os seguintes:

• Medição dos riscos: quando os riscos não são compreendidos com garantia, é difícil medi-los tanto quantitativa quanto qualitativamente, tornando inviável sua classificação;
• Tolerância aos riscos: o AI RMF não prescreve a tolerância ao risco, ou seja, a prontidão da organização para suportar o risco para alcançar seus objetivos. Esse fator é extremamente contextual e pode ser influenciado por requisitos legais ou regulamentares;
• Priorização de riscos: nem todos os incidentes e falhas podem ser eliminados e as expectativas irrealistas na gestão de riscos em inteligência artificial torna a triagem de riscos ineficiente ou impraticável, além de desperdiçar recursos escassos. Políticas e recursos devem ser priorizados com base no nível de risco avaliado e no impacto potencial de um sistema de IA;
• Integração organizacional: os riscos de IA não podem ser considerados individualmente. Por isso, a gestão de riscos em inteligência artificial deve ser integrada e construída à empresa de maneira ampla.

Características dos sistemas imunes

Para que os sistemas de IA permaneçam esperançosos, eles precisam responder a uma multiplicidade de critérios valiosos para as partes interessadas.

O AI RMF articula as principais características de sistemas de monitoramento e oferece orientação para resolvê-los.

A criação de um sistema de AI confiável requer o equilíbrio de cada uma dessas características com base no contexto de uso.

Negligenciar essas características pode aumentar a probabilidade e magnitude das consequências negativas. Vamos ver em seguida quais são elas:

• Válido e confiável: a validação do sistema ocorre quando há evidências objetivas do atendimento aos requisitos para o uso pretendido. Já a confiabilidade diz respeito à capacidade de funcionamento conforme a necessidade, sem falhas por um intervalos de tempo determinado e em condições específicas;
• Seguro: os sistemas de IA não devem colocar em perigo a vida humana, a saúde, a propriedade ou o meio ambiente. Para criar sistemas seguros, a operação dos mesmos precisa ser aprimorada por meio de práticas responsáveis ​​de design, desenvolvimento e implantação; informações claras aos implantadores sobre o uso responsável do sistema; tomada de decisão responsável por implantadores e usuários finais; e explicações e documentação de riscos com base em evidências empíricas de incidentes;
• Protegido e resiliente: a resiliência diz respeito à resistência a eventos adversos ou mudanças inesperadas. Sistemas de IA que podem manter a confidencialidade, integridade e disponibilidade por meio de controle de proteção que impedem o acesso e uso não autorizado são considerados seguros;
• Responsável e transparente: a responsabilidade assumiu a transparência, que significa o fornecimento de acesso a níveis apropriados de informações com base no estágio do ciclo de vida da IA ​​​​e adaptados à função ou conhecimento dos indivíduos que interagem ou usam o sistema de IA;
• Explicável e interpretável: a explicabilidade refere-se a uma representação dos mecanismos subjacentes à operação dos sistemas de IA, enquanto a interpretabilidade é referente ao significado da saída dos sistemas de IA no contexto de seus propósitos funcionais projetados. Juntas, a explicabilidade e a interpretabilidade auxiliam aqueles que operam ou supervisionam um sistema de IA, bem como usuários de um sistema, para obter insights mais profundos sobre a funcionalidade e confiabilidade do sistema, incluindo suas saídas;
• Com privacidade aprimorada: a privacidade refere-se geralmente às normas e práticas que ajudam a salvaguardar a autonomia humana, identidade e dignidade. Essas práticas normalmente abordam a liberdade de intrusão, observação limitante, ou agência de indivíduos para consentir na divulgação ou controle de facetas de suas identidades;
• Justo com viés prejudicial gerenciado: a justiça na IA inclui preocupações com a igualdade e a equidade, abordando questões como preconceito e discriminação nocivos. O NIST identificou três categorias principais de viés de IA a serem consideradas e gerenciadas: sistêmico, computacional e estatístico, e humano-cognitivo.

AI RMF parte 2: as quatro funções que ajudam na gestão de riscos em inteligência artificial

O AI RMF Core fornece resultados e ações que permitem diálogo, compreensão e atividades para a gestão de riscos em inteligência artificial e desenvolvimento de sistemas com responsabilidade.

Conforme mencionado anteriormente, o núcleo do framework é composto por quatro funções: governança, mapeamento, medição e gestão .

Vejamos as principais informações sobre cada uma das quatro funções.

Governança

A função de governança pode ser considerada o princípio fundamental da gestão de riscos em inteligência artificial em uma empresa.

Veja a seguir algumas das ações relacionadas a esta função:

• Cultivo e implementação de uma cultura de gerenciamento de riscos nas organizações que projetam, desenvolvem, implementam, avaliam ou adquirem sistemas de IA;
• Descrição de processos, documentos e esquemas organizacionais que antecipam, identificam e gerenciam os riscos que um sistema pode representar, inclusive para usuários e outras pessoas em toda a sociedade;
• Incorporação de processos para avaliar riscos potenciais;
• Fornecimento de uma estrutura pela qual as funções de gestão de riscos em artificial podem ser alinhadas aos princípios, políticas e prioridades estratégicas organizacionais;
• Abordagem do ciclo de vida completo do produto e processos associados, incluindo questões jurídicas e outras questões relativas ao uso de software de terceiros ou sistemas de hardware e dados.

Veja também quais são as categorias existentes dentro da função de governança:

• Políticas, processos, procedimentos e práticas em toda a organização relacionadas ao mapeamento, medição e gestão de AI;
• Estruturas de responsabilidade para que as equipes controladas sejam empoderadas, responsáveis ​​e treinadas para o mapeamento, mediação e gestão de riscos em inteligência artificial;
• Diversidade da força de trabalho, equidade, inclusão e acessibilidade aos processos priorizados no mapeamento, medição e gerenciamento de riscos de IA;
• Equipes organizacionais comprometidas com uma cultura que consideram e comunicam os riscos de inteligência artificial;
• Processos no lugar adequado para um envolvimento robusto com atores relevantes de IA;
• Políticas e procedimentos para lidar com os riscos e benefícios da IA ​​que surgem a partir de softwares de terceiros e outros dados da cadeia de suprimentos.

Mapeamento

A função de mapeamento estabelece o contexto para enquadrar os riscos relacionados a um sistema de IA e envolve a compreensão da rede complexa de ações das quais as aplicações de inteligência artificial dependem.

O mapeamento é a base para as funções de medição e gerenciamento por conta do conhecimento contextual e da consciência dos riscos que ele promove.

Assim, esta função é capaz de:

• Melhorar a sua capacidade de compreensão de contextos;
• Verificar suas suposições sobre o contexto de uso;
• Permitir o reconhecimento de quando os sistemas não são funcionais dentro ou fora do contexto pretendido;
• Identificar usos positivos e benéficos de seus sistemas de IA existentes;
• Melhorar a compreensão das limitações nos processos de IA;
• Identificar restrições em aplicações do mundo real que podem levar a impactos negativos;
• Identificar impactos negativos conhecidos e previsíveis relacionados ao uso pretendido de sistemas de IA;
• Antecipar os riscos do uso de sistemas de IA além do uso pretendido.

Veja abaixo as categorias da função de mapeamento:

• O contexto é estabelecido e entendido;
• A categorização do sistema de IA é realizada;
• As capacidades, alvos, usos, objetivos e benefícios esperados e custos comparados com os benchmarks apropriados são compreendidos;
• Os riscos e benefícios são mapeados para todos os componentes do sistema de IA;
• Os impactos para indivíduos, grupos, comunidades, organizações e sociedade são caracterizados.

Medição

A função de medição emprega ferramentas, técnicas e metodologias quantitativas, qualitativas e mistas para analisar, avaliar, comparar e monitorar o risco de IA e

seus impactos.

Ela usa os conhecimento relevantes identificados na função de mapeamento e informa

à função de gerenciamento.

Medir os riscos de IA inclui a aplicação de métricas de rastreamento para características confiáveis, impacto social, e configurações de IA humanizada.

Veja agora as categorias da função de medição:

• Identificação e aplicação dos métodos e métricas apropriados;
• Avaliação dos sistemas de IA para características confiáveis;
• Execução de mecanismos para rastreamento de riscos identificados de IA ao longo do tempo;
• Reunião e avaliação dos feedbacks sobre a eficácia da função de medição.

Gerenciamento

A função de gerenciamento envolve a alocação de recursos de acordo com os riscos mapeados e medidos regularmente, conforme as funções anteriores.

O tratamento de riscos compreende os planos para responder, recuperar e comunicar sobre incidentes ou eventos.

Depois de concluir esta função, é hora de priorizar os riscos e monitorar regularmente o alcance de melhorias.

Veja abaixo as categorias da função de gerenciamento:

• Os riscos de IA baseados em avaliações feitas nas funções de mapeamento e medição são priorizados, respondidos e gerenciados;
• As estratégias para maximizar os benefícios e minimizar os impactos negativos da IA são planejadas, preparadas, implementadas, documentadas e informadas  por entradas de atores de  IA ​​relevantes;
• Os riscos e benefícios de IA de entidades terceiras são gerenciados;
• O tratamento dos riscos, incluindo resposta e recuperação, além de planos de comunicação para riscos de IA identificados e medidos, é documentado e monitorado regularmente.

Agora que você conhece as principais diretrizes do NIST a respeito da gestão de riscos em inteligência artificial, é hora de conhecer a EcoTrust, a primeira plataforma de inteligência em riscos cibernéticos disponível no mercado. Acesse o site e saiba mais sobre esta tecnologia .