Líneas rojas. 

Ninguna Defensoría o institución miembra de la FIO utilizará inteligencia artificial de manera que:

1. Exponga la privacidad de las personas atendidas.

No se ingresarán datos que identifiquen, directa o indirectamente, a personas atendidas por las defensorías e instituciones miembras de la FIO, incluso denunciantes, víctimas, sobrevivientes o niñas, niños y adolescentes, ni datos sensibles de la institución, en herramientas que no garanticen su confidencialidad, usen los datos para entrenamiento o los cedan a terceros. Tampoco se utilizará la IA para la vigilancia masiva de personas ni para inferir sus estados mentales o emociones, ni para tratar sus datos neuronales. 

2. Sustituya la escucha activa.

No se reemplazará por un sistema automatizado la entrevista, o escucha activa de personas en situación de vulnerabilidad. La IA utilizada por las Defensorías y otras instituciones miembro de la FIO no dará apoyo emocional, ni imitará emociones humanas ni se presentará como si fuera una persona, en especial ante niñas, niños y adolescentes y personas adultas mayores.

3. Decida quejas.

No se emitirán sin revisión humana resoluciones, recomendaciones ni dictámenes, ni se admitirán, rechazarán o archivarán quejas. La decisión es siempre humana, fundamentada y atribuible a una persona identificada. La IA puede apoyar el análisis, pero nunca reemplazará la responsabilidad final de las personas ni su obligación de rendir cuentas.

Recomendaciones regionales:

Se recomienda que las Defensorías e instituciones miembro de la  FIO 

1. Adopten una norma institucional sobre IA.

La norma puede ser una política o protocolo o de otra naturaleza, que defina los usos permitidos, los usos con salvaguardias, los usos prohibidos, las personas responsables y las consecuencias del mal uso. Debe ser pública y revisarse periódicamente. 

2. Garanticen la protección de datos en todo el ciclo de vida de los sistemas de IA.

Antes de insertar datos en sistema de IA, anonimizar en el origen y utilizar entornos seguros y controlados, con privacidad desde la concepción y evaluaciones del impacto en la privacidad. Siempre que sea posible, preferir infraestructura propia o estatal, en ejercicio de la soberanía sobre los datos. Ningún dato identificable debe ingresar en herramientas no autorizadas por la institución.

3. Exijan supervisión y control humano significativo.

Todo resultado de IA que se use en un documento oficial, petición, o una decisión debe ser verificado contra las fuentes y asumido por una persona. La IA es una herramienta de apoyo y no sustituye el criterio profesional del personal ni su responsabilidad final.

4. Establezcan una cadena clara de responsabilidad, una vía de reclamo y mecanismos de reparación.

Es importante que las Defensorías definan quién responde por los contenidos generados con IA. La responsabilidad recae siempre, en última instancia, en personas físicas o jurídicas, nunca en el sistema de IA. Las personas afectadas deben contar con un mecanismo accesible para reclamar o impugnar, conocer los motivos de la decisión y obtener su revisión y la reparación de los daños.

5. Capaciten de forma permanente.

Las personas que trabajan en las Defensorías deben recibir capacitación sobre los riesgos, límites y la verificación de resultados de sistemas de IA. La capacitación se actualizará de forma continua e incluirá educación en derechos en la era digital, así como trato humano empático. Siempre que posible, y de acuerdo con sus capacidades, las Defensorías promoverán capacitación en derechos humanos en la era digital para las personas atendidas.

6. Garanticen atención humana y accesibilidad.

Mantener siempre un canal humano y alternativas no digitales, respetando a quienes no desean o no pueden utilizar tecnologías digitales. La IA debe adaptarse al contexto cultural de cada país, con atención en los idiomas nacionales y en las lenguas indígenas, y ser accesible para las personas con discapacidad, para no ampliar la brecha digital.

7. Evalúen el impacto ético y en los derechos humanos antes de adoptar un sistema institucionalizado de IA.

La evaluación será proporcional al riesgo e incluirá un enfoque en no discriminación y de género, interseccional y territorial, con atención a posibles sesgos según la ubicación geográfica de las personas usuarias y a los derechos de las personas marginadas y vulnerables o en situación de vulnerabilidad. Contará con la participación de las comunidades afectadas, será transparente. Si el uso puede vulnerar derechos humanos, el sistema no se adoptará. Se repetirá durante todo el uso del sistema.

Observación

Las presentes líneas rojas y recomendaciones constituyen un piso mínimo común de protección de los derechos humanos en el uso de la inteligencia artificial por las Defensorías e instituciones que forman parte de la FIO. En ningún caso podrán interpretarse como una limitación o reducción de las garantías existentes. Cuando las normas nacionales o los marcos institucionales establezcan estándares de protección más elevados, prevalecerán siempre las disposiciones más favorables a la protección de los derechos humanos, de conformidad con el principio pro persona.

Sobre las Líneas Rojas y Recomendaciones

Las presentes líneas rojas y recomendaciones son fruto de un proceso de diálogo, reflexión y construcción colectiva impulsado por la Federación Iberoamericana del Ombudsperson (FIO), en colaboración con la Defensoría Pública de la Unión (DPU) de Brasil. Con el propósito de promover una participación amplia y plural, se convocó a todas las instituciones Ombudsperson que forman parte de la FIO a una serie de tres seminarios virtuales participativos, que contaron con un promedio de 40 participantes por sesión. Entre el primer y el tercer encuentro se enviaron tres cuestionarios, que reunieron más de 130 respuestas de personas de instituciones de diversos países. El primero permitió mapear los usos actuales de la inteligencia artificial, sus riesgos y los obstáculos para su adopción; el segundo recogió propuestas de reglas, salvaguardias y líneas rojas. A partir de esos insumos se elaboraron borradores, sobre los cuales las personas participantes dieron su retroalimentación mediante consultas en tiempo real durante los seminarios. En las sesiones se discutieron también la Recomendación de la UNESCO sobre la Ética de la Inteligencia Artificial y otros instrumentos regionales e internacionales, que sirvieron de referencia para la redacción de los textos. 

Proposta regional da FIO sobre o uso da inteligência artificial nas Defensorias e instituições membras da FIO

Linhas vermelhas

Nenhuma Defensoria ou instituição membra da FIO utilizará inteligência artificial de modo que:

1. Exponha a privacidade das pessoas atendidas.

Não serão inseridos dados que identifiquem, direta ou indiretamente, pessoas atendidas pelas Defensorias e instituições membras da FIO, incluindo denunciantes, vítimas, sobreviventes ou crianças e adolescentes, nem dados sensíveis da instituição, em ferramentas que não garantam sua confidencialidade, que utilizem os dados para treinamento ou que os compartilhem com terceiros. Tampouco será utilizada IA para a vigilância em massa de pessoas, para inferir seus estados mentais ou emoções, ou para tratar seus dados neurais.

2. Substitua a escuta ativa.

A entrevista ou a escuta ativa de pessoas em situação de vulnerabilidade não será substituída por um sistema automatizado. A IA utilizada pelas Defensorias e demais instituições membras da FIO não prestará apoio emocional, não imitará emoções humanas nem se apresentará como se fosse uma pessoa, especialmente diante de crianças, adolescentes e pessoas idosas.

3. Decida sobre reclamações.

Não serão emitidas resoluções, recomendações ou pareceres sem revisão humana, nem serão admitidas, rejeitadas ou arquivadas reclamações sem essa revisão. A decisão será sempre humana, fundamentada e atribuível a uma pessoa identificada. A IA poderá apoiar a análise, mas nunca substituirá a responsabilidade final das pessoas nem sua obrigação de prestar contas.

Recomendações regionais

Recomenda-se que as Defensorias e instituições membras da FIO:

1. Adotem uma norma institucional sobre IA.

A norma poderá assumir a forma de política, protocolo ou outro instrumento, definindo os usos permitidos, os usos sujeitos a salvaguardas, os usos proibidos, as pessoas responsáveis e as consequências do uso indevido. Deverá ser pública e revisada periodicamente.

2. Garantam a proteção de dados durante todo o ciclo de vida dos sistemas de IA.

Antes de inserir dados em sistemas de IA, deverão realizar sua anonimização na origem e utilizar ambientes seguros e controlados, com privacidade desde a concepção e avaliações de impacto sobre a privacidade. Sempre que possível, deverão dar preferência à infraestrutura própria ou estatal, em exercício da soberania sobre os dados. Nenhum dado identificável deverá ser inserido em ferramentas não autorizadas pela instituição.

3. Exijam supervisão e controle humano significativo.

Todo resultado produzido por IA que seja utilizado em documento oficial, petição ou decisão deverá ter suas fontes verificadas e assumido por uma pessoa responsável. A IA é uma ferramenta de apoio e não substitui o julgamento profissional das pessoas que trabalham na instituição nem sua responsabilidade final.

4. Estabeleçam uma cadeia clara de responsabilidades, canais de reclamação e mecanismos de reparação.

É importante que as Defensorias definam quem responde pelos conteúdos gerados com IA. A responsabilidade recairá sempre, em última instância, sobre pessoas físicas ou jurídicas, nunca sobre o sistema de IA. As pessoas afetadas deverão contar com um mecanismo acessível para apresentar reclamações ou impugnações, conhecer os fundamentos da decisão, obter sua revisão e a reparação dos danos.

5. Promovam capacitação permanente.

As pessoas que trabalham nas Defensorias deverão receber capacitação sobre os riscos, os limites e a verificação dos resultados dos sistemas de IA. A capacitação será atualizada continuamente e incluirá educação em direitos na era digital, bem como atendimento humano e empático. Sempre que possível, e de acordo com suas capacidades, as Defensorias promoverão capacitação em direitos humanos na era digital para as pessoas atendidas.

6. Garantam atendimento humano e acessibilidade.

Manter sempre um canal de atendimento humano e alternativas não digitais, respeitando as pessoas que não desejam ou não podem utilizar tecnologias digitais. A IA deverá ser adaptada ao contexto cultural de cada país, com atenção aos idiomas nacionais e às línguas indígenas, e ser acessível às pessoas com deficiência, de modo a não ampliar a exclusão digital.

7. Avaliem os impactos éticos e sobre os direitos humanos antes de adotar um sistema institucionalizado de IA.

A avaliação será proporcional ao risco e incluirá uma abordagem de não discriminação, de gênero, interseccional e territorial, com atenção a possíveis vieses relacionados à localização geográfica das pessoas usuárias e aos direitos de pessoas marginalizadas, vulneráveis ou em situação de vulnerabilidade. Contará com a participação das comunidades afetadas e será transparente. Se o uso puder violar direitos humanos, o sistema não será adotado. A avaliação deverá ser repetida durante todo o período de utilização do sistema.

Observação

As presentes linhas vermelhas e recomendações constituem um patamar mínimo comum de proteção dos direitos humanos no uso da inteligência artificial pelas Defensorias e instituições membros da FIO. Em nenhuma hipótese poderão ser interpretadas como uma limitação ou redução das garantias existentes. Quando as normas nacionais ou os marcos institucionais estabelecerem padrões mais elevados de proteção, prevalecerão sempre as disposições mais favoráveis à proteção dos direitos humanos, em conformidade com o princípio pro persona.

Sobre as Linhas Vermelhas e Recomendações

As presentes linhas vermelhas e recomendações são fruto de um processo de diálogo, reflexão e construção coletiva promovido pela Federação Ibero-Americana de Ombudsperson (FIO), em colaboração com a Defensoria Pública da União (DPU) do Brasil. Com o objetivo de promover uma participação ampla e plural, todas as instituições membras da FIO foram convidadas a participar de uma série de três seminários virtuais participativos, que contaram com uma média de 40 participantes por sessão. Entre o primeiro e o terceiro encontro, foram enviados três questionários, que reuniram mais de 130 respostas de pessoas vinculadas a instituições de diversos países. O primeiro permitiu mapear os usos atuais da inteligência artificial, seus riscos e os obstáculos à sua adoção; o segundo reuniu propostas de regras, salvaguardas e linhas vermelhas.A partir dessas contribuições,  foram elaboradas versões preliminares dos textos, sobre as quais as pessoas participantes apresentaram comentários e sugestões por meio de consultas em tempo real durante os seminários. Nas sessões, também foram discutidas a Recomendação da UNESCO sobre a Ética da Inteligência Artificial e outros instrumentos regionais e internacionais, que serviram de referência para a elaboração dos textos.