Diana Camões
Assessora na Assembleia da República
Mestre em Direito Internacional e Europeu
A Discriminação Algorítmica na Era do Constitucionalismo Digital é a recente obra de sua autoria. Obra publicada pelo Grupo Almedina e disponível no mercado a partir do dia 13 de Março de 2025.
A Inteligência Artificial (“IA”) é a nova realidade. O seu desenvolvimento sem precedentes revolucionou o atual contexto económico, social, político e cultural. Atualmente, praticamente todas as atividades carecem da sua utilização, o que leva ao surgimento de problemas complexos e desafia a compreensão humana. Os processos de recrutamento passaram a ser realizados por meios automatizados, a banca recorre à IA para avaliar a solvabilidade dos consumidores, as entidades empregadoras, em momentos de dificuldade, recorrem a algoritmos para saber que trabalhadores devem ser despedidos e as escolas começaram a implementar sistemas automatizados no ensino. A realidade mudou e o quotidiano atual carece de uma reestruturação.
Durante muitos anos, sob uma aparência de objetividade, criou-se a convicção de que os sistemas de IA adotariam decisões justas e não discriminatórias. Porém, os algoritmos, à semelhança dos seres humanos, também discriminam. Tal leva-nos ao surgimento de um novo problema: a discriminação algorítmica. Estas não são realidades abstratas e longínquas, encontrando-se, nos nossos dias, a afetar o dia a dia dos cidadãos.
Mencionemos, a título de exemplo, o caso Amazon[i]. Em 2018, a empresa pretendia usar um algoritmo destinado a aferir os candidatos mais ajustados ao perfil de contratação pretendido. Os dados introduzidos no algoritmo tinham em conta os trabalhadores da empresa nos dez anos anteriores. Sucede-se que, neste período de tempo, a maioria tinham sido homens. Consequentemente, o algoritmo começou a associar aptidões profissionais ao género masculino, levando a que candidatas femininas fossem prejudicadas durante o processo de recrutamento. Os currículos que apresentaram expressões associadas ao sexo feminino (por exemplo, “capitã de voleibol”) e o nome de universidades com nomenclaturas femininas receberam classificações inferiores, inviabilizando as suas hipóteses de contratação. Este caso corresponde à típica discriminação algorítmica, caracterizada pelo enviesamento e falta de representatividade dos dados de input. Se a maioria dos trabalhadores foram homens, e aprendendo o algoritmo a valorizar características masculinas, as candidatas femininas serão desvalorizadas no processo de recrutamento.
Não podíamos deixar de mencionar o “Dutch childcare benefit scandal[ii]”, que levou à demissão do Governo dos Países Baixos. In casu, o Governo procedeu à utilização de um algoritmo destinado a aferir se os benefícios sociais foram atribuídos de maneira fraudulenta. Como consequência, muitas famílias foram acusadas de fraude, tendo os serviços fiscais cancelado os apoios sociais e exigido a respetiva devolução retroativa dos diversos montantes, incluindo os respetivos juros de mora. Os critérios usados para aferir a possibilidade da existência de “fraude” foram a raça, o grupo étnico e a capacidade económica. Descobriu-se que o output do algoritmo foi discriminatório, já que as famílias de determinadas minorias sociais foram especialmente afetadas.
As decisões adotadas por sistemas de IA não são melhores nem piores do que as decisões humanas: são apenas diferentes. Por isso, os casos de discriminação algorítmica levam a que se repense o atual enquadramento jurídico nacional.
Poderia, a priori, concluir-se pela aplicação imediata do Direito Antidiscriminação. A questão não é, no entanto, linear, já que o enquadramento legal apresenta demasiados obstáculos à sua aplicação no contexto algorítmico, sobretudo ao nível da discriminação direta e indireta. Contrariamente às situações discriminatórias normais, o output de um algoritmo não terá, em princípio, um caráter individualizado, podendo ser replicado em diversas situações. Estamos, assim, diante uma discriminação pouco intuitiva, abstrata e difícil de detetar.
Os desafios tecnológicos implicam uma mudança de paradigma. A União Europeia (“UE”), nos últimos anos, tem encetado esforços no sentido de promover uma regulação do meio digital. O Regulamento da Inteligência Artificial[iii] é, à semelhança do Regulamento Geral sobre a Proteção de Dados[iv] (“RGPD”), um dos maiores marcos legislativos. A sistematização ao nível do risco implicará um esforço redobrado para responsáveis pela implantação, distribuidores, importadores e fornecedores para efeitos do Regulamento. Os diferentes atores terão de se adaptar às novas obrigações impostas. O legislador estabeleceu um regime baseado no risco, de forma a evitar a rápida desatualização do diploma. Mais relevante, na nossa ótica, é a sistematização dada aos Sistemas de Inteligência Artificial de Risco Elevado.
O Regulamento poderá constituir um mecanismo eficaz para mitigar situações de discriminação algorítmica. Saliente-se a obrigação de dados e governação de dados, na qual se prevê, no artigo 10.º, n.º 5, do Regulamento, que “os sistemas de IA de risco elevado que utilizem técnicas que envolvam o treino de modelos com dados devem ser desenvolvidos com base em conjuntos de dados de treino, validação e teste que cumpram os critérios de qualidade”. Mais especificamente, e para detetar a existência de práticas discriminatórias, prevê-se a possibilidade de, excecionalmente, serem tratadas categorias especiais de dados, nos termos do artigo 9º, nº 1, do RGPD, sempre que tal seja estritamente necessário para assegurar a deteção e a correção de enviesamentos negativos, conquanto sejam assegurados os parâmetros de segurança necessários. Embora tal crie dificuldades de compatibilização com o RGPD, não deixa de ser um primeiro passo importante, considerando que os dados de input são uma das principais causas de discriminação.
A supervisão humana, como definida pelo Artigo 14.º, assumirá uma enorme relevância antes da entrada no mercado ou em serviço (“fase de desenvolvimento”) e durante a sua utilização (“fase da utilização”). Esta supervisão humana tem como objetivo diminuir o impacto dos riscos para a saúde, bem como promover a segurança e o respeito pelos direitos fundamentais, sempre que o sistema de IA seja utilizado em conformidade com a sua finalidade prevista ou em condições de utilização indevida razoavelmente previsível.
O aspeto mais positivo passa por se considerar todo o ciclo de vida do sistema, incluindo o momento da criação, até à sua implantação. Tal permitirá criar os mecanismos adequados para tutelar as situações de discriminação algorítmica. Neste sentido, e não se ignorando os principais desafios, o Regulamento IA será relevante para abordar os casos de discriminação algorítmica.
Não se ignora a necessidade de articulação com o RGPD. No final do dia, os sistemas de IA carecem de dados e, em várias circunstâncias, teremos uma aplicação cumulativa de ambos os diplomas. O RGPD, com todos os seus defeitos, é essencial para garantir a proteção dos titulares dos dados neste contexto digital e, sempre que possa ser identificado um tratamento de dados pessoais que leve à sua aplicação, tal não deverá ser desconsiderado no momento de reação.
A realidade, nos últimos anos, mudou. Vivemos uma era caracterizada pelo constitucionalismo digital, onde os poderes estatais são colocados perante desafios nunca antes experienciados. O digital constitui o novo fórum público e determinados atores privados detêm na sua esfera a possibilidade de exercerem poderes quase ilimitados que, no século passado, seriam exercidos pela soberania estatal. O futuro é incerto e, na tecnologia, o tempo é tudo.
Casos como o da Amazon ou do Escândalo dos Países Baixos poderão voltar a acontecer. O progressivo desenvolvimento dos sistemas de IA fará com que, no futuro, as decisões sejam menos adotadas por seres humanos. O desenvolvimento da tecnologia não é negativo, mas cabe aos intérpretes e aplicadores da lei repensar o futuro. Antecipar problemas e arranjar soluções. A monografia “A Discriminação Algorítmica na era do constitucionalismo digital” procura desbravar, numa obra pioneira em Portugal, a problemática da discriminação algorítmica, esperando-se que se possa promover o necessário debate no nosso país.
[i] https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK0AG/
[ii]https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-for-europe-over-risks-of-using-algorithms/
[iii] Regulamento (UE) 2024/1689 do Parlamento Europeu e do Conselho, de 13 de junho de 2024, que cria regras harmonizadas em matéria de inteligência artificial e que altera os Regulamentos (CE) n.° 300/2008, (UE) n.° 167/2013, (UE) n.° 168/2013, (UE) 2018/858, (UE) 2018/1139 e (UE) 2019/2144 e as Diretivas 2014/90/UE, (UE) 2016/797 e (UE) 2020/1828 (Regulamento da Inteligência Artificial).
[iv] Regulamento (UE) do Parlamento Europeu e do Conselho de 27 de abril de 2016 relativo à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais e à livre circulação desses dados e que revoga a Diretiva 95/46/CE.