Por que a AI pode acabar mandando as pessoas erradas para a prisão?

Da Redação IDGNow!

24 de janeiro de 2019 - 16h30

 

Algoritmos usam estatísticas para encontrar padrões nos dados; Mas usar dados históricos para treinar ferramentas de avaliação de risco pode levar aos mesmos erros do passado

Durante a conferência Data for Black Lives, que aconteceu no MIT Media Lab na última semana, tecnólogos, especialistas jurídicos e ativistas comunitários discutiram sobre o sistema de justiça criminal dos Estados Unidos. Lá, um algoritmo já consegue determinar os próximos passos de uma pessoa.
Os EUA aprisionam mais pessoas do que qualquer outro país do mundo, reporta o MIT Technology Review. No final de 2016, quase 2,2 milhões de adultos estavam detidos em prisões, e outros 4,5 milhões estavam em outras instalações correcionais. Sob imensa pressão para diminuir o número de presos sem aumentar o número de crimes, os tribunais recorreram a ferramentas automatizadas nas tentativas de misturar os réus através do sistema legal da maneira mais eficiente e segura possível.
Segundo a reportagem do MIT, os departamentos de polícia têm usado algoritmos preditivos para criar estratégias sobre onde enviar seus policiais. Agências de aplicação da lei usam sistemas de reconhecimento facial para ajudar a identificar suspeitos. Essas práticas são uma prova para saber se de fato melhoram a segurança ou simplesmente perpetuam as desigualdades existentes. Pesquisadores e defensores dos direitos civis, por exemplo, demonstraram repetidamente que os sistemas de reconhecimento facial podem falhar, particularmente para negros. Mas houve o caso em que o sistema  de reconhecimento facial da Amazon, o Rekognition, confundiu membros do Congresso Americano com criminosos condenados.
O caso é controverso. As ferramentas de avaliação de risco são projetadas para fazer uma coisa: incluir os detalhes do perfil de um réu e citar uma pontuação de reincidência - um único número que estima a probabilidade de ele ou ela reincidir. Um juiz então avalia essa pontuação em uma infinidade de decisões que podem determinar que tipo de serviços de reabilitação os réus específicos devem receber, se devem ser mantidos presos antes do julgamento, e quão severas devem ser suas sentenças. Uma pontuação baixa abre o caminho para uma decisão mais leve. Mas a pontuação alta faz exatamente o oposto.
A lógica para usar essas ferramentas algorítmicas é que, se for possível prever com precisão o comportamento criminoso, poderá alocar recursos de acordo, seja para reabilitação ou para sentenças de prisão. Em teoria, também reduz qualquer tendência que influencie o processo, porque os juízes estão tomando decisões com base em recomendações baseadas em dados e não em seu instinto.
Porém, os algoritmos de aprendizado de máquina usam estatísticas para encontrar padrões nos dados. Então, ao alimentar os dados históricos do crime, ele selecionará os padrões associados ao crime. Mas esses padrões são correlações estatísticas - nem de perto as causais. Se um algoritmo descobriu, por exemplo, que a baixa renda estava correlacionada com a alta reincidência, não ficaria mais claro se a baixa renda realmente causava o crime. Mas é precisamente isso que as ferramentas de avaliação de risco fazem: elas transformam insights correlativos em mecanismos de pontuação causal.
Agora, populações que têm sido historicamente desproporcionalmente atingidas pela aplicação da lei correm o risco de serem atingidas por altos índices de reincidência. Como resultado, o algoritmo poderia amplificar e perpetuar vieses embutidos e gerar dados que alimentam um ciclo vicioso. Como a maioria dos algoritmos de avaliação de risco é proprietária, também é impossível interrogar suas decisões ou responsabilizá-las.
O debate sobre essas ferramentas está em alta. Em julho passado, mais de 100 organizações de direitos civis e organizações comunitárias, incluindo a ACLU e a NAACP, assinaram uma declaração instando contra o uso da avaliação de risco. Ao mesmo tempo, mais e mais jurisdições e estados tiveram um esforço descomunal para consertar as prisões efetuadas assim como as prisões sobrecarregadas.
A avaliação de risco baseada em dados é uma maneira de sanear e legitimar sistemas opressivos, disse Marbre Stahly-Butts, diretora executiva da Law for Black Lives, no palco da conferência. É uma maneira de desviar a atenção dos problemas reais que afetam as comunidades de baixa renda e das minorias, como escolas desfavorecidas e acesso inadequado a cuidados de saúde.

Fonte: IDGNow!