Recentemente, a congressista norte-americana Alexandria Ocasio-Cortez disse que a IA pode ser tendenciosa durante um evento do dia de Martin Luther King Jr. em Nova York. Ela foi obviamente ridicularizada no dia seguinte por comentaristas conservadores.Mas ela está certa.Joy Buolamwini, cientista do MIT e fundadora da Algorithmic Justice League, publicou uma pesquisa que revelou grande viés racial e de gênero em sistemas de IA vendidos por gigantes da tecnologia como IBM, Microsoft e Amazon. Dada a tarefa de adivinhar o gênero de um rosto, todas as empresas tiveram um desempenho substancialmente melhor em rostos masculinos do que em rostos femininos. As taxas de erro não foram superiores a 1% para homens de pele mais clara, enquanto que para mulheres de pele mais escura, os erros aumentaram para 35%. Quando encarregados de classificar os rostos de Oprah Winfrey, Michelle Obama e Serena Williams, os sistemas falharam.Licença: Joy Buolamwini - Mit Lab Press KitEssas tecnologias estão hoje penetrando em todas as camadas da sociedade. Decisões como determinar quem é contratado, demitido, concedido um empréstimo, ou quanto tempo um indivíduo passa na prisão têm sido tradicionalmente realizadas por seres humanos. Hoje, eles são feitos rapidamente por algoritmos ou pelo menos algoritmos são usados ​​no processo de tomada de decisão para tais tarefas.Algoritmos de aprendizado de máquina peneiram milhões de dados e fazem correlações e previsões sobre o mundo. Seu apelo é enorme: as máquinas podem usar dados concretos para tomar decisões que às vezes são mais precisas do que as de um ser humano.Licença: Joy Buolamwini - Mit Lab Press KitA visão computacional é usada no policiamento, ou seja, identificando suspeitos na multidão. A Palantir, uma empresa fundada pelo bilionário da tecnologia e doador do Trump, Peter Thiel, tem usado suas tecnologias de previsão de policiamento em Nova Orleans nos últimos seis anos: esse programa era tão secreto que até mesmo os membros do conselho não sabiam nada sobre isso. A Amazon está vendendo departamentos de polícia em um sistema de reconhecimento facial em tempo real que falsamente igualou 28 membros do congresso com fotos. O problema com esses sistemas é que, embora sejam eficazes em tarefas gerais, geralmente retornam um alto número de falsos positivos (em estatística, um falso positivo é quando um teste estatístico retorna um erro Tipo I, como um teste de HIV resultando positivo em um erro Paciente HIV-negativo). Combine isso com preconceito racial, e nós temos um sistema de policiamento racista, independentemente de quem está usando.A influência do viés está presente em muitos outros tipos de dados também. Por exemplo, uma aplicação direta de Aprendizado de Máquina, em que os computadores superam os humanos, é a aprovação de empréstimos. As instituições financeiras aproveitam os dados históricos para treinar seus algoritmos em milhões de registros, permitindo-lhes capturar padrões nos dados que melhor identificam as características dos solicitantes de hipotecas.O problema é que os algoritmos podem aprender muito. Suponha que Thokozane seja um brilhante estudante de pós-graduação de um bairro pobre de Soweto que tem trabalhado regularmente nos últimos anos, tem um histórico de crédito limpo e finalmente decidiu pedir um empréstimo para comprar sua primeira propriedade. De acordo com todos os critérios tradicionalmente usados ​​pelos bancos para avaliar a qualidade de crédito de alguém, sua inscrição deve ser aprovada. O algoritmo, no entanto, tem outro plano. Ficou sabendo, entretanto, que os candidatos do mesmo bairro pobre do TK foram, nos últimos anos, tiveram a maioria de seus pedidos rejeitados por causa de registros de crédito ruins, renda disponível insuficiente e assim por diante. Então, a aplicação da TK é surpreendentemente rejeitada. Em outras palavras, o algoritmo aprendeu um viés implícito.TK está, é claro, razoavelmente chateado com isso, e decide pedir uma explicação ao banco, já que ele alega que o algoritmo discriminou racialmente contra ele. O banco, é claro, responde que isso não é possível, já que os algoritmos foram intencionalmente cegos para a raça dos candidatos (essa suposição é otimista). No entanto, o problema é que, embora alguns algoritmos como o DecisionTrees possam permitir que um auditor descubra se as informações de endereço foram usadas para penalizar os candidatos que nasceram ou residiam em áreas predominantemente pobres, outros algoritmos como o Deep Learning são muito mais sofisticados e tendem a ser uma “caixa preta” para a inspeção externa, e pode ser quase impossível entender por que, ou mesmo como, uma determinada decisão foi tomada.Em 2017, um artigo foi publicado na Science, que descobriu que, como um computador ensina inglês, torna-se preconceito contra americanos negros e mulheres. Usando dados “raspados” da web chamados de “Common Crawl”, um corpus contendo aproximadamente 840 bilhões de palavras, mostra que as máquinas podem aprender associações de palavras de textos escritos e que essas associações espelham aquelas aprendidas pelos humanos, como agradabilidade e flores ou desagrado e insetos. Por enquanto, tudo bem. Mas também mostra que o aprendizado de máquina absorve vieses estereotipados tão facilmente quanto qualquer outro - por exemplo, associações entre nomes femininos e nomes familiares e masculinos e carreira. De mal a pior, os pesquisadores descobriram que os nomes associados ao fato de serem europeus americanos eram significativamente mais facilmente associados a termos agradáveis ​​do que desagradáveis, em comparação com alguns nomes afro-americanos.Um computador constrói seu vocabulário usando dados de frequência ou com que frequência os termos aparecem juntos. Por isso, descobriu-se que na Internet, os nomes afro-americanos são mais propensos a ser cercados por palavras que denotam desconforto. Isso é porque os afro-americanos são desagradáveis? Claro que não. É porque as pessoas na internet escrevem e dizem coisas horríveis.O viés desta vez não é tão implícito, é?Então, o que deve ser feito?Rachel Thomas, co-fundadora da fast.ai, um laboratório de aprendizagem profunda sediado em São Francisco cujo lema é “fazer redes neurais uncool”, defensores de uma IA mais aberta e inclusiva, que envolve pessoas de diferentes origens e comunidades, pessoas que don "encaixar" no sistema atual, porque eles têm uma melhor compreensão de como a tecnologia pode ser armada contra os mais vulneráveis: "Não podemos nos dar ao luxo de ter uma tecnologia que é gerida por um grupo exclusivo e homogêneo que cria tecnologia que impacta nós todos. Precisamos de mais especialistas sobre pessoas, como psicologia humana, comportamento e história. A IA precisa de pessoas mais improváveis ​​”.Sem surpresa, Joy Buolamwini tem uma opinião semelhante: “Tecnologias centradas em dados são vulneráveis ​​a preconceitos e abusos. Como resultado, devemos exigir mais transparência e responsabilidade. Entramos na era da automação com excesso de confiança, ainda que despreparada. Se não conseguirmos fazer uma IA ética e inclusiva, corremos o risco de perder os ganhos obtidos em direitos civis e eqüidade de gênero sob o disfarce de neutralidade de máquina ”.Então, o que é a “IA dominante” fazendo sobre isso?Vamos dar uma olhada no Vale do Silício.A Stanford University lançou recentemente, em meio a uma grande fanfarra, o Instituto de Inteligência Artificial Centrada no Homem, ou HAI, liderado por Fei Fei Li, um dos pesquisadores mais prolíficos da área e ex-cientista chefe do AI / ML no Google Cloud. A HAI trabalhará em tópicos como garantir que os algoritmos tomem decisões justas no governo ou finanças e quais novas regulamentações podem ser exigidas nos aplicativos de IA. “A IA começou como uma disciplina de ciência da computação, mas agora estamos em um novo capítulo. Essa tecnologia tem o potencial de fazer muitas coisas boas, mas também há riscos e armadilhas. Temos que agir e ter certeza de que é humano benevolente ”.HAI tem 121 membros do corpo docente listados. Nenhum deles é preto.AI precisa desesperadamente de diversidade. A diversidade na IA ajudará a reduzir os preconceitos, e as agências governamentais, corporações e instituições que implementam aplicativos centrados em dados precisam integrar esforços de desvio de opinião em seus data pipelines; eles não precisam apenas contratar advogados para tornar seus sistemas compatíveis, eles precisam incluir muitos pensadores diferentes da psicologia, ciências sociais, filosofia, se quiserem obter resultados significativamente melhores.

Inteligência Artificial é Racista?

Recentemente, a congressista norte-americana Alexandria Ocasio-Cortez disse que a IA pode ser tendenciosa durante um evento do dia de Martin Luther King Jr. em Nova York. Ela foi obviamente ridicularizada no dia seguinte por comentaristas conservadores.

Mas ela está certa.

Joy Buolamwini, cientista do MIT e fundadora da Algorithmic Justice League, publicou uma pesquisa que revelou grande viés racial e de gênero em sistemas de IA vendidos por gigantes da tecnologia como IBM, Microsoft e Amazon. Dada a tarefa de adivinhar o gênero de um rosto, todas as empresas tiveram um desempenho substancialmente melhor em rostos masculinos do que em rostos femininos. As taxas de erro não foram superiores a 1% para homens de pele mais clara, enquanto que para mulheres de pele mais escura, os erros aumentaram para 35%. Quando encarregados de classificar os rostos de Oprah Winfrey, Michelle Obama e Serena Williams, os sistemas falharam.

Licença: Joy Buolamwini – Mit Lab Press Kit
Essas tecnologias estão hoje penetrando em todas as camadas da sociedade. Decisões como determinar quem é contratado, demitido, concedido um empréstimo, ou quanto tempo um indivíduo passa na prisão têm sido tradicionalmente realizadas por seres humanos. Hoje, eles são feitos rapidamente por algoritmos ou pelo menos algoritmos são usados ​​no processo de tomada de decisão para tais tarefas.

Algoritmos de aprendizado de máquina peneiram milhões de dados e fazem correlações e previsões sobre o mundo. Seu apelo é enorme: as máquinas podem usar dados concretos para tomar decisões que às vezes são mais precisas do que as de um ser humano.

Licença: Joy Buolamwini – Mit Lab Press Kit
A visão computacional é usada no policiamento, ou seja, identificando suspeitos na multidão. A Palantir, uma empresa fundada pelo bilionário da tecnologia e doador do Trump, Peter Thiel, tem usado suas tecnologias de previsão de policiamento em Nova Orleans nos últimos seis anos: esse programa era tão secreto que até mesmo os membros do conselho não sabiam nada sobre isso. A Amazon está vendendo departamentos de polícia em um sistema de reconhecimento facial em tempo real que falsamente igualou 28 membros do congresso com fotos. O problema com esses sistemas é que, embora sejam eficazes em tarefas gerais, geralmente retornam um alto número de falsos positivos (em estatística, um falso positivo é quando um teste estatístico retorna um erro Tipo I, como um teste de HIV resultando positivo em um erro Paciente HIV-negativo). Combine isso com preconceito racial, e nós temos um sistema de policiamento racista, independentemente de quem está usando.

A influência do viés está presente em muitos outros tipos de dados também. Por exemplo, uma aplicação direta de Aprendizado de Máquina, em que os computadores superam os humanos, é a aprovação de empréstimos. As instituições financeiras aproveitam os dados históricos para treinar seus algoritmos em milhões de registros, permitindo-lhes capturar padrões nos dados que melhor identificam as características dos solicitantes de hipotecas.

O problema é que os algoritmos podem aprender muito. Suponha que Thokozane seja um brilhante estudante de pós-graduação de um bairro pobre de Soweto que tem trabalhado regularmente nos últimos anos, tem um histórico de crédito limpo e finalmente decidiu pedir um empréstimo para comprar sua primeira propriedade. De acordo com todos os critérios tradicionalmente usados ​​pelos bancos para avaliar a qualidade de crédito de alguém, sua inscrição deve ser aprovada. O algoritmo, no entanto, tem outro plano. Ficou sabendo, entretanto, que os candidatos do mesmo bairro pobre do TK foram, nos últimos anos, tiveram a maioria de seus pedidos rejeitados por causa de registros de crédito ruins, renda disponível insuficiente e assim por diante. Então, a aplicação da TK é surpreendentemente rejeitada. Em outras palavras, o algoritmo aprendeu um viés implícito.

TK está, é claro, razoavelmente chateado com isso, e decide pedir uma explicação ao banco, já que ele alega que o algoritmo discriminou racialmente contra ele. O banco, é claro, responde que isso não é possível, já que os algoritmos foram intencionalmente cegos para a raça dos candidatos (essa suposição é otimista). No entanto, o problema é que, embora alguns algoritmos como o DecisionTrees possam permitir que um auditor descubra se as informações de endereço foram usadas para penalizar os candidatos que nasceram ou residiam em áreas predominantemente pobres, outros algoritmos como o Deep Learning são muito mais sofisticados e tendem a ser uma “caixa preta” para a inspeção externa, e pode ser quase impossível entender por que, ou mesmo como, uma determinada decisão foi tomada.

Em 2017, um artigo foi publicado na Science, que descobriu que, como um computador ensina inglês, torna-se preconceito contra americanos negros e mulheres. Usando dados “raspados” da web chamados de “Common Crawl”, um corpus contendo aproximadamente 840 bilhões de palavras, mostra que as máquinas podem aprender associações de palavras de textos escritos e que essas associações espelham aquelas aprendidas pelos humanos, como agradabilidade e flores ou desagrado e insetos. Por enquanto, tudo bem. Mas também mostra que o aprendizado de máquina absorve vieses estereotipados tão facilmente quanto qualquer outro – por exemplo, associações entre nomes femininos e nomes familiares e masculinos e carreira. De mal a pior, os pesquisadores descobriram que os nomes associados ao fato de serem europeus americanos eram significativamente mais facilmente associados a termos agradáveis ​​do que desagradáveis, em comparação com alguns nomes afro-americanos.

Um computador constrói seu vocabulário usando dados de frequência ou com que frequência os termos aparecem juntos. Por isso, descobriu-se que na Internet, os nomes afro-americanos são mais propensos a ser cercados por palavras que denotam desconforto. Isso é porque os afro-americanos são desagradáveis? Claro que não. É porque as pessoas na internet escrevem e dizem coisas horríveis.

O viés desta vez não é tão implícito, é?

Então, o que deve ser feito?
Rachel Thomas, co-fundadora da fast.ai, um laboratório de aprendizagem profunda sediado em São Francisco cujo lema é “fazer redes neurais uncool”, defensores de uma IA mais aberta e inclusiva, que envolve pessoas de diferentes origens e comunidades, pessoas que don “encaixar” no sistema atual, porque eles têm uma melhor compreensão de como a tecnologia pode ser armada contra os mais vulneráveis: “Não podemos nos dar ao luxo de ter uma tecnologia que é gerida por um grupo exclusivo e homogêneo que cria tecnologia que impacta nós todos. Precisamos de mais especialistas sobre pessoas, como psicologia humana, comportamento e história. A IA precisa de pessoas mais improváveis ​​”.

Sem surpresa, Joy Buolamwini tem uma opinião semelhante: “Tecnologias centradas em dados são vulneráveis ​​a preconceitos e abusos. Como resultado, devemos exigir mais transparência e responsabilidade. Entramos na era da automação com excesso de confiança, ainda que despreparada. Se não conseguirmos fazer uma IA ética e inclusiva, corremos o risco de perder os ganhos obtidos em direitos civis e eqüidade de gênero sob o disfarce de neutralidade de máquina ”.

Então, o que é a “IA dominante” fazendo sobre isso?
Vamos dar uma olhada no Vale do Silício.

A Stanford University lançou recentemente, em meio a uma grande fanfarra, o Instituto de Inteligência Artificial Centrada no Homem, ou HAI, liderado por Fei Fei Li, um dos pesquisadores mais prolíficos da área e ex-cientista chefe do AI / ML no Google Cloud. A HAI trabalhará em tópicos como garantir que os algoritmos tomem decisões justas no governo ou finanças e quais novas regulamentações podem ser exigidas nos aplicativos de IA. “A IA começou como uma disciplina de ciência da computação, mas agora estamos em um novo capítulo. Essa tecnologia tem o potencial de fazer muitas coisas boas, mas também há riscos e armadilhas. Temos que agir e ter certeza de que é humano benevolente ”.

HAI tem 121 membros do corpo docente listados. Nenhum deles é preto.

AI precisa desesperadamente de diversidade. A diversidade na IA ajudará a reduzir os preconceitos, e as agências governamentais, corporações e instituições que implementam aplicativos centrados em dados precisam integrar esforços de desvio de opinião em seus data pipelines; eles não precisam apenas contratar advogados para tornar seus sistemas compatíveis, eles precisam incluir muitos pensadores diferentes da psicologia, ciências sociais, filosofia, se quiserem obter resultados significativamente melhores.


Advertisement