Em abril, uma aluna de MBA, chamada Bonnie Kamona, relatou que quando fez uma busca de imagens no Google com a expressão “unprofessional hairstyles for work” (estilo de cabelo inadequado para trabalhar). O resultado foi um conjunto de imagens que representava, quase exclusivamente, mulheres de cor. Em contraste, a busca por “professional hairstyle for work” (estilo de cabelo adequado) mostrou imagens de mulheres brancas. Dois meses depois, um usuário do Twitter, chamado Ali Kabir, relatou ter feito uma pesquisa de imagens de “três adolescentes negros” e obteve fotos de fichamento policial, enquanto “três adolescentes brancos” resultou em imagens de jovens se divertindo.

Essas histórias são compatíveis com um número crescente de pesquisas sobre resultados tendenciosos das ferramentas de busca.

Um bom exemplo é o trabalho de Matthew Kay, Cynthia Matuszek e Sean Munson, sobre buscas no Google de imagens relacionadas com profissões. Eles compararam a distribuição de gêneros em imagens relacionadas com determinadas profissões com as estatísticas trabalhistas americanas. Por exemplo, os resultados de imagens que descrevem “médicos” mostram um número significativamente maior de imagens de homens do que seria esperado, dado o número de homens que realmente trabalham na profissão. O inverso ocorreu com “enfermeiros”. Em outras palavras, os pesquisadores mostraram que as ferramentas de busca de imagens exageram estereótipos de gênero sobre profissões.

Eu e meus colegas da University of Sheffield’s Information School, Jo Bates e Paul Clough, realizamos experimentos para avaliar se as ferramentas de busca de imagens perpetuam estereótipos generalizados de gênero.

O contexto é o seguinte. Todo dia, precisamos interagir com pessoas das mais variadas origens. Portanto, precisamos fazer julgamentos sobre os outros com rapidez e precisão. Pesquisadores do campo da “percepção interpessoal” classificam esses julgamentos em duas categorias: “calor” e “decisão”. Traços de calor podem ser positivos ou negativos. Por exemplo, adjetivos como “emocional”, “gentil”, “inseguro” ou “compreensível” são todos considerados parte da categoria “calor”. Mesmo assim, pessoas calorosas são vistas, no geral, como sociáveis e inofensivas. As pessoas decididas são aquelas que têm competência para alcançar seus objetivos e desejos, e a elas são atribuídas qualidades como “inteligente”, “racional” e “assertivo”.

Os psicólogos acreditam que os estereótipos sociais são essencialmente construídos a partir de combinações dessas duas categorias. Pelos estereótipos predominantes de gênero, as mulheres devem ser calorosas mas pouco decididas. Os homens, ao contrário, são caracterizados como decididos, mas não calorosos. Indivíduos que não se encaixam nesses estereótipos sofrem retaliação econômica e social de seus pares. Por exemplo, em contextos organizacionais, mulheres decididas e homens cordiais são muitas vezes preteridos para posições de liderança.

Com isso em mente, realizamos experimentos na ferramenta de busca da Bing, para verificar se as distribuições de gênero das imagens representando pessoas calorosas versus pessoas decididas perpetuaria os estereótipos prevalecentes de gênero. Fizemos buscas no Bing baseadas em 68 traços de caráter (por exemplo, “pessoa emocional”, “pessoa inteligente”), e analisamos as primeiras mil imagens por consulta. Sabe-se que os resultados das ferramentas de busca geralmente são personalizados, sendo que a localização do usuário é uma característica-chave usada na personalização. Por isso, coletamos resultados de quatro grandes regiões anglófonas (EUA, Reino Unido, Índia e África do Sul), realizando nossas buscas em servidores dessas regiões. Em seguida, agrupamos os traços de caráter com base na proporção de imagens obtidas que retratavam apenas mulheres, apenas homens ou uma mistura, verificando se os traços de caráter caloroso seriam retratados, principalmente, por imagens de mulheres, e traços de caráter decidido por imagens de homens.

Nossos resultados confirmaram que, de modo geral, resultados de pesquisas de imagem perpetuam estereótipos de gênero. Embora alguns traços de caráter caloroso tenham resultado em um conjunto de imagens equilibradas de gênero (por exemplo, “cuidar”, “comunicativo”), isso só aconteceu com traços que tinham conotações positivas, e que, mesmo sendo “calorosos”, podem ser vistos com úteis para se alcançar objetivos. Por outro lado, traços calorosos com conotações negativas (por exemplo, “tímido”, “inseguro”) geralmente resultavam em imagens de mulheres. Além disso, embora os quatro servidores regionais do Bing fornecessem imagens diferentes em resposta a uma determinada consulta (havia uma sobreposição de metade entre duas regiões, em média), os padrões de distribuição de gênero nas imagens obtidas para traços de calor e decisão foi bastante consistente. Em outras palavras, escolhas tendenciosas de gênero nos resultados de pesquisa de imagens não estavam restritos a um mercado regional específico.

Depois de demonstrar os resultados inerentemente tendenciosos dos algoritmos de busca de imagens com relação ao gênero, o que mais podemos fazer? Esperamos que nosso trabalho inspire os desenvolvedores de pesquisas a pensarem criticamente sobre cada etapa do processo de engenharia, e como e por que eles se tornam tendenciosos. Também acreditamos que os desenvolvedores que usam APIs como o Bing – que usamos em nossa pesquisa – precisam estar cientes que qualquer tendência existente terá impacto em outros produtos de sua própria cadeia de produção. Também acreditamos que é possível desenvolver métodos automatizados de detecção de tendências, como o uso de técnicas de reconhecimento de imagem para verificar quem está – e quem não está – representado em um conjunto de resultados. Empresas de ferramentas de busca como Google e Microsoft devem priorizar esse trabalho, assim como jornalistas, pesquisadores e ativistas.

Finalmente, pode ser bom para os usuários, ao usar a ferramenta, estarem mais conscientes dos cálculos tendenciosos dos algoritmos de busca. Atualmente, estamos experimentando formas de acentuar a conscientização dos usuários durante o uso dos serviços de pesquisa. Os usuários precisam ser conscientizados não apenas de possíveis problemas com resultados algorítmicos, mas também ter uma ideia da forma como esses algoritmos funcionam.

Isso é mais fácil dizer do que fazer. Décadas de pesquisa mostram que usuários que interagem com um sistema de computador tendem a abordá-lo como fariam com qualquer ser humano. Ou seja, as pessoas nutrem expectativas sociais diante de um sistema como o Google. Evidentemente, a pesquisa de imagens da Google não conta com ajuda de um ser humano, capaz de selecionar resultados que não sejam descaradamente estereotipados, para escolher imagens relevantes em resposta às consultas. As decisões de uma ferramenta de busca moderna são conduzidas por um complexo conjunto de algoritmos desenvolvidos por meio de aprendizagem automática. O usuário sabe disso. No entanto, ao observar resultados inesperados ou ofensivos, as expectativas sociais fazem com que questione se os algoritmos subjacentes são “racistas” ou “sexistas”.

Mas nosso instinto de acreditar que esses sistemas têm vontade própria, e assumir que são como nós, pode dificultar nossa capacidade de mudá-los. Como nós, os algoritmos podem ser tendenciosos. As razões podem ser complicadas – dados de treinamento ruins ou tendenciosos, uso de servidores proxy, feedback tendencioso de usuários – e as maneiras de lidar com eles podem ser diferentes das formas como abordamos o preconceito nas pessoas.

Jahna Otterbacher é professor assistente de sistemas de informação Social na Open University, em Nicosia, Cyprus.

Fonte: HBR