A pandemia de Covid-19 foi o momento perfeito para a IA, literalmente, salvar o mundo. Houve uma convergência sem precedentes da necessidade de decisões rápidas e baseadas em evidências e resolução de problemas em larga escala com conjuntos de dados espalhados por todos os países do mundo. Para os sistemas de saúde que enfrentam uma doença nova e que se espalha rapidamente, a IA era – em teoria – a ferramenta ideal. A IA pode ser implantada para fazer previsões, aumentar a eficiência e liberar a equipe por meio da automação; poderia ajudar a processar rapidamente grandes quantidades de informações e tomar decisões que salvam vidas.
Ou, essa era a ideia, pelo menos. Mas o que realmente aconteceu é que a IA falhou principalmente.
Houve sucessos dispersos, sem dúvida. Adoção da automação captada em armazéns de varejo e aeroportos; chatbots assumiram o atendimento ao cliente enquanto os trabalhadores estavam em confinamento; Decisões auxiliadas por IA ajudaram a reduzir a seleção de locais para testes de vacinas ou ajudaram a acelerar as travessias de fronteira na Grécia .
Em geral, no entanto, ao diagnosticar o Covid, prever seu curso em uma população e gerenciar o atendimento daqueles com sintomas, as ferramentas de decisão baseadas em IA falharam. Agora que parte da confusão dos primeiros dias da pandemia se instalou, é hora de refletir sobre o desempenho da IA em seu próprio “teste Covid”. Embora esta tenha sido uma oportunidade perdida, a experiência fornece pistas de como os sistemas de IA devem evoluir para realizar as expectativas elevadas para o que foi a tecnologia mais comentada do ano passado.
Onde a IA falhou
No início, as coisas pareciam promissoras. Máquinas venceram humanos ao levantar o alerta precoce sobre um novo vírus misterioso de Wuhan, na China. O sistema HealthMap do Hospital Infantil de Boston , que rastreia notícias on-line e mídias sociais em busca de sinais precoces de doenças, junto com um raspador de notícias de saúde canadense, BlueDot, captou sinais de alerta. O algoritmo do BlueDot até previu cidades com maior risco se as pessoas infectadas viajassem, todos os dias antes da OMS e semanas antes do resto do mundo chegar.
À medida que o mundo entrou oficialmente em confinamento em 2020, ficou claro que a contribuição revolucionária da IA estaria na previsão rápida – diagnóstico, prognóstico e previsão da propagação de uma doença desconhecida emergente, sem uma maneira fácil de testá -la em tempo hábil caminho.
Várias equipes habilitadas para IA se mobilizaram para aproveitar a oportunidade. No hospital Mount Sinai, em Nova York, por exemplo, uma equipe projetou um sistema de IA para diagnosticar rapidamente o Covid-19 usando algoritmos treinados em dados de tomografia computadorizada de pulmão da China. Outro grupo do MIT criou um diagnóstico usando algoritmos treinados em sons de tosse. Uma terceira equipe, uma colaboração da NYU e da China , usou ferramentas de IA para prever quais pacientes do Covid-19 desenvolveriam doenças respiratórias graves. Ouvimos há anos sobre o potencial transformador da IA e, de repente, surgiu a oportunidade de vê-la em ação.
Então, como esses preditores de Covid com inteligência artificial funcionaram? Falando sem rodeios, eles aterrissaram com um baque. Uma revisão sistemática no The BMJ de ferramentas para diagnóstico e prognóstico do Covid-19 descobriu que o desempenho preditivo era fraco em ambientes clínicos do mundo real. Outro estudo da Universidade de Cambridge com mais de 400 ferramentas usando modelos de aprendizado profundo para diagnosticar Covid-19 aplicados a dados de radiografias de tórax e tomografia computadorizada os considerou totalmente inutilizáveis. Um terceiro estudo publicado na revista Nature , considerou uma ampla gama de aplicações, incluindo previsões, detecção de surtos, monitoramento em tempo real da adesão às recomendações de saúde pública e resposta a tratamentos e descobriu que eles são de pouco uso prático.
No entanto, podemos aprender com essas decepções à medida que nos preparamos para construir uma IA melhor. Existem quatro lugares onde as falhas apareceram: conjuntos de dados ruins, discriminação automatizada, falhas humanas e um contexto global complexo. Embora estejam relacionadas às decisões do Covid-19, as lições são amplamente aplicáveis.
O perigo de conjuntos de dados ruins
As ferramentas de tomada de decisão de IA são tão boas quanto os dados usados para treinar os algoritmos subjacentes. Se os conjuntos de dados são ruins, os algoritmos tomam decisões ruins. No contexto da Covid, existem muitas barreiras para montar conjuntos de dados “bons”.
Primeiro, a amplitude dos sintomas do Covid destacou o desafio de reunir conjuntos de dados abrangentes. Os dados tiveram que ser extraídos de vários registros eletrônicos de saúde díspares , que normalmente eram trancados em diferentes sistemas institucionais e seus silos correspondentes. Além de cada sistema ser separado, eles também tinham diferentes padrões de governança de dados com políticas de consentimento e confidencialidade incompatíveis. Esses problemas foram amplificados por sistemas de saúde em diferentes países, com regras incompatíveis de privacidade do paciente, governança de dados e localização que limitavam a combinação desses conjuntos de dados.
O impacto final desses dados incompletos e de baixa qualidade foi que resultou em previsões ruins, tornando as ferramentas de decisão de IA não confiáveis e não confiáveis.
Um segundo problema surgiu da forma como os dados foram coletados e armazenados em ambientes clínicos. Contagens agregadas de casos são mais fáceis de montar, mas podem omitir detalhes importantes sobre o histórico de um paciente e outros atributos demográficos, pessoais e sociais. Detalhes ainda mais sutis sobre quando o paciente foi exposto, exibiu sintomas e foi testado e a natureza dos sintomas, com qual variante eles foram infectados, as intervenções médicas e seus resultados, etc., são importantes para prever como o vírus pode propagar. Para agravar os problemas, alguns conjuntos de dados foram agrupados de várias fontes, introduzindo inconsistências e redundâncias.
Terceiro, um conjunto de dados abrangente com pistas sobre os sintomas do Covid, como a doença pode se espalhar, quem é mais ou menos suscetível e como gerenciar a doença deve ser extraído de várias fontes, dada sua novidade. Além dos dados dos ambientes formais de assistência à saúde, existem outras fontes de informações críticas, conjuntos de dados e análises relevantes para prever os caminhos de uma doença nova e emergente. Esses dados adicionais podem ser extraídos de vários repositórios, aproveitando efetivamente as experiências de pessoas que lidam com a doença. Esses repositórios podem incluir Twitter, quadros de mensagens profissionais, análises feitas por profissionais e amadores em plataformas de “código aberto”, revistas médicas, blogs e agências de notícias. Claro, uma vez que você considera tantas fontes diferentes de dados relevantes, o processo de integração,
Discriminação automatizada
Mesmo quando havia dados disponíveis, as previsões e decisões recomendadas pelos algoritmos de gerenciamento de cuidados de saúde levaram a decisões potencialmente altamente discriminatórias – e preocupações de que alguns pacientes receberam cuidados piores . Isso porque os conjuntos de dados usados para treinar os algoritmos refletiam um registro de anomalias e iniquidades históricas: níveis mais baixos de acesso a cuidados de saúde de qualidade; registros incorretos e incompletos; e a desconfiança arraigada no sistema de saúde que levou alguns grupos a evitá-lo.
Existem amplas preocupações sobre os impactos negativos do viés de IA, mas durante a pandemia, as consequências desse viés foram graves. Por exemplo, considere um estudo pré-Covid na Science que descobriu que pacientes negros recebiam o mesmo nível de risco por um algoritmo que pacientes brancos, mesmo que estes não estivessem tão doentes – levando a cuidados médicos inadequados para os pacientes negros. Olhando para o futuro, como os pacientes negros e hispânicos da Covid-19 sofreram taxas de mortalidade mais altas do que os pacientes brancos, algoritmos treinados com esses dados podem recomendar que os hospitais redirecionem seus escassos recursos para longe dos pacientes negros e hispânicos.
O impacto final dessa discriminação automatizada é ainda mais distorcido quando consideramos que esses grupos desfavorecidos também foram desproporcionalmente afetados pelos casos mais graves de Covid-19 – nos EUA, negros, hispânicos e nativos americanos tiveram cerca de duas vezes mais chances de morrem da doença como pacientes brancos.
Erro humano
A qualidade de qualquer sistema de IA não pode ser dissociada de pessoas e organizações. Os comportamentos, desde a escolha de quais aplicativos e conjuntos de dados são usados até a interpretação das decisões, são moldados por incentivos e contextos organizacionais.
Os incentivos errados podem ser um grande problema. Os gerentes que supervisionam os sistemas de saúde geralmente tinham poucos incentivos para compartilhar dados sobre os pacientes – os dados podem estar vinculados às receitas ou compartilhá-los pode levantar preocupações sobre a confidencialidade do paciente. Para os pesquisadores, as recompensas geralmente estavam alinhadas ao compartilhamento de dados com algumas partes selecionadas, mas não com todos. Além disso, houve poucos incentivos de carreira para validar os resultados existentes , pois há maior glória em produzir novas descobertas em vez de replicar ou validar outros estudos. Isso significa que os resultados do estudo podem não ter sido aplicados em uma variedade suficientemente ampla de ambientes, tornando-os não confiáveis ou inutilizáveis e fazendo com que os cuidadores hesitem em usar ferramentas que não foram comprovadas em vários ambientes. É particularmente arriscado fazer experiências com a saúde humana.
Depois, há a questão dos erros de entrada de dados. Muitos dos dados acumulados sobre o Covid-19 envolviam ambientes em que os profissionais de saúde operavam sob pressão e cargas de casos extraordinariamente pesadas. Isso pode ter contribuído para conjuntos de dados incorretos e incompletos – com erros aparecendo até mesmo em certidões de óbito . Em muitos países, os sistemas de saúde subnotificavam os casos de Covid-19, seja porque foram incentivados a fazê-lo pelas autoridades, por causa de diretrizes pouco claras ou simplesmente porque os funcionários estavam sobrecarregados.
Mesmo com as ferramentas de IA à mão, os humanos responsáveis por tomar decisões muitas vezes careciam de recursos interpretativos críticos – da linguagem à consciência do contexto ou a capacidade de identificar preconceitos e erros. Ainda não existe um código de ética uniformemente aceito ou uma lista de verificação que dê aos cuidadores uma noção de quando aplicar ferramentas de IA versus mitigar danos usando julgamento. Isso pode levar ao uso inconsistente ou uso indevido das ferramentas de IA e, eventualmente, prejudicar a confiança nelas.
Contexto Global Complexo e Desigual
Uma pandemia, por definição, atravessa diferentes sistemas políticos, econômicos e socioculturais. Isso complica o processo de montagem de um conjunto de dados abrangente que agrega em diferentes países com lições amplamente aplicáveis. A pandemia destacou o desafio de derivar ferramentas de decisão universalmente aplicáveis para gerenciar a saúde humana em todos os ambientes de saúde, independentemente da localização geográfica. Intervenções médicas apropriadas dependem de muitos fatores, da biologia às forças institucionais, sociopolíticas e culturais ao ambiente local. Mesmo que muitas facetas da biologia humana sejam comuns em todo o mundo, os outros fatores variam muito.
Por um lado, existem diferenças entre os países em termos de suas políticas em relação à governança de dados . Muitos países têm leis de localização de dados que impedem que os dados sejam transportados através das fronteiras. Não há consenso internacional sobre como os dados de saúde devem ser compartilhados. Embora a rede internacional preexistente para o compartilhamento de dados de sequência do genoma da gripe tenha sido estendida ao compartilhamento de sequências para Covid-19, colaborações mais profundas de compartilhamento de dados entre países poderiam ter ajudado no gerenciamento contínuo da doença. A ausência de acordos de compartilhamento e governança mais amplos foi uma barreira crítica.
Em segundo lugar, havia diferenças entre países desenvolvidos e em desenvolvimento em relação ao compartilhamento de dados de saúde. Alguns pesquisadores argumentam que as sequências do genoma devem ser compartilhadas em bancos de dados abertos para permitir análises em larga escala. Outros se preocupam com a exploração; eles estão preocupados que pesquisadores e instituições de países mais pobres não tenham recebido crédito adequado e os benefícios do compartilhamento de dados sejam limitados aos países ricos.
Terceiro, a história e os contextos sociopolíticos dos países e suas estruturas éticas para o compartilhamento de dados, mesmo dentro de seus próprios cidadãos, são diferentes, dando origem a diferenças na disposição de coletar, analisar e compartilhar dados pessoais para uso público. Considere as diversas experiências com identificação de exposição auxiliada por IA e aplicativos de rastreamento de contatos.
A Coreia do Sul apresentou um exemplo extremo de coleta de dados intrusiva. O país implantou a tecnologia de rastreamento de contatos juntamente com testes generalizados . Seus aplicativos de rastreamento foram combinados com imagens de CCTV, registros médicos e de viagem e informações de transações de cartão de crédito. A disposição dos coreanos de tolerar esse nível de intrusão pode ser atribuída à história do país. O governo anterior havia falhado em sua resposta ao surto de MERS de 2015, quando não compartilhou informações sobre hospitais visitados por cidadãos infectados. Isso levou ao apoio público à legislação que dá às autoridades de saúde acesso a dados sobre os cidadãos infectados e o direito de emitir alertas. Em contraste, o aplicativo de rastreamento de contatos do governo alemão foi rejeitado pelo público depois que uma carta aberta altamente crítica de especialistas levantou temores de vigilância estatal. Como resultado, a Alemanha abandonou o modelo centralizado por uma alternativa descentralizada . Mais uma vez, a história fornece uma explicação. Os alemães viveram dois notórios regimes de vigilância: a Gestapo durante a era nazista e a Stasi durante a Guerra Fria. A coleta de dados estatal controlada centralmente não estava destinada a ser popular.
Finalmente, os dados de pacientes de um país podem não ser bons preditores em outros países. Uma variedade de outros fatores de raça, demografia, circunstâncias socioeconômicas, qualidade dos cuidados de saúde, níveis de imunidade, comorbidades, etc., fazem a diferença.
O que fazer agora
Existem várias lições a serem extraídas que podem ajudar a melhorar os futuros sistemas de IA que devem estar prontos para a próxima pandemia.
1) Encontre melhores maneiras de reunir conjuntos de dados abrangentes e mesclar dados de várias fontes.
Seria útil ter conjuntos de dados de saúde em formatos padronizados combinados com mecanismos para criar repositórios centralizados de dados. Novas técnicas de processamento de dados também devem ser consideradas. Os exemplos incluem permissão para privacidade diferencial ou uso de dados sintéticos em vez de dados reais à medida que as tecnologias para facilitar essas inovações melhoram. Além disso, o problema não é apenas de dados fragmentados ou incompletos; é também um dos muitos dados. A transmissibilidade do vírus, o fato de ele sofrer mutações constantemente, o movimento de pessoas através das fronteiras e o uso generalizado do sequenciamento genômico significam que os sistemas de IA devem lidar com uma enxurrada de dados. Deve haver sistemas que possam lidar com esses grandes conjuntos de dados e rotulá-los e organizá-los adequadamente.
2) Deve haver uma diversidade de fontes de dados.
Algumas lições podem ser aprendidas com o exemplo da Nightingale Open Science , que acumulou 40 terabytes de imagens médicas em uma ampla gama de condições e tratamentos, juntamente com uma diversidade de dados e resultados de pacientes. Eles serão usados para treinar algoritmos para prever condições médicas mais cedo, realizar triagem e salvar vidas de maneira imparcial. Eles tentam trabalhar com sistemas de saúde em todo o mundo, incluindo especificamente os com poucos recursos, para mitigar as possibilidades de sub-representação e evitar a discriminação automatizada.
3) Os incentivos devem ser alinhados para garantir maior cooperação entre equipes e sistemas.
As equipes de IA também devem ter oportunidades e incentivos para colaborar com médicos e outros que tenham conhecimento sobre os problemas práticos. Também é essencial planejar uma diversidade de grupos de partes interessadas envolvidos na definição de estruturas éticas e listas de verificação para profissionais que usam IA em ambientes de missão crítica, juntamente com processos claros de governança e responsabilidade. Esses grupos devem incluir engenheiros e tecnólogos, especialistas em áreas funcionais importantes, bem como especialistas em ética que possam orientar o uso de sistemas de IA e seu alinhamento com julgamentos de valor.
Apelar para comunidades de código aberto é outra maneira de reunir dados de várias fontes cooperativamente. O Open COVID-19 Data Working Group , a MIDAS Network e outros esforços colaborativos locais fornecem modelos que outros podem replicar. Habilitar formas para colaborações interdisciplinares pode ser a chave para avanços. Por exemplo, a BioNTech, empresa alemã de biotecnologia pioneira na tecnologia de RNA mensageiro por trás da vacina Pfizer Covid-19 , se uniu à empresa de inteligência artificial InstaDeep , com sede em Londres, para criar um “sistema de alerta precoce” para detectar novas variantes de coronavírus.
4) Escreva regras internacionais para compartilhamento de dados.
Para que os dados de saúde sejam compartilhados entre países, precisamos de convenções internacionais que facilitem o agrupamento dessas informações críticas e acordos sobre compartilhamento de dados, preservando a privacidade e a confidencialidade. As equipes de IA precisam ser treinadas para reconhecer diferenças nos ambientes globais de saúde, para que possam colocar dados de diferentes partes do mundo no contexto apropriado.
À medida que essa pandemia se torna endêmica e nos preparamos para a próxima, há muitas oportunidades para a IA deixar sua marca. Depois que o muito badalado Flu Trends do Google perdeu a magnitude da temporada de gripe de 2013, o Covid ofereceu uma chance dramática de redenção para a IA como ferramenta preditiva. Mas dentro das falhas atuais estão as sementes dos sistemas de IA que podem florescer no futuro.
Fonte HBR