Melhoria da qualidade da inteligência artificial clínica: rumo ao monitoramento e atualização contínua de algoritmos de IA na área da saúde

npj Digital Medicine volume 5, Número do artigo: 66 (2022) Citar este artigo

13k acessos

19 Citações

49 Altmétrica

Detalhes das métricas

Os algoritmos de aprendizado de máquina (ML) e inteligência artificial (IA) têm o potencial de obter insights de dados clínicos e melhorar os resultados dos pacientes. No entanto, esses sistemas altamente complexos são sensíveis a mudanças no ambiente e sujeitos a queda de desempenho. Mesmo após sua integração bem-sucedida na prática clínica, os algoritmos de ML/AI devem ser continuamente monitorados e atualizados para garantir sua segurança e eficácia a longo prazo. Para amadurecer a IA no atendimento clínico, defendemos a criação de unidades hospitalares responsáveis ​​pela garantia de qualidade e aprimoramento desses algoritmos, que denominamos unidades "AI-QI". Discutimos como as ferramentas que há muito são usadas na garantia e melhoria da qualidade hospitalar podem ser adaptadas para monitorar algoritmos estáticos de ML. Por outro lado, os procedimentos de atualização contínua do modelo ainda são incipientes. Destacamos as principais considerações ao escolher entre os métodos existentes e as oportunidades de inovação metodológica.

O uso de inteligência artificial (IA) e aprendizado de máquina (ML) na área clínica desenvolveu-se tremendamente nas últimas décadas, com inúmeros exemplos em imagens médicas, cardiologia e cuidados intensivos1,2,3,4,5,6. De fato, a lista de algoritmos baseados em AI/ML aprovados para uso clínico pela Food and Drug Administration (FDA) dos Estados Unidos continua a crescer rapidamente7. Apesar do desenvolvimento acelerado desses algoritmos médicos, a adoção na clínica tem sido limitada. Os desafios encontrados no caminho para uma integração bem-sucedida vão muito além da fase inicial de desenvolvimento e avaliação. Como os algoritmos de ML são altamente dependentes de dados, uma grande preocupação é que seu desempenho depende muito de como os dados são gerados em contextos específicos, em momentos específicos. Pode ser difícil prever como esses modelos se comportarão em configurações do mundo real ao longo do tempo, pois sua complexidade pode obscurecer possíveis modos de falha8. Atualmente, o FDA exige que os algoritmos não sejam modificados após a aprovação, que descrevemos como "bloqueados". Embora essa política impeça a introdução de atualizações de modelo prejudiciais, os modelos bloqueados podem perder desempenho ao longo do tempo em ambientes altamente dinâmicos, como assistência médica. De fato, muitos documentaram a queda do desempenho do ML devido à combinação de casos de pacientes, padrões de prática clínica, opções de tratamento e muito mais9,10,11.

Para garantir a confiabilidade e a eficácia a longo prazo dos algoritmos clínicos baseados em AI/ML, é crucial estabelecermos sistemas para monitoramento e manutenção regulares12,13,14. Embora a importância do monitoramento e atualização contínuos tenha sido reconhecida em vários artigos recentes15,16,17, a maioria dos artigos fornece detalhes limitados sobre como implementar tais sistemas. Na verdade, os trabalhos mais semelhantes podem ser artigos recentes que documentam a criação de sistemas de ML prontos para produção em empresas de Internet18,19. No entanto, o cenário de saúde difere em que os erros têm repercussões mais graves, o número de amostras é menor e os dados tendem a ser mais ruidosos.

Neste trabalho, olhamos para os esforços existentes de garantia de qualidade (QA) e melhoria da qualidade (QI) hospitalares20,21,22 como um modelo para projetar iniciativas semelhantes para algoritmos de IA clínica, aos quais nos referimos como AI-QI. Ao traçar paralelos com práticas clínicas padrão de QI, mostramos como ferramentas bem estabelecidas de controle estatístico de processos (SPC) podem ser aplicadas ao monitoramento de algoritmos clínicos baseados em IA. Além disso, descrevemos uma série de desafios únicos ao monitorar algoritmos de IA, incluindo a falta de dados reais, censura relacionada ao tratamento induzida por IA e alta dimensionalidade dos dados. A atualização do modelo é uma tarefa totalmente nova, com muitas oportunidades para inovações técnicas. Descrevemos as principais considerações e compensações ao selecionar entre os procedimentos de atualização do modelo. A implementação eficaz do AI-QI exigirá uma estreita colaboração entre médicos, administradores hospitalares, profissionais de tecnologia da informação (TI), bioestatísticos, desenvolvedores de modelos e agências reguladoras (Fig. 1). Finalmente, para fundamentar nossa discussão, usaremos o exemplo de um hipotético sistema de alerta precoce baseado em IA para episódios agudos de hipotensão (AHEs), inspirado no Edwards' Acumen Hypotension Prediction Index23 aprovado pela FDA.