Inteligência artificial e direito do paciente: desafios éticos e jurídicos

Artificial intelligence and patient rights: ethical and legal challenges

ALINE ALBUQUERQUE [1]

[Resumo]

O uso de inteligência artificial (IA) em suas variadas aplicações na esfera dos cuidados em saúde é uma realidade na atualidade, verificando-se verifica uma tendência em sua expansão. Particularmente, sob o prisma dos cuidados em saúde, a IA apresenta riscos para a deterioração das habilidades dos profissionais de saúde , incluindo a sua capacidade empática, o que se denomina de «perda de habilidades»; o «viés de automação», que consiste no excesso de confiança do profissional da IA, e, ainda, para que haja o excesso de tratamento ou de medicação. Ademais, a IA pode afetar significativamente os direitos dos pacientes , o que consiste no tema deste estudo. Trata-se de pesquisa teórica e documental, de natureza exploratória. O uso de IA nos cuidados em saúde deve ser balizado pelos avanços ético-jurídicos alcançados ao longo dos anos quanto ao enfrentamento do paternalismo e da desconsideração da voz do paciente. O protagonismo do paciente e a sua participação ativa devem ser premissas do emprego de tecnologias de IA nos cuidados em saúde, cuja finalidade não pode ser orientada pelos interesses das empresas ou das organizações de saúde, mas sim pelos direitos dos pacientes, haja vista que o uso de IA não descaracteriza a essência do cuidado em saúde, qual seja atender às necessidades do paciente.

Palavras-chave: Inteligência artificial, direito, paciente, cuidado centrado no paciente, empatia

[Abstract]

Artificial intelligence (AI) in its varied applications in health care is a reality today, and there is a trend towards its expansion. Mainly, from the perspective of healthcare, AI presents risks for the deterioration of the skills of healthcare professionals, including their empathetic capacity, which is called «loss of skills»; the «automation bias,» which consists of the AI professional’s overconfidence, and also, for there to be excessive treatment or medication. Furthermore, AI can significantly affect patients’ rights, which is the topic of this study. This research is theoretical and documentary research of an exploratory nature. The use of AI in healthcare must be guided by the ethical-legal advances achieved over the years in confronting paternalism and disregard for the patient’s voice. The role of the patient and their active participation must be premises for the use of AI technologies in healthcare, the purpose of which cannot be guided by the interests of companies or healthcare organizations but rather by the rights of patients, given that the use of AI does not distort the essence of healthcare, which is meeting the patient’s needs.

Keywords: Artificial intelligence, right, patient, patient-centered care, empathy

Sumario:

I. INTRODUÇÃO

II. INTELIGÊNCIA ARTIFICIAL NOS CUIDADOS EM SAÚDE: CONSIDERAÇÕES GERAIS.

III. INTELIGÊNCIA ARTIFICIAL E FUNDAMENTOS TEÓRICOS DO DIREITO DO PACIENTE

IV. OS IMPACTOS DA INTELIGÊNCIA ARTIFICIAL SOBRE OS DIREITOS DOS PACIENTES

I. Introdução

O uso da Inteligência Artificial (IA) em suas variadas aplicações na esfera dos cuidados em saúde é uma realidade na atualidade, verificando-se uma tendência em sua expansão. Em distintos sistemas de saúde, tecnologias de IA , como IBM Watson, o qual usa mais de 15 milhões de páginas de literatura para aconselhar oncologistas em diagnósticos e planos de quimioterapia (Hoeren e Niehoff, 2018), e o DeepMind do Google, cujas pesquisas propõem um sistema para determinar a acurácia de IA preditiva em um ambiente médico hipotético e quando esse sistema deve protelar a busca de um médico, vêm sendo paulatinamente introduzidos (Ploug e Holm, 2020). Nos Estados Unidos, a US Food and Drug Administration (FDA) tem aprovado inúmeros produtos baseados em IA (Gerke et al., 2019).

As tecnologias de IA na esfera da saúde são, usualmente, desenhadas por empresas, as quais vêm acumulando dados, incluindo aqueles de pacientes, o que lhes traz mais poder em relação aos governos, aos pacientes e aos profissionais de saúde (World Health Organization, 2021), bem como o domínio da agenda da IA na saúde. Dados apontam que o mercado dessas tecnologias aumentará em mais de $34 bilhões de dólares, em todo mundo, no ano de 2025 (Cohen, 2020). Em decorrência de tal panorama, endossa-se que o uso da IA deve ser norteado por uma abordagem centrada nos seres humanos e não nas empresas ou em sua agenda mercadológica.

A literatura especializada alude aos benefícios do emprego da IA e à sua importância para avanços significativos nos cuidados em saúde, por exemplo, promete-se que pode incrementar a acurácia, a eficiência e a acessibilidade dos cuidados em saúde. Diante de tais expectativas, é crescente o número das organizações de saúde que vêm se planejando para implementar o uso da IA na sua prática clínica (Kolfschooten, 2022). Pode-se notar que há, em certa medida, na esfera da saúde, um «tecno-otimismo», que conduz a um exacerbamento dos efeitos positivos da IA e uma mitigação dos negativos. Por outro lado, no campo da Ética e do Direito, impactos negativos da IA na saúde são objeto de reflexão ética e jurídica, tais como a sua potencialidade para agravar as iniquidades distributivas das tecnologias em saúde e concorrer para a redução da força de trabalho (World Health Organization, 2021), bem como os relativos aos danos que podem causar aos pacientes e aos vieses dos algoritmos. Particularmente, sob o prisma dos cuidados em saúde, a IA apresenta riscos para a deterioração das habilidades dos profissionais de saúde (Högberg e Larsson, 2022) incluindo a sua capacidade empática, o que se denomina de «perda de habilidades»; o «viés de automação», que consiste no excesso de confiança do profissional na IA, e, ainda, o excesso de tratamento (Ploug e Holm, 2023) ou de medicação (Högberg e Larsson, 2022).

A IA poderá impactar milhões de pacientes em todo o mundo (Richardson et al., 2021) e afetar significativamente os direitos dos pacientes (Kolfschooten, 2022; Amann et al., 2020; Högberg e Larsson, 2022) , o que consiste no tema deste estudo. Quanto a tal ponto, Kolfschooten (2022) chama atenção para o fato de que a nova legislação europeia sobre IA, «Artificial Intelligence Act» não é suficiente para salvaguardar os direitos do paciente, e isso conduzirá à sua desproteção quando o uso de IA se tornar uma prática disseminada.

Os direitos dos pacientes são normas ético-jurídicas, derivadas dos direitos humanos (European Comission, 2016), que estabelecem obrigações para os profissionais e organizações de saúde, e enunciados reivindicatórios para os pacientes, demarcando uma ética mínima nos cuidados em saúde (Albuquerque, 2023). Assim, os direitos dos pacientes, enquanto prescrições ético-jurídicas incidentes quando determinada pessoa se encontra sob cuidados em saúde, conformam uma ética adequada à demarcação do uso da IA em tal contexto. Essa afirmação ancora-se na concepção sustentada pela Organização Mundial da Saúde (OMS), em seu documento sobre ética e governança da IA na saúde, de que exigências morais devem limitar e guiar o comportamento no uso da IA, as quais são expressas na linguagem dos direitos humanos, que consistem num referencial potente que obriga os Estados (World Health Organization, 2021). Desse modo, este estudo tem como objetivo analisar os impactos da IA sobre os direitos dos pacientes, particularmente os direitos de participar da tomada de decisão; direito ao consentimento informado; direito de recusa; direito à informação; direito à confidencialidade dos dados pessoais; direito ao cuidado seguro; direito de não ser discriminado e o direito de apresentar uma queixa e direito à reparação. Esses direitos foram escolhidos em razão de existir consenso na literatura especializada de que se encontram mais ameaçados pelo uso da IA.

Trata-se de pesquisa teórica e documental, de natureza exploratória, que se fundamentou nas formulações de Kolfschooten (2022), Ploug e Holm (2020) e Mittelstadt (2021) para analisar as articulações entre IA e direitos do paciente e de Albuquerque (2023) acerca do Direito do Paciente. Também se ancorou no documento da OMS, Ethics and Governance of Artificial Intelligence for Health (World Health Organization, 2021). Reconhece-se que o tema relativo aos impactos da IA sobre os direitos do paciente também apresenta desdobramentos em dois campos específicos do conhecimento «ética da IA» e «IA e Bioética». No entanto, este estudo não objetivou esquadrinhar as reflexões que os dois campos vêm desenvolvendo sobre o uso da IA nos cuidados em saúde, cingindo-se aos impactos do uso da IA sobre os direitos dos pacientes. Igualmente, não se objetivou detalhar todos as consequências identificadas na literatura, mas sim apresentar reflexões abrangentes com o fito de demonstrar que é fundamental agregar o referencial do Direito do Paciente a qualquer discussão que envolva o uso da IA nos cuidados em saúde.

O presente artigo se encontra estruturado em três partes: considerações gerais sobre a IA nos cuidados em saúde; IA e fundamentos teóricos do Direito do Paciente; e os impactos da IA nos direitos dos pacientes.

II. Inteligência artificial nos cuidados em saúde: considerações gerais

A IA é um conceito ainda em disputa, por esse motivo neste estudo optou-se pela demarcação conceitual feita OMS, qual seja: a IA se refere à performance levada a cabo por programas de computador de tarefas que são comumente associadas com seres inteligentes. Isto é, a IA busca tornar máquinas aptas a fazerem coisas que a mentes podem fazer (Boden, 2018).

A base da IA é composta por algoritmos, que são traduzidos em códigos computacionais, e conduzem instruções para análises rápidas e a transformação de dados em conclusões, informação e outros resultados. Um sistema de IA é um sistema baseado na máquina que pode, a partir de objetivos definidos pelo ser humano, realizar predições, recomendações ou influenciar decisões reais ou em ambientes virtuais. Os sistemas de IA são projetados para operar com variados níveis de autonomia. Há vários tipos de tecnologias de IA, como aplicações de machine learning, tais como padrões de reconhecimento, processamento natural de linguagem, processamento de sinais e sistemas inteligentes. Machine learning pode ser categorizada, a partir de como aprende com base em dados, em aprendizado supervisionado, aprendizado não supervisionado e aprendizado por reforço. No aprendizado supervisionado, os dados usados para treinar os modelos são rotulados e o resultado variável é conhecido; no aprendizado não supervisionado, os dados não são rotulados, mas há a identificação de padrões de ocultos pela máquina; e o aprendizado por reforço se caracteriza por tentativa e erro para a consecução de um objetivo, no qual a máquina é «recompensada» ou «penalizada». Como se nota, essa breve descrição sobre a categorização de machine learning expõe o quanto o letramento tecnológico é importante para que os pacientes não sejam reféns da sua incorporação ao seu cuidado.

Na esfera dos cuidados em saúde, o uso da IA se encontra associado ao diagnóstico, diagnóstico preditivo, cuidado clínico, autocuidado, monitoramento da saúde, predição de riscos e tecnologias desenhadas especificamente para pessoas com deficiência (World Health Organization, 2021). Em geral, os modelos de machine learning são treinados usando dados de pacientes para realizar diagnóstico e predições (Kompa et al., 2022).

O uso da IA nos cuidados em saúde acarreta novos desafios para os profissionais de saúde, como a necessidade de que atualize suas habilidades para comunicar riscos, fazer predições e discutir trade-off com os pacientes e expressar preocupações éticas e legais sobre tal uso. Portanto, o uso da IA nos cuidados em saúde e a sua análise há que ser interdisciplinar, porquanto suas consequências são complexas e multifacetadas.

III. Inteligência artificial e fundamentos teóricos do Direito do Paciente

O uso da IA nos cuidados em saúde apresentam desafios inéditos e complexos para o campo do Direito do Paciente, novo ramo jurídico. O Direito do Paciente é o ramo jurídico que trata da legislação, da teoria e da jurisprudência concernentes às normas que versam sobre os direitos dos pacientes e seus mecanismos de implementação. O Direito do Paciente tem como foco a proteção e o empoderamento do paciente na ambiência clínica, contrapondo-se a uma perspectiva paternalista de cuidado em saúde e de fomento da participação do paciente (Albuquerque, 2020). Esse novo ramo expressa uma linguagem ético-jurídica que incide sobre a experiência do adoecimento humano, que tem como elementos críticos o sofrimento (Oben, 2020) e a vulnerabilidade acrescida do paciente, bem como a assimetria de poder entre o paciente e o profissional de saúde.

Este artigo parte do entendimento de que o Direito do Paciente constitui um ramo autônomo jurídico que se alicerça, enquanto fundamentação teórico-prática, na empatia clínica e no Cuidado Centrado no Paciente. Essas abordagens encontram ampla aceitação no campo da saúde, sendo objeto de estudos ao longo do tempo (Albuquerque, 2022). Além do fato de serem abordagens consolidadas na esfera da saúde, essas são consideradas como fundamentos do Direito do Paciente em razão de justificarem a existência de direitos específicos titularizados por qualquer ser humano que se encontra sob cuidados em saúde. Desse modo, neste estudo, serão feitas considerações gerais sobre as articulações entre IA e os fundamentos teóricos do Direito do Paciente.

1. Considerações sobre empatia clínica e inteligência artificial

A relação entre o profissional e o paciente, essência do cuidado em saúde, possui características que se fundamentam nas capacidades e nas habilidades dos profissionais, particularmente na empatia clínica. O conceito de empatia clínica adotado neste estudo se ancora nas formulações de Howick, Rees (2018) e de Halpern (2014), em razão de ambos adotarem concepções multidimensionais da empatia clínica, que incluem seu componente emocional. Howick e Rees (2018) estruturam o conceito de empatia clínica a partir de três componentes: (a) entendimento da situação do paciente, seus sentimentos e perspectivas, reconhecendo as dificuldades de se colocar no lugar do paciente; (b) comunicação desse entendimento, checando a sua acurácia; (c) atuação de acordo com esse entendimento, de forma que ajude o paciente. Para tanto, os estudos sobre a temática apontam que os profissionais de saúde devem ter as seguintes condutas como norteadoras do cuidado empático: (a) adotar tempo suficiente para entender a história do paciente; (b) conversar sobre assuntos gerais; (c) oferecer encorajamento; (d) dar sinais verbais de que o paciente está sendo compreendido (hmm, ahh, etc.); (e) estar fisicamente engajado (por meio da adoção de determinadas posturas, gestos, contato visual, toque apropriado e outros); (f) ser acolhedor durante a consulta, desde o seu começo até o final. Portanto, há consenso na literatura especializada sobre o tema de que a empatia clínica é constituída por três componentes: (a) entendimento; (b) demonstração desse entendimento; (c) ação terapêutica com base no entendimento, após a verificação da sua acurácia (Howick et al., 2020).

A empatia clínica propicia maior compreensão do profissional das necessidades, perspectiva e emoções do paciente, que permeiam suas decisões. Exemplificando, uma paciente com câncer de mama precisa tomar decisões sobre qual tratamento adotar, e na consulta com o médico, diversos aspectos da sua vida emergem, como espiritual, psíquico, social e sexual, o que será tomado em consideração pelo profissional, em uma interação empática. Esse tipo de conexão não é possível no caso do processo de tomada de decisão apenas baseado em um sistema de IA, que não detém capacidade empática (Ploug e Holm, 2020), habilidade para escutar a história do paciente e suas preocupações profundas, bem como transmitir um genuíno senso de cuidado (Topol, 2023).

Kerasidou (2020) aponta que a empatia clínica é um componente valoroso do cuidado em saúde e que deve se levar em conta as perdas advindas do uso de tecnologias de IA em tal contexto, mormente decorrentes da mitigação da importância da interação humana para a qualidade do cuidado e desfechos clínicos positivos. Mittelstadt (2021) acentua que as tecnologias podem inibir a comunicação de sinais e de emoções, prejudicando o estabelecimento de uma relação de confiança com o paciente e o distanciando do profissional. Aventa-se que no futuro será debatido o direito do paciente a um médico humano (Högberg e Larsson, 2022), o que embora ainda não seja realidade no presente, suscita que se traga à luz os benefícios da empatia clínica e da conexão humana nos cuidados em saúde. Por outro lado, alguns pesquisadores sustentam que a IA pode ajudar a restaurar a importância da interação humana nos cuidados em saúde, considerando que irá desempenhar tarefas outrora dos profissionais, deixando mais tempo para a sua interação com o paciente (Topol, 2023).

Não obstante se reconhecer os benefícios do uso da IA, a cautela deve preponderar, notadamente quanto aos efeitos positivos dos encontros face-a-face entre profissional e paciente e à compreensão dos estados mentais e da sua situação, que tão somente pode ser propiciada pela empatia clínica, isto é, dados tratados por um sistema de IA não fazem emergir essa compreensão advinda da interação empática, bem como não produzem informação contextual (Mittlestadt, 2021) e não apreendem o conhecimento experiencial do paciente (Albuquerque, 2023). Com efeito, Mittelstadt (2021) menciona o risco de descontextualização das informações nos cuidados em saúde, quando se tem apenas dados de aplicativos ou similares, que não acessam a informação contextual do paciente, acarretando uma redução da abordagem do cuidado da biopsicossocial para a biomédica, e a perda de controle por parte do paciente acerca de quais informações estão sendo consideradas pelo profissional de saúde para entender o seu caso.

2. Cuidado Centrado no Paciente e IA

O Cuidado Centrado no Paciente pode ganhar distintos contornos conceituais na literatura especializada, mas três temas podem ser encontrados na ampla gama de conceituações do Cuidado Centrado no Paciente, a saber: (a) participação e envolvimento do paciente; (b) relação entre o profissional de saúde e o paciente; (c) contexto no qual o cuidado em saúde é provido (Brickley et al., 2021). Desse modo, o comando ético que se extrai do Cuidado Centrado no Paciente, a ser observado pelos profissionais de saúde, os impele a situar os interesses e as necessidades do paciente acima dos demais atores no encontro clínico, na medida em que o cuidado versa sobre o corpo e a saúde do paciente (Epstein, 2017).

O paciente deve estar no centro de todas as decisões nos cuidados em saúde, e esse comando ético se encontra ameaçado pelo crescimento do uso da IA. Isso porque os médicos podem adotar posturas que os levam ao «viés de automação» e não considerar se a tecnologia de IA atende ou não às necessidades daquele paciente, em específico (World Health Organization, 2021). O Conselho da Europa demonstrou preocupação em relação ao «viés de automação» e recomendou que as aplicações de IA não substituam completamente o julgamento humano e que as decisões clínicas sejam sempre validadas por profissionais (Mittelstadt, 2021).

O uso da IA, alicerçado no Cuidado Centrado no Paciente, não pode mitigar ou desconsiderar os interesses dos pacientes no processo de tomada de decisão, de acordo com suas preferências informadas sobre a natureza da escolha a ser feita, seu significado e as consequências das alternativas. Assim, por exemplo, em determinado processo de tomada de decisão, podem ser ranqueadas opções de tratamento para câncer de colorretal baseadas na maximização da vida útil, ao invés de se privilegiar a minimização do sofrimento, o que não se coaduna com as preferências do paciente, o qual valoriza sofrer menos (Kolfschooten, 2022).

As preferências dos pacientes que norteiam os processos de tomada de decisão não são apenas de cunho médico, ou seja, também abarcam preferências pessoais, como ser uma pessoa que valoriza mais viajar ou estar com a família. Essas preferências pessoais, comumente, não são registradas nos prontuários ou em outros sistemas dos quais se extraem dados a serem utilizados por tecnologias de IA, o que pode acarretar predições apartadas das necessidades e preferências do paciente (Ploug e Holm, 2020), logo, não consentâneas com o Cuidado Centrado no Paciente.

Para que se preserve o Cuidado Centrado no Paciente e o seu comando ético no sentido de que esse cuidado se caracteriza pelo respeito às preferências, às necessidades e aos valores individuais do paciente e os garanta como norteadores das decisões clínicas, as tecnologias de IA não podem reconfigurar o paternalismo, substituindo a decisão unilateral dos profissionais por aquela tomada por algoritmos (Kerasidou, 2020). Por isso, o profissional deve mediar a interatividade entre o paciente e a tecnologia de IA, adotando o modelo da mediação, no qual o profissional atua como um tradutor da tecnologia para o paciente. Observa-se que quando não houver a presença do profissional, no caso de chatbots, o sistema de IA deve explicar de forma inteligível o processo de tomada de decisão e quando se tratar de sistema de IA opaco, no mínimo, espera-se que explane para o paciente o que é uma IA e como opera (Mittelstadt, 2021). Desse modo, o uso da IA na prática clínica deve ser guiado pelo Cuidado Centrado no Paciente, em consequência, propugna-se que o paciente não seja instrumentalizado pelo tecnologia de IA ou otimismo em seu emprego ofusque o exame ético compulsório a ser feito pelos profissionais e organizações de saúde previamente ao emprego da tecnologia de IA.

IV. Os impactos da inteligência artificial sobre os direitos dos pacientes

1. Inteligência Artificial e direitos do paciente

O Direito do Paciente engloba um elenco de direitos, internacionalmente acordados, que derivam dos direitos humanos aplicados ao contexto dos cuidados em saúde. Esse elenco é constituído pelos seguintes direitos: direito de participar da tomada de decisão; direito ao consentimento informado; direito à segunda opinião; direito de recusar tratamentos e procedimentos; direito à informação; direito de acesso ao prontuário do paciente; direito à confidencialidade dos dados pessoais; direito ao cuidado em saúde com qualidade e segurança; direito de não ser discriminado e direito de apresentar uma queixa e direito à reparação (Albuquerque, 2023).

Sendo assim, o Direito do Paciente tem como função regular o uso da IA nos cuidados em saúde, de modo a assegurar que os pacientes tenham a habilidade e o conhecimento necessários para entender tal uso e assegurar que seja feito de forma consentânea com suas necessidades, preferências e segurança. Em consequência, o letramento em saúde deve envolver o letramento tecnológico, que permitirá o desenvolvimento da capacidade de entendimento do paciente acerca do uso da IA em seu cuidado (World Health Organization, 2021). Nesse sentido, os pacientes tendem a não confiar na IA, sendo considerada menos segura quando se coteja com os profissionais de saúde. Um dos principais fatores que concorre para a falta de confiança dos pacientes são a falta de habilidade da IA para ter emoções, a percepção de que o sistema de IA se descura das características particulares dos pacientes e seus sintomas e que a IA não compartilha os mesmos valores dos profissionais de saúde (Kolfschooten, 2022).

Essa falta de confiança dos pacientes não pode ser desconsiderada pelos sistemas e organizações de saúde ao decidirem pelo uso de IA, ao revés, devem reconhecer que os pacientes apresentam vulnerabilidade acrescida, a qual é incrementada quando se trata da vulnerabilidade cognitiva, flagrante quando se trata do emprego de tecnologias de IA. Ainda, é papel dos Estados adotar legislação específica sobre o uso de IA nos cuidados em saúde fundamentada no direito do paciente, de modo a mitigar a assimetria de poder e de informação que caracteriza o cuidado em saúde, e é amplificada com o uso de IA, bem como de garantir sua autodeterminação e segurança.

1.1. Direito ao consentimento informado e o direito de recusa

O direito ao consentimento informado deve ser analisado sob a perspectiva do consentimento relativo ao próprio uso da IA e, também, a determinado curso de ação, no qual no processo decisional foi empregado a tecnologia de IA. Igualmente, o direito ao consentimento informado implica para a sua real configuração o direito à recusa do uso da IA, por esse motivo, ambos serão tratados no mesmo tópico.

A IA pode conduzir ao processo de tomada de decisão realizado por máquinas (World Health Organization, 2021), isto é, a tomada de decisão automatizada conduzida por IA é definida como procedimentos nos quais as decisões são, completa ou parcialmente, delegadas a um sistema de IA. Em geral, a tomada de decisão automatizada conduzida por IA é realizada por técnicas de machine learning, a qual se caracteriza pela análise de dados, encontrando padrões e tirando conclusões, sem ter sido explicitamente programada para tanto, explicitando a sua autonomia. Ocorre que a autonomia da máquina não pode obstruir o exercício da autodeterminação do paciente e, consequentemente, o seu controle acerca das decisões concernentes à sua saúde. Isso inclui a decisão sobre usar ou não a IA em todas as etapas de cuidado.

Caso o paciente não entenda a natureza e as consequências da IA na tomada de decisão, isso pode impactar negativamente o processo de consentimento informado (Kolfschooten, 2022). A dificuldade da explicabilidade de tecnologia de IA, mormente quando se trata da interpretação dos dados e suas complexas técnicas estatísticas, ocasiona desafios inauditos ao consentimento informado (Mittelstadt, 2021). Essa dificuldade se mostra mais problemática quando se trata de sistemas de IA opacos, cuja uso pode repercutir negativamente na relação entre o paciente e o profissional e na confiança necessária para que o consentimento informado possa se expresso de forma segura pelo paciente, haja vista que se torna receoso em aceitar um tratamento ou procedimento quando não confia no profissional (Amann et al., 2020). Isso traz sérias consequências para a adesão ao tratamento e desfechos clínicos positivos.

A previsão do uso de IA no diagnóstico, no prognóstico e no plano de cuidado deve ser incluída no processo de consentimento informado (World Health Organization, 2021). Desse modo, entende-se que o fato do paciente consentir com os termos de uso de um aplicativo ou chatbot não substitui o consentimento informado quanto aos cursos de ação no plano terapêutico que envolvam as tecnologias de IA.

No que tange ao direito de recusa, uma decisão automatizada que acarreta eventuais riscos para o paciente deve ser apresentada de forma que esse possa contestá-la, e reduzir os espaços de questionamento e de rechaçar o uso de IA se contrapõe ao respeito ao direito de recusa. Nessa direção, há que se reconhecer legalmente o direito do paciente se recusar decisões automatizadas (Kolfschooten, 2022) ou o direito de não ser submetido a decisões baseadas tão somente em processos automatizados, conforme propugnam Ploug e Holm (2020), direito que se encontra expresso no artigo 22 do Regulamento Europeu de Proteção de Dados.

O direito de recusa do paciente ao uso de IA não é apenas um direito de natureza negativa, mas também positiva, porquanto impõe que se apresente alternativa para o paciente ao uso de IA, como o diagnóstico e a elaboração de plano de cuidado com a participação direta de um profissional de saúde. Pode-se aventar que cada vez mais será complicado para os pacientes refutarem o uso de IA em seu processo de diagnóstico, como, por exemplo, se dá no caso dos equipamentos de ECG, nos quais a funcionalidade da IA é uma parte integral (Ploug e Holm, 2020).

Quanto ao direito de recusa, entende-se que algumas informações são indispensáveis para que possa ser efetivamente exercido pelo paciente, a saber: (a) o a identificação do sistema de IA que faz uso dos dados; (b) os potenciais vieses do sistema de IA; (c) a performance do sistema de IA: (d) a divisão do trabalho entre o sistema de IA e o profissional de saúde (Ploug e Holm, 2023).

Uma vez que se dê a ampla introdução de tecnologias de IA destinadas ao diagnóstico e a tratamentos, o direito do paciente de recusá-las deve ser assegurado sem acarretar-lhe dispêndios financeiros ou a inexistência de alternativas. Os sistemas de saúde devem se estruturar para acolher pacientes que não desejam o uso de tecnologias de IA em tal contexto.

1.2. Direito de não ser discriminado

Os vieses dos algoritmos são amplamente discutidos na literatura sobre o uso de IA nos cuidados em saúde, pois podem ocasionar tratamentos discriminatórios de pacientes. Os algoritmos usados em diagnósticos e planos de cuidado podem ter vieses inerentes, favorecendo desde diagnósticos e tratamentos em excesso à falta de diagnóstico ou tratamento (Kerasidou, 2020). Exemplificando, as evidências sugerem que a adesão do paciente varia conforme a idade, sendo que aqueles com 60-70 anos apresentam maior adesão e os de meia idade apresentam menor. Caso a tecnologia de IA almeje maximizar os resultados em saúde, usando padrões dos pacientes com maior adesão, pode não oferecer o melhor tratamento para os pacientes de meia idade, acarretando um tratamento discriminatório em relação a esse grupo. Ainda, um sistema de IA pode prover diferentes orientações de tratamento para pacientes idosos e jovens, apresentando vieses e, eventualmente, conduzindo à discriminação, ou pode ser apenas um tratamento diferenciando justificado. Mas, caso não se possa entender como opera a IA, essa dúvida pode persistir e gerar desconfiança (Ploug e Holm, 2020).

Outros vieses são relatados na literatura relacionados ao uso de dados vinculados a fenótipos e genótipos, o que pode conduzir a falsos diagnósticos e gerar tratamentos inefetivos e mesmos danosos, como um sistema de IA de diagnóstico de câncer de pele treinado com dados de pacientes caucasianos, que terá menos acurácia quando se trata de pacientes afrodescendentes (Gerke et al., 2020). Demonstrou-se que um sistema de IA amplamente utilizado apresentou viés racial, o que aumentou a introdução de pacientes afrodescendentes em um programa de cuidado de alto risco na atenção primária de 17,7 % para 46,5 % (Ploug e Holm, 2023).

Um sistema de IA pode conduzir a decisões enviesadas, por isso é essencial que os profissionais de saúde o questionem criticamente, e analisem se podem efetivamente confiar nas orientações do sistema (Hoeren e Niehoff, 2018). É papel dos profissionais e das organizações de saúde assegurar que o uso da IA não contribua para aumentar iniquidades e provocar novas discriminações (Mittelstadt, 2021).

Caso os pacientes e familiares detectem vieses e tratamentos discriminatórios gerados pelo uso de uma IA, isso pode levá-los a não confiar no uso desse tipo de tecnologia, o que não é positivo para as organizações e os profissionais de saúde, bem como para os melhores desfechos clínicos, haja vista que a confiança é um fator preponderante na relação entre paciente e profissionais de saúde.

1.3. Direito à informação

O uso de tecnologias de IA não pode incrementar a assimetria de informação que se encontra presente nas interações dos cuidados em saúde (Högberg e Larsson, 2022), embora se reconheça que informar o paciente sobre o uso da IA acarreta para o profissional de saúde desafios adicionais, haja vista que o entendimento acerca de muitas tecnologias de IA é complexo, inclusive para o próprio profissional. Assim, tendo em conta a opacidade de certos sistemas de IA, nem sempre os profissionais poderão informar os pacientes sobre todos os passos do processo de tomada de decisão ou como operam os algoritmos. Os profissionais podem não ter conhecimento suficiente ou a informação ser demasiadamente complexa para o paciente. Para alguns especialistas, não é possível que os seres humanos entendam completamente como um sistema de IA chega a determinado resultado, porquanto os algoritmos estão sujeitos à constante mudança.

Há que se reconhecer a dificuldade para a maior parte dos pacientes de entender como funcionam as tecnologias de IA e alcançam decisões em saúde. Essa complexidade atinente ao entendimento do paciente acerca do uso da IA afeta a sua confiança no seu processo de cuidado. Esse problema se agrava quando o sistema de IA é opaco, o que é referido como o efeito «caixa-preta» da IA, isto é, não é sempre possível se determinar como um sistema de IA tomar certas decisões ou realiza predições (Kolfschooten, 2022). A emergência de mais sistemas de IA opacos no contexto da tomada de decisão nos cuidados em saúde leva à problemática acerca do quanto de informação um paciente necessita para tomar decisões e consentir ou não com tratamentos e procedimentos. No mesmo sentido, um sistema de IA opaco pode fomentar o paternalismo (Amann et al., 2020), na medida em que o cuidado do paciente será conduzido dissociado do seu entendimento e das suas necessidades e preferências.

No caso de um sistema de IA opaco, especialistas apontam que a sua explicabilidade deve se dar em algum nível, notadamente não quanto a como a IA alcança determinada decisão, mas sim no que concerne à sua acurácia, em termos de diagnóstico, por exemplo (Gerke et al., 2020). Uma alternativa para mitigar o problema da explicabilidade de sistemas de IA opacos, pode-se restringir o uso desses sistemas nos cuidados em saúde, permitindo apenas aqueles sistemas de IA que permitam aos profissionais de saúde que os entendam e possam explicá-los para o paciente (Mittelstadt, 2021). Essa vedação decorre da assunção de que o paciente é o centro do cuidado e tem o direito de saber o que se passa e de que nada seja decidido sem o seu envolvimento, o que é um imperativo também derivado do Cuidado Centrado no Paciente (Högberg e Larsson, 2022).

O direito à informação impele que os profissionais revelem para os pacientes que há o uso de IA, em todos os casos, e a extensão da informação sobre os riscos do uso da IA e como opera deve estar condicionada às preferências informacionais do próprio paciente, o que se coaduna com o Cuidado Centrado no Paciente e com o padrão informacional baseado no paciente. Particularmente, quanto à informação acerca do uso de IA, importante a ponderação de Cohen (2020) no sentido de que se o médico adota automaticamente a recomendação do sistema de IA, o seu dever de informar é mais forte quando tão somente a utiliza como mais um componente no seu processo de análise do caso do paciente. Além do direito à informação do paciente se dirigir ao profissional, também abarca as organizações de saúde, as quais vêm falhando na informação quanto ao uso de IA nos hospitais.

1.4. Direito à confidencialidade dos dados pessoais

A maior parte das tecnologias de IA nos cuidados em saúde processa, coleta e analisa dados pessoais sensíveis dos pacientes, o que inclui dados constantes dos prontuários e de imagens do corpo do paciente. A anonimização da quantidade volumosa de dados oriundos de prontuários tratados no bojo de uma tecnologia de IA nem sempre é possível, isso se dá em razão da natureza detalhada desse tipo de informação e do fato do risco de reidentificação estar presente (Kolfschooten, 2022). O uso progressivo de sistemas de IA nos cuidados em saúde demanda a criação de bases dados de pacientes para treinar e testar esses sistemas (Mittelstadt, 2021). No entanto, os pacientes, em geral, não estão cientes da extensão exata da quantidade de seus dados que são tratados pelas tecnologias de IA na saúde, o que repercute no seu direito de autorizar ou não o uso de seus dados pessoais.

O princípio da necessidade ou da minimização dos dados, presente em leis gerais de proteção de dados, aplicável à proteção dos dados pessoais tem o condão de limitar a coleta, condicionando-a a um fim estabelecido e demarcado. No entanto, ocorre um sistema de IA demanda uma quantidade volumosa de dados para realizar suas funções e treinar os algoritmos (Kolfschooten, 2022). Portanto, a incorporação gradativa de sistemas de IA coloca em risco a confidencialidade dos dados dos pacientes, notadamente por meio da pressão para que terceiros não afetos à relação de cuidado possam acessar esses dados e pelo risco de disponibilizar os prontuários eletrônicos visando à coleta de dados para testar e desenvolver sistemas de IA, o que pode ser feito por do afrouxamento das leis gerais de proteção de dados (Mittelstadt, 2021).

1.5. Direito ao cuidado seguro

Os sistemas de IA comentem erros sistematicamente (Ploug e Holm, 2023) e uma série de riscos, como o design de sistema antiético, perda do controle humano, o exercício do poder digital irresponsável, são relatados na literatura. Ademais, quatro dos mais citados modelos de machine learning, publicados desde 2016, não têm mecanismos de abstenção quando há incerteza (Kompa et al., 2022).

Com efeito, os sistemas de IA apresentam diferentes níveis de risco para o paciente, que se condicionam à severidade do dano potencial e à probabilidade da sua ocorrência. Quanto à severidade do dano, essa depende da tarefa desempenhada pela IA, isto é, um robô-cirurgião pode causar um dano muito grave do que um sistema de IA que opera o gerenciamento das consultas médicas. No que tange à probabilidade, essa se correlaciona com o grau de autonomia no processo automatizado de tomada de decisão, de acordo com a quantidade de controle que permanece com os seres humanos. Assim, pode-se ter uma tomada de decisão assistida, mediante recomendações de saúde, e uma automação completa, como o exemplo do robô-cirurgião (Kolfschooten, 2022). Igualmente, um sistema de IA pode não captar um tumor em uma radiografia ou sugerir uma dose incorreta de medicamento ou um medicamento inadequado. O IMB Watson for Oncology foi criticado por recomendar, de forma insegura e incorreta, tratamentos para câncer (Gerke et al., 2020). Como se nota, o uso de IA nos cuidados em saúde não é desprovido de riscos de dano para o paciente, conseguintemente, o campo da segurança do paciente deve se ocupar dessa temática, conjugando-se com o Direito do Paciente para estabelecer regramentos aptos a proteger o paciente.

O uso das tecnologias de IA nos cuidados em saúde não pode acarretar danos aos pacientes, logo, deve ser regulamentado e circunscrito por critérios normativos de segurança, acurácia e eficácia, bem como medidas que assegurem o controle de sua qualidade e a sua melhoria devem estar previstas no arcabouço regulatório estatal (World Health Organization, 2021). Nesse sentido, quando o uso de uma tecnologia de IA implicar alto risco para o paciente, deve haver uma gestão adequada desse risco e a operação da IA deve ser transparente (Kolfschooten, 2022) para o paciente, de modo que possa compreender o risco e as alternativas existentes em seu caso.

Deve-se garantir que as tecnologias de IA performem suas tarefas e sejam usadas em condições apropriadas, conseguintemente, pontos de supervisão por seres humanos devem ser estabelecidos, envolvendo profissionais, pacientes e designers, de modo que o algoritmo mantenha um caminho medicamento efetivo de desenvolvimento da machine learning, e que possa ser interrogado e ser eticamente responsável (World Health Organization, 2021).

Aponta-se que o uso de tecnologias de IA pode produzir efeitos deletérios nas competências dos profissionais de saúde, erodindo habilidades relacionadas à sua prática clínica (Högberg e Larsson, 2022). Nesse sentido, a OMS enfatiza a abordagem centrada na pessoa quando se trata do uso de IA nos cuidados em saúde, do que decorre o dever daquele que é responsável pelo seu emprego de que seja usada de modo que haja o incremento das habilidades dos profissionais, e não o revés, a sua deteriorando ou a substituição do profissional pela máquina. A perda de habilidades e o viés de automação apresentam riscos diretos ao paciente (Mittelstadt, 2021).

1.6. Direito à queixa e à reparação integral

O paciente tem direito de ser informado quando algo de errado ocorre no uso da tecnologia de IA, bem como tem direito a todos os componentes da reparação integral e do disclosure, como o direito ao pedido de desculpa, ao apoio psicológico e aos cuidados em saúde relativos ao dano. Da mesma forma, mecanismos apropriados para assegurar o seu direito de queixa e de reparação afetados por decisões informadas por algoritmos devem estar legalmente configurados.

No contexto dos cuidados em saúde, a indicação do responsável pelo dano ocasionado ao paciente advindo do uso da IA é complexa, isso se mantem indeterminado legalmente na maior parte dos países. Segundo a OMS, as organizações de saúde têm responsabilidade legal e dever de assumi-la quando se trata de decisões tomadas por algoritmos dos quais fazem uso, mesmo quando não é possível explicar em detalhes como os algoritmos produziram o resultado danoso (World Health Organization, 2021). Quanto aos profissionais de saúde, recomenda-se que aprendam como melhor usar as tecnologias de IA e interpretar seus algoritmos, bem como discernir sobre o quanto confiar nas suas recomendações (Gerke e Cohen, 2019).

O tema acerca do responsável pela reparação do dano causado por uma tecnologia de IA, atualmente, se encontra em debate. Não se tem, neste estudo, o desiderato de explorar temática de tamanha complexidade, mas é importante enunciar que não se encontra claro quem deve ser responsável, por exemplo, no caso de um diagnóstico errôneo, se o desenvolvedor do algoritmo, o provedor dos dados, a organização de saúde que adotou o sistema de IA ou o profissional que o utilizou (Kerasidou, 2020). Por isso, sustenta-se que se adote um sistema de reparação compensatória sem culpa, como foi implementado nos casos de danos derivados de vacinas. Nos Estados Unidos, as indústrias que produzem vacinas depositam valores em um fundo, e o risco é coletivizado, assim, as pessoas que sofrem danos associados a vacinas são reparadas. Gerke, Minssen e Cohen (2020) sugerem que as empresas de IA façam o mesmo na esfera da saúde, posição endossada neste estudo.

1.7. Direito de participar da tomada de decisão

No âmbito dos cuidados em saúde, o uso de IA se expressa muitas vezes em sistemas de apoio à tomada de decisão (SATD), auxiliando os médicos na realização do diagnóstico e nas decisões acerca do tratamento. Os SATD baseados em IA aplicam modelos de IA treinados com dados de pacientes que correspondem ao seu caso. Segundo Amann e colaboradores (2020), o uso de SATD possui um potencial inegável, mas seus desafios estão presentes, tais como os relacionados à sua explicabilidade, que consiste na característica de uma IA em que se permite a uma pessoa refazer o caminho realizado pela IA para se chegar à determinada predição, e o risco do viés de automação. Esse se caracteriza, no contexto do uso de SATD, pelo excesso confiança do médico na IA e na substituição do seu próprio julgamento pela recomendação da IA. Ainda, há o risco de que o uso de SATD produza, com o tempo, a perda de habilidades dos médicos de tomada de decisão, reduzindo a sua autonomia e conhecimento. Estudo sobre a introdução do prontuário eletrônico demonstrou perda de habilidades de profissionais no âmbito da atenção primária (Ploug e Holm, 2023).

Os profissionais de saúde e pacientes, no processo de tomada de decisão, precisam de informação não apenas sobre os resultados alcançados pela IA, mas também acerca dos aspectos sobre os quais esses resultados se fundamentaram. Especificamente, quando se trata de um SATD opaco, ainda não se sabe como as preferências e as necessidades do paciente são levadas em conta pelo modelo (Amann et al., 2020). Assim, nota-se desafios significativos no uso de um SATD conjugados com o direito do paciente de participar das decisões sobre a sua saúde.

Particularmente quanto à Tomada de Decisão Compartilhada (TDC), a revisão de escopo, realizada por Abbasgholizadeh e colaboradores (2022), verificou que o uso de IA na TDC ainda está iniciando. De qualquer modo, os pesquisadores identificaram que a literatura que trata da temática não tem enfatizado os valores e as preferências dos pacientes em tal contexto e são escassos os esforços na direção da explicabilidade das tecnologias de IA.

O direito do paciente de participar das decisões atinentes ao seu cuidado não pode ser mitigado pelo uso de SATD e outras tecnologias de IA aplicáveis à TDC. Esse direito pressupõe conversas abertas e espaços seguros para que o paciente possa expressar suas necessidades, vontade e preferências, bem como o seu entendimento acerca dos riscos e benefícios atrelados a cada curso de ação disponível em seu caso. Esses pressupostos do exercício do direito de participar podem ser ameaçados no caso do uso de um sistema de IA, como, por exemplo, um sistema que prima pela sobrevivência, ao passo que o paciente busca a redução do seu sofrimento, como visto.

V. Considerações Finais

Atualmente, constata-se que a IA pode ser uma realidade incontornável e inexorável, entretanto, o que não pode ser compulsório é o seu uso nos cuidados em saúde sem regulação ético-jurídica destinada à proteção dos pacientes e, notadamente, à garantia de que seja centrado nas pessoas e não na máquina ou nos interesses mercadológicos associados. A IA pode impactar severamente os direitos dos pacientes, reduzindo a sua autodeterminação, mormente pelo fato de ser difícil para os pacientes entenderem como operam e da desconsideração das informações contextuais e do conhecimento experiencial do paciente no processo de tomada de decisão. Ainda, destaca-se que a relação humana é o cerne do cuidado em saúde, na qual a empatia do profissional possui benefícios inigualáveis para o paciente e o próprio profissional. Não se deve mitigar o risco das interações entre a IA e o paciente, principalmente de afastá-lo do profissional e do seu poder curativo. Por isso, as interações entre os pacientes e a IA há que serem mediadas pelo profissional, cujo papel não pode ser substituído pela máquina, assim, o seu caráter acessório nessa aliança terapêutica deve ser demarcado. O uso de IA nos cuidados em saúde deve ser balizado pelos avanços ético-jurídicos alcançados ao longo dos anos quanto ao enfrentamento do paternalismo e da desconsideração da voz do paciente. O protagonismo do paciente e a sua participação ativa devem ser premissas do emprego de tecnologias de IA nos cuidados em saúde, cuja finalidade não pode ser orientada pelos interesses das empresas ou das organizações de saúde, mas sim pelos direitos dos pacientes, haja vista que o uso de IA não descaracteriza a essência do cuidado em saúde, qual seja atender às necessidades do paciente.