Utilidade do MemTrax e Modelagem de Aprendizado de Máquina na Classificação de Deficiência Cognitiva Leve
Artigo de Pesquisa
Autores: Bergeron, Michael F. | Landset, Sara | Zhou, Xianbo | Ding, Tao | Khoshhoftaar, Taghi M. | Zhao, Feng | Du, Bo | Chen, Xinjie | Wang, Xuan | Zhong, Lianmei | Liu, Xiaolei| Ashford, J. Wesson
DOI: 10.3233/JAD-191340
Jornal: Jornal de Doença de Alzheimervol. 77, não. 4, pp. 1545-1558, 2020
Sumário
Fundo:
A ampla incidência e prevalência de Doença de Alzheimer e comprometimento cognitivo leve (MCI) levou a uma chamada urgente de pesquisa para validar a triagem e avaliação cognitiva de detecção precoce.
Objetivo:
Nosso principal objetivo de pesquisa foi determinar se as métricas de desempenho MemTrax selecionadas e características demográficas e de perfil de saúde relevantes podem ser efetivamente utilizadas em modelos preditivos desenvolvidos com aprendizado de máquina para classificar a saúde cognitiva (normal versus MCI), como seria indicado pelo Avaliação Cognitiva de Montreal (MoCA).
Métodos:
Realizamos um estudo transversal em 259 pacientes adultos de neurologia, clínica de memória e medicina interna recrutados de dois hospitais da china. Cada paciente recebeu o MoCA em chinês e autoadministrou o reconhecimento contínuo MemTrax episódico online teste de memória online no mesmo dia. Os modelos de classificação preditiva foram construídos usando aprendizado de máquina com validação cruzada de 10 vezes, e o desempenho do modelo foi medido usando a área sob a curva característica de operação do receptor (AUC). Os modelos foram construídos usando duas métricas de desempenho do MemTrax (porcentagem correta, tempo de resposta), juntamente com os oito recursos comuns de histórico demográfico e pessoal.
Resultados:
Comparando os alunos em combinações selecionadas de pontuações e limites do MoCA, Naïve Bayes foi geralmente o aluno com melhor desempenho, com um desempenho geral de classificação de 0.9093. Além disso, entre os três melhores alunos, o desempenho geral da classificação baseada no MemTrax foi superior usando apenas os quatro recursos mais bem classificados (0.9119) em comparação com o uso de todos os 10 recursos comuns (0.8999).
Conclusão:
O desempenho do MemTrax pode ser efetivamente utilizado em um modelo preditivo de classificação de aprendizado de máquina aplicativo de triagem para detectar comprometimento cognitivo em estágio inicial.
INTRODUÇÃO
A reconhecida (ainda que subdiagnosticada) ampla incidência e prevalência e paralela escalada médica, social e pública conectores os custos e o fardo da doença de Alzheimer (AD) e do comprometimento cognitivo leve (MCI) são cada vez mais desgastantes para todas as partes interessadas [1, 2]. Este cenário angustiante e florescente levou a uma chamada urgente de pesquisa para validar detecção precoce instrumentos de triagem e avaliação cognitiva para utilidade prática regular em ambientes pessoais e clínicos para pacientes idosos em diversas regiões e populações [3]. Esses instrumentos também devem fornecer a tradução perfeita de resultados informativos em registros eletrônicos de saúde. Os benefícios serão percebidos informando os pacientes e auxiliando os médicos no reconhecimento precoce de mudanças significativas e, assim, permitindo estratificação, implementação e rastreamento mais rápidos e oportunos de tratamento apropriado individualizado e mais econômico e atendimento ao paciente para aqueles que estão começando a experimentar declínio cognitivo [3, 4].
A ferramenta computadorizada MemTrax (https://memtrax.com) é uma avaliação de reconhecimento contínuo simples e breve que pode ser autoadministrada on-line para medir o desempenho desafiador da memória episódica cronometrada, em que o usuário responde a imagens repetidas e não a uma apresentação inicial [5, 6]. Pesquisas recentes e as implicações práticas resultantes estão começando a demonstrar progressiva e coletivamente a eficácia clínica do MemTrax na triagem precoce de DA e MCI [5-7]. No entanto, a comparação direta da utilidade clínica com saúde cognitiva avaliação e padrões convencionais é garantido para informar a perspectiva profissional e corroborar a utilidade do MemTrax na detecção precoce e suporte diagnóstico. van der Hoek et ai. [8] comparou métricas selecionadas de desempenho do MemTrax (velocidade de reação e porcentagem correta) ao status cognitivo conforme determinado pelo Montreal Avaliação cognitiva (MoCA). No entanto, este estudo limitou-se a associar essas métricas de desempenho com a caracterização do estado cognitivo (conforme determinado pelo MoCA) e definir os intervalos relativos e os valores de corte. Assim, para expandir esta investigação e melhorar o desempenho e a eficácia da classificação, nossa principal questão de pesquisa foi:
- As métricas de desempenho MemTrax selecionadas de um indivíduo e informações demográficas e de saúde relevantes perfis características sejam efetivamente utilizadas em um modelo preditivo desenvolvido com aprendizado de máquina para classificar a saúde cognitiva dicotomicamente (normal versus MCI), como seria indicado pela pontuação MoCA de uma pessoa?
Secundariamente a isso, queríamos saber:
- Incluindo os mesmos recursos, um modelo de aprendizado de máquina baseado em desempenho do MemTrax pode ser aplicado efetivamente a um paciente para prever a gravidade (leve versus grave) dentro de categorias selecionadas de comprometimento cognitivo, conforme determinado por um diagnóstico clínico independente?
O advento e a evolução da aplicação prática da inteligência artificial e do aprendizado de máquina na triagem/detecção já demonstraram vantagens práticas distintas, com a modelagem preditiva orientando efetivamente os médicos na avaliação desafiadora da saúde cognitiva/cerebral e no gerenciamento de pacientes. Em nosso estudo, escolhemos uma abordagem semelhante na modelagem de classificação MCI e discriminação da gravidade do comprometimento cognitivo, conforme confirmado pelo diagnóstico clínico de três conjuntos de dados representando pacientes voluntários internados e ambulatoriais selecionados de dois hospitais na China. Usando a modelagem preditiva de aprendizado de máquina, identificamos os alunos com melhor desempenho das várias combinações de conjunto de dados/alunos e classificamos os recursos para nos guiar na definição dos aplicativos de modelo clinicamente mais práticos.
Nossas hipóteses foram que um modelo validado baseado em MemTrax pode ser utilizado para classificar a saúde cognitiva de forma dicotômica (normal ou MCI) com base no critério de limiar de pontuação agregado MoCA, e que um modelo preditivo MemTrax semelhante pode ser efetivamente empregado na discriminação de gravidade em categorias selecionadas de clinicamente diagnosticado disfunção cognitiva. Demonstrar os resultados esperados seria fundamental para apoiar a eficácia do MemTrax como uma triagem de detecção precoce para declínio cognitivo e classificação de comprometimento cognitivo. A comparação favorável com um suposto padrão da indústria complementado por uma facilidade e rapidez de utilidade muito maiores seria influente para ajudar os médicos a adotar essa ferramenta simples, confiável e acessível como uma triagem inicial na detecção de déficits cognitivos em estágio inicial (incluindo prodrômico). Tal abordagem e utilidade poderiam, portanto, solicitar cuidados e intervenções mais oportunas e melhor estratificadas ao paciente. Esses insights com visão de futuro e métricas e modelos aprimorados também podem ser úteis para mitigar ou interromper a progressão da demência, incluindo DA e demências relacionadas à DA (ADRD).
MATERIAIS E MÉTODOS
População de estudo
Entre janeiro de 2018 e agosto de 2019, uma pesquisa transversal foi concluída em pacientes recrutados em dois hospitais na China. A administração de MemTrax [5] a indivíduos com 21 anos ou mais e a coleta e análise desses dados foram revistos, aprovados e administrados de acordo com os padrões éticos da Pessoas Comitê de Proteção de Assuntos da Universidade de Stanford. O MemTrax e todos os outros testes para este estudo geral foram realizados de acordo com a declaração de Helsinque de 1975 e aprovados pelo Conselho de Revisão Institucional do Primeiro Hospital Afiliado da Kunming Medical University em Kunming, Yunnan, China. Cada usuário recebeu um consentimento informado formulário para ler/revisar e então concordar voluntariamente em participar.
Os participantes foram recrutados do grupo de pacientes ambulatoriais na clínica de neurologia do Hospital Yanhua (subconjunto de dados YH) e o clínica de memória no First Affiliated Hospital of Kunming Medical University (subconjunto de dados XL) em Pequim, China. Os participantes também foram recrutados em pacientes internados em neurologia (subconjunto de dados XL) e medicina interna (subconjunto de dados KM) no First Affiliated Hospital da Kunming Medical University. Os critérios de inclusão incluíram 1) homens e mulheres com pelo menos 21 anos de idade, 2) capacidade de falar chinês (mandarim) e 3) capacidade de entender instruções verbais e escritas. Os critérios de exclusão foram deficiências visuais e motoras que impedissem os participantes de completar o Teste MemTrax, bem como a incapacidade de entender as instruções específicas do teste.
Versão chinesa do MemTrax
O online A plataforma de teste MemTrax foi traduzida para chinês (URL: https://www.memtrax.com.cn) e posteriormente adaptado para ser utilizado por meio do WeChat (Shenzhen Tencent Computer Systems Co. LTD., Shenzhen, Guangdong, China) para autoadministração. Os dados foram armazenados em um servidor em nuvem (Ali Cloud) localizado na China e licenciado da Alibaba (Alibaba Technology Co. Ltd., Hangzhou, Zhejiang, China) pela SJN Biomed LTD (Kunming, Yunnan, China). Detalhes específicos sobre o MemTrax e os critérios de validade do teste usados aqui foram descritos anteriormente [6]. O teste foi fornecido gratuitamente aos pacientes.
Procedimentos de estudo
Para os pacientes internados e ambulatoriais, um questionário geral em papel para coletar informações demográficas e pessoais, como idade, sexo, anos de escolaridade, ocupação, viver sozinho ou com a família, e o histórico médico foi administrado por um membro da equipe de estudo. Após a conclusão do questionário, os testes MoCA [12] e MemTrax foram administrados (MoCA primeiro) com não mais de 20 minutos entre os testes. A porcentagem correta do MemTrax (MTx-% C), o tempo médio de resposta (MTx-RT) e a data e hora do teste foram registrados em papel por um membro da equipe de estudo para cada participante testado. O questionário preenchido e os resultados do MoCA foram carregados em uma planilha Excel pelo pesquisador que administrou os testes e verificados por um colega antes que os arquivos Excel fossem salvos para análises.
Teste MemTrax
O teste online MemTrax incluiu 50 imagens (25 únicas e 25 repetições; 5 conjuntos de 5 imagens de cenas ou objetos comuns) mostradas em uma ordem pseudo-aleatória específica. O participante (por instruções) tocaria o botão Iniciar na tela para iniciar o teste e começar a visualizar a série de imagens e novamente tocar a imagem na tela o mais rápido possível sempre que uma imagem repetida aparecesse. Cada imagem aparecia por 3 s ou até que a imagem na tela fosse tocada, o que motivava a apresentação imediata da próxima imagem. Utilizando o relógio interno do dispositivo local, o MTx-RT para cada imagem foi determinado pelo tempo decorrido desde a apresentação da imagem até o momento em que a tela foi tocada pelo participante em resposta à indicação de reconhecimento da imagem como uma já mostrada durante o teste. O MTx-RT foi registrado para cada imagem, com 3 s completos registrados indicando nenhuma resposta. MTx-% C foi calculado para indicar a porcentagem de imagens repetidas e iniciais às quais o usuário respondeu corretamente (verdadeiro positivo + verdadeiro negativo dividido por 50). Detalhes adicionais da administração e implementação do MemTrax, redução de dados, dados inválidos ou “sem resposta” e análises de dados primários são descritos em outro lugar [6].
O teste MemTrax foi explicado em detalhes e um teste prático (com imagens exclusivas além das usadas no teste para registrar os resultados) foi fornecido aos participantes no ambiente hospitalar. Os participantes dos subconjuntos de dados YH e KM fizeram o teste MemTrax em um smartphone que foi carregado com o aplicativo no WeChat; enquanto um número limitado de pacientes do subconjunto de dados XL usava um iPad e o restante usava um smartphone. Todos os participantes fizeram o teste MemTrax com um investigador do estudo observando discretamente.
Avaliação cognitiva de Montreal
A versão de Pequim do MoCA chinês (MoCA-BC) [13] foi administrada e pontuada por pesquisadores treinados de acordo com as instruções oficiais do teste. Adequadamente, o MoCA-BC tem se mostrado um método confiável teste para cognitivo triagem em todos os níveis de educação em adultos idosos chineses [14]. Cada teste levou cerca de 10 a 30 minutos para ser administrado com base nas habilidades cognitivas do respectivo participante.
Modelagem de classificação MoCA
Havia um total de 29 recursos utilizáveis, incluindo dois MemTrax testar métricas de desempenho e 27 recursos relacionados a dados demográficos e de saúde informações de cada participante. A pontuação agregada do teste MoCA de cada paciente foi usada como triagem cognitiva “benchmark” para treinar nossos modelos preditivos. Assim, como o MoCA foi usado para criar o rótulo da classe, não pudemos usar a pontuação agregada (ou qualquer uma das pontuações do subconjunto do MoCA) como um recurso independente. Realizamos experimentos preliminares nos quais modelamos (classificando a saúde cognitiva definida pelo MoCA) os três subconjuntos de dados originais de hospital/clínica individualmente e depois combinados usando todos os recursos. No entanto, todos os mesmos elementos de dados não foram coletados em cada uma das quatro clínicas que representam os três subconjuntos de dados; assim, muitos de nossos recursos no conjunto de dados combinados (ao usar todos os recursos) tiveram uma alta incidência de valores ausentes. Em seguida, construímos modelos com o conjunto de dados combinado usando apenas recursos comuns que resultaram em melhor desempenho de classificação. Isso provavelmente foi explicado por uma combinação de ter mais instâncias para trabalhar combinando os três subconjuntos de dados de pacientes e nenhum recurso com uma prevalência indevida de valores ausentes (apenas um recurso no conjunto de dados combinado, tipo de trabalho, tinha valores ausentes, afetando apenas três casos de pacientes), porque apenas os recursos comuns registrados em todos os três locais foram incluídos. Notavelmente, não tivemos um critério de rejeição específico para cada recurso que acabou não sendo incluído no conjunto de dados combinado. No entanto, em nossa modelagem preliminar de conjuntos de dados combinados, usamos primeiro todos os recursos de cada um dos três subconjuntos de dados de pacientes separados. Isso resultou amplamente no desempenho do modelo que foi mensuravelmente menor do que a modelagem preliminar inicial em cada subconjunto de dados individual. Além disso, enquanto o desempenho de classificação dos modelos construídos usando todos os recursos foi encorajador, em todos os alunos e esquemas de classificação, o desempenho melhorou para o dobro de modelos ao usar apenas recursos comuns. De fato, entre os que acabaram sendo nossos principais alunos, todos, exceto um, melhoraram ao eliminar recursos não comuns.
O conjunto de dados agregado final (YH, XL e KM combinados) incluiu 259 instâncias, cada uma representando um participante único que realizou os testes MemTrax e MoCA. Havia 10 recursos independentes compartilhados: Métricas de desempenho do MemTrax: MTx-% C e MTx-RT médio; informações demográficas e de histórico médico: idade, sexo, anos de estudo, tipo de trabalho (colarinho azul/colarinho branco), apoio social (se o examinando mora sozinho ou com a família) e respostas sim/não sobre se o usuário história de diabetes, hiperlipidemia ou lesão cerebral traumática. Duas métricas adicionais, pontuação agregada do MoCA e pontuação agregada do MoCA ajustada para anos de educação [12], foram usadas separadamente para desenvolver rótulos de classificação dependentes, criando assim dois esquemas de modelagem distintos a serem aplicados ao nosso conjunto de dados combinado. Para cada versão (ajustada e não ajustada) da pontuação do MoCA, os dados foram novamente modelados separadamente para classificação binária usando dois limites de critérios diferentes - o inicialmente recomendado [12] e um valor alternativo usado e promovido por outros [8, 15]. No esquema de classificação de limiares alternativos, um paciente foi considerado com saúde cognitiva normal se tivesse pontuação ≥23 no teste MoCA e com MCI se a pontuação fosse 22 ou inferior; enquanto que, no formato de classificação inicial recomendado, o paciente tinha que pontuar 26 ou mais no MoCA para ser rotulado como tendo saúde cognitiva normal.
Dados filtrados para modelagem de classificação MoCA
Examinamos ainda a classificação MoCA usando quatro técnicas de classificação de recursos comumente usadas: Qui-Quadrado, Ganho Ratio, Ganho de Informação e Incerteza Simétrica. Para uma perspectiva provisória, aplicamos os rankers a todo o conjunto de dados combinado usando cada um de nossos quatro esquemas de modelagem. Todos os rankers concordaram com as mesmas características principais, ou seja, idade, número de anos de educação e ambas as métricas de desempenho do MemTrax (MTx-% C, média MTx-RT). Em seguida, reconstruímos os modelos usando cada técnica de seleção de recursos para treinar os modelos apenas nos quatro principais recursos (consulte Seleção de recursos abaixo).
As oito variações finais resultantes dos esquemas de modelagem de classificação de pontuação do MoCA são apresentadas na Tabela 1.
tabela 1
Resumo das variações do esquema de modelagem usado para classificação MoCA (Normal Saúde Cognitiva contra MCI)
| Esquema de modelagem | Saúde Cognitiva Normal (Classe Negativa) | MCI (Classe Positiva) |
| Ajustado-23 Não filtrado/filtrado | 101 (% 39.0) | 158 (% 61.0) |
| Ajustado-26 Não filtrado/filtrado | 49 (% 18.9) | 210 (% 81.1) |
| Não ajustado-23 Não filtrado/filtrado | 92 (% 35.5) | 167 (% 64.5) |
| Não ajustado-26 Não filtrado/filtrado | 42 (% 16.2) | 217 (% 83.8) |
O respectivo número e porcentagem do total de pacientes em cada classe são diferenciados pelo ajuste de pontuação para educação (Ajustado ou Não Ajustado) e limite de classificação (23 ou 26), conforme aplicado a ambos os conjuntos de recursos (Não filtrado e Filtrado).
Modelagem de avaliação clínica baseada em MemTrax
Dos nossos três subconjuntos de dados originais (YH, XL, KM), apenas os pacientes do subconjunto de dados XL foram diagnosticados clinicamente de forma independente para comprometimento cognitivo (ou seja, seus respectivos escores MoCA não foram usados para estabelecer uma classificação de normal versus prejudicado). Especificamente, os pacientes XL foram diagnosticados com teste de Alzheimer (DA) ou demência vascular (DVA). Dentro de cada uma dessas categorias de diagnóstico primário, havia uma designação adicional para MCI. Os diagnósticos de CCL, demência, transtorno neurocognitivo vascular e transtorno neurocognitivo devido à DA foram baseados em critérios diagnósticos específicos e distintos descritos no Manual Diagnóstico e Estatístico de Transtornos Mentais: DSM-5 [16]. Considerando esses diagnósticos refinados, dois esquemas de modelagem de classificação foram aplicados separadamente ao subconjunto de dados XL para distinguir o nível de gravidade (grau de comprometimento) para cada categoria de diagnóstico primário. Os dados utilizados em cada um desses esquemas de modelagem de diagnóstico (AD e VaD) incluíram informações demográficas e do histórico do paciente, bem como o desempenho do MemTrax (MTx-% C, MTx-RT médio). Cada diagnóstico foi rotulado como leve se designado MCI; caso contrário, foi considerado grave. Inicialmente consideramos incluir o escore MoCA nos modelos de diagnóstico (leve versus grave); mas determinamos que isso anularia o propósito de nosso esquema de modelagem preditiva secundária. Aqui, os alunos seriam treinados usando outras características do paciente prontamente disponíveis para o provedor e métricas de desempenho do teste MemTrax mais simples (em vez do MoCA) em relação à referência “padrão ouro”, o diagnóstico clínico independente. Havia 69 instâncias no conjunto de dados de diagnóstico de AD e 76 instâncias de VaD (Tabela 2). Em ambos os conjuntos de dados, havia 12 características independentes. Além das 10 características incluídas na classificação do escore MoCA, o histórico do paciente também incluía informações sobre histórico de hipertensão e acidente vascular cerebral.
tabela 2
Resumo das variações do esquema de modelagem usado para classificação de gravidade do diagnóstico (Leve versus Grave)
| Esquema de modelagem | Leve (Classe Negativa) | Grave (Classe Positiva) |
| MCI-AD versus AD | 12 (% 17.4) | 57 (% 82.6) |
| MCI-VaD versus VaD | 38 (% 50.0) | 38 (% 50.0) |
O respectivo número e porcentagem do total de pacientes em cada classe são diferenciados por categoria de diagnóstico primário (AD ou VaD).
Estatísticas
A comparação das características dos participantes e outras características numéricas entre os subconjuntos de dados para cada estratégia de classificação do modelo (para prever a saúde cognitiva do MoCA e a gravidade do diagnóstico) foi realizada usando a linguagem de programação Python (versão 2.7.1) [17]. As diferenças de desempenho do modelo foram inicialmente determinadas usando uma ANOVA de um ou dois fatores (conforme apropriado) com um intervalo de confiança de 95% e o teste de diferença significativa honesta de Tukey (HSD) para comparar as médias de desempenho. Este exame das diferenças entre os desempenhos do modelo foi realizado usando uma combinação de Python e R (versão 3.5.1) [18]. Empregamos essa abordagem (embora, indiscutivelmente, abaixo da ideal) apenas como uma ajuda heurística neste estágio inicial para comparações iniciais de desempenho do modelo em antecipar a aplicação clínica potencial. Em seguida, utilizamos o teste Bayesiano de classificação sinalizada usando uma distribuição posterior para determinar a probabilidade de diferenças de desempenho do modelo [19]. Para essas análises, usamos o intervalo –0.01, 0.01, significando que se dois grupos tivessem uma diferença de desempenho menor que 0.01, eles eram considerados iguais (dentro da região de equivalência prática) ou, caso contrário, eram diferentes (um melhor que o outro). Para realizar a comparação bayesiana dos classificadores e calcular essas probabilidades, utilizamos a biblioteca baycomp (versão 1.0.2) para Python 3.6.4.
Modelagem preditiva
Construímos modelos preditivos usando as dez variações totais de nossos esquemas de modelagem para prever (classificar) o resultado do teste MoCA de cada paciente ou a gravidade do diagnóstico clínico. Todos os alunos foram aplicados e os modelos foram construídos usando a plataforma de software de código aberto Weka [20]. Para nossa análise preliminar, empregamos 10 algoritmos de aprendizado comumente usados: 5-Nearest Neighbors, duas versões da árvore de decisão C4.5, Logistic Regression, Multilayer Perceptron, Naïve Bayes, duas versões de Random Forest, Radial Basis Function Network e Support Vector Máquina. Os principais atributos e contrastes desses algoritmos foram descritos em outro lugar [21] (veja o respectivo Apêndice). Eles foram escolhidos porque representam uma variedade de diferentes tipos de alunos e porque demonstramos sucesso ao usá-los em análises anteriores de dados semelhantes. As configurações de hiperparâmetros foram escolhidas de nossa pesquisa anterior, indicando que são robustas em uma variedade de dados diferentes [22]. Com base nos resultados de nossa análise preliminar usando o mesmo conjunto de dados combinado com recursos comuns que foram usados posteriormente na análise completa, identificamos três alunos que forneceram um desempenho consistentemente forte em todas as classificações: Regressão Logística, Naïve Bayes e Máquina de Vetor de Suporte.
Validação cruzada e métrica de desempenho do modelo
Para toda a modelagem preditiva (incluindo as análises preliminares), cada modelo foi construído usando validação cruzada de 10 vezes e o desempenho do modelo foi medido usando a área sob a curva característica de operação do receptor (AUC). A validação cruzada começou com a divisão aleatória de cada um dos 10 conjuntos de dados do esquema de modelagem em 10 segmentos iguais (dobras), usando nove desses segmentos respectivos para treinar o modelo e o segmento restante para teste. Este procedimento foi repetido 10 vezes, usando um segmento diferente como conjunto de teste em cada iteração. Os resultados foram então combinados para calcular o resultado/desempenho do modelo final. Para cada combinação de aluno/conjunto de dados, todo esse processo foi repetido 10 vezes, com os dados sendo divididos de forma diferente a cada vez. Essa última etapa reduziu o viés, garantiu a replicabilidade e ajudou a determinar o desempenho geral do modelo. No total (para pontuação do MoCA e esquemas de classificação de gravidade do diagnóstico combinados), foram construídos 6,600 modelos. Isso incluiu 1,800 modelos não filtrados (6 esquemas de modelagem aplicados ao conjunto de dados × 3 alunos × 10 execuções × 10 dobras = 1,800 modelos) e 4,800 modelos filtrados (4 esquemas de modelagem aplicados ao conjunto de dados × 3 alunos × 4 técnicas de seleção de recursos × 10 execuções × 10 dobras = 4,800 modelos).
Seleção de recursos
Para os modelos filtrados, a seleção de recursos (usando os quatro métodos de classificação de recursos) foi realizada dentro da validação cruzada. Para cada uma das 10 dobras, como diferentes 10% do conjunto de dados eram os dados de teste, apenas os quatro principais recursos selecionados para cada conjunto de dados de treinamento (ou seja, as outras nove dobras ou os 90% restantes de todo o conjunto de dados) foram usados para construir os modelos. Não foi possível confirmar quais quatro recursos foram usados em cada modelo, pois essas informações não são armazenadas ou disponibilizadas na plataforma de modelagem que utilizamos (Weka). No entanto, dada a consistência em nossa seleção inicial dos principais recursos quando os rankers foram aplicados a todo o conjunto de dados combinado e a semelhança subsequente nos desempenhos de modelagem, esses mesmos recursos (idade, anos de educação, MTx-% C e MTx-RT médio ) são provavelmente os quatro principais mais prevalentes usados concomitantemente com a seleção de recursos no processo de validação cruzada.
PREÇO/ RESULTADOS
As características numéricas dos participantes (incluindo pontuações MoCA e métricas de desempenho MemTrax) dos respectivos conjuntos de dados para cada estratégia de classificação de modelo para prever a saúde cognitiva indicada por MoCA (normal versus MCI) e gravidade do diagnóstico (leve versus grave) são mostradas na Tabela 3.
tabela 3
Características dos participantes, pontuações do MoCA e desempenho do MemTrax para cada estratégia de classificação de modelo
| Estratégia de Classificação | Idade | Educação | MoCA Ajustado | MoCA não ajustado | MTx-%C | MTx-RT |
| Categoria MoCA | 61.9 anos (13.1) | 9.6 anos (4.6) | 19.2 (6.5) | 18.4 (6.7) | 74.8% (15.0) | 1.4 s (0.3) |
| Gravidade do diagnóstico | 65.6 anos (12.1) | 8.6 anos (4.4) | 16.7 (6.2) | 15.8 (6.3) | 68.3% (13.8) | 1.5 s (0.3) |
Os valores mostrados (média, SD) diferenciados por estratégias de classificação de modelagem são representativos do conjunto de dados combinado usado para prever a saúde cognitiva indicada por MoCA (MCI versus normal) e o subconjunto de dados XL usado apenas para prever a gravidade do diagnóstico (leve versus grave).
Para cada combinação de pontuação MoCA (ajustado/não ajustado) e limiar (26/23), houve uma diferença estatística (p = 0.000) em cada comparação de pares (saúde cognitiva normal versus MCI) para idade, educação e desempenho do MemTrax (MTx-% C e MTx-RT). Cada subconjunto de dados de paciente na respectiva classe MCI para cada combinação era, em média, cerca de 9 a 15 anos mais velho, relatou cerca de cinco anos a menos de educação e teve um desempenho MemTrax menos favorável para ambas as métricas.
Os resultados de desempenho de modelagem preditiva para as classificações de pontuação do MoCA usando os três principais alunos, Regressão Logística, Naïve Bayes e Máquina de vetores de suporte, são mostrados na Tabela 4. Esses três foram escolhidos com base no desempenho absoluto do aluno mais consistentemente alto em todos os vários modelos aplicado aos conjuntos de dados para todos os esquemas de modelagem. Para o conjunto de dados e modelagem não filtrados, cada um dos valores de dados na Tabela 4 indica o desempenho do modelo com base na respectiva média da AUC derivada dos 100 modelos (10 execuções × 10 dobras) construídos para cada combinação de esquema de aprendizagem/modelagem, com o respectivo valor mais alto aluno com desempenho indicado em negrito. Enquanto para a modelagem do conjunto de dados filtrado, os resultados relatados na Tabela 4 refletem o desempenho médio geral do modelo de 400 modelos para cada aluno usando cada um dos métodos de classificação de recursos (4 métodos de classificação de recursos × 10 execuções × 10 dobras).
tabela 4
Resultados dicotômicos de classificação de pontuação do MoCA (AUC; 0.0–1.0) para cada um dos três alunos com melhor desempenho para todos os respectivos esquemas de modelagem
| Conjunto de recursos usado | Pontuação MoCA | Limite de corte | Regressão Logística | Baías ingénuas | Máquina de vetores de suporte |
| Não filtrado (10 recursos) | Ajustado | 23 | 0.8862 | 0.8913 | 0.8695 |
| 26 | 0.8971 | 0.9221 | 0.9161 | ||
| Não ajustado | 23 | 0.9103 | 0.9085 | 0.8995 | |
| 26 | 0.8834 | 0.9153 | 0.8994 | ||
| Filtrado (4 recursos) | Ajustado | 23 | 0.8929 | 0.8954 | 0.8948 |
| 26 | 0.9188 | 0.9247 | 0.9201 | ||
| Não ajustado | 23 | 0.9135 | 0.9134 | 0.9122 | |
| 26 | 0.9159 | 0.9236 | 0.9177 |
Utilizando variações do conjunto de recursos, pontuação do MoCA e limite de corte da pontuação do MoCA, o desempenho mais alto para cada esquema de modelagem é mostrado em pino (não necessariamente estatisticamente diferente de todos os outros não pino para o respectivo modelo).
Comparando os alunos em todas as combinações de versões e limiares de pontuação do MoCA (ajustado/não ajustado e 23/26, respectivamente) no conjunto de dados não filtrado combinado (ou seja, usando os 10 recursos comuns), Naïve Bayes foi geralmente o aluno com melhor desempenho com um desempenho geral desempenho de classificação de 0.9093. Considerando os três primeiros alunos, os testes de classificação sinalizada correlacionados Bayesianos indicaram que a probabilidade (Pr) de Naïve Bayes superando a Regressão Logística foi de 99.9%. Além disso, entre Naïve Bayes e Support Vector Machine, uma probabilidade de 21.0% de equivalência prática no desempenho do aluno (portanto, uma probabilidade de 79.0% de Naïve Bayes superar o Support Vector Machine), juntamente com a probabilidade de 0.0% de Support Vector Machine apresentar um desempenho melhor, mensurável reforça a vantagem de desempenho para Naïve Bayes. Uma comparação adicional da versão da pontuação do MoCA em todos os alunos/limiares sugeriu uma ligeira vantagem no desempenho usando pontuações do MoCA não ajustadas versus ajustadas (0.9027 versus 0.8971, respectivamente; Pr (não ajustado > ajustado) = 0.988). Da mesma forma, uma comparação do limite de corte entre todos os alunos e versões de pontuação do MoCA indicou uma pequena vantagem no desempenho de classificação usando 26 como limite de classificação versus 23 (0.9056 versus 0.8942, respectivamente; Pr (26 > 23) = 0.999). Por fim, examinando o desempenho da classificação para os modelos utilizando apenas os resultados filtrados (ou seja, apenas quatro recursos classificados), Naïve Bayes (0.9143) foi numericamente o aluno com melhor desempenho em todas as versões/limiares de pontuação do MoCA. No entanto, em todas as técnicas de classificação de recursos combinadas, todos os alunos com melhor desempenho tiveram desempenho semelhante. Testes Bayesianos de postos sinalizados mostraram 100% de probabilidade de equivalência prática entre cada par de alunos filtrados. Assim como com os dados não filtrados (usando todos os 10 recursos comuns), houve novamente uma vantagem de desempenho para a versão não ajustada da pontuação do MoCA (Pr (não ajustado > ajustado) = 1.000), bem como uma vantagem distinta semelhante para o limite de classificação de 26 (Pr (26 > 23) = 1.000). Notavelmente, o desempenho médio de cada um dos três principais alunos em todas as versões/limites de pontuação do MoCA usando apenas os quatro recursos mais bem classificados excedeu o desempenho médio de qualquer aluno nos dados não filtrados. Não surpreendentemente, o desempenho de classificação dos modelos filtrados (usando os quatro recursos mais bem classificados) em geral foi superior (0.9119) aos modelos não filtrados (0.8999), independentemente dos modelos de método de classificação de recursos que foram comparados aos respectivos modelos usando todos os 10 modelos comuns. recursos. Para cada método de seleção de recursos, houve 100% de probabilidade de uma vantagem de desempenho sobre os modelos não filtrados.
Com os pacientes considerados para classificação de gravidade do diagnóstico de DA, diferenças entre os grupos (MCI-AD versus AD) para idade (p = 0.004), educação (p = 0.028), pontuação MoCA ajustada/não ajustada (p = 0.000), e MTx-% C (p = 0.008) foram estatisticamente significantes; enquanto que para MTx-RT não foi (p = 0.097). Com os pacientes considerados para classificação de gravidade do diagnóstico de VaD, diferenças entre grupos (MCI-VaD versus VaD) para o escore MoCA ajustado/não ajustado (p = 0.007) e MTx-% C (p = 0.026) e MTx-RT (p = 0.001) foram estatisticamente significantes; enquanto para a idade (p = 0.511) e educação (p = 0.157) não houve diferenças significativas entre os grupos.
Os resultados de desempenho de modelagem preditiva para as classificações de gravidade do diagnóstico usando os três alunos selecionados anteriormente, Regressão Logística, Naïve Bayes e Máquina de vetores de suporte, são mostrados na Tabela 5. Enquanto os alunos examinados adicionais demonstraram desempenhos um pouco mais fortes individualmente com uma das duas categorias de diagnóstico clínico , os três alunos que identificamos como os mais favoráveis em nossa modelagem anterior apresentaram o desempenho mais consistente com os dois novos esquemas de modelagem. Comparando os alunos em cada uma das categorias de diagnóstico primário (AD e VaD), não houve diferença consistente de desempenho de classificação entre os alunos para MCI-VaD versus VaD, embora o Support Vector Machine geralmente tenha um desempenho mais proeminente. Da mesma forma, não houve diferenças significativas entre os alunos para a classificação MCI-AD versus AD, embora Naïve Bayes (NB) tenha uma ligeira vantagem de desempenho sobre a regressão logística (LR) e apenas uma pluralidade insignificante sobre o Support Vector Machine, com probabilidades de 61.4%. e 41.7% respectivamente. Em ambos os conjuntos de dados, houve uma vantagem geral de desempenho para Support Vector Machine (SVM), com Pr (SVM > LR) = 0.819 e Pr (SVM > NB) = 0.934. Nosso desempenho geral de classificação em todos os alunos na previsão da gravidade do diagnóstico no subconjunto de dados XL foi melhor na categoria de diagnóstico de VaD versus AD (Pr (VAD > AD) = 0.998).
tabela 5
Resultados de desempenho de classificação de gravidade de diagnóstico clínico dicotômico (AUC; 0.0-1.0) para cada um dos três alunos com melhor desempenho para ambos os respectivos esquemas de modelagem
| Esquema de modelagem | Regressão Logística | Baías ingénuas | Máquina de vetores de suporte |
| MCI-AD versus AD | 0.7465 | 0.7810 | 0.7443 |
| MCI-VaD versus VaD | 0.8033 | 0.8044 | 0.8338 |
O desempenho mais alto para cada esquema de modelagem é mostrado em pino (não necessariamente estatisticamente diferente de outros não pino).
DISCUSSÃO
A detecção precoce de alterações na saúde cognitiva é importante utilidade prática no gerenciamento de saúde pessoal e na saúde pública. Na verdade, também é uma alta prioridade em ambientes clínicos para pacientes em todo o mundo. O objetivo comum é alertar pacientes, cuidadores e profissionais de saúde e solicitar tratamento precoce adequado e econômico e cuidados longitudinais para aqueles que começam a apresentar declínio cognitivo. Combinando nossos três subconjuntos de dados de hospitais/clínicas, identificamos três alunos distintamente preferíveis (com um destaque notável – Naïve Bayes) para construir modelos preditivos utilizando Métricas de desempenho MemTrax que podem classificar de forma confiável o estado de saúde cognitiva dicotomicamente (saúde cognitiva normal ou MCI), como seria indicado por uma pontuação agregada do MoCA. Notavelmente, o desempenho geral da classificação para todos os três alunos melhorou quando nossos modelos utilizaram apenas os quatro recursos mais bem classificados, que englobavam principalmente essas métricas de desempenho do MemTrax. Além disso, revelamos o potencial comprovado para utilizar os mesmos alunos e métricas de desempenho do MemTrax em um esquema de modelagem de classificação de suporte diagnóstico para distinguir a gravidade de duas categorias de diagnóstico de demência: DA e VaD.
Teste de memória é fundamental para a detecção precoce da DA [23, 24]. Assim, é oportuno que o MemTrax seja um aplicativo online aceitável, envolvente e de fácil implementação teste de triagem para memória episódica na população em geral [6]. A precisão do reconhecimento e os tempos de resposta dessa tarefa de desempenho contínuo são particularmente reveladores na identificação de deterioração precoce e evolutiva e consequentes déficits nos processos neuroplásticos relacionados à aprendizagem, memória e cognição. Ou seja, os modelos aqui baseados em grande parte nas métricas de desempenho do MemTrax são sensíveis e mais propensos a revelar prontamente e com custo mínimo déficits neuropatológicos biológicos durante o estágio assintomático de transição bem antes de uma perda funcional mais substancial [25]. Ashford e outros. examinou de perto os padrões e comportamentos de precisão de memória de reconhecimento e tempo de resposta em usuários online que participaram por conta própria com o MemTrax [6]. Respeitando que essas distribuições são críticas na modelagem ideal e no desenvolvimento de aplicativos de atendimento ao paciente válidos e eficazes, a definição de perfis de tempo de resposta e reconhecimento clinicamente aplicáveis é essencial para estabelecer uma referência fundamental valiosa para utilidade clínica e de pesquisa. O valor prático do MemTrax na triagem de DA para comprometimento cognitivo em estágio inicial e suporte diagnóstico diferencial precisa ser examinado mais de perto no contexto de um ambiente clínico em que comorbidades e capacidades cognitivas, sensoriais e motoras que afetam o desempenho do teste podem ser consideradas. E para informar a perspectiva profissional e incentivar a utilidade clínica prática, é primeiro imperativo demonstrar a comparação com um teste de avaliação de saúde cognitiva estabelecido, mesmo que este último possa ser reconhecidamente limitado por logística de teste complicada, impedimentos de educação e linguagem e influências culturais [26] . A esse respeito, a comparação favorável do MemTrax em eficácia clínica com o MoCA, que é comumente considerado um padrão da indústria, é significativa, especialmente quando se considera a maior facilidade de utilidade e aceitação do MemTrax pelo paciente.
A exploração anterior comparando o MemTrax ao MoCA destaca a lógica e as evidências preliminares que justificam nossa investigação de modelagem [8]. No entanto, essa comparação anterior apenas associou as duas principais métricas de desempenho do MemTrax que examinamos com o status cognitivo determinado pelo MoCA e definiu os respectivos intervalos e valores de corte. Aprofundamos a avaliação da utilidade clínica do MemTrax explorando uma abordagem baseada em modelagem preditiva que forneceria uma consideração mais individualizada de outros parâmetros específicos do paciente potencialmente relevantes. Em contraste com outros, não encontramos uma vantagem no desempenho do modelo usando uma correção educacional (ajuste) para a pontuação do MoCA ou variando o limiar de pontuação agregado do MoCA discriminante de saúde cognitiva do originalmente recomendado de 26 a 23 [12, 15]. De fato, a vantagem de desempenho da classificação favoreceu o uso da pontuação MoCA não ajustada e o limiar mais alto.
Pontos-chave na prática clínica
O aprendizado de máquina geralmente é mais bem utilizado e mais eficaz na modelagem preditiva quando os dados são extensos e multidimensionais, ou seja, quando há inúmeras observações e uma ampla gama concomitante de atributos de alto valor (contribuintes). No entanto, com esses dados atuais, os modelos filtrados com apenas quatro recursos selecionados tiveram um desempenho melhor do que aqueles que utilizam todos os 10 recursos comuns. Isso sugere que nosso conjunto de dados hospitalares agregados não tinha os recursos clinicamente mais apropriados (alto valor) para classificar os pacientes dessa maneira de maneira ideal. No entanto, a ênfase de classificação de recursos nas principais métricas de desempenho do MemTrax - MTx-% C e MTx-RT - suporta fortemente a construção de modelos de triagem de déficit cognitivo em estágio inicial em torno deste teste que é simples, fácil de administrar, de baixo custo e adequadamente revelador sobre desempenho da memória, pelo menos agora como uma tela inicial para uma classificação binária do estado de saúde cognitiva. Dada a pressão cada vez maior sobre os provedores e os sistemas de saúde, os processos de triagem de pacientes e as aplicações clínicas devem ser adequadamente desenvolvidos com ênfase na coleta, rastreamento e modelagem das características do paciente e das métricas de teste que são mais úteis, vantajosas e comprovadamente eficazes no diagnóstico e suporte à gestão do paciente.
Com as duas principais métricas do MemTrax sendo centrais para a classificação MCI, nosso aluno de melhor desempenho (Naïve Bayes) teve um desempenho preditivo muito alto na maioria dos modelos (AUC acima de 0.90) com uma proporção de verdadeiro positivo para falso positivo próximo ou um pouco superior a 4 : 1. Uma aplicação clínica translacional usando este aluno capturaria (classificaria corretamente) de longe a maioria daqueles com déficit cognitivo, minimizando o custo associado à classificação equivocada de alguém com saúde cognitiva normal como tendo um déficit cognitivo (falso positivo) ou faltando essa classificação naqueles que têm um déficit cognitivo (falso negativo). Qualquer um desses cenários de classificação incorreta pode impor uma sobrecarga psicossocial indevida ao paciente e aos cuidadores.
Enquanto nas análises preliminares e completas usamos todos os dez alunos em cada esquema de modelagem, focamos nossos resultados nos três classificadores que apresentam o desempenho forte mais consistente. Isso também foi para destacar, com base nesses dados, os alunos que, de forma antecipada, teriam um desempenho confiável em um alto nível em uma aplicação clínica prática na determinação da classificação do estado cognitivo. Além disso, como este estudo pretendia ser uma investigação introdutória sobre a utilidade do aprendizado de máquina na triagem cognitiva e esses desafios clínicos oportunos, tomamos a decisão de manter as técnicas de aprendizado simples e generalizadas, com ajuste mínimo de parâmetros. Apreciamos que essa abordagem pode ter limitado o potencial para recursos preditivos específicos do paciente mais estreitamente definidos. Da mesma forma, enquanto o treinamento dos modelos usando apenas os principais recursos (abordagem filtrada) nos informa mais sobre esses dados (específicos para as deficiências nos dados coletados e destacando o valor da otimização de tempo e recursos clínicos preciosos), reconhecemos que é prematuro restringir o escopo dos modelos e, portanto, todos (e outros recursos) devem ser considerados com pesquisas futuras até que tenhamos um perfil mais definitivo de recursos prioritários que seriam aplicáveis à população ampla. Assim, também reconhecemos plenamente que dados mais inclusivos e amplamente representativos e otimização desses e de outros modelos seriam necessários antes de integrá-los em uma aplicação clínica eficaz, especialmente para acomodar comorbidades que afetam o desempenho cognitivo que precisariam ser consideradas em avaliações clínicas adicionais.
A utilidade do MemTrax foi ainda mais aprimorada pela modelagem da gravidade da doença com base no diagnóstico clínico separado. Um melhor desempenho geral da classificação na previsão da gravidade da DV (em comparação com a AD) não foi surpreendente pelas características do perfil do paciente nos modelos específicos para a saúde vascular e risco de AVC, ou seja, hipertensão, hiperlipidemia, diabetes e (é claro) histórico de AVC. Embora fosse mais desejável e adequado ter a mesma avaliação clínica realizada em pacientes pareados com saúde cognitiva normal para treinar os alunos com esses dados mais inclusivos. Isso é especialmente justificado, pois o MemTrax destina-se a ser usado principalmente para detecção em estágio inicial de um déficit cognitivo e acompanhamento subsequente de alterações individuais. Também é plausível que a distribuição mais desejável de dados no conjunto de dados VaD tenha contribuído em parte para o desempenho de modelagem comparativamente melhor. O conjunto de dados VaD foi bem equilibrado entre as duas classes, enquanto o conjunto de dados AD com muito menos pacientes MCI não foi. Particularmente em pequenos conjuntos de dados, mesmo algumas instâncias adicionais podem fazer uma diferença mensurável. Ambas as perspectivas são argumentos razoáveis subjacentes às diferenças no desempenho da modelagem da gravidade da doença. No entanto, atribuir proporcionalmente melhor desempenho às características numéricas do conjunto de dados ou às características inerentes específicas da apresentação clínica em consideração é prematuro. No entanto, esta nova utilidade demonstrada de um modelo de classificação preditiva MemTrax no papel de suporte diagnóstico clínico fornece uma perspectiva valiosa e afirma a busca por exames adicionais com pacientes em todo o continuum de MCI.
A implementação e a utilidade demonstrada do MemTrax e desses modelos na China, onde o idioma e a cultura são drasticamente diferentes de outras regiões de utilidade estabelecida (por exemplo, França, Holanda e Estados Unidos) [7, 8, 27], ressalta ainda mais o potencial para ampla aceitação global e valor clínico de uma plataforma baseada em MemTrax. Este é um exemplo demonstrável na busca pela harmonização de dados e desenvolvimento de normas internacionais práticas e recursos de modelagem para triagem cognitiva que são padronizados e facilmente adaptados para uso em todo o mundo.
Próximos passos na modelagem e aplicação do declínio cognitivo
A disfunção cognitiva na DA de fato ocorre em um continuum, não em estágios ou etapas discretas [28, 29]. No entanto, nesta fase inicial, nosso objetivo era primeiro estabelecer nossa capacidade de construir um modelo incorporando o MemTrax que pudesse distinguir fundamentalmente o “normal” do “não normal”. Dados empíricos mais inclusivos (por exemplo, imagens cerebrais, características genéticas, biomarcadores, comorbidades e marcadores funcionais de complexos atividades que requerem habilidades cognitivas controle) [30] em várias regiões globais, populações e faixas etárias para treinar e desenvolver modelos de aprendizado de máquina mais sofisticados (incluindo conjuntos adequadamente ponderados) suportarão um maior grau de classificação aprimorada, ou seja, a capacidade de categorizar grupos de pacientes com MCI em subconjuntos menores e mais definitivos ao longo do continuum do declínio cognitivo. Além disso, diagnósticos clínicos concomitantes para indivíduos em populações de pacientes regionalmente diversos são essenciais para treinar efetivamente esses modelos mais inclusivos e previsivelmente robustos. Isso facilitará o gerenciamento de casos estratificados mais específicos para aqueles com antecedentes, influências e perfis cognitivos característicos mais estreitamente definidos e, assim, otimizará o suporte à decisão clínica e o atendimento ao paciente.
Grande parte da pesquisa clínica relevante até o momento abordou pacientes com pelo menos demência leve; e, na prática, muitas vezes a intervenção do paciente é tentada apenas em estágios avançados. No entanto, como o declínio cognitivo começa bem antes de os critérios clínicos para demência serem atendidos, uma triagem precoce baseada em MemTrax aplicada de maneira eficaz poderia encorajar a educação adequada dos indivíduos sobre a doença e suas progressões e solicitar intervenções mais precoces e oportunas. Assim, a detecção precoce pode apoiar envolvimentos adequados que vão desde exercícios, dieta, apoio emocional e socialização aprimorada à intervenção farmacológica e reforçar as mudanças relacionadas ao paciente no comportamento e na percepção que, isoladamente ou em conjunto, podem mitigar ou potencialmente interromper a progressão da demência [31, 32] . Além disso, com eficácia triagem precoce, indivíduos e suas famílias podem ser solicitados a considerar ensaios clínicos ou obter aconselhamento e outros serviços sociais para ajudar a esclarecer expectativas e intenções e gerenciar tarefas diárias. A validação adicional e a utilidade prática generalizada dessas maneiras podem ser instrumentais para mitigar ou interromper a progressão de MCI, AD e ADRD para muitos indivíduos.
De fato, o limite inferior da faixa etária do paciente em nosso estudo não representa a população de preocupação tradicional com a DA. No entanto, a idade média de cada grupo utilizada nos esquemas de modelagem de classificação com base no escore/limiar do MoCA e na gravidade do diagnóstico (Tabela 3) ressalta uma clara maioria (mais de 80%) com pelo menos 50 anos de idade. Esta distribuição é, portanto, muito apropriada para a generalização, suportando a utilidade destes modelos na população que caracteriza aqueles tipicamente afetados por início precoce e doença neurocognitiva crescente devido a DA e DV. Além disso, evidências e perspectivas recentes enfatizam esses fatores reconhecidos (por exemplo, hipertensão, obesidade, diabetes e tabagismo) que podem contribuir para uma maior escores de risco vascular adulto e de meia-idade e consequente lesão cerebral vascular sutil que se desenvolve insidiosamente com efeitos evidentes mesmo em jovens adultos [33-35]. Assim, a oportunidade de triagem inicial ideal para detectar precocemente estágio déficits cognitivos e iniciar estratégias eficazes de prevenção e intervenção no tratamento bem-sucedido da demência emergirá do exame de fatores contribuintes e indicadores antecedentes em todo o espectro de idade, incluindo o início da idade adulta e potencialmente até a infância (observando a relevância de fatores genéticos como a apolipoproteína E desde o início da gestação).
Na prática, diagnósticos clínicos válidos e procedimentos dispendiosos para imagens avançadas, perfis genéticos e medição de biomarcadores promissores nem sempre estão prontamente disponíveis ou mesmo viáveis para muitos provedores. Assim, em muitos casos, a classificação inicial geral do estado de saúde cognitiva pode ter que ser derivada de modelos usando outras métricas simples fornecidas pelo paciente (por exemplo, problemas de memória, medicamentos atuais e limitações de atividades de rotina) e características demográficas comuns [7]. Registros como a Universidade da Califórnia Saúde do Cérebro Registry (https://www.brainhealthregistry.org/) [27] e outros com uma amplitude maior inerente de sintomas autorrelatados, medidas qualitativas (por exemplo, sono e cognição diária), medicamentos, estado de saúde e histórico, e dados demográficos mais detalhados serão fundamentais para desenvolver e validar a aplicação prática desses modelos mais primitivos na clínica. Além disso, um teste como o MemTrax, que demonstrou utilidade na avaliação da função da memória, pode de fato fornecer uma estimativa substancialmente melhor da patologia da DA do que os marcadores biológicos. Dado que a característica central da patologia da DA é a interrupção da neuroplasticidade e uma perda extremamente complexa de sinapses, que se manifesta como episódica disfunção da memória, uma medida que avalia a memória episódica pode de fato fornecem uma estimativa melhor da carga patológica da DA do que os marcadores biológicos no paciente vivo [36].
Com todos os modelos preditivos - complementados por dados complexos e inclusivos de tecnologia de ponta e insights clínicos refinados em vários domínios ou limitados a informações mais básicas e prontamente disponíveis, características de perfis de pacientes existentes - a vantagem reconhecida da inteligência artificial e o aprendizado de máquina é que os modelos resultantes podem sintetizar e “aprender” indutivamente com novos dados e perspectivas relevantes fornecidos pela utilização contínua do aplicativo. Após a transferência de tecnologia prática, à medida que os modelos aqui (e a serem desenvolvidos) são aplicados e enriquecidos com mais casos e dados pertinentes (incluindo pacientes com comorbidades que podem apresentar declínio cognitivo subsequente), o desempenho da previsão e a classificação da saúde cognitiva serão mais robustos, resultando em uma utilidade de suporte à decisão clínica mais eficaz. Essa evolução será realizada de forma mais completa e prática com a incorporação do MemTrax em plataformas personalizadas (direcionadas aos recursos disponíveis) que os profissionais de saúde poderão utilizar em tempo real na clínica.
Imprescindíveis para a validação e utilidade do modelo MemTrax para suporte diagnóstico e atendimento ao paciente são dados longitudinais significativos e altamente procurados. Ao observar e registrar as alterações concomitantes (se houver) no estado clínico em uma faixa adequada de normal até o MCI em estágio inicial, os modelos para avaliação e classificação contínuas apropriadas podem ser treinados e modificados à medida que os pacientes envelhecem e são tratados. Ou seja, a utilidade repetida pode ajudar no rastreamento longitudinal de alterações cognitivas leves, eficácia da intervenção e manutenção de cuidados estratificados informados. Essa abordagem está mais alinhada com a prática clínica e o gerenciamento de pacientes e casos.
Limitações
Agradecemos o desafio e o valor de coletar dados clínicos limpos em um ambiente clínico/hospitalar controlado. No entanto, teria fortalecido nossa modelagem se nossos conjuntos de dados incluíssem mais pacientes com características comuns. Além disso, especificamente para nossa modelagem de diagnóstico, teria sido mais desejável e adequado ter a mesma avaliação clínica realizada em pacientes pareados com saúde cognitiva normal para treinar os alunos. E, conforme ressaltado pelo desempenho de classificação mais alto usando o conjunto de dados filtrado (somente os quatro recursos mais bem classificados), mais geral e medidas/indicadores de saúde cognitiva provavelmente teriam melhorado modelagem de desempenho com um maior número de características comuns em todos os pacientes.
Certos participantes podem estar experimentando concomitantemente outras doenças que podem ter causado deficiências cognitivas transitórias ou crônicas. Além do subconjunto de dados XL, onde os pacientes foram diagnosticados como portadores de DA ou DV, os dados de comorbidade não foram coletados/relatados no grupo de pacientes YH, e a comorbidade predominante relatada de longe no subconjunto de dados KM foi diabetes. É discutível, no entanto, que incluir pacientes em nossos esquemas de modelagem com comorbidades que possam levar ou exacerbar um nível de deficiência cognitiva e um consequente desempenho inferior do MemTrax seria mais representativo da população de pacientes alvo do mundo real para essa triagem cognitiva precoce mais generalizada e abordagem de modelagem. Avançando, o diagnóstico preciso de comorbidades que potencialmente afetam o desempenho cognitivo é amplamente benéfico para otimizar os modelos e as aplicações de atendimento ao paciente resultantes.
Por fim, os pacientes do subconjunto de dados YH e KM usaram um smartphone para fazer o teste MemTrax, enquanto um número limitado de pacientes do subconjunto de dados XL usou um iPad e o restante usou um smartphone. Isso pode ter introduzido uma pequena diferença relacionada ao dispositivo no desempenho do MemTrax para a modelagem de classificação MoCA. No entanto, as diferenças (se houver) no MTx-RT, por exemplo, entre os dispositivos provavelmente seriam insignificantes, especialmente com cada participante recebendo um teste de “prática” pouco antes do desempenho do teste registrado. No entanto, a utilidade desses dois dispositivos portáteis potencialmente compromete a comparação direta e/ou integração com outros resultados do MemTrax, onde os usuários responderam a imagens repetidas tocando a barra de espaço em um teclado de computador.
Pontos-chave no utilitário de modelagem preditiva MemTrax
- • Nossos modelos preditivos de alto desempenho, abrangendo métricas de desempenho MemTrax selecionadas, podem classificar de forma confiável o estado de saúde cognitiva (saúde cognitiva normal ou MCI), conforme indicado pelo teste MoCA amplamente reconhecido.
- • Esses resultados suportam a integração de métricas de desempenho MemTrax selecionadas em um aplicativo de triagem de modelo preditivo de classificação para deficiência cognitiva em estágio inicial.
- • Nossa modelagem de classificação também revelou o potencial de utilização do desempenho do MemTrax em aplicativos para distinguir a gravidade do diagnóstico de demência.
Essas novas descobertas estabelecem evidências definitivas que apoiam a utilidade do aprendizado de máquina na construção de modelos robustos de classificação baseados em MemTrax para suporte diagnóstico no gerenciamento eficaz de casos clínicos e atendimento ao paciente para indivíduos com deficiência cognitiva.
AGRADECIMENTOS
Reconhecemos o trabalho de J. Wesson Ashford, Curtis B. Ashford e colegas por desenvolver e validar a ferramenta e tarefa de reconhecimento contínuo online (MemTrax) utilizada aqui e somos gratos aos numerosos pacientes com demência que contribuíram para a pesquisa fundamental crítica . Agradecemos também a Xianbo Zhou e seus colegas da SJN Biomed LTD, seus colegas e colaboradores nos hospitais/clínicas, especialmente os Drs. M. Luo e M. Zhong, que ajudaram no recrutamento de participantes, agendamento de testes e coleta, registro e gerenciamento de front-end dos dados, e os participantes voluntários que doaram seu valioso tempo e se comprometeram a fazer os testes e fornecer os dados valiosos para nós avaliarmos neste estudo. este estudo foi apoiado em parte pelo MD Scientific Research Programa da Kunming Medical University (Concessão nº 2017BS028 a XL) e Programa de Pesquisa do Departamento de Ciência e Tecnologia de Yunnan (Concessão nº 2019FE001 (-222) a XL).
J. Wesson Ashford apresentou um pedido de patente para o uso do paradigma de reconhecimento contínuo específico descrito neste artigo para uso geral teste de memoria.
MemTrax, LLC é uma empresa de propriedade de Curtis Ashford, e esta empresa está gerenciando o teste de memória sistema descrito neste artigo.
Divulgações dos autores disponíveis online (https://www.j-alz.com/manuscript-disclosures/19-1340r2).
REFERÊNCIAS
| [1] Associação de Alzheimer (2016) 2016 fatos sobre a doença de Alzheimer e figuras. Alzheimer's Dement 12, 459-509. | |
| [2] Gresenz CR , Mitchell JM , Marrone J , Federoff HJ (2019) Efeito do estágio inicial Doença de Alzheimer sobre os resultados financeiros das famílias. Economia da Saúde 29, 18–29. | |
| [3] | Foster NL , Bondi MW , Das R , Foss M , Hershey LA , Koh S , Logan R , Poole C , Shega JW , Sood A , Thothala N , Wicklund M , Yu M , Bennett A , Wang D (2019) Melhoria da qualidade em neurologia: conjunto de medição de qualidade de comprometimento cognitivo leve. Neurologia 93, 705-713. |
| [4] Tong T , Thokala P , McMillan B , Ghosh R , Brazier J (2017) Custo-benefício do uso testes de triagem cognitiva para detectar demência e comprometimento cognitivo leve na atenção primária. Int J Geriatr Psiquiatria 32, 1392–1400. | |
| [5] Ashford JW, Gere E, Bayley PJ (2011) Medindo memória em configurações de grupo grande usando um teste de reconhecimento contínuo. J Alzheimers Dis 27, 885–895. | |
| [6] | Ashford JW , Tarpin-Bernard F , Ashford CB , Ashford MT (2019) Uma tarefa computadorizada de reconhecimento contínuo para medição da memória episódica. J Alzheimers Dis 69, 385-399. |
| [7] | Bergeron MF , Landset S , Tarpin-Bernard F , Ashford CB , Khoshgoftaar TM , Ashford JW (2019) Desempenho de memória episódica na modelagem de aprendizado de máquina para prever a classificação do status de saúde cognitiva. J Alzheimers Dis 70, 277-286. |
| [8] van der Hoek MD, Nieuwenhuizen A, Keijer J, Ashford JW (2019) Teste MemTrax em comparação com a estimativa da avaliação cognitiva de Montreal para comprometimento cognitivo leve. J Alzheimers Dis 67, 1045–1054. | |
| [9] | Falcone M , Yadav N , Poellabauer C , Flynn P (2013) Usando sons vocálicos isolados para classificação de lesão cerebral traumática leve. Em 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, BC, pp. 7577–7581. |
| [10] | Dabek F , Caban JJ (2015) Aproveitando o big data para modelar a probabilidade de desenvolver condições psicológicas após uma concussão. Procedia Comput Sci 53, 265–273. |
| [11] | Climent MT , Pardo J , Munoz-Almaraz FJ , Guerrero MD , Moreno L (2018) Árvore de decisão para detecção precoce de comprometimento cognitivo por farmacêuticos comunitários. Front Pharmacol 9, 1232. |
| [12] | Nasreddine ZS , Phillips NA , Bedirian V , Charbonneau S , Whitehead V , Collin I , Cummings JL , Chertkow H (2005) A Avaliação Cognitiva de Montreal, MoCA: Uma breve ferramenta de triagem para comprometimento cognitivo leve. J Am Geriatr Soc 53, 695-699. |
| [13] | Yu J , Li J , Huang X (2012) A versão de Pequim da avaliação cognitiva de Montreal como uma ferramenta de triagem breve para comprometimento cognitivo leve: um estudo baseado na comunidade. BMC Psiquiatria 12, 156. |
| [14] | Chen KL , Xu Y , Chu AQ , Ding D , Liang XN , Nasreddine ZS , Dong Q , Hong Z , Zhao QH , Guo QH (2016) Validação da versão chinesa da avaliação cognitiva básica de Montreal para triagem de comprometimento cognitivo leve. J Am Geriatr Soc 64, e285–e290. |
| [15] | Carson N , Leach L , Murphy KJ (2018) Um reexame das pontuações de corte da Avaliação Cognitiva de Montreal (MoCA). Int J Geriatr Psychiatry 33, 379-388. |
| [16] | American Psychiatric Association (2013) Task Force Manual de diagnóstico e estatística de transtornos mentais: DSM-5™, American Psychiatric Publishing, Inc., Washington, DC. |
| [17] | Pitão. Python Software Foundation, http://www.python.org, acessado em 15 de novembro de 2019. |
| [18] | R Core Group, R: Uma linguagem e ambiente para computação estatística R Foundation for Statistical Computing, Viena, Áustria. https://www.R-project.org/, 2018, Acessado em 15 de novembro de 2019. |
| [19] | Benavoli A , Corani G , Demšar J , Zaffalon M (2017) Time for a change: Um tutorial para comparar vários classificadores através da análise Bayesiana. J Mach Aprenda Res 18, 1–36. |
| [20] | Frank E , Hall MA , Witten IH (2016) The WEKA Workbench. Dentro Mineração de dados: ferramentas e técnicas práticas de aprendizado de máquina, Frank E, Hall MA, Witten IH, Pal CJ, eds. Morgan Kaufmann https://www.cs.waikato.ac.nz/ml/weka/Witten_et_al_2016_appendix.pdf |
| [21] | Bergeron MF , Landset S , Maugans TA , Williams VB , Collins CL , Wasserman EB , Khoshgoftaar TM (2019) Aprendizado de máquina na modelagem de resolução de sintomas de concussão no esporte do ensino médio. Med Sci Sports Exerc 51, 1362-1371. |
| [22] | Van Hulse J , Khoshgovtaar TM , Napolitano A (2007) Perspectivas experimentais sobre a aprendizagem de dados desequilibrados. Dentro Anais da 24ª Conferência Internacional de Aprendizado de Máquina, Corvalis, Oregon, EUA, pp. 935-942. |
| [23] | Ashford JW, Kolm P, Colliver JA, Bekian C, Hsu LN (1989) Avaliação do paciente de Alzheimer e o estado mini-mental: Análise de curva característica de item.P. J Gerontol 44, 139-146. |
| [24] Ashford JW, Jarvik L (1985) Doença de Alzheimer: A plasticidade neuronal predispõe à degeneração neurofibrilar axonal? N Engl J Med 313, 388–389. | |
| [25] Jack CR Jr , Therneau TM , Weigand SD , Wiste HJ , Knopman DS , Vemuri P , Lowe VJ , Mielke MM , Roberts RO , Machulda MM , Graff-Radford J , Jones DT , Schwarz CG , Gunter JL , Senjem ML , Rocca WA, Petersen RC (2019) Prevalência de entidades do espectro de Alzheimer biologicamente versus clinicamente definidas usando o Instituto Nacional de Envelhecimento-Alzheimer Pesquisa de associação estrutura. JAMA Neurol 76, 1174-1183. | |
| [26] Zhou X , Ashford JW (2019) Avanços em instrumentos de triagem para Doença de Alzheimer. Envelhecimento Med 2, 88-93. | |
| [27] Weiner MW , Nosheny R , Camacho M , Truran-Sacrey D , Mackin RS , Flenniken D , Ulbricht A , Insel P , Finley S , Fockler J , Veitch D (2018) O Saúde do Cérebro Registry: Uma plataforma baseada na Internet para recrutamento, avaliação e monitoramento longitudinal de participantes para estudos de neurociência. Alzheimer's Dement 14, 1063-1076. | |
| [28] Ashford JW , Schmitt FA (2001) Modelando o curso de tempo de Demência de Alzheimer. Curr Psiquiatria Rep 3, 20–28. | |
| [29] | Li X , Wang X , Su L , Hu X , Han Y (2019) Sino Longitudinal Study on Cognitive Decline (SILCODE): Protocolo para um estudo observacional longitudinal chinês para desenvolver modelos de previsão de risco de conversão para comprometimento cognitivo leve em indivíduos com transtorno cognitivo subjetivo declínio. BMJ Open 9, e028188. |
| [30] Tarnanas I , Tsolaki A , Wiederhold M , Wiederhold B , Tsolaki M (2015) Variabilidade de progressão de biomarcadores de cinco anos para Demência da doença de Alzheimer Previsão: um marcador de atividades instrumentais complexas da vida diária pode preencher as lacunas? Alzheimers Dement (Amst) 1, 521-532. | |
| [31] McGurran H , Glenn JM , Madero EN , Bott NT (2019) Prevenção e tratamento da doença de Alzheimer: Mecanismos biológicos do exercício. J Alzheimers Dis 69, 311–338. | |
| [32] Mendiola-Precoma J , Berumen LC , Padilla K , Garcia-Alcocer G (2016) Terapias para prevenção e tratamento da doença de Alzheimer. Biomed Res Int 2016, 2589276. | |
| [33] | Lane CA , Barnes J , Nicholas JM , Sudre CH , Cash DM , Malone IB , Parker TD , Keshavan A , Buchanan SM , Keuss SE , James SN , Lu K , Murray-Smith H , Wong A , Gordon E , Coath W , Modat M , Thomas D , Richards M , Fox NC , Schott JM (2020) Associações entre risco vascular na idade adulta e patologia cerebral no final da vida: evidências de uma coorte de nascimento britânica. JAMA Neurol 77, 175-183. |
| [34] | Seshadri S (2020) Prevenção do pensamento de demência além da idade e caixas amilóides. JAMA Neurol 77, 160-161. |
| [35] | Maillard P , Seshadri S , Beiser A , Himali JJ , Au R , Fletcher E , Carmichael O , Wolf PA , DeCarli C (2012) Efeitos da pressão arterial sistólica na integridade da substância branca em adultos jovens no Framingham Heart Study: A cross -estudo seccional. Lancet Neurol 11, 1039-1047. |
| [36] Fink HA , Linskens EJ , Silverman PC , McCarten JR , Hemmy LS , Ouellette JM , Greer NL , Wilt TJ , Butler M (2020) Precisão dos testes de biomarcadores para definição neuropatológica Doença de Alzheimer em idosos com demência. Ann Intern Med 172, 669–677. |
Afiliações: [a] SIVOTEC Analytics, Boca Raton, FL, EUA | [b] Departamento de Engenharia Elétrica e de Computação e Ciência da Computação, Florida Atlantic University, Boca Raton, FL, EUA | [c] SJN Biomed LTD, Kunming, Yunnan, China | [d] Centro de Pesquisa de Alzheimer, Instituto de Pesquisa Clínica de Washington, Washington, DC, EUA | [e] Departamento de Medicina de Reabilitação, Primeiro Hospital Afiliado da Kunming Medical University, Kunming, Yunnan, China | [f] Departamento de Neurologia, Hospital Popular de Dehong, Dehong, Yunnan, China | [g] Departamento de Neurologia, Primeiro Hospital Afiliado da Kunming Medical University, Distrito de Wuhua, Kunming, Província de Yunnan, China | [h] Centro de Estudos de Doenças e Ferimentos Relacionados à Guerra, VA Palo Alto Assistência médica System, Palo Alto, CA, EUA | [i] Departamento de Psiquiatria e Ciências Comportamentais, Escola de Medicina da Universidade de Stanford, Palo Alto, CA, EUA
Correspondência: [*] Correspondência para: Michael F. Bergeron, PhD, FACSM, SIVOTEC Analytics, Boca Raton Innovation Campus, 4800 T-Rex Avenue, Suite 315, Boca Raton, FL 33431, EUA. E-mail: mbergeron@sivotecanalytics.com.; Xiaolei Liu, MD, Departamento de Neurologia, First Affiliated Hospital of Kunming Medical University, 295 Xichang Road, Wuhua District, Kunming, Yunnan Province 650032, China. E-mail: ring@vip.163.com.
Palavras-chave: Envelhecimento, Doença de Alzheimer, demência, triagem em massa