Utilità di MemTrax e della modellazione di apprendimento automatico nella classificazione del deterioramento cognitivo lieve

ricerca articolo

Autori: Bergeron, Michael F. | Landset, Sara | Zhou, Xianbo | Ding, Tao | Khoshgoftaar, Taghi M. | Zhao, Feng | Du, Bo | Chen, Xinjie | Wang, Xuan | Zhong, Lianmei | Liu, Xiaolei| Ashford, J. Wesson

DOI: 10.3233/JAD-191340

Rivista: Rivista di Il morbo di Alzheimer, vol. 77, no. 4, pp. 1545-1558, 2020

Astratto

Sfondo:

La diffusa incidenza e prevalenza di La malattia di Alzheimer e il lieve deterioramento cognitivo (MCI) ha sollecitato un appello urgente alla ricerca per convalidare lo screening e la valutazione cognitivi di diagnosi precoce.

Obbiettivo:

Il nostro obiettivo principale di ricerca era determinare se le metriche delle prestazioni MemTrax selezionate, i dati demografici e le caratteristiche del profilo di salute pertinenti possono essere efficacemente utilizzati nei modelli predittivi sviluppati con l'apprendimento automatico per classificare la salute cognitiva (normale rispetto a MCI), come sarebbe indicato dal Valutazione cognitiva di Montreal (MoCA).

Metodi:

Abbiamo condotto uno studio trasversale su 259 pazienti adulti di neurologia, clinica della memoria e medicina interna reclutati da due ospedali in Cina. Ad ogni paziente è stato somministrato il MoCA in lingua cinese e si è autosomministrato l'episodico online MemTrax a riconoscimento continuo test di memoria online lo stesso giorno. I modelli di classificazione predittiva sono stati costruiti utilizzando l'apprendimento automatico con una convalida incrociata di 10 volte e le prestazioni del modello sono state misurate utilizzando l'area sotto la curva caratteristica operativa del ricevitore (AUC). I modelli sono stati costruiti utilizzando due metriche delle prestazioni MemTrax (percentuale corretta, tempo di risposta), insieme alle otto caratteristiche demografiche e personali comuni.

risultati:

Confrontando gli studenti attraverso combinazioni selezionate di punteggi e soglie MoCA, Naïve Bayes è stato generalmente lo studente con le migliori prestazioni con una performance complessiva della classificazione di 0.9093. Inoltre, tra i primi tre studenti, le prestazioni complessive della classificazione basata su MemTrax sono state superiori utilizzando solo le quattro funzionalità in cima alla classifica (0.9119) rispetto all'utilizzo di tutte e 10 le funzionalità comuni (0.8999).

Conclusione:

Le prestazioni di MemTrax possono essere efficacemente utilizzate in un modello predittivo di classificazione di machine learning applicazione di screening per rilevare il deterioramento cognitivo in fase iniziale.

INTRODUZIONE

L'ampia incidenza e prevalenza riconosciuta (sebbene sottodiagnosticata) e la parallela escalation medica, sociale e pubblica Salute i costi e l'onere della malattia di Alzheimer (AD) e del lieve deterioramento cognitivo (MCI) sono sempre più impegnativi per tutte le parti interessate [1, 2]. Questo scenario angosciante e fiorente ha suscitato un appello urgente per la convalida della ricerca la diagnosi precoce screening cognitivo e strumenti di valutazione per un'utilità pratica regolare in contesti personali e clinici per pazienti anziani in diverse regioni e popolazioni [3]. Questi strumenti devono anche prevedere la traduzione senza soluzione di continuità dei risultati informativi in ​​cartelle cliniche elettroniche. I vantaggi saranno realizzati informando i pazienti e assistendo i medici nel riconoscere i cambiamenti significativi in ​​anticipo e quindi consentire una stratificazione, un'implementazione e un monitoraggio più tempestivi e tempestivi di un trattamento personalizzato appropriato e più conveniente e della cura del paziente per coloro che iniziano a sperimentare declino cognitivo [3, 4].

Lo strumento computerizzato MemTrax (https://memtrax.com) è una valutazione di riconoscimento continuo semplice e breve che può essere autosomministrata online per misurare le prestazioni della memoria episodica temporizzata impegnativa in cui l'utente risponde a immagini ripetute e non a una presentazione iniziale [5, 6]. Ricerche recenti e le implicazioni pratiche che ne derivano stanno iniziando a dimostrare progressivamente e collettivamente l'efficacia clinica di MemTrax nello screening precoce di AD e MCI [5-7]. Tuttavia, il confronto diretto dell'utilità clinica con l'esistente salute cognitiva valutazione e standard convenzionali è garantito per informare la prospettiva professionale e corroborare l'utilità di MemTrax nella diagnosi precoce e nel supporto diagnostico. van der Hoek et al. [8] hanno confrontato le metriche delle prestazioni MemTrax selezionate (velocità di reazione e percentuale corretta) con lo stato cognitivo determinato dal Montreal Valutazione cognitiva (MoCA). Tuttavia, questo studio si è limitato ad associare queste metriche di prestazione con la caratterizzazione dello stato cognitivo (come determinato dal MoCA) e definire gli intervalli relativi e i valori di cutoff. Di conseguenza, per ampliare questa indagine e migliorare le prestazioni e l'efficacia della classificazione, la nostra domanda di ricerca principale era:

• Può le metriche delle prestazioni MemTrax selezionate di un individuo e i dati demografici e la salute pertinenti tuo profilo caratteristiche essere efficacemente utilizzate in un modello predittivo sviluppato con l'apprendimento automatico per classificare la salute cognitiva in modo dicotomico (normale rispetto a MCI), come sarebbe indicato dal proprio punteggio MoCA?

In secondo luogo, volevamo sapere:

• Includendo le stesse caratteristiche, un modello di apprendimento automatico basato sulle prestazioni MemTrax può essere applicato efficacemente a un paziente per prevedere la gravità (lieve o grave) all'interno di categorie selezionate di deterioramento cognitivo, come sarebbe determinato da una diagnosi clinica indipendente?

L'avvento e l'evoluzione dell'applicazione pratica dell'intelligenza artificiale e dell'apprendimento automatico nello screening/rilevamento hanno già dimostrato vantaggi pratici distinti, con la modellazione predittiva che guida efficacemente i medici nella valutazione impegnativa della salute cognitiva/cervello e nella gestione del paziente. Nel nostro studio, abbiamo scelto un approccio simile nella modellazione della classificazione MCI e nella discriminazione della gravità del deterioramento cognitivo, come confermato dalla diagnosi clinica di tre set di dati che rappresentano pazienti ricoverati e ambulatoriali volontari selezionati da due ospedali in Cina. Utilizzando la modellazione predittiva dell'apprendimento automatico, abbiamo identificato gli studenti con le migliori prestazioni dalle varie combinazioni di set di dati/studente e classificato le funzionalità per guidarci nella definizione delle applicazioni del modello clinicamente più pratiche.

Le nostre ipotesi erano che un modello basato su MemTrax convalidato può essere utilizzato per classificare la salute cognitiva in modo dicotomico (normale o MCI) in base al criterio della soglia del punteggio aggregato MoCA e che un modello predittivo MemTrax simile può essere efficacemente impiegato per discriminare la gravità in categorie selezionate di diagnosticato clinicamente decadimento cognitivo. Dimostrare i risultati previsti sarebbe determinante nel supportare l'efficacia di MemTrax come screening per la diagnosi precoce del declino cognitivo e della classificazione del deterioramento cognitivo. Il confronto favorevole con uno standard presunto del settore, integrato da una maggiore facilità e rapidità di utilità, sarebbe influente nell'aiutare i medici ad adottare questo strumento semplice, affidabile e accessibile come schermata iniziale per rilevare i deficit cognitivi allo stadio iniziale (incluso il prodromico). Un tale approccio e utilità potrebbero quindi richiedere cure e interventi del paziente più tempestivi e meglio stratificati. Queste intuizioni lungimiranti e metriche e modelli migliorati potrebbero anche essere utili per mitigare o fermare la progressione della demenza, comprese le demenze AD e correlate all'AD (ADRD).

MATERIALI E METODI

Studiare la popolazione

Tra gennaio 2018 e agosto 2019 è stata completata una ricerca trasversale sui pazienti reclutati da due ospedali in Cina. La somministrazione di MemTrax [5] a persone di età pari o superiore a 21 anni e la raccolta e l'analisi di tali dati sono state esaminate e approvate da e amministrate in accordo con gli standard etici del Human Comitato per la protezione dei soggetti della Stanford University. MemTrax e tutti gli altri test per questo studio complessivo sono stati eseguiti secondo la dichiarazione di Helsinki del 1975 e approvati dall'Institutional Review Board del First Affiliated Hospital of Kunming Medical University di Kunming, Yunnan, Cina. Ad ogni utente è stato fornito un file consenso informato modulo da leggere/rivedere e quindi accettare volontariamente di partecipare.

I partecipanti sono stati reclutati dal pool di pazienti ambulatoriali nella clinica neurologica dell'ospedale Yanhua (set di dati secondario YH) e il clinica della memoria presso il primo ospedale affiliato di Kunming Medical Università (set di dati secondario XL) a Pechino, Cina. I partecipanti sono stati reclutati anche da pazienti ricoverati in neurologia (sotto-set di dati XL) e medicina interna (sotto-set di dati KM) presso il First Affiliated Hospital of Kunming Medical University. I criteri di inclusione includevano 1) uomini e donne di almeno 21 anni, 2) capacità di parlare cinese (mandarino) e 3) capacità di comprendere indicazioni verbali e scritte. I criteri di esclusione erano le disabilità visive e motorie che impedivano ai partecipanti di completare il Prova MemTrax, nonché l'incapacità di comprendere le istruzioni specifiche del test.

Versione cinese di MemTrax

La linea La piattaforma di test MemTrax è stata tradotta in cinese (URL: https://www.memtrax.com.cn) e ulteriormente adattato per essere utilizzato tramite WeChat (Shenzhen Tencent Computer Systems Co. LTD., Shenzhen, Guangdong, Cina) per l'auto-amministrazione. I dati sono stati archiviati su un server cloud (Ali Cloud) situato in Cina e concessi in licenza da Alibaba (Alibaba Technology Co. Ltd., Hangzhou, Zhejiang, Cina) da SJN Biomed LTD (Kunming, Yunnan, Cina). I dettagli specifici su MemTrax e i criteri di validità del test utilizzati qui sono stati descritti in precedenza [6]. Il test è stato fornito gratuitamente ai pazienti.

Procedure di studio

Per i pazienti ricoverati e ambulatoriali, un questionario cartaceo generale per la raccolta di informazioni demografiche e anagrafiche quali età, sesso, anni di istruzione, occupazione, vivere da solo o con la famiglia, e la storia medica è stata amministrata da un membro del gruppo di studio. Dopo il completamento del questionario, sono stati somministrati i test MoCA [12] e MemTrax (prima MoCA) con non più di 20 minuti tra i test. La percentuale corretta di MemTrax (MTx-% C), il tempo medio di risposta (MTx-RT) e la data e l'ora del test sono state registrate su carta da un membro del team di studio per ogni partecipante testato. Il questionario compilato ei risultati del MoCA sono stati caricati in un foglio di calcolo Excel dal ricercatore che ha somministrato i test e verificati da un collega prima che i file Excel fossero salvati per le analisi.

Prova MemTrax

Il test online MemTrax includeva 50 immagini (25 uniche e 25 ripetizioni; 5 serie di 5 immagini di scene o oggetti comuni) mostrate in uno specifico ordine pseudo-casuale. Il partecipante (secondo le istruzioni) tocca il pulsante Start sullo schermo per iniziare il test e iniziare a visualizzare la serie di immagini e tocca nuovamente l'immagine sullo schermo il più rapidamente possibile ogni volta che appare un'immagine ripetuta. Ciascuna immagine è apparsa per 3 secondi o fino a quando l'immagine sullo schermo è stata toccata, il che ha richiesto la presentazione immediata dell'immagine successiva. Utilizzando l'orologio interno del dispositivo locale, MTx-RT per ciascuna immagine è stato determinato dal tempo trascorso dalla presentazione dell'immagine a quando lo schermo è stato toccato dal partecipante in risposta all'indicazione del riconoscimento dell'immagine come già mostrata durante il test. MTx-RT è stato registrato per ogni immagine, con 3 s interi registrati che indicano nessuna risposta. MTx-% C è stato calcolato per indicare la percentuale di immagini ripetute e iniziali a cui l'utente ha risposto correttamente (vero positivo + vero negativo diviso per 50). Ulteriori dettagli sull'amministrazione e l'implementazione di MemTrax, sulla riduzione dei dati, sui dati non validi o "nessuna risposta" e sulle analisi dei dati primari sono descritti altrove [6].

Il test MemTrax è stato spiegato in dettaglio ed è stato fornito ai partecipanti nell'ambiente ospedaliero un test pratico (con immagini uniche diverse da quelle utilizzate nel test per la registrazione dei risultati). I partecipanti ai sottoset di dati YH e KM hanno eseguito il test MemTrax su uno smartphone caricato con l'applicazione su WeChat; mentre un numero limitato di pazienti del sottoset di dati XL utilizzava un iPad e il resto utilizzava uno smartphone. Tutti i partecipanti hanno eseguito il test MemTrax con un investigatore dello studio che osservava discretamente.

Valutazione cognitiva di Montreal

La versione di Pechino del MoCA cinese (MoCA-BC) [13] è stata somministrata e valutata da ricercatori qualificati secondo le istruzioni ufficiali del test. Opportunamente, il MoCA-BC ha dimostrato di essere affidabile prova cognitiva screening a tutti i livelli di istruzione negli anziani cinesi [14]. Ogni test ha richiesto dai 10 ai 30 minuti per essere somministrato in base alle capacità cognitive del rispettivo partecipante.

Modellistica di classificazione MoCA

C'erano un totale di 29 funzioni utilizzabili, inclusi due MemTrax testare le metriche delle prestazioni e 27 caratteristiche relative alla demografia e alla salute informazioni per ogni partecipante. Il punteggio del test aggregato MoCA di ciascun paziente è stato utilizzato come screening cognitivo "benchmark" per addestrare i nostri modelli predittivi. Di conseguenza, poiché il MoCA è stato utilizzato per creare l'etichetta della classe, non è stato possibile utilizzare il punteggio aggregato (o uno qualsiasi dei punteggi dei sottoinsiemi MoCA) come funzionalità indipendente. Abbiamo eseguito esperimenti preliminari in cui abbiamo modellato (classificando la salute cognitiva definita da MoCA) i tre sottoset di dati originali di ospedale/clinica individualmente e quindi combinati utilizzando tutte le funzionalità. Tuttavia, tutti gli stessi elementi di dati non sono stati raccolti in ciascuna delle quattro cliniche che rappresentano i tre sottoset di dati; quindi, molte delle nostre funzionalità nel set di dati combinato (quando si utilizzano tutte le funzionalità) hanno avuto un'elevata incidenza di valori mancanti. Abbiamo quindi costruito modelli con il set di dati combinato utilizzando solo funzionalità comuni che hanno portato a prestazioni di classificazione migliorate. Ciò è stato probabilmente spiegato da una combinazione di avere più istanze con cui lavorare combinando i tre set di dati secondari del paziente e nessuna caratteristica con un'indebita prevalenza di valori mancanti (solo una caratteristica nel set di dati combinato, tipo di lavoro, aveva valori mancanti, influendo solo tre casi di pazienti), perché sono state incluse solo le caratteristiche comuni registrate in tutti e tre i siti. In particolare, non avevamo un criterio di rifiuto specifico per ciascuna funzionalità che alla fine non è stata inclusa nel set di dati combinato. Tuttavia, nella nostra modellazione preliminare di set di dati combinati, abbiamo prima utilizzato tutte le funzionalità di ciascuno dei tre sottoset di dati dei pazienti separati. Ciò ha ampiamente comportato prestazioni del modello notevolmente inferiori rispetto alla modellazione preliminare iniziale su ogni singolo sottoinsieme di dati. Inoltre, mentre le prestazioni di classificazione dei modelli costruiti utilizzando tutte le funzionalità sono state incoraggianti, in tutti gli studenti e gli schemi di classificazione, le prestazioni sono migliorate per il doppio dei modelli utilizzando solo le funzionalità comuni. In effetti, tra quelli che hanno finito per essere i nostri migliori studenti, tutti i modelli tranne uno sono migliorati eliminando le caratteristiche non comuni.

Il set di dati aggregati finali (YH, XL e KM combinati) includeva 259 istanze, ciascuna delle quali rappresentava un partecipante unico che ha eseguito sia il test MemTrax che il test MoCA. C'erano 10 caratteristiche indipendenti condivise: metriche delle prestazioni MemTrax: MTx-% C e MTx-RT medio; informazioni demografiche e anamnestiche: età, sesso, anni di istruzione, tipo di lavoro (operaio/colletti bianchi), supporto sociale (se il candidato vive da solo o con la famiglia) e risposte sì/no se l'utente ha avuto un storia di diabete, iperlipidemia o trauma cranico. Due metriche aggiuntive, il punteggio aggregato MoCA e il punteggio aggregato MoCA aggiustato per anni di istruzione [12], sono state utilizzate separatamente per sviluppare etichette di classificazione dipendenti, creando così due schemi di modellizzazione distinti da applicare al nostro set di dati combinato. Per ciascuna versione (aggiustata e non rettificata) del punteggio MoCA, i dati sono stati nuovamente modellati separatamente per la classificazione binaria utilizzando due diverse soglie di criterio: quella inizialmente consigliata [12] e un valore alternativo utilizzato e promosso da altri [8, 15]. Nello schema di classificazione della soglia alternativa, un paziente era considerato in condizioni di salute cognitiva normale se aveva ottenuto un punteggio ≥23 nel test MoCA e aveva un MCI se il punteggio era 22 o inferiore; mentre, nel formato di classificazione iniziale raccomandato, il paziente doveva ottenere un punteggio di 26 o migliore sul MoCA per essere etichettato come dotato di normale salute cognitiva.

Dati filtrati per la modellazione della classificazione MoCA

Abbiamo ulteriormente esaminato la classificazione MoCA utilizzando quattro tecniche di classificazione delle caratteristiche comunemente utilizzate: chi-quadrato, rapporto di guadagno, guadagno di informazioni e incertezza simmetrica. Per una prospettiva provvisoria, abbiamo applicato i ranking all'intero set di dati combinato utilizzando ciascuno dei nostri quattro schemi di modellazione. Tutti i ranking si sono trovati d'accordo sulle stesse caratteristiche principali, ovvero età, numero di anni di istruzione ed entrambe le metriche delle prestazioni MemTrax (MTx-% C, MTx-RT medio). Abbiamo quindi ricostruito i modelli utilizzando ciascuna tecnica di selezione delle caratteristiche per addestrare i modelli solo sulle quattro principali caratteristiche (vedi Selezione delle funzionalità sotto).

Le otto variazioni finali risultanti degli schemi di modellizzazione della classificazione del punteggio MoCA sono presentate nella Tabella 1.

Tavolo 1

Riepilogo delle variazioni dello schema di modellizzazione utilizzate per la classificazione MoCA (Normal Salute cognitiva contro MCI)

Schema di modellazione	Salute cognitiva normale (classe negativa)	MCI (classe positiva)
Adeguato-23 Non filtrato/Filtrato	101 (% 39.0)	158 (% 61.0)
Adeguato-26 Non filtrato/Filtrato	49 (% 18.9)	210 (% 81.1)
Non aggiustato-23 Non filtrato/Filtrato	92 (% 35.5)	167 (% 64.5)
Non aggiustato-26 Non filtrato/Filtrato	42 (% 16.2)	217 (% 83.8)

Il numero rispettivo e la percentuale dei pazienti totali in ciascuna classe sono differenziati dall'adeguamento del punteggio per l'istruzione (Adjusted o Nondjusted) e dalla soglia di classificazione (23 o 26), applicati a entrambi gli insiemi di funzionalità (Non filtrato e Filtrato).

Modellistica di valutazione clinica basata su MemTrax

Dei nostri tre sottoset di dati originali (YH, XL, KM), solo i pazienti del sottoset di dati XL sono stati diagnosticati clinicamente in modo indipendente per deterioramento cognitivo (cioè, i rispettivi punteggi MoCA non sono stati utilizzati per stabilire una classificazione di normale rispetto a alterato). In particolare, ai pazienti XL sono stati diagnosticati entrambi Test del morbo di Alzheimer (AD) o demenza vascolare (VaD). All'interno di ciascuna di queste categorie di diagnosi primarie, c'era un'ulteriore designazione per MCI. Le diagnosi di MCI, demenza, disturbo neurocognitivo vascolare e disturbo neurocognitivo da AD erano basate su criteri diagnostici specifici e distintivi delineati nel Manuale diagnostico e statistico dei disturbi mentali: DSM-5 [16]. Considerando queste diagnosi raffinate, due schemi di modelli di classificazione sono stati applicati separatamente al sottoset di dati XL per distinguere il livello di gravità (grado di compromissione) per ciascuna categoria di diagnosi primaria. I dati utilizzati in ciascuno di questi schemi di modelli diagnostici (AD e VaD) includevano informazioni demografiche e anamnestiche del paziente, nonché prestazioni MemTrax (MTx-% C, MTx-RT medio). Ogni diagnosi è stata etichettata come lieve se designata MCI; in caso contrario, è stato considerato grave. Inizialmente abbiamo considerato di includere il punteggio MoCA nei modelli diagnostici (lieve contro severo); ma abbiamo stabilito che ciò avrebbe vanificato lo scopo del nostro schema di modellazione predittiva secondaria. Qui gli studenti verrebbero formati utilizzando altre caratteristiche del paziente prontamente disponibili per il fornitore e le metriche delle prestazioni del più semplice test MemTrax (al posto del MoCA) rispetto al "gold standard" di riferimento, la diagnosi clinica indipendente. C'erano 69 istanze nel set di dati di diagnosi AD e 76 istanze di VaD (Tabella 2). In entrambi i set di dati, c'erano 12 caratteristiche indipendenti. Oltre alle 10 caratteristiche incluse nella classificazione del punteggio MoCA, l'anamnesi del paziente includeva anche informazioni sull'anamnesi di ipertensione e ictus.

Tavolo 2

Riepilogo delle variazioni dello schema di modellizzazione utilizzate per la classificazione della gravità della diagnosi (lieve vs grave)

Schema di modellazione	Lieve (classe negativa)	Grave (classe positiva)
MCI-AD contro AD	12 (% 17.4)	57 (% 82.6)
MCI-VaD contro VaD	38 (% 50.0)	38 (% 50.0)

Il numero rispettivo e la percentuale dei pazienti totali in ciascuna classe sono differenziati per categoria di diagnosi primaria (AD o VaD).

Statistiche

Il confronto delle caratteristiche dei partecipanti e di altre caratteristiche numeriche tra i sotto-set di dati per ciascuna strategia di classificazione del modello (per prevedere la salute cognitiva del MoCA e la gravità della diagnosi) è stato eseguito utilizzando il linguaggio di programmazione Python (versione 2.7.1) [17]. Le differenze di prestazioni del modello sono state inizialmente determinate utilizzando un'ANOVA a uno o due fattori (a seconda dei casi) con un intervallo di confidenza del 95% e il test della differenza significativa onesta (HSD) di Tukey per confrontare le medie delle prestazioni. Questo esame delle differenze tra le prestazioni del modello è stato eseguito utilizzando una combinazione di Python e R (versione 3.5.1) [18]. Abbiamo utilizzato questo approccio (sebbene probabilmente meno che ottimale) solo come aiuto euristico in questo fase iniziale per i confronti iniziali delle prestazioni del modello nell'anticipare la potenziale applicazione clinica. Abbiamo quindi utilizzato il test dei ranghi con segno bayesiano utilizzando una distribuzione a posteriori per determinare la probabilità di differenze di prestazioni del modello [19]. Per queste analisi, abbiamo utilizzato l'intervallo –0.01, 0.01, a significare che se due gruppi avevano una differenza di prestazioni inferiore a 0.01, erano considerati uguali (entro la regione dell'equivalenza pratica), o altrimenti erano diversi (uno migliore di l'altro). Per eseguire il confronto bayesiano dei classificatori e calcolare queste probabilità, abbiamo utilizzato la libreria baycomp (versione 1.0.2) per Python 3.6.4.

Modellazione predittiva

Abbiamo costruito modelli predittivi utilizzando le dieci variazioni totali dei nostri schemi di modellizzazione per prevedere (classificare) l'esito del test MoCA di ciascun paziente o la gravità della diagnosi clinica. Tutti gli studenti sono stati applicati ei modelli sono stati costruiti utilizzando la piattaforma software open source Weka [20]. Per la nostra analisi preliminare, abbiamo impiegato 10 algoritmi di apprendimento comunemente usati: 5-Nearest Neighbors, due versioni dell'albero decisionale C4.5, Logistic Regression, Multilayer Perceptron, Naïve Bayes, due versioni di Random Forest, Radial Basis Function Network e Support Vector Macchina. Gli attributi chiave ei contrasti di questi algoritmi sono stati descritti altrove [21] (vedi rispettiva appendice). Questi sono stati scelti perché rappresentano una varietà di diversi tipi di discenti e perché abbiamo dimostrato il successo utilizzandoli in precedenti analisi su dati simili. Le impostazioni dell'iperparametro sono state scelte dalla nostra precedente ricerca indicando che sono robuste su una varietà di dati diversi [22]. Sulla base dei risultati della nostra analisi preliminare utilizzando lo stesso set di dati combinato con caratteristiche comuni che sono stati utilizzati successivamente nell'analisi completa, abbiamo identificato tre studenti che hanno fornito prestazioni costantemente elevate in tutte le classificazioni: Logistic Regression, Naïve Bayes e Support Vector Machine.

Convalida incrociata e metrica delle prestazioni del modello

Per tutti i modelli predittivi (comprese le analisi preliminari), ciascun modello è stato costruito utilizzando una convalida incrociata 10 volte e le prestazioni del modello sono state misurate utilizzando l'area sotto la curva caratteristica operativa del ricevitore (AUC). La convalida incrociata è iniziata con la divisione casuale di ciascuno dei 10 set di dati dello schema di modellazione in 10 segmenti uguali (pieghe), utilizzando nove di questi rispettivi segmenti per addestrare il modello e il segmento rimanente per il test. Questa procedura è stata ripetuta 10 volte, utilizzando un segmento diverso come set di test in ciascuna iterazione. I risultati sono stati quindi combinati per calcolare il risultato/prestazioni del modello finale. Per ogni combinazione studente/set di dati, l'intero processo è stato ripetuto 10 volte con i dati suddivisi ogni volta in modo diverso. Quest'ultimo passaggio ha ridotto la distorsione, assicurato la replicabilità e ha aiutato a determinare le prestazioni complessive del modello. In totale (per il punteggio MoCA e gli schemi di classificazione della gravità della diagnosi combinati), sono stati costruiti 6,600 modelli. Ciò includeva 1,800 modelli non filtrati (6 schemi di modellazione applicati al set di dati × 3 studenti × 10 esecuzioni × 10 pieghe = 1,800 modelli) e 4,800 modelli filtrati (4 schemi di modellazione applicati al set di dati × 3 studenti × 4 tecniche di selezione delle funzionalità × 10 esecuzioni × 10 pieghe = 4,800 modelli).

Selezione delle funzionalità

Per i modelli filtrati, la selezione delle caratteristiche (utilizzando i quattro metodi di classificazione delle caratteristiche) è stata eseguita all'interno della convalida incrociata. Per ciascuna delle 10 pieghe, poiché un diverso 10% del set di dati era costituito dai dati di test, sono state utilizzate solo le prime quattro funzionalità selezionate per ciascun set di dati di addestramento (ad esempio, le altre nove pieghe o il restante 90% dell'intero set di dati) per costruire i modelli. Non siamo stati in grado di confermare quali quattro funzionalità sono state utilizzate in ciascun modello, poiché tali informazioni non sono archiviate o rese disponibili all'interno della piattaforma di modellazione che abbiamo utilizzato (Weka). Tuttavia, data la coerenza nella nostra selezione iniziale delle caratteristiche principali quando i ranking sono stati applicati all'intero set di dati combinato e la successiva somiglianza nella modellazione delle prestazioni, queste stesse caratteristiche (età, anni di istruzione, MTx-% C e MTx-RT medio ) sono probabilmente i primi quattro più diffusi utilizzati in concomitanza con la selezione delle caratteristiche all'interno del processo di convalida incrociata.

RISULTATI

Le caratteristiche numeriche dei partecipanti (inclusi i punteggi MoCA e le metriche delle prestazioni MemTrax) dei rispettivi set di dati per ciascuna strategia di classificazione del modello per prevedere la salute cognitiva indicata dal MoCA (normale rispetto a MCI) e la gravità della diagnosi (lieve rispetto a grave) sono mostrate nella Tabella 3.

Tavolo 3

Caratteristiche dei partecipanti, punteggi MoCA e prestazioni MemTrax per ciascuna strategia di classificazione del modello

Strategia di classificazione	Età	Istruzione	MoCA rettificato	MoCA non rettificato	MTx-% C	MTx-RT
Categoria MoCA	61.9 anni (13.1)	9.6 anni (4.6)	19.2 (6.5)	18.4 (6.7)	74.8% (15.0)	1.4 s (0.3)
Gravità della diagnosi	65.6 anni (12.1)	8.6 anni (4.4)	16.7 (6.2)	15.8 (6.3)	68.3% (13.8)	1.5 s (0.3)

I valori mostrati (media, SD) differenziati dalle strategie di classificazione dei modelli sono rappresentativi del set di dati combinato utilizzato per predire la salute cognitiva indicata da MoCA (MCI rispetto a normale) e del sottoset di dati XL utilizzato solo per prevedere la gravità della diagnosi (lieve rispetto a grave).

Per ciascuna combinazione di punteggio MoCA (aggiustato/non aggiustato) e soglia (26/23), è stata rilevata una differenza statistica (p = 0.000) in ogni confronto a coppie (salute cognitiva normale rispetto a MCI) per età, istruzione e prestazioni MemTrax (MTx-% C e MTx-RT). Ciascun sottoinsieme di dati dei pazienti nella rispettiva classe MCI per ciascuna combinazione aveva in media dai 9 ai 15 anni in più, riportava circa cinque anni di istruzione in meno e presentava prestazioni MemTrax meno favorevoli per entrambe le metriche.

I risultati delle prestazioni della modellazione predittiva per le classificazioni del punteggio MoCA utilizzando i primi tre studenti, Logistic Regression, Naïve Bayes e Support Vector Machine, sono mostrati nella Tabella 4. Questi tre sono stati scelti in base alla performance assoluta degli studenti più costantemente elevata in tutti i vari modelli applicato ai set di dati per tutti gli schemi di modellazione. Per il set di dati e la modellazione non filtrati, ciascuno dei valori dei dati nella Tabella 4 indica le prestazioni del modello in base all'AUC rispettiva media derivata dai 100 modelli (10 esecuzioni × 10 pieghe) costruiti per ciascuna combinazione studente/schema di modellazione, con la rispettiva più alta studente performante indicato in grassetto. Mentre per la modellazione del set di dati filtrato, i risultati riportati nella Tabella 4 riflettono le prestazioni medie complessive del modello di 400 modelli per ogni studente utilizzando ciascuno dei metodi di classificazione delle caratteristiche (4 metodi di classificazione delle caratteristiche × 10 esecuzioni × 10 pieghe).

Tavolo 4

Risultati della classificazione dicotomica del punteggio MoCA (AUC; 0.0–1.0) per ciascuno dei tre studenti con le migliori prestazioni per tutti i rispettivi schemi di modellizzazione

Set di funzioni utilizzato	Punteggio MoCA	Soglia di interruzione	Regressione logistica	Ingenuo Bayes	Supporta la macchina vettoriale
Non filtrato (10 funzioni)	Rettificato	23	0.8862	0.8913	0.8695
		26	0.8971	0.9221	0.9161
	non regolato	23	0.9103	0.9085	0.8995
		26	0.8834	0.9153	0.8994
Filtrato (4 funzioni)	Rettificato	23	0.8929	0.8954	0.8948
		26	0.9188	0.9247	0.9201
	non regolato	23	0.9135	0.9134	0.9122
		26	0.9159	0.9236	0.9177

Utilizzando le variazioni del set di funzionalità, del punteggio MoCA e della soglia di taglio del punteggio MoCA, le prestazioni più elevate per ogni schema di modellazione sono mostrate in perno (non necessariamente statisticamente diverso da tutti gli altri non in perno per il rispettivo modello).

Confrontando gli studenti in tutte le combinazioni di versioni e soglie del punteggio MoCA (aggiustato/non aggiustato e 23/26, rispettivamente) nel set di dati non filtrato combinato (cioè, utilizzando le 10 caratteristiche comuni), Naïve Bayes è stato generalmente lo studente con le migliori prestazioni con un punteggio complessivo performance di classificazione di 0.9093. Considerando i primi tre studenti, i test dei ranghi con segno correlati bayesiani hanno indicato che la probabilità (Pr) di Naïve Bayes che ha sovraperformato la regressione logistica è stato del 99.9%. Inoltre, tra Naïve Bayes e Support Vector Machine, una probabilità del 21.0% di equivalenza pratica nelle prestazioni dello studente (quindi, una probabilità del 79.0% che Naïve Bayes superi la Support Vector Machine), unita alla probabilità dello 0.0% che Support Vector Machine abbia prestazioni migliori, misurabili rafforza il vantaggio in termini di prestazioni per Naïve Bayes. Un ulteriore confronto della versione del punteggio MoCA tra tutti gli studenti/soglie ha suggerito un leggero vantaggio in termini di prestazioni utilizzando punteggi MoCA non aggiustati rispetto a quelli aggiustati (0.9027 vs 0.8971, rispettivamente; Pr (non aggiustato > aggiustato) = 0.988). Allo stesso modo, un confronto della soglia di cutoff tra tutti gli studenti e le versioni del punteggio MoCA ha indicato un piccolo vantaggio in termini di prestazioni di classificazione utilizzando 26 come soglia di classificazione rispetto a 23 (0.9056 contro 0.8942, rispettivamente; Pr (26 > 23) = 0.999). Infine, esaminando le prestazioni di classificazione per i modelli che utilizzano solo i risultati filtrati (vale a dire, solo le prime quattro caratteristiche), Naïve Bayes (0.9143) è stato numericamente lo studente con le migliori prestazioni in tutte le versioni/soglie dei punteggi MoCA. Tuttavia, in tutte le tecniche di classificazione delle caratteristiche combinate, tutti gli studenti con le migliori prestazioni hanno ottenuto risultati simili. I test bayesiani dei ranghi con segno hanno mostrato una probabilità del 100% di equivalenza pratica tra ciascuna coppia di studenti filtrati. Come per i dati non filtrati (che utilizzano tutte e 10 le caratteristiche comuni), c'era ancora un vantaggio in termini di prestazioni per la versione non aggiustata del punteggio MoCA (Pr (non aggiustato > aggiustato) = 1.000), nonché un vantaggio altrettanto distinto per la soglia di classificazione di 26 (Pr (26 > 23) = 1.000). In particolare, la performance media di ciascuno dei primi tre studenti in tutte le versioni/soglie del punteggio MoCA utilizzando solo le quattro funzionalità in cima alla classifica ha superato la performance media di qualsiasi studente sui dati non filtrati. Non sorprende che le prestazioni di classificazione dei modelli filtrati (utilizzando le quattro caratteristiche al primo posto) nel complesso siano state superiori (0.9119) ai modelli non filtrati (0.8999), indipendentemente dai modelli del metodo di classificazione delle caratteristiche che sono stati confrontati con i rispettivi modelli utilizzando tutti e 10 i modelli comuni caratteristiche. Per ciascun metodo di selezione delle caratteristiche, c'era una probabilità del 100% di un vantaggio in termini di prestazioni rispetto ai modelli non filtrati.

Con i pazienti considerati per la classificazione della gravità della diagnosi di AD, differenze tra i gruppi (MCI-AD rispetto a AD) per età (p = 0.004), istruzione (p = 0.028), punteggio MoCA aggiustato/non aggiustato (p = 0.000) e MTx-% C (p = 0.008) erano statisticamente significative; mentre per MTx-RT non era (p = 0.097). Con quei pazienti considerati per la classificazione della gravità della diagnosi di VaD, differenze tra i gruppi (MCI-VaD rispetto a VaD) per il punteggio MoCA aggiustato/non aggiustato (p = 0.007) e MTx-% C (p = 0.026) e MTx-RT (p = 0.001) erano statisticamente significative; mentre per età (p = 0.511) e istruzione (p = 0.157) non ci sono state differenze significative tra i gruppi.

I risultati delle prestazioni della modellazione predittiva per le classificazioni della gravità della diagnosi utilizzando i tre discenti selezionati in precedenza, Logistic Regression, Naïve Bayes e Support Vector Machine, sono mostrati nella Tabella 5. Considerando che gli studenti esaminati aggiuntivi hanno dimostrato prestazioni leggermente migliori individualmente con una delle due categorie di diagnosi clinica , i tre studenti che avevamo identificato come i più favorevoli nella nostra modellazione precedente hanno offerto le prestazioni più coerenti con entrambi i nuovi schemi di modellazione. Confrontando gli studenti in ciascuna delle categorie di diagnosi primarie (AD e VaD), non c'era alcuna differenza di prestazioni di classificazione coerente tra gli studenti per MCI-VaD e VaD, sebbene Support Vector Machine abbia generalmente ottenuto risultati più evidenti. Allo stesso modo, non c'erano differenze significative tra gli studenti per la classificazione MCI-AD e AD, sebbene Naïve Bayes (NB) avesse un leggero vantaggio in termini di prestazioni rispetto alla regressione logistica (LR) e solo una pluralità trascurabile rispetto a Support Vector Machine, con probabilità del 61.4% e 41.7% rispettivamente. In entrambi i set di dati, è stato riscontrato un vantaggio complessivo in termini di prestazioni per Support Vector Machine (SVM), con Pr (SVM > LR) = 0.819 e Pr (SVM > NB) = 0.934. Le nostre prestazioni complessive di classificazione tra tutti gli studenti nel predire la gravità della diagnosi nel sottoset di dati XL erano migliori nella categoria della diagnosi VaD rispetto a AD (Pr (VAD > AD) = 0.998).

Tavolo 5

Risultati dicotomici della classificazione della gravità della diagnosi clinica (AUC; 0.0–1.0) per ciascuno dei tre studenti con le migliori prestazioni per entrambi i rispettivi schemi di modellizzazione

Schema di modellazione	Regressione logistica	Ingenuo Bayes	Supporta la macchina vettoriale
MCI-AD contro AD	0.7465	0.7810	0.7443
MCI-VaD contro VaD	0.8033	0.8044	0.8338

Le prestazioni più elevate per ogni schema di modellazione sono mostrate in perno (non necessariamente statisticamente diverso da altri non in perno).

DISCUSSIONE

La diagnosi precoce dei cambiamenti nella salute cognitiva è importante utilità pratica nella gestione della salute personale e della salute pubblica. In effetti, è anche un'alta priorità negli ambienti clinici per i pazienti di tutto il mondo. L'obiettivo condiviso è allertare i pazienti, gli operatori sanitari e gli operatori sanitari e sollecitare un trattamento appropriato ed economico e un'assistenza longitudinale precoce per coloro che iniziano a sperimentare il declino cognitivo. Unendo i nostri tre sottoinsiemi di dati ospedalieri/clinici, abbiamo identificato tre studenti nettamente preferibili (con uno straordinario straordinario: Naïve Bayes) per costruire modelli predittivi utilizzando Metriche delle prestazioni di MemTrax che potrebbero classificare in modo affidabile lo stato di salute cognitiva dicotomicamente (normale salute cognitiva o MCI) come sarebbe indicato da un punteggio aggregato MoCA. In particolare, le prestazioni di classificazione complessive per tutti e tre gli studenti sono migliorate quando i nostri modelli hanno utilizzato solo le quattro funzionalità di livello superiore che comprendevano principalmente queste metriche delle prestazioni di MemTrax. Inoltre, abbiamo rivelato il potenziale comprovato dell'utilizzo degli stessi studenti e delle stesse metriche delle prestazioni di MemTrax in uno schema di modellazione della classificazione del supporto diagnostico per distinguere la gravità di due categorie di diagnosi di demenza: AD e VaD.

Test di memoria è fondamentale per la diagnosi precoce dell'AD [23, 24]. Pertanto, è opportuno che MemTrax sia un servizio online accettabile, coinvolgente e facile da implementare test di screening per la memoria episodica nella popolazione generale [6]. L'accuratezza del riconoscimento e i tempi di risposta di questo compito di prestazione continua sono particolarmente rivelatori nell'identificare il deterioramento precoce e in evoluzione e i conseguenti deficit nei processi neuroplastici correlati all'apprendimento, alla memoria e alla cognizione. Cioè, i modelli qui basati in gran parte sulle metriche delle prestazioni di MemTrax sono sensibili e hanno maggiori probabilità di rivelare prontamente e con un costo minimo deficit neuropatologici biologici durante la fase asintomatica di transizione ben prima di una perdita funzionale più sostanziale [25]. Ashford et al. ha esaminato da vicino i modelli e i comportamenti dell'accuratezza della memoria di riconoscimento e il tempo di risposta negli utenti online che hanno partecipato da soli con MemTrax [6]. Rispettando che queste distribuzioni sono fondamentali nella modellazione ottimale e nello sviluppo di applicazioni valide ed efficaci per la cura del paziente, la definizione di profili di riconoscimento e tempo di risposta clinicamente applicabili è essenziale per stabilire un prezioso riferimento fondamentale per l'utilità clinica e di ricerca. Il valore pratico di MemTrax nello screening dell'AD per il deterioramento cognitivo in fase iniziale e il supporto diagnostico differenziale devono quindi essere esaminati più da vicino nel contesto di un contesto clinico in cui si possono considerare comorbidità e capacità cognitive, sensoriali e motorie che influenzano le prestazioni del test. E per informare la prospettiva professionale e incoraggiare l'utilità clinica pratica, è innanzitutto imperativo dimostrare il confronto con un test di valutazione della salute cognitiva stabilito, anche se quest'ultimo può essere riconoscibilmente limitato da ingombranti logistiche di test, deterrenti educativi e linguistici e influenze culturali [26]. . A questo proposito, il confronto favorevole di MemTrax in termini di efficacia clinica con MoCA, che è comunemente considerato uno standard del settore, è significativo, soprattutto quando si valuta la maggiore facilità di utilità e l'accettazione da parte del paziente di MemTrax.

La precedente esplorazione confrontando MemTrax con MoCA mette in evidenza la logica e le prove preliminari che giustificano la nostra indagine sulla modellizzazione [8]. Tuttavia, questo confronto precedente ha semplicemente associato le due metriche chiave delle prestazioni MemTrax che abbiamo esaminato con lo stato cognitivo determinato dal MoCA e definito i rispettivi intervalli e valori di cutoff. Abbiamo approfondito la valutazione dell'utilità clinica di MemTrax esplorando un approccio basato su modelli predittivi che fornirebbe una considerazione più individualizzata di altri parametri specifici del paziente potenzialmente rilevanti. Contrariamente ad altri, non abbiamo trovato un vantaggio nelle prestazioni del modello utilizzando una correzione dell'istruzione (aggiustamento) al punteggio MoCA o variando la soglia del punteggio aggregato MoCA discriminante per la salute cognitiva da 26 a 23 originariamente raccomandato [12, 15]. In effetti, il vantaggio di performance della classificazione ha favorito l'utilizzo del punteggio MoCA non aggiustato e della soglia più alta.

Punti chiave nella pratica clinica

L'apprendimento automatico è spesso utilizzato al meglio e più efficace nella modellazione predittiva quando i dati sono estesi e multidimensionali, ovvero quando sono presenti numerose osservazioni e un'ampia gamma concomitante di attributi (contribuenti) di alto valore. Tuttavia, con questi dati attuali, i modelli filtrati con solo quattro funzionalità selezionate hanno ottenuto risultati migliori rispetto a quelli che utilizzano tutte e 10 le funzionalità comuni. Ciò suggerisce che il nostro set di dati ospedalieri aggregato non aveva le caratteristiche clinicamente più appropriate (di valore elevato) per classificare in modo ottimale i pazienti in questo modo. Tuttavia, l'enfasi sulla classificazione delle funzionalità sulle metriche chiave delle prestazioni di MemTrax - MTx-% C e MTx-RT - supporta fortemente la creazione di modelli di screening del deficit cognitivo in fase iniziale attorno a questo test che è semplice, facile da amministrare, a basso costo e adeguatamente rivelatore per quanto riguarda prestazioni della memoria, almeno in questo momento come schermata iniziale per una classificazione binaria dello stato di salute cognitiva. Data la crescente pressione sui fornitori e sui sistemi sanitari, i processi di screening dei pazienti e le applicazioni cliniche dovrebbero essere opportunamente sviluppati con un'enfasi sulla raccolta, il monitoraggio e la modellazione delle caratteristiche del paziente e delle metriche dei test che sono più utili, vantaggiose e dimostrate efficaci nella diagnostica e supporto alla gestione del paziente.

Con le due metriche chiave MemTrax al centro della classificazione MCI, il nostro studente con le migliori prestazioni (Naïve Bayes) ha avuto una performance predittiva molto elevata nella maggior parte dei modelli (AUC superiore a 0.90) con un rapporto tra veri positivi e falsi positivi vicino o leggermente superiore a 4 : 1. Un'applicazione clinica traslazionale che utilizzi questo discente catturerebbe (classificherebbe correttamente) di gran lunga la maggior parte di coloro che hanno un deficit cognitivo, riducendo al minimo il costo associato alla classificazione errata di qualcuno con una normale salute cognitiva come avente un deficit cognitivo (falso positivo) o manca quella classificazione in coloro che hanno un deficit cognitivo (falso negativo). Ciascuno di questi scenari di errata classificazione potrebbe imporre un onere psicosociale indebito al paziente e ai caregiver.

Mentre nelle analisi preliminari e complete abbiamo utilizzato tutti e dieci gli studenti in ogni schema di modellizzazione, abbiamo concentrato i nostri risultati sui tre classificatori che mostrano le prestazioni forti più coerenti. Questo era anche per evidenziare, sulla base di questi dati, gli studenti che avrebbero previsto prestazioni affidabili ad alto livello in un'applicazione clinica pratica nel determinare la classificazione dello stato cognitivo. Inoltre, poiché questo studio era inteso come un'indagine introduttiva sull'utilità dell'apprendimento automatico sullo screening cognitivo e su queste sfide cliniche tempestive, abbiamo preso la decisione di mantenere le tecniche di apprendimento semplici e generalizzate, con una regolazione minima dei parametri. Apprezziamo che questo approccio potrebbe aver limitato il potenziale per capacità predittive specifiche del paziente più strettamente definite. Allo stesso modo, mentre addestrare i modelli utilizzando solo le caratteristiche principali (approccio filtrato) ci informa ulteriormente su questi dati (specifici per le carenze nei dati raccolti ed evidenziando il valore nell'ottimizzazione del tempo e delle risorse cliniche preziose), riconosciamo che è prematuro restringere la portata dei modelli e, quindi, tutte (e altre caratteristiche) dovrebbero essere considerate con ricerche future fino a quando non avremo un profilo più definitivo delle caratteristiche prioritarie che sarebbero applicabili all'ampia popolazione. Pertanto, riconosciamo anche pienamente che sarebbero necessari dati più inclusivi e ampiamente rappresentativi e l'ottimizzazione di questi e altri modelli prima di integrarli in un'applicazione clinica efficace, soprattutto per accogliere le comorbidità che influenzano le prestazioni cognitive che dovrebbero essere considerate in un'ulteriore valutazione clinica.

L'utilità di MemTrax è stata ulteriormente edificata dalla modellizzazione della gravità della malattia basata su una diagnosi clinica separata. Una migliore prestazione complessiva della classificazione nella previsione della gravità della VaD (rispetto all'AD) non lo era sorprendente date le caratteristiche del profilo del paziente nei modelli specifici per la salute vascolare e rischio di ictus, cioè ipertensione, iperlipidemia, diabete e (ovviamente) anamnesi di ictus. Sebbene sarebbe stato più desiderabile e appropriato avere la stessa valutazione clinica condotta su pazienti abbinati con una normale salute cognitiva per formare gli studenti con questi dati più inclusivi. Ciò è particolarmente giustificato, poiché MemTrax è destinato ad essere utilizzato principalmente per il rilevamento precoce di un deficit cognitivo e il successivo monitoraggio del cambiamento individuale. È anche plausibile che la distribuzione più auspicabile dei dati nel set di dati VaD abbia contribuito in parte a prestazioni di modellazione relativamente migliori. Il set di dati VaD era ben bilanciato tra le due classi, mentre il set di dati AD con molti meno pazienti MCI non lo era. In particolare in piccoli set di dati, anche poche istanze aggiuntive possono fare una differenza misurabile. Entrambe le prospettive sono argomentazioni ragionevoli alla base delle differenze nelle prestazioni dei modelli di gravità della malattia. Tuttavia, è prematuro attribuire proporzionalmente il miglioramento delle prestazioni alle caratteristiche numeriche del set di dati o alle caratteristiche intrinseche specifiche della presentazione clinica in esame. Tuttavia, questo romanzo ha dimostrato l'utilità di un modello di classificazione predittiva MemTrax nel ruolo di supporto diagnostico clinico fornisce una prospettiva preziosa e afferma la ricerca di ulteriori esami con i pazienti attraverso il continuum di MCI.

L'implementazione e l'utilità dimostrata di MemTrax e di questi modelli in Cina, dove la lingua e la cultura sono drasticamente diverse da altre regioni di utilità consolidata (ad es. Francia, Paesi Bassi e Stati Uniti) [7, 8, 27], sottolinea ulteriormente il potenziale per l'accettazione globale diffusa e il valore clinico di una piattaforma basata su MemTrax. Questo è un esempio dimostrabile nell'impegno verso l'armonizzazione dei dati e lo sviluppo di norme internazionali pratiche e risorse di modellazione per lo screening cognitivo che sono standardizzate e facilmente adattabili per l'uso in tutto il mondo.

Passi successivi nella modellizzazione e applicazione del declino cognitivo

La disfunzione cognitiva nell'AD si verifica effettivamente su un continuum, non in stadi o passaggi discreti [28, 29]. Tuttavia, in questa fase iniziale, il nostro obiettivo era innanzitutto stabilire la nostra capacità di costruire un modello che incorporasse MemTrax in grado di distinguere fondamentalmente "normale" da "non normale". Dati empirici più inclusivi (p. es., imaging cerebrale, caratteristiche genetiche, biomarcatori, comorbilità e marcatori funzionali di complessi attività che richiedono attività conoscitive controllo) [30] in varie regioni globali, popolazioni e gruppi di età per addestrare e sviluppare modelli di apprendimento automatico più sofisticati (inclusi insiemi opportunamente ponderati) supporteranno un grado maggiore di classificazione avanzata, ovvero la capacità di classificare gruppi di pazienti con MCI in sottoinsiemi più piccoli e definitivi lungo il continuum del declino cognitivo. Inoltre, sono essenziali diagnosi cliniche concomitanti per individui appartenenti a popolazioni di pazienti diverse a livello regionale allenarsi efficacemente questi modelli più inclusivi e prevedibilmente robusti. Ciò faciliterà una gestione dei casi stratificata più specifica per coloro con background, influenze e profili cognitivi caratteristici più strettamente definiti e quindi ottimizzerà il supporto decisionale clinico e la cura del paziente.

Gran parte della ricerca clinica rilevante fino ad oggi si è rivolta a pazienti con demenza almeno lieve; e, in pratica, troppo spesso l'intervento del paziente viene tentato solo nelle fasi avanzate. Tuttavia, poiché il declino cognitivo inizia molto prima che vengano soddisfatti i criteri clinici per la demenza, uno screening precoce basato su MemTrax applicato in modo efficace potrebbe incoraggiare un'adeguata educazione degli individui sulla malattia e le sue progressioni e richiedere interventi precoci e più tempestivi. Pertanto, la diagnosi precoce potrebbe supportare coinvolgimenti adeguati che vanno dall'esercizio, dieta, supporto emotivo e miglioramento della socializzazione all'intervento farmacologico e rafforzare i cambiamenti correlati al paziente nel comportamento e nella percezione che singolarmente o nel complesso potrebbero mitigare o potenzialmente arrestare la progressione della demenza [31, 32]. . Inoltre, con efficace screening precoce, gli individui e le loro famiglie possono essere spinti a prendere in considerazione sperimentazioni cliniche o ottenere consulenza e altri servizi sociali per aiutare a chiarire aspettative e intenzioni e gestire le attività quotidiane. Un'ulteriore convalida e un'utilità pratica diffusa in questi modi potrebbero essere determinanti per mitigare o arrestare la progressione di MCI, AD e ADRD per molti individui.

In effetti, la fascia bassa della fascia di età dei pazienti nel nostro studio non rappresenta la popolazione di interesse tradizionale per l'AD. Tuttavia, l'età media per ciascun gruppo utilizzato negli schemi di modellazione della classificazione basati sul punteggio/soglia MoCA e sulla gravità della diagnosi (Tabella 3) sottolinea una netta maggioranza (oltre l'80%) con almeno 50 anni. Questa distribuzione è quindi molto appropriata per la generalizzazione, supportando l'utilità di questi modelli nella popolazione che caratterizza le persone tipicamente affette da esordio precoce e la fiorente malattia neurocognitiva dovuta a AD e VaD. Inoltre, recenti evidenze e prospettive sottolineano quei fattori riconosciuti (ad esempio, ipertensione, obesità, diabete e fumo) che potenzialmente contribuiscono a un aumento precoce punteggi di rischio vascolare dell'adulto e della mezza età e conseguente sottile danno cerebrale vascolare che si sviluppa insidiosamente con effetti evidenti anche nei giovani adulti [33-35]. Di conseguenza, l'opportunità di screening iniziale più ottimale per la rilevazione precoce mettere in scena i deficit cognitivi e avviare efficaci strategie di prevenzione e intervento per affrontare con successo la demenza emergerà dall'esame dei fattori che contribuiscono e degli indicatori antecedenti in tutto lo spettro di età, compresa la prima età adulta e potenzialmente anche l'infanzia (notando la rilevanza di fattori genetici come l'apolipoproteina E dalla prima gestazione).

In pratica, diagnosi cliniche valide e procedure costose per l'imaging avanzato, la profilazione genetica e la misurazione di biomarcatori promettenti non sono sempre prontamente disponibili o addirittura fattibili per molti fornitori. Pertanto, in molti casi, la classificazione iniziale dello stato di salute cognitiva generale potrebbe dover essere derivata da modelli che utilizzano altre semplici metriche fornite dal paziente (p. problemi di memoria, farmaci attuali e limitazioni delle attività di routine) e caratteristiche demografiche comuni [7]. Registri come l'Università della California Cervello Salute Registry (https://www.brainhealthregistry.org/) [27] e altri con una maggiore ampiezza intrinseca di sintomi auto-riportati, misure qualitative (ad esempio, sonno e cognizione quotidiana), farmaci, stato di salute e anamnesi, e dati demografici più dettagliati saranno fondamentali per sviluppare e convalidare l'applicazione pratica di questi modelli più primitivi nella clinica. Inoltre, un test come MemTrax, che ha dimostrato utilità nella valutazione della funzione della memoria, può infatti fornire una stima sostanzialmente migliore della patologia AD rispetto ai marcatori biologici. Dato che la caratteristica principale della patologia AD è l'interruzione della neuroplasticità e una perdita estremamente complessa di sinapsi, che si manifesta come episodica disfunzione della memoria, una misura che valuta la memoria episodica può infatti forniscono una stima migliore del carico patologico di AD rispetto ai marcatori biologici nel paziente vivente [36].

Con tutti i modelli predittivi, integrati da dati complessi e inclusivi provenienti da tecnologie all'avanguardia e approfondimenti clinici raffinati su più domini o limitati a informazioni più basilari e prontamente disponibili caratteristiche dei profili dei pazienti esistenti, il vantaggio riconosciuto dell'intelligenza artificiale e l'apprendimento automatico è che i modelli risultanti possono sintetizzare e "apprendere" induttivamente da nuovi dati e prospettive rilevanti forniti dall'utilizzo continuo delle applicazioni. Dopo il trasferimento tecnologico pratico, poiché i modelli qui (e da sviluppare) vengono applicati e arricchiti con più casi e dati pertinenti (compresi i pazienti con comorbidità che potrebbero presentare un conseguente declino cognitivo), le prestazioni di previsione e la classificazione della salute cognitiva saranno più solide, con conseguente utilità di supporto alle decisioni cliniche più efficace. Questa evoluzione sarà realizzata in modo più completo e pratico con l'integrazione di MemTrax in piattaforme personalizzate (mirate alle capacità disponibili) che gli operatori sanitari potrebbero utilizzare in tempo reale nella clinica.

Per la convalida e l'utilità del modello MemTrax per il supporto diagnostico e la cura del paziente sono indispensabili dati longitudinali significativi molto ricercati. Osservando e registrando i cambiamenti concomitanti (se presenti) nello stato clinico in un intervallo adeguato di MCI normale fino allo stadio iniziale, i modelli per la valutazione e la classificazione continue appropriate possono essere addestrati e modificati man mano che i pazienti invecchiano e vengono trattati. Cioè, l'utilità ripetuta può aiutare con il monitoraggio longitudinale di lievi cambiamenti cognitivi, l'efficacia dell'intervento e il mantenimento di un'assistenza stratificata informata. Questo approccio si allinea più strettamente con la pratica clinica e la gestione del paziente e del caso.

Limiti

Apprezziamo la sfida e il valore nella raccolta di dati clinici puliti in un ambiente clinico/ospedaliero controllato. Tuttavia, avrebbe rafforzato la nostra modellazione se i nostri set di dati includessero più pazienti con caratteristiche comuni. Inoltre, specifico per la nostra modellizzazione della diagnosi, sarebbe stato più desiderabile e appropriato avere la stessa valutazione clinica condotta su pazienti abbinati con normale salute cognitiva per formare gli studenti. E come sottolineato dalle prestazioni di classificazione più elevate utilizzando il set di dati filtrato (solo le quattro caratteristiche con il punteggio più alto), più generale e probabilmente le misure/indicatori di salute cognitiva sarebbero migliorati modellazione delle prestazioni con un maggior numero di caratteristiche comuni a tutti i pazienti.

Alcuni partecipanti potrebbero aver sperimentato contemporaneamente altre malattie che avrebbero potuto provocare carenze cognitive transitorie o croniche. A parte il sottoset di dati XL in cui i pazienti sono stati classificati diagnosticamente come affetti da AD o VaD, i dati di comorbidità non sono stati raccolti/riportati nel pool di pazienti YH e la comorbidità riportata di gran lunga predominante nel sottoset di dati KM era il diabete. È discutibile, tuttavia, che l'inclusione nei nostri schemi di modellizzazione di pazienti con comorbidità che potrebbero indurre o esacerbare un livello di deficit cognitivo e una conseguente riduzione delle prestazioni di MemTrax sarebbe più rappresentativo della popolazione di pazienti target del mondo reale per questo screening cognitivo precoce più generalizzato e approccio modellistico. Andando avanti, una diagnosi accurata delle comorbidità che potenzialmente influiscono sulle prestazioni cognitive è ampiamente vantaggiosa per l'ottimizzazione dei modelli e delle conseguenti applicazioni per la cura del paziente.

Infine, i pazienti del sottoset di dati YH e KM hanno utilizzato uno smartphone per eseguire il test MemTrax, mentre un numero limitato di pazienti del sottoset di dati XL ha utilizzato un iPad e il resto ha utilizzato uno smartphone. Ciò potrebbe aver introdotto una piccola differenza relativa al dispositivo nelle prestazioni di MemTrax per la modellazione della classificazione MoCA. Tuttavia, le differenze (se presenti) in MTx-RT, ad esempio, tra i dispositivi sarebbero probabilmente trascurabili, in particolare con ogni partecipante sottoposto a un test di "pratica" appena prima dell'esecuzione del test registrata. Tuttavia, l'utilità di questi due dispositivi palmari potenzialmente compromette il confronto diretto e/o l'integrazione con altri risultati MemTrax in cui gli utenti hanno risposto alle immagini ripetute toccando la barra spaziatrice sulla tastiera di un computer.

Punti chiave sull'utilità di modellazione predittiva MemTrax

• • I nostri modelli predittivi con le migliori prestazioni che comprendono metriche di performance MemTrax selezionate potrebbero classificare in modo affidabile lo stato di salute cognitiva (salute cognitiva normale o MCI) come sarebbe indicato dal test MoCA ampiamente riconosciuto.
• • Questi risultati supportano l'integrazione di metriche delle prestazioni MemTrax selezionate in un'applicazione di screening del modello predittivo di classificazione per il deterioramento cognitivo in fase iniziale.
• • Il nostro modello di classificazione ha anche rivelato il potenziale per l'utilizzo delle prestazioni di MemTrax nelle applicazioni per distinguere la gravità della diagnosi di demenza.

Questi nuovi risultati stabiliscono prove definitive a sostegno dell'utilità dell'apprendimento automatico nella creazione di modelli di classificazione avanzati e robusti basati su MemTrax per il supporto diagnostico nell'efficace gestione dei casi clinici e nella cura del paziente per le persone che soffrono di deterioramento cognitivo.

RINGRAZIAMENTI

Riconosciamo il lavoro di J. Wesson Ashford, Curtis B. Ashford e colleghi per lo sviluppo e la convalida dell'attività e dello strumento di riconoscimento continuo online (MemTrax) utilizzati qui e siamo grati ai numerosi pazienti con demenza che hanno contribuito alla ricerca fondamentale fondamentale . Ringraziamo anche Xianbo Zhou e i suoi colleghi di SJN Biomed LTD, i suoi colleghi e collaboratori presso gli ospedali/cliniche, in particolare i Drs. M. Luo e M. Zhong, che hanno aiutato con il reclutamento dei partecipanti, programmando i test e raccogliendo, registrando e gestendo front-end i dati, e i partecipanti volontari che hanno donato il loro prezioso tempo e si sono impegnati a sostenere i test e fornire i dati preziosi per noi da valutare in questo studio. Questo studio è stato sostenuto in parte dalla ricerca scientifica MD Programma della Kunming Medical University (Grant n. 2017BS028 a XL) e il programma di ricerca del Dipartimento di Scienza e Tecnologia dello Yunnan (Grant n. 2019FE001 (-222) a XL).

J. Wesson Ashford ha depositato una domanda di brevetto per l'uso del paradigma di riconoscimento continuo specifico descritto in questo documento per il generale prova della memoria.

MemTrax, LLC è una società di proprietà di Curtis Ashford e questa società gestisce il test di memoria sistema descritto in questo documento.

Divulgazioni degli autori disponibili online (https://www.j-alz.com/manuscript-disclosures/19-1340r2).

BIBLIOGRAFIA

, Associazione Alzheimer (2016) 2016 Fatti sulla malattia di Alzheimer e figure. Demenza di Alzheimer 12, 459–509.
[2] Gresenz CR , Mitchell JM , Marrone J , Federoff HJ (2019) Effetto della fase iniziale La malattia di Alzheimer sui risultati finanziari delle famiglie. Health Econ 29, 18–29.
,	Foster NL , Bondi MW , Das R , Foss M , Hershey LA , Koh S , Logan R , Poole C , Shega JW , Sood A , Thothala N , Wicklund M , Yu M , Bennett A , Wang D (2019) Miglioramento della qualità in neurologia: set di misurazione della qualità del deterioramento cognitivo lieve. Neurologia 93, 705–713.
[4] Tong T, Thokala P, McMillan B, Ghosh R, Brazier J (2017) Efficacia in termini di costi dell'utilizzo test di screening cognitivo per rilevare demenza e decadimento cognitivo lieve nelle cure primarie. Int J Geriatr Psichiatria 32, 1392–1400.
[5] Ashford JW, Gere E, Bayley PJ (2011) Misurare la memoria in contesti di gruppo numerosi utilizzando un test di riconoscimento continuo. J Alzheimer Dis 27, 885–895.
,	Ashford JW , Tarpin-Bernard F , Ashford CB , Ashford MT (2019) Un compito computerizzato di riconoscimento continuo per la misurazione della memoria episodica. J Alzheimers Dis 69, 385–399.
,	Bergeron MF , Landset S , Tarpin-Bernard F , Ashford CB , Khoshgoftaar TM , Ashford JW (2019) Prestazioni della memoria episodica nella modellazione dell'apprendimento automatico per la previsione della classificazione dello stato di salute cognitiva. J Alzheimer Dis 70, 277–286.
[8] van der Hoek MD , Nieuwenhuizen A , Keijer J , Ashford JW (2019) Il Prova MemTrax rispetto alla stima della valutazione cognitiva di Montreal del lieve deterioramento cognitivo. J Alzheimer Dis 67, 1045–1054.
,	Falcone M, Yadav N, Poellabauer C, Flynn P (2013) Utilizzo di suoni vocalici isolati per la classificazione di lesioni cerebrali traumatiche lievi. Nel 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, BC, pp. 7577–7581.
,	Dabek F , Caban JJ (2015) Sfruttare i big data per modellare la probabilità di sviluppare condizioni psicologiche dopo una commozione cerebrale. Procedia Comput Sci 53, 265–273.
,	Climent MT , Pardo J , Munoz-Almaraz FJ , Guerrero MD , Moreno L (2018) Albero decisionale per la diagnosi precoce del deterioramento cognitivo da parte dei farmacisti di comunità. Front Pharmacol 9, 1232.
,	Nasreddine ZS, Phillips NA, Bedirian V, Charbonneau S, Whitehead V, Collin I, Cummings JL, Chertkow H (2005) The Montreal Cognitive Assessment, MoCA: Un breve strumento di screening per il deterioramento cognitivo lieve. J Am Geriatr Soc 53, 695–699.
,	Yu J, Li J, Huang X (2012) La versione di Pechino della valutazione cognitiva montreal come breve strumento di screening per il deterioramento cognitivo lieve: uno studio basato sulla comunità. BMC Psichiatria 12, 156.
,	Chen KL , Xu Y , Chu AQ , Ding D , Liang XN , Nasreddine ZS , Dong Q , Hong Z , Zhao QH , Guo QH (2016) Convalida della versione cinese della valutazione cognitiva di Montreal di base per lo screening del decadimento cognitivo lieve. J Am Geriatr Soc 64, e285–e290.
,	Carson N , Leach L , Murphy KJ (2018) Un riesame dei punteggi di cutoff della valutazione cognitiva di Montreal (MoCA). Int J Geriatr Psichiatria 33, 379–388.
,	American Psychiatric Association (2013) Task Force Manuale diagnostico e statistico dei disturbi mentali: DSM-5™, American Psychiatric Publishing, Inc., Washington, DC.
,	Pitone. Python Software Foundation, http://www.python.org, accesso 15 novembre 2019.
,	R Core Group, R: Un linguaggio e un ambiente per il calcolo statistico R Foundation for Statistical Computing, Vienna, Austria. https://www.R-project.org/, 2018, accesso 15 novembre 2019.
,	Benavoli A , Corani G , Demšar J , Zaffalon M (2017) Time for a change: Un tutorial per confrontare più classificatori attraverso l'analisi bayesiana. J Mach Impara Ris 18, 1–36.
,	Frank E , Hall MA , Witten IH (2016) Il banco da lavoro WEKA. In Data mining: strumenti e tecniche pratiche di apprendimento automatico, Frank E, Hall MA, Witten IH, Pal CJ, eds. Morgan Kaufmann https://www.cs.waikato.ac.nz/ml/weka/Witten_et_al_2016_appendice.pdf
,	Bergeron MF , Landset S , Maugans TA , Williams VB , Collins CL , Wasserman EB , Khoshgoftaar TM (2019) Apprendimento automatico nella modellazione della risoluzione dei sintomi della commozione cerebrale nello sport delle scuole superiori. Esercizio Sport Med Sci 51, 1362–1371.
,	Van Hulse J , Khoshgoftaar TM , Napolitano A (2007) Prospettive sperimentali sull'apprendimento da dati sbilanciati. In Atti della 24a Conferenza Internazionale sull'Apprendimento Automatico, Corvalis, Oregon, USA, pagg. 935-942.
,	Ashford JW, Kolm P, Colliver JA, Bekian C, Hsu LN (1989) Valutazione del paziente di Alzheimer e stato mini-mentale: Analisi della curva caratteristica dell'oggetto.P. J Gerontol 44, 139–146.
[24] Ashford JW, Jarvik L (1985) Il morbo di Alzheimer: La plasticità neuronale predispone alla degenerazione neurofibrillare assonale? N Engl J Med 313, 388–389.
[25] Jack CR Jr , Therneau TM , Weigand SD , ​​Wiste HJ , Knopman DS , Vemuri P , Lowe VJ , Mielke MM , Roberts RO , Machulda MM , Graff-Radford J , Jones DT , Schwarz CG , Gunter JL , Senjem ML , Rocca WA , Petersen RC (2019) Prevalenza delle entità dello spettro di Alzheimer definite biologicamente rispetto a quelle cliniche utilizzando il National Institute on Aging-Alzheimer's Ricerca di associazione struttura. JAMA Neurol 76, 1174–1183.
[26] Zhou X , Ashford JW (2019) Progressi negli strumenti di screening per La malattia di Alzheimer. Invecchiamento Med 2, 88–93.
[27] Weiner MW, Nosheny R, Camacho M, Truran-Sacrey D, Mackin RS, Flenniken D, Ulbricht A, Insel P, Finley S, Fockler J, Veitch D (2018) Cervello Salute Registro: una piattaforma basata su Internet per il reclutamento, la valutazione e il monitoraggio longitudinale dei partecipanti agli studi sulle neuroscienze. Alzheimer's Dement 14, 1063-1076.
[28] Ashford JW, Schmitt FA (2001) Modellazione del corso temporale di demenza di Alzheimer. Curr Psichiatria Rep 3, 20–28.
,	Li X , Wang X , Su L , Hu X , Han Y (2019) Sino Longitudinal Study on Cognitive Decline (SILCODE): protocollo per uno studio osservazionale longitudinale cinese per sviluppare modelli di previsione del rischio di conversione in decadimento cognitivo lieve in individui con cognitivo soggettivo declino. BMJ aperto 9, e028188.
[30] Tarnanas I, Tsolaki A, Wiederhold M, Wiederhold B, Tsolaki M (2015) Variabilità della progressione dei biomarcatori a cinque anni per demenza morbo di Alzheimer previsione: può una complessa attività strumentale della vita quotidiana segnare colmare le lacune? Demenza di Alzheimer (Amst) 1, 521–532.
[31] McGurran H , Glenn JM , Madero IT , Bott NT (2019) Prevenzione e cura della malattia di Alzheimer: Meccanismi biologici dell'esercizio. J Alzheimer Dis 69, 311–338.
[32] Mendiola-Precoma J, Berumen LC, Padilla K, Garcia-Alcocer G (2016) Terapie per prevenzione e cura della malattia di Alzheimer. Biomed Res Int 2016, 2589276.
,	Lane CA , Barnes J , Nicholas JM , Sudre CH , Cash DM , Malone IB , Parker TD , Keshavan A , Buchanan SM , Keuss SE , James SN , Lu K , Murray-Smith H , Wong A , Gordon E , Coath W , Modat M , Thomas D , Richards M , Fox NC , Schott JM (2020) Associazioni tra rischio vascolare nell'età adulta e patologia cerebrale in età avanzata: prove da una coorte di nascita britannica. JAMA Neurol 77, 175–183.
,	Seshadri S (2020) Prevenzione del pensiero demenziale oltre l'età e scatole amiloidi. JAMA Neurol 77, 160–161.
,	Maillard P , Seshadri S , Beiser A , Himali JJ , Au R , Fletcher E , Carmichael O , Wolf PA , DeCarli C (2012) Effetti della pressione sanguigna sistolica sull'integrità della materia bianca nei giovani adulti nel Framingham Heart Study: A cross -studio in sezione. Lancetta Neurol 11, 1039–1047.
[36] Fink HA, Linskens EJ, Silverman PC, McCarten JR, Hemmy LS, Ouellette JM, Greer NL, Wilt TJ, Butler M (2020) Malattia di Alzheimer negli anziani con demenza. Ann Intern Med 172, 669–677.

Affiliazioni: [a] SIVOTEC Analytics, Boca Raton, FL, USA | [b] Dipartimento di Ingegneria Informatica ed Elettrica e Informatica, Florida Atlantic University, Boca Raton, FL, USA | [c] SJN Biomed LTD, Kunming, Yunnan, Cina | [d] Centro per Ricerca sull'Alzheimer, Washington Institute of Clinical Research, Washington, DC, USA | [e] Dipartimento di Medicina Riabilitativa, Il Primo Ospedale Affiliato dell'Università Medica di Kunming, Kunming, Yunnan, Cina | [f] Dipartimento di Neurologia, Dehong People's Hospital, Dehong, Yunnan, Cina | [g] Dipartimento di Neurologia, Primo Ospedale Affiliato dell'Università Medica di Kunming, Distretto di Wuhua, Kunming, Provincia dello Yunnan, Cina | [h] Centro studi sulle malattie e gli infortuni legati alla guerra, VA Palo Alto Assistenza sanitaria Sistema, Palo Alto, CA, USA | [i] Dipartimento di psichiatria e scienze comportamentali, Stanford University School of Medicine, Palo Alto, CA, USA

Corrispondenza: [*] Corrispondenza a: Michael F. Bergeron, PhD, FACSM, SIVOTEC Analytics, Boca Raton Innovation Campus, 4800 T-Rex Avenue, Suite 315, Boca Raton, FL 33431, USA. E-mail: mbergeron@sivotecanalytics.com.; Xiaolei Liu, MD, Dipartimento di Neurologia, Primo Ospedale Affiliato dell'Università di Medicina di Kunming, 295 Xichang Road, Distretto di Wuhua, Kunming, Provincia dello Yunnan 650032, Cina. E-mail: ring@vip.163.com.

Parole chiave: invecchiamento, La malattia di Alzheimer, demenza, screening di massa