Utilitatea MemTrax și modelarea învățării automate în clasificarea deficiențelor cognitive ușoare

articol de cercetare

Autori: Bergeron, Michael F. | Landset, Sara | Zhou, Xianbo | Ding, Tao | Khoshgoftaar, Taghi M. | Zhao, Feng | Du, Bo | Chen, Xinjie | Wang, Xuan | Zhong, Lianmei | Liu, Xiaolei| Ashford, J. Wesson

DOI: 10.3233/JAD-191340

Jurnal: Jurnalul de Boala Alzheimer, vol. 77, nr. 4, pp. 1545-1558, 2020

Abstract

Context:

Incidența și prevalența pe scară largă a Boala Alzheimer și deficiența cognitivă ușoară (MCI) a determinat un apel urgent pentru cercetare pentru a valida screening-ul și evaluarea cognitivă de detecție precoce.

Obiectiv:

Scopul nostru principal al cercetării a fost de a determina dacă valorile de performanță ale MemTrax selectate și caracteristicile demografice relevante și ale profilului de sănătate pot fi utilizate în mod eficient în modele predictive dezvoltate cu învățarea automată pentru a clasifica sănătatea cognitivă (normală versus MCI), așa cum ar fi indicat de Evaluarea cognitivă din Montreal (MoCA).

Metode:

Am efectuat un studiu transversal pe 259 de pacienți adulți de neurologie, clinică de memorie și medicină internă, recrutați din două spitale din China. Fiecare pacient a primit MoCA în limba chineză și a auto-administrat episodul online MemTrax de recunoaștere continuă test de memorie online in aceeasi zi. Modelele de clasificare predictivă au fost construite folosind învățarea automată cu validare încrucișată de 10 ori, iar performanța modelului a fost măsurată utilizând zona sub curba caracteristică de funcționare a receptorului (AUC). Modelele au fost construite folosind două valori de performanță MemTrax (procent corect, timp de răspuns), împreună cu opt caracteristici comune demografice și istoric personal.

Rezultate:

Comparând cursanții din combinațiile selectate de scoruri și praguri MoCA, Naïve Bayes a fost, în general, elevul cu cele mai bune performanțe, cu o performanță generală de clasificare de 0.9093. În plus, printre primii trei cursanți, performanța generală a clasificării bazate pe MemTrax a fost superioară utilizând doar cele patru caracteristici de top (0.9119) comparativ cu utilizarea tuturor celor 10 caracteristici comune (0.8999).

Concluzie:

Performanța MemTrax poate fi utilizată eficient într-un model predictiv de clasificare a învățării automate aplicație de screening pentru detectarea deficiențelor cognitive în stadiu incipient.

INTRODUCERE

Incidența și prevalența pe scară largă recunoscute (deși subdiagnosticate) și escaladarea paralelă medicală, socială și publică sănătate costurile și povara bolii Alzheimer (AD) și a deficienței cognitive ușoare (MCI) sunt din ce în ce mai solicitante pentru toate părțile interesate [1, 2]. Acest scenariu tulburător și înfloritor a provocat un apel urgent pentru validare a cercetării detectarea precoce instrumente de screening și evaluare cognitivă pentru utilitate practică regulată în medii personale și clinice pentru pacienții în vârstă din diverse regiuni și populații [3]. Aceste instrumente trebuie, de asemenea, să asigure traducerea fără probleme a rezultatelor informative în dosarele electronice de sănătate. Beneficiile vor fi realizate prin informarea pacienților și asistarea medicilor în recunoașterea mai devreme a schimbărilor semnificative și, astfel, să permită o stratificare, implementare și urmărire mai promptă și în timp util a unui tratament individualizat și mai rentabil și a îngrijirii pacientului pentru cei care încep să experimenteze. declin cognitiv [3, 4].

Instrumentul computerizat MemTrax (https://memtrax.com) este o evaluare simplă și scurtă de recunoaștere continuă, care poate fi autoadministrată online pentru a măsura performanța de memorie episodică cu provocare, în care utilizatorul răspunde la imagini repetate și nu la o prezentare inițială [5, 6]. Cercetările recente și implicațiile practice rezultate încep să demonstreze progresiv și colectiv eficacitatea clinică a MemTrax în screening-ul precoce al AD și MCI [5-7]. Cu toate acestea, compararea directă a utilității clinice cu cea existentă sănătate cognitivă evaluarea și standardele convenționale sunt garantate pentru a informa perspectiva profesională și pentru a corobora utilitatea MemTrax în detectarea timpurie și suportul de diagnosticare. van der Hoek și colab. [8] a comparat valorile selectate de performanță MemTrax (viteza de reacție și procentul corect) cu starea cognitivă determinată de Montreal Evaluarea Cognitivă (MoCA). Cu toate acestea, acest studiu s-a limitat la asocierea acestor metrici de performanță cu caracterizarea stării cognitive (după cum este determinată de MoCA) și la definirea intervalelor relative și a valorilor limită. În consecință, pentru a extinde această investigație și pentru a îmbunătăți performanța și eficacitatea clasificării, întrebarea noastră principală de cercetare a fost:

  • Pot valorile de performanță MemTrax selectate de o persoană și datele demografice relevante și sănătatea profil caracteristicile să fie utilizate eficient într-un model predictiv dezvoltat cu învățarea automată pentru a clasifica sănătatea cognitivă în mod dihotomic (normal versus MCI), așa cum ar fi indicat de scorul MoCA al cuiva?

În al doilea rând, am vrut să știm:

  • Incluzând aceleași caracteristici, un model de învățare automată bazat pe performanță MemTrax poate fi aplicat în mod eficient unui pacient pentru a prezice severitatea (ușoară versus severă) în cadrul unor categorii selectate de afectare cognitivă, așa cum ar fi determinată de un diagnostic clinic independent?

Apariția și aplicarea practică în evoluție a inteligenței artificiale și a învățării automate în screening/detecție au demonstrat deja avantaje practice distincte, modelarea predictivă ghidând în mod eficient clinicienii în evaluarea provocatoare a sănătății cognitive/creierului și managementul pacienților. În studiul nostru, am ales o abordare similară în modelarea clasificării MCI și discriminarea severității deficienței cognitive, așa cum a fost confirmată de diagnosticul clinic din trei seturi de date reprezentând pacienți voluntari selectați și ambulatori din două spitale din China. Folosind modelarea predictivă a învățării automate, am identificat cursanții cu cele mai bune performanțe din diferitele combinații de seturi de date/învățare și am clasat caracteristicile pentru a ne ghida în definirea celor mai practice aplicații de model clinic.

Ipotezele noastre au fost că un model validat bazat pe MemTrax poate fi utilizat pentru a clasifica sănătatea cognitivă în mod dihotomic (normal sau MCI) pe baza criteriului de prag al scorului agregat MoCA și că un model predictiv MemTrax similar poate fi folosit eficient în discriminarea severității în categorii selectate de diagnosticat clinic tulburari cognitive. Demonstrarea rezultatelor anticipate ar fi esențială în susținerea eficacității MemTrax ca ecran de detectare precoce pentru declinul cognitiv și clasificarea deficiențelor cognitive. O comparație favorabilă cu un standard pretins al industriei, completată de o ușurință și rapiditate mult mai mare de utilitate, ar fi influentă în a ajuta clinicienii să adopte acest instrument simplu, fiabil și accesibil ca un ecran inițial în detectarea deficitelor cognitive în stadiu incipient (inclusiv prodromal). O astfel de abordare și utilitate ar putea, astfel, să determine îngrijirea și intervenția pacientului în timp util și mai bine stratificat. Aceste perspective de gândire și valorile și modelele îmbunătățite ar putea fi, de asemenea, utile în atenuarea sau oprirea progresiei demenței, inclusiv a AD și a demențelor asociate cu AD (ADRD).

MATERIALE SI METODE

Populația studiată

Între ianuarie 2018 și august 2019, cercetarea transversală a fost finalizată pe pacienții recrutați din două spitale din China. Administrarea MemTrax [5] persoanelor cu vârsta de 21 de ani și peste și colectarea și analiza acestor date au fost revizuite și aprobate de și administrate în conformitate cu standardele etice ale Uman Comitetul de protecție a subiectelor de la Universitatea Stanford. MemTrax și toate celelalte teste pentru acest studiu general au fost efectuate în conformitate cu declarația Helsinki din 1975 și aprobate de Consiliul de examinare instituțional al primului spital afiliat al Universității Medicale Kunming din Kunming, Yunnan, China. Fiecare utilizator a primit un consimțământ informat formular pentru a citi/receziona și apoi sunteți de acord voluntar să participe.

Participanții au fost recrutați din grupul de pacienți ambulatori din clinica de neurologie de la Spitalul Yanhua (sub-setul de date YH) și clinica de memorie la Primul Spital Afiliat al Kunming Medical Universitatea (sub-setul de date XL) din Beijing, China. Participanții au fost, de asemenea, recrutați din neurologie (sub-setul de date XL) și medicină internă (sub-setul de date KM) la primul spital afiliat al Universității Medicale din Kunming. Criteriile de includere au inclus 1) bărbați și femei în vârstă de cel puțin 21 de ani, 2) capacitatea de a vorbi chineză (mandarin) și 3) capacitatea de a înțelege instrucțiunile verbale și scrise. Criteriile de excludere au fost tulburările de vedere și motorii care împiedică participanții să finalizeze Testul MemTrax, precum și incapacitatea de a înțelege instrucțiunile specifice de testare.

Versiunea chineză a MemTrax

Pe internet Platforma de testare MemTrax a fost tradusă în chineză (URL: https://www.memtrax.com.cn) și adaptat în continuare pentru a fi utilizat prin WeChat (Shenzhen Tencent Computer Systems Co. LTD., Shenzhen, Guangdong, China) pentru autoadministrare. Datele au fost stocate pe un server cloud (Ali Cloud) situat în China și licențiat de la Alibaba (Alibaba Technology Co. Ltd., Hangzhou, Zhejiang, China) de către SJN Biomed LTD (Kunming, Yunnan, China). Detalii specifice despre MemTrax și criteriile de validitate ale testelor utilizate aici au fost descrise anterior [6]. Testul a fost oferit gratuit pacienților.

Proceduri de studiu

Pentru pacienții internați și ambulatori, un chestionar general pe hârtie pentru colectarea de informații demografice și personale, cum ar fi vârsta, sexul, anii de studii, ocupația, a trai singur sau cu familia, iar istoricul medical a fost administrat de un membru al echipei de studiu. După completarea chestionarului, au fost administrate testele MoCA [12] și MemTrax (în primul rând MoCA) cu cel mult 20 de minute între teste. Procentul MemTrax corect (MTx-% C), timpul mediu de răspuns (MTx-RT) și data și ora testării au fost înregistrate pe hârtie de către un membru al echipei de studiu pentru fiecare participant testat. Chestionarul completat și rezultatele MoCA au fost încărcate într-o foaie de calcul Excel de către cercetătorul care a administrat testele și verificate de un coleg înainte ca fișierele Excel să fie salvate pentru analize.

Testul MemTrax

Testul online MemTrax a inclus 50 de imagini (25 unice și 25 repetări; 5 seturi de 5 imagini cu scene sau obiecte comune) afișate într-o anumită ordine pseudo-aleatorie. Participantul ar atinge (pe instrucțiuni) butonul Start de pe ecran pentru a începe testul și a începe să vizualizeze seria de imagini și va atinge din nou imaginea de pe ecran cât mai repede posibil ori de câte ori apare o imagine repetată. Fiecare imagine a apărut timp de 3 s sau până când imaginea de pe ecran a fost atinsă, ceea ce a determinat prezentarea imediată a imaginii următoare. Folosind ceasul intern al dispozitivului local, MTx-RT pentru fiecare imagine a fost determinat de timpul scurs de la prezentarea imaginii până la momentul în care ecranul a fost atins de către participant ca răspuns la indicarea recunoașterii imaginii ca fiind una care a fost deja afișată. în timpul testului. MTx-RT a fost înregistrat pentru fiecare imagine, cu 3 secunde complete, indicând niciun răspuns. MTx-% C a fost calculat pentru a indica procentul de imagini repetate și inițiale la care utilizatorul a răspuns corect (adevărat pozitiv + adevărat negativ împărțit la 50). Detalii suplimentare despre administrarea și implementarea MemTrax, reducerea datelor, datele invalide sau „fără răspuns” și analizele de date primare sunt descrise în altă parte [6].

Testul MemTrax a fost explicat în detaliu și un test de practică (cu imagini unice, altele decât cele utilizate în test pentru înregistrarea rezultatelor) a fost oferit participanților în mediul spitalicesc. Participanții la sub-seturile de date YH și KM au luat testul MemTrax pe un smartphone care a fost încărcat cu aplicația pe WeChat; întrucât un număr limitat de pacienți din sub-setul de date XL au folosit un iPad, iar restul au folosit un smartphone. Toți participanții au susținut testul MemTrax cu un investigator al studiului care observă discret.

Evaluarea cognitivă la Montreal

Versiunea de la Beijing a MoCA chinezesc (MoCA-BC) [13] a fost administrată și notată de cercetători instruiți conform instrucțiunilor oficiale de testare. În mod adecvat, MoCA-BC s-a dovedit a fi de încredere test pentru cognitiv screening la toate nivelurile de educație la adulții în vârstă chinezi [14]. Fiecare test a durat aproximativ 10 până la 30 de minute pentru a fi administrat în funcție de abilitățile cognitive ale participantului respectiv.

Modelarea clasificării MoCA

Au existat un total de 29 de funcții utilizabile, inclusiv două MemTrax testați valorile de performanță și 27 de caracteristici legate de demografie și sănătate informații pentru fiecare participant. Scorul total al testului MoCA al fiecărui pacient a fost utilizat drept screening cognitiv „de referință” pentru a ne instrui modelele predictive. În consecință, deoarece MoCA a fost folosit pentru a crea eticheta clasei, nu am putut folosi scorul agregat (sau oricare dintre scorurile subsetului MoCA) ca o caracteristică independentă. Am efectuat experimente preliminare în care am modelat (clasificarea sănătății cognitive definite de MoCA) cele trei sub-seturi de date inițiale de spital/clinică(e) individual și apoi combinate folosind toate caracteristicile. Cu toate acestea, toate aceleași elemente de date nu au fost colectate în fiecare dintre cele patru clinici care reprezintă cele trei sub-seturi de date; astfel, multe dintre caracteristicile noastre din setul de date combinat (când folosim toate caracteristicile) au avut o incidență mare a valorilor lipsă. Apoi am construit modele cu setul de date combinat folosind doar caracteristici comune care au avut ca rezultat o performanță îmbunătățită de clasificare. Acest lucru s-a explicat probabil printr-o combinație de a avea mai multe instanțe cu care să lucrați prin combinarea celor trei subseturi de date pentru pacienți și nicio caracteristică cu o prevalență nejustificată a valorilor lipsă (doar o caracteristică din setul de date combinat, tipul de lucru, a avut valori lipsă, afectând doar trei cazuri de pacient), deoarece au fost incluse numai caracteristicile comune înregistrate la toate cele trei locuri. În special, nu am avut un criteriu de respingere specific pentru fiecare caracteristică care în cele din urmă nu a fost inclusă în setul de date combinat. Cu toate acestea, în modelarea preliminară a setului de date combinat, am folosit mai întâi toate caracteristicile din fiecare dintre cele trei subseturi de date separate pentru pacienți. Acest lucru a dus la o performanță a modelului care a fost măsurabil mai mică decât modelarea preliminară inițială pentru fiecare sub-set de date individual. Mai mult decât atât, în timp ce performanța de clasificare a modelelor construite folosind toate caracteristicile a fost încurajatoare, pentru toți cursanții și schemele de clasificare, performanța s-a îmbunătățit pentru de două ori mai multe modele atunci când se folosesc doar caracteristici comune. De fapt, printre cei care au ajuns să fie cei mai buni cursanți ai noștri, toate modelele, cu excepția unuia, s-au îmbunătățit prin eliminarea caracteristicilor neobișnuite.

Setul de date agregat final (YH, XL și KM combinate) a inclus 259 de instanțe, fiecare reprezentând un participant unic care a luat atât testele MemTrax, cât și MoCA. Au existat 10 caracteristici independente partajate: Valori de performanță MemTrax: MTx-% C și MTx-RT mediu; informații demografice și istorice medicale: vârstă, sex, ani de educație, tip de muncă (guler albastru/guler alb), sprijin social (dacă persoana care face testul locuiește singur sau cu familia) și răspunsuri da/nu cu privire la dacă utilizatorul a avut un antecedente de diabet, hiperlipidemie sau leziuni cerebrale traumatice. Două metrici suplimentare, scorul agregat MoCA și scorul agregat MoCA ajustat pentru anii de educație [12], au fost utilizate separat pentru a dezvolta etichete de clasificare dependente, creând astfel două scheme de modelare distincte care să fie aplicate setului nostru de date combinat. Pentru fiecare versiune (ajustată și neajustată) a scorului MoCA, datele au fost din nou modelate separat pentru clasificarea binară folosind două praguri de criterii diferite - cel recomandat inițial [12] și o valoare alternativă utilizată și promovată de alții [8, 15]. În schema de clasificare a pragului alternativ, un pacient a fost considerat a avea o sănătate cognitivă normală dacă a obținut un scor ≥23 la testul MoCA și având MCI dacă scorul a fost 22 sau mai mic; în timp ce, în formatul de clasificare recomandat inițial, pacientul trebuia să obțină un scor de 26 sau mai bun pe MoCA pentru a fi etichetat ca având o sănătate cognitivă normală.

Date filtrate pentru modelarea clasificării MoCA

Am examinat în continuare clasificarea MoCA utilizând patru tehnici de clasificare a caracteristicilor utilizate în mod obișnuit: Chi-pătrat, raportul de câștig, câștigul de informații și incertitudinea simetrică. Pentru o perspectivă intermediară, am aplicat clasamentele întregului set de date combinat folosind fiecare dintre cele patru scheme de modelare ale noastre. Toți clasamentele au fost de acord cu aceleași caracteristici de top, adică vârsta, numărul de ani de educație și ambele valori de performanță MemTrax (MTx-% C, MTx-RT mediu). Apoi am reconstruit modelele folosind fiecare tehnică de selecție a caracteristicilor pentru a instrui modelele doar pe primele patru caracteristici (vezi Selectarea funcțiilor de mai jos).

Ultimele opt variații rezultate ale schemelor de modelare a clasificării scorului MoCA sunt prezentate în Tabelul 1.

tabelul 1

Rezumatul variațiilor schemei de modelare utilizate pentru clasificarea MoCA (Normal Sănătate cognitivă față de MCI)

Schema de modelareSănătate cognitivă normală (clasa negativă)MCI (clasa pozitivă)
Ajustat-23 Nefiltrat/Filtrat101 (39.0%)158 (61.0%)
Ajustat-26 Nefiltrat/Filtrat49 (18.9%)210 (81.1%)
Neajustat-23 Nefiltrat/Filtrat92 (35.5%)167 (64.5%)
Neajustat-26 Nefiltrat/Filtrat42 (16.2%)217 (83.8%)

Numărul și procentul respectiv din totalul pacienților din fiecare clasă sunt diferențiate prin ajustarea scorului pentru educație (Ajustat sau Neajustat) și pragul de clasificare (23 sau 26), așa cum este aplicat ambelor seturi de caracteristici (Nefiltrat și Filtrat).

Modelare de evaluare clinică bazată pe MemTrax

Dintre cele trei sub-seturi de date originale (YH, XL, KM), numai pacienții din sub-setul de date XL au fost diagnosticați clinic independent pentru tulburări cognitive (adică, scorurile lor respective MoCA nu au fost utilizate pentru a stabili o clasificare a normalului versus afectat). Mai exact, pacienții XL au fost diagnosticați cu oricare Testul bolii Alzheimer (AD) sau demența vasculară (VaD). În fiecare dintre aceste categorii de diagnostic primar, a existat o desemnare suplimentară pentru MCI. Diagnosticele de MCI, demență, tulburare neurocognitivă vasculară și tulburare neurocognitivă datorată AD s-au bazat pe criterii de diagnostic specifice și distinctive prezentate în Manualul de diagnostic și statistică al tulburărilor mintale: DSM-5 [16]. Luând în considerare aceste diagnostice rafinate, două scheme de modelare a clasificării au fost aplicate separat sub-setului de date XL pentru a distinge nivelul de severitate (gradul de afectare) pentru fiecare categorie de diagnostic primar. Datele utilizate în fiecare dintre aceste scheme de modelare diagnostic (AD și VaD) au inclus informații demografice și istoricul pacientului, precum și performanța MemTrax (MTx-% C, MTx-RT medie). Fiecare diagnostic a fost etichetat ușor dacă a fost desemnat MCI; în caz contrar, era considerat grav. Inițial am luat în considerare includerea scorului MoCA în modelele de diagnostic (ușoară versus severă); dar am stabilit că asta ar înfrânge scopul schemei noastre secundare de modelare predictivă. Aici, cursanții vor fi instruiți folosind alte caracteristici ale pacientului disponibile furnizorului și valorile de performanță ale testului MemTrax mai simplu (în locul MoCA) față de „standardul de aur” de referință, diagnosticul clinic independent. Au existat 69 de instanțe în setul de date de diagnosticare AD și 76 de instanțe de VaD (Tabel 2). În ambele seturi de date, au existat 12 caracteristici independente. Pe lângă cele 10 caracteristici incluse în clasificarea scorului MoCA, istoricul pacientului a inclus și informații despre istoricul de hipertensiune arterială și accident vascular cerebral.

tabelul 2

Rezumatul variațiilor schemei de modelare utilizate pentru clasificarea severității diagnosticului (Ușoară versus Severă)

Schema de modelareUșoară (clasa negativă)Severă (clasa pozitivă)
MCI-AD versus AD12 (17.4%)57 (82.6%)
MCI-VaD versus VaD38 (50.0%)38 (50.0%)

Numărul și procentul respectiv din totalul pacienților din fiecare clasă sunt diferențiate în funcție de categoria de diagnostic primar (AD sau VaD).

Statistici

Comparația caracteristicilor participanților și a altor caracteristici numerice între sub-seturile de date pentru fiecare strategie de clasificare a modelului (pentru a prezice sănătatea cognitivă MoCA și severitatea diagnosticului) a fost efectuată folosind limbajul de programare Python (versiunea 2.7.1) [17]. Diferențele de performanță ale modelului au fost inițial determinate utilizând un ANOVA cu un singur sau cu doi factori (după caz) cu un interval de încredere de 95% și testul diferențelor semnificative sincere (HSD) Tukey pentru a compara mediile de performanță. Această examinare a diferențelor dintre performanța modelului a fost efectuată folosind o combinație de Python și R (versiunea 3.5.1) [18]. Am folosit această abordare (deși, probabil, mai puțin decât optimă) doar ca ajutor euristic în acest sens. stadiu timpuriu pentru comparații inițiale de performanță a modelului în anticiparea potențialei aplicații clinice. Apoi am utilizat testul Bayesian cu semne folosind o distribuție posterioară pentru a determina probabilitatea diferențelor de performanță a modelului [19]. Pentru aceste analize, am folosit intervalul –0.01, 0.01, ceea ce înseamnă că, dacă două grupuri au avut o diferență de performanță mai mică de 0.01, acestea au fost considerate la fel (în zona echivalenței practice), sau altfel erau diferite (unul mai bun decât celălalt). Pentru a efectua comparația bayesiană a clasificatorilor și a calcula aceste probabilități, am folosit biblioteca baycomp (versiunea 1.0.2) pentru Python 3.6.4.

Modelarea predictivă

Am construit modele predictive folosind cele zece variații totale ale schemelor noastre de modelare pentru a prezice (clasifica) rezultatul testului MoCA al fiecărui pacient sau severitatea diagnosticului clinic. Toți cursanții au fost aplicați și modelele au fost construite folosind platforma software open source Weka [20]. Pentru analiza noastră preliminară, am folosit 10 algoritmi de învățare folosiți în mod obișnuit: 5-Nearest Neighbors, două versiuni ale arborelui de decizie C4.5, regresie logistică, perceptron multistrat, naïve Bayes, două versiuni de Random Forest, Radial Basis Function Network și Support Vector. Mașinărie. Atributele cheie și contrastele acestor algoritmi au fost descrise în altă parte [21] (vezi Anexa respectivă). Acestea au fost alese deoarece reprezintă o varietate de tipuri diferite de cursanți și pentru că am demonstrat succes folosindu-le în analizele anterioare pe date similare. Setările hiper-parametrilor au fost alese din cercetările noastre anterioare, indicând că acestea sunt robuste pe o varietate de date diferite [22]. Pe baza rezultatelor analizei noastre preliminare, folosind același set de date combinat cu caracteristici comune care au fost utilizate ulterior în analiza completă, am identificat trei cursanți care au furnizat performanțe consistente puternice în toate clasificările: regresie logistică, naïve Bayes și suport Vector Machine.

Validarea încrucișată și măsurarea performanței modelului

Pentru toate modelele predictive (inclusiv analizele preliminare), fiecare model a fost construit utilizând validarea încrucișată de 10 ori, iar performanța modelului a fost măsurată utilizând zona sub curba caracteristică de funcționare a receptorului (AUC). Validarea încrucișată a început cu împărțirea aleatorie a fiecăruia dintre cele 10 seturi de date ale schemei de modelare în 10 segmente egale (pliuri), folosind nouă dintre aceste segmente respective pentru a antrena modelul și segmentul rămas pentru testare. Această procedură a fost repetată de 10 ori, folosind un segment diferit ca set de test în fiecare iterație. Rezultatele au fost apoi combinate pentru a calcula rezultatul/performanța modelului final. Pentru fiecare combinație cursant/set de date, întregul proces a fost repetat de 10 ori, datele fiind împărțite diferit de fiecare dată. Acest ultim pas a redus părtinirea, a asigurat replicabilitatea și a ajutat la determinarea performanței generale a modelului. În total (pentru schemele de clasificare a scorului MoCA și a severității diagnosticului combinate), au fost construite 6,600 de modele. Aceasta a inclus 1,800 de modele nefiltrate (6 scheme de modelare aplicate setului de date×3 cursanți×10 rulări×10 ori = 1,800 modele) și 4,800 modele filtrate (4 scheme de modelare aplicate setului de date×3 cursanți×4 tehnici de selecție a caracteristicilor×10 rulări× 10 pliuri = 4,800 modele).

Selectarea funcțiilor

Pentru modelele filtrate, selecția caracteristicilor (folosind cele patru metode de clasificare a caracteristicilor) a fost efectuată în cadrul validării încrucișate. Pentru fiecare dintre cele 10 ori, deoarece 10% diferit din setul de date au fost datele de testare, au fost utilizate numai primele patru caracteristici selectate pentru fiecare set de date de antrenament (adică celelalte nouă ori, sau restul de 90% din întregul set de date) pentru a construi modelele. Nu am putut confirma ce patru caracteristici au fost utilizate în fiecare model, deoarece aceste informații nu sunt stocate sau puse la dispoziție în platforma de modelare pe care am folosit-o (Weka). Cu toate acestea, având în vedere consistența în selecția noastră inițială a caracteristicilor de top atunci când clasamentele au fost aplicate întregului set de date combinat și similitudinea ulterioară în performanțe de modelare, aceleași caracteristici (vârsta, ani de educație, MTx-% C și MTx-RT medie). ) sunt probabil cele mai răspândite primele patru utilizate concomitent cu selecția caracteristicilor în cadrul procesului de validare încrucișată.

REZULTATE

Caracteristicile numerice ale participanților (inclusiv scorurile MoCA și metricile de performanță MemTrax) ale setului de date respective pentru fiecare strategie de clasificare a modelului pentru a prezice sănătatea cognitivă indicată de MoCA (normal versus MCI) și severitatea diagnosticului (ușoară versus severă) sunt prezentate în Tabelul 3.

tabelul 3

Caracteristicile participanților, scorurile MoCA și performanța MemTrax pentru fiecare strategie de clasificare a modelului

Strategia de clasificareVârstăEducaţieMoCA ajustatMoCA neajustatMTx-% CMTx-RT
Categoria MoCA61.9 ani (13.1)9.6 ani (4.6)19.2 (6.5)18.4 (6.7)74.8% (15.0)1.4 s (0.3)
Severitatea diagnosticului65.6 ani (12.1)8.6 ani (4.4)16.7 (6.2)15.8 (6.3)68.3% (13.8)1.5 s (0.3)

Valorile afișate (medie, SD) diferențiate prin modelarea strategiilor de clasificare sunt reprezentative pentru setul de date combinat utilizat pentru a prezice sănătatea cognitivă indicată de MoCA (MCI versus normal) și sub-setul de date XL utilizat doar pentru a prezice severitatea diagnosticului (ușoară versus severă).

Pentru fiecare combinație de scor MoCA (ajustat/neajustat) și prag (26/23), a existat o diferență statistică (p = 0.000) în fiecare comparație pe perechi (sănătate cognitivă normală versus MCI) pentru vârstă, educație și performanță MemTrax (MTx-% C și MTx-RT). Fiecare sub-set de date pacient din clasa MCI respectivă pentru fiecare combinație a fost în medie cu aproximativ 9 până la 15 ani mai în vârstă, a raportat cu aproximativ cinci ani mai puțini de educație și a avut performanțe MemTrax mai puțin favorabile pentru ambele valori.

Rezultatele performanței modelării predictive pentru clasificările scorurilor MoCA folosind primii trei cursanți, Regresia logistică, Naïve Bayes și Support Vector Machine, sunt prezentate în Tabelul 4. Aceste trei au fost alese pe baza performanței absolute cele mai ridicate ale cursanților din toate modelele diferite. aplicat la seturile de date pentru toate schemele de modelare. Pentru setul de date nefiltrat și modelare, fiecare dintre valorile de date din tabelul 4 indică performanța modelului pe baza mediei AUC respectiv derivate din cele 100 de modele (10 rulări × 10 ori) construite pentru fiecare combinație de învățare/schemă de modelare, cu cea mai mare corespunzătoare. cursant performant indicat cu caractere aldine. În timp ce pentru modelarea setului de date filtrat, rezultatele raportate în tabelul 4 reflectă performanța medie generală a modelului de la 400 de modele pentru fiecare cursant, folosind fiecare dintre metodele de clasare a caracteristicilor (4 metode de clasare a caracteristicilor × 10 rulări × 10 ori).

tabelul 4

Rezultatele clasificării scorului MoCA dihotomice (AUC; 0.0–1.0) pentru fiecare dintre cei trei cursanți cu performanțe superioare pentru toate schemele de modelare respective

Set de caracteristici utilizatScor MoCAPrag de tăiereRegresie logisticăNaive BayesSuport Vector Machine
Nefiltrat (10 caracteristici)Ajustat230.88620.89130.8695
260.89710.92210.9161
Neajustat230.91030.90850.8995
260.88340.91530.8994
Filtrat (4 caracteristici)Ajustat230.89290.89540.8948
260.91880.92470.9201
Neajustat230.91350.91340.9122
260.91590.92360.9177

Folosind variații ale setului de caracteristici, scorului MoCA și pragului de limitare a scorului MoCA, cea mai mare performanță pentru fiecare schemă de modelare este afișată în (nu neapărat diferit din punct de vedere statistic de toate celelalte care nu sunt în pentru modelul respectiv).

Comparând cursanții din toate combinațiile de versiuni și praguri de scor MoCA (ajustat/neajustat și, respectiv, 23/26) în setul de date combinat nefiltrat (adică, folosind cele 10 caracteristici comune), Naïve Bayes a fost, în general, cursantul cu cele mai bune performanțe, cu o performanță generală. performanță de clasificare de 0.9093. Luând în considerare primii trei cursanți, testele de rang semnat corelate cu bayesian au indicat că probabilitatea (Pr) din Naïve Bayes care a depășit regresia logistică a fost de 99.9%. Mai mult, între Naïve Bayes și Support Vector Machine, o probabilitate de 21.0% de echivalență practică în performanța cursanților (deci, o probabilitate de 79.0% ca Naïve Bayes să depășească Support Vector Machine), cuplată cu probabilitatea de 0.0% ca Support Vector Machine să aibă performanțe mai bune, măsurabile. întărește avantajul de performanță pentru Naïve Bayes. O comparație ulterioară a versiunii scorului MoCA pentru toți cursanții/pragurile a sugerat un ușor avantaj de performanță folosind scorurile MoCA neajustate versus ajustate (0.9027 față de 0.8971, respectiv; Pr (neajustat > ajustat) = 0.988). În mod similar, o comparație a pragului de limită pentru toți cursanții și versiunile de scor MoCA a indicat un avantaj mic de performanță de clasificare folosind 26 ca prag de clasificare față de 23 (0.9056 față de 0.8942, respectiv; Pr (26 > 23) = 0.999). În cele din urmă, examinând performanța clasificării pentru modelele care utilizează numai rezultatele filtrate (adică numai cele patru caracteristici clasate în top), Naïve Bayes (0.9143) a fost numeric cel mai performant cursant în toate versiunile/pragurile de scor MoCA. Cu toate acestea, în toate tehnicile de clasificare a caracteristicilor combinate, toți cursanții cu cele mai bune performanțe au avut rezultate similare. Testele Bayesian cu rang semnat au arătat o probabilitate de 100% de echivalență practică între fiecare pereche de cursanți filtrati. Ca și în cazul datelor nefiltrate (folosind toate cele 10 caracteristici comune), a existat din nou un avantaj de performanță pentru versiunea neajustată a scorului MoCA (Pr (neajustat > ajustat) = 1.000), precum și un avantaj distinct similar pentru pragul de clasificare de 26 (Pr (26 > 23) = 1.000). În mod remarcabil, performanța medie a fiecăruia dintre primii trei cursanți în toate versiunile/pragurile de scor MoCA folosind doar cele patru caracteristici clasate în top a depășit performanța medie a oricărui cursant pe datele nefiltrate. Nu este surprinzător, performanța de clasificare a modelelor filtrate (folosind cele patru caracteristici clasate în top) a fost în general superioară (0.9119) modelelor nefiltrate (0.8999), indiferent de modelele metodei de clasificare a caracteristicilor care au fost comparate cu acele modele respective folosind toate cele 10 comune. Caracteristici. Pentru fiecare metodă de selecție a caracteristicilor, a existat o probabilitate de 100% a unui avantaj de performanță față de modelele nefiltrate.

Cu pacienții luați în considerare pentru clasificarea severității diagnosticului de AD, diferențele între grupuri (MCI-AD versus AD) pentru vârstă (p = 0.004), educație (p = 0.028), scorul MoCA ajustat/neajustat (p = 0.000) și MTx-% C (p = 0.008) au fost semnificative statistic; întrucât pentru MTx-RT nu a fost (p = 0.097). Cu acei pacienți luați în considerare pentru clasificarea severității diagnosticului de VaD, diferențele între grupuri (MCI-VaD versus VaD) pentru scorul MoCA ajustat/neajustat (p = 0.007) și MTx-% C (p = 0.026) și MTx-RT (p = 0.001) au fost semnificative statistic; întrucât pentru vârstă (p = 0.511) și educație (p = 0.157) nu au existat diferențe semnificative între grupuri.

Rezultatele performanței modelării predictive pentru clasificările de severitate a diagnosticului folosind cei trei cursanți selectați anterior, regresia logistică, naïve Bayes și mașina de suport vector, sunt prezentate în tabelul 5. În timp ce cursanții suplimentari examinați au demonstrat performanțe puțin mai puternice individual cu una dintre cele două categorii de diagnostic clinic. , cei trei cursanți pe care i-am identificat ca fiind cei mai favorabili în modelarea noastră anterioară au oferit cea mai consecventă performanță cu ambele scheme noi de modelare. Comparând cursanții din fiecare dintre categoriile primare de diagnosticare (AD și VaD), nu a existat o diferență consistentă de performanță de clasificare între cursanți pentru MCI-VaD față de VaD, deși Support Vector Machine a avut, în general, o performanță mai proeminentă. În mod similar, nu au existat diferențe semnificative între cursanți pentru clasificarea MCI-AD versus AD, deși Naïve Bayes (NB) a avut un ușor avantaj de performanță față de regresia logistică (LR) și doar o pluralitate neglijabilă față de Support Vector Machine, cu probabilități de 61.4% și, respectiv, 41.7%. În ambele seturi de date, a existat un avantaj general de performanță pentru Support Vector Machine (SVM), cu Pr (SVM > LR) = 0.819 și Pr (SVM > NB) = 0.934. Performanța noastră generală de clasificare pentru toți cursanții în prezicerea severității diagnosticului în sub-setul de date XL a fost mai bună în categoria de diagnostic VaD față de AD (Pr (VAD > AD) = 0.998).

tabelul 5

Performanța clasificării severității diagnosticului clinic dihotomic (AUC; 0.0–1.0) rezultate pentru fiecare dintre cei trei cursanți cu performanță superioară pentru ambele scheme de modelare respective

Schema de modelareRegresie logisticăNaive BayesSuport Vector Machine
MCI-AD versus AD0.74650.78100.7443
MCI-VaD versus VaD0.80330.80440.8338

Cea mai mare performanță pentru fiecare schemă de modelare este prezentată în (nu neapărat diferit din punct de vedere statistic de alții care nu sunt în ).

DISCUŢIE

Detectarea precoce a schimbărilor în sănătatea cognitivă este importantă utilitate practică în managementul sănătății personale și în sănătatea publică deopotrivă. Într-adevăr, este, de asemenea, o prioritate foarte mare în mediile clinice pentru pacienții din întreaga lume. Scopul comun este de a alerta pacienții, îngrijitorii și furnizorii de servicii și de a solicita tratament mai devreme adecvat și rentabil și îngrijire longitudinală pentru cei care încep să experimenteze declin cognitiv. Îmbinând cele trei subseturi de date spital/clinic(e), am identificat trei cursanți preferați în mod distinct (cu un remarcabil notabil – Naïve Bayes) pentru a construi modele predictive utilizând Măsuri de performanță MemTrax care ar putea clasifica în mod fiabil starea de sănătate cognitivă dihotomic (sănătate cognitivă normală sau MCI), așa cum ar fi indicat de un scor agregat MoCA. În special, performanța generală a clasificării pentru toți cei trei cursanți s-a îmbunătățit atunci când modelele noastre au folosit doar cele patru caracteristici de top care au cuprins în principal aceste valori de performanță MemTrax. Mai mult, am dezvăluit potențialul fundamentat de utilizare a acelorași cursanți și a acelorași metrici de performanță MemTrax într-o schemă de modelare a clasificării suportului de diagnostic pentru a distinge severitatea a două categorii de diagnosticare a demenței: AD și VaD.

Testarea memoriei este esențial pentru depistarea precoce a AD [23, 24]. Astfel, este oportun ca MemTrax să fie un program online acceptabil, captivant și ușor de implementat. test de screening pentru memoria episodică în populaţia generală [6]. Precizia recunoașterii și timpii de răspuns din această sarcină de performanță continuă sunt deosebit de revelatori în identificarea deteriorării timpurii și în evoluție și a deficitelor ulterioare în procesele neuroplastice legate de învățare, memorie și cogniție. Adică, modelele de aici care se bazează în mare parte pe metricile de performanță MemTrax sunt sensibile și sunt mai probabil să dezvăluie ușor și cu costuri minime deficite neuropatologice biologice în timpul etapei asimptomatice de tranziție cu mult înainte de pierderea funcțională mai substanțială [25]. Ashford și colab. a examinat îndeaproape tiparele și comportamentele de acuratețe a memoriei de recunoaștere și timpul de răspuns la utilizatorii online care au participat pe cont propriu cu MemTrax [6]. Respectând faptul că aceste distribuții sunt esențiale în modelarea optimă și dezvoltarea aplicațiilor valide și eficiente de îngrijire a pacienților, definirea profilurilor de recunoaștere și timp de răspuns aplicabile clinic este esențială în stabilirea unei referințe de bază valoroase pentru utilitatea clinică și de cercetare. Valoarea practică a MemTrax în screeningul AD pentru deficiența cognitivă în stadiu incipient și suportul de diagnostic diferențial trebuie apoi examinată mai atent în contextul unui cadru clinic în care pot fi luate în considerare comorbiditățile și capacitățile cognitive, senzoriale și motorii care afectează performanța testului. Și pentru a informa perspectiva profesională și a încuraja utilitatea clinică practică, este mai întâi imperativ să se demonstreze comparația cu un test de evaluare a sănătății cognitive consacrat, chiar dacă acesta din urmă poate fi constrâns în mod recunoscut de logistica greoaie de testare, educație și descurajare lingvistică și influențe culturale [26] . În acest sens, comparația favorabilă a MemTrax în ceea ce privește eficacitatea clinică cu MoCA, care este în mod obișnuit pretins ca un standard al industriei, este semnificativă, mai ales când se cântărește ușurința mai mare de utilitate și acceptarea de către pacient a MemTrax.

Explorările anterioare care compară MemTrax cu MoCA evidențiază rațiunea și dovezile preliminare care justifică investigația noastră de modelare [8]. Cu toate acestea, această comparație anterioară a asociat doar cele două valori cheie de performanță MemTrax pe care le-am examinat cu starea cognitivă determinată de MoCA și a definit intervalele și valorile limită respective. Am aprofundat evaluarea utilității clinice a MemTrax prin explorarea unei abordări bazate pe modelarea predictivă care ar oferi o luare în considerare mai individualizată a altor parametri potențial relevanți specifici pacientului. Spre deosebire de alții, nu am găsit un avantaj în performanța modelului folosind o corecție educațională (ajustare) la scorul MoCA sau în variarea pragului scorului agregat MoCA de discriminare a sănătății cognitive de la 26 la 23 recomandat inițial [12, 15]. De fapt, avantajul performanței de clasificare a favorizat utilizarea scorului MoCA neajustat și a pragului mai mare.

Puncte cheie în practica clinică

Învățarea automată este adesea cel mai bine utilizată și cea mai eficientă în modelarea predictivă atunci când datele sunt extinse și multidimensionale, adică atunci când există numeroase observații și o gamă largă concomitentă de atribute (contributive) de mare valoare. Cu toate acestea, cu aceste date actuale, modelele filtrate cu doar patru caracteristici selectate au avut rezultate mai bune decât cele care utilizează toate cele 10 caracteristici comune. Acest lucru sugerează că setul nostru de date agregate de spital nu a avut caracteristicile cele mai adecvate clinic (de valoare ridicată) pentru a clasifica în mod optim pacienții în acest mod. Cu toate acestea, accentul pus pe valorile cheie de performanță MemTrax – MTx-% C și MTx-RT – sprijină puternic construirea de modele de screening a deficitului cognitiv în stadiu incipient în jurul acestui test care este simplu, ușor de administrat, ieftin și revelator în mod adecvat în ceea ce privește performanța memoriei, cel puțin acum ca ecran inițial pentru o clasificare binară a stării de sănătate cognitivă. Având în vedere presiunea din ce în ce mai mare asupra furnizorilor și a sistemelor de asistență medicală, procesele de screening a pacienților și aplicațiile clinice ar trebui dezvoltate în mod adecvat, cu accent pe colectarea, urmărirea și modelarea acelor caracteristici ale pacientului și măsurători de testare care sunt cele mai utile, avantajoase și dovedite eficiente în diagnostic. și sprijin pentru managementul pacientului.

Având în vedere că cele două valori cheie MemTrax sunt esențiale pentru clasificarea MCI, cursantul nostru cu cele mai bune performanțe (Naïve Bayes) a avut o performanță predictivă foarte ridicată în majoritatea modelelor (AUC peste 0.90), cu un raport dintre adevărat-pozitiv și fals-pozitiv apropiat sau oarecum depășind 4. : 1. O aplicație clinică translațională care utilizează acest cursant ar capta (clasifica corect) de departe majoritatea celor cu un deficit cognitiv, minimizând în același timp costul asociat clasificării greșite a unei persoane cu sănătate cognitivă normală ca având un deficit cognitiv (fals pozitiv) sau lipsește această clasificare la cei care au un deficit cognitiv (fals negativ). Oricare dintre aceste scenarii de clasificare greșită ar putea impune o povară psiho-socială nejustificată pacientului și îngrijitorilor.

În timp ce în analizele preliminare și complete i-am folosit pe toți cei zece cursanți în fiecare schemă de modelare, ne-am concentrat rezultatele pe cei trei clasificatori care arată cea mai consistentă performanță puternică. Acest lucru a fost, de asemenea, pentru a evidenția, pe baza acestor date, cursanții care, anticipat, ar avea performanțe de încredere la un nivel înalt într-o aplicație clinică practică în determinarea clasificării statusului cognitiv. Mai mult, deoarece acest studiu a fost intenționat ca o investigație introductivă asupra utilității învățării automate asupra screening-ului cognitiv și asupra acestor provocări clinice oportune, am luat decizia de a menține tehnicile de învățare simple și generalizate, cu reglarea minimă a parametrilor. Apreciem că această abordare poate fi limitat potențialul pentru capacități predictive specifice pacientului definite mai îngust. De asemenea, în timp ce antrenarea modelelor folosind doar caracteristicile de top (abordare filtrată) ne informează în continuare cu privire la aceste date (specifice deficiențelor în datele colectate și evidențiind valoarea în optimizarea timpului și resurselor clinice prețioase), recunoaștem că este prematur să restrângem domeniul de aplicare al modelelor și, prin urmare, toate (și alte caracteristici) ar trebui să fie luate în considerare cu cercetările viitoare până când vom avea un profil mai definitiv al caracteristicilor prioritare care ar fi aplicabil populației largi. Astfel, recunoaștem, de asemenea, pe deplin că ar fi necesare date mai incluzive și mai reprezentative și optimizarea acestor și a altor modele înainte de a le integra într-o aplicație clinică eficientă, în special pentru a se adapta comorbidităților care afectează performanța cognitivă care ar trebui luate în considerare în evaluarea clinică ulterioară.

Utilitatea MemTrax a fost edificată în continuare prin modelarea severității bolii pe baza unui diagnostic clinic separat. O performanță generală de clasificare mai bună în prezicerea severității VaD (comparativ cu AD) nu a fost surprinzător având în vedere caracteristicile profilului pacientului în modelele specifice sănătăţii vasculare și riscul de accident vascular cerebral, adică hipertensiune arterială, hiperlipidemie, diabet și (desigur) istoric de accident vascular cerebral. Deși ar fi fost mai de dorit și mai potrivit să se efectueze aceeași evaluare clinică pe pacienții potriviți cu sănătate cognitivă normală pentru a instrui cursanții cu aceste date mai incluzive. Acest lucru este garantat în special, deoarece MemTrax este destinat a fi utilizat în primul rând pentru detectarea timpurie a unui deficit cognitiv și urmărirea ulterioară a schimbărilor individuale. De asemenea, este plauzibil că distribuția mai dezirabilă a datelor în setul de date VaD a contribuit parțial la performanța de modelare comparativ mai bună. Setul de date VaD a fost bine echilibrat între cele două clase, în timp ce setul de date AD cu mult mai puțini pacienți MCI nu a fost. În special în seturile de date mici, chiar și câteva instanțe suplimentare pot face o diferență măsurabilă. Ambele perspective sunt argumente rezonabile care stau la baza diferențelor în performanța modelării severității bolii. Cu toate acestea, atribuirea proporțională a performanței îmbunătățite caracteristicilor numerice ale setului de date sau caracteristicilor inerente specifice prezentării clinice luate în considerare este prematură. Cu toate acestea, acest roman a demonstrat utilitatea unui model de clasificare predictiv MemTrax în rolul de suport de diagnostic clinic oferă o perspectivă valoroasă și afirmă urmărirea examinării suplimentare cu pacienții de-a lungul continuumului MCI.

Implementarea și utilitatea demonstrată a MemTrax și a acestor modele în China, unde limba și cultura sunt drastic diferite de alte regiuni de utilitate stabilită (de exemplu, Franța, Țările de Jos și Statele Unite) [7, 8, 27], subliniază și mai mult potențialul pentru acceptarea globală pe scară largă și valoarea clinică a unei platforme bazate pe MemTrax. Acesta este un exemplu demonstrabil în încercarea de a armoniza datele și a dezvolta norme internaționale practice și resurse de modelare pentru screening-ul cognitiv, care sunt standardizate și ușor adaptate pentru a fi utilizate în întreaga lume.

Următorii pași în modelarea și aplicarea declinului cognitiv

Disfuncția cognitivă în AD apare într-adevăr pe un continuum, nu în stadii sau pași discreti [28, 29]. Cu toate acestea, în această fază incipientă, scopul nostru a fost să ne stabilim mai întâi capacitatea de a construi un model care încorporează MemTrax care să poată distinge fundamental „normal” de „nu normal”. Date empirice mai cuprinzătoare (de exemplu, imagistica cerebrală, caracteristici genetice, biomarkeri, comorbidități și markeri funcționali ai complexului activități care necesită cognitive control) [30] în diferite regiuni globale, populații și grupuri de vârstă pentru a instrui și dezvolta modele de învățare automată mai sofisticate (inclusiv ansamblu ponderat adecvat) vor sprijini un grad mai mare de clasificare îmbunătățită, adică capacitatea de a clasifica grupuri de pacienți cu MCI în subseturi mai mici și mai definitive de-a lungul continuumului declinului cognitiv. Mai mult, diagnosticele clinice concomitente pentru indivizi din populațiile de pacienți diverse la nivel regional sunt esențiale antrenează eficient aceste modele mai incluzive și previzibil robuste. Acest lucru va facilita un management al cazurilor stratificat mai specific pentru cei cu medii similare, influențe și profiluri cognitive caracteristice definite mai restrâns și, astfel, va optimiza sprijinul pentru deciziile clinice și îngrijirea pacientului.

O mare parte din cercetările clinice relevante până în prezent s-au adresat pacienților cu demență cel puțin ușoară; și, în practică, prea des intervenția pacientului este încercată doar în stadii avansate. Cu toate acestea, deoarece declinul cognitiv începe cu mult înainte ca criteriile clinice pentru demență să fie îndeplinite, un screening precoce bazat pe MemTrax aplicat eficient ar putea încuraja educarea adecvată a persoanelor despre boală și progresiile acesteia și să determine intervenții mai devreme și mai oportune. Astfel, detectarea precoce ar putea susține implicări adecvate, de la exerciții fizice, dietă, sprijin emoțional și socializare îmbunătățită până la intervenția farmacologică și ar putea consolida schimbările legate de comportament și percepție ale pacientului care, individual sau în ansamblu, ar putea atenua sau pot opri progresia demenței [31, 32] . Mai mult, cu eficient screening precoce, indivizii și familiile lor pot fi îndemnați să ia în considerare studiile clinice sau să obțină consiliere și alte servicii sociale de sprijin pentru a ajuta la clarificarea așteptărilor și intențiilor și a gestiona sarcinile zilnice. Validarea suplimentară și utilitatea practică pe scară largă în aceste moduri ar putea fi esențiale în atenuarea sau oprirea progresiei MCI, AD și ADRD pentru mulți indivizi.

Într-adevăr, limita de jos a intervalului de vârstă a pacienților din studiul nostru nu reprezintă populația de îngrijorare tradițională cu AD. Cu toate acestea, vârsta medie pentru fiecare grup utilizat în schemele de modelare a clasificării bazate pe scorul/pragul MoCA și severitatea diagnosticului (Tabelul 3) subliniază că o majoritate clară (peste 80%) are cel puțin 50 de ani. Această distribuție este astfel foarte adecvată pentru generalizare, susținând utilitatea acestor modele în populația care îi caracterizează pe cei afectați în mod obișnuit de debut precoce și boli neurocognitive în creștere din cauza AD și VaD. De asemenea, dovezile și perspectiva recente subliniază acei factori recunoscuți (de exemplu, hipertensiunea arterială, obezitatea, diabetul și fumatul) care pot contribui la creșterea timpurie. scoruri de risc vascular la adulți și la mijlocul vârstei și, în consecință, leziuni cerebrale vasculare subtile care se dezvoltă insidios, cu efecte evidente chiar și la tineri. adulți [33–35]. În consecință, cea mai optimă oportunitate de screening inițial pentru detectarea precoce stadiul deficitelor cognitive și inițierea unor strategii eficiente de prevenire și intervenție în abordarea cu succes a demenței va rezulta din examinarea factorilor contributivi și a indicatorilor antecedente de-a lungul spectrului de vârstă, inclusiv vârsta adultă timpurie și, potențial, chiar copilăria (observând relevanța factorilor genetici, cum ar fi apolipoproteina E din gestația timpurie).

În practică, diagnosticele clinice valide și procedurile costisitoare pentru imagistica avansată, profilarea genetică și măsurarea biomarkerilor promițători nu sunt întotdeauna ușor disponibile sau chiar fezabile pentru mulți furnizori. Astfel, în multe cazuri, clasificarea generală inițială a stării de sănătate cognitivă poate trebui să fie derivată din modele care utilizează alte metrici simple furnizate de pacient (de exemplu, auto-raportate probleme de memorie, medicamentele curente și limitările activității de rutină) și caracteristicile demografice comune [7]. Registre precum Universitatea din California Sănătate pe creier Registry (https://www.brainhealthregistry.org/) [27] și altele cu o gamă mai mare inerentă de simptome auto-raportate, măsuri calitative (de exemplu, somn și cogniție zilnică), medicamente, stare de sănătate și istoric și datele demografice mai detaliate vor fi esențiale în dezvoltarea și validarea aplicării practice a acestor modele mai primitive în clinică. Mai mult, un test precum MemTrax, care a demonstrat utilitatea în evaluarea funcției de memorie, poate oferi de fapt o estimare substanțial mai bună a patologiei AD decât markerii biologici. Având în vedere că caracteristica de bază a patologiei AD este perturbarea neuroplasticității și o pierdere covârșitor de complexă a sinapselor, care se manifestă ca episod episodic. disfuncția memoriei, o măsură care evaluează memoria episodică poate de fapt oferă o estimare mai bună a sarcinii patologice AD ​​decât markerii biologici la pacientul viu [36].

Cu toate modelele predictive – indiferent dacă sunt completate cu date complexe și cuprinzătoare din tehnologie de ultimă oră și informații clinice rafinate din mai multe domenii sau cele limitate la informații de bază și ușor disponibile caracteristice profilurilor de pacienți existente – avantajul recunoscut al inteligenței artificiale iar învățarea automată este că modelele rezultate pot sintetiza și „învăța” în mod inductiv din date și perspective noi relevante oferite de utilizarea continuă a aplicațiilor. În urma transferului tehnologic practic, pe măsură ce modelele de aici (și care urmează să fie dezvoltate) sunt aplicate și îmbogățite cu mai multe cazuri și date pertinente (inclusiv pacienți cu comorbidități care ar putea prezenta un declin cognitiv care urmează), performanța de predicție și clasificarea sănătății cognitive vor fi mai robuste, rezultând o utilitate mai eficientă de sprijinire a deciziilor clinice. Această evoluție va fi realizată mai pe deplin și mai practic prin încorporarea MemTrax în platforme personalizate (direcționate către capabilitățile disponibile) pe care furnizorii de asistență medicală le-ar putea utiliza în timp real în clinică.

Imperative pentru validarea și utilitatea modelului MemTrax pentru sprijinul diagnosticului și îngrijirea pacientului sunt date longitudinale semnificative foarte căutate. Prin observarea și înregistrarea modificărilor concomitente (dacă există) în starea clinică într-un interval adecvat de normal până la MCI în stadiu incipient, modelele de evaluare și clasificare continuă adecvată pot fi instruite și modificate pe măsură ce pacienții îmbătrânesc și sunt tratați. Adică, utilitatea repetată poate ajuta la urmărirea longitudinală a modificărilor cognitive ușoare, eficacitatea intervenției și menținerea îngrijirii stratificate informate. Această abordare se aliniază mai strâns cu practica clinică și cu managementul pacientului și al cazului.

Limitări

Apreciem provocarea și valoarea colectării de date clinice curate într-o clinică/spital controlată. Cu toate acestea, ar fi consolidat modelarea noastră dacă seturile noastre de date ar include mai mulți pacienți cu caracteristici comune. Mai mult decât atât, specific modelării noastre de diagnostic, ar fi fost mai de dorit și mai potrivit să aibă aceeași evaluare clinică efectuată pe pacienți potriviți cu sănătate cognitivă normală pentru a instrui cursanții. Și așa cum este subliniat de performanța mai mare de clasificare folosind setul de date filtrat (doar cele patru caracteristici de top), mai general și măsurile/indicatorii de sănătate cognitivă s-ar fi îmbunătățit probabil modelarea performanței cu un număr mai mare de caracteristici comune la toți pacienții.

Unii participanți ar fi putut experimenta concomitent și alte boli care ar fi putut determina deficiențe cognitive tranzitorii sau cronice. În afară de sub-setul de date XL în care pacienții au fost clasificați ca având fie AD sau VaD, datele de comorbiditate nu au fost colectate/raportate în grupul de pacienți YH, iar comorbiditatea raportată predominant în sub-setul de date KM a fost diabetul. Este discutabil, totuși, că includerea în schemele noastre de modelare a pacienților cu comorbidități care ar putea determina sau exacerba un nivel de deficiență cognitivă și o performanță MemTrax în consecință mai scăzută ar fi mai reprezentativă pentru populația de pacienți vizată din lumea reală pentru acest screening cognitiv precoce mai generalizat. și abordarea modelării. Mergând înainte, diagnosticul precis al comorbidităților care pot afecta performanța cognitivă este în general benefic pentru optimizarea modelelor și a aplicațiilor rezultate de îngrijire a pacienților.

În cele din urmă, pacienții din subsetul de date YH și KM au folosit un smartphone pentru a face testul MemTrax, în timp ce un număr limitat de pacienți din subsetul de date XL au folosit un iPad, iar restul au folosit un smartphone. Acest lucru ar fi putut introduce o diferență minoră legată de dispozitiv în performanța MemTrax pentru modelarea clasificării MoCA. Cu toate acestea, diferențele (dacă există) în MTx-RT, de exemplu, între dispozitive ar fi probabil neglijabile, mai ales dacă fiecărui participant i se face un test de „practică” chiar înainte de performanța de testare înregistrată. Cu toate acestea, utilitatea acestor două dispozitive portabile poate compromite comparația directă și/sau integrarea cu alte rezultate MemTrax, în care utilizatorii au răspuns la imagini repetate atingând bara de spațiu de pe tastatura computerului.

Puncte cheie ale utilitarului de modelare predictivă MemTrax

  • • Modelele noastre predictive de cea mai bună performanță care cuprind valorile selectate de performanță MemTrax ar putea clasifica în mod fiabil starea de sănătate cognitivă (sănătate cognitivă normală sau MCI), așa cum ar fi indicat de testul MoCA larg recunoscut.
  • • Aceste rezultate sprijină integrarea parametrilor de performanță MemTrax selectați într-o aplicație de screening a modelului predictiv de clasificare pentru deficiența cognitivă în stadiu incipient.
  • • Modelarea noastră de clasificare a dezvăluit, de asemenea, potențialul de utilizare a performanței MemTrax în aplicații pentru distingerea severității diagnosticului de demență.

Aceste descoperiri noi stabilesc dovezi definitive care susțin utilitatea învățării automate în construirea unor modele de clasificare robuste și îmbunătățite bazate pe MemTrax pentru sprijinul diagnosticului în managementul eficient al cazurilor clinice și îngrijirea pacientului pentru persoanele care se confruntă cu deficiențe cognitive.

MULȚUMIRI

Recunoaștem munca lui J. Wesson Ashford, Curtis B. Ashford și a colegilor pentru dezvoltarea și validarea sarcinii și instrumentului de recunoaștere continuă online (MemTrax) utilizate aici și suntem recunoscători numeroși pacienți cu demență care au contribuit la cercetarea fundamentală fundamentală. . De asemenea, le mulțumim lui Xianbo Zhou și colegilor săi de la SJN Biomed LTD, colegilor și colaboratorilor săi de la spitale/clinici, în special Dr. M. Luo și M. Zhong, care au ajutat la recrutarea participanților, la programarea testelor și la colectarea, înregistrarea și gestionarea front-end a datelor și participanții voluntari care și-au donat timpul prețios și s-au angajat să susțină testele și să ofere datele valoroase pe care să le evaluăm în acest studiu. Acest Studiul a fost susținut parțial de Cercetarea Științifică MD Programul Universității de Medicină Kunming (grant nr. 2017BS028 la XL) și Programul de cercetare al Departamentului de Știință și Tehnologie Yunnan (grant nr. 2019FE001 (-222) la XL).

J. Wesson Ashford a depus o cerere de brevet pentru utilizarea paradigmei specifice de recunoaștere continuă descrisă în această lucrare pentru general testarea memoriei.

MemTrax, LLC este o companie deținută de Curtis Ashford, iar această companie gestionează testarea memoriei sistem descris în această lucrare.

Dezvăluirile autorilor sunt disponibile online (https://www.j-alz.com/manuscript-disclosures/19-1340r2).

test de memorie test de demență test de pierdere de memorie test de pierdere de memorie pe termen scurt test ram test mintea dieta varietate de cărți test cognitiv online
Curtis Ashford – Coordonator de cercetare cognitivă

REFERINȚE

[1] Asociația Alzheimer (2016) 2016 Fapte despre boala Alzheimer și cifre. Dementul Alzheimer 12, 459–509.
[2] Gresenz CR, Mitchell JM, Marrone J, Federoff HJ (2019) Effect of early-stage Boala Alzheimer asupra rezultatelor financiare ale gospodăriei. Health Econ 29, 18–29.
[3] Foster NL , Bondi MW , Das R , Foss M , Hershey LA , Koh S , Logan R , Poole C , Shega JW , Sood A , Thothala N , Wicklund M , Yu M , Bennett A , Wang D (2019) Îmbunătățirea calității în neurologie: set de măsurare a calității deficienței cognitive ușoare. Neurologie 93, 705–713.
[4] Tong T , Thokala P , McMillan B , Ghosh R , Brazier J (2017) Cost effectiveness of using teste de screening cognitiv pentru detectarea demenței și a deteriorării cognitive ușoare în asistența medicală primară. Int J Geriatr Psychiatry 32, 1392–1400.
[5] Ashford JW, Gere E, Bayley PJ (2011) Măsurarea memoriei în grupuri mari folosind un test de recunoaștere continuă. J Alzheimers Dis 27, 885–895.
[6] Ashford JW, Tarpin-Bernard F, Ashford CB, Ashford MT (2019) O sarcină computerizată de recunoaștere continuă pentru măsurarea memoriei episodice. J Alzheimers Dis 69, 385–399.
[7] Bergeron MF, Landset S, Tarpin-Bernard F, Ashford CB, Khoshgoftaar TM, Ashford JW (2019) Performanța de memorie episodică în modelarea învățării automate pentru prezicerea clasificării stării de sănătate cognitive. J Alzheimers Dis 70, 277–286.
[8] van der Hoek MD , Nieuwenhuizen A , Keijer J , Ashford JW (2019) The Testul MemTrax comparativ cu estimarea evaluării cognitive de la Montreal a deficienței cognitive ușoare. J Alzheimers Dis 67, 1045–1054.
[9] Falcone M , Yadav N , Poellabauer C , Flynn P (2013) Utilizarea sunetelor vocale izolate pentru clasificarea leziunilor cerebrale traumatice ușoare. În 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, BC, pp. 7577–7581.
[10] Dabek F, Caban JJ (2015) Utilizarea datelor mari pentru a modela probabilitatea dezvoltării unor afecțiuni psihologice după o comoție cerebrală. Procedia Comput Sci 53, 265–273.
[11] Climent MT, Pardo J, Munoz-Almaraz FJ, Guerrero MD, Moreno L (2018) Arborele de decizie pentru detecția precoce a deficienței cognitive de către farmaciștii comunitari. Front Pharmacol 9, 1232.
[12] Nasreddine ZS, Phillips NA, Bedirian V, Charbonneau S, Whitehead V, Collin I, Cummings JL, Chertkow H (2005) The Montreal Cognitive Assessment, MoCA: A brief screening tool for mild cognitive impairment. J Am Geriatr Soc 53, 695–699.
[13] Yu J, Li J, Huang X (2012) Versiunea Beijing a evaluării cognitive de la Montreal ca instrument de screening scurt pentru deficiența cognitivă ușoară: un studiu comunitar. BMC Psychiatry 12, 156.
[14] Chen KL, Xu Y, Chu AQ, Ding D, Liang XN, Nasreddine ZS, Dong Q, Hong Z, Zhao QH, Guo QH (2016) Validarea versiunii chineze a evaluării cognitive de la Montreal de bază pentru screeningul deficiențelor cognitive ușoare. J Am Geriatr Soc 64, e285–e290.
[15] Carson N, Leach L, Murphy KJ (2018) O reexaminare a scorurilor limită ale Evaluării Cognitive de la Montreal (MoCA). Int J Geriatr Psychiatry 33, 379–388.
[16] Asociația Americană de Psihiatrie (2013) Task Force Manual de diagnostic și statistică al tulburărilor mintale: DSM-5™, American Psychiatric Publishing, Inc., Washington, DC.
[17] Piton. Python Software Foundation, http://www.python.org, accesat 15 noiembrie 2019.
[18] R Core Group, R: A language and environment for statistical computing R Foundation for Statistical Computing, Viena, Austria. https://www.R-project.org/, 2018, accesat 15 noiembrie 2019.
[19] Benavoli A , Corani G , Demšar J , Zaffalon M (2017) Time for a change: A tutorial for comparing multiple classifiers through Bayesian analysis. J Mach Learn Res 18, 1–36.
[20] Frank E , Hall MA , Witten IH (2016) The WEKA Workbench. În Data Mining: instrumente și tehnici practice de învățare automată, Frank E, Hall MA, Witten IH, Pal CJ, eds. Morgan Kaufmann https://www.cs.waikato.ac.nz/ml/weka/Witten_et_al_2016_appendix.pdf
[21] Bergeron MF , Landset S , Maugans TA , Williams VB , Collins CL , Wasserman EB , Khoshgoftaar TM (2019) Machine learning in modeling high school sport commotion symptom resolve. Med Sci Sports Exercice 51, 1362–1371.
[22] Van Hulse J , Khoshgoftaar TM , Napolitano A (2007) Perspective experimentale asupra învățării din date dezechilibrate. În Actele celei de-a 24-a Conferințe internaționale privind învățarea automată, Corvalis, Oregon, SUA, pp. 935-942.
[23] Ashford JW, Kolm P, Colliver JA, Bekian C, Hsu LN (1989) Evaluarea pacientului Alzheimer și starea mini-mentală: Analiza curbei caracteristice a itemului.P. J Gerontol 44, 139–146.
[24] Ashford JW, Jarvik L (1985) Boala Alzheimer: Plasticitatea neuronului predispune la degenerarea neurofibrilară axonală? N Engl J Med 313, 388–389.
[25] Jack CR Jr , Therneau TM , Weigand SD , ​​Wiste HJ , Knopman DS , Vemuri P , Lowe VJ , Mielke MM , Roberts RO , Machulda MM , Graff-Radford J , Jones DT , Schwarz CG , Gunter JL , Senjem JML , Senjem MM , Rocca WA , Petersen RC (2019) Prevalența entităților din spectrul Alzheimer definite din punct de vedere biologic și clinic, folosind Institutul Național pentru Îmbătrânire-Alzheimer Cercetarea Asociației cadru. JAMA Neurol 76, 1174–1183.
[26] Zhou X , Ashford JW (2019) Progrese în instrumentele de screening pentru Boala Alzheimer. Aging Med 2, 88–93.
[27] Weiner MW , Nosheny R , Camacho M , Truran-Sacrey D , Mackin RS , Flenniken D , Ulbricht A , Insel P , Finley S , Fockler J , Veitch D (2018) The Sănătate pe creier Registry: O platformă bazată pe internet pentru recrutarea, evaluarea și monitorizarea longitudinală a participanților pentru studiile de neuroștiință. Dementul Alzheimer 14, 1063–1076.
[28] Ashford JW, Schmitt FA (2001) Modeling the time-course demența Alzheimer. Curr Psihiatrie Rep 3, 20–28.
[29] Li X , Wang X , Su L , Hu X , Han Y (2019) Sino Longitudinal Study on Cognitive Decline (SILCODE): Protocol pentru un studiu observațional longitudinal chinezesc pentru a dezvolta modele de predicție a riscului de conversie la deficiențe cognitive ușoare la persoanele cu cognitiv subiectiv declin. BMJ Open 9, e028188.
[30] Tarnanas I , Tsolaki A , Wiederhold M , Wiederhold B , Tsolaki M (2015) Variabilitatea progresiei biomarkerului pe cinci ani pentru demența bolii Alzheimer predicție: un marker complex de activități instrumentale ale vieții de zi cu zi poate umple golurile? Dementul Alzheimer (Amst) 1, 521–532.
[31] McGurran H , Glenn JM , Madero EN , Bott NT (2019) Prevenirea și tratamentul bolii Alzheimer: Mecanisme biologice ale exercițiului. J Alzheimers Dis 69, 311–338.
[32] Mendiola-Precoma J , Berumen LC , Padilla K , Garcia-Alcocer G (2016) Therapies for prevenirea și tratamentul bolii Alzheimer. Biomed Res Int 2016, 2589276.
[33] Lane CA , Barnes J , Nicholas JM , Sudre CH , Cash DM , Malone IB , Parker TD , Keshavan A , Buchanan SM , Keuss SE , James SN , Lu K , Murray-Smith H , Wong A , Gordon E , Coath W , Modat M, Thomas D, Richards M, Fox NC, Schott JM (2020) Asociații între riscul vascular la vârsta adultă și patologia creierului în viața târzie: Dovezi dintr-o cohortă britanică de naștere. JAMA Neurol 77, 175–183.
[34] Seshadri S (2020) Prevenirea gândirii demenței dincolo de vârstă și cutiile de amiloid. JAMA Neurol 77, 160–161.
[35] Maillard P, Seshadri S, Beiser A, Himali JJ, Au R, Fletcher E, Carmichael O, Wolf PA, DeCarli C (2012) Effects of systolic blood pressure on white-matter integrity in the young adults in the Framingham Heart Study: A cross -studiu secţional. Lancet Neurol 11, 1039–1047.
[36] Fink HA , Linskens EJ , Silverman PC , McCarten JR , Hemmy LS , Ouellette JM , Greer NL , Wilt TJ , Butler M (2020) Accuracy of biomarker testing for neuropathologically defined Boala Alzheimer la adulții în vârstă cu demență. Ann Intern Med 172, 669–677.

Afilieri: [a] SIVOTEC Analytics, Boca Raton, FL, SUA | [b] Departamentul de Calculatoare și Inginerie Electrică și Științe Calculatoare, Florida Atlantic University, Boca Raton, FL, SUA | [c] SJN Biomed LTD, Kunming, Yunnan, China | [d] Centru pentru Cercetarea Alzheimer, Institutul de Cercetare Clinică din Washington, Washington, DC, SUA | [e] Departamentul de Medicină de Recuperare, Primul Spital Afiliat al Universității Medicale Kunming, Kunming, Yunnan, China | [f] Departamentul de Neurologie, Spitalul Popular Dehong, Dehong, Yunnan, China | [g] Departamentul de Neurologie, Primul Spital Afiliat al Universității Medicale Kunming, Districtul Wuhua, Kunming, Provincia Yunnan, China | [h] Centrul de studiu al bolilor și rănilor legate de război, VA Palo Alto Sănătate System, Palo Alto, CA, SUA | [i] Departamentul de Psihiatrie și Științe Comportamentale, Școala de Medicină a Universității Stanford, Palo Alto, CA, SUA

Corespondență: [*] Corespondență către: Michael F. Bergeron, PhD, FACSM, SIVOTEC Analytics, Boca Raton Innovation Campus, 4800 T-Rex Avenue, Suite 315, Boca Raton, FL 33431, SUA. E-mail: mbergeron@sivotecanalytics.com.; Xiaolei Liu, MD, Departamentul de Neurologie, Primul Spital Afiliat al Universității Medicale Kunming, 295 Xichang Road, Districtul Wuhua, Kunming, Provincia Yunnan 650032, China. E-mail: ring@vip.163.com.

Cuvinte cheie: îmbătrânire, Boala Alzheimer, demență, screening în masă