Användbarhet av MemTrax och Machine Learning Modeling i klassificering av mild kognitiv funktionsnedsättning

Forskningsartikel

Författare: Bergeron, Michael F. | Landset, Sara | Zhou, Xianbo | Ding, Tao | Khoshgoftaar, Taghi M. | Zhao, Feng | Du, Bo | Chen, Xinjie | Wang, Xuan | Zhong, Lianmei | Liu, Xiaolei| Ashford, J. Wesson

DOI: 10.3233/JAD-191340

Tidskrift: Tidskrift för Alzheimers sjukdom, vol. 77, nr. 4, sid. 1545-1558, 2020

Abstrakt

Bakgrund:

Den utbredda förekomsten och prevalensen av Alzheimers sjukdom och mild kognitiv funktionsnedsättning (MCI) har föranlett en brådskande efterlysning av forskning för att validera tidig upptäckt kognitiv screening och bedömning.

Mål:

Vårt primära forskningsmål var att fastställa om utvalda MemTrax-prestandamått och relevanta demografiska och hälsoprofilegenskaper kan användas effektivt i prediktiva modeller utvecklade med maskininlärning för att klassificera kognitiv hälsa (normal kontra MCI), vilket skulle indikeras av Montreal kognitiv bedömning (MoCA).

Metoder:

Vi genomförde en tvärsnittsstudie på 259 vuxna patienter inom neurologi, minnesklinik och internmedicin rekryterade från två sjukhus i Kina. Varje patient fick det kinesiska språket MoCA och självadministrerade det kontinuerliga erkännandet MemTrax online-episod minnestest online på samma dag. Prediktiva klassificeringsmodeller byggdes med hjälp av maskininlärning med 10-faldig korsvalidering, och modellprestanda mättes med Area Under the Receiver Operating Characteristic Curve (AUC). Modeller byggdes med hjälp av två MemTrax-prestandamått (procent korrekt, svarstid), tillsammans med de åtta vanliga demografiska och personliga historikfunktionerna.

Resultat:

Genom att jämföra eleverna över utvalda kombinationer av MoCA-poäng och trösklar, var Naive Bayes generellt den bäst presterande eleven med en total klassificeringsprestanda på 0.9093. Vidare, bland de tre bästa eleverna, var MemTrax-baserad klassificeringsprestanda totalt sett överlägsen med bara de fyra högst rankade funktionerna (0.9119) jämfört med att använda alla 10 vanliga funktioner (0.8999).

Slutsats:

MemTrax-prestanda kan effektivt utnyttjas i en prediktiv klassificeringsmodell för maskininlärning screeningapplikation för att upptäcka kognitiv funktionsnedsättning i ett tidigt skede.

INLEDNING

Den erkända (om än underdiagnostiserade) utbredda förekomsten och prevalensen och parallellt eskalerande medicinska, sociala och offentliga hälsa kostnader och börda för Alzheimers sjukdom (AD) och mild kognitiv funktionsnedsättning (MCI) blir alltmer ansträngande för alla intressenter [1, 2]. Detta plågsamma och livliga scenario har föranlett en brådskande uppmaning till forskning för att bekräfta tidig upptäckt Kognitiv screening och bedömningsinstrument för regelbunden praktisk användning i personliga och kliniska miljöer för äldre patienter över olika regioner och populationer [3]. Dessa instrument måste också möjliggöra sömlös översättning av informativa resultat till elektroniska journaler. Fördelarna kommer att realiseras genom att informera patienter och hjälpa läkare att upptäcka betydande förändringar tidigare och på så sätt möjliggöra snabbare och snabbare stratifiering, implementering och spårning av lämplig individualiserad och mer kostnadseffektiv behandling och patientvård för dem som börjar uppleva kognitiv försämring [3, 4].

Det datoriserade MemTrax-verktyget (https://memtrax.com) är en enkel och kort kontinuerlig igenkänningsbedömning som kan administreras själv online för att mäta utmanande tidsinställd episodisk minnesprestanda där användaren svarar på upprepade bilder och inte på en första presentation [5, 6]. Ny forskning och resulterande praktiska implikationer börjar successivt och kollektivt visa den kliniska effekten av MemTrax i tidig AD- och MCI-screening [5-7]. Men direkt jämförelse av klinisk nytta med befintlig kognitiv hälsa bedömning och konventionella standarder är motiverade för att informera professionellt perspektiv och bekräfta MemTrax-verktyget vid tidig upptäckt och diagnostiskt stöd. van der Hoek et al. [8] jämförde utvalda MemTrax-prestandamått (reaktionshastighet och procent korrekt) med kognitiv status som fastställts av Montreal Kognitiv bedömning (MoCA). Denna studie var dock begränsad till att associera dessa prestationsmått med karakterisering av kognitiv status (som bestäms av MoCA) och definiera de relativa intervallen och cutoff-värdena. Följaktligen, för att utöka denna undersökning och förbättra klassificeringsprestanda och effektivitet, var vår primära forskningsfråga:

• Kan en individs valda MemTrax-prestandamått och relevant demografi och hälsa profil egenskaper effektivt utnyttjas i en prediktiv modell utvecklad med maskininlärning för att klassificera kognitiv hälsa dikotomt (normal kontra MCI), vilket skulle indikeras av ens MoCA-poäng?

Sekundärt till detta ville vi veta:

• Inklusive samma funktioner, kan en MemTrax prestationsbaserad maskininlärningsmodell effektivt tillämpas på en patient för att förutsäga svårighetsgrad (lindrig kontra svår) inom utvalda kategorier av kognitiv funktionsnedsättning som skulle bestämmas av en oberoende klinisk diagnos?

Tillkomsten och den utvecklande praktiska tillämpningen av artificiell intelligens och maskininlärning i screening/detektion har redan visat tydliga praktiska fördelar, med prediktiv modellering som effektivt vägleder kliniker i den utmanande bedömningen av kognitiv/hjärnhälsa och patienthantering. I vår studie valde vi ett liknande tillvägagångssätt i MCI-klassificeringsmodellering och diskriminering av kognitiv funktionsnedsättning, vilket bekräftades av klinisk diagnos från tre datauppsättningar som representerar utvalda frivilliga slutenvårdspatienter och öppenvårdspatienter från två sjukhus i Kina. Med hjälp av prediktiv modellering för maskininlärning identifierade vi de bästa eleverna från de olika datamängderna/inlärarkombinationerna och rangordnade funktionerna för att vägleda oss i att definiera de mest kliniskt praktiska modelltillämpningarna.

Våra hypoteser var att en validerad MemTrax-baserad modell kan användas för att klassificera kognitiv hälsa dikotomt (normal eller MCI) baserat på MoCA-kriteriet för aggregatpoängtröskel, och att en liknande MemTrax-prediktiv modell effektivt kan användas för att urskilja svårighetsgraden i utvalda kategorier av kliniskt diagnostiserad kognitiv försämring. Att demonstrera de förväntade resultaten skulle vara avgörande för att stödja effektiviteten av MemTrax som en tidig upptäcktsskärm för kognitiv försämring och klassificering av kognitiv funktionsnedsättning. En gynnsam jämförelse med en industristandard som påstås kompletteras med mycket större lätthet och snabbare användbarhet skulle vara inflytelserik när det gäller att hjälpa kliniker att använda detta enkla, pålitliga och tillgängliga verktyg som en första skärm för att upptäcka kognitiva brister i tidigt (inklusive prodromalt) skede. Ett sådant tillvägagångssätt och användbarhet skulle således kunna leda till mer aktuell och bättre stratifierad patientvård och intervention. Dessa framåtblickande insikter och förbättrade mätetal och modeller kan också vara till hjälp för att mildra eller stoppa demensprogression, inklusive AD och AD-relaterade demenssjukdomar (ADRD).

MATERIAL OCH METODER

Studera befolkning

Mellan januari 2018 och augusti 2019 slutfördes tvärsnittsforskning på patienter som rekryterats från två sjukhus i Kina. Administreringen av MemTrax [5] till personer som är 21 år och äldre och insamlingen och analysen av dessa data granskades och godkändes av och administrerades i enlighet med de etiska standarderna i Mänskligt Ämnesskyddskommittén vid Stanford University. MemTrax och alla andra tester för denna övergripande studie utfördes enligt Helsingforsdeklarationen från 1975 och godkändes av den institutionella granskningsnämnden vid det första anslutna sjukhuset vid Kunming Medical University i Kunming, Yunnan, Kina. Varje användare fick en informerat samtycke formulär för att läsa/granska och sedan frivilligt gå med på att delta.

Deltagarna rekryterades från poolen av polikliniska patienter på neurologkliniken vid Yanhua Hospital (YH-underdataset) och minnesklinik vid First Affiliated Hospital of Kunming Medical Universitet (XL sub-dataset) i Peking, Kina. Deltagarna rekryterades också från slutenvårdspatienter inom neurologi (XL-underdataset) och internmedicin (KM-underdataset) vid Kunming Medical Universitys First Affiliated Hospital. Inklusionskriterier inkluderade 1) män och kvinnor minst 21 år gamla, 2) förmåga att tala kinesiska (mandarin) och 3) förmåga att förstå verbala och skriftliga anvisningar. Uteslutningskriterier var syn och motoriska funktionsnedsättningar som hindrade deltagarna från att fullfölja MemTrax test, liksom oförmågan att förstå de specifika testinstruktionerna.

Kinesisk version av MemTrax

Online MemTrax testplattform översattes till kinesiska (URL: https://www.memtrax.com.cn) och vidare anpassad för att användas via WeChat (Shenzhen Tencent Computer Systems Co. LTD., Shenzhen, Guangdong, Kina) för självadministration. Data lagrades på en molnserver (Ali Cloud) belägen i Kina och licensierad från Alibaba (Alibaba Technology Co. Ltd., Hangzhou, Zhejiang, Kina) av SJN Biomed LTD (Kunming, Yunnan, Kina). Specifika detaljer om MemTrax och testvaliditetskriterier som används här har beskrivits tidigare [6]. Testet tillhandahölls utan kostnad för patienterna.

Studieprocedurer

För slutenvårdspatienter och öppenvårdspatienter, ett allmänt pappersformulär för insamling av demografisk och personlig information såsom ålder, kön, utbildningsår, yrke, bor ensam eller med familj, och medicinsk historia administrerades av en medlem av studieteamet. Efter att ha fyllt i frågeformuläret, administrerades MoCA [12] och MemTrax tester (MoCA först) med högst 20 minuter mellan testerna. MemTrax procent korrekt (MTx-% C), genomsnittlig svarstid (MTx-RT) och datum och tid för testningen registrerades på papper av en medlem av studieteamet för varje testad deltagare. Det ifyllda frågeformuläret och resultaten av MoCA laddades upp i ett Excel-kalkylblad av forskaren som administrerade testerna och verifierades av en kollega innan Excel-filerna sparades för analyser.

MemTrax test

MemTrax onlinetest inkluderade 50 bilder (25 unika och 25 upprepningar; 5 uppsättningar av 5 bilder av vanliga scener eller objekt) visade i en specifik pseudo-slumpmässig ordning. Deltagaren skulle (enligt instruktioner) trycka på Start-knappen på skärmen för att påbörja testet och börja titta på bildserien och trycka på bilden på skärmen igen så snabbt som möjligt när en upprepad bild dyker upp. Varje bild visades i 3 s eller tills bilden på skärmen berördes, vilket ledde till omedelbar presentation av nästa bild. Med hjälp av den lokala enhetens interna klocka bestämdes MTx-RT för varje bild av den tid som förflutit från presentationen av bilden tills skärmen berördes av deltagaren som svar på att bilden identifierades som en som redan hade visats. under provet. MTx-RT spelades in för varje bild, med hela 3 s inspelade vilket indikerar inget svar. MTx-% C beräknades för att indikera procentandelen upprepade och initiala bilder som användaren svarade korrekt på (sant positivt + sant negativt dividerat med 50). Ytterligare detaljer om MemTrax administration och implementering, datareduktion, ogiltiga eller "inget svar"-data och primära dataanalyser beskrivs på annat håll [6].

MemTrax-testet förklarades i detalj och ett övningstest (med andra unika bilder än de som användes i testet för att registrera resultat) gavs till deltagarna i sjukhusmiljön. Deltagare i YH- och KM-underdataseten tog MemTrax-testet på en smartphone som laddades med applikationen på WeChat; medan ett begränsat antal av patienterna med XL-subdataset använde en iPad och resten använde en smartphone. Alla deltagare tog MemTrax-testet med en studieutredare som diskret observerade.

Montreal kognitiv bedömning

Pekingversionen av det kinesiska MoCA (MoCA-BC) [13] administrerades och poängsattes av utbildade forskare enligt de officiella testinstruktionerna. Lämpligen har MoCA-BC visat sig vara en pålitlig testa för kognitiva screening över alla utbildningsnivåer hos kinesiska äldre vuxna [14]. Varje test tog cirka 10 till 30 minuter att administrera baserat på respektive deltagares kognitiva förmågor.

MoCA-klassificeringsmodellering

Det fanns totalt 29 användbara funktioner, inklusive två MemTrax testprestandamått och 27 funktioner relaterade till demografi och hälsa information för varje deltagare. Varje patients MoCA samlade testpoäng användes som kognitiv screening "benchmark" för att träna våra prediktiva modeller. Därför, eftersom MoCA användes för att skapa klassetiketten, kunde vi inte använda det sammanlagda poängen (eller någon av MoCA-delmängdspoängen) som en oberoende funktion. Vi utförde preliminära experiment där vi modellerade (klassificerar kognitiv hälsa definierad av MoCA) de ursprungliga tre sjukhus/klinikernas underdataset individuellt och sedan kombinerade med alla funktioner. Alla samma dataelement samlades dock inte in i var och en av de fyra klinikerna som representerade de tre deldataseten; Därför hade många av våra funktioner i den kombinerade datamängden (när alla funktioner används) en hög förekomst av saknade värden. Vi byggde sedan modeller med den kombinerade datamängden med endast gemensamma funktioner, vilket resulterade i förbättrad klassificeringsprestanda. Detta förklarades sannolikt av en kombination av att ha fler instanser att arbeta med genom att kombinera de tre patientunderdataseten och inga funktioner med en otillbörlig förekomst av saknade värden (endast en funktion i den kombinerade datamängden, arbetstyp, hade några saknade värden, vilket påverkar endast tre patientinstanser), eftersom endast gemensamma drag som registrerats på alla tre platserna inkluderades. Noterbart att vi inte hade ett specifikt avslagskriterium för varje funktion som i slutändan inte ingick i den kombinerade datamängden. Men i vår preliminära kombinerade datauppsättningsmodellering använde vi först alla funktioner från var och en av de tre separata patientunderdataseten. Detta resulterade i stor utsträckning i modellprestanda som var mätbart lägre än den initiala preliminära modelleringen på varje enskild deldataset. Dessutom, medan klassificeringsprestandan för modellerna som byggts med alla funktioner var uppmuntrande, för alla elever och klassificeringsscheman, förbättrades prestandan för dubbelt så många modeller när man bara använde vanliga funktioner. I själva verket, bland vad som slutade vara våra bästa elever, förbättrades alla modeller utom en genom att eliminera icke-vanliga funktioner.

Den slutliga samlade datamängden (YH, XL och KM kombinerat) inkluderade 259 instanser, som var och en representerade en unik deltagare som tog både MemTrax- och MoCA-testerna. Det fanns 10 delade oberoende funktioner: MemTrax prestandamått: MTx-% C och medelvärde MTx-RT; demografisk information och medicinsk historia: ålder, kön, utbildningsår, arbetstyp (blå krage/vit krage), socialt stöd (oavsett om testpersonen bor ensam eller med familj) och ja/nej svar på om användaren hade en historia av diabetes, hyperlipidemi eller traumatisk hjärnskada. Två ytterligare mätvärden, MoCA aggregatpoäng och MoCA aggregatpoäng justerat för år av utbildning [12], användes separat för att utveckla beroende klassificeringsetiketter, vilket skapade två distinkta modelleringsscheman som ska tillämpas på vår kombinerade datauppsättning. För varje version (justerad och ojusterad) av MoCA-poängen modellerades data återigen separat för binär klassificering med hjälp av två olika kriterietrösklar - den initialt rekommenderade [12] och ett alternativt värde som används och främjas av andra [8, 15]. I det alternativa tröskelklassificeringsschemat ansågs en patient ha normal kognitiv hälsa om han/hon fick ≥23 på MoCA-testet och hade MCI om poängen var 22 eller lägre; I det initialt rekommenderade klassificeringsformatet var patienten tvungen att få 26 eller bättre på MoCA för att bli märkt med normal kognitiv hälsa.

Filtrerad data för MoCA-klassificeringsmodellering

Vi undersökte vidare MoCA-klassificering med hjälp av fyra vanliga funktionsrankningstekniker: Chi-Squared, Gain Ratio, Information Gain och Symmetrical Uncertainty. För ett interimistiskt perspektiv tillämpade vi rankarna på hela den kombinerade datamängden med vart och ett av våra fyra modelleringsscheman. Alla rankare var överens om samma toppegenskaper, dvs ålder, antal utbildningsår och båda MemTrax prestationsmått (MTx-% C, medelvärde MTx-RT). Vi byggde sedan om modellerna med hjälp av varje funktionsvalsteknik för att träna modellerna på endast de fyra översta funktionerna (se Funktionsval nedan).

De resulterande sista åtta varianterna av MoCA-poängklassificeringsmodelleringsscheman presenteras i tabell 1.

bord 1

Sammanfattning av modelleringsschemavariationer som används för MoCA-klassificering (Normal Kognitiv hälsa kontra MCI)

Modelleringsschema	Normal kognitiv hälsa (negativ klass)	MCI (positiv klass)
Justerad-23 Ofiltrerad/filtrerad	101 (39.0%)	158 (61.0%)
Justerad-26 Ofiltrerad/filtrerad	49 (18.9%)	210 (81.1%)
Ojusterad-23 Ofiltrerad/filtrerad	92 (35.5%)	167 (64.5%)
Ojusterad-26 Ofiltrerad/filtrerad	42 (16.2%)	217 (83.8%)

Respektive antal och procent av det totala antalet patienter i varje klass särskiljs genom justering av poäng för utbildning (Justerad eller Ojusterad) och klassificeringströskel (23 eller 26), som tillämpas på båda funktionsuppsättningarna (Ofiltrerad och Filtrerad).

MemTrax-baserad klinisk utvärderingsmodellering

Av våra tre ursprungliga sub-dataset (YH, XL, KM) var endast XL-sub-dataset-patienterna oberoende kliniskt diagnostiserade för kognitiv funktionsnedsättning (dvs. deras respektive MoCA-poäng användes inte för att fastställa en klassificering av normal kontra nedsatt). Specifikt diagnostiserades XL-patienterna med någondera Alzheimers sjukdom test (AD) eller vaskulär demens (VaD). Inom var och en av dessa primära diagnoskategorier fanns ytterligare en beteckning för MCI. Diagnoser av MCI, demens, vaskulär neurokognitiv störning och neurokognitiv störning på grund av AD baserades på specifika och distinkta diagnostiska kriterier som beskrivs i Diagnostic and Statistical Manual of Mental Disorders: DSM-5 [16]. Med tanke på dessa förfinade diagnoser tillämpades två klassificeringsmodelleringsscheman separat på XL-underdatasetet för att särskilja svårighetsgraden (graden av funktionsnedsättning) för varje primär diagnoskategori. Data som användes i vart och ett av dessa diagnostiska modelleringsscheman (AD och VaD) inkluderade demografisk information och patienthistorik, såväl som MemTrax-prestanda (MTx-% C, medelvärde MTx-RT). Varje diagnos betecknades som mild om den betecknades MCI; annars ansågs det vara allvarligt. Vi övervägde initialt att inkludera MoCA-poängen i diagnosmodellerna (lindrigt kontra svår); men vi bestämde att det skulle motverka syftet med vårt sekundära prediktiva modelleringssystem. Här skulle eleverna utbildas med hjälp av andra patientegenskaper som är lätt tillgängliga för leverantören och prestationsmått för det enklare MemTrax-testet (i stället för MoCA) mot referensen "guldstandard", den oberoende kliniska diagnosen. Det fanns 69 fall i AD-diagnosdataset och 76 fall av VaD (tabell 2). I båda datamängderna fanns det 12 oberoende funktioner. Förutom de 10 funktioner som ingår i MoCA-poängklassificeringen, inkluderade patienthistorien även information om historia av hypertoni och stroke.

bord 2

Sammanfattning av modelleringsschemavariationer som används för klassificering av diagnosens svårighetsgrad (mild versus allvarlig)

Modelleringsschema	Mild (negativ klass)	Svår (positiv klass)
MCI-AD kontra AD	12 (17.4%)	57 (82.6%)
MCI-VaD kontra VaD	38 (50.0%)	38 (50.0%)

Respektive antal och procent av det totala antalet patienter i varje klass är differentierade efter primär diagnoskategori (AD eller VaD).

Statistik

Jämförelse av deltagaregenskaper och andra numeriska egenskaper mellan deldatauppsättningar för varje modellklassificeringsstrategi (för att förutsäga MoCA kognitiv hälsa och diagnosens svårighetsgrad) utfördes med Python-programmeringsspråket (version 2.7.1) [17]. Modellens prestandaskillnader bestämdes initialt med en enkel- eller tvåfaktors (efter behov) ANOVA med ett 95 % konfidensintervall och Tukey Honest Signifikant skillnad (HSD)-test för att jämföra prestandamedelvärdena. Denna undersökning av skillnader mellan modellprestanda utfördes med en kombination av Python och R (version 3.5.1) [18]. Vi använde detta (om än, utan tvekan mindre än optimalt) tillvägagångssätt endast som ett heuristiskt hjälpmedel vid detta tidigt skede för initiala modellprestandajämförelser för att förutse potentiell klinisk tillämpning. Vi använde sedan Bayesian signed-rank test med hjälp av en posterior fördelning för att bestämma sannolikheten för modellprestandaskillnader [19]. För dessa analyser använde vi intervallet –0.01, 0.01, vilket betyder att om två grupper hade en prestationsskillnad på mindre än 0.01, ansågs de vara lika (inom området för praktisk ekvivalens), eller på annat sätt var de olika (en bättre än den andra). För att utföra den Bayesianska jämförelsen av klassificerare och beräkna dessa sannolikheter använde vi baycomp-biblioteket (version 1.0.2) för Python 3.6.4.

Förutsägande modellering

Vi byggde prediktiva modeller med hjälp av de tio totala varianterna av våra modelleringsscheman för att förutsäga (klassificera) resultatet av varje patients MoCA-test eller svårighetsgraden av den kliniska diagnosen. Alla elever tillämpades och modellerna byggdes med öppen källkodsplattform Weka [20]. För vår preliminära analys använde vi 10 vanligt förekommande inlärningsalgoritmer: 5-Nearest Neighbors, två versioner av C4.5 beslutsträd, Logistic Regression, Multilayer Perceptron, Naiv Bayes, två versioner av Random Forest, Radial Basis Function Network och Support Vector Maskin. Nyckelattribut och kontraster för dessa algoritmer har beskrivits på annat håll [21] (se respektive bilaga). Dessa valdes för att de representerar en mängd olika typer av elever och för att vi har visat framgång med att använda dem i tidigare analyser av liknande data. Hyperparameterinställningar valdes från vår tidigare forskning, vilket indikerar att de är robusta på en mängd olika data [22]. Baserat på resultaten av vår preliminära analys med samma kombinerade datauppsättning med gemensamma funktioner som användes senare i den fullständiga analysen, identifierade vi tre elever som gav konsekvent starka prestationer över alla klassificeringar: Logistic Regression, Naiv Bayes och Support Vector Machine.

Korsvalidering och modellprestandamått

För all prediktiv modellering (inklusive de preliminära analyserna) byggdes varje modell med 10-faldig korsvalidering och modellprestanda mättes med Area Under the Receiver Operating Characteristic Curve (AUC). Korsvalidering började med att slumpmässigt dela upp var och en av de 10 modelleringsschemadatauppsättningarna i 10 lika stora segment (veck), med nio av dessa respektive segment för att träna modellen och det återstående segmentet för testning. Denna procedur upprepades 10 gånger, med användning av ett annat segment som testset i varje iteration. Resultaten kombinerades sedan för att beräkna den slutliga modellens resultat/prestanda. För varje kombination av inlärare/datauppsättning upprepades hela denna process 10 gånger och data delades olika varje gång. Detta sista steg minskade bias, säkerställde replikerbarhet och hjälpte till att bestämma den övergripande modellens prestanda. Totalt (för klassificeringsscheman för MoCA-poäng och diagnos svårighetsgrad kombinerat) byggdes 6,600 1,800 modeller. Detta inkluderade 6 3 ofiltrerade modeller (10 modelleringsscheman tillämpade på datasetet×10 elever×1,800 körningar×4,800 gånger = 4 3 modeller) och 4 10 filtrerade modeller (10 modelleringsscheman tillämpade på datasetet×4,800 elever×XNUMX funktionsvalstekniker×XNUMX körningar× XNUMX veck = XNUMX XNUMX modeller).

Funktionsval

För de filtrerade modellerna utfördes funktionsval (med de fyra funktionsrankningsmetoderna) inom korsvalideringen. För var och en av de 10 vecken, eftersom olika 10 % av datamängden var testdata, användes endast de fyra översta valda funktionerna för varje träningsdatauppsättning (dvs. de andra nio vecken, eller de återstående 90 % av hela datasetet) att bygga modellerna. Vi kunde inte bekräfta vilka fyra funktioner som användes i varje modell, eftersom den informationen inte lagras eller görs tillgänglig inom den modelleringsplattform vi använde (Weka). Men med tanke på konsistensen i vårt initiala urval av toppfunktioner när rankarna applicerades på hela den kombinerade datamängden och den efterföljande likheten i modelleringsprestanda, är dessa samma funktioner (ålder, utbildningsår, MTx-% C och genomsnittlig MTx-RT) ) är sannolikt de vanligaste topp fyra som används samtidigt med funktionsvalet inom korsvalideringsprocessen.

RESULTAT

Deltagarnas numeriska egenskaper (inklusive MoCA-poäng och MemTrax-prestandamått) för respektive datauppsättningar för varje modellklassificeringsstrategi för att förutsäga MoCA-indikerad kognitiv hälsa (normal kontra MCI) och svårighetsgrad av diagnosen (lindrig mot svår) visas i Tabell 3.

bord 3

Deltagaregenskaper, MoCA-poäng och MemTrax-prestanda för varje modellklassificeringsstrategi

Klassificeringsstrategi	Ålder	Utbildning	MoCA justerad	MoCA Ojusterad	MTx-% C	MTx-RT
MoCA-kategori	61.9 år (13.1)	9.6 år (4.6)	19.2 (6.5)	18.4 (6.7)	74.8% (15.0)	1.4 s (0.3)
Diagnosens svårighetsgrad	65.6 år (12.1)	8.6 år (4.4)	16.7 (6.2)	15.8 (6.3)	68.3% (13.8)	1.5 s (0.3)

Värden som visas (medelvärde, SD) differentierade genom modelleringsklassificeringsstrategier är representativa för den kombinerade datauppsättningen som används för att förutsäga MoCA-indikerad kognitiv hälsa (MCI kontra normal) och XL-underdatasetet som endast används för att förutsäga svårighetsgraden av diagnosen (lindrig mot svår).

För varje kombination av MoCA-poäng (justerat/ojusterat) och tröskelvärde (26/23), fanns det en statistisk skillnad (p = 0.000) i varje parvis jämförelse (normal kognitiv hälsa kontra MCI) för ålder, utbildning och MemTrax-prestanda (MTx-% C och MTx-RT). Varje patientunderdataset i respektive MCI-klass för varje kombination var i genomsnitt cirka 9 till 15 år äldre, rapporterade cirka fem färre års utbildning och hade mindre gynnsam MemTrax-prestanda för båda mätvärdena.

Resultat för prediktiv modellering för MoCA-poängklassificeringarna med hjälp av de tre bästa eleverna, Logistic Regression, Naive Bayes och Support Vector Machine, visas i tabell 4. Dessa tre valdes baserat på den mest konsekvent höga absoluta inlärningsprestanda för alla olika modeller tillämpas på datamängderna för alla modelleringsscheman. För den ofiltrerade datamängden och modelleringen indikerar vart och ett av datavärdena i tabell 4 modellprestanda baserat på AUC respektive medelvärde härledd från de 100 modellerna (10 körningar × 10 gånger) byggda för varje elev/modelleringsschemakombination, med respektive högsta presterande elev markerad i fetstil. Medan för den filtrerade datauppsättningsmodelleringen återspeglar resultaten som rapporteras i tabell 4 den övergripande genomsnittliga modellens prestanda från 400 modeller för varje elev som använder var och en av funktionsrankningsmetoderna (4 funktionsrankningsmetoder×10 körningar×10 gånger).

bord 4

Dikotomisk MoCA-poängklassificeringsprestanda (AUC; 0.0–1.0) resultat för var och en av de tre bäst presterande eleverna för alla respektive modelleringsscheman

Funktionsuppsättning används	MoCA-poäng	Cutoff tröskel	Logistisk återgång	Naiva Bayes	Stöd Vector Machine
Ofiltrerad (10 funktioner)	justerat	23	0.8862	0.8913	0.8695
		26	0.8971	0.9221	0.9161
	Ojusterad	23	0.9103	0.9085	0.8995
		26	0.8834	0.9153	0.8994
Filtrerad (4 funktioner)	justerat	23	0.8929	0.8954	0.8948
		26	0.9188	0.9247	0.9201
	Ojusterad	23	0.9135	0.9134	0.9122
		26	0.9159	0.9236	0.9177

Genom att använda variationer av funktionsuppsättning, MoCA-poäng och MoCA-poängavskärningsgräns, visas den högsta prestandan för varje modelleringsschema i nål (inte nödvändigtvis statistiskt annorlunda än alla andra inte i nål för respektive modell).

Genom att jämföra eleverna över alla kombinationer av MoCA-poängversioner och trösklar (justerade/ojusterade respektive 23/26) i den kombinerade ofiltrerade datamängden (dvs. med hjälp av de 10 vanliga funktionerna), var Naive Bayes generellt sett den bästa inläraren med en övergripande klassificeringsprestanda på 0.9093. Med tanke på de tre bästa eleverna indikerade de Bayesiansk-korrelerade signerade rangtesterna att sannolikheten (Pr) av Naiv Bayes som överträffade Logistic Regression var 99.9 %. Dessutom, mellan Naive Bayes och Support Vector Machine, en sannolikhet på 21.0 % för praktisk likvärdighet i elevens prestation (därav en 79.0 % sannolikhet för att Naive Bayes överträffar Support Vector Machine), tillsammans med 0.0 % sannolikhet att Support Vector Machine presterar bättre, mätbart förstärker prestandafördelen för Naive Bayes. Ytterligare jämförelse av MoCA-poängversionen över alla elever/trösklar antydde en liten prestationsfördel med ojusterade MoCA-poäng jämfört med justerade (0.9027 respektive 0.8971; Pr (ojusterad > justerad) = 0.988). På samma sätt indikerade en jämförelse av cutoff-tröskeln för alla elever och MoCA-poängversioner en liten klassificeringsfördel med 26 som klassificeringströskel jämfört med 23 (0.9056 respektive 0.8942; Pr (26 > 23) = 0.999). Slutligen, genom att undersöka klassificeringsprestandan för modellerna med endast de filtrerade resultaten (dvs. endast fyra topprankade funktioner), var Naive Bayes (0.9143) den numeriskt bäst presterande eleven över alla MoCA-poängversioner/trösklar. Men över alla funktionsrankningstekniker kombinerade, presterade alla de bästa eleverna på samma sätt. Bayesian signed-rank test visade 100 % sannolikhet för praktisk likvärdighet mellan varje par filtrerade elever. Som med ofiltrerade data (med alla 10 vanliga funktioner) fanns det återigen en prestandafördel för den ojusterade versionen av MoCA-poängen (Pr (ojusterad > justerad) = 1.000 26), samt en liknande distinkt fördel för klassificeringströskeln på XNUMX (Pr (26 > 23) = 1.000 0.9119). Noterbart är att den genomsnittliga prestandan för var och en av de tre bästa eleverna över alla MoCA-poängversioner/tröskelvärden med endast de fyra högst rankade funktionerna översteg den genomsnittliga prestandan för alla elever på ofiltrerad data. Inte överraskande var klassificeringsprestanda för de filtrerade modellerna (med de fyra högst rankade funktionerna) totalt sett överlägsen (0.8999) jämfört med de ofiltrerade modellerna (10), oavsett funktionsrankningsmetodmodellerna som jämfördes med de respektive modellerna med alla 100 vanliga funktioner. För varje funktionsvalsmetod fanns det XNUMX % sannolikhet för en prestandafördel jämfört med de ofiltrerade modellerna.

Med de patienter som övervägs för svårighetsklassificering av AD-diagnos, skillnader mellan grupper (MCI-AD kontra AD) för ålder (p = 0.004), utbildning (p = 0.028), MoCA-poäng justerad/ojusterad (p = 0.000) och MTx-% C (p = 0.008) var statistiskt signifikanta; medan det för MTx-RT inte var (p = 0.097). Med de patienter som övervägs för allvarlighetsklassificering av VaD-diagnos, skillnader mellan grupper (MCI-VaD versus VaD) för MoCA-poäng justerad/ojusterad (p = 0.007) och MTx-% C (p = 0.026) och MTx-RT (p = 0.001) var statistiskt signifikanta; medan för ålder (p = 0.511) och utbildning (p = 0.157) det fanns inga signifikanta skillnader mellan grupper.

Prediktiva modelleringsresultat för klassificeringarna av diagnosens svårighetsgrad med hjälp av de tre tidigare valda eleverna, Logistic Regression, Naive Bayes och Support Vector Machine, visas i tabell 5. Medan ytterligare undersökta elever uppvisade något starkare prestationer individuellt med en av de två kliniska diagnoskategorierna , de tre eleverna vi hade identifierat som de mest gynnsamma i vår tidigare modellering erbjöd den mest konsekventa prestandan med båda nya modelleringsscheman. När man jämförde eleverna över var och en av de primära diagnoskategorierna (AD och VaD), fanns det ingen konsekvent skillnad i klassificeringsprestanda mellan elever för MCI-VaD kontra VaD, även om Support Vector Machine i allmänhet presterade mer framträdande. På samma sätt fanns det inga signifikanta skillnader mellan elever för MCI-AD kontra AD-klassificeringen, även om Naiv Bayes (NB) hade en liten prestandafördel jämfört med Logistic Regression (LR) och bara en försumbar pluralitet över Support Vector Machine, med sannolikheter på 61.4 % och 41.7 % respektive. Över båda datamängderna fanns det en övergripande prestandafördel för Support Vector Machine (SVM), med Pr (SVM > LR) = 0.819 och Pr (SVM > NB) = 0.934. Vår övergripande klassificeringsprestanda för alla elever när det gäller att förutsäga svårighetsgraden av diagnosen i XL-underdataset var bättre i VaD-diagnoskategorin jämfört med AD (Pr (VAD > AD) = 0.998).

bord 5

Resultaten för dikotoma klinisk diagnoss svårighetsgradsklassificering (AUC; 0.0–1.0) för var och en av de tre bäst presterande inlärarna för båda respektive modelleringsscheman

Modelleringsschema	Logistisk återgång	Naiva Bayes	Stöd Vector Machine
MCI-AD kontra AD	0.7465	0.7810	0.7443
MCI-VaD kontra VaD	0.8033	0.8044	0.8338

Den högsta prestandan för varje modelleringsschema visas i nål (inte nödvändigtvis statistiskt annorlunda än andra inte i nål).

DISKUSSION

Tidig upptäckt av förändringar i kognitiv hälsa är viktigt praktisk nytta i både personlig hälsovård och folkhälsa. Det är faktiskt också mycket hög prioritet i kliniska miljöer för patienter över hela världen. Det gemensamma målet är att uppmärksamma patienter, vårdgivare och vårdgivare och uppmana till tidigare lämplig och kostnadseffektiv behandling och longitudinell vård för dem som börjar uppleva kognitiv försämring. Genom att slå samman våra tre sjukhus/klinik(er) dataunderuppsättningar identifierade vi tre distinkt föredragna elever (med en anmärkningsvärd framstående – Naiva Bayes) för att bygga prediktiva modeller med hjälp av MemTrax prestationsmått som på ett tillförlitligt sätt kan klassificera kognitiv hälsostatus dikotomt (normal kognitiv hälsa eller MCI) vilket skulle indikeras av en MoCA-poäng. Noterbart förbättrades den övergripande klassificeringsprestandan för alla tre elever när våra modeller endast använde de fyra högst rankade funktionerna som huvudsakligen omfattade dessa MemTrax-prestandamått. Dessutom avslöjade vi den underbyggda potentialen för att använda samma elever och MemTrax prestationsmått i ett diagnostiskt stödklassificeringsmodelleringsschema för att särskilja svårighetsgraden av två kategorier av demensdiagnos: AD och VaD.

Minnestestning är central för tidig upptäckt av AD [23, 24]. Det är därför lämpligt att MemTrax är ett acceptabelt, engagerande och enkelt att implementera online screeningtest för episodiskt minne i den allmänna befolkningen [6]. Igenkänningsnoggrannhet och svarstider från denna kontinuerliga prestationsuppgift är särskilt avslöjande när det gäller att identifiera tidiga och utvecklande försämringar och därav följande brister i de neuroplastiska processerna relaterade till inlärning, minne och kognition. Det vill säga, modellerna här som till stor del är baserade på MemTrax prestationsmått är känsliga för och är mer benägna att lätt och med minimal kostnad avslöja biologiska neuropatologiska underskott under det asymptomatiska övergångsstadiet långt före mer betydande funktionell förlust [25]. Ashford et al. undersökte noggrant mönstren och beteenden för igenkänningsminnesnoggrannhet och svarstid hos onlineanvändare som deltog på egen hand med MemTrax [6]. Att respektera att dessa distributioner är avgörande för optimal modellering och utveckling av giltiga och effektiva patientvårdstillämpningar, är att definiera kliniskt tillämpbara igenkännings- och svarstidsprofiler väsentligt för att etablera en värdefull grundreferens för klinisk och forskningsanvändning. Det praktiska värdet av MemTrax vid AD-screening för kognitiv funktionsnedsättning i tidigt skede och differentialdiagnostiskt stöd behöver sedan undersökas närmare i samband med en klinisk miljö där komorbiditeter och kognitiva, sensoriska och motoriska förmågor som påverkar testprestanda kan övervägas. Och för att informera professionellt perspektiv och uppmuntra praktisk klinisk användbarhet, är det först absolut nödvändigt att visa jämförelse med ett etablerat kognitivt hälsobedömningstest, även om det senare kan vara igenkännligt begränsat av besvärlig testlogistik, utbildning och språkavskräckande medel och kulturella influenser [26] . I detta avseende är den fördelaktiga jämförelsen av MemTrax i klinisk effekt med MoCA som vanligtvis påstås vara en branschstandard betydande, särskilt när man väger den större användarvänligheten och patientens acceptans av MemTrax.

Tidigare utforskning som jämför MemTrax med MoCA belyser logiken och preliminära bevis som motiverar vår modellundersökning [8]. Denna tidigare jämförelse förknippade dock bara de två viktiga MemTrax-prestandamåtten vi undersökte med kognitiv status som bestämts av MoCA och definierade respektive intervall och cutoff-värden. Vi fördjupade den kliniska användbarhetsbedömningen av MemTrax genom att utforska en prediktiv modelleringsbaserad metod som skulle ge en mer individualiserad övervägande av andra potentiellt relevanta patientspecifika parametrar. I motsats till andra, fann vi ingen fördel i modellprestanda med hjälp av en utbildningskorrigering (justering) av MoCA-poängen eller i att variera den kognitiva hälsodiskriminerande MoCA-poängtröskeln från den ursprungligen rekommenderade 26 till 23 [12, 15]. Faktum är att fördelen med klassificeringsprestanda gynnade att använda den ojusterade MoCA-poängen och den högre tröskeln.

Nyckelpunkter i klinisk praxis

Maskininlärning är ofta bäst utnyttjad och mest effektiv i prediktiv modellering när data är omfattande och multidimensionella, det vill säga när det finns många observationer och ett åtföljande brett utbud av högvärdiga (bidragande) attribut. Men med dessa aktuella data presterade de filtrerade modellerna med endast fyra utvalda funktioner bättre än de som utnyttjade alla 10 vanliga funktioner. Detta tyder på att vår samlade sjukhusdatauppsättning inte hade de mest kliniskt lämpliga (högt värde) funktionerna för att optimalt klassificera patienterna på detta sätt. Icke desto mindre stödjer den funktionsrankande betoningen på MemTrax nyckelprestandamått – MTx-% C och MTx-RT – starkt att bygga modeller för screening av kognitiva underskott i ett tidigt skede kring detta test som är enkelt, lätt att administrera, låg kostnad och lämpligt avslöjande angående detta test. minnesprestanda, åtminstone just nu som en första skärm för en binär klassificering av kognitiv hälsostatus. Med tanke på den ständigt ökande påfrestningen på leverantörer och sjukvårdssystem bör processer för patientscreening och kliniska applikationer utvecklas på lämpligt sätt med tonvikt på att samla in, spåra och modellera de patientegenskaper och testmått som är mest användbara, fördelaktiga och visat sig effektiva vid diagnostik. och patienthanteringsstöd.

Eftersom de två nyckelmätningarna för MemTrax är centrala i MCI-klassificeringen, hade vår högpresterande elev (Naïve Bayes) en mycket hög prediktiv prestanda i de flesta modeller (AUC över 0.90) med ett sant-positivt till falskt-positivt förhållande nära eller något över 4 : 1. En translationell klinisk applikation med denna inlärare skulle alltså fånga upp (korrekt klassificera) överlägset de flesta av dem med ett kognitivt underskott, samtidigt som det minimerar kostnaderna för att felaktigt klassificera någon med normal kognitiv hälsa som att ha ett kognitivt underskott (falskt positivt) eller saknar den klassificeringen hos de som har ett kognitivt underskott (falskt negativt). Var och en av dessa scenarier med felklassificering kan innebära en otillbörlig psykosocial börda för patienten och vårdgivarna.

Medan vi i de preliminära och fullständiga analyserna använde alla tio elever i varje modelleringsschema, fokuserade vi våra resultat på de tre klassificerare som visade de mest konsekventa starka prestationerna. Detta var också för att, baserat på dessa data, lyfta fram de elever som förväntas prestera pålitligt på en hög nivå i en praktisk klinisk tillämpning för att bestämma kognitiv statusklassificering. Dessutom, eftersom denna studie var avsedd som en inledande undersökning av användbarheten av maskininlärning på kognitiv screening och dessa aktuella kliniska utmaningar, tog vi beslutet att hålla inlärningsteknikerna enkla och generaliserade, med minimal parameterjustering. Vi inser att detta tillvägagångssätt kan ha begränsat potentialen för mer snävt definierade patientspecifika prediktiva förmågor. På samma sätt, medan utbildning av modellerna med endast de bästa funktionerna (filtrerat tillvägagångssätt) informerar oss ytterligare om dessa data (specifika för bristerna i insamlade data och belyser värdet av att optimera dyrbar klinisk tid och resurser), inser vi att det är för tidigt att begränsa omfattningen av modellerna och därför alla (och andra egenskaper) bör övervägas med framtida forskning tills vi har en mer definitiv profil av prioriterade egenskaper som skulle kunna tillämpas på den breda befolkningen. Således inser vi också fullt ut att mer inkluderande och brett representativa data och optimering av dessa och andra modeller skulle vara nödvändiga innan de integreras i en effektiv klinisk tillämpning, särskilt för att tillgodose komorbiditeter som påverkar kognitiv prestation som skulle behöva övervägas i ytterligare klinisk utvärdering.

Användbarheten av MemTrax utvecklades ytterligare genom modellering av sjukdomens svårighetsgrad baserad på separat klinisk diagnos. En bättre övergripande klassificeringsprestanda för att förutsäga svårighetsgraden av VaD (jämfört med AD) var det inte överraskande med tanke på patientprofilens egenskaper i modellerna som är specifika för vaskulär hälsa och strokerisk, dvs hypertoni, hyperlipidemi, diabetes och (naturligtvis) strokehistoria. Även om det hade varit mer önskvärt och passande att ha samma kliniska bedömning utförd på matchade patienter med normal kognitiv hälsa för att träna eleverna med dessa mer inkluderande data. Detta är särskilt motiverat, eftersom MemTrax är avsett att användas i första hand för att tidigt upptäcka ett kognitivt underskott och efterföljande spårning av individuella förändringar. Det är också troligt att den mer önskvärda distributionen av data i VaD-datauppsättningen delvis bidrog till den jämförelsevis bättre modelleringsprestandan. VaD-datauppsättningen var välbalanserad mellan de två klasserna, medan AD-datauppsättningen med mycket färre MCI-patienter inte var det. Särskilt i små datamängder kan även ett fåtal ytterligare instanser göra en mätbar skillnad. Båda perspektiven är rimliga argument som ligger till grund för skillnaderna i modellering av sjukdomens svårighetsgrad. Att proportionellt tillskriva förbättrad prestanda till datauppsättningens numeriska egenskaper eller de inneboende egenskaperna som är specifika för den kliniska presentationen i fråga är dock för tidigt. Icke desto mindre har denna roman visat användbarheten av en MemTrax prediktiv klassificeringsmodell i rollen som kliniskt diagnostiskt stöd ger värdefullt perspektiv och bekräftar strävan efter ytterligare undersökning med patienter över kontinuumet av MCI.

Implementeringen och påvisade användbarheten av MemTrax och dessa modeller i Kina, där språket och kulturen skiljer sig drastiskt från andra regioner med etablerad användbarhet (t.ex. Frankrike, Nederländerna och USA) [7, 8, 27], understryker ytterligare potentialen för utbredd global acceptans och kliniskt värde av en MemTrax-baserad plattform. Detta är ett bevisbart exempel på strävan mot dataharmonisering och utveckling av praktiska internationella normer och modelleringsresurser för kognitiv screening som är standardiserade och lättanpassade för användning över hela världen.

Nästa steg i modellering och tillämpning av kognitiv nedgång

Kognitiv dysfunktion i AD inträffar verkligen på ett kontinuum, inte i diskreta stadier eller steg [28, 29]. Men i denna tidiga fas var vårt mål att först etablera vår förmåga att bygga en modell som innehåller MemTrax som i grunden kan skilja "normalt" från "inte normalt". Mer inkluderande empirisk data (t.ex. hjärnavbildning, genetiska egenskaper, biomarkörer, komorbiditeter och funktionella markörer för komplexa aktiviteter som kräver kognitiva kontroll) [30] över olika globala regioner, befolkningar och åldersgrupper för att träna och utveckla mer sofistikerade (inklusive lämpligt viktade ensemble) modeller för maskininlärning kommer att stödja en högre grad av förbättrad klassificering, det vill säga förmågan att kategorisera grupper av patienter med MCI i mindre och mer definitiva delmängder längs kontinuumet för kognitiv nedgång. Dessutom är samtidiga kliniska diagnoser för individer över regionalt olika patientpopulationer väsentliga för träna effektivt dessa mer inkluderande och förutsägbart robusta modeller. Detta kommer att underlätta mer specifik stratifierad ärendehantering för dem med liknande bakgrund, influenser och mer snävt definierade karakteristiska kognitiva profiler och på så sätt optimera kliniskt beslutsstöd och patientvård.

Mycket av den relevanta kliniska forskningen hittills har riktat sig till patienter med åtminstone mild demens; och i praktiken försöker man alltför ofta patientingripande endast i avancerade stadier. Men eftersom kognitiv försämring börjar långt innan de kliniska kriterierna för demens är uppfyllda, kan en effektivt tillämpad MemTrax-baserad tidig screening uppmuntra lämplig utbildning av individer om sjukdomen och dess utveckling och uppmana till tidigare och mer lägliga insatser. Sålunda kan tidig upptäckt stödja lämpliga engagemang från träning, kost, känslomässigt stöd och förbättrad socialisering till farmakologisk intervention och förstärka patientrelaterade förändringar i beteende och uppfattning som var för sig eller sammantaget skulle kunna mildra eller potentiellt stoppa demensprogression [31, 32] . Dessutom med effektiva tidig screening, kan individer och deras familjer uppmanas att överväga kliniska prövningar eller få rådgivning och annan socialtjänst för att hjälpa till att klargöra förväntningar och avsikter och hantera dagliga uppgifter. Ytterligare validering och utbredd praktisk användbarhet på dessa sätt kan vara avgörande för att mildra eller stoppa utvecklingen av MCI, AD och ADRD för många individer.

Faktum är att den nedre delen av patientens åldersintervall i vår studie inte representerar populationen av traditionella problem med AD. Icke desto mindre understryker medelåldern för varje grupp som används i klassificeringsmodelleringsscheman baserade på MoCA-poäng/tröskelvärde och diagnosens svårighetsgrad (tabell 3) att en klar majoritet (över 80 %) är minst 50 år gammal. Denna fördelning är därför mycket lämplig för generalisering, vilket stöder användbarheten av dessa modeller i befolkningen som karakteriserar de som typiskt drabbas av tidigt debut och spirande neurokognitiv sjukdom på grund av AD och VaD. Nya bevis och perspektiv betonar också de erkända faktorerna (t.ex. högt blodtryck, fetma, diabetes och rökning) som potentiellt kan bidra till högre tidiga vaskulär riskpoäng för vuxna och medelåldern och därav följande subtil vaskulär hjärnskada som utvecklas smygande med tydliga effekter även hos unga vuxna [33–35]. Följaktligen den mest optimala initiala screeningsmöjligheten för att upptäcka tidigt skede kognitiva brister och initiera effektiva förebyggande och interventionsstrategier för att framgångsrikt ta itu med demens kommer att uppstå från att undersöka bidragande faktorer och tidigare indikatorer över åldersspektrumet, inklusive tidig vuxen ålder och potentiellt även barndom (notera relevansen av genetiska faktorer såsom apolipoprotein E från tidig graviditet).

I praktiken är giltiga kliniska diagnoser och kostsamma procedurer för avancerad bildbehandling, genetisk profilering och mätning av lovande biomarkörer inte alltid lätt tillgängliga eller ens genomförbara för många leverantörer. I många fall kan den initiala totala kognitiva hälsostatusklassificeringen behöva härledas från modeller som använder andra enkla mätvärden som patienten tillhandahåller (t.ex. självrapporterad minnesproblem, nuvarande mediciner och rutinmässiga aktivitetsbegränsningar) och vanliga demografiska egenskaper [7]. Register som University of California Brain Hälsa Registry (https://www.brainhealthregistry.org/) [27] och andra med en inneboende större bredd av självrapporterade symtom, kvalitativa mätningar (t.ex. sömn och daglig kognition), mediciner, hälsotillstånd och historia, och mer detaljerad demografi kommer att vara avgörande för att utveckla och validera den praktiska tillämpningen av dessa mer primitiva modeller i kliniken. Vidare kan ett test som MemTrax, som har visat användbarhet för att bedöma minnesfunktion, faktiskt ge en väsentligt bättre uppskattning av AD-patologi än biologiska markörer. Med tanke på att kärnan i AD-patologi är störningar av neuroplasticitet och en överväldigande komplex förlust av synapser, vilket visar sig som episodiskt minnesdysfunktion, kan ett mått som bedömer episodiskt minne faktiskt ge en bättre uppskattning av AD patologisk börda än biologiska markörer hos den levande patienten [36].

Med alla prediktiva modeller – oavsett om de kompletteras med komplexa och inkluderande data från den senaste tekniken och förfinade kliniska insikter över flera domäner eller de som är begränsade till mer grundläggande och lättillgänglig information som är karakteristisk för befintliga patientprofiler – den erkända fördelen med artificiell intelligens och maskininlärning är att de resulterande modellerna kan syntetisera och induktivt "lära sig" från relevant ny data och perspektiv som tillhandahålls av pågående applikationsanvändning. Efter praktisk teknologiöverföring, eftersom modellerna här (och som ska utvecklas) tillämpas och berikas med fler fall och relevanta data (inklusive patienter med komorbiditeter som kan uppstå med efterföljande kognitiv försämring), kommer prediktionsprestanda och kognitiv hälsoklassificering att bli mer robust, vilket resulterar i ett effektivare kliniskt beslutsstöd. Denna utveckling kommer att realiseras mer fullständigt och praktiskt genom att bädda in MemTrax i skräddarsydda (inriktade mot de tillgängliga funktionerna) plattformar som vårdgivare kan använda i realtid på kliniken.

Viktigt för valideringen och användbarheten av MemTrax-modellen för diagnostiskt stöd och patientvård är mycket eftertraktade meningsfulla longitudinella data. Genom att observera och registrera de samtidiga förändringarna (om några) i klinisk status över ett adekvat intervall av normal till tidigt stadium av MCI, kan modellerna för lämplig pågående bedömning och klassificering tränas och modifieras när patienten åldras och behandlas. Det vill säga, upprepad användning kan hjälpa till med longitudinell spårning av milda kognitiva förändringar, interventionseffektivitet och upprätthålla informerad stratifierad vård. Detta tillvägagångssätt ligger mer i linje med klinisk praxis och patient- och fallhantering.

Begränsningar

Vi uppskattar utmaningen och värdet i att samla in rena kliniska data i en kontrollerad klinik/sjukhusmiljö. Icke desto mindre skulle det ha stärkt vår modellering om våra datauppsättningar inkluderade fler patienter med gemensamma egenskaper. Dessutom, specifikt för vår diagnosmodellering, skulle det ha varit mer önskvärt och passande att ha samma kliniska bedömning utförd på matchade patienter med normal kognitiv hälsa för att träna eleverna. Och som understryks av den högre klassificeringsprestanda med den filtrerade datamängden (endast de fyra högst rankade funktionerna), mer generella och kognitiva hälsomått/indikatorer skulle sannolikt ha förbättrats modelleringsprestanda med ett större antal gemensamma funktioner för alla patienter.

Vissa deltagare kan samtidigt ha upplevt andra sjukdomar som kunde ha föranlett övergående eller kroniska kognitiva brister. Förutom XL-underdatasetet där patienterna diagnostiskt klassificerades som att de hade antingen AD eller VaD, samlades/rapporterades inte komorbiditetsdata i YH-patientpoolen, och den överlägset dominerande rapporterade komorbiditeten i KM-subdataset var diabetes. Det kan dock diskuteras att inkludering av patienter i våra modelleringsscheman med komorbiditeter som kan föranleda eller förvärra en nivå av kognitiv brist och en därav följande lägre MemTrax-prestanda skulle vara mer representativt för den verkliga patientpopulationen för denna mer generaliserade tidiga kognitiva screening och modelleringsmetod. När vi går framåt är noggrann diagnos av komorbiditeter som potentiellt påverkar kognitiva prestationer i stort sett fördelaktigt för att optimera modellerna och resulterande patientvårdstillämpningar.

Slutligen använde YH- och KM-subdatasetpatienterna en smartphone för att ta MemTrax-testet, medan ett begränsat antal av XL-subdatasetpatienterna använde en iPad och resten använde en smartphone. Detta kunde ha introducerat en mindre enhetsrelaterad skillnad i MemTrax-prestanda för MoCA-klassificeringsmodelleringen. Skillnader (om några) i MTx-RT, till exempel, mellan enheter skulle dock sannolikt vara försumbara, särskilt när varje deltagare får ett "övningstest" strax före den inspelade testprestanda. Ändå kan användbarheten av dessa två handhållna enheter potentiellt äventyra direkt jämförelse med och/eller integration med andra MemTrax-resultat där användare svarade på upprepade bilder genom att röra mellanslagstangenten på ett datortangentbord.

Nyckelpunkter på MemTrax prediktiva modelleringsverktyg

• • Våra högpresterande prediktiva modeller som omfattar utvalda MemTrax-prestandamått kan på ett tillförlitligt sätt klassificera kognitiv hälsostatus (normal kognitiv hälsa eller MCI) vilket skulle indikeras av det allmänt erkända MoCA-testet.
• • Dessa resultat stödjer integrering av utvalda MemTrax prestationsmått i en klassificeringsapplikation för prediktiv modellscreening för kognitiv funktionsnedsättning i tidiga skeden.
• • Vår klassificeringsmodellering avslöjade också potentialen för att använda MemTrax-prestanda i applikationer för att urskilja svårighetsgraden av demensdiagnos.

Dessa nya fynd etablerar definitiva bevis som stöder användbarheten av maskininlärning för att bygga förbättrade robusta MemTrax-baserade klassificeringsmodeller för diagnostiskt stöd i effektiv klinisk fallhantering och patientvård för individer som upplever kognitiv funktionsnedsättning.

TACK

Vi erkänner J. Wesson Ashfords, Curtis B. Ashfords och kollegors arbete för att utveckla och validera den online kontinuerliga erkännandeuppgiften och verktyget (MemTrax) som används här och vi är tacksamma för de många patienter med demens som bidrog till den kritiska grundforskningen . Vi tackar också Xianbo Zhou och hans kollegor på SJN Biomed LTD, hans kollegor och medarbetare på sjukhusen/klinikernas platser, särskilt Drs. M. Luo och M. Zhong, som hjälpte till med rekrytering av deltagare, schemaläggning av tester och insamling, inspelning och front-end-hantering av data, och de frivilliga deltagare som donerade sin värdefulla tid och åtog sig att ta testerna och tillhandahålla värderade data för oss att utvärdera i denna studie. Detta studien stöddes delvis av MD Scientific Research Program för Kunming Medical University (bidrag nr 2017BS028 till XL) och forskningsprogrammet för Yunnan Science and Technology Department (bidrag nr 2019FE001 (-222) till XL).

J. Wesson Ashford har lämnat in en patentansökan för användningen av det specifika paradigmet för kontinuerligt erkännande som beskrivs i denna artikel för allmän test av minne.

MemTrax, LLC är ett företag som ägs av Curtis Ashford, och detta företag hanterar minnestestning systemet som beskrivs i denna artikel.

Författarnas upplysningar tillgängliga online (https://www.j-alz.com/manuscript-disclosures/19-1340r2).

REFERENSER

[1] Alzheimers Association (2016) 2016 Alzheimers sjukdom fakta och figurer. Alzheimers Dement 12, 459–509.
[2] Gresenz CR , Mitchell JM , Marrone J , Federoff HJ (2019) Effekt av tidigt stadium Alzheimers sjukdom på hushållens ekonomiska utfall. Hälsoekonomi 29, 18–29.
[3]	Foster NL , Bondi MW , Das R , Foss M , Hershey LA , Koh S , Logan R , Poole C , Shega JW , Sood A , Thothala N , Wicklund M , Yu M , Bennett A , Wang D (2019) Kvalitetsförbättring i neurologi: Mild kognitiv funktionsnedsättning kvalitetsmätsats. Neurology 93, 705–713.
[4] Tong T , Thokala P , McMillan B , Ghosh R , Brazier J (2017) Kostnadseffektivitet för att använda kognitiva screeningtest för att upptäcka demens och lindrig kognitiv funktionsnedsättning i primärvården. Int J Geriatr Psychiatry 32, 1392–1400.
[5] Ashford JW, Gere E, Bayley PJ (2011) Att mäta minne i stora gruppmiljöer med ett kontinuerligt igenkänningstest. J Alzheimers Dis 27, 885-895.
[6]	Ashford JW, Tarpin-Bernard F, Ashford CB, Ashford MT (2019) En datoriserad kontinuerlig igenkänningsuppgift för mätning av episodiskt minne. J Alzheimers Dis 69, 385-399.
[7]	Bergeron MF, Landset S, Tarpin-Bernard F, Ashford CB, Khoshgoftaar TM, Ashford JW (2019) Episod-minnesprestanda i maskininlärningsmodellering för att förutsäga klassificering av kognitiv hälsostatus. J Alzheimers Dis 70, 277–286.
[8] van der Hoek MD , Nieuwenhuizen A , Keijer J , Ashford JW (2019) The MemTrax test jämfört med Montreals kognitiva bedömningsuppskattning av mild kognitiv funktionsnedsättning. J Alzheimers Dis 67, 1045-1054.
[9]	Falcone M, Yadav N, Poellabauer C, Flynn P (2013) Användning av isolerade vokaljud för klassificering av mild traumatisk hjärnskada. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, BC, s. 7577–7581.
[10]	Dabek F, Caban JJ (2015) Utnyttja big data för att modellera sannolikheten för att utveckla psykologiska tillstånd efter en hjärnskakning. Procedia Comput Sci 53, 265–273.
[11]	Climent MT , Pardo J , Munoz-Almaraz FJ , Guerrero MD , Moreno L (2018) Beslutsträd för tidig upptäckt av kognitiv funktionsnedsättning av kommunala farmaceuter. Front Pharmacol 9, 1232.
[12]	Nasreddine ZS, Phillips NA, Bedirian V, Charbonneau S, Whitehead V, Collin I, Cummings JL, Chertkow H (2005) The Montreal Cognitive Assessment, MoCA: A short screening tool for mild cognitive impairment. J Am Geriatr Soc 53, 695–699.
[13]	Yu J, Li J, Huang X (2012) Pekingversionen av den kognitiva bedömningen i Montreal som ett kort screeningverktyg för mild kognitiv funktionsnedsättning: En samhällsbaserad studie. BMC Psychiatry 12, 156.
[14]	Chen KL , Xu Y , Chu AQ , Ding D , Liang XN , Nasreddine ZS , Dong Q , Hong Z , Zhao QH , Guo QH (2016) Validering av den kinesiska versionen av Montreal kognitiv bedömning grundläggande för screening av mild kognitiv funktionsnedsättning. J Am Geriatr Soc 64, e285–e290.
[15]	Carson N , Leach L , Murphy KJ (2018) En ny granskning av Montreal Cognitive Assessment (MoCA) cutoff-poäng. Int J Geriatr Psychiatry 33, 379–388.
[16]	American Psychiatric Association (2013) Task Force Diagnostisk och statistisk manual för psykiska störningar: DSM-5™, American Psychiatric Publishing, Inc., Washington, DC.
[17]	Pytonorm. Python Software Foundation, http://www.python.org, tillgänglig 15 november 2019.
[18]	R Core Group, R: Ett språk och en miljö för statistisk beräkning R Foundation for Statistical Computing, Wien, Österrike. https://www.R-project.org/, 2018, Åtkomst 15 november 2019.
[19]	Benavoli A , Corani G , Demšar J , Zaffalon M (2017) Dags för en förändring: En handledning för att jämföra flera klassificerare genom Bayesiansk analys. J Mach Learn Res 18, 1–36.
[20]	Frank E , Hall MA , Witten IH (2016) WEKA Workbench. I Databehandling: praktiska maskininlärningsverktyg och teknikerFrank E, Hall MA, Witten IH, Pal CJ, red. Morgan Kaufmann https://www.cs.waikato.ac.nz/ml/weka/Witten_et_al_2016_appendix.pdf
[21]	Bergeron MF , Landset S , Maugans TA , Williams VB , Collins CL , Wasserman EB , Khoshgoftaar TM (2019) Maskininlärning i modellering av hjärnskakningssymptom för gymnasieidrott. Med Sci Sports Exerc 51, 1362–1371.
[22]	Van Hulse J, Khoshgoftaar TM, Napolitano A (2007) Experimentella perspektiv på lärande från obalanserade data. I Proceedings från den 24:e internationella konferensen om maskininlärning, Corvalis, Oregon, USA, s. 935-942.
[23]	Ashford JW, Kolm P, Colliver JA, Bekian C, Hsu LN (1989) Alzheimer patient evaluation and the mini-mental state: Item characteristic curve analysis.P. J Gerontol 44, 139–146.
[24] Ashford JW, Jarvik L (1985) Alzheimers sjukdom: Predisponerar neurons plasticitet för axonal neurofibrillär degeneration? N Engl J Med 313, 388–389.
[25] Jack CR Jr , Therneau TM , Weigand SD , ​​Wiste HJ , Knopman DS , Vemuri P , Lowe VJ , Mielke MM , Roberts RO , Machulda MM , Graff-Radford J , Jones DT , Schwarz CG , Gunter JL , , Rocca WA, Petersen RC (2019) Prevalens av biologiskt kontra kliniskt definierade Alzheimer-spektrumenheter med hjälp av National Institute on Aging-Alzheimers Föreningsforskning ramverk. JAMA Neurol 76, 1174–1183.
[26] Zhou X , Ashford JW (2019) Framsteg inom screeninginstrument för Alzheimers sjukdom. Åldrande Med 2, 88–93.
[27] Weiner MW , Nosheny R , Camacho M , Truran-Sacrey D , Mackin RS , Flenniken D , Ulbricht A , Insel P , Finley S , Fockler J , Veitch D (2018) Brain Hälsa Registry: En internetbaserad plattform för rekrytering, bedömning och longitudinell övervakning av deltagare för neurovetenskapliga studier. Alzheimers Dement 14, 1063–1076.
[28] Ashford JW, Schmitt FA (2001) Modellering av tidsförloppet för Alzheimers demens. Curr Psychiatry Rep 3, 20–28.
[29]	Li X , Wang X , Su L , Hu X , Han Y (2019) Sino Longitudinal Study on Cognitive Decline (SILCODE): Protokoll för en kinesisk longitudinell observationsstudie för att utveckla riskprediktionsmodeller för konvertering till mild kognitiv funktionsnedsättning hos individer med subjektiv kognitiv funktion. nedgång. BMJ Open 9, e028188.
[30] Tarnanas I , Tsolaki A , Wiederhold M , Wiederhold B , Tsolaki M (2015) Femårig biomarkörprogressionsvariabilitet för Alzheimers sjukdom demens förutsägelse: Kan en komplex instrumentell verksamhet i det dagliga livet fylla i luckorna? Alzheimers Dement (Amst) 1, 521–532.
[31] McGurran H , Glenn JM , Madero EN , Bott NT (2019) Förebyggande och behandling av Alzheimers sjukdom: Biologiska mekanismer för träning. J Alzheimers Dis 69, 311-338.
[32] Mendiola-Precoma J , Berumen LC , Padilla K , Garcia-Alcocer G (2016) Therapies for förebyggande och behandling av Alzheimers sjukdom. Biomed Res Int 2016, 2589276.
[33]	Lane CA , Barnes J , Nicholas JM , Sudre CH , Cash DM , Malone IB , Parker TD , Keshavan A , Buchanan SM , Keuss SE , James SN , Lu K , Murray-Smith H , Wong A , Gordon E , Coath W , Modat M, Thomas D, Richards M, Fox NC, Schott JM (2020) Samband mellan vaskulär risk över vuxen ålder och hjärnpatologi i sena livet: bevis från en brittisk födelsekohort. JAMA Neurol 77, 175–183.
[34]	Seshadri S (2020) Förebyggande av demenstänkande bortom åldern och amyloidboxar. JAMA Neurol 77, 160–161.
[35]	Maillard P, Seshadri S, Beiser A, Himali JJ, Au R, Fletcher E, Carmichael O, Wolf PA, DeCarli C (2012) Effekter av systoliskt blodtryck på vit materiaintegritet hos unga vuxna i Framingham Heart Study: A cross -sektionsstudie. Lancet Neurol 11, 1039–1047.
[36] Fink HA, Linskens EJ, Silverman PC, McCarten JR, Hemmy LS, Ouellette JM, Greer NL, Wilt TJ, Butler M (2020) Noggrannhet av biomarkörtestning för neuropatologiskt definierade Alzheimers sjukdom hos äldre vuxna med demens. Ann Intern Med 172, 669–677.

Anknytningar: [a] SIVOTEC Analytics, Boca Raton, FL, USA | [b] Institutionen för data- och elektroteknik och datavetenskap, Florida Atlantic University, Boca Raton, FL, USA | [c] SJN Biomed LTD, Kunming, Yunnan, Kina | [d] Centrum för Alzheimers forskning, Washington Institute of Clinical Research, Washington, DC, USA | [e] Institutionen för rehabiliteringsmedicin, det första anslutna sjukhuset vid Kunming Medical University, Kunming, Yunnan, Kina | [f] Neurologiska avdelningen, Dehong People's Hospital, Dehong, Yunnan, Kina | [g] Neurologiska avdelningen, det första anslutna sjukhuset vid Kunming Medical University, Wuhua-distriktet, Kunming, Yunnan-provinsen, Kina | [h] War-Related Illness and Injury Study Center, VA Palo Alto Hälsovård System, Palo Alto, CA, USA | [i] Institutionen för psykiatri och beteendevetenskap, Stanford University School of Medicine, Palo Alto, CA, USA

Korrespondens: [*] Korrespondens till: Michael F. Bergeron, PhD, FACSM, SIVOTEC Analytics, Boca Raton Innovation Campus, 4800 T-Rex Avenue, Suite 315, Boca Raton, FL 33431, USA. E-post: mbergeron@sivotecanalytics.com.; Xiaolei Liu, MD, avdelningen för neurologi, First Affiliated Hospital of Kunming Medical University, 295 Xichang Road, Wuhua District, Kunming, Yunnan Province 650032, Kina. E-post: ring@vip.163.com.

Nyckelord: Åldrande, Alzheimers sjukdom, demens, massscreening