Užitečnost MemTrax a modelování strojového učení při klasifikaci mírné kognitivní poruchy
Výzkumný článek
Autoři: Bergeron, Michael F. | Landset, Sara | Zhou, Xianbo | Ding, Tao | Khoshgoftaar, Taghi M. | Zhao, Feng | Du, Bo | Chen, Xinjie | Wang, Xuan | Zhong, Lianmei | Liu, Xiaolei| Ashford, J. Wesson
DOI: 10.3233/JAD-191340
Časopis: Journal of Alzheimerova choroba, obj. 77, č. 4, str. 1545-1558, 2020
Abstraktní
Souvislosti:
Široký výskyt a prevalence Alzheimerova nemoc a mírná kognitivní porucha (MCI) vyvolala naléhavou výzvu k výzkumu, který by potvrdil včasnou detekci kognitivního screeningu a hodnocení.
Cíl:
Naším primárním výzkumným cílem bylo zjistit, zda vybrané výkonnostní metriky MemTrax a relevantní demografické charakteristiky a charakteristiky zdravotního profilu mohou být efektivně využity v prediktivních modelech vyvinutých pomocí strojového učení ke klasifikaci kognitivního zdraví (normální versus MCI), jak by naznačovalo Montrealské kognitivní hodnocení (MoCA).
Metody:
Provedli jsme průřezovou studii na 259 dospělých pacientech z neurologie, paměťové kliniky a interního lékařství, kteří byli vybráni ze dvou nemocnice v Číně. Každý pacient dostal MoCA v čínském jazyce a sám si aplikoval online epizodu MemTrax s nepřetržitým rozpoznáváním online test paměti ten samý den. Modely prediktivní klasifikace byly vytvořeny pomocí strojového učení s 10násobnou křížovou validací a výkonnost modelu byla měřena pomocí AUC (Area Under the Receiver Operating Characteristic Curve). Modely byly vytvořeny pomocí dvou výkonnostních metrik MemTrax (procento správnosti, doba odezvy) spolu s osmi běžnými demografickými a osobními charakteristikami.
výsledky:
Při porovnání studentů napříč vybranými kombinacemi skóre a prahů MoCA byl Naïve Bayes obecně nejvýkonnějším studentem s celkovým klasifikačním výkonem 0.9093. Kromě toho mezi třemi nejlepšími studenty byla výkonnost klasifikace založená na MemTrax celkově lepší při použití pouze čtyř nejlepších vlastností (0.9119) ve srovnání s použitím všech 10 společných vlastností (0.8999).
Závěr:
Výkon MemTrax lze efektivně využít v prediktivním modelu klasifikace strojového učení screeningová aplikace pro detekci raného stádia kognitivní poruchy.
ÚVOD
Rozpoznaná (ač nedostatečně diagnostikovaná) široce rozšířená incidence a prevalence a paralelně eskalující zdravotní, sociální a veřejná zdraví náklady a zátěž Alzheimerovou chorobou (AD) a mírnou kognitivní poruchou (MCI) jsou pro všechny zúčastněné stále více zatěžující [1, 2]. Tento znepokojivý a buržoazní scénář vyvolal naléhavou výzvu k ověření výzkumu včasné odhalení Nástroje kognitivního screeningu a hodnocení pro pravidelné praktické využití v osobních a klinických podmínkách pro starší pacienty napříč různými regiony a populacemi [3]. Tyto nástroje musí rovněž zajistit bezproblémový převod informativních výsledků do elektronických zdravotních záznamů. Přínosy budou realizovány informováním pacientů a asistencí lékařů při dřívějším rozpoznání významných změn, což umožní pohotovější a včasnější stratifikaci, implementaci a sledování vhodné individualizované a nákladově efektivnější léčby a péče o pacienty pro ty, kteří začínají zažívat kognitivní pokles [3, 4].
Počítačový nástroj MemTrax (https://memtrax.com) je jednoduché a stručné kontinuální hodnocení rozpoznávání, které lze provádět samostatně online za účelem měření náročného výkonu epizodické paměti, kdy uživatel reaguje na opakované obrázky a nikoli na úvodní prezentaci [5, 6]. Nedávný výzkum a výsledné praktické důsledky začínají progresivně a kolektivně prokazovat klinickou účinnost MemTraxu v časném screeningu AD a MCI [5–7]. Nicméně přímé srovnání klinické užitečnosti s existující kognitivní zdraví je zaručeno, že hodnocení a konvenční standardy informují profesionální perspektivu a potvrzují užitečnost MemTrax při včasné detekci a diagnostické podpoře. van der Hoek a kol. [8] porovnali vybrané výkonnostní metriky MemTrax (rychlost reakce a procento správné) s kognitivním stavem stanoveným Montrealem Kognitivní hodnocení (MoCA). Tato studie se však omezila na spojení těchto výkonnostních metrik s charakterizací kognitivního stavu (jak bylo stanoveno MoCA) a definováním relativních rozsahů a hraničních hodnot. V souladu s tím, abychom toto šetření rozšířili a zlepšili výkonnost a účinnost klasifikace, naší primární výzkumnou otázkou bylo:
- Může jednotlivec vybrané metriky výkonu MemTrax a relevantní demografické údaje a zdraví profil být vlastnosti efektivně využity v prediktivním modelu vyvinutém pomocí strojového učení k dichotomické klasifikaci kognitivního zdraví (normální versus MCI), jak by naznačovalo něčí skóre MoCA?
Vedle toho jsme chtěli vědět:
- Může být model strojového učení MemTrax založený na výkonu, včetně stejných funkcí, efektivně aplikován na pacienta k předpovědi závažnosti (mírné versus těžké) v rámci vybraných kategorií kognitivních poruch, jak by bylo určeno nezávislou klinickou diagnózou?
Nástup a vyvíjející se praktické využití umělé inteligence a strojového učení ve screeningu/detekci již prokázaly výrazné praktické výhody, přičemž prediktivní modelování účinně vede klinické lékaře při náročném hodnocení kognitivního/mozkového zdraví a managementu pacienta. V naší studii jsme zvolili podobný přístup v modelování klasifikace MCI a diskriminaci závažnosti kognitivního poškození, jak potvrdila klinická diagnóza ze tří datových souborů představujících vybrané dobrovolné hospitalizované a ambulantní pacienty ze dvou nemocnic v Číně. Pomocí prediktivního modelování strojového učení jsme identifikovali nejvýkonnější studenty z různých kombinací datové sady/studenta a seřadili funkce, které nás vedou při definování klinicky nejpraktičtějších modelových aplikací.
Naší hypotézou bylo, že ověřený model založený na MemTrax lze použít ke klasifikaci kognitivního zdraví dichotomicky (normální nebo MCI) na základě prahového kritéria souhrnného skóre MoCA a že podobný prediktivní model MemTrax lze účinně použít při rozlišování závažnosti ve vybraných kategoriích. klinicky diagnostikována kognitivní porucha. Demonstrace očekávaných výsledků by byla nápomocná při podpoře účinnosti MemTrax jako screeningu včasné detekce kognitivního poklesu a klasifikace kognitivní poruchy. Příznivé srovnání s průmyslovým předpokládaným standardem doplněným o mnohem snadnější a rychlejší použití by mělo vliv na pomoc klinickým lékařům osvojit si tento jednoduchý, spolehlivý a dostupný nástroj jako počáteční obrazovku při odhalování raného (včetně prodromálního) stádia kognitivních deficitů. Takový přístup a užitečnost by tak mohly podnítit včasnější a lépe stratifikovanou péči a intervenci o pacienty. Tyto prozíravé poznatky a vylepšené metriky a modely by také mohly být užitečné při zmírňování nebo zastavení progrese demence, včetně AD a demencí souvisejících s AD (ADRD).
MATERIÁLY A METODY
Studovaná populace
Mezi lednem 2018 a srpnem 2019 byl dokončen průřezový výzkum u pacientů rekrutovaných ze dvou nemocnic v Číně. Podávání MemTraxu [5] jednotlivcům ve věku 21 let a více a sběr a analýza těchto údajů byly přezkoumány a schváleny a spravovány v souladu s etickými standardy Člověk Výbor pro ochranu předmětů Stanfordské univerzity. MemTrax a všechny ostatní testy pro tuto celkovou studii byly provedeny v souladu s Helsinskou deklarací z roku 1975 a schváleny Institutional Review Board První přidružené nemocnice Kunmingské lékařské univerzity v Kunmingu, Yunnan, Čína. Každému uživateli bylo poskytnuto informovaný souhlas formulář si přečíst/zkontrolovat a poté dobrovolně souhlasit s účastí.
Účastníci byli rekrutováni ze skupiny ambulantních pacientů na neurologické klinice v nemocnici Yanhua (poddatový soubor YH) a paměťová klinika v First Affiliated Hospital of Kunming Medical Univerzita (XL dílčí datový soubor) v Pekingu, Čína. Účastníci byli také rekrutováni z neurologie (dílčí datový soubor XL) a interního lékařství (dílčí datový soubor KM) v First Affiliated Hospital of Kunming Medical University. Kritéria zařazení zahrnovala 1) muže a ženy ve věku alespoň 21 let, 2) schopnost mluvit čínsky (mandarínsky) a 3) schopnost porozumět verbálním a písemným pokynům. Kritéria vyloučení byly poruchy zraku a motoriky, které účastníkům bránily v dokončení Test MemTrax, stejně jako neschopnost porozumět konkrétním testovacím pokynům.
Čínská verze MemTrax
On-line Testovací platforma MemTrax byla přeložena do čínštiny (URL: https://www.memtrax.com.cn) a dále přizpůsobené k použití prostřednictvím WeChat (Shenzhen Tencent Computer Systems Co. LTD., Shenzhen, Guangdong, Čína) pro vlastní správu. Data byla uložena na cloudovém serveru (Ali Cloud) umístěném v Číně a licencována od Alibaba (Alibaba Technology Co. Ltd., Hangzhou, Zhejiang, Čína) společností SJN Biomed LTD (Kunming, Yunnan, Čína). Konkrétní podrobnosti o MemTrax a kritériích platnosti testu zde použité byly popsány dříve [6]. Test byl pacientům poskytnut bezplatně.
Studijní postupy
Pro hospitalizované a ambulantní pacienty je k dispozici obecný papírový dotazník pro sběr demografických a osobních údajů, jako je věk, pohlaví, roky vzdělání, povolání, živobytí osamoceně nebo s rodinou a anamnéza byla spravována členem studijního týmu. Po vyplnění dotazníku byly provedeny testy MoCA [12] a MemTrax (nejprve MoCA), přičemž mezi testy nebylo více než 20 minut. Procentuální správnost MemTrax (MTx-% C), průměrná doba odezvy (MTx-RT) a datum a čas testování byly zaznamenány na papír členem studijního týmu pro každého testovaného účastníka. Vyplněný dotazník a výsledky MoCA byly nahrány do excelové tabulky výzkumníkem, který testy administroval, a ověřeny kolegou před uložením excelových souborů pro analýzy.
Test MemTrax
Online test MemTrax zahrnoval 50 obrázků (25 jedinečných a 25 opakujících se; 5 sad 5 obrázků běžných scén nebo objektů) zobrazených ve specifickém pseudonáhodném pořadí. Účastník by se (podle pokynů) dotkl tlačítka Start na obrazovce, aby zahájil test a začal prohlížet sérii snímků a znovu se co nejrychleji dotkl snímku na obrazovce, kdykoli se objeví opakovaný snímek. Každý obrázek se objevil na 3 s nebo dokud se nedotkl obrázek na obrazovce, což vyvolalo okamžitou prezentaci dalšího obrázku. Pomocí vnitřních hodin místního zařízení bylo MTx-RT pro každý snímek určeno podle času, který uplynul od prezentace snímku do okamžiku, kdy se účastník dotkl obrazovky v reakci na indikaci rozpoznání obrazu jako obrazu, který již byl zobrazen. během testu. MTx-RT byl zaznamenán pro každý snímek, přičemž celé 3 s zaznamenané indikovaly žádnou odezvu. MTx-% C bylo vypočítáno, aby indikovalo procento opakovaných a počátečních snímků, na které uživatel správně reagoval (skutečně pozitivní + skutečně negativní děleno 50). Další podrobnosti o administraci a implementaci MemTrax, snížení dat, neplatná data nebo data „žádná odezva“ a analýzy primárních dat jsou popsány jinde [6].
Test MemTrax byl podrobně vysvětlen a účastníkům byl v nemocničním prostředí poskytnut cvičný test (s jedinečnými obrázky jinými než těmi, které byly použity v testu pro záznam výsledků). Účastníci dílčích datových sad YH a KM provedli test MemTrax na chytrém telefonu, který byl nahrán s aplikací na WeChat; zatímco omezený počet pacientů z dílčí datové sady XL používal iPad a zbytek používal chytrý telefon. Všichni účastníci absolvovali test MemTrax s nenápadným pozorováním výzkumníka studie.
Montrealské kognitivní hodnocení
Pekingská verze čínské MoCA (MoCA-BC) [13] byla administrována a hodnocena vyškolenými výzkumníky podle oficiálních testovacích pokynů. Vhodně se ukázalo, že MoCA-BC je spolehlivý kognitivní test screening na všech úrovních vzdělání u čínských starších dospělých [14]. Správa každého testu trvala přibližně 10 až 30 minut v závislosti na kognitivních schopnostech příslušného účastníka.
Modelování klasifikace MoCA
K dispozici bylo celkem 29 použitelných funkcí, včetně dvou MemTrax otestujte metriky výkonu a 27 funkcí souvisejících s demografickými údaji a zdravím informace pro každého účastníka. Jako výsledek bylo použito souhrnné skóre testu MoCA každého pacienta kognitivní screening „benchmark“ pro trénování našich prediktivních modelů. Vzhledem k tomu, že k vytvoření označení třídy byl použit MoCA, nemohli jsme použít souhrnné skóre (nebo jakékoli skóre podmnožiny MoCA) jako nezávislou funkci. Provedli jsme předběžné experimenty, ve kterých jsme modelovali (klasifikování kognitivního zdraví definovaného MoCA) původní tři dílčí datové soubory nemocnice/kliniky jednotlivě a poté jsme je spojili pomocí všech funkcí. Všechny stejné datové prvky však nebyly shromážděny v každé ze čtyř klinik reprezentujících tři dílčí soubory dat; mnoho našich funkcí v kombinované datové sadě (při použití všech funkcí) tedy mělo vysoký výskyt chybějících hodnot. Poté jsme vytvořili modely s kombinovaným souborem dat s použitím pouze společných funkcí, což vedlo ke zlepšení výkonu klasifikace. Pravděpodobně to bylo vysvětleno kombinací více instancí, se kterými je možné pracovat, zkombinováním tří dílčích souborů údajů o pacientech a žádnými funkcemi s nepatřičnou převahou chybějících hodnot (pouze jedna funkce v kombinované datové sadě, typ práce, měla nějaké chybějící hodnoty, což ovlivnilo pouze tři případy pacientů), protože byly zahrnuty pouze společné rysy zaznamenané na všech třech místech. Zejména jsme neměli konkrétní kritérium odmítnutí pro každou funkci, která nakonec nebyla zahrnuta do kombinované datové sady. V našem předběžném modelování kombinované datové sady jsme však nejprve použili všechny funkce z každého ze tří samostatných dílčích datových souborů pacientů. To obecně vedlo k výkonu modelu, který byl měřitelně nižší než původní předběžné modelování na každém jednotlivém dílčím souboru dat. Kromě toho, zatímco klasifikační výkon modelů vytvořených pomocí všech funkcí byl povzbudivý, u všech studentů a klasifikačních schémat se výkon zlepšil u dvojnásobného počtu modelů, když se používaly pouze společné funkce. Ve skutečnosti mezi těmi, kteří se nakonec stali našimi nejlepšími studenty, se všechny modely kromě jednoho zlepšily odstraněním neobvyklých funkcí.
Konečný soubor souhrnných dat (YH, XL a KM dohromady) zahrnoval 259 instancí, z nichž každá představovala jedinečného účastníka, který absolvoval testy MemTrax i MoCA. Bylo zde 10 sdílených nezávislých funkcí: Metriky výkonu MemTrax: MTx-% C a střední MTx-RT; údaje o demografické a lékařské anamnéze: věk, pohlaví, roky vzdělání, typ práce (modrý límeček/bílý límeček), sociální podpora (zda testovaný žije sám nebo s rodinou) a odpovědi ano/ne, zda měl uživatel anamnéza diabetu, hyperlipidémie nebo traumatického poranění mozku. Dvě další metriky, agregované skóre MoCA a agregované skóre MoCA upravené pro roky vzdělávání [12], byly použity samostatně k vytvoření závislých klasifikačních štítků, čímž vznikla dvě odlišná schémata modelování, která se použijí na náš kombinovaný soubor dat. Pro každou verzi (upravenou a neupravenou) skóre MoCA byla data opět samostatně modelována pro binární klasifikaci pomocí dvou různých prahových hodnot kritéria – původně doporučené [12] a alternativní hodnoty používané a podporované ostatními [8, 15]. V alternativním prahovém klasifikačním schématu byl pacient považován za pacienta s normálním kognitivním zdravím, pokud dosáhl ≥23 v testu MoCA a měl MCI, pokud bylo skóre 22 nebo nižší; zatímco v původním doporučeném klasifikačním formátu musel pacient dosáhnout 26 nebo lepšího skóre v MoCA, aby mohl být označen jako pacient s normálním kognitivním zdravím.
Filtrovaná data pro modelování klasifikace MoCA
Dále jsme zkoumali klasifikaci MoCA pomocí čtyř běžně používaných technik hodnocení vlastností: Chi-Squared, Gain Ratio, Information Gain a Symmetrical Uncertainty. Pro prozatímní perspektivu jsme aplikovali hodnotitele na celý kombinovaný soubor dat pomocí každého z našich čtyř modelovacích schémat. Všichni hodnotitelé se shodli na stejných hlavních vlastnostech, tj. věku, počtu let vzdělání a obou výkonnostních metrikách MemTrax (MTx-% C, střední MTx-RT). Poté jsme modely přestavěli pomocí každé techniky výběru funkcí, abychom modely trénovali pouze na čtyřech nejlepších funkcích (viz Výběr funkcí níže).
Výsledných posledních osm variant schémat modelování klasifikace skóre MoCA je uvedeno v tabulce 1.
stůl 1
Souhrn variací schématu modelování použitých pro klasifikaci MoCA (Normal Kognitivní zdraví oproti MCI)
| Modelovací schéma | Normální kognitivní zdraví (negativní třída) | MCI (pozitivní třída) |
| Upraveno-23 Nefiltrováno/Filtrováno | 101 (39.0%) | 158 (61.0%) |
| Upraveno-26 Nefiltrováno/Filtrováno | 49 (18.9%) | 210 (81.1%) |
| Neupraveno-23 Nefiltrováno/Filtrováno | 92 (35.5%) | 167 (64.5%) |
| Neupraveno-26 Nefiltrováno/Filtrováno | 42 (16.2%) | 217 (83.8%) |
Příslušný počet a procento z celkového počtu pacientů v každé třídě se liší úpravou skóre pro vzdělání (upravené nebo neupravené) a prahovou hodnotou klasifikace (23 nebo 26), jak je aplikováno na obě sady funkcí (nefiltrované a filtrované).
Modelování klinického hodnocení založené na MemTrax
Z našich tří původních dílčích souborů dat (YH, XL, KM) byli pouze pacienti s dílčími soubory XL nezávisle klinicky diagnostikováni pro kognitivní poruchu (tj. jejich příslušná skóre MoCA nebyla použita při stanovení klasifikace normální versus narušená). Konkrétně u XL pacientů byla diagnostikována buď jedna test na Alzheimerovu chorobu (AD) nebo vaskulární demence (VaD). V každé z těchto kategorií primární diagnózy existovalo další označení pro MCI. Diagnózy MCI, demence, vaskulární neurokognitivní poruchy a neurokognitivní poruchy způsobené AD byly založeny na specifických a charakteristických diagnostických kritériích uvedených v Diagnostic and Statistical Manual of Mental Disorders: DSM-5 [16]. Vzhledem k těmto upřesněným diagnózám byla na sub-soubor XL odděleně aplikována dvě schémata klasifikačního modelování, aby se rozlišila úroveň závažnosti (stupeň poškození) pro každou kategorii primární diagnózy. Data použitá v každém z těchto schémat diagnostického modelování (AD a VaD) zahrnovala demografické informace a informace o anamnéze pacienta, stejně jako výkonnost MemTrax (MTx-% C, průměrná MTx-RT). Každá diagnóza byla označena jako mírná, pokud byla označena jako MCI; jinak to bylo považováno za závažné. Původně jsme zvažovali zahrnutí skóre MoCA do diagnostických modelů (mírné versus těžké); ale usoudili jsme, že to zmaří účel našeho sekundárního prediktivního modelovacího schématu. Zde by studenti byli vyškoleni pomocí dalších charakteristik pacientů, které jsou poskytovateli snadno dostupné, a výkonnostních metrik jednoduššího testu MemTrax (namísto MoCA) oproti referenčnímu „zlatému standardu“, nezávislé klinické diagnóze. V souboru dat diagnózy AD bylo 69 případů a 76 případů VaD (tabulka 2). V obou souborech dat bylo 12 nezávislých funkcí. Kromě 10 znaků zahrnutých do klasifikace skóre MoCA zahrnovala anamnéza pacienta také informace o anamnéze hypertenze a cévní mozkové příhody.
stůl 2
Souhrn variant modelovacího schématu použitých pro klasifikaci závažnosti diagnózy (mírná versus těžká)
| Modelovací schéma | Mírné (negativní třída) | Těžké (pozitivní třída) |
| MCI-AD versus AD | 12 (17.4%) | 57 (82.6%) |
| MCI-VaD versus VaD | 38 (50.0%) | 38 (50.0%) |
Příslušný počet a procento celkového počtu pacientů v každé třídě jsou rozlišeny podle kategorie primární diagnózy (AD nebo VaD).
Statistika
Porovnání charakteristik účastníků a dalších číselných znaků mezi dílčími soubory dat pro každou modelovou klasifikační strategii (k predikci kognitivního zdraví MoCA a závažnosti diagnózy) bylo provedeno pomocí programovacího jazyka Python (verze 2.7.1) [17]. Rozdíly ve výkonnosti modelu byly zpočátku stanoveny pomocí jedno- nebo dvoufaktorové (podle potřeby) ANOVA s 95% intervalem spolehlivosti a testu Tukeyho poctivého významného rozdílu (HSD) pro porovnání průměrů výkonnosti. Toto zkoumání rozdílů mezi výkonností modelu bylo provedeno pomocí kombinace Pythonu a R (verze 3.5.1) [18]. Tento (i když pravděpodobně méně než optimální) přístup jsme použili pouze jako heuristickou pomůcku raná fáze pro počáteční srovnání výkonu modelu při předvídání potenciální klinické aplikace. Poté jsme použili Bayesův test se znaménkem pomocí zadní distribuce ke stanovení pravděpodobnosti rozdílů ve výkonnosti modelu [19]. Pro tyto analýzy jsme použili interval –0.01, 0.01, což znamená, že pokud měly dvě skupiny výkonnostní rozdíl menší než 0.01, byly považovány za stejné (v oblasti praktické ekvivalence), nebo jinak byly odlišné (jedna lepší než jiný). K provedení bayesovského srovnání klasifikátorů a výpočtu těchto pravděpodobností jsme použili knihovnu baycomp (verze 1.0.2) pro Python 3.6.4.
Prediktivní modelování
Vytvořili jsme prediktivní modely pomocí deseti celkových variant našich modelovacích schémat, abychom předpověděli (klasifikovali) výsledek testu MoCA každého pacienta nebo závažnost klinické diagnózy. Všichni studenti byli aplikováni a modely byly sestaveny pomocí open source softwarové platformy Weka [20]. Pro naši předběžnou analýzu jsme použili 10 běžně používaných algoritmů učení: 5-Nearest Neighbors, dvě verze rozhodovacího stromu C4.5, Logistic Regression, Multilayer Perceptron, Naive Bayes, dvě verze Random Forest, Radial Basis Function Network a Support Vector. Stroj. Klíčové atributy a kontrasty těchto algoritmů byly popsány jinde [21] (viz příslušný dodatek). Ty byly vybrány, protože představují různé typy studentů a protože jsme prokázali úspěšnost jejich použití v předchozích analýzách na podobných datech. Nastavení hyperparametrů byla vybrána z našeho předchozího výzkumu, což naznačuje, že jsou robustní na řadě různých dat [22]. Na základě výsledků naší předběžné analýzy s použitím stejného kombinovaného souboru dat se společnými funkcemi, které byly následně použity v úplné analýze, jsme identifikovali tři studenty, kteří poskytovali konzistentně silný výkon ve všech klasifikacích: Logistic Regression, Naïve Bayes a Support Vector Machine.
Křížová validace a metrika výkonu modelu
Pro všechny prediktivní modelování (včetně předběžných analýz) byl každý model vytvořen pomocí 10násobné křížové validace a výkonnost modelu byla měřena pomocí plochy pod křivkou provozní charakteristiky přijímače (AUC). Křížová validace začala náhodným rozdělením každé z 10 datových sad schématu modelování na 10 stejných segmentů (skladů), přičemž devět z těchto příslušných segmentů bylo použito k trénování modelu a zbývající segment k testování. Tento postup byl opakován 10krát s použitím jiného segmentu jako testovací sady v každé iteraci. Výsledky byly poté zkombinovány za účelem výpočtu výsledku/výkonu konečného modelu. Pro každou kombinaci žáka/datové sady se celý tento proces opakoval 10krát, přičemž data byla pokaždé rozdělena jinak. Tento poslední krok snížil zkreslení, zajistil replikovatelnost a pomohl při určování celkového výkonu modelu. Celkem (pro MoCA skóre a schémata klasifikace závažnosti diagnózy dohromady) bylo postaveno 6,600 1,800 modelů. To zahrnovalo 6 3 nefiltrovaných modelů (10 schémat modelování aplikovaných na datovou sadu × 10 studenti × 1,800 běhů × 4,800 násobků = 4 3 modelů) a 4 10 filtrovaných modelů (10 schémata modelování použitá na datovou sadu × 4,800 studenti × XNUMX techniky výběru funkcí × XNUMX běhů × XNUMX záhybů = XNUMX XNUMX modelů).
Výběr funkcí
U filtrovaných modelů byl v rámci křížové validace proveden výběr vlastností (pomocí čtyř metod hodnocení vlastností). Pro každý z 10 násobků, protože různých 10 % datového souboru tvořily testovací data, byly použity pouze čtyři nejlepší vybrané funkce pro každý tréninkový datový soubor (tj. dalších devět násobků nebo zbývajících 90 % celého datového souboru). stavět modely. Nebyli jsme schopni potvrdit, které čtyři funkce byly použity v každém modelu, protože tyto informace nejsou uloženy ani zpřístupněny v rámci modelovací platformy, kterou jsme použili (Weka). Avšak vzhledem ke konzistentnosti v našem počátečním výběru nejlepších funkcí, když byly žebříčky aplikovány na celou kombinovanou datovou sadu a následnou podobnost ve výkonech modelování, tyto stejné vlastnosti (věk, roky vzdělání, MTx-% C a průměrná MTx-RT ) jsou pravděpodobně nejrozšířenější čtyři nejčastěji používané souběžně s výběrem vlastností v procesu křížové validace.
VÝSLEDKY
Číselné charakteristiky účastníků (včetně skóre MoCA a výkonnostních metrik MemTrax) příslušných souborů dat pro každou strategii klasifikace modelu pro predikci kognitivního zdraví indikovaného MoCA (normální versus MCI) a závažnosti diagnózy (mírné versus závažné) jsou uvedeny v tabulce 3.
stůl 3
Charakteristiky účastníků, skóre MoCA a výkon MemTrax pro každou strategii klasifikace modelů
| Strategie klasifikace | věk | Vzdělání | MoCA Upraveno | MoCA Neupraveno | MTx-% C | MTx-RT |
| Kategorie MoCA | 61.9 let (13.1) | 9.6 let (4.6) | 19.2 (6.5) | 18.4 (6.7) | 74.8% (15.0) | 1.4 s (0.3) |
| Diagnóza Závažnost | 65.6 let (12.1) | 8.6 let (4.4) | 16.7 (6.2) | 15.8 (6.3) | 68.3% (13.8) | 1.5 s (0.3) |
Zobrazené hodnoty (průměr, SD) diferencované podle modelovacích klasifikačních strategií jsou reprezentativní pro kombinovanou datovou sadu používanou k predikci kognitivního zdraví indikovaného MoCA (MCI versus normální) a dílčí datovou sadu XL používanou pouze k predikci závažnosti diagnózy (mírná versus těžká).
Pro každou kombinaci skóre MoCA (upravené/neupravené) a prahové hodnoty (26/23) byl statistický rozdíl (p = 0.000) v každém párovém srovnání (normální kognitivní zdraví versus MCI) pro věk, vzdělání a výkonnost MemTrax (MTx-% C a MTx-RT). Každý dílčí soubor údajů o pacientech v příslušné třídě MCI pro každou kombinaci byl v průměru o 9 až 15 let starší, udával přibližně o pět let vzdělávání méně a měl méně příznivý výkon MemTrax pro obě metriky.
Výsledky prediktivního modelování pro klasifikaci skóre MoCA s použitím tří nejlepších studentů, Logistic Regression, Naïve Bayes a Support Vector Machine, jsou uvedeny v tabulce 4. Tyto tři byly vybrány na základě nejkonzistentněji vysokého absolutního výkonu žáka ve všech různých modelech. aplikované na datové sady pro všechna modelovací schémata. Pro nefiltrovanou datovou sadu a modelování každá z hodnot dat v tabulce 4 označuje výkon modelu na základě příslušného průměru AUC odvozeného ze 100 modelů (10 běhů × 10 násobků) vytvořených pro každou kombinaci schématu učení se/modelování, s příslušným nejvyšším výkonného studenta vyznačeného tučně. Zatímco pro modelování filtrovaných datových souborů, výsledky uvedené v tabulce 4 odrážejí celkové průměrné výkony modelu ze 400 modelů na každého studenta používajícího každou z metod hodnocení vlastností (4 metody hodnocení funkcí × 10 běhů × 10 násobků).
stůl 4
Výsledky dichotomické klasifikace skóre MoCA (AUC; 0.0–1.0) pro každého ze tří nejvýkonnějších studentů pro všechna příslušná schémata modelování
| Použitá sada funkcí | Skóre MoCA | Cutoff Threshold | Logistická regrese | Naivní Bayes | Podpora Vector Machine |
| Nefiltrováno (10 funkcí) | Upraveno | 23 | 0.8862 | 0.8913 | 0.8695 |
| 26 | 0.8971 | 0.9221 | 0.9161 | ||
| Neupravený | 23 | 0.9103 | 0.9085 | 0.8995 | |
| 26 | 0.8834 | 0.9153 | 0.8994 | ||
| Filtrováno (4 funkce) | Upraveno | 23 | 0.8929 | 0.8954 | 0.8948 |
| 26 | 0.9188 | 0.9247 | 0.9201 | ||
| Neupravený | 23 | 0.9135 | 0.9134 | 0.9122 | |
| 26 | 0.9159 | 0.9236 | 0.9177 |
S využitím variací sady funkcí, skóre MoCA a mezní hodnoty skóre MoCA je nejvyšší výkon pro každé schéma modelování zobrazen v tučný (ne nutně statisticky odlišné od všech ostatních, které nejsou v tučný pro příslušný model).
Při porovnání studentů napříč všemi kombinacemi verzí skóre MoCA a prahových hodnot (upravené/neupravené a 23/26, v tomto pořadí) v kombinovaném nefiltrovaném souboru dat (tj. s použitím 10 společných funkcí), byla Naïve Bayesová obecně nejvýkonnějším studentem s celkovým klasifikační výkon 0.9093. S ohledem na tři nejlepší studenty Bayesovské korelované znaménkové testy ukázaly, že pravděpodobnost (Pr) z Naïve Bayes překonala logistickou regresi 99.9 %. Navíc mezi Naïve Bayes a Support Vector Machine je 21.0% pravděpodobnost praktické ekvivalence ve výkonu žáka (tedy 79.0% pravděpodobnost, že Naïve Bayes překoná Support Vector Machine), spolu s 0.0% pravděpodobností, že Support Vector Machine bude fungovat lépe a měřitelně. posiluje výkonnostní výhodu pro Naïve Bayes. Další srovnání verze skóre MoCA napříč všemi studenty/prahovými hodnotami naznačilo mírnou výkonnostní výhodu s použitím neupravených skóre MoCA oproti upraveným (0.9027 oproti 0.8971, v tomto pořadí; Pr (neupraveno > upraveno) = 0.988). Podobně srovnání mezní prahové hodnoty napříč všemi studenty a verze skóre MoCA ukázalo malou výhodu v klasifikační výkonnosti s použitím 26 jako klasifikačního prahu oproti 23 (0.9056 oproti 0.8942, v tomto pořadí; Pr (26 > 23) = 0.999). A konečně, při zkoumání klasifikačního výkonu pro modely využívající pouze filtrované výsledky (tj. pouze čtyři funkce s nejvyšším hodnocením), byl Naïve Bayes (0.9143) numericky nejvýkonnějším žákem napříč všemi verzemi/prahy MoCA skóre. Ve všech kombinovaných technikách hodnocení funkcí si však všichni studenti s nejlepšími výsledky vedli podobně. Bayesovské testy se znaménkem ukázaly 100% pravděpodobnost praktické ekvivalence mezi každou dvojicí filtrovaných studentů. Stejně jako u nefiltrovaných dat (s využitím všech 10 společných funkcí) byla opět výkonnostní výhoda pro neupravenou verzi skóre MoCA (Pr (neupravené > upravené) = 1.000 26), stejně jako podobně výrazná výhoda pro práh klasifikace XNUMX (Pr (26 > 23) = 1.000 0.9119). Je pozoruhodné, že průměrný výkon každého ze tří nejlepších studentů ve všech verzích/prahových hodnotách MoCA skóre využívajících pouze čtyři nejvýše hodnocené funkce překročil průměrný výkon kteréhokoli studenta na nefiltrovaných datech. Není překvapením, že výkon klasifikace filtrovaných modelů (s použitím čtyř nejlepších funkcí) byl celkově lepší (0.8999) než nefiltrovaných modelů (10), bez ohledu na modely metody hodnocení funkcí, které byly porovnány s těmito příslušnými modely používajícími všech 100 běžných funkce. Pro každou metodu výběru funkcí existovala XNUMX% pravděpodobnost výkonnostní výhody oproti nefiltrovaným modelům.
U pacientů zvažovaných pro klasifikaci závažnosti diagnózy AD, rozdíly mezi skupinami (MCI-AD versus AD) pro věk (p = 0.004), vzdělání (p = 0.028), skóre MoCA upraveno/neupraveno (p = 0.000) a MTx-% C (p = 0.008) byly statisticky významné; zatímco pro MTx-RT to nebylo (p = 0.097). U pacientů zvažovaných pro klasifikaci závažnosti diagnózy VaD byly rozdíly mezi skupinami (MCI-VaD versus VaD) pro skóre MoCA upravené/neupravené (p = 0.007) a MTx-% C (p = 0.026) a MTx-RT (p = 0.001) byly statisticky významné; vzhledem k věku (p = 0.511) a vzdělání (p = 0.157) nebyly mezi skupinami žádné významné rozdíly.
Výsledky prediktivního modelování pro klasifikaci závažnosti diagnózy pomocí tří dříve vybraných studentů, Logistic Regression, Naïve Bayes a Support Vector Machine, jsou uvedeny v tabulce 5. Zatímco další zkoumaní studenti vykazovali o něco silnější výkon individuálně s jednou ze dvou kategorií klinické diagnózy , tři studenti, které jsme identifikovali jako nejpříznivější v našem předchozím modelování, nabídli nejkonzistentnější výkon s oběma novými schématy modelování. Při srovnání studentů napříč každou z kategorií primární diagnózy (AD a VaD) nebyl zjištěn žádný konzistentní rozdíl v klasifikační výkonnosti mezi studenty pro MCI-VaD oproti VaD, i když Support Vector Machine obecně fungoval výrazněji. Podobně nebyly mezi studenty žádné významné rozdíly pro klasifikaci MCI-AD versus AD, ačkoli Naïve Bayes (NB) měl mírnou výkonnostní výhodu oproti Logistic Regression (LR) a pouze zanedbatelnou pluralitu oproti Support Vector Machine, s pravděpodobnostmi 61.4 %. respektive 41.7 %. U obou datových sad byla celková výkonnostní výhoda pro Support Vector Machine (SVM) s Pr (SVM > LR) = 0.819 a Pr (SVM > NB) = 0.934. Náš celkový výkon klasifikace napříč všemi studenty při předpovídání závažnosti diagnózy v dílčím souboru XL byl lepší v kategorii diagnózy VaD oproti AD (Pr (VAD > AD) = 0.998).
stůl 5
Výsledky dichotomické klasifikace závažnosti klinické diagnózy (AUC; 0.0–1.0) pro každého ze tří nejvýkonnějších studentů pro obě příslušná modelová schémata
| Modelovací schéma | Logistická regrese | Naivní Bayes | Podpora Vector Machine |
| MCI-AD versus AD | 0.7465 | 0.7810 | 0.7443 |
| MCI-VaD versus VaD | 0.8033 | 0.8044 | 0.8338 |
Nejvyšší výkon pro každé modelovací schéma je zobrazen v tučný (ne nutně statisticky odlišné od ostatních ne v tučný).
DISKUSE
Důležité je včasné odhalení změn v kognitivním zdraví praktické využití při řízení osobního zdraví i veřejného zdraví. Ve skutečnosti je to také velmi vysoká priorita v klinických podmínkách pro pacienty po celém světě. Společným cílem je upozornit pacienty, pečovatele a poskytovatele a podnítit včasnou vhodnou a nákladově efektivní léčbu a longitudinální péči u těch, kteří začínají pociťovat kognitivní pokles. Sloučením našich tří datových podmnožin nemocnic/klinik jsme identifikovali tři výrazně preferované studenty (s jedním pozoruhodným výjimečným – Naivní Bayes) k vytvoření prediktivních modelů využívajících Metriky výkonu MemTrax, které by mohly spolehlivě klasifikovat kognitivní zdravotní stav dichotomicky (normální kognitivní zdraví nebo MCI), jak by naznačovalo agregované skóre MoCA. Je pozoruhodné, že celkový výkon klasifikace u všech tří studentů se zlepšil, když naše modely využívaly pouze čtyři nejvýše hodnocené funkce, které v zásadě zahrnovaly tyto výkonnostní metriky MemTrax. Navíc jsme odhalili opodstatněný potenciál pro využití stejných studujících a výkonnostních metrik MemTrax ve schématu modelování klasifikace diagnostické podpory k rozlišení závažnosti dvou kategorií diagnózy demence: AD a VaD.
Testování paměti je zásadní pro časnou detekci AD [23, 24]. Proto je vhodné, že MemTrax je přijatelný, poutavý a snadno implementovatelný online screeningový test epizodické paměti v běžné populaci [6]. Přesnost rozpoznávání a doby odezvy z tohoto úkolu s nepřetržitým výkonem jsou zvláště zjevné při identifikaci raného a vyvíjejícího se zhoršování a následných deficitů v neuroplastických procesech souvisejících s učením, pamětí a kognicemi. To znamená, že zde uvedené modely, které jsou založeny převážně na výkonnostních metrikách MemTrax, jsou citlivé na biologické neuropatologické deficity během přechodného asymptomatického stadia dlouho před výraznější funkční ztrátou a je u nich pravděpodobnější a s minimálními náklady [25]. Ashford a kol. podrobně zkoumali vzorce a chování přesnosti rozpoznávací paměti a doby odezvy u online uživatelů, kteří se sami účastnili programu MemTrax [6]. Vzhledem k tomu, že tyto distribuce jsou zásadní pro optimální modelování a vývoj platných a účinných aplikací péče o pacienty, je definování klinicky použitelných profilů rozpoznávání a doby odezvy zásadní pro vytvoření cenné základní reference pro klinické a výzkumné využití. Praktická hodnota MemTrax při screeningu AD pro rané stadium kognitivní poruchy a diferenciální diagnostická podpora musí být poté podrobněji prozkoumána v kontextu klinického prostředí, kde lze zvážit komorbidity a kognitivní, senzorické a motorické schopnosti ovlivňující výkon testu. A k informování profesionálního pohledu a podpoře praktické klinické užitečnosti je nejprve nutné prokázat srovnání se zavedeným testem pro hodnocení kognitivního zdraví, i když tento test může být zjevně omezen těžkopádnou logistikou testování, vzděláváním a jazykovými odstrašujícími vlivy a kulturními vlivy [26]. . V tomto ohledu je významné příznivé srovnání MemTraxu v klinické účinnosti s MoCA, který je běžně považován za průmyslový standard, zejména při zvážení snadnějšího použití a přijetí MemTraxu pacienty.
Předchozí průzkum porovnávající MemTrax a MoCA zdůrazňuje zdůvodnění a předběžné důkazy, které zaručují naše modelování [8]. Toto předchozí srovnání však pouze spojovalo dvě klíčové výkonnostní metriky MemTrax, které jsme zkoumali, s kognitivním stavem, jak byl stanoven MoCA a definoval příslušné rozsahy a mezní hodnoty. Prohloubili jsme hodnocení klinické užitečnosti MemTrax prozkoumáním přístupu založeného na prediktivním modelování, který by poskytl více individualizované zvážení dalších potenciálně relevantních parametrů specifických pro pacienta. Na rozdíl od jiných jsme nenašli výhodu v modelovém výkonu pomocí korekce vzdělání (úpravy) na skóre MoCA nebo v variování prahu souhrnného skóre MoCA rozlišujícího kognitivní zdraví z původně doporučených 26 na 23 [12, 15]. Ve skutečnosti byla výhoda klasifikačního výkonu zvýhodněna použitím neupraveného skóre MoCA a vyšší prahové hodnoty.
Klíčové body v klinické praxi
Strojové učení je často nejlépe využitelné a nejúčinnější v prediktivním modelování, když jsou data rozsáhlá a vícerozměrná, to znamená, když existují četná pozorování a průvodní široká škála vysoce hodnotných (přispívajících) atributů. Přesto si s těmito aktuálními údaji vedly filtrované modely pouze se čtyřmi vybranými funkcemi lépe než modely využívající všech 10 společných funkcí. To naznačuje, že náš souhrnný soubor nemocničních dat neměl klinicky nejvhodnější (vysokou hodnotu) vlastnosti pro optimální klasifikaci pacientů tímto způsobem. Nicméně důraz kladený na klíčové metriky výkonu MemTrax – MTx-% C a MTx-RT – silně podporuje vytváření modelů screeningu kognitivního deficitu v rané fázi kolem tohoto testu, který je jednoduchý, snadno se spravuje, je levný a výstižně odhaluje výkonnost paměti, alespoň právě teď jako počáteční obrazovka pro binární klasifikaci kognitivního zdravotního stavu. Vzhledem k neustále rostoucí zátěži na poskytovatele a zdravotnické systémy by měly být procesy screeningu pacientů a klinické aplikace vhodně vyvinuty s důrazem na shromažďování, sledování a modelování těch charakteristik pacientů a testovacích metrik, které jsou nejužitečnější, nejvýhodnější a prokazatelně účinné v diagnostice. a podpora péče o pacienty.
Vzhledem k tomu, že dvě klíčové metriky MemTrax jsou ústřední pro klasifikaci MCI, náš nejvýkonnější žák (Naïve Bayes) měl ve většině modelů velmi vysokou prediktivní výkonnost (AUC přes 0.90) s poměrem skutečně pozitivních k falešně pozitivním blížícím se nebo poněkud přesahujícím 4. : 1. Translační klinická aplikace využívající tohoto žáka by tak zachytila (správně klasifikovala) zdaleka většinu lidí s kognitivním deficitem a zároveň by minimalizovala náklady spojené s mylnou klasifikací někoho s normálním kognitivním zdravím jako osoby s kognitivním deficitem (falešně pozitivní) nebo chybí tato klasifikace u těch, kteří mají kognitivní deficit (falešně negativní). Každý z těchto scénářů nesprávné klasifikace by mohl představovat nepřiměřenou psychosociální zátěž pro pacienta a pečovatele.
Zatímco v předběžné a úplné analýze jsme použili všech deset studentů v každém modelovacím schématu, zaměřili jsme naše výsledky na tři klasifikátory vykazující nejkonzistentnější silný výkon. To také mělo na základě těchto údajů zvýraznit studenty, u kterých se očekává, že budou spolehlivě fungovat na vysoké úrovni v praktické klinické aplikaci při určování klasifikace kognitivního stavu. Navíc, protože tato studie byla zamýšlena jako úvodní zkoumání užitečnosti strojového učení při kognitivním screeningu a těchto včasných klinických výzvách, rozhodli jsme se ponechat techniky učení jednoduché a obecné, s minimálním laděním parametrů. Oceňujeme, že tento přístup mohl omezit potenciál pro úžeji definované prediktivní schopnosti specifické pro pacienta. Podobně, zatímco trénování modelů pomocí pouze nejlepších funkcí (filtrovaný přístup) nás dále informuje o těchto datech (specifické pro nedostatky ve shromážděných datech a zdůrazňující hodnotu při optimalizaci drahocenného klinického času a zdrojů), uznáváme, že je předčasné zužovat rozsah modelů, a tedy všechny (a další vlastnosti) by měly být zváženy budoucím výzkumem, dokud nebudeme mít definitivní profil prioritních rysů, který by byl použitelný pro širokou populaci. Plně tedy uznáváme, že před integrací těchto a dalších modelů do efektivní klinické aplikace by byly nezbytné inkluzívnější a široce reprezentativní údaje a optimalizace těchto a dalších modelů, zejména pro přizpůsobení komorbidit ovlivňujících kognitivní výkon, které by bylo třeba vzít v úvahu při dalším klinickém hodnocení.
Užitečnost MemTrax byla dále posílena modelováním závažnosti onemocnění na základě samostatné klinické diagnózy. Lepší celkový výkon klasifikace v predikci závažnosti VaD (ve srovnání s AD) nebyl překvapivé vzhledem k vlastnostem profilu pacienta v modelech specifických pro vaskulární zdraví a riziko mrtvice, tj. hypertenze, hyperlipidemie, diabetes a (samozřejmě) historie mrtvice. I když by bylo více žádoucí a vhodnější mít stejné klinické hodnocení prováděné na odpovídajících pacientech s normálním kognitivním zdravím, aby se studenti učili pomocí těchto inkluzivnějších údajů. To je zvláště opodstatněné, protože MemTrax je určen k použití především pro včasnou detekci kognitivního deficitu a následné sledování individuálních změn. Je také pravděpodobné, že žádoucí distribuce dat v datové sadě VaD částečně přispěla k srovnatelně lepšímu výkonu modelování. Soubor dat VaD byl mezi těmito dvěma třídami dobře vyvážený, zatímco soubor dat AD s mnohem menším počtem pacientů s MCI nebyl. Zejména v malých souborech dat může i několik dalších instancí přinést měřitelný rozdíl. Obě hlediska jsou rozumnými argumenty, které jsou základem rozdílů ve výkonnosti modelování závažnosti onemocnění. Je však předčasné úměrně připisovat zlepšený výkon číselným charakteristikám datové sady nebo inherentním rysům specifickým pro uvažovanou klinickou prezentaci. Nicméně tato novinka prokázala užitečnost prediktivního klasifikačního modelu MemTrax v roli klinické diagnostické podpory poskytuje cennou perspektivu a potvrzuje snahu o další vyšetření s pacienty v celém kontinuu MCI.
Implementace a demonstrovaná užitečnost MemTrax a těchto modelů v Číně, kde se jazyk a kultura výrazně liší od jiných regionů se zavedenou užitečností (např. Francie, Nizozemsko a Spojené státy americké) [7, 8, 27], dále podtrhuje potenciál pro široké globální přijetí a klinickou hodnotu platformy založené na MemTrax. Jde o prokazatelný příklad snahy o harmonizaci dat a vyvíjení praktických mezinárodních norem a modelových zdrojů pro kognitivní screening, které jsou standardizované a snadno adaptovatelné pro použití po celém světě.
Další kroky v modelování a aplikaci kognitivního poklesu
Kognitivní dysfunkce u AD se skutečně vyskytuje v kontinuu, nikoli v diskrétních stádiích nebo krocích [28, 29]. V této rané fázi však bylo naším cílem nejprve prokázat naši schopnost vytvořit model zahrnující MemTrax, který dokáže zásadně odlišit „normální“ od „nenormálního“. Obsáhlejší empirická data (např. zobrazení mozku, genetické rysy, biomarkery, komorbidity a funkční markery komplexních činnosti vyžadující kognitivní kontrola) [30] napříč různými globálními regiony, populacemi a věkovými skupinami za účelem trénování a rozvoje sofistikovanějších (včetně vhodně vážených souborů) modelů strojového učení podpoří větší stupeň vylepšené klasifikace, tj. schopnost kategorizovat skupiny pacientů s MCI do menších a definitivnějších podskupin podél kontinua kognitivního poklesu. Kromě toho jsou nezbytné souběžné klinické diagnózy u jednotlivců napříč regionálně odlišnými populacemi pacientů efektivně trénovat tyto inkluzivnější a předvídatelně robustní modely. To usnadní specifičtější stratifikovaný case management pro osoby s podobným zázemím, vlivy a úžeji definovaným charakteristickým kognitivním profilem, a tak optimalizuje podporu klinického rozhodování a péči o pacienta.
Velká část relevantního klinického výzkumu se dosud zabývala pacienty s alespoň mírnou demencí; a v praxi se příliš často o intervenci pacienta pokouší až v pokročilých stádiích. Protože však kognitivní úpadek začíná mnohem dříve, než jsou splněna klinická kritéria pro demenci, účinně aplikovaný časný screening založený na MemTrax by mohl podpořit vhodné vzdělávání jednotlivců o onemocnění a jeho progresi a podnítit včasnější a včasnější intervence. Včasná detekce by tedy mohla podpořit vhodné zapojení od cvičení, diety, emoční podpory a zlepšené socializace až po farmakologickou intervenci a posílit změny v chování a vnímání související s pacientem, které by jednotlivě nebo souhrnně mohly zmírnit nebo potenciálně zastavit progresi demence [31, 32]. . Navíc s účinným časný screeningjednotlivci a jejich rodiny mohou být vyzváni, aby zvážili klinické studie nebo získali poradenství a další podporu sociálních služeb, která jim pomohou ujasnit si očekávání a záměry a zvládnout každodenní úkoly. Další ověřování a rozšířená praktická užitečnost těmito způsoby by mohla být u mnoha jedinců nápomocna při zmírnění nebo zastavení progrese MCI, AD a ADRD.
Dolní hranice věkového rozmezí pacientů v naší studii skutečně nepředstavuje populaci tradičního zájmu o AD. Nicméně průměrný věk pro každou skupinu používanou v klasifikačních modelovacích schématech na základě skóre/prahu MoCA a závažnosti diagnózy (tabulka 3) podtrhuje, že jasná většina (přes 80 %) je ve věku alespoň 50 let. Tato distribuce je tedy velmi vhodná pro zobecnění a podporuje užitečnost těchto modelů v populaci charakterizující ty, které jsou typicky ovlivněny časný nástup a narůstající neurokognitivní onemocnění způsobené AD a VaD. Nedávné důkazy a perspektivy také zdůrazňují ty uznávané faktory (např. hypertenze, obezita, cukrovka a kouření), které potenciálně přispívají k vyšším raným skóre vaskulárního rizika dospělých a středního věku a následné jemné vaskulární poranění mozku, které se záludně vyvíjí se zjevnými účinky i u mladých lidí dospělí [33–35]. V souladu s tím nejoptimálnější příležitost počátečního screeningu pro včasnou detekci fáze kognitivních deficitů a zahájení účinných preventivních a intervenčních strategií při úspěšném řešení demence vyplynou ze zkoumání přispívajících faktorů a předchozích ukazatelů napříč věkovým spektrem, včetně rané dospělosti a potenciálně i dětství (s ohledem na význam genetických faktorů, jako je apolipoprotein E z časného těhotenství).
V praxi nejsou validní klinické diagnózy a nákladné postupy pro pokročilé zobrazování, genetické profilování a měření slibných biomarkerů vždy snadno dostupné nebo pro mnoho poskytovatelů dokonce proveditelné. V mnoha případech tedy může být nutné počáteční klasifikaci celkového kognitivního zdravotního stavu odvodit z modelů využívajících jiné jednoduché metriky poskytnuté pacientem (např. problémy s pamětí, současná medikace a omezení rutinní aktivity) a běžné demografické rysy [7]. Registry, jako je University of California Brain Health Registry (https://www.brainhealthregistry.org/) [27] a další s inherentní větší šířkou samostatně hlášených symptomů, kvalitativních měřítek (např. spánek a každodenní poznávání), léků, zdravotního stavu a historie a podrobnější demografické údaje budou nápomocny při vývoji a ověřování praktické aplikace těchto primitivnějších modelů na klinice. Dále test, jako je MemTrax, který prokázal užitečnost při hodnocení funkce paměti, může ve skutečnosti poskytnout podstatně lepší odhad patologie AD než biologické markery. Vzhledem k tomu, že hlavním rysem patologie AD je narušení neuroplasticity a ohromně komplexní ztráta synapsí, která se projevuje jako epizodická dysfunkce paměti, což je měřítko, které hodnotí epizodickou paměť ve skutečnosti může poskytují lepší odhad patologické zátěže AD než biologické markery u žijícího pacienta [36].
Se všemi prediktivními modely – ať už jsou doplněny komplexními a inkluzivními daty z nejmodernější technologie a rafinovanými klinickými poznatky napříč více doménami nebo těmi, které jsou omezeny na základní a snadno dostupné informace charakteristické pro stávající profily pacientů – je uznávaná výhoda umělé inteligence a strojové učení spočívá v tom, že výsledné modely mohou syntetizovat a indukčně se „učit“ z relevantních nových dat a perspektivy, které poskytuje průběžné využívání aplikací. Po praktickém transferu technologií, protože modely zde (a které budou vyvinuty) budou aplikovány a obohaceny o více případů a relevantních dat (včetně pacientů s komorbiditami, které by se mohly projevit následným poklesem kognitivních funkcí), bude výkon predikce a klasifikace kognitivního zdraví robustnější, což vede k efektivnější podpoře klinického rozhodování. Tento vývoj bude plněji a praktičtěji realizován začleněním MemTrax do vlastních (zaměřených na dostupné možnosti) platforem, které by poskytovatelé zdravotní péče mohli využívat v reálném čase na klinice.
Pro validaci a použitelnost modelu MemTrax pro diagnostickou podporu a péči o pacienty jsou velmi žádané smysluplné longitudinální údaje. Pozorováním a zaznamenáváním souběžných změn (pokud existují) v klinickém stavu v adekvátním rozsahu normálního stavu až po rané stadium MCI lze modely pro odpovídající průběžné hodnocení a klasifikaci trénovat a upravovat podle toho, jak pacienti stárnou a jsou léčeni. To znamená, že opakovaná užitečnost může pomoci s dlouhodobým sledováním mírných kognitivních změn, účinností intervence a udržováním informované stratifikované péče. Tento přístup je více v souladu s klinickou praxí a managementem pacientů a případů.
Omezení
Oceňujeme výzvu a hodnotu při shromažďování čistých klinických dat v kontrolovaném prostředí kliniky/nemocnice. Nicméně naše modelování by posílilo, kdyby naše datové soubory zahrnovaly více pacientů se společnými rysy. Navíc, specificky pro naše modelování diagnózy, by bylo více žádoucí a vhodnější mít stejné klinické hodnocení prováděné na odpovídajících pacientech s normálním kognitivním zdravím, aby se studenti trénovali. A jak podtrhuje vyšší výkon klasifikace pomocí filtrované datové sady (pouze čtyři nejvýše hodnocené funkce), obecnější a kognitivní zdravotní opatření/ukazatele by se pravděpodobně zlepšily modelování výkonu s větším počtem společných rysů u všech pacientů.
Někteří účastníci mohli současně prožívat jiné nemoci, které mohly vyvolat přechodné nebo chronické kognitivní nedostatky. Kromě podsouboru dat XL, kde byli pacienti diagnosticky klasifikováni jako pacienti s AD nebo VaD, nebyla data o komorbiditě shromažďována/vykazována v souboru pacientů s YH a převažující hlášenou komorbiditou v podsouboru údajů KM byl diabetes. Je však diskutabilní, že zahrnutí pacientů do našich modelovacích schémat s komorbiditami, které by mohly vyvolat nebo zhoršit úroveň kognitivního deficitu a následnou nižší výkonnost MemTrax, by bylo reprezentativnější pro cílovou populaci pacientů v reálném světě pro tento obecnější časný kognitivní screening a modelovací přístup. Přesná diagnostika komorbidit potenciálně ovlivňujících kognitivní výkon je široce prospěšná pro optimalizaci modelů a výsledných aplikací péče o pacienty.
A konečně, pacienti s dílčími datovými soubory YH a KM používali chytrý telefon k provedení testu MemTrax, zatímco omezený počet pacientů s dílčími datovými soubory XL používal iPad a zbytek používal smartphone. To mohlo přinést menší rozdíl ve výkonu MemTrax související se zařízením pro modelování klasifikace MoCA. Rozdíly (pokud nějaké existují) například v MTx-RT mezi zařízeními by však byly pravděpodobně zanedbatelné, zvláště když každý účastník dostane „cvičný“ test těsně před zaznamenaným výkonem testu. Nicméně užitečnost těchto dvou kapesních zařízení potenciálně ohrožuje přímé srovnání a/nebo integraci s jinými výsledky MemTrax, kde uživatelé reagovali na opakující se obrázky dotykem mezerníku na klávesnici počítače.
Klíčové body nástroje prediktivního modelování MemTrax
- • Naše nejvýkonnější prediktivní modely zahrnující vybrané výkonnostní metriky MemTrax by mohly spolehlivě klasifikovat kognitivní zdravotní stav (normální kognitivní zdraví nebo MCI), jak by naznačoval široce uznávaný test MoCA.
- • Tyto výsledky podporují integraci vybraných výkonnostních metrik MemTrax do aplikace screeningu klasifikačního prediktivního modelu pro ranou fázi kognitivního poškození.
- • Naše klasifikační modelování také odhalilo potenciál pro využití výkonu MemTrax v aplikacích pro rozlišení závažnosti diagnózy demence.
Tyto nové poznatky poskytují definitivní důkazy podporující užitečnost strojového učení při vytváření vylepšených robustních klasifikačních modelů založených na MemTrax pro diagnostickou podporu při efektivním klinickém řízení případů a péči o pacienty u jedinců s kognitivní poruchou.
Poděkování
Oceňujeme práci J. Wessona Ashforda, Curtise B. Ashforda a kolegů za vývoj a ověřování online úkolu a nástroje kontinuálního rozpoznávání (MemTrax), který se zde používá, a jsme vděčni mnoha pacientům s demencí, kteří přispěli ke kritickému základnímu výzkumu. . Děkujeme také Xianbo Zhou a jeho kolegům ze SJN Biomed LTD, jeho kolegům a spolupracovníkům v nemocnicích/klinikách, zejména Dr. M. Luo a M. Zhong, kteří pomáhali s náborem účastníků, plánováním testů a shromažďováním, záznamem a front-end správou dat, a dobrovolní účastníci, kteří věnovali svůj drahocenný čas a zavázali se, že testy absolvují cenná data, která máme v této studii vyhodnotit. Tento studie byla částečně podporována MD Scientific Research Program lékařské univerzity v Kunmingu (grant č. 2017BS028 až XL) a výzkumný program katedry vědy a techniky Yunnan (grant č. 2019FE001 (-222) až XL).
J. Wesson Ashford podal patentovou přihlášku na použití specifického paradigmatu kontinuálního rozpoznávání popsaného v tomto dokumentu pro obecné testování paměti.
MemTrax, LLC je společnost vlastněná Curtisem Ashfordem a tato společnost řídí testování paměti systém popsaný v tomto článku.
Zveřejnění autorů dostupná online (https://www.j-alz.com/manuscript-disclosures/19-1340r2).
REFERENCE
| [1] Alzheimerova asociace (2016) 2016 Fakta o Alzheimerově chorobě a postavy. Alzheimers Dement 12, 459-509. | |
| [2] Gresenz CR , Mitchell JM , Marrone J , Federoff HJ (2019) Efekt raného stádia Alzheimerova nemoc na finančních výsledcích domácností. Ekon zdraví 29, 18–29. | |
| [3] | Foster NL , Bondi MW , Das R , Foss M , Hershey LA , Koh S , Logan R , Poole C , Shega JW , Sood A , Thothala N , Wicklund M , Yu M , Bennett A , Wang D (2019) Zlepšení kvality v neurologie: Sada měření kvality mírné kognitivní poruchy. Neurologie 93, 705–713. |
| [4] Tong T , Thokala P , McMillan B , Ghosh R , Brazier J (2017) Nákladová efektivita používání kognitivní screeningové testy pro detekci demence a mírné kognitivní poruchy v primární péči. Int J Geriatr Psychiatry 32, 1392–1400. | |
| [5] Ashford JW, Gere E, Bayley PJ (2011) Měření paměti ve velkých skupinách pomocí průběžného rozpoznávacího testu. J Alzheimers Dis 27, 885-895. | |
| [6] | Ashford JW, Tarpin-Bernard F, Ashford CB, Ashford MT (2019) Počítačová úloha kontinuálního rozpoznávání pro měření epizodické paměti. J Alzheimers Dis 69, 385-399. |
| [7] | Bergeron MF , Landset S , Tarpin-Bernard F , Ashford CB , Khoshgoftaar TM , Ashford JW (2019) Výkon epizodické paměti v modelování strojového učení pro predikci klasifikace kognitivního zdravotního stavu. J Alzheimers Dis 70, 277-286. |
| [8] van der Hoek MD , Nieuwenhuizen A , Keijer J , Ashford JW (2019) The Test MemTrax ve srovnání s odhadem mírné kognitivní poruchy v Montrealu. J Alzheimers Dis 67, 1045-1054. | |
| [9] | Falcone M, Yadav N, Poellabauer C, Flynn P (2013) Použití izolovaných samohlásek pro klasifikaci mírného traumatického poranění mozku. V roce 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, BC, s. 7577–7581. |
| [10] | Dabek F, Caban JJ (2015) Využití velkých dat k modelování pravděpodobnosti rozvoje psychických stavů po otřesu mozku. Procedia Comput Sci 53, 265–273. |
| [11] | Climent MT, Pardo J, Munoz-Almaraz FJ, Guerrero MD, Moreno L (2018) Rozhodovací strom pro včasnou detekci kognitivních poruch komunitními lékárníky. Front Pharmacol 9, 1232. |
| [12] | Nasreddine ZS, Phillips NA, Bedirian V, Charbonneau S, Whitehead V, Collin I, Cummings JL, Chertkow H (2005) The Montreal Cognitive Assessment, MoCA: Stručný screeningový nástroj pro mírné kognitivní poruchy. J Am Geriatr Soc 53, 695–699. |
| [13] | Yu J, Li J, Huang X (2012) Pekingská verze montrealského kognitivního hodnocení jako krátkého screeningového nástroje pro mírné kognitivní poruchy: Komunitní studie. BMC Psychiatry 12, 156. |
| [14] | Chen KL , Xu Y , Chu AQ , Ding D , Liang XN , Nasreddine ZS , Dong Q , Hong Z , Zhao QH , Guo QH (2016) Validace čínské verze Montrealského kognitivního hodnocení základního pro screening mírné kognitivní poruchy. J Am Geriatr Soc 64, e285–e290. |
| [15] | Carson N, Leach L, Murphy KJ (2018) Přezkoumání mezních skóre Montrealského kognitivního hodnocení (MoCA). Int J Geriatr Psychiatry 33, 379–388. |
| [16] | Americká psychiatrická asociace (2013) Pracovní skupina Diagnostický a statistický manuál duševních poruch: DSM-5™, American Psychiatric Publishing, Inc., Washington, DC. |
| [17] | Krajta. Python Software Foundation, http://www.python.org, zpřístupněno 15. listopadu 2019. |
| [18] | R Core Group, R: Jazyk a prostředí pro statistické výpočty R Foundation for Statistical Computing, Vídeň, Rakousko. https://www.R-project.org/, 2018, zpřístupněno 15. listopadu 2019. |
| [19] | Benavoli A , Corani G , Demšar J , Zaffalon M (2017) Čas na změnu: Návod na porovnávání více klasifikátorů pomocí Bayesovské analýzy. J Mach Learn Res 18, 1–36. |
| [20] | Frank E , Hall MA , Witten IH (2016) The WEKA Workbench. v Data Mining: Praktické nástroje a techniky strojového učení, Frank E, Hall MA, Witten IH, Pal CJ, ed. Morgan Kaufmann https://www.cs.waikato.ac.nz/ml/weka/Witten_et_al_2016_appendix.pdf |
| [21] | Bergeron MF , Landset S , Maugans TA , Williams VB , Collins CL , Wasserman EB , Khoshgoftaar TM (2019) Strojové učení při modelování středoškolských sportovních příznaků otřesu mozku. Med Sci Sports Exerc 51, 1362–1371. |
| [22] | Van Hulse J, Khoshgoftaar TM, Napolitano A (2007) Experimentální perspektivy učení z nevyvážených dat. v Sborník příspěvků z 24. mezinárodní konference o strojovém učení, Corvalis, Oregon, USA, str. 935-942. |
| [23] | Ashford JW, Kolm P, Colliver JA, Bekian C, Hsu LN (1989) Hodnocení pacientů s Alzheimerovou chorobou a mini-mentální stav: Analýza charakteristické křivky položky. P. J Gerontol 44, 139–146. |
| [24] Ashford JW, Jarvik L (1985) Alzheimerova choroba: Predisponuje plasticita neuronů k axonální neurofibrilární degeneraci? N Engl J Med 313, 388–389. | |
| [25] Jack CR Jr , Therneau TM , Weigand SD , Wiste HJ , Knopman DS , Vemuri P , Lowe VJ , Mielke MM , Roberts RO , Machulda MM , Graff-Radford J , Jones DT , Schwarz CG , Gunter JML , Senjem , Rocca WA, Petersen RC (2019) Prevalence biologicky vs klinicky definovaných entit Alzheimerova spektra pomocí National Institute on Aging-Alzheimer's Asociace výzkum rámec. JAMA Neurol 76, 1174–1183. | |
| [26] Zhou X, Ashford JW (2019) Pokroky ve screeningových nástrojích pro Alzheimerova nemoc. Stárnutí Med 2, 88–93. | |
| [27] Weiner MW , Nosheny R , Camacho M , Truran-Sacrey D , Mackin RS , Flenniken D , Ulbricht A , Insel P , Finley S , Fockler J , Veitch D (2018) The Brain Health Registr: Internetová platforma pro nábor, hodnocení a dlouhodobé sledování účastníků neurovědních studií. Alzheimers Dement 14, 1063–1076. | |
| [28] Ashford JW, Schmitt FA (2001) Modelování časového průběhu Alzheimerova demence. Curr Psychiatry Rep 3, 20–28. | |
| [29] | Li X , Wang X , Su L , Hu X , Han Y (2019) Sino Longitudinal Study on Cognitive Decline (SILCODE): Protokol pro čínskou longitudinální observační studii k vývoji modelů predikce rizik konverze na mírné kognitivní poruchy u jedinců se subjektivní kognitivní poruchou pokles. BMJ Open 9, e028188. |
| [30] Tarnanas I , Tsolaki A , Wiederhold M , Wiederhold B , Tsolaki M (2015) Pětiletá variabilita progrese biomarkerů pro Alzheimerova choroba demence predikce: Může komplexní instrumentální činnost každodenního života zaplnit mezery? Alzheimerova dementka (Amst) 1, 521–532. | |
| [31] McGurran H , Glenn JM , Madero EN , Bott NT (2019) Prevence a léčba Alzheimerovy choroby: Biologické mechanismy cvičení. J Alzheimers Dis 69, 311-338. | |
| [32] Mendiola-Precoma J , Berumen LC , Padilla K , Garcia-Alcocer G (2016) Terapie pro prevence a léčba Alzheimerovy choroby. Biomed Res Int 2016, 2589276. | |
| [33] | Lane CA , Barnes J , Nicholas JM , Sudre CH , Cash DM , Malone IB , Parker TD , Keshavan A , Buchanan SM , Keuss SE , James SN , Lu K , Murray-Smith H , Wong A , Gordon E , Coath W , Modat M, Thomas D, Richards M, Fox NC, Schott JM (2020) Asociace mezi vaskulárním rizikem v dospělosti a mozkovou patologií v pozdním věku: Důkazy z britské kohorty narození. JAMA Neurol 77, 175–183. |
| [34] | Seshadri S (2020) Prevence demence-myšlení nad věkem a amyloidové krabice. JAMA Neurol 77, 160–161. |
| [35] | Maillard P , Seshadri S , Beiser A , Himali JJ , Au R , Fletcher E , Carmichael O , Wolf PA , DeCarli C (2012) Účinky systolického krevního tlaku na integritu bílé hmoty u mladých dospělých ve Framingham Heart Study: A cross -sektorové studium. Lancet Neurol 11, 1039–1047. |
| [36] Fink HA , Linskens EJ , Silverman PC , McCarten JR , Hemmy LS , Ouellette JM , Greer NL , Wilt TJ , Butler M (2020) Přesnost testování biomarkerů pro neuropatologicky definované Alzheimerova choroba u starších dospělých s demencí. Ann Intern Med 172, 669–677. |
Členství: [a] SIVOTEC Analytics, Boca Raton, FL, USA | [b] Katedra počítačového a elektrotechnického inženýrství a informatiky, Florida Atlantic University, Boca Raton, FL, USA | [c] SJN Biomed LTD, Kunming, Yunnan, Čína | [d] Střed pro Alzheimerův výzkum, Washingtonský institut klinického výzkumu, Washington, DC, USA | [e] Oddělení rehabilitačního lékařství, První přidružená nemocnice Kunmingské lékařské univerzity, Kunming, Yunnan, Čína | [f] Neurologické oddělení, Dehong People's Hospital, Dehong, Yunnan, Čína | [g] Neurologická klinika, první přidružená nemocnice lékařské univerzity Kunming, okres Wuhua, Kunming, provincie Yunnan, Čína | [h] Centrum pro studium nemocí a zranění souvisejících s válkou, VA Palo Alto Zdravotní péče System, Palo Alto, CA, USA | [i] Department of Psychiatry & Behavioral Sciences, Stanford University School of Medicine, Palo Alto, CA, USA
Korespondence: [*] Korespondence s: Michael F. Bergeron, PhD, FACSM, SIVOTEC Analytics, Boca Raton Innovation Campus, 4800 T-Rex Avenue, Suite 315, Boca Raton, FL 33431, USA. E-mail: mbergeron@sivotecanalytics.com.; Xiaolei Liu, MD, Neurologická klinika, První přidružená nemocnice Lékařské univerzity v Kunmingu, 295 Xichang Road, okres Wuhua, Kunming, provincie Yunnan 650032, Čína. E-mail: ring@vip.163.com.
Klíčová slova: stárnutí, Alzheimerova nemoc, demence, hromadný screening