Nová metoda zvyšuje spolehlivost diagnostických zpráv radiologů

Kvůli inherentní nejednoznačnosti lékařských snímků, jako jsou rentgeny, radiologové často používají slova jako „možná“ nebo „pravděpodobně“ při popisu přítomnosti určité patologie, například pneumonie.

Ale zda slova, která radiologové používají k vyjádření své úrovně jistoty, přesně odrážejí, jak často se konkrétní patologie vyskytuje u pacientů? Nová studie ukazuje, že když radiologové vyjadřují jistotu ohledně určité patologie pomocí fráze jako „velmi pravděpodobně“, mají tendenci být přehnaně sebejistí, a naopak, když vyjadřují menší jistotu slovem „možná“.

Pomocí klinických dat vytvořil multidisciplinární tým výzkumníků z MIT ve spolupráci s výzkumníky a klinickými lékaři z nemocnic přidružených k Harvard Medical School rámec pro kvantifikaci spolehlivosti radiologů při vyjadřování jistoty pomocí termínů přirozeného jazyka.

Tento přístup použili k poskytnutí jasných návrhů, které pomáhají radiologům vybrat fráze vyjadřující jistotu, které by zlepšily spolehlivost jejich klinického vykazování. Také ukázali, že stejná technika může efektivně měřit a zlepšovat kalibraci velkých jazykových modelů lepším sladěním slov, která modely používají k vyjádření jistoty, s přesností jejich predikcí.

Pomocí tohoto nového rámce, který pomáhá radiologům přesněji popisovat pravděpodobnost určitých patologií na lékařských snímcích, by se mohla zlepšit spolehlivost kritických klinických informací.

„Slova, která radiologové používají, jsou důležitá. Ovlivňují, jak lékaři zasahují, pokud jde o jejich rozhodování pro pacienta. Pokud mohou být tito odborníci spolehlivější ve svém vykazování, pacienti budou konečnými příjemci,“ říká Peiqi Wang, postgraduální student MIT a hlavní autor článku o tomto výzkumu.

K autorům článku patří také vedoucí autorka Polina Golland, profesorka elektrotechniky a informatiky (EECS), hlavní vyšetřovatelka v MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) a vedoucí Medical Vision Group; dále Barbara D. Lam, klinická spolupracovnice v Beth Israel Deaconess Medical Center; Yingcheng Liu, postgraduální student MIT; Ameneh Asgari-Targhi, výzkumná pracovnice v Massachusetts General Brigham (MGB); Rameswar Panda, výzkumný pracovník v MIT-IBM Watson AI Lab; William M. Wells, profesor radiologie v MGB a výzkumný vědec v CSAIL; a Tina Kapur, docentka radiologie v MGB. Výzkum bude prezentován na Mezinárodní konferenci o reprezentaci učení.

Dekódování nejistoty ve slovech

Radiolog píšící zprávu o rentgenu hrudníku by mohl říci, že snímek ukazuje „možnou“ pneumonii, což je infekce, která zánětlivě postihuje vzdušné vaky v plicích. V takovém případě by si lékař mohl objednat kontrolní CT vyšetření k potvrzení diagnózy.

Pokud však radiolog napíše, že rentgen ukazuje „pravděpodobnou“ pneumonii, lékař by mohl zahájit léčbu okamžitě, například předepsáním antibiotik, a zároveň si objednat další testy k posouzení závažnosti.

Pokus o měření kalibrace nebo spolehlivosti nejednoznačných termínů přirozeného jazyka, jako jsou „možná“ a „pravděpodobně“, představuje mnoho výzev, říká Wang.

Existující metody kalibrace se obvykle spoléhají na skóre jistoty poskytnuté modelem AI, které představuje odhadovanou pravděpodobnost modelu, že jeho predikce je správná.

Například meteorologická aplikace by mohla předpovědět 83% šanci na déšť zítra. Tento model je dobře kalibrován, pokud ve všech případech, kdy předpovídá 83% šanci na déšť, prší přibližně v 83 % případů.

„Lidé ale používají přirozený jazyk a pokud tyto fráze namapovali na jediné číslo, není to přesný popis skutečného světa. Pokud někdo řekne, že událost je „pravděpodobná“, nemyslí si nutně přesnou pravděpodobnost, například 75 procent,“ říká Wang.

Místo pokusu o mapování frází jistoty na jediné procento, přístup výzkumníků je považuje za rozdělení pravděpodobnosti. Rozdělení popisuje rozsah možných hodnot a jejich pravděpodobnosti – pomyslete na klasickou křivku zvonu ve statistice.

„To zachycuje více nuancí toho, co každé slovo znamená,“ dodává Wang.

Posuzování a zlepšování kalibrace

Výzkumníci využili předchozí práce, která zmapovala radiology, aby získali rozdělení pravděpodobnosti, která odpovídají každé frázi diagnostické jistoty, od „velmi pravděpodobně“ po „v souladu s“.

Například, protože více radiologů věří, že fráze „v souladu s“ znamená, že patologie je přítomna na lékařském snímku, její rozdělení pravděpodobnosti prudce stoupá k vysokému vrcholu, přičemž většina hodnot je seskupena v rozmezí 90 až 100 procent.

Naopak fráze „může představovat“ vyjadřuje větší nejistotu, což vede k širšímu zvonovitému rozdělení soustředěnému kolem 50 procent.

Typické metody hodnotí kalibraci porovnáním toho, jak dobře se předpokládaná skóre pravděpodobnosti modelu shodují se skutečným počtem pozitivních výsledků.

Přístup výzkumníků sleduje stejný obecný rámec, ale rozšiřuje jej tak, aby zohledňoval skutečnost, že fráze jistoty představují rozdělení pravděpodobnosti, nikoli pravděpodobnosti.

Pro zlepšení kalibrace výzkumníci formulovali a vyřešili optimalizační problém, který upravuje, jak často se používají určité fráze, aby lépe sladil jistotu s realitou.

Odvodili kalibrační mapu, která naznačuje termíny jistoty, které by měl radiolog použít, aby zprávy byly přesnější pro specifickou patologii.

„Možná, pro tuto datovou sadu, pokud by radiolog pokaždé, když řekl, že pneumonie je „přítomna“, změnil frázi na „pravděpodobně přítomna“, pak by se lépe kalibrovali,“ vysvětluje Wang.

Když výzkumníci použili svůj rámec k vyhodnocení klinických zpráv, zjistili, že radiologové byli obecně podceňováni při diagnostice běžných stavů, jako je atelektáza, ale přehnaně sebevědomí u nejednoznačnějších stavů, jako je infekce.

Kromě toho výzkumníci vyhodnotili spolehlivost jazykových modelů pomocí své metody, která poskytuje podrobnější reprezentaci jistoty než klasické metody, které se spoléhají na skóre jistoty.

„Často tyto modely používají fráze jako „jistě“. Ale protože jsou si tak jisti svými odpověďmi, nenutí to lidi, aby sami ověřovali správnost tvrzení,“ dodává Wang.

V budoucnu plánují výzkumníci pokračovat ve spolupráci s klinickými lékaři v naději na zlepšení diagnóz a léčby. Pracují na rozšíření své studie tak, aby zahrnovala data z abdominálních CT skenů.

Kromě toho se zajímají o to, jak vnímaví jsou radiologové na návrhy na zlepšení kalibrace a zda dokážou efektivně psychicky upravit své používání frází jistoty.

„Vyjádření diagnostické jistoty je klíčovým aspektem radiologické zprávy, protože ovlivňuje významná rozhodnutí o managementu. Tato studie využívá nový přístup k analýze a kalibraci toho, jak radiologové vyjadřují diagnostickou jistotu ve zprávách o rentgenu hrudníku, a nabízí zpětnou vazbu k používání termínů a souvisejících výsledků,“ říká Atul B. Shinagare, docent radiologie na Harvard Medical School, který se této práce nezúčastnil. „Tento přístup má potenciál zlepšit přesnost a komunikaci radiologů, což pomůže zlepšit péči o pacienty.“

Práce byla částečně financována z Takeda Fellowship, MIT-IBM Watson AI Lab, MIT CSAIL Wistrom Program a MIT Jameel Clinic.