Forschungsfronten | Große Sprachmodelle zur longitudinalen Symptomverfolgung nach der Implantation eines Vagusnervstimulators

Einleitung

Nach der Implantation eines Vagusnervstimulationsgeräts (VNS) werden langfristige Veränderungen des Zustands einer Patientin oder eines Patienten normalerweise in klinischen Notizen dokumentiert. Diese Notizen können bei einzelnen Besuchen Anfallsaktivität, Stimmung oder Schmerzen beschreiben. Ihr unstrukturiertes Format erschwert jedoch den systematischen Vergleich von Veränderungen über mehrere Jahre.

Eine 2026 in JAMIA Open veröffentlichte Studie untersuchte, ob ein großes Sprachmodell (LLM) Symptome und Schweregrade aus klinischen Notizen extrahieren kann, um patientenbezogene Verläufe über die Zeit zu erstellen. Im Mittelpunkt stand die Leistungsfähigkeit einer Methode zur Extraktion klinischer Informationen. Die daraus erstellten Verläufe gaben außerdem einen ersten Einblick in die Unterschiede zwischen den Patientinnen und Patienten.

Hintergrund

Grenzen der klinischen Dokumentation

In der klinischen Dokumentation muss zwischen einem ausdrücklich als nicht vorhanden dokumentierten Symptom und einem Symptom unterschieden werden, das nicht erwähnt wird. Ersteres liefert einen Hinweis darauf, dass bei diesem Besuch eine entsprechende Beurteilung vorgenommen wurde; letzteres enthält keine Information über den Symptomstatus. In den Notizen kann außerdem ein anhaltendes Symptom dokumentiert sein, ohne dass ausreichend Angaben zur Einstufung seiner Schwere vorliegen. Würden alle solchen Einträge als Abwesenheit eines Symptoms klassifiziert, würde dies zu Fehlern bei den Schätzungen der langfristigen Veränderungen führen.

Standardisierte Skalen ermöglichen einheitliche Symptombeurteilungen, werden aber nicht unbedingt bei jedem routinemäßigen Besuch ausgefüllt. Die Forschenden untersuchten daher, ob Symptome zuverlässig aus vorhandenen klinischen Notizen extrahiert und im Zeitverlauf verfolgt werden können. Dies ist ein notwendiger methodischer Schritt, bevor solche Aufzeichnungen für detailliertere Längsschnittanalysen genutzt werden können.

Methoden

Symptomextraktion und Einstufung des Schweregrads

Die Forschenden stellten 5 Datensätze zusammen, die 95 Patientinnen und Patienten sowie 1,427 manuell annotierte klinische Notizen umfassten. Die Trainingsdaten stammten überwiegend aus COVID-bezogenen Aufzeichnungen, ergänzt durch weitere Notizen von Patientinnen und Patienten, die eine VNS oder eine andere chirurgische Behandlung erhielten. Die Daten wurden auf Patientenebene in Trainingsdaten (58 Patientinnen und Patienten), Validierungsdaten (8 Patientinnen und Patienten) und Testdaten (29 Patientinnen und Patienten) aufgeteilt. Dadurch wurde verhindert, dass Notizen derselben Person sowohl im Training als auch im Test vorkamen. Der Testsatz umfasste 23 VNS-Patientinnen und -Patienten sowie 6 Patientinnen und Patienten, die sich einer anderen Operation unterzogen hatten.

Die Analyse verwendete eine Pipeline mit 2 Stufen. In der ersten Stufe wurden 13 Symptomkategorien identifiziert und jedes Symptom als vorhanden, ausdrücklich verneint oder nicht erwähnt klassifiziert. Bei als vorhanden klassifizierten Symptomen wurde in der zweiten Stufe ein Schweregrad von leicht, mittel oder schwer zugeordnet. Symptome, die ohne ausreichende Informationen für eine Schweregradeinstufung dokumentiert waren, erhielten eine separate Kennzeichnung. In der Längsschnittanalyse wurden nicht erwähnte Symptome als fehlende Daten behandelt und aus den Berechnungen des mittleren Schweregrads ausgeschlossen. Die Forschenden verglichen Modelle unterschiedlicher Größe mit den manuellen Annotationen und ordneten anschließend präoperative und postoperative VNS-Aufzeichnungen nach Kalenderquartalen im Verhältnis zur Operation.

Für die Analyse des Verlaufs der Anfallschwere mussten mindestens 5 relevante Notizen vor der Operation und 5 danach vorliegen. Eine klinisch bedeutsame Verbesserung wurde als Verringerung um mindestens eine Schweregradkategorie gegenüber dem präoperativen Ausgangswert definiert, die über 2 aufeinanderfolgende postoperative Quartale mit relevanten Notizen anhielt. Quartale ohne relevante Dokumentation konnten zwischen diesen beiden beobachteten Quartalen liegen. Zehn Patientinnen und Patienten, die sich ohne VNS einer anderen größeren Operation unterzogen hatten, wurden zum beschreibenden Vergleich einbezogen; 6 von ihnen waren ebenfalls Teil des Modelltests. Die Gruppen waren weder randomisiert noch gematcht. Spezifische VNS-Stimulationsparameter wurden nicht berichtet.

Ergebnisse

Leistung der Symptomklassifikation

Bei der Identifizierung von Anfällen in VNS-Testnotizen erreichte das leistungsstärkste Modell einen gewichteten F1-Wert von 0.98 (95-%-Konfidenzintervall 0.96 bis 0.99). Der entsprechende Wert in Testnotizen von Patientinnen und Patienten mit anderen chirurgischen Eingriffen lag bei 0.91. Der F1-Wert kombiniert Präzision und Trefferquote. Nach dem aufgabenspezifischen Training stieg der insgesamt gewichtete F1-Wert von 0.75 auf 0.92, während der Anteil der Ausgaben, die dem vorab festgelegten Format entsprachen, von 80% auf 100% zunahm. Die gewichteten F1-Werte für die Schweregradklassifikation über die verschiedenen Symptome hinweg lagen zwischen 0.76 und 0.96.

Diese zusammengefassten Ergebnisse müssen eingeordnet werden. Der gewichtete F1-Wert wird von der Häufigkeit der einzelnen Klassen beeinflusst und kann übersehene Fälle seltener Symptome verdecken. Die Sensitivität für Suizidgedanken lag im größten Modell bei 1.00 in VNS-Notizen, aber bei 0.80 in Notizen von Patientinnen und Patienten mit anderen chirurgischen Eingriffen. Obwohl der F1-Wert für die Klassifikation von Selbstverletzung 0.99 erreichte, wurden in jeder Gruppe nur 2 bis 4 positive Fälle dokumentiert. Diese geringe Anzahl belegt keine zuverlässige Erkennung dieses klinisch wichtigen Risikos.

Abbildung 3 zeigt die Leistung der Symptomklassifikation, aufgeschlüsselt nach Geschlecht und ethnischer Zugehörigkeit. Einige Untergruppen umfassten nur sehr wenige Patientinnen und Patienten. Außerdem wurden die Konfidenzintervalle durch ein Resampling von Notizen geschätzt, ohne die Korrelation zwischen wiederholten Notizen derselben Person zu berücksichtigen. Die Subgruppenanalysen können Unterschiede aufzeigen, die weiter untersucht werden sollten, belegen jedoch keine gleichwertige Modellleistung in allen demografischen Gruppen.

Abbildung 1. Gewichtete Durchschnittsleistung fein abgestimmter LLaMA-Modelle unterschiedlicher Größe bei der Symptomklassifikation.

Abbildung 2. Gewichtete Durchschnittsleistung des fein abgestimmten LLaMA-3.3-70B-Modells bei der Klassifikation des Symptomschweregrads.

Abbildung 3. Leistung der Symptomklassifikation nach ethnischer Zugehörigkeit und Geschlecht bei LLaMA-Modellen unterschiedlicher Größe.

Unterschiede in den langfristigen Verläufen

Für 23 VNS-Patientinnen und -Patienten im Testsatz wurden langfristige Verläufe erstellt, aber nur 8 erfüllten die Dokumentationsschwelle für die Analyse der Anfallschwere. 4 erfüllten das vorab festgelegte Verbesserungskriterium, 2 wiesen im letzten Quartal mit verfügbaren Aufzeichnungen einen höheren Schweregrad als zu ihrem präoperativen Ausgangswert auf, und 2 erfüllten das Verbesserungskriterium nicht. Bei den 4 Patientinnen und Patienten, die als verbessert klassifiziert wurden, lagen die ersten Zeitpunkte, die das Kriterium erfüllten, in den postoperativen Quartalen 0, 0, 1 und 2, was einem Median von 0.5 Quartalen entspricht. Quartal 0 bedeutet, dass nach der Operation innerhalb desselben Kalenderquartals eine Veränderung dokumentiert wurde. Daraus lässt sich kein Beginn der Stimulationswirkung innerhalb von Tagen oder Wochen ableiten.

Bei der in Abbildung 4 dargestellten Patientin beziehungsweise dem dargestellten Patienten sank der anhand der manuellen Annotation ermittelte mittlere Schweregrad von 1.80 vor der Operation auf 0.00 danach. Ein Wert von 0 bedeutete, dass Anfälle erwähnt wurden, sich ihr Schweregrad anhand des verfügbaren Textes jedoch nicht einstufen ließ; er bedeutete nicht, dass die Anfälle vollständig verschwunden waren. Der Rückgang kann daher Unterschiede in der Detailgenauigkeit der Dokumentation widerspiegeln und nicht direkt als Verringerung der Anfallshäufigkeit oder der klinischen Belastung interpretiert werden. Die Modellvorhersagen stimmten zu den meisten Zeitpunkten mit den manuellen Annotationen überein, wichen jedoch bei der letzten Beobachtung deutlich ab: Das manuelle Label blieb bei 0, während das Modell den Schweregrad als hoch einstufte. Diese Abweichung zeigt, wie wichtig es ist, einzelne Beobachtungen bei der Interpretation eines automatisierten Verlaufs zu überprüfen.

Abbildung 4. Langfristiger Verlauf der Anfallsschwere bei einer repräsentativen VNS-Patientin beziehungsweise einem repräsentativen VNS-Patienten.

Abbildung 5. Heatmap der Anfallsschwere auf Kohortenebene bei 8 VNS-Patientinnen und -Patienten, ausgerichtet am Operationsdatum.

Die Verläufe anderer Symptome unterschieden sich hinsichtlich des Zeitpunkts. Von 14 Patientinnen und Patienten, deren Aufzeichnungen die Dokumentationsschwelle für depressive Symptome erfüllten, erfüllten 8 das Verbesserungskriterium. Die mediane Zeit bis zum ersten Quartal, das bei diesen Patientinnen und Patienten die Kriterien erfüllte, betrug 14 Quartale. Da ein Symptom möglicherweise über einen längeren Zeitraum nicht erneut dokumentiert wird, stellen diese Schätzungen die erste aufgezeichnete Beobachtung einer Verbesserung dar und nicht den genauen Zeitpunkt ihres physiologischen Beginns.

Die Notizen von Patientinnen und Patienten, die sich einer anderen Operation unterzogen hatten, zeigten keinen vergleichbaren systematischen postoperativen Rückgang. Die Gruppen waren jedoch nicht hinsichtlich Diagnose, präoperativer Symptome, Dauer der Nachbeobachtung oder Häufigkeit der Dokumentation angeglichen. Außerdem wurde keine zuverlässige Analyse der Interaktion zwischen Gruppe und Zeit durchgeführt. Der Vergleich ist daher beschreibend und kann nicht belegen, dass VNS die beobachteten Veränderungen verursacht hat.

Abbildung 6. Langfristiger Verlauf der Anfallsschwere bei einer repräsentativen chirurgischen NSQIP-Kontrollpatientin beziehungsweise einem repräsentativen chirurgischen NSQIP-Kontrollpatienten.

Interpretation

Interpretative und methodische Einschränkungen

Indem die Methode über klinische Notizen verstreute Informationen in Quartalsverläufen ordnete, machte sie Unterschiede zwischen Patientinnen und Patienten leichter erkennbar. Die Analyse war jedoch auf Symptome beschränkt, die während klinischer Kontakte dokumentiert wurden, und konnte Ereignisse zwischen den Besuchen nicht erfassen. Die VNS-Aufzeichnungen stammten aus einem einzigen medizinischen Zentrum, und die Schweregradeinstufungen beruhten auf der menschlichen Interpretation von Texten in natürlicher Sprache. Eine externe Validierung ist erforderlich, um festzustellen, ob eine vergleichbare Leistung auch in anderen Einrichtungen erreicht werden kann.

Die Forschenden untersuchten außerdem Zusammenhänge zwischen Symptomen in einem nachgelagerten Vorhersagemodell. Die Erklärbarkeitsanalyse beschrieb, wie das Modell Symptommerkmale nutzte; sie identifizierte weder den internen Entscheidungsprozess des LLM noch prüfte sie biologische Wege, an denen der Vagusnerv beteiligt ist. Diese Zusammenhänge können durch die Seltenheit bestimmter Symptome und durch Unterschiede in der Dokumentationspraxis beeinflusst sein. Da Notizen und nicht Patientinnen und Patienten als Resampling-Einheiten verwendet wurden, könnten die Konfidenzintervalle zu eng ausgefallen sein, weil einzelne Personen mehrere Notizen beigetragen haben. Die kleinen demografischen Untergruppen erlauben ebenfalls keine sicheren Schlussfolgerungen zur Fairness des Modells.

Zukünftige Forschung

Zukünftige multizentrische Studien könnten eine standardisierte Symptomdokumentation verwenden und modellbasierte Verläufe mit patientenberichteten Messwerten, Anfallstagebüchern und objektiven Beurteilungen vergleichen. So ließe sich feststellen, welche Informationen in routinemäßigen Notizen fehlen. Seltene, aber klinisch bedeutsame Symptome, darunter Suizidgedanken, erfordern größere Validierungsstichproben und eine gezielte Untersuchung falsch-negativer Ergebnisse. Um zu prüfen, ob mit VNS verbundene Veränderungen über die natürliche Krankheitsentwicklung oder allgemeine Operationseffekte hinausgehen, wären Vergleichsgruppen erforderlich, die hinsichtlich Diagnose, Ausgangssymptomen und Intensität der Nachbeobachtung angeglichen sind, zusammen mit vorab festgelegten Analysen zwischen den Gruppen. Solche Studien könnten helfen, die angemessene Rolle der automatisierten Auswertung von Krankenakten in der klinischen Nachsorge zu bestimmen.

Diese Ergebnisse sind für die umfassendere Diskussion über die Verfolgung von Reaktionen auf eine Vagusnervstimulation relevant, sollten jedoch nicht als Evidenz für verbraucherorientierte Geräte zur Anwendung am Ohr verstanden werden. Die Studie untersuchte einen LLM-Workflow, der auf klinische Notizen von Patientinnen und Patienten angewendet wurde, die eine implantierte VNS erhalten hatten. Sie testete weder ZenoWell-Produkte noch eine taVNS zur Anwendung zu Hause noch die Fähigkeit eines Geräts, Symptome zu verbessern. ZenoWells Luna Plus sind nicht-invasive, ohrbasierte Stimulationsgeräte, die auf wiederholbaren Routinen aufbauen; Luna Plus bietet zusätzlich optionale appbasierte Anleitung und eine Verlaufshistorie der Sitzungen. Ihre Funktionen und alle von Nutzern berichteten Veränderungen müssen eigenständig bewertet werden. In zukünftigen Arbeiten sollten Geräte für die Anwendung zu Hause mit prospektiver Symptomverfolgung und klar definierten Ergebnissen untersucht werden.

Referenz

Thakkar V, Silverman GM, Putzer M, et al. Longitudinal symptom severity tracking in vagus nerve stimulation patients: a 2-stage LLM-based pipeline with explainable AI. JAMIA Open. 2026;9(5):ooag195. https://doi.org/10.1093/jamiaopen/ooag195