Vorstellung des Projekts
Arbeitsgruppe "AG Medical Image Computing"
Hier wird die Arbeitsgruppe vorgestellt.Segmentierung anatomischer Strukturen in medizinischen Bildern
Es gibt eine Vielzahl verschiedener relevanter Modalitäten (Arten der medizinischen Bildgebung); die häufigsten sind bei uns die Computertomographie (CT), die mit Röntgenstrahlen arbeitet, und die strahlenfreie Magnetresonanztomographie (MRT).1 Auch MRT ermöglicht dreidimensionale Einblicke in den menschlichen Körper und bietet dabei noch eine Vielzahl verschiedene Kontraste, die physikalische Eigenschaften messen und darstellen können.
Mit Segmentierung bezeichnen wir in der Bildverarbeitung den Analyseschritt, der aus Bildern die Geometrie bestimmter Strukturen extrahiert, z.B. ein wichtiges Objekt oder einen relevanten Teil eines Objekts von Interesse konturiert. Das Ergebnis können z.B. durch Maskenvolumen, Konturen oder Oberflächennetze beschriebene dreidimensionale Körper sein. In der medizinischen Bildverarbeitung segmentiert man häufig Organe (z.B. Lunge, Leber, Hirn, Niere, Blase), Knochen, Läsionen (z.B. Tumore, Zysten, Nekrosen) oder auch Implantate, Instrumente o.ä.
In den letzten Jahrzehnten wurden unzählige Segmentierungsverfahren vorgestellt, die fast alle auch in der Medizin Anwendung fanden und ihre Berechtigung haben. Speziell in den letzten Jahren hat der Erfolg von Deep Learning, hier mit Convolutional Neural Networks (CNN), revolutionäre Ergebnisse gebracht und damit auch in der medizinischen Bildverarbeitung schnell viele andere Verfahren abgelöst. Gerade in der Segmentierung anatomischer Strukturen, die von (oft auch noch benachbarten) ähnlich aussehenden Strukturen nur schwer abgegrenzt werden können, sind CNN nicht mehr wegzudenken.
Vorarbeiten und Infrastruktur
Viele unserer Softwareprototypen basieren auf der Entwicklungsplattform "MeVisLab", die in Kooperation mit Fraunhofer MEVIS zur Verfügung steht und effiziente, mächtige Bildverarbeitungs- und Visualisierungskomponenten bietet. MeVisLab bindet auch Open Source-Komponenten ein (ITK, VTK, Open Inventor, Python, NumPy, …). Selbstverständlich können alle relevanten Bildund Metadatenformate wie DICOM (Digital Imaging and Communications in Medicine) imund exportiert werden. MeVisLab bietet eine grafische Programmierumgebung, in der Module visuell miteinander verknüpft und parametrisiert werden und der Datenfluss und die Auswirkungen verschiedener Parameter interaktiv exploriert werden können.
Außerdem besteht eine Hard- und Software-Infrastruktur für Deep Learning. Zu dieser gehören Annotationswerkzeuge, mit denen medizinische Bilddaten effizient manuell annotiert werden können, Komponenten für die Aufbereitung (Laden, Vorverarbeitung, Filterung) solcher Daten für das Training neuronaler Netze, sowie geeignete Modelldefinitionen und Trainings-Frontends. Nicht zuletzt betreiben wir einen Cluster mit einer größeren Anzahl GPUs, auf dem Trainings-Jobs abgesetzt werden können, die je nach Auslastung automatisch parallel oder der Reihe nach abgearbeitet werden.
Eine weitere wichtige Softwarekomponente, die für dieses Projekt relevant sein wird, ist eine (bis jetzt nur intern entwickelte) Validierungsplattform, die die systematische Evaluation und den Vergleich verschiedener Verfahren auf einer gegebenen Anzahl von Datensätzen unterstützt.
Konkrete Aufgabenstellung
Das Projekt bietet einen hervorragenden Einblick in die Praxis der medizinischen Bildverarbeitung und damit in ein spannendes Anwendungsfeld für verschiedene Methoden der Informatik. Eine erste Aufgabe wird sein, eine automatische Segmentierung für relevante anatomische Strukturen zu entwickeln. Hierfür verwenden wir Deep Learning, konkret Convolutional Neural Networks (CNN), in diesem Fall geeignete 3DVarianten. Trainingsdaten liegen in Form von 176 Knie-MRTs vor (je 2 Zeitpunkte von 88 Patienten), in denen relevante Knorpelstrukturen bereits segmentiert sind, so dass auf deren Basis geeignete Modelle trainiert und evaluiert werden können. Für die Hinzunahme weiterer Strukturen steht ein semiautomatisches Verfahren zur Verfügung, so dass das Segmentierungsverfahren in einem zweiten Schritt um für die Analyse ebenfalls notwendige Knochen erweitert wird. Wenn alle notwendigen Strukturen segmentiert sind, kann z.B. mit vorhandenen Softwarekomponenten die Knorpeldicke analysiert und geeignet visualisiert werden.
Je nach Anzahl der Teilnehmer können weitere Aufgaben hinzugenommen werden, oder wichtige Teile vertieft werden. So ist z.B. eine wissenschaftlich saubere Auswertung des erzeugten Verfahrens in diesem Anwendungsfeld wichtig für die Akzeptanz und die weitere Arbeit mit klinischen Partnern. Eine andere Stoßrichtung ist die Anwendung auf (bis zu Tausenden) weiteren MRTs aus dem gleichen Datensatz, was systematische Auswertungen einer ganzen Patientenpopulation ermöglicht.
Viele Möglichkeiten der Erweiterung können auch in der Folge im Rahmen eines Masterprojekts verfolgt werden, zum Beispiel hinsichtlich weiterer Analyseparameter, der Fusion verschiedener Datenquellen oder verbesserter Benutzungsschnittstellen und Visualisierungen. Da die Anwendung von KI-Methoden in der Medizin auf besondere Anforderungen stößt, ist auch die Untersuchung der Erklärbarkeit oder Unsicherheit der Ergebnisse neuronaler Netze ein heißes Thema. Für klinische Forschung und Entscheidungsunterstützung für Ärzte ist es auch notwendig, Ergebnisse aus der Bildanalyse zum Beispiel mit Patienteninformationen (Alter, Gewicht, Ernährung, Vorerkrankungen, …) zu korrelieren. Für die gewählte Anwendung liegt ein öffentlich verfügbarer, unglaublich reichhaltiger Datensatz vor, in dem nicht nur Bilddaten tausender Patienten über viele Jahre, sondern auch hunderte relevanter weiterer Parameter gesammelt wurden.