Bildverarbeitung für die Medizin 2006 Algorithmen Systeme Anwendungen Proceedings des Workshops vom 19. - 21. März 2006 in Hamburg

Informatik aktuell Herausgeber: W. Brauer im Auftrag der Gesellschaft für Informatik (GI)

H. Handels J. Ehrhardt A. Horsch H.-P. Meinzer T. Tolxdorff (Hrsg.)

Bildverarbeitung für die Medizin 2006 Algorithmen Systeme Anwendungen Proceedings des Workshops vom 19. – 21. März 2006 in Hamburg

1 23

Herausgeber Heinz Handels Jan Ehrhardt Universitätsklinikum Hamburg-Eppendorf Institut für Medizinische Informatik Martinistraße 52, 20246 Hamburg Alexander Horsch Technische Universität München, Klinikum rechts der Isar Institut für Medizinische Statistik und Epidemiologie Ismaninger Straße 22, 81675 München Hans-Peter Meinzer Deutsches Krebsforschungszentrum Abteilung für Medizinische und Biologische Informatik / H0100 Im Neuenheimer Feld 280, 69120 Heidelberg Thomas Tolxdorff Charité – Universitätsmedizin Berlin Institut für Medizinische Informatik, Biometrie und Epidemiologie Campus Benjamin Franklin Hindenburgdamm 30, 12000 Berlin

Bibliographische Information der Deutschen Bibliothek Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.ddb.de abrufbar.

CR Subject Classification (2001): A.0, H.3, I.4, I.5, J.3, H.3.1, I.2.10, I.3.3, I.3.5, I.3.7, I.3.8, I.6.3 ISSN 1431-472-X ISBN-10 3-540-32136-5 Springer Berlin Heidelberg New York ISBN-13 978-3-540-32136-1 Springer Berlin Heidelberg New York Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965 in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes. Springer Berlin Heidelberg New York Springer ist ein Unternehmen von Springer Science+Business Media springer.de © Springer-Verlag Berlin Heidelberg 2006 Printed in Germany Satz: Reproduktionsfertige Vorlage vom Autor/Herausgeber Gedruckt auf säurefreiem Papier SPIN: 11616719 33/3142-543210

Veranstalter IMI

Institut f¨ ur Medizinische Informatik Universit¨ atsklinikum Hamburg-Eppendorf, Hamburg GMDS Arbeitsgruppe Medizinische Bildverarbeitung der Gesellschaft f¨ ur Medizinische Informatik, Biometrie und Epidemiologie GI Fachgruppe Imaging und Visualisierungstechniken der Gesellschaft f¨ ur Informatik DGBMT Fachgruppe Medizinische Informatik der Deutschen Gesellschaft f¨ ur Biomedizinische Technik im VDE IEEE Joint Chapter Engineering in Medicine and Biology, German Section DAGM Deutsche Arbeitsgemeinschaft f¨ ur Mustererkennung BVMI Berufsverband Medizinischer Informatiker e.V. Lokaler Veranstalter Institut f¨ ur Medizinische Informatik Universit¨ atsklinikum Hamburg-Eppendorf, Hamburg Tagungsleitung und -vorsitz Prof. Dr. Heinz Handels Institut f¨ ur Medizinische Informatik Universit¨ atsklinikum Hamburg-Eppendorf Lokale Organisation Dipl.-Ing. Martin Dalladas Dr. Jan Ehrhardt Dipl.-Inform. Matthias F¨ arber Dipl.-Geogr. Dipl.-Systemwiss. Silke Hacker Priv.-Doz. Dr. Claus-J¨ urgen Peimann Dr. Andreas Pommert Renate Reche Dipl.-Ing. Martin Riemer Dipl.-Inform. Dennis S¨ aring Institut f¨ ur Medizinische Informatik Universit¨ atsklinikum Hamburg-Eppendorf

VI

Organisation

Verteilte BVM-Organisation Prof. Dr. Heinz Handels, Dipl.-Ing. Martin Riemer Universit¨ at Hamburg und Universit¨ at zu L¨ ubeck (Begutachtung) Prof. II Dr. Alexander Horsch, Dipl.-Phys. Andreas Enterrottacher Technische Universit¨ at M¨ unchen (Tagungsband) Prof. Dr. Hans-Peter Meinzer und Dipl.-Ing. Matthias Baumhauer Deutsches Krebsforschungszentrum Heidelberg (Anmeldung) Prof. Dr. Thomas Tolxdorff, Dagmar Stiller Charit´e – Universit¨ atsmedizin Berlin (Internetpr¨asenz)

Programmkomitee Prof. Dr. Til Aach, RWTH Aachen Prof. Dr. Dr. Johannes Bernarding, Universit¨ at Magdeburg Prof. Dr. Thorsten M. Buzug, Rhein Ahr Campus Remagen Prof. Dr. Hartmut Dickhaus, Fachhochschule Heilbronn Prof. Dr. Dr. Karl-Hans Englmeier, GSF Forschungszentrum Neuherberg Prof. Dr. Bernd Fischer, Universit¨ at zu L¨ ubeck Prof. Dr. Heinz Handels, Universit¨ at Hamburg Priv.-Doz. Dr. Peter Hastreiter, Universit¨ at Erlangen-N¨ urnberg Prof. Dr. Joachim Hornegger, Universit¨ at Erlangen-N¨ urnberg Prof. Dr. Ulrich Hoppe, Technische Universit¨ at Ilmenau Prof. II Dr. Alexander Horsch, TU M¨ unchen & Universit¨at Tromsø, Norwegen Priv.-Doz. Dr. Frithjof Kruggel, MPI f¨ ur neuropsychologische Forschung Leipzig Priv.-Doz. Dr. Thomas M. Lehmann, RWTH Aachen Prof. Dr. Dr. Hans-Gerd Lipinski, Fachhochschule Dortmund Prof. Dr. Tim L¨ uth, Technische Universit¨ at M¨ unchen Prof. Dr. Hans-Peter Meinzer, Deutsches Krebsforschungszentrum Heidelberg Prof. Dr. Heinrich M¨ uller, Universit¨ at Dortmund Prof. Dr. Heinrich Niemann, Universit¨ at Erlangen-N¨ urnberg Prof. Dr. Heinrich Martin Overhoff, Fachhochschule Gelsenkirchen Prof. Dr. Dietrich Paulus, Universit¨ at Koblenz-Landau Prof. Dr. Heinz-Otto Peitgen, Universit¨ at Bremen Prof. Dr. Dr. Siegfried J. P¨ oppl, Universit¨ at zu L¨ ubeck Prof. Dr. Bernhard Preim, Universit¨ at Magdeburg Dr. Karl Rohr, Universit¨ at Heidelberg Prof. Dr. Georgios Sakas, Fraunhofer Institut Darmstadt Prof. Dr. Dietmar Saupe, Universit¨ at Konstanz Prof. Dr. Rainer Schubert, UMIT Innsbruck Prof. Dr. Hans-Siegfried Stiehl, Universit¨ at Hamburg Prof. Dr. Thomas Tolxdorff, Charit´e – Universit¨atsmedizin Berlin Prof. Dr. Herbert Witte, Universit¨ at Jena Dr. Thomas Wittenberg, Fraunhofer Institut Erlangen

Organisation

VII

Preistr¨ ager des BVM-Workshops 2005 in Heidelberg Die BVM-Preise zeichnen besonders hervorragende Arbeiten aus. In 2005 wurden vom Programmkomitee folgende Preistr¨ ager ausgew¨ahlt: BVM-Preis 2005 f¨ ur die beste wissenschaftliche Arbeit 1. Preis: Eldad Haber und Jan Modersitzki Beyond Mutual Information: A Simple and Robust Alternative 2. Preis: Marcus Vetter, Martin Libicher, Ivo Wolf, Mehmet Ucar, Jochen Neuhaus, Mark Hastenteufel, G¨otz Martin Richter und Hans-Peter Meinzer Navigationssystem f¨ ur die perkutane CT-gesteuerte Radiofrequenz-Ablationstherapie von Lebertumoren 3. Preis: Sven Kabus, Astrid Franz und Bernd Fischer On Elastic Image Registration with Varying Material Parameters BVM-Preis 2005 f¨ ur den besten Vortrag 1. Preis: Eldad Haber und Jan Modersitzki Beyond Mutual Information: A Simple and Robust Alternative 2. Preis: Sven-Olaf Ropers, Thomas W¨ urflinger, Andr´e Alexander Bell, Alfred B¨ocking und Dietrich Meyer-Albrecht Automatische mikroskopische Relokalisation von Zellkern-Ensembles mit Hilfe eines multimodalen Szenenvergleichs 3. Preis: Sven Kabus, Astrid Franz und Bernd Fischer On Elastic Image Registration with Varying Material Parameters BVM-Preis 2005 f¨ ur die beste Poster- bzw. Softwarepr¨ asentation 1. Preis: Stephan Bischof, Tobias Weyand und Leif Kobbelt Snakes on Triangle Meshes 2. Preis: Silke Bommersheim, Ulf Tiede, Eike Burmester, Martin Riemer und Heinz Handels Simulation von Ultraschallbildern f¨ ur ein virtuelles Trainingssystem f¨ ur endoskopische Longitudinal-Ultraschalluntersuchungen 3. Preis: Caroline Langer, Markus Hardwiger und Katja B¨ uhler Interaktive diffusionsbasierte Volumensegmentierung auf Grafikhardware

Vorwort

In diesem Jahr findet der Workshop Bildverarbeitung f¨ ur die Medizin zum ersten Mal in der Freien und Hansestadt Hamburg statt. Er ist in dieser Form die neunte Veranstaltung. Die Bedeutung des Themas Bildverarbeitung f¨ ur die Medizin hat u ¨ ber die Jahre deutlich zugenommen. Die Bildverarbeitung ist eine Schl¨ usseltechnologie in verschiedenen medizinischen Bereichen wie der Diagnoseunterst¨ utzung, der OP-Planung und der bildgef¨ uhrten Chirurgie. Der BVM-Workshop konnte sich durch erfolgreiche Veranstaltungen in Freiburg, Aachen, Heidelberg, M¨ unchen, L¨ ubeck, Leipzig, Erlangen und Berlin als ein zentrales interdisziplin¨ ares Forum f¨ ur die Pr¨asentation und Diskussion von Methoden, Systemen und Anwendungen im Bereich der Medizinischen Bildverarbeitung etablieren. Ziel des Workshops ist die Darstellung aktueller Forschungsergebnisse und die Vertiefung der Gespr¨ ache zwischen Wissenschaftlern, Industrie und Anwendern. Der Workshop richtet sich ausdr¨ ucklich auch an Nachwuchswissenschaftler, die u ¨ ber ihre Diplom-, Promotions- und Habilitationsprojekte berichten wollen. Der Workshop wird vom Institut f¨ ur Medizinische Informatik des Universit¨ atsklinikums Hamburg-Eppendorf ausgerichtet. Die Organisation ist wie in den vergangenen Jahren auf Fachkollegen aus Hamburg, M¨ unchen, Heidelberg und Berlin verteilt, so dass die Organisatoren der vergangenen Jahre ihre Erfahrungen mit einfließen lassen k¨ onnen. Diese Aufgabenteilung bildet nicht nur eine starke Entlastung des lokalen Tagungsausrichters, sondern f¨ uhrt auch insgesamt zu einer Effizienzsteigerung. Die etablierte webbasierte Einreichung und Begutachtung der Tagungsbeitr¨ age hat sich auch diesmal wieder bew¨ ahrt. Anhand anonymisierter Bewertungen durch jeweils drei Gutachter wurden aus 130 eingereichten Beitr¨agen 92 zur Pr¨ asentation ausgew¨ ahlt: 52 Vortr¨ age und 40 Poster. Die Qualit¨at der eingereichten Arbeiten war insgesamt sehr hoch. Die besten Arbeiten werden auch im Jahr 2006 mit BVM-Preisen ausgezeichnet. Am Tag vor dem wissenschaftlichen Programm werden drei Tutorien angeboten: Prof. Dr. Bernd Fischer und Priv.-Doz. Dr. Jan Modersitzki vom Institut f¨ ur Mathematik der Universit¨ at zu L¨ ubeck werden ein Tutorium zum Thema Medizinische Bildregistrierung halten. Dieses hochaktuelle Thema der Bildverarbeitung hat in den letzten Jahren eine st¨ urmische Entwicklung genommen. Ziel dieses Tutorials ist es, allgemeine Konzepte vorzustellen, die eine inhaltliche Einordnung von modernen medizinischen Bildregistrierungsverfahren erlauben. Insbesondere sollen die g¨ angigen Verfahren u ¨bersichtlich dargestellt werden. Das zweite Tutorium tr¨ agt den Titel Visualisierung f¨ ur die bildbasierte Diagnostik und Therapieplanung. Die Referenten der Universit¨at Magdeburg, Prof. Dr.-Ing. Bernhard Preim, Dipl.-Ing. Steffen Oeltze und Christian Tietjen werden grundlegende Methoden der medizinischen Visualisierung vorstellen und ihre Anwendungsm¨ oglichkeiten demonstrieren. Hierbei wird erl¨autert, welche Vor-

X

Vorwort

und Nachteile 2D- und 3D-Visualisierungen bieten und wie beide Darstellungsarten bei komplexen Problemstellungen in der Therapieplanung integriert werden k¨onnen. Der Schwerpunkt liegt auf der direkten Visualisierung medizinischer Volumendaten (Volume Rendering). In einem dritten Tutorium wird Herr Dr. Ph. Lahorte vom Europ¨aischen Patentamt in M¨ unchen u ¨ber das Patentrecht und geistiges Eigentum in der Forschung im Bereich der Medizinischen Bildverarbeitung referieren. Ziel dieses Tutoriums ist es, eine Einf¨ uhrung in das Gebiet des geistigen Eigentums allgemein und des Patentwesens im Besonderen zu geben und deren Bedeutung f¨ ur die Forschung in der Medizinischen Bildverarbeitung aufzuzeigen. Es wird ein ¨ Uberblick u ¨ber verschiedene Formen geistigen Eigentums mit dem Schwerpunkt Patente gegeben. Die gesetzliche Bedeutung eines Patents wird ebenso diskutiert wie verschiedene Verfahren, ein Patent zu erlangen. Anhand der Bewertungen der Gutachter wurden 95 Beitr¨age f¨ ur den Workshop in Vortrags- und Postersession sowie Softwaredemonstrationen ausgew¨ahlt und in diesem Tagungsband abgedruckt. Die Internetseiten des Workshops bieten ausf¨ uhrliche Informationen u ¨ber das Programm und organisatorische Details rund um den Workshop. Sie sind abrufbar unter der Adresse: http://www.bvm-workshop.org Wie schon in den letzten Jahren, wurde der Tagungsband auch diesmal als LATEXProjekt erstellt und in dieser Form an den Verlag u ¨bergeben. Von den 92 Beitr¨ agen wurden erfreulicherweise 82 von den Autoren bereits im LATEX-Format eingereicht (das sind 89% und damit 11% mehr als im Vorjahr). Die 10 im Winword-Format abgefassten Arbeiten wurden konvertiert und nachbearbeitet. Die Vergabe von Schlagworten nahmen die Autoren selbst vor. Die Literaturverzeichnisse s¨ amtlicher Beitr¨ age wurden wieder mit BibTEX generiert. Der gesamte Erstellungsprozess erfolgte ausschließlich u ¨ber das Internet. Die Herausgeber dieser Proceedings m¨ ochten allen herzlich danken, die zum Gelingen des BVM-Workshops 2006 beigetragen haben: Den Autoren f¨ ur die rechtzeitige und formgerechte Einreichung ihrer qualitativ hochwertigen Arbeiten, dem Programmkomitee f¨ ur die gr¨ undliche Begutachtung, den Referenten der Tutorien sowie den Mitarbeitern des Instituts f¨ ur Medizinische Informatik der Universit¨ at Hamburg f¨ ur ihre tatkr¨ aftige Unterst¨ utzung bei der Organisation und Durchf¨ uhrung des Workshops. Frau Dagmar Stiller vom Institut f¨ ur Medizinische Informatik, Biometrie und Epidemiologie der Charit´e, Universit¨ atsmedizin Berlin, danken wir f¨ ur die engagierte Mithilfe bei der Erstellung und Pflege der Internetpr¨ asentation. Herrn Andreas Enterrottacher vom Institut f¨ ur Medizinische Statistik und Epidemiologie der Technischen Universit¨ at M¨ unchen danken wir f¨ ur die tatkr¨ aftige Mitarbeit bei der Erstellung der Workshop-Proceedings. Dem Springer-Verlag, der nun schon den neunten Tagungsband zu den BVM-Workshops herausbringt, wollen wir f¨ ur die gute Kooperation ebenfalls unseren Dank aussprechen. F¨ ur die webbasierte Durchf¨ uhrung des Reviewingprozesses geb¨ uhrt Herrn Dipl.-Ing. Martin Riemer vom Institut f¨ ur Medizinische Informatik der Universit¨ at Hamburg unser Dank.

Vorwort

XI

F¨ ur die finanzielle Unterst¨ utzung bedanken wir uns bei den Fachgesellschaften und der Industrie. Wir w¨ unschen allen Teilnehmerinnen und Teilnehmern des Workshops BVM 2006 lehrreiche Tutorials, viele interessante Vortr¨age, Gespr¨ache an den Postern und der Industrieausstellung sowie interessante neue Kontakte zu Kolleginnen und Kollegen aus dem Bereich der Medizinischen Bildverarbeitung.

Januar 2006 Heinz Handels, Jan Ehrhardt (Hamburg) Alexander Horsch (M¨ unchen) Hans-Peter Meinzer (Heidelberg) Thomas Tolxdorff (Berlin)

Inhaltsverzeichnis

Die fortlaufende Nummer am linken Seitenrand entspricht den Beitragsnummern, wie sie im endg¨ ultigen Programm des Workshops zu finden sind. Dabei steht V f¨ ur Vortrag, P f¨ ur Poster.

Bildanalyse V01 Thies C, Schmidt-Borreda M, Lehmann T: Einsatz von Klassifikatoren zum Lernen von Objektbeschreibungen aus hierarchisch partitionierten Bildern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

V02 Werner R, Ehrhardt J, Frenzel T, S¨aring D, Low D, Handels H: Rekonstruktion von 4D-CT-Daten aus r¨ aumlich-zeitlichen CTSegmentfolgen zur Analyse atmungsbedingter Organbewegungen . . .

6

V03 J¨ager P, Vogel S, Knepper A, Kraus T, Aach T: 3D-Erkennung, Analyse und Visualisierung pleuraler Verdickungen in CT-Daten . . .

11

V04 Hensel M, Pralow T, Grigat R-R: LAST Filter for Artifact-Free Noise Reduction of Fluoroscopic Sequences in Real-Time . . . . . . . . . .

16

V05 Hahn T, Condurache AP, Aach T, Scharfschwerdt M, Misfeld M: Automatic In-Vitro Orifice Area Determination and Fluttering Analysis for Tricuspid Heart Valves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

V06 Lamecker H, Wenckebach TH, Hege H-C, Duda GN, Heller MO: Atlas-basierte 3D-Rekonstruktion des Beckens aus 2D-Projektionsbildern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

V07 Menze BH, Kelm BM, Heck D, Lichy MP, Hamprecht FA: Machine-Based Rejection of Low-Quality Spectra and Estimation of Brain Tumor Probabilities from Magnetic Resonance Spectroscopic Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

V08 Oehler M, Buzug TM: Maximum-Likelihood-Ansatz zur Metallartefaktreduktion bei der Computertomographie . . . . . . . . . . . .

36

V09 Kier C, Meyer-Wiethe K, Seidel G, Aach T: UltraschallPerfusionsbildgebung f¨ ur die Schlaganfalldiagnostik auf Basis eines Modells f¨ ur die Destruktionskinetik von Kontrastmittel . . . . . . . . . . . .

41

XIV

Inhaltsverzeichnis

P01 Hensel M, Lundt B, Pralow T, Grigat R-R: Robust and Fast Estimation of Signal-Dependent Noise in Medical X-Ray Image Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

46

P02 Kelm BM, Menze BH, Neff T, Zechmann CM, Hamprecht FA: CLARET: A Tool for Fully Automated Evaluation of MRSI with Pattern Recognition Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

P03 S¨aring D, Ehrhardt J, Stork A, Bansmann MP, Lund GK, Handels H: Analysis of the Left Ventricle After Myocardial Infarction Combining 4D Cine-MR and 3D DE-MR Image Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56

P04 Lessmann B, Nattkemper TW, Huth J, Loyek C, Kessar P, Khazen M, Pointon L, Leach MO, Degenhard A: Content Based Image Retrieval for Dynamic Time Series Data . . . . . . . . . . . . . . . . . . . .

61

P05 Varini C, Lessmann B, Degenhard A, Hans V, Nattkemper T: Visual Exploration of Pathology Images by a Discrete Wavelet Transform Preprocessed Locally Linear Embedding . . . . . . . . . . . . . . . .

66

P06 Fischer B, Winkler B, Thies C, G¨ uld MO, Lehmann TM: Strukturprototypen zur Modellierung medizinischer Bildinhalte . . . .

71

P07 Wirjadi O, Breuel TM, Feiden W, Kim Y-J: Automated Feature Selection for the Classification of Meningioma Cell Nuclei . . . . . . . . . .

76

P08 Iserhardt-Bauer S, Schoell S, Hammen T, Stefan H, Doerfler A, Hastreiter P: Efficient Atlas-Based Analysis of the Hippocampus . . .

81

Segmentierung V10 Brox T, Kim Y-J, Weickert J, Feiden W: Fully-Automated Analysis of Muscle Fiber Images with Combined Region and Edge-Based Active Contours . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

86

V11 Gr¨ unerbl A, Fritscher K, Blauth M, Kuhn V, Schubert R: Shape-Based 3D Level Set Segmentation of the Proximal Femur in CT-Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

91

V12 Dornheim L, Dornheim J, Seim H, T¨onnies K: Aktive Sensoren: Kontextbasierte Filterung von Merkmalen zur modellbasierten Segmentierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

96

V13 Stehle TH, Ecabert O: Vergleich von Geschwindigkeitsfunktionen zur Segmentierung der Koronararterien aus CT-Volumina mit Front-Propagation-Algorithmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

Inhaltsverzeichnis

XV

V14 Seim H, Dornheim J, Preim U: Ein 2-Fronten-Feder-Masse-Modell zur Segmentierung von Lymphknoten in CT-Daten des Halses . . . . . 106 V15 Schreiber J, Schubert R, Kuhn V: Femur Detection in Radiographs Using Template-Based Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 V16 von Berg J, Lorenz C: A Statistical Geometric Model of the Heart . 116 V17 Jetzek F, Rahn C-D, Dreschler-Fischer L: Ein geometrisches Modell f¨ ur die Zellsegmentierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 V18 Br¨ uß C, Strickert M, Seiffert U: Towards Automatic Segmentation of Serial High-Resolution Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 V19 Chen L, Wagenknecht G: Topology Correction for Brain Atlas Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 V20 Rink K, T¨orsel A-M, T¨onnies K: Segmentation of the Vascular Tree in CT Data Using Implicit Active Contours . . . . . . . . . . . . . . . . . . 136 V21 Bruijns J, Peters FJ, Berretty RPM, Barenbrug B: Shifting of the Aneurysm Necks for Enhanced Aneurysm Labelling . . . . . . . . . . . . . . . . 141 P09 Sch¨onmeyer R, Rotarska-Jagiela A, Prvulovic D, Haenschel C, Linden DEJ: Vollautomatische Segmentierung der weißen Hirnsubstanz oberhalb der Seitenventrikel aus kernspintomographischen Datens¨ atzen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 P10 Popovic A, Engelhardt M, Radermacher K: Knowledge-Based Segmentation of Calvarial Tumors in Computed Tomography Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 P11 Zerfaß T, Mues-Hinterw¨aller S, Paulus D, Wittenberg T: Live-Wire Segmentierung f¨ ur hochaufgel¨ oste Farbbilder mit optimierter Graphensuche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 P12 Kov´ acs T, Cattin P, Alkadhi H, Wildermuth S, Sz´ekely G: Automatic Segmentation of the Vessel Lumen from 3D CTA Images of Aortic Dissection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 P13 Heimann T, Wolf I, Meinzer H-P: Automatische Erstellung von gleichm¨ aßig verteilten Landmarken f¨ ur statistische Formmodelle . . . 166 P14 B¨ohler T, Boskamp T, M¨ uller H, Hennemuth A, Peitgen H-O: Evaluation of Active Appearance Models for Cardiac MRI . . . . . . . . . 171

XVI

Inhaltsverzeichnis

P15 G¨ob S, Maier T, Benz M, Lowitzsch S, Wittenberg T, Kullmann W, Nkenke E, Neukam FW, H¨ausler G: Automatische Segmentierung der Gewebegrenzen in 2D-Ultraschalldaten aus der Mund-, Kieferund Gesichtschirurgie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 P16 Riegg T, Zucker U, Horsch A: Intelligente Kantendetektion in endoskopischen Ultraschallbildern mit dem Centered-CompassFilter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 P17 W¨orz S, Rohr K: Limits on Estimating the Width of Thin Vessels in 3D Medical Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 P18 Wilharm S, Maier T, Benz M, Sußner G, Lowitzsch S, H¨ausler G, Greiner G: Weichgewebemodellierung durch Fl¨acheninterpolation heterogen verteilter Messdaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

Registrierung V22 Winter S, Brendel B, Pechlivanis I, Schmieder K: Registrierung verschiedener Knochenstrukturen in Ultraschall- und CT-Daten anhand von pr¨ a- und intraoperativen Patientendatens¨atzen . . . . . . . . 196 V23 Franz A, Carlsen IC, Renisch S: An Adaptive Irregular Grid Approach Using SIFT Features for Elastic Medical Image Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 V24 W¨orz S, Rohr K: New Approximating Gaussian Elastic Body Splines for Landmark-Based Registration of Medical Images . . . . . . . 206 ˇ V25 Cech P, Andronache A, Wang L, Sz´ekely G, Cattin P: Piecewise Rigid Multimodal Spine Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 V26 Mattes J, Steingruber I, Netzer M, Fritscher K, Kopf H, Jaschke W, Schubert R: A Robust Semi-automatic Procedure for Motion Quantification of Aortic Stent Grafts Using Point Set Registration . 216 P19 Hahn D, Wolz G, Sun Y, Sauer F, Hornegger J, Kuwert T, Xu C: Utilizing Salient Region Features for 3D Multi-modality Medical Image Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 P20 Feldmann T, Bouattour S, Paulus D, Deinzer F: Kombination ¨ verschiedener Ahnlichkeitsmaße f¨ ur die 2D/3D-Registrierung von R¨ ontgenbildern mittels Demokratischer Integration . . . . . . . . . . . . . . . . 226 P21 Braumann U-D, Einenkel J, Horn L-C, Kuska J-P, L¨offler M, Scherf N, Wentzensen N: Registration of Histologic Colour Images of Different Staining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231

Inhaltsverzeichnis

XVII

P22 J¨ager F, Han J, Hornegger J, Kuwert T: Wissensbasierte nicht-starre Registrierung von SPECT/CT Datens¨atzen . . . . . . . . . . . 236 P23 Erbacher M, Korosoglou G, Dickhaus H: Computergest¨ utzte Auswertung koronarangiographischer Bildfolgen hinsichtlich des Myocardialen Blushgrades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 P24 Han J, Berkels B, Rumpf M, Hornegger J, Droske M, Fried M, Scorzin J, Schaller C: A Variational Framework for Joint Image Registration, Denoising and Edge Detection . . . . . . . . . . . . . . . . . . . . . . . 246 P25 Palm C, Vieten A, Bauer D, Pietrzyk U: Evaluierung von Registrierungsstrategien zur multimodalen 3D-Rekonstruktion von Rattenhirnschnitten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 P26 Ehrhardt J, S¨aring D, Handels H: Interpolation of Temporal Image Sequences by Optical Flow Based Registration . . . . . . . . . . . . . . . . . . . . . 256 P27 K¨ohn A, Drexl J, Ritter F, K¨onig M, Peitgen HO: GPU Accelerated Image Registration in Two and Three Dimensions . . . . . 261

Visualisierung V27 Baer A, Tietjen C, Spindler M, Preim B: Hardwaregest¨ utztes Stippling von medizinischen Oberfl¨ achenmodellen . . . . . . . . . . . . . . . . . . 266 V28 Merhof D, Sonntag M, Enders F, Nimsky C, Hastreiter P, Greiner G: Streamline Visualization of Diffusion Tensor Data Based on Triangle Strips . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 V29 Hacker S, Handels H: Repr¨ asentation und Visualisierung von 3D-Formvarianten von Organen f¨ ur die medizinische Ausbildung . . . 276 V30 Bischoff S, Kobbelt L: Extracting Consistent and Manifold Interfaces from Multi-valued Volume Data Sets . . . . . . . . . . . . . . . . . . . . 281 V31 Mang A, Wagner M, M¨ uller J, Fuchs M, Buzug TM: Restoration of the Sphere-Cortex Homeomorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286 P28 Oeltze S, Kuß A, Hennemuth A, K¨ uhnel C, Preim B: Integrierte Visualisierung von Anatomie und Perfusion des Myokards zur Fr¨ uherkennung der Koronaren Herzkrankheit . . . . . . . . . . . . . . . . . . . . . . 291 P29 M¨ uhler K, Bade R, Preim B: Skriptbasierte Animationen f¨ ur die Operationsplanung und Ausbildung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

XVIII Inhaltsverzeichnis

P30 Wegner I, Wolber P, Gebhard B, Vetter M, Meinzer H-P: Verzerrung einer virtuellen Szene zur Erweiterung der Realit¨at eines Endoskopiebildes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 P31 Seitel M, Vaidya V, Raghu K, Mullick R: Modeling Dynamic Aspects in Virtual Interactive Environments . . . . . . . . . . . . . . . . . . . . . . . 306 P32 M¨onch T, Bernarding J: Simulation und kombinierte Visualisierung von aktivierten Hirnarealen, Diffusionstensordaten und Magnetenzephalographie (MEG)-Signalverl¨aufen . . . . . . . . . . . . . . . . . . . 311

Navigation und Tracking V32 Richter D, Egger J, Straßmann G: Ein Algorithmus zur Positionsbestimmung von Patienten und Biopsienadeln mit einem Vierkamerasystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316 V33 Riefenstahl N, Walke M, Michaelis B, Gademann G: Multimodale Bilddatenfusion zur verbesserten Patientenlagerung und -¨ uberwachung in der Strahlentherapie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 V34 Baumhauer M, Richter G, Gutt C, Rassweiler J, Meinzer H-P, Vetter M: Entwicklung eines Navigationssystems f¨ ur die laparoskopische Prostatektomie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326 V35 Kenngott H, Neuhaus J, Gutt C, Wolf I, Meinzer H-P, Vetter M: Entwicklung eines Navigationssystems f¨ ur die telemanipulatorgest¨ utzte Oesophagektomie . . . . . . . . . . . . . . . . . . . . . . . . 331 P33 Meyer B, Tietjen C, Preim B: Schichtbasierte Illustration medizinischer Volumendaten zur intraoperativen Navigation . . . . . . . 335 P34 Kahrs LA, Raczkowsky J, W¨orn H: Optische Vermessung mittels kodierten Lichts von variabel reflektierenden Oberfl¨achen zur Registrierung oder Dokumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340 P35 Krause UHW, Nagel M, Seibel RMM: IGS (Image Guided Surgery) – Phantomversuche und erste klinische Erfahrungen mit einem neuartigen CT-basierten Navigationssystem . . . . . . . . . . . . . . . . . . . . . . . 345 P36 Richter D, Bekkaoui F, Mostarkic Z, Straßmann G: Tetraoptisches Kamerasystem zur rahmenlosen Repostionierung und respirativen ¨ Uberwachung in der extrakraniellen Hochpr¨azisionsbestrahlung . . . . 350 P37 Gr¨oger M, Arbter K, Hirzinger G: Analysis of Colour Distributions of Anodised Titanium Clips and the Heart Surface for Tracking . . . . 355

Inhaltsverzeichnis

XIX

Visible Light V36 Tscherepanow M, Z¨ollner F, Kummert F: Segmentierung ungef¨ arbter, lebender Zellen in Hellfeld-Mikroskopbildern . . . . . . . . . . 359 V37 Yang S, K¨ohler D, Teller K, Cremer T, Eils R, Rohr K: Non-rigid Registration of 3D Microscopy Images for the Normalization of Different Cell Nuclei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 V38 Fehr J, Sauer C, Kurz H, Ronneberger O, Burkhardt H: Identifikation von Zellen in intaktem Gewebe . . . . . . . . . . . . . . . . . . . . . . 369 V39 Harder N, Neumann B, Held M, Liebel U, Erfle H, Ellenberg J, Eils R, Rohr K: Automated Analysis of Mitotic Phenotypes in Fluorescence Microscopy Images of Human Cells . . . . . . . . . . . . . . . . . . . 374 V40 Braumann U-D, Franke H, Hengstler J, Kuska J-P, Weber M: Graph-Based Quantification of Astrocytes . . . . . . . . . . . . . . . . . . . . . . . . . 379 P38 Gladilin E, Eils R, Rohr K: 3D Formnormalisierung von Zellkernen mit Hilfe einer elastischen Kugelabbildung . . . . . . . . . . . . . . . . . . . . . . . . . 384

Simulation und Planung V41 Gladilin E, Ivanov A, Roginsky V: Biomechanische Optimierung individueller craniofazialer Implantate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389 V42 Tropp A, Giesel FL, Dickhaus H, Bendl R, Neff T: Integration der T2*-Perfusionsmessung niedergradiger Gliome in die Strahlentherapieplanung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 V43 von Jan U, Sandk¨ uhler D, Kirsch L, Maas S, R¨ uhmann O, Overhoff HM: Ultrasound Volume Guided Navigated Implantation of the Humeral Part of a Shoulder Prosthesis . . . . . . . . . . . . . . . . . . . . . . 399 V44 Valvoda JT, Ullrich S, Kuhlen T, Bischof CH: Interactive Biomechanical Modeling and Simulation of Realistic Human Musculature in Virtual Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404 P39 Bade R, Riedel I, Schmidt L, Oldhafer KJ, Preim B: Combining Training and Computer-Assisted Planning of Oncologic Liver Surgery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409

XX

Inhaltsverzeichnis

Endoskopie und minimalinvasive Chirurgie V45 Rilk ME, Winkelbach S, Wahl FM: Partikelfilter-basiertes Tracking chirurgischer Instrumente in Endoskopbildern . . . . . . . . . . . . . . . . . . . . . . 414 V46 Wengert C, Reeff M, Cattin PC, Sz´ekely G: Fully Automatic Endoscope Calibration for Intraoperative Use . . . . . . . . . . . . . . . . . . . . . . 419 V47 Rupp S, Winter C, Wittenberg T: Camera Calibration from Fiberscopic Views with Accuracy Evaluation . . . . . . . . . . . . . . . . . . . . . . 424 V48 Winter C, Weisensel S, Rupp S, Wittenberg T: Aufl¨ osungssteigerung von fiberskopischen Bildsequenzen im Ortsraum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429

Freie Themen V49 Baron S, Orhan G, Hornung O, Blume H, Misske J, Norozi K, Wessel A, Yelbuz TM, Heimann B: Konstruktion und Etablierung einer Klimakammer f¨ ur die Untersuchung der embryonalen Herzentwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434 V50 Weber M, Ruiter NV, Schwarzenberg G, Zapf M, M¨ uller TO: Ultraschallsimulation f¨ ur die Ultraschall-Computertomographie . . . . 439 V51 Krings M, Mahnken A, Schroer C, Patommel J, Kalender W, Glasmacher B: CT, µ-CT und µ-Tomographie (Synchrotron) der in vitro Kalzifizierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444 V52 Weichert F, Linder R, Landes CA, Groh A, W¨ underlich R, Wagner M: Photorealistische Generierung histologischer und histopathologischer Schnittpr¨ aparate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 P40 Rink E, D¨ urschmied D, Harder D, Zhou Q, Freund G, Rossknecht A, Hehrlein C: Contrast Enhanced Ultrasound Perfusion Imaging . . . . . 454

Kategorisierung der Beitr¨ age . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459 Autorenverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461 Stichwortverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465

Einsatz von Klassifikatoren zum Lernen von Objektbeschreibungen aus hierarchisch partitionierten Bildern Christian Thies, Marcel Schmidt-Borreda und Thomas Lehmann Institut f¨ ur Medizinische Informatik, RWTH Aachen, 52057 Aachen Email: [email protected]

Zusammenfassung. Die automatisierte explizite Extraktion von Objekten aus Bildserien, erfordert eine reproduzierbare Beschreibung der entsprechenden Bildregionen. Ein hierarchisches Partitionierungsverfahren zerlegt dazu ein Bild in seine visuell plausiblen Regionen, f¨ ur die dann ein Vektor mit beschreibenden ordinalen Merkmalen berechnet wird. Objektextraktion entspricht damit der Klassifikation entsprechender Merkmalsvektoren, die vom Anwender durch markieren, trainiert werden. Da f¨ ur die Klassifikation das “No-Free-Lunch-Theorem” gilt, m¨ ussen Klassifikator und Merkmalsauswahl f¨ ur jede Dom¨ ane experimentell ermittelt werden. Beim Vergleich des Nearest-Neighbor Klassifikators mit dem Bayes Klassifikator mit Gaußschen Mischverteilungen und der Supportvektormaschine liefert letztere f¨ ur die Handknochenextraktion aus R¨ ontgenaufnahmen das beste Ergebnis.

1

Einleitung

In der medizinische Bildverarbeitung w¨ achst die Menge der digital erfassten Bilder, sowie die Arten von Objekten, die in ihnen gesucht werden, in einem Maße, dass eine rein manuelle Auswertung mittelfristig nicht mehr m¨oglich sein wird. Daher werden Verfahren immer wichtiger, mit denen a-priori unbekannte Objektbeschreibungen flexibel und effizient formulierbar sind. Hierzu ist in erster Linie eine anwenderorientierte Benutzerschnittstelle erforderlich, in der das Lernen anwendungsangepasst und mit kleinen Stichproben erfolgt. Hierarchische Partitionierungen liefern eine vollst¨andige Bildzerlegung in visuell plausible Regionen, die sich durch einen Merkmalsvektor beschreiben lassen [1]. Um eine solche Region als Objekt zu identifizieren, muss der regionenbeschreibende Merkmalsvektor analysiert werden, was einer Klassifikationsaufgabe entspricht. Mit diesem Ansatz l¨ asst sich die komplexe Formalisierung von a-priori unbekannten Objekten als anwenderorientiertes “Point & Click”- Training realisieren. Problem dabei ist die Auswahl des geeigneten Klassifikators und dessen Integration in einen Workflow. In der Literatur existieren zahlreiche Klassifikatoren, sowie Methoden zur Merkmalsreduktion, Sampling der Daten und Parametersuche [2]. Ferner gibt es Verfahren, die Bilder vollst¨ andig und hierarchisch in die visuell plausiblen

2

C. Thies, M. Schmidt-Borreda und T. Lehmann

Regionen aller Skalen partitionieren [1]. Die Auswahl des Klassifikators h¨angt allerdings von der Struktur des verwendeten Merkmalsraums ab und l¨asst sich nach dem “No-Free-LunchTheorem” nicht generisch beantworten, sondern muss experimentell ermittelt werden [2]. Die mit dem hier vorgestellten Framework durchgef¨ uhrten Experimente dienen dazu, die Abh¨ angigkeit der Klassifikationsergebnisse vom Merkmalsraum, den verwendeten Parametern und dem gew¨ ahlten Klassifikationsparadigma f¨ ur hierarchisch partitionierte Bilder zu verstehen. Auf diese Weise wird untersucht, ob es m¨ oglich ist, Anwenderwissen durch simples Markieren relevanter Beispielregionen ohne formale Interaktion zu lernen, und dieses Wissen automatisiert zu reproduzieren. Dabei werden reale Daten der klinischen Routine verwendet.

2

Klassifikatoren fu ¨r die Objektsuche

Als Werkzeug dient ein Framework, das den Datenfluss der Klassifikation modelliert und so effiziente Experimente erm¨ oglicht. Zur Merkmalsreduktion stehen die Lineare Diskriminanz Analyse (LDA), die Hauptkomponenten Analyse (PCA) sowie das auf- und absteigende Greedy-Verfahren zur Verf¨ ugung. Als Klassifikatoren wurden die Supportvektormaschine (SVM), der Bayes Klassifikator mit Gaußschen Mischverteilungen (GMM) und das k-Nearest-Neighbor¨ Ahnlichkeitsmaß (KNN) gew¨ ahlt. SVM und GMM sind modellbasiert, wobei die SVM versucht, strukturelles und empirisches Risiko zu minimieren, w¨ahrend GMM zwar theoretisch durch empirische Risikominimierung immer das beste Resultat liefert, dieses aber mit Overfitting einhergeht. Im Vergleich dazu wird der KNN-Klassifikator als modellfreier Ansatz verwendet. Die Tests werden mit unterschiedlich gesampelten Test- und Trainingsdaten durchgef¨ uhrt. Dazu steht das Bootstrapping zur Verf¨ ugung. Beim GMM kann zus¨atzlich Varianz-Pooling verwendet werden. Aus Anwendersicht ist bei der Klassifikation die Zahl der korrekt identifizierten Objekte entscheidend. Dies sowohl im Verh¨altnis zur Gesamtzahl aller R¨ uckgaben (Precision) als auch in Bezug zu allen im Datensatz vorhandenen Werten (Recall). Die Accuracy als Maß der Klassifikationsg¨ ute ist f¨ ur die Objektsuche von untergeordneter Bedeutung. Daher wird das F-Measure als harmonisches Mittel aus Precision und Recall als Qualit¨atsmaß verwendet [3]. 2 · Recall · Precision (1) Recall + Precision Ziel der Experimente ist also die Bestimmung des Klassifikators, der ein maximales F-Measure (Gl. 1) f¨ ur die gegebene Ground-Truth liefert. F-Measure =

3

Experimente

Die Experimente werden auf 105 zuf¨ allig ausgew¨ahlten Handradiographien aus der klinischen Routine durchgef¨ uhrt. Diese Bilder werden z.B. f¨ ur die vergleichende Auswertung von Handknochen zur Maturit¨atsbestimmung bei Heranwachsenden eingesetzt. In dieser Anwendung w¨ urde eine automatisierte Extraktion der Knochen dem befundenden Radiologen reproduzierbare Abmessungen

Einsatz von Klassifikatoren zum Lernen von Objektbeschreibungen

3

der Objekte liefern. F¨ ur die Experimente wurden die Mittelhandknochen als Referenzobjekte gew¨ ahlt. Die Bilder werden auf eine maximale Kantendimension von 256 Pixeln unter Beibehaltung der Aspect-Ratio verkleinert. In dieser Gr¨oße sind die gesuchten Handknochen immer noch erkenn- und vermessbar, wobei der Raum der zu durchsuchenden Daten beschr¨ ankt bleibt. Die Partitionierung erfolgt mittels eines hierarchischen Bereichswachstumsverfahrens [1], das die Verschmelzung von Pixeln u ur al¨ ber Regionen hin zum gesamten Bild protokolliert. Dabei werden f¨ le Regionen 38 beschreibende Merkmale (Rundheit, Gr¨oße, Grauwertvarianz,...) berechnet. F¨ ur jedes Bild ergeben sich ca. 2.500 Regionen, was wiederum f¨ ur die gesamte Bildmenge einen 43-dimensionalen Merkmalsraum mit ca. 265.000 Elementen ergibt. Als Ground-Truth wurden manuell 372 Vektoren bestimmt, die die erkennbaren Mittelhandknochen im Datenraum repr¨asentieren. Alle anderen Vektoren fallen in die R¨ uckweisungsklasse. 3.1

Merkmalsauswahl

Im ersten Schritt wird die Abh¨ angigkeit des Ergebnisses von der Merkmalsauswahl und damit ein optimaler Merkmalssatz bestimmt. Die Tests erfolgen dabei u allige Auswahl von 10 Trainings- und 53 Testbilder aus der ¨ ber eine zuf¨ Ground-Truth von 105 Bildern, also etwa 130.000 Merkmalsvektoren und 50 Trainigsobjekte. Greedy-Verfahren. F¨ ur alle drei Klassifikatoren wird jeweils das auf- und absteigende Greedy-Verfahren, zur Merkmalsauswahl angewandt. Die Parametersuche f¨ ur die SVM erfolgt dabei mittels Grid-Suche und Gaußschem Kernel (RBF), f¨ ur den GMM-Klassifikator wird ein Cluster sowie Varianz-Pooling verwendet. Der KNN wird f¨ ur den ersten Nachbarn (1-NN) mit minimaler Euklidischer Norm (L2), Mahalanobis-Distanz (MAH) sowie Cosinusnorm (COS) untersucht. Korrelationsanalyse. Zum Vergleich mit den beiden Greedy-Verfahren werden die PCA und die LDA f¨ ur eine bis 38 Zieldimensionen jeweils f¨ ur alle drei Klassifikatoren getestet. 3.2

Anwendungsszenario

Im zweiten Schritt wird das Anwendungsszenario simuliert. Es entspricht dem Markieren von gesuchten Objekten in einer kleinen und zuf¨alligen Auswahl von Bildern durch den Anwender. Mit den markierten Vektoren wird dann der Klassifikator trainiert, und auf die verbleibende Testmenge angewandt. Es werden 5, 10, 20 und 40 Mittelhandknochen gew¨ ahlt, was 1,2,4, bzw. 8 aus 105 Bildern zum Training entspricht. Um die statistische Verteilung der Auswahl zu simulieren, werden jeweils 20 Samples mittels Bootstrapping gezogen.

4

C. Thies, M. Schmidt-Borreda und T. Lehmann

Tabelle 1. F-Measure, Precision und Recall f¨ ur das aufsteigende Greedy-Verfahren im Vergleich der untersuchten Klassifikatoren Klassifikator # Merkmale Recall Precision F-Measure 1-NN, L2 7 0,36 0,28 0,31 1-NN, COS 12 0,52 0,28 0,36 1-NN, MAH 4 0,36 0,28 0,32 GMM 12 0,58 0,37 0,45 SVM 14 0,58 0,67 0,62

4 4.1

Ergebnisse Merkmalsauswahl

Greedy-Verfahren aufsteigend. Bei der Berechnung der Merkmalsreduktion mit dem aufsteigenden Greedy-Verfahren war die SVM mit einem F-Measure von 0.62 und 14 Merkmalen der Klassifikator mit der h¨ochsten erzielbaren Genauigkeit w¨ ahrend der modellfreie 1-NN Klassifikator mit der L2-Norm das schlechteste Ergebnis liefert(Tab. 1).Von den 38 verf¨ ugbaren Merkmalen wurden maximal 14 ausgew¨ ahlt. Precision und Recall variieren f¨ ur die einzelnen Klassifikatoren. Greedy-Verfahren absteigend. Mit dem absteigenden Greedy-Verfahren lieferte ebenfalls die SVM bei 32 Merkmalen das beste Ergebnis allerdings nur mit einem F-Measure von 0.46. F¨ ur den 1-NN ergaben sich mit COS bei 12 Merkmalen ein F-Measure von 0.36. PCA. Die zum Vergleich durchgef¨ uhret PCA lieferte mit einem F-Measure von 0.21 ihr bestes Ergebnis bei einer Zieldimension von 26 f¨ ur GMM. Dabei verbessert sich das Ergebnis mit wachsender Zieldimension. LDA. Bei der LDA liefert 1-NN mit der L2 Norm das beste Ergebnis mit einem F-Measure von 0.31 bei einer Zieldimension von 23. Dabei variieren die Werte f¨ ur die Zieldimensionen von 1 bis 38 nicht monoton zwischen 0.2 und 0.3. 4.2

Anwendungsszenario

Die Simulation des Anwendungsszenarios liefert f¨ ur die SVM bei 20 unterschiedlichen Trainings-Samples von jeweils 40 Knochen ein bestes mittleres F-Measure von 0.42 (Tab. 2). Die angegebenen Werte sind dabei jeweils eine Mittelung aus 20 Einzelklassifikationen. Precision und Recall weisen f¨ ur die SVM und den GMM Klassifikator hohe Differenzen auf, aber man erkennt einen monotonen Anstieg mit wachsender Anzahl Trainingsobjekte Ein Wilcoxon-Test auf dem 5% Niveau best¨ atigt außerdem das signifikant bessere Abschneiden der SVM u ur den Grenzwert von ¨ ber die 20 Samples im Vergleich zu 1-NN und GMM. F¨ 80 Trainingsvektoren ergeben sich keine h¨ oheren Werte.

5

Diskussion

Die SVM liefert f¨ ur die gestellte Aufgabe das beste Ergebnis hierbei dient die Kombination aus hoher Generalisierungsf¨ ahigkeit bei gleichzeitiger Minimierung

Einsatz von Klassifikatoren zum Lernen von Objektbeschreibungen

5

Tabelle 2. Ergebnisse der Klassifikatoren bei wachsender Anzahl von Trainigsobjekten. # Trainingobjekte Klassifikator 5 Knochen 1-NN L2-Norm GMM (1) SVM 10 Knochen 1-NN L2-Norm GMM (1) SVM 20 Knochen 1-NN L2-Norm GMM (1) SVM 40 Knochen 1-NN, L2-Norm GMM (1) SVM

Recall Precision F-Measure 0,25 0,26 0,25 0,28 0,26 0,25 0,26 0,29 0,25 0,27 0,28 0,28 0,50 0,22 0,30 0,24 0,44 0,28 0,29 0,29 0,29 0,30 0,30 0,30 0,35 0,43 0,37 0,32 0,33 0,33 0,60 0,28 0,38 0,38 0,52 0,42

des empirischen Risikos dem Ausgleich der extremen Klassenschieflage zwischen Objekt- und R¨ uckweisungsklasse. Die Greedy-Heuristik liefert die Merkmalsauswahl, die zum besten Ergebnis f¨ uhrt. Dies liegt an der nichtlinearen Korrelation der Merkmalsverteilungen, die von LDA und PCA nicht modelliert wird. Diese Beobachtungen lassen sich jedoch nach dem “No-Free-Lunch-Theorem” nicht ohne weiteres verallgemeinern. F¨ ur andere Aufgabenstellungen, d.h. Merkmalsr¨ aume, m¨ ussen die Experimente entsprechend wiederholt werden, wozu das vorgestellte Framework ein nachvollziehbares Werkzeug bietet. Die Erkennungsrate f¨ ur die vorgestellte Anwendung der lokalen Bildanalyse ist in jedem Fall verbesserungsf¨ ahig, sie liegt allerdings in einer Gr¨oßenordnung wie sie auch aktuelle und von der Komplexit¨ at vergleichbare Ans¨atze zum globalen inhaltsbasierten Bilddatenbankzugriff liefern [4]. Die Experimente zeigen, das ein “Point & Click”-Training zur Beschreibung und Extraktion a-priori unbekannter Objekte mittels Klassifikation prinzipiell m¨oglich ist. Um die Genauigkeit zu verbessern, m¨ ussen die verwendeten Merkmale und ihre Variationen jedoch weitergehend untersucht werden.

Literaturverzeichnis 1. Beier D, Thies C, G¨ uld MO, Fischer B, Kohnen M, Lehmann TM. Ein lokal¨ adaptives Ahnlichkeitsmaß als Kriterium der hierarchischen Regionenverschmelzung. In: Procs BVM; 2004. p. 100–4. 2. Duda RO, Hart PF, Stork DG. Pattern Classification. 2nd edition, Wiley Interscience, New York; 2001. 3. van Rijsbergen CJ. Information Retrieval. 2nd edition, Butterworths, London; 1979. 4. Clough P, M¨ uller H, Sanderson M. The CLEF 2004 Cross-Language Image Retrieval Track. LNCS 2005;3491:597–613.

Rekonstruktion von 4D-CT-Daten aus r¨ aumlich-zeitlichen CT-Segmentfolgen zur Analyse atmungsbedingter Organbewegungen Ren´e Werner1 , Jan Ehrhardt1 , Thorsten Frenzel2 , Dennis S¨ aring1 , Daniel Low3 und Heinz Handels1 1 Institut f¨ ur Medizinische Informatik, Universit¨ atsklinikum Hamburg-Eppendorf, 20246 Hamburg 2 Hermann-Holthusen-Institut f¨ ur Strahlentherapie, Allgemeines Krankenhaus St. Georg, 20099 Hamburg 3 Mallinckrodt Institute of Radiology, Washington University, St. Louis, USA Email: [email protected]

Zusammenfassung. Atmungsbedingte Organbewegungen stellen eines der Hauptprobleme der Strahlentherapie thorakaler und abdominaler Tumoren dar. Die Entwicklung von L¨ osungsans¨ atzen bedarf der Analyse des r¨ aumlich-zeitlichen Verhaltens der strahlentherapeutisch relevanten Volumina, z.B. auf Basis von 4D-CT-Daten. Moderne CT-Scanner gestatten allerdings lediglich die simultane Aufnahme einer begrenzten Anzahl benachbarter K¨ orperschichten. Um dennoch Bewegungen gr¨ oßerer Volumina untersuchen zu k¨ onnen, werden durch wiederholtes Scannen der entsprechenden anatomischen Segmente r¨ aumlich-zeitliche CT-Segmentfolgen generiert. Es kann jedoch nicht sichergestellt werden, dass f¨ ur die Scans der unterschiedlichen anatomischen Segmente die Zeitpunkte relativ zum Atemzyklus des Patienten einander entsprechen. Werden 3DCT-Daten zu einem vorgegebenen Zeitpunkt des Atemzyklus ausschließlich aus den aufgezeichneten Datensegmenten zusammengesetzt, treten folglich Bewegungsartefakte an den Segmentgrenzen auf. Dieser Beitrag pr¨ asentiert ein Verfahren zur Rekonstruktion von (3D+t)-CT-Daten (4DCT-Daten), das zur Reduktion der Artefakte f¨ uhrt. Hierzu wird der Optische Fluss zwischen den aufgezeichneten Datensegmenten bestimmt und zur Interpolation von Datensegmenten f¨ ur vorgegebene Zeitpunkte des Atemzyklus eingesetzt. Die rekonstruierten 4D-CT-Daten bilden die Grundlage der Analyse und Visualisierung der Bewegungen der dargestellten Bildstrukturen (Lungenfl¨ ugel, Bronchialbaum, Lungentumoren).

1

Problemstellung

Atmungsbedingte Organbewegungen stellen eines der Hauptprobleme im Kontext der Strahlentherapie thorakaler und abdominaler Tumoren dar. Derzeitig werden m¨ ogliche Bewegungen des Tumors durch Addition statischer Sicherheitss¨ aume zu dem Volumen ber¨ ucksichtigt, das auf Basis eines 3D-CT-Datensatzes als tats¨ achlich bzw. sehr wahrscheinlich tumorhaltig identifiziert wird.

Rekonstruktion von 4D-CT-Daten aus r¨ aumlich-zeitlichen CT-Segmentfolgen

7

Aufgrund der großen Amplituden atmungsbedingter Organbewegungen kann ein solches Vorgehen stark zu Lasten des gesunden Gewebes gehen. Eine explizite Ber¨ ucksichtigung der atmungsbedingten Dynamik ist demnach erstrebenswert, bedarf allerdings einer detaillierten Kenntnis bzw. der Analyse des r¨aumlichzeitlichen Verhaltens der strahlentherapeutisch relevanten Volumina. Zur Durchf¨ uhrung entsprechender Analysen werden mittels eines MehrzeilenCT r¨ aumlich-zeitliche CT-Segmentfolgen aufgenommen (siehe [1]): Die derzeitige Mehrzeilen-Computertomographie gestattet lediglich die simultane Aufnahme einer begrenzten Anzahl benachbarter K¨ orperschichten. Um dennoch Bewegungen gr¨ oßerer Volumina untersuchen zu k¨ onnen, werden die das zu untersuchende Volumen abdeckenden Couchpositionen wiederholt gescannt. Zeitgleich wird mittels Spirometrie das Atemvolumen des Patienten gemessen. Hierauf basierend werden den aufgezeichneten Datensegmenten das zugeh¨orige Atemvolumen und die Atemphase (Ein- oder Ausatmung) zugeordnet. Die Gesamtheit der Datensegmente stellt somit eine r¨ aumlich-zeitliche CT-Segmentfolge dar. Gesucht ist nun ein Verfahren, das es erlaubt, auf Basis der CT-Segmentfolgen (3D+t)-CT-Daten (d.h. 4D-CT-Daten) zu rekonstruieren. Als problematisch erweist sich hierbei, dass bei Aufzeichnung der Segmentfolgen, insbesondere bei freier Atmung des Patienten, f¨ ur unterschiedliche Couchpositionen die Datensegmente zumeist zu verschiedenen Zeitpunkten des Atemzyklus erfasst werden. Setzt man die 3D-CT-Daten des gesuchten 4D-Datensatzes aus den aufgezeichneten Datensegmenten zusammen, treten Bewegungsartefakte auf, die sich durch Konturspr¨ unge an den Segmentgrenzen manifestieren (siehe Abb. 1, oben). Eine Minimierung der Bewegungsartefakte bildet die Grundlage f¨ ur eine computergest¨ utzte Analyse und Visualisierung der atmungsbedingten Organbewegungen.

2

Methodik

Durch Vorgabe einer sortierten Sequenz von Zeitpunkten des Atemzyklus (= ˆ Wertepaaren, je bestehend aus Atemvolumen und Atemphase) wird die zeitliche Aufl¨ osung des zu generierenden (3D+t)-CT-Datensatzes festgelegt. Zu jedem der Zeitpunkte ist ein korrespondierender 3D-CT-Datensatz zu rekonstruieren. 2.1

Rekonstruktion durch N¨ achster-Nachbar-Interpolation

Bislang eingesetzte Verfahren zur Rekonstruktion von (3D+t)-CT-Daten aus bei freier Atmung des Patienten aufgenommenen, r¨aumlich-zeitlichen CT-Segmentfolgen beruhen auf dem Prinzip der N¨achster-Nachbar-Interpolation: Um einen 3D-CT-Datensatz zu einem vorgegebenen Zeitpunkt des Atemzyklus des Patienten zu rekonstruieren, wird auf Basis der spirometrischen Daten zu jeder Couchposition dasjenige aufgezeichnete Datensegment ermittelt, dessen zugeordneter Zeitpunkt dem Vorgegebenen am n¨ achsten kommt. Der 3D-CT-Datensatz wird dann generiert, indem diese Datensegmente entsprechend ihrer r¨aumlichen Positionen zusammengesetzt werden. Aufgrund der dargestellten Problematik f¨ uhrt dieses Vorgehen zu den beschriebenen Bewegungsartefakten.

8

2.2

R. Werner et al.

Rekonstruktion durch Interpolation unter Verwendung des Optischen Flusses

Um eine Minimierung dieser Bewegungsartefakte zu erzielen, wurde ein neues Rekonstruktionsverfahren entwickelt und umgesetzt. Zur Rekonstruktion eines 3D-Datensatzes zu einem gegebenen Atemvolumen werden hierbei f¨ ur jede zu ber¨ ucksichtigende Couchposition Datensegmente interpoliert, die dem zur Rekonstruktion vorgegebenen Atemvolumen entsprechen. Hierzu werden auf Basis der spirometrischen Informationen f¨ ur die einzelnen Couchpositionen je die beiden aufgezeichneten Datensegmente ermittelt, die dem vorgegebenen Zeitpunkt am n¨ achsten kommen (zeitlich vorhergehend, zeitlich nachfolgend). Zwischen diesen wird durch Anwendung der d¨amonenbasierten Registrierung nach Thirion [2] der Optische Fluss [3] gesch¨ atzt. Das resultierende Geschwindigkeitsfeld repr¨ asentiert die auftretenden Bewegungen innerhalb des zeitlichen Intervalls, das durch die den Datensegmenten zugeordneten Zeitpunkte definiert wird, und wird in Analogie zu [4] zur Erzeugung eines interpolierten Datensegmentes zum vorgegebenen Zeitpunkt herangezogen. Durch auftretende Bewegungen u ¨ ber die Segmentgrenzen hinaus k¨ onnen hierbei allerdings Registrierungsartefakte an den Segmentgrenzen auftreten. Diesen wird entgegengewirkt, indem die origin¨ar zu verarbeitenden Datensegmente um die zeitlich ann¨ahernd korrespondierenden Datensegmente benachbarter Couchpositionen erweitert werden. Die beschriebene Methodik wird auf diese erweiterten Datensegmente“ angewendet. Indem ” somit w¨ ahrend des Registrierungsprozesses Voxelkorrespondenzen u ¨ber die Grenzen der origin¨ aren Datensegmente hinaus definiert werden k¨onnen, werden die Artefakte reduziert. 2.3

Evaluation der Rekonstruktionsverfahren

Die Rekonstruktionsverfahren werden evaluiert, indem die innerhalb der generierten 4D-CT-Datens¨ atze auftretenden Spr¨ unge quantifiziert werden. Hierzu ¨ wird das Verh¨ altnis der mittleren Ahnlichkeit der Schichten eines Segment¨ uberganges (unterste Schicht des oberen Segmentes, oberste Schicht des unteren Seg¨ mentes) und der mittleren Ahnlichkeit der innerhalb eines Segmentes benachbarten Schichten betrachtet. Gemittelt wird u uber¨ber alle entsprechenden Schicht¨ ¨ g¨ange s¨ amtlicher 3D-Datens¨ atze des betrachteten 4D-Datensatzes. Als Ahnlichkeitsmaß wird die SSD-Metrik (SSD: Summed Squared Deviation) eingesetzt. 2.4

Analyse und Visualisierung von Organbewegungen auf Basis der rekonstruierten 4D-CT-Daten

Die rekonstruierten 4D-CT-Datens¨ atze werden zur Analyse und Visualisierung atmungsbedingter Organbewegungen eingesetzt. Hierzu werden die interessierenden Strukturen (hier: Lungenfl¨ ugel, Bronchialbaum, Lungentumoren) segmenardaten wird dann f¨ ur die einzelnen 3D-CTtiert. Unter Verwendung der Bin¨ Datens¨ atze u uft, ob das Volumen der in der Lunge enthaltenen Luft (die ¨ berpr¨ Bestimmung des Volumens erfolgt in Anlehnung an [5]) und die spirometrisch

Rekonstruktion von 4D-CT-Daten aus r¨ aumlich-zeitlichen CT-Segmentfolgen

9

Abb. 1. Schnitt eines rekonstruierten 3D-CT-Datensatzes zu einem Atemvolumen von 800 ml (Ausatmung). Oben: Rekonstruktion durch N¨ achster-Nachbar-Interpolation. Unten: Rekonstruktion durch Interpolation unter Verwendung des optischen Flusses.

gemessenen Atemvolumenwerte korrelieren. Weitergehend werden organspezifische Landmarken verfolgt und deren Trajektorien analysiert. 4D-Darstellungen der Bewegungen der Strukturen werden erzeugt, indem zeitliche Sequenzen von Oberfl¨ achenmodellen generiert werden.

3

Ergebnisse

Die Rekonstruktionsverfahren wurden jeweils auf vier r¨aumlich-zeitliche CTSegmentfolgen (Lungentumor-Patienten) angewendet, aufgenommen mittels eines 12-Zeilen-CT (r¨ aumliche Aufl¨ osung: 0.9 x 0.9 x 1.5 mm bei 512 x 512 x 12 Voxel pro Couchposition; Datens¨ atze umfassen 16-19 Couchpositionen). F¨ ur jede Couchposition liegen 15 Datensegmente vor, die jeweils im Abstand von 0.75 s aufgezeichnet wurden. Die Datens¨ atze umfassen den Thorax sowie das obere Abdomen und bestehen je aus mehr als 2880 transversalen Schichtbildern. Die visuelle Pr¨ ufung der Datens¨ atze, die aus der Rekonstruktion durch Interpolation unter Verwendung des optischen Flusses resultieren, ergibt im Vergleich

10

R. Werner et al.

zu den Daten, die mittels der N¨ achster-Nachbar-Interpolation erzeugt sind, eine deutliche Reduktion der Bewegungsartefakte (siehe Abb. 1). Anhand der zur Evaluation der Verfahren eingef¨ uhrten Kenngr¨ oße werden f¨ ur die vier Patientendatens¨ atze Reduktionen der Spr¨ unge um 32.7 %, 23.3 %, 24.6 % und 27.3 % erzielt. Die Bewegungsanalyse der rekonstruierten 4D-CT-Daten erbringt f¨ ur den Zusammenhang zwischen dem spirometrisch gegebenen Atemvolumen und dem in der Lunge enthaltenen Luftvolumen f¨ ur die Patienten jeweils einen Korrelationskoeffizienten von 0.99. Die ermittelten Bewegungsamplituden organspezifischer Landmarken stimmen mit verf¨ ugbaren Literaturwerten [6] u ¨ berein (z.B. Bifurkation und Lungenbasis: 1-2 cm). F¨ ur Lungentumoren wird eine starke Abh¨ angigkeit des Bewegungsausmaßes von der Lage des Tumors beobachtet.

4

Diskussion

Die Rekonstruktion von 4D-CT-Daten aus r¨ aumlich-zeitlichen CT-Segmentfolgen durch Interpolation von Datensegmenten unter Verwendung des optischen Flusses erlaubt es, zu vorgegebenen Zeitpunkten des Atemzyklus 3D-CT-Datens¨atze zu generieren. Insbesondere bei Anwendung auf Segmentfolgen, die bei freier Atmung des Patienten aufgenommen werden, zeichnet sich das Verfahren im Vergleich zu der bisher eingesetzten N¨ achster-Nachbar-Interpolation durch eine ¨ deutliche Reduktion atmungsbedingter Bewegungsartefakte an den Uberg¨ angen zwischen r¨ aumlich benachbarten Datensegmenten der 3D-CT-Datens¨atze aus. Die resultierenden 4D-CT-Daten sollen zu weiterf¨ uhrenden computergest¨ utzten Analysen atmungsbedingter Bewegungen anatomischer Strukturen verwendet werden. Der Schwerpunkt wird hierbei auf dem Auffinden von Korrelationen zwischen Bewegungen k¨ orperinterner Strukturen und Bewegungen der K¨orperoberfl¨ ache liegen, um z.B. Regionen der K¨ orperoberfl¨ache zu identifizieren, die ein nicht invasives Tracking der Bewegungen strahlentherapeutisch relevanter Volumina erlauben.

Literaturverzeichnis 1. Low DA, Nystrom M, Kalinin E, et al. A method for the reconstruction of fourdimensional synchronized CT scans acquired during free breathing. Med Phys 2003;30(6):1254–1263. 2. Thirion JP. Image matching as a diffusion process: an analogy with Maxwell’s demons. Med Image Anal 1998;2(3):243–260. 3. Horn BKP, Schunck BG. Determining optical flow. Artif Intell 1981;17:185–203. 4. Ehrhardt J, S¨ aring D, Handels H. Optical Flow-based Interpolation of Temporal Image Sequences. In: Procs BVM; 2006, accepted. 5. Lu W, Parikh PJ, Naqa IMEl, et al. Quantitation of the reconstruction quality of a four-dimensional computed tomography process for lung cancer patients. Med Phys 2005;32(4):890–901. 6. Langen KM, Jones DT. Organ motion and its management. Int J Radiat Oncol Biol Phys 2001;50(1):265–278.

3D-Erkennung, Analyse und Visualisierung pleuraler Verdickungen in CT-Daten Patrick J¨ ager1, Stefan Vogel3 , Achim Knepper1 , Thomas Kraus2 und Til Aach1 1

Lehrstuhl f¨ ur Bildverarbeitung, RWTH Aachen Templergraben 55, 52056 Aachen 2 Institut f¨ ur Arbeitsmedizin, Universit¨ atsklinikum der RWTH Aachen, 52057 Aachen 3 Lehrstuhl f¨ ur medizinische Informationstechnik, RWTH Aachen Templergraben 55, 52056 Aachen Email: [email protected] Internet: www.lfb.rwth-aachen.de/mesotheliom

Zusammenfassung. Aufbauend auf fr¨ uheren Arbeiten wurde ein Bildverarbeitungssystem entwickelt, welches pleurale Verdickungen automatisch lokalisiert und visualisiert. Es liefert reproduzierbare, quantitative Daten, die eine genauere Beobachtung der Verdickungen erm¨ oglichen als die konventionelle Befundungsmethode, und reduziert den f¨ ur die Befundung n¨ otigen Zeitaufwand. Die automatische Detektion findet innerhalb eines zweistufigen Algorithmus statt, der zuerst aus allen Schichten des Datensatzes die Pleurakonturen extrahiert und darauf aufbauend die ¨ Verdickungen in den Pleurakonturen detektiert. Da die Anderung der Form einer Verdickung ein wichtiges Kriterium bei der Entscheidung ist, ob eine Verdickung entartet, wurde eine M¨ oglichkeit zur Visualisierung der Verdickungen und der Lungenfl¨ ugel implementiert. Diese k¨ onnen nun aus allen Perspektiven betrachtet werden. Unterschiede in den Verdickungen zweier aufeinanderfolgender Scans k¨ onnen so erkannt werden.

1

Problemstellung

Asbest ist ein Sammelbegriff f¨ ur nat¨ urlich vorkommende, faserf¨ormige, mineralische Silikatmaterialien, die dank ihrer guten thermischen, mechanischen und isolatorischen Eigenschaften in vielen Anwendungsbereichen eingesetzt wurden. Asbest ist eine gesicherte humankanzerogene Substanz und kann Lungen- und Pleurafibrosen, Lungen- und Kehlkopfkrebs sowie maligne Mesotheliome verursachen. Die Asbestfasern gelangen u ¨ber die Atemluft in die Lunge und lagern sich an der Pleura ab, wo sich gutartige und b¨osartige Ver¨anderungen ausbilden k¨ onnen. Die Latenzzeit zwischen der Asbestexposition und dem Entstehen eines Mesothelioms kann 10 bis 65 Jahre betragen [1, 2, 3]. Der H¨ohepunkt des Asbesteinsatzes wurde in Deutschland Ende der 70er Jahre erreicht. Daher geht man von einem weiteren Anstieg der Neuerkrankungen auf u ¨ ber 1000 F¨alle pro Jahr aus. Bei den Todesf¨ allen Berufserkrankter ist Asbest die weitaus h¨aufigste

12

P. J¨ ager et al.

Todesursache und stellt damit in der Arbeitsmedizin ein großes Problem dar. In anderen europ¨ aischen L¨ andern sind die Fallzahlen noch deutlich h¨oher [4]. Daher werden in den kommenden 30 Jahren in Westeuropa etwa 250.000 Mesotheliomtote prognostiziert [5].

2

Stand der Forschung

Eine Heilung des Mesothelioms ist bisher nur in Einzelf¨allen m¨oglich, wenn eine ¨ Fr¨ uherkennung erfolgte. Zurzeit betr¨ agt die mittlere Uberlebenszeit nach Dia¨ gnosestellung ca. 9 Monate. In dem Bestreben, die Uberlebenszeit Betroffener zu erh¨ ohen, kommt der Fr¨ uherkennung des malignen Tumors eine entscheidende Rolle zu. Eine Wachstumstendenz pleuraler Verdickungen im zeitlichen Verlauf stellt ein wesentliches Kriterium zur Differenzierung zwischen gutartigen und b¨ osartigen Ver¨ anderungen dar. Zur Diagnosestellung von gutartigen und b¨ osartigen Ver¨ anderungen wird die Pleura mittels CT auf Verdickungen untersucht, die dabei vom befundenden Arzt nach Gr¨oße und Form in Klassen eingeteilt werden. Die Ergebnisse werden in einen standardisierten Erfassungsbogen eingetragen. Dies ist zum einen mit sehr hohem zeitlichen Aufwand verbunden, zum anderen unterliegen die Auswertungsergebnisse aufgrund der subjektiven visuellen Beurteilung hohen Schwankungen. Intra- und Interreadervariabilit¨ atsuntersuchungen zeigen, dass eine genaue und reproduzierbare Aussage u ¨ ber die quantitative Ausdehnung einer Pleuraverdickung schwer zu treffen ist. Heute zur Befundung eingesetzte, kommerziell erh¨ altliche Workstations werden momentan lediglich als Werkzeug zur Visualisierung der CT-Scans eingesetzt und erleichtern es dem Befunder, die Ergebnisse in Formulare einzutragen. In [6] wird von einem System berichtet, das semiautomatisch zur eindimensionalen Vermessung von Mesotheliomen in der Lage ist. Systeme, welche pleurale Verdickungen automatisiert erfassen und vermessen, sind zurzeit noch nicht verf¨ ugbar.

3

Wesentlicher Fortschritt durch den Beitrag

Die Verwendung eines vollautomatischen Bildverarbeitungssystems bei der Befunderhebung hat zum einen das Ziel, die zeitliche Belastung des befundenden Arztes zu verringern. Zum anderen soll sie zu exakten, reproduzierbaren Messwerten f¨ uhren, die eine einfache, m¨ oglichst objektive Verlaufsdokumentation der pleuralen Verdickungen erm¨ oglichen. Die vom System dargestellten Ergebnisse k¨ onnen dabei jederzeit vom untersuchenden Arzt korrigiert werden. So k¨ onnen Ver¨ anderungen der Verdickungen, die auf die Bildung eines malignen Tumors hinweisen, fr¨ uher erkannt und schon im Fr¨ uhstadium geeignete Therapiemaßnahmen ergriffen werden, welche sowohl die Lebenserwartung als auch die Lebensqualit¨ at des Patienten erh¨ ohen.

3D-Erkennung, Analyse und Visualisierung pleuraler Verdickungen

13

Abb. 1. Extraktion und Visualisierung der Pleurakonturen.

(a) Alle im Bild gefundenen Konturen

4

(b) Gefundene Pleurakontur, Bronchialbaum herausgeschnitten

(c) Visualisierung Lungen߬ ugels

eines

Methoden

Im CT-Scan werden zuerst die Pleurakonturen extrahiert, daraufhin nach vordefinierten Kriterien die Verdickungen lokalisiert und deren charakteristische Abmessungen bestimmt. Unser Verfahren arbeitet wie folgt: Der Anwender l¨adt zu Beginn einen CT-Scan zur Befundung in den Arbeitsbereich. Per Knopfdruck startet er die Detektion der Pleurakonturen. Dabei wird jedes DICOM-Bild mit einer Schwellwert-Operation (-550 HU) [7] in ein Bin¨arbild umgewandelt. In diesem Bin¨ arbild werden mittels eines Konturfindungsalgorithmus [8] alle geschlossenen Konturen gefunden. Diese werden nach vordefinierten Kriterien sortiert, so dass am Ende die Konturen der Pleura u ¨brig bleiben. Da im Bereich des Bronchialbaumes und mediastinaler Strukturen keine Verdickungen zu erwarten sind, werden diese Bereiche im Scan nicht betrachtet. Mit Hilfe der so gefundenen Pleurakonturen lassen sich die Lungenfl¨ ugel in einem gesonderten Fenster in einer 3D-Ansicht visualisieren und von allen Seiten betrachten. Dabei sind die Bereiche der Verdickungen gut erkennbar (Abb. 1c). Mit einem weiteren Knopfdruck startet der Anwender den Algorithmus zum Auffinden der Verdickungen. Verdickungen stellen sich immer als nichtkonvexe Bereiche in der konvex modellierten Kontur der Lunge dar. Daher werden in den gefundenen Konturen der Pleura alle Punkte identifiziert, welche die Pleurakontur vollst¨ andig umschließen, wenn sie mit Geraden verbunden werden. Aus je zweien dieser Punkte wird nun mit Hilfe ihrer Verbindungsgerade und dem zwischen ihnen liegenden Konturst¨ uck eine neue, kleine Kontur erstellt (Abb. 2). Diese neuen Konturen werden als potentielle Verdickungen angesehen und nach drei Kriterien beurteilt: Sie werden nur weiter betrachtet, wenn sie mindestens ein Pixel umschließen, sich mindestens eine Kontur im selben Bereich des Schichtbildes dar¨ uber oder darunter befindet und sich in ihrem Innern ein bestimmter Anteil an Pixeln befindet, deren Hounsfield-Werte denen von Tumorgewebe (gr¨ oßer 40 HU) entsprechen. Ist eine dieser Bedingungen nicht erf¨ ullt, wird die Kontur verworfen. Die gefundenen Verdickungen (Abb. 3) werden mit

14

P. J¨ ager et al. Abb. 2. Erstellen der Differenzkonturen

(a) Knotenpunkte der konvexen H¨ ulle

¨ (b) Uberlagerung von Kontur und konvexer H¨ ulle

(c) Differenz Fl¨ achen

der

den sich im selben Bereich befindenden Konturen aus den Schichten dar¨ uber und darunter vervollst¨ andigt. Zur Bestimmung des idealtypischen Verlaufs der Pleura wird ein thin plate model“ verwendet, das mit Hilfe einiger Pixel außerhalb ” des Beginns der Nichtkonvexit¨ aten eingepasst wird. Dadurch wird zum einen die zur Volumenbestimmung n¨ otige R¨ uckwand“ der Verdickung realistisch nachge” bildet und zum anderen der Anfangs- und Endpunkt der Verdickungen in jeder Schicht unter Hinzunahme der 3D-Information optimal bestimmt [9]. Die so gefundenen Verdickungen k¨ onnen ¨ ahnlich wie die Lungen in einem eigenen Fenster in 3D visualisiert und von allen Seiten betrachtet werden. Mittels eines Justage-Verfahrens [7] werden charakteristische Punkte des K¨orpers und ihre Lage relativ zum CT ermittelt. Dies erm¨oglicht eine Koregistrierung der Verdickungen und damit die automatisierte Erstellung einer Verlaufsdokumentation f¨ ur jede Verdickung. Die Ergebnisse der Verarbeitung (Konturen, charakteristische Werte der Verdickungen) werden bei deutlich erh¨ohter Sensitivit¨at des Untersuchungsverfahrens gespeichert und stehen so jederzeit zum Vergleich mit neuen Aufnahmen des Patienten zur Verf¨ ugung.

5

Ergebnisse

Die Algorithmen zum Auffinden der Pleurakonturen, der Verdickungen und die Funktionalit¨ at zur 3D-Visualisierung sowohl der Lungen als auch der Verdickungen funktionierten auf dem zur Verf¨ ugung stehenden Bildmaterial zuverl¨assig. Als n¨ achster Schritt steht eine Validierung der Ergebnisse des Systems in der Praxis im Vergleich zu den Ergebnissen erfahrener Befunder an, ebenso eine Beurteilung der Anwendbarkeit durch Befunder im t¨aglichen Betrieb.

6

Ausblick

Um das System im klinischen Routinebetrieb einsetzen zu k¨onnen, muss eine Validierung der gelieferten Ergebnisse stattfinden. Um dem Ziel eines vollautoma-

3D-Erkennung, Analyse und Visualisierung pleuraler Verdickungen

15

Abb. 3. Verdickungen - rot: HU > 10, blau: HU < 10

(a) Spindelf¨ ormige ckung

Verdi-

(b) Tafelbergf¨ ormige Verdickung

tischen Systems zur Erfassung und Vermessung pleuraler Verdickungen n¨aher zu kommen, ist neben einer Integration der entwickelten Algorithmen in die schon bestehende Benutzeroberfl¨ ache eine Automatisierung der Koregistrierung und die Implementierung einer Verlaufsdokumentation n¨otig.

Literaturverzeichnis 1. Kraus T, Raithel HJ. Fr¨ uhdiagnostik asbeststaubverursachter Erkrankungen. Hauptverband der gewerbl. Berufsgenossenschaften, Sankt Augustin; 1998. 2. R¨ uhle KH. Pleurale Erkrankungen: Diagnostik und Therapie. Kohlhammer, Stuttgart; 1997. 3. Sugarbaker DJ, Norberto JJ, Bueno R. Current Therapy of Mesothelioma. Cancer Control Journal 1997;4(4):326–334. 4. Deriot G, Godefroy JP. Rapport d’information fait au nom de la mission commune d’information sur le bilan et les cons´equences de la contamination par l’amiante. Senat de la republique francaise; 2005. 5. Dami˜ ao. Bericht u ur eine Richtlinie des Europ¨ aischen Parlaments ¨ ber den Vorschlag f¨ ¨ und des Rates zur Anderung der Richtlinie 83/477/EWG des Rates u ¨ber den Schutz der Arbeitnehmer gegen Gef¨ ahrdung durch Asbest am Arbeitsplatz. Europ¨ aisches Parlament; 2002. 6. Armato SG, Oxnard GR, et al. Evaluation of Semiautomated Measurements of Mesothelioma Tumor Thickness on CT Scans. Academic Radiology 2005;12(10):1301– 1309. 7. Vogel S. Semiautomatische Segmentierung, quantitative Vermessung und Verlaufsdokumentation von Pleuramesotheliomen in Spiral-CT-Bildsequenzen. Lehrstuhl f¨ ur Messtechnik und Bildverarbeitung, RWTH Aachen; 2003. 8. Suzuki S, Abe K. Topological Structural Analysis of Digital Binary Images by Border Following. CVGIP 1985;30(1):32–46. 9. J¨ ager P. 3D-Analyse und Visualisierung pleuraler Verdickungen in Spiral-CT-Daten. Lehrstuhl f¨ ur Bildverarbeitung, RWTH Aachen; 1997.

LAST Filter for Artifact-Free Noise Reduction of Fluoroscopic Sequences in Real-Time Marc Hensel1 , Thomas Pralow2 and Rolf-Rainer Grigat1 1 2

Vision Systems, TU Hamburg-Harburg, 21079 Hamburg General X-Ray, Philips Medical Systems, 22335 Hamburg Email: [email protected]

Abstract. We present a spatio-temporal filter for real-time noise reduction of strongly corrupted X-ray image sequences. It possesses efficient noise reduction while, at the same time, preventing typical artifacts of state-of-the-art methods. Decisive for these features are, in particular, innovative motion detection as well as noise-adaptive filter parametrization. Motion detection based on twofold signed binarization proved to be a powerful method for pixelwise separation of motion and strong noise. Drawbacks of threshold determination by Euler curve analysis as applied previously were eliminated by integration of signal-dependent noise estimation.

1

Introduction

Real-time noise reduction, enhancement, and visualization of X-ray image sequences is the basis of several established clinical applications. For instance, in angiography, medical instruments are navigated and the distribution processes of contrast agents are observed. As medical staff and patients are exposed over a long period, very low X-ray doses are applied in these examinations. Consequently, images exhibit severe noise. The advance of digital technologies and powerful computers enables us to apply image processing methods of increasing complexity. State-of-the-art in real-time noise reduction is spatio-temporal filtering. Temporal filtering is well suited for noise reduction of static image regions. Motion, however, generates perturbing artifacts. Hence, moving structures should be detected and temporal filtering reduced at these structures. Motion detection is complicated significantly by severe signal-dependent noise in the image data at hand. In last year’s BVM workshop our groups have presented motion detection based on independent binarization of positive and negative values in temporal difference images [1]. In this paper we report on the development status of the enhanced noise reduction method, which we named – for lack of better ideas – LAST (Local Adaptive Spatio-Temporal ) filter. Following a brief description of the filter, we focus on advances in motion detection and filter parametrization. In particular, we replaced blockwise processing based on Euler curves by a pixelwise motion probability that is motivated by an appropriate noise model.

LAST Filter for Artifact-Free Noise Reduction of Fluoroscopic Sequences

17

Fig. 1. Temporal recursive filter structure (α + β + γ = 1)

2

State-of-the-Art

Typically, temporal recursive filters [2] are applied for real-time noise reduction of X-ray image sequences exhibiting severe noise [3, 4]. In static image regions, temporal filtering significantly improves image quality and preserves fine structures far better than spatial filters of comparable complexity. However, motion generates distracting artifacts (motion shadows). Motion artifacts can be prevented by detecting motion and reducing the strength of temporal filtering in favor of spatial filtering at these locations. As motion generates strong signal in temporal difference images, motion detection is commonly based on the current and the last filtered image [5]. However, pixelbased motion detection without consideration of the neighborhood yields artifacts as frayed edges or salt-and-pepper noise in very noisy images. Aufrichtig and Wilson [4] assume motion artifacts in non-cardiac angiography to be caused predominantly by long, thin objects like catheters or guide-wires rather than organic structures. They use templates of small line segments to identify these objects and control spatio-temporal filtering. However, at least in angiography, large vessels brought out by contrast agents and, in general, bone structures are likely to produce artifacts as well. Recently, we have presented a method to detect strong noise and motion by independent binarization and postprocessing of positive and negative gray value differences [1]. For binarization, images are divided into blocks and a threshold for each block is determined in a noise-adaptive way by Euler curve analysis. Problems are, in particular, blocking artifacts and the complexity of Euler curve generation and analysis.

3

Methods

The filter is composed of a recursive spatio-temporal filter structure (Fig. 1) and a control unit determining local filter parameters. Latter includes a shutter, noise estimation, motion detection (twofold signed binarization and binary postprocessing) and automatic parametrization. The shutter determines the region of X-ray (ROX). Outside this region no motion is expected. Thus, maximal temporal filtering is applied. The integrated noise estimator is subject to a further paper presented by our groups [6].

18

M. Hensel, T. Pralow and R.-R. Grigat

Main features of the proposed motion detection and filter control are: 1. Twofold Signed Binarization: Independent binarization of positive and negative temporal gray value differences generates two binary images. 2. Postprocessing: By means of morphological operations, both binary images are divided into two masks representing motion and strong noise, each. Positive and negative motion masks are combined to one binary image. The proceeding for the noise masks is analogous. 3. Local adaptive control of spatial and temporal filter strengths via motion and noise masks as well as a motion probability based on local noise estimation. 3.1

Twofold Signed Binarization and Postprocessing

By independent binarization of positive and negative gray value differences, motion forms connected objects in the binary images while strong noise above the threshold does not form objects of significant size. Consequently, motion and noise can be separated into binary motion and noise masks bmotion and bnoise with bmotion ∩ bnoise = ∅ by simple morphological operations [1]. For each pixel, thresholds are determined based on an estimation of the local signal-dependent additive noise [6]. For this purpose, gray value differences g∆ (x, t) = g(x, t)−gst (x, t−1) of the current (g) and the last spatio-temporal filtered (gst ) image are normed to the signal-dependent standard deviation σηe (x, t) of the estimated noise ηe : |g∆ (x, t)| q(x, t) = (1) σηe (x, t) Absolute differences above three times the estimated noise level (q > 3) are interpreted as being caused by structure, i.e. motion. Further, by applying a sigmoid function, the normed differences are mapped to a continuous motion probability: c2 
prob(q) = c1 + (2) 1 + exp c3c−q 4 Extremely noisy pixels wrongly classified as motion are not problematic as these are detected and collected in the noise mask in postprocessing. 3.2

Control

The overall goal of filter parametrization is to maximize the temporal filter strength, i.e. parameter β, while, at the same time, preventing motion artifacts. Pixels identified as representing motion are predominantly filtered spatially, noise pixels are mainly filtered temporally. The spatio-temporal weighting w( · ) of the remainder is carried out on basis of the calculated motion probability: ⎧ : bmotion (x, t) = 1 ⎨ βmotion (3) β(x, t) = βnoise    : bnoise (x, t) = 1 ⎩  w prob q(x, t) : else

LAST Filter for Artifact-Free Noise Reduction of Fluoroscopic Sequences

19

Table 1. Coefficients a1 and a2 for correlated αβγ-filtering Filter Binomial 3 × 3 Binomial 5 × 5 Binomial 7 × 7

a2 0.6406 0.7935 0.8556

a1 1.5 1.7188 1.8047

The remaining parameters α and γ = 1 − (α + β) are optimized in such way to maximize noise reduction performance for given β. For observed medical X-ray images g, the true signal s being corrupted by additive zero-mean uncorrelated Gaussian noise η with signal-dependent variance, i.e. g = s + η(s), is a valid assumption [6]. The signal is modeled to be approximately homogeneous in a small neighborhood. Furthermore, in practice, the spatial filter is a (linear) binomial filter h of small size (3 × 3 to 7 × 7 pixels). Assume the neighborhood of a pixel to be corrupted with noise of standard deviation σ0 . Then the spatio-temporal filtered image exhibits noise of strength 

a2 2 α + a1 α + (β − 1) · σ0 σst (t) = β 2t + (β 2t − 1) (4) β−1 with: a1 = 2(1 − h0,0 ) a2 =

K 

K 

(5) [1 − δ(i)δ(j)] h2i,j + (1 − h0,0 )2

(6)

i=−K j=−K

For static regions (t → ∞) and constant β < 1, the optimum parameters are given by a1 α= (1 − β) (7) 2a2 and γ = 1 − (α + β). Table 1 shows parameters a1 and a2 for typical filters used.

4

Results

Diverse clinical sequences as well as a X-ray image sequence showing a dynamic test object were used in the evaluation. For quantification in terms of signal-tonoise-ratio (SNR), only the ROX was evaluated as the clinical irrelevant shuttered regions falsified the results by approximately 5 to 10 dB. State-of-the-art filtering without noise estimation or motion detection generated perceivable motion artifacts even for low temporal filter portions of about 5% (β = 0.05). At the same time, static image regions were hardly denoised with these parameter settings. Contrarily, even for strong noise reduction settings no temporal or spatial artifacts were observed when applying the presented

20

M. Hensel, T. Pralow and R.-R. Grigat

Fig. 2. Original image detail (left), motion artifacts due to temporal averaging at dark structures (middle), processed with proposed method (right)

method. Due to strong temporal filtering of broadly static image regions, clearly improved image quality and good temporal stability was notable in large image regions (Fig. 2). Objective evaluation of frames exhibiting about 18.5 dB SNR resulted in SNR improvement (SNRI) of about 9.1 dB.

5

Discussion

The presented method exhibits efficient noise reduction while, at the same time, preventing artifacts. Motion artifacts, typical for temporal averaging, are prevented by motion detection based on processing positive and negative instead of absolute gray value differences. Artifacts due to blockwise binarization were eliminated by integration of a motion probability based on signal-dependent noise estimation. By this, improved adaptation of the method to signal-dependent noise has been achieved and the former discrete filter parametrization could be replaced by a continuous parametrization.

References 1. Hensel M, Wiesner G, Kuhrmann B, et al. Motion Detection for Adaptive SpatioTemporal Filtering of Medical X-Ray Image Sequences. In: Procs BVM; 2005. p. 68–72. 2. Lagendijk RL, van Roosmalen PMB, Biemond J, et al. Video Enhancement and Restoration. In: Bovik A, editor. Handbook of Image and Video Processing. 2nd ed. Elsevier Academic Press; 2005. p. 275–294. 3. Sanchez-Marin FJ, Srinivas Y, Jabri KN, Wilson DL. Quantitative Image Quality Analysis of a Nonlinear Spatio-Temporal Filter. IEEE Trans Image Proc 2001;10(2):288–295. 4. Aufrichtig R, Wilson DL. X-Ray Fluoroscopy Spatio-Temporal Filtering with Object Detection. IEEE Trans Med Imaging 1995;14(4):733–746. 5. Konrad J. Motion Detection and Estimation. In: Bovik A, editor. Handbook of Image and Video Processing. 2nd ed. Elsevier Academic Press; 2005. p. 253–274. 6. Hensel M, Lundt B, Pralow T, Grigat RR. Robust and Fast Estimation of SignalDependent Noise in Medical X-Ray Image Sequences. In: Procs BVM; 2006.

Automatic In-Vitro Orifice Area Determination and Fluttering Analysis for Tricuspid Heart Valves Tobias Hahn1 , Alexandru Paul Condurache1 , Til Aach2 , Michael Scharfschwerdt3 and Martin Misfeld3 1 Institute for Signal Processing, University of Luebeck Institute of Imaging and Computer Vision, RWTH Aachen University 3 Department of Cardiac Surgery, University Clinic of Schleswig-Holstein, Luebeck Email: [email protected] 2

Abstract. Patients suffering from a tricuspid heart valve deficiency are often treated by replacing the valve with artificial or biological implants. In case of biological implants, the use of porcine heart valves is common. To supply patients with the best such xenograft implants, quality assessment and inspection methods for biological heart valves are necessary. We describe initial approaches to automatically testing tricuspid heart valves in-vitro in an artificial circulation system. We use two criteria to judge the quality of the valve, i.e. the evolution of the orifice area during a heart cycle and the fluttering of the valve leaflets in the stream.

1

Introduction

Replacing a deficient tricuspid heart valve with a xenograft implant is a common procedure in cardiac surgery [1]. Porcine heart valves (see Figure 1) are favoured for this procedure because of their similarity to the human heart valve and the easy access to these valves due to food production. With the high number of available porcine valves quality assessment becomes a vital task to provide the surgeons with the best material only. Major quality criteria of these valves are the orifice area, the opening and closing behaviour and the fluttering of the leaflets in the blood stream. The determination of the orifice area currently is done - if at all - manually by the researcher. An assessment of the fluttering behaviour is provided only by visual observation. In our work we test and compare different algorithms that automatically determine the orifice area. We have implemented three threshold based methods for this task. We first segment the orifice and then compute its area by counting all object pixels. Using the segmented orifice we perform a quantification of the leaflet fluttering. Section 2 of this paper explains the test apparatus and the state of the art. In section 3 we describe our algorithms. Results are shown in section 4, and section 5 closes with conclusions.

2

The Test Apparatus

Figure 2 a) depicts the test environment as described in [2]. From a reservoir (1) a transparent fluid is transported through a disc valve(4) by a piston pump

22

T. Hahn et al.

Fig. 1. Frames 47 and 124 from heart valve sequences A and B respectively showing boundary outlines, projection lines and anchor points

a)

b)

(2), which is driven by a waveform adapted cam plate (3). After passing an input compliance (5) the fluid is pressed through the inspected heart valve (11) into a visualization chamber (7) located in another fluid reservoir (6). Pressure sensors (10) are installed below and above the heart valve. Passing an aortic compliance (9) the fluid reaches a height variable column and flows back to the first reservoir. The heart valve is illuminated by light sources (12) outside the fluid tank (6) made from perspex. A high-speed video camera (13) takes images of the heart valve. The digitized images are stored on a PC (14). Images of the heart valve are taken with 500 fps and an interlaced resolution of 480x420 gray pixels. An image sequence of one valve cycle has a duration of half a second leading to 250 frames. Figure 1 shows two heart valve images. Determing the orifice area is done manually for each frame so far. The researcher has to select a set of points at the leaflet’s tips and the leaflet’s connections to define six triangles. Their summed areas give an approximation to the orifice area. An evaluation of the leaflet fluttering is currently done only qualitively by visual inspection. The orifice approximation neglects the rather curved boundary of the leaflets. The methods we propose here are intended to give the researcher a more precise and reproducible way to calculate the area. The fluttering analysis of the leaflets offers a new way to quality inspection and is more reproducible than just human inspection.

3

Methods and Algorithms

Algorithm Overview In Figure 2 b) an overview of our algorithm is shown. In the preprocessing part we perform Tophat filtering, equalize illumination variations and by user interaction obtain once for the whole sequence three anchor points situated at the intersections between the leaflets and the valve’s fixation ring (see Figure 1). The orifice area is determined by one of three threshold methods. These methods include a user-defined threshold, a threshold automatically selected with the method proposed by Otsu in [3] and a threshold derived from the Finite mixture models algorithm proposed by Figueiredo and Jain in [4]. For each image we obtain the orifice area by binarizing it with the threshold. To quantify the fluttering of the heart valve leaflets we first obtain the orifice area

Automatic In-Vitro Orifice Area Determination and Fluttering Analysis

23

Fig. 2. Scheme of test apparatus (a) and overiew of algorithm (b)

a)

b)

boundary by subtracting the eroded area segmentation from the result itself. As the tricuspid heart valve consists of three leaflets we split up the boundary at those contour points closest to the anchor points. This results in three segments each of which belonging to one leaflet. For each segment we perform a Fourier analysis of the contour points. The contour points coordinates are either treated as complex numbers (2-D data) or are projected to the connection lines between the splitting points leading to 1-D data and also offering better control over the sampling rate. In Figure 1 the orifice boundary outlines, the splitting points and the projection lines are depicted for both valves. Orifice Area Determination Using Thresholds User-defined threshold: The threshold used for binarization can be directly specified by the user as a certain percentile of the histogram of the heart valve image. Although we were able to obtain good results, this method has the downside that one has to pick the right threshold by trial and error. Otsu threshold: The threshold can be automatically selected using the method from Otsu [3]. It is histogram-based and assumes the histogram to be bimodal. It selects the threshold by maximizing the separability between the two resulting classes, i.e. dark ’orifice area’ and bright ’leaflet area’. Finite mixture models threshold: In our case the histogram turned out not to be bimodal, thus a method is needed that can separate multiple classes, i.e. generate multiple thresholds. Knowing that the orifice area is the darkest structure in our images we can select the threshold that separates the histogram peak with the smallest mean from the rest. We use the Finite Mixture Models [4] for this purpose. For a histogram with n samples consisting of multiple distributions the FMM algorithm returns estimates for the number k of distributions in the histogram, the mean values µi and the variances σi2 . Initialized with a random set of m Gaussian distributions having the probabilities αi the algorithm fits the estimates iteratively to the histogram data y using an expectation maximization method and a quality criterion for de-

24

T. Hahn et al.

Fig. 3. Orifice areas for five sequences (a) and fluttering energies for sequences A (solid line) and B (dashed line) (b)

a)

b)

terming the number of distributions. For each distribution pi and sample yj we calculate the probability wij that this sample was generated by this distri−1(

yj −µi 2

)

. In each iteration step t the mean valbution as pi (yj ) = αi σ √1 2π e 2 σi i ues and variances are updated for each distribution according to µi (t + 1) = n −1 n j j −1 n 2 2 j ( nj=1 wij ) j=1 yj wi and σi (t + 1) = ( j=1 wi ) j=1 (yj − µi (t + 1)) wi . Furthermore the distribution probabilities α are evaluated and eventually set to 0 if the current distribution does not fit onto the data. To determine the number of distributions hidden in the histogram in each iteration step the criterion knz (N +1) knz n i − log(p(Y |µ, σ 2 )) is L(µ, σ 2 , α, Y ) = N2 i:αi >0 (log( nα 12 )) + 2 log 12 + 2 calculated. With Y being the complete set of samples, N being the number of parameters defining the distributions (2 for 1-dimensional Gauss distributions) and knz being the number of non-zero (i.e. α > 0) distributions this criterion reaches its minimum at that iteration where the number k of distributions fits optimal to the histogram data. Assuming that our histogram consists of at least two classes and that the darkest class, i.e. the distribution with the lowest mean, represents the orifice, we obtain the threshold by calculating the intersection point of the two distributions with the lowest mean values. Fluttering Analysis We apply a Fourier transform to the orifice boundary obtained from thresholding to analyze the fluttering behaviour of the heart valve leaflets. High-pass filtration suppresses the frequencies corresponding to the leaflets’ curved shape showing only frequencies characteristic for the leaflet fluttering. Then we compute the energy in the spectrum thus obtained. Only images where the orifice area is above a certain minimum value are considered.

4

Results

Figure 3 a) shows the area over time plot for five of our test sequences. The plot exhibits the typical plateau-like form for heart valve orifice areas. Beginning in the closed state the heart valves open rapidly, remain open for a while and then

Automatic In-Vitro Orifice Area Determination and Fluttering Analysis

25

Fig. 4. Projected boudary (a) and magnitude spectra (b) for frame 124 of sequence B

a)

b)

close again. The plateau is slightly falling to the right side. It is also exhibits some variations due to the heart valves’ leaflets fluttering in the blood stream thus altering the orifice area to some extent. Figure 4 a) shows the contour coordinates projected to 1D and freed from the mean for each of the three heart valve leaflets. This data was taken from our test sequence B, frame 124. Figure 4 b) shows the corresponding energy of the data. We used high-pass filtration to cut off the frequencies belonging to the leaflets’ natural curvature. Figure 3 b) shows the fluttering energies for sequences A (solid) and B (dashed). The strong fluttering of B is clearly visible in the plot.

5

Conclusions and Outlook

We tested three threshold based approaches to determine the orifice area of heart valves automatically. Although these were only first tests the methods showed good results. We were able to derive typical orifice plots from the given data. This provides the researcher with a tool to perform the so far tedious work automatically. The fluttering analysis we introduced here is a novel approach giving information about the behaviour of the leaflets floating in the blood stream. Further work on this subject may include snakes as an alternative approach to determine the orifice area. The selection of the anchor points may be automated using a Hough transform.

References 1. Vongpatanasin W, Hillis LD, Lange RA. Prosthetic Heart Valves. MP 1996;355(6):407–416. 2. Scharfschwerdt M, Misfeld M, Sievers HH. The Influence of a Nonlinear Resistance Element upon In-Vitro Aortic Pressure Tracings and Aortic Valve Motions. ASAIO 2004;. 3. Otsu N. A Threshold Selection Method from Gray-Level Histograms. IEEE TSMC 1979;9(1):62–66. 4. Figueiredo MAT, Jain AK. Unsupervised Learning of Finite Mixture Models. IEEE TPAMI 2002;24(3):381–396.

Atlas-basierte 3D-Rekonstruktion des Beckens aus 2D-Projektionsbildern Hans Lamecker1, Thomas H. Wenckebach1 , Hans-Christian Hege1 , Georg N. Duda2 und Markus O. Heller2 1

2

Visualisierung und Datenanalyse, Zuse Institut Berlin, 14195 Berlin Centrum f¨ ur Muskuloskeletale Chirurgie, Charit´e-Berlin, 13353 Berlin Email: [email protected]

Zusammenfassung. H¨ aufig liegt einer computergest¨ utzten Operationsplanung lediglich ein Satz von wenigen 2D-R¨ ontgenbildern zugrunde. Dennoch ist es ein Anliegen, auf Basis solcher Daten R¨ uckschl¨ usse auf die dreidimensionale Anatomie des Patienten zu ziehen. In dieser Arbeit wird ein Verfahren vorgestellt, das mithilfe eines statistischen 3DFormmodells (SFM) des Beckens die geometrisch sowie toplogisch komplexe 3D-Form aus wenigen R¨ ontgenbildern rekonstruiert. Dies geschieht durch eine Optimierung, welche den Abstand der Silhouette des Modells in den Projektionsebenen zur Silhouette des Objekts in den R¨ ontgenbildern minimiert. Das Verfahren wird an 23 synthetisch erzeugten Datens¨ atzen validiert.

1

Einleitung

Der k¨ unstliche Gelenkersatz der H¨ ufte ist ein Standardverfahren zur Behandlung degenerativer Gelenkerkrankungen. Allein in Deutschland werden j¨ahrlich ca. 120.000 H¨ uftendoprothesen implantiert. Aufgrund der Alterung der Bev¨olkerung ist in Zukunft mit einem starken Anstieg der Zahl der Implantationen zu rechnen. Obwohl bekannt ist, dass die Belastungen des H¨ uftgelenkes eine wesentliche Rolle f¨ ur die langfristige Funktion und den Erfolg des k¨ unstlichen Gelenkersatzes spielen, stehen dem Chirurgen bei der Planung des Eingriffes derzeit keine validen Informationen zur erwarteten Gelenkbelastung zur Verf¨ ugung. Die computergest¨ utzte Planung soll daher helfen, den Erfolg der Behandlung zu verbessern. Dazu sollen die auftretenden Kr¨ afte und Belastungen des Gelenkes vor und nach dem Eingriff mit Hilfe validierter biomechanischer Modelle berechnet werden, um eine m¨ oglichst optimale biomechanische Rekonstruktion des H¨ uftgelenkes f¨ ur jeden Patienten gew¨ ahrleisten zu k¨ onnen. Die Grundlage f¨ ur die Operationsplanung sind in der Regel R¨ontgenbilder. W¨ahrend aus einer Becken¨ ubersichtsaufnahme (koronale Projektion) bereits wesentliche Daten f¨ ur eine Anpassung biomechanischer Modelldaten zur Berechnung der Belastungsbedingungen der H¨ ufte gewonnen werden k¨onnen [1], erfordert eine genauere Belastungsanalyse die Kenntnis der 3D-Geometrie der Anatomie, insbesondere der Knochen und Muskeln. Die Herausforderung besteht somit darin, aus R¨ ontgenbildern eine 3D-Rekonstruktion der anatomischen Objekte als Grundlage f¨ ur die nachfolgende Berechnung der Belastungen zu bestimmen.

Atlas-basierte 3D-Rekonstruktion des Beckens aus 2D-Projektionsbildern

27

Abb. 1. Registrierung eines 3D-Formmodells mit zwei R¨ ontgenbildern.

Ein Großteil der Literatur zum Thema 2D/3D-Registrierung (siehe [2] und enthaltene Referenzen) geht davon aus, dass ein pr¨a-operativer 3D-Datensatz des Patienten vorliegt, der dann mit intra- oder post-operativ gewonnene Daten registriert werden muss. In unserem Fall ist jedoch kein 3D-Referenzdatensatz vorhanden. Der Einsatz eines SFM erscheint daher sinnvoll f¨ ur die Rekonstruktion einer unbekannten 3D-Anatomie aus 2D-R¨ ontgenbildern. Verschiedene Arbeiten verfolgen einen ¨ ahnlichen Ansatz: Fleute et al. [3] verwenden ein SFM des distal gelegenen Teils des Femur zur Registrierung mit R¨ ontgenbildern aus einem C-Arm. Dazu werden die Abst¨ande zwischen den Konturen der SFM-Oberfl¨ ache und einer diskreten Anzahl von Projektionsstrahlen der R¨ ontgenbilder mittels eines ICP-Algorithmus minimiert. Benameur et al. [4] benutzen ein SFM der Wirbelknochen zur Registrierung und Segmentierung von R¨ ontgenbildern. Die Registrierung besteht in der Minimierung eines Kantenpotentials, das den Abstand der projizierten Konturen von den Konturen der R¨ ontgenbilder misst. Yang et al. [5] bauen auf ein hybrides Formmodell zur Rekonstruktion von Femuren aus R¨ ontgenbildern. Als Abstandsmaß dient die Korrelation zwischen simulierten Dickenbildern des Formmodells und den R¨ ontgenbildern.

2

Methoden

Das verwendete SFM wird aus einem Satz von individuellen Trainingsdaten erzeugt. Die Herausforderung dabei liegt in der Identifizierung von korrespondierenden Punkten auf den Trainingsoberfl¨ achen. Hierzu wurde das von Lamecker et al. [6, 7] beschriebene Verfahren verwendet. Als Ergebnis lassen sich alle Trainingsformen in einem gemeinsamen Vektorraum darstellen. Eine Hauptkomponentenzerlegung (PCA) dieses Ensembles liefert ein lineares Modell f¨ ur die zuge lassene Formvariabilit¨ at: S(b, T ) = T (v + nk=1 bk pk ), wobei v das Formmittel, pk die Eigenmoden der Formvariabilit¨ at, bk die Formgewichte und T eine affine Transformation darstellen (vgl. Abb. 2, links).

28

H. Lamecker et al.

Abb. 2. Links: Statistisches Formmodell des Beckens aus einer Trainingsmenge, Mitte: Kantenerkennung in R¨ ontgenbildern, Rechts: Silhouette des Beckens in R¨ ontgenbildern.

F¨ ur eine gegebene Kamerakalibrierung K (Lage und Ort der R¨ontgenquelle relativ zu den Projektionsebenen) und eine gegebene Instanz des Formmodells S(b, T ) wird die Silhouette des Modells in den Projektionsebenen berechnet und als 2D-Bild gerastert. Die Silhouette des Objektes in den R¨ontgenbildern wird einmalig interaktiv bestimmt: Nach einer automatischen Kantenbestimmung (Canny-Filter) werden unbrauchbare Konturen entfernt bzw. zur Silhouette vervollst¨ andigt (vgl. Abb. 2, mitte und rechts). Gegeben zwei Silhouetten s und s , sei d(x, s ) = minx
∈s
x − x  der Abstand zwischen einem Punkt x ∈ s und der Silhouette s . Das zu minimierende ¨ Ahnlichkeitsmaß ist der symmetrische quadratische Abstand

d = x∈s d(x, s )2 dx + x∈s
d(x, s)2 dx. Zur effizienten Bestimmung des Abstandes zwischen den Silhouetten werden sowohl f¨ ur die Modell- als auch die R¨ ontgensilhouetten Distanzfelder berechnet. Die Berechnung von d besteht dann in der Abtastung und Summierung der Distanzen der Punkte einer Silhouette zur jeweils anderen Silhouette. Das Distanzfeld der Modellsilhouette muss dabei st¨ andig aktualisiert werden. Die gesuchte Rekonstruktion ist die L¨ osung des Optimierungsproblems (T ∗ , b∗ , K ∗ ) = arg min(T,b,K) d. Zur Minimierung wird ein Suchverfahren verwendet, das einem Gradientenabstieg mit Liniensuche ¨ahnelt. Die Suchrichtung wird nicht mittels einer numerischen Approximation der partiellen Ableitungen ¨ berechnet, sondern mit einem Verfahren, welches das Ahnlichkeitsmaß an den Grenzen eines sehr großen Intervalls auswertet. Iterativ werden die Intervalle verkleinert, wodurch eine quasi-globale Optimierung erzielt wird. Zur Vermeidung von lokalen Minima und zur Steigerung der Effizienz wird die Registrierung in einer Datenpyramide durchgef¨ uhrt, d.h. die Silhouetten werden in verschiedenen Aufl¨ osungen in der Optimierung ber¨ ucksichtigt [8].

3

Ergebnisse

Zur Validierung wurden 23 CT-Datens¨ atze des Abdomens ohne Knochendefekte verwendet (Schichtabstand 5mm). Zu allen Datens¨atzen lagen manuelle Segmentierungen des Beckens als Goldstandard zur Auswertung vor. Das SFM des Beckenknochens wurde ebenfalls aus diesen Daten erzeugt [6]. Aus den Datens¨ atzen wurden mittels eines Volume Renderings k¨ unstliche R¨ontgenbilder be-

Atlas-basierte 3D-Rekonstruktion des Beckens aus 2D-Projektionsbildern

29

Tabelle 1. Quantitative Ergebnisse der verschiedenen Experimente. Experiment Leave-All-In (KO) Leave-All-In (KO-SA) Leave-One-Out (KO) Leave-One-Out (KO-SA) Leave-One-Out (DFM)

Mittelwert [mm] 1, 5 ± 0, 5 1, 3 ± 0, 5 2, 6 ± 0, 4 2, 4 ± 0, 4 2, 0 ± 0, 2

Median [mm] 1, 2 ± 0, 3 1, 1 ± 0, 5 2, 1 ± 0, 3 2, 0 ± 0, 3 1, 6 ± 0, 2

Maximum [mm] 8, 8 ± 3, 3 7, 9 ± 2, 6 17, 6 ± 6, 5 14, 9 ± 3, 1 13, 3 ± 2, 6

rechnet. Diese sind hier allerdings lediglich f¨ ur die Definition geeigneter Projektionsebenen erforderlich. Die Silhouetten dieser R¨ontgenbilder wurden direkt aus den manuellen Segmentierungen berechnet. Ziel der Validierung ist, die erreich¨ bare Genauigkeit des Verfahrens mit dem vorgeschlagenen Ahnlichkeitsmaß zu untersuchen. F¨ ur die konventionelle Operationsplanung werden bisher außerdem bereits kalibrierte R¨ ontgenbilder unter standardisierten Aufnahmebedingungen erstellt [9]. Daher wurden in der Optimierung hier nur die Formgewichte b optimiert (T, K sind bekannt). Bei Unkenntnis von T, K ist mit einer Verschlechterung der Ergebnisse zu rechnen. Die Experimente wurden f¨ ur den Fall einer R¨ ontgenaufnahme (koronal, KO) und zweier Aufnahmen (koronal und sagittal, KO-SA) durchgef¨ uhrt (vgl. Abb. 1). Als Fehler wurde der mittlere symmetrische Fl¨ achenabstand zwischen Optimierungsergebnis und Goldstandard gemessen. Den geringsten Wert f¨ ur den Fehler erreicht man durch direktes Fl¨ achenmatching (DFM) des SFM an den Goldstandard in 3D (Minimierung des mittleren quadratischen Fehlers, vgl. [6]). Als Test der Optimierungsstrategie wurde das Verfahren mit einem SFM durchgef¨ uhrt, das die Formen der zu rekonstruierenden R¨ontgenbilder enth¨alt (Leave¨ All-In-Test). Hier wird optimale Ubereinstimmung erwartet. Im Leave-One-OutTest ist der zu rekonstruierende Datensatz nicht im SFM enthalten. Dies stellt den realistischen Fall dar. Die Ergebnisse sind in Tabelle 1 zusammengefasst.

4

Diskussion

Ziel der Arbeit ist die Validierung eines neues Verfahrens zur 3D-Rekonstruktion des Beckens aus 2D-Projektionsbildern anhand synthetischer Datens¨atze. Die Mittelwerte der gemessenen Fehler liegen mit einer Gr¨oßenordnung von wenigen Millimetern in einem Bereich der erwarten l¨ asst, dass evtl. bereits aus einer einzigen Projektion eine f¨ ur die Berechnung der Belastungsbedingungen hinreichende Absch¨ atzung der 3D-Geometrie m¨ oglich ist [1]. Der Leave-One-Out-Test zeigt weiter, dass der gr¨ oßte Anteil des Fehlers in der Unvollst¨andigkeit des SFM liegt. Dieses gilt es daher in Zukunft um weitere Trainingsdaten zu erweitern. F¨ ur die klinische Anwendung bleibt zu kl¨ aren, wie das Verfahren durch degenerative Ver¨ anderungen der H¨ uftknochen beeinflusst wird. Hierzu muss in Zukunft untersucht werden, inwiefern die Methode bei unvollst¨andigen Silhouetten eine ausreichende Genauigkeit liefert. Der Einsatz eines Formmodells normaler

30

H. Lamecker et al.

Becken ist jedoch auch f¨ ur eine solche Situation sinnvoll, da das Ziel der Rekonstruktion vor allem diejenigen Bereiche sind, in denen wichtige Muskeln ansetzen. Solche Bereiche sind h¨ aufig nicht degenerativ ver¨andert. Eine m¨ ogliche Steigerung der Genauigkeit besteht darin, mehr Information aus ¨ den Bilddaten und dem Modell in das Ahnlichkeitsmaß zu integrieren. Versuche mit weiteren aus der Kantendetektion berechneten Konturen zu arbeiten, wie Benameur et al. [4] es vorschlagen, schlugen fehl, da die Konturberechnung im Allgemeinen nicht robust genug ist. R¨ ontgenbilder messen die Dichte des Knochens entlang eines Projektionsstrahls. Allerdings brachten Versuche, in denen ausschließlich Dickenbilder des SFM mit den R¨ontgenbildern registriert wurden (¨ahnlich [5]), unbefriedigende Ergebnisse, da der Inhomogenit¨at des Knochens im Dickenbild nicht Rechnung getragen wird. Zuk¨ unftig sollen daher Silhouettenund Dickeninformation im Registrierungsprozess kombiniert werden. Zusammenfassend muss man davon ausgehen, dass mit dem hier vorgeschlagenen Ansatz eine f¨ ur die Absch¨ atzung der Belastungen des Gelenkes hinreichend genaue 3D-Rekonstruktion des Beckens erzielt werden kann. Dies soll auch an klinischen Daten evaluiert werden. F¨ ur die vollst¨andige Analyse der Belastungen im Rahmen des H¨ uftgelenkersatzes wird das Verfahren in einem n¨achsten Schritt auf das Femur erweitert werden. Danksagung. Hans Lamecker wird gef¨ ordert durch das DFG Forschungszentrum Matheon “Mathematik f¨ ur Schl¨ usseltechnologien” in Berlin. Die Autoren danken Olaf Etzmuss f¨ ur erste Untersuchungen und Implementierungen.

Literaturverzeichnis 1. Heller MO, Bergmann G, Deuretzbacher G, et al. Musculo-skeletal loading conditions at the hip during walking and stair climbing. J Biomech 2001;34(7):883–893. 2. van de Kraats EB, Penney GP, et al. Standardized Evaluation Methodology for 2D-3D Registration. IEEE Trans Med Imaging 2005;24(9):1177–1190. 3. Fleute Markus, Lavall´ee St´ephane. Nonrigid 3-D/2-D Registration of Images Using Statistical Models. In: Procs MICCAI. vol. 1679; 1999. p. 138–147. 4. Benameur S, Mignotte M, Parent S, et al. 3D/2D Registration and segmentation of scoliotic vertebrae using statistical models. Computerized Medical Imaging and Graphics 2003;27(5):321–337. 5. Tang ThomasSY, Ellis RandyE. 2D/3D Deformable Registration Using a Hybrid Atlas. In: Procs MICCAI. vol. 3750; 2005. p. 223–230. 6. Lamecker Hans, Seebaß Martin, Hege HansChristian, Deuflhard Peter. A 3D Statistical Shape Model of the Pelvic Bone For Segmentation. In: Procs SPIE Medical Imaging: Image Processing. vol. 5370; 2004. p. 1341–1351. 7. Lamecker Hans, Lange Thomas, Seebaß Martin. Erzeugung statistischer 3DFormmodelle zur Segmentierung medizinischer Bilddaten. In: Procs BVM; 2003. p. 398–403. 8. Wenckebach ThomasH. Volumetrische Registrierung zur medizinischen Bildanalyse. Master’s thesis. Institut f¨ ur Informatik, Humboldt-Universit¨ at zu Berlin; 2005. 9. The B, Diercks RL, Stewart RE, et al. Digital correction of magnification in pelvic x-rays for preoperative planning of hip joint replacements: theoretical development and clinical results of a new protocol. Med Phys 2005;32(8):2580–2589.

Machine-Based Rejection of Low-Quality Spectra and Estimation of Brain Tumor Probabilities from Magnetic Resonance Spectroscopic Images Bjoern H. Menze1 , B. Michael Kelm1 , Daniel Heck1 , Matthias P. Lichy2,3 and Fred A. Hamprecht1 1

Interdisziplin¨ ares Zentrum f¨ ur Wissenschaftliches Rechnen (IWR), Universit¨ at Heidelberg, 69120 Heidelberg 2 Abteilung Radiologie, Deutsches Krebsforschungszentrum (dkfz), 69120 Heidelberg 3 currently: Diagnostische Radiologie, Universit¨ at T¨ ubingen, 72076 T¨ ubingen

Abstract. Magnetic resonance spectroscopic images (MRSI) carry spatially resolved information about the in vivo metabolism, however, their evaluation is difficult. Problems arise especially from artifacts and noise, yielding non-evaluable signals in many voxels. We propose a two-step approach to the processing of MRSI. In the first step a non-linear classifier is employed in every voxel to determine whether the spectral signal is evaluable, and if so, the tumor probability is computed in the second step. Thus, the quality control is strictly separated from the diagnostic evaluation of the spectrum. For an assessment of the proposed approach we consider MRSI-based brain tumor detection and localization and a tumor probability mapping by pattern recognition. In a quantitative comparison against the standard operator-controlled processing our interaction-free approach shows similar to superior performance.

1

Introduction

Magnetic resonance spectroscopy (MRS) allows the study of physiological and patho-physiological processes in the living tissue. Thus, characteristic changes in the relative concentration of a number of metabolites can be detected by MRS. Magnetic resonance spectroscopic imaging (MRSI) also allows for a spatial mapping of their occurrence. – One of the major applications of MRSI in clinical routine is in the diagnosis of tumor, in particular in the brain, but also in the breast or prostate. MRSI in Tumor Diagnosis The standard approach in the analysis of MR spectra is a fitting of resonanceline shaped template functions to the spectral pattern. The parameters of these (amplitude, line width, area) provide the basis for the following diagnostic interpretation of the spectrum, e.g. using the value of the resonance line integral

32

B.H. Menze et al.

of Choline relative to the integral of Creatine as an indicator for the malignity of a tissue change. Unfortunately, the robustness of this resonance line “quantitation” is limited in the presence of noise or artifacts within the spectra, and a visual control by the operator is always required. This effort hampers the routine use of MRSI, but is compulsory to assess the diagnostic value of an MR spectrum. An alternative approach, which is primarily suited for highly resolved (short echo time) spectra, bypasses the quantitation and uses algorithms from pattern recognition and machine learning. Tissue type and state of disease are directly inferred on the spectral pattern, without a model based reduction of the spectral information. Pattern recognition on the full spectrum, e.g. by a projection of the spectral image to a “nosologic” or diagnostic map, is more robust than the fitting of adaptive resonance line functions [1]. Nevertheless, this method also fails in the presence of spectral artifacts or at low signal-to-noise ratio. So, an inspection of the spectra is also required here and is limiting a fully automated analysis also for this approach. Published examples for the use of MRSI in tumor diagnostic can be found for both analysis approaches, e.g. in the non-linear classification of brain tumor [2] (EU-project INTERPRET), or in the quantitation of MR spectroscopic images in the detection of recurrent tumors after radiation therapy [3]. The most important obstacle for an application of these automated routines is the lack of a specific assessment about the confidence in the diagnostic analysis of a spectrum. While a number of algorithms are available for the diagnostic interpretation of MR spectra [2, 3, 4], quality control and the evaluation of confidences still demand a large amount of operator time and bind the resources of the human expert. Two Step Analysis Using the example of the detection and localization of brain tumor, we propose in the following a two-step procedure which is able to overcome some of the mentioned limitations in the automated analysis of MR spectra. In the first step, we demonstrate the applicability of pattern recognition in the classification of evaluable and non-evaluable (“nice vs. noise”) spectra. In the following diagnostic analysis, we use regression methods from chemometrics for pattern recognition and the generation of probabilistic tumor-maps with confidence assessment. Overall, we present an automated processing of MR spectroscopic images which yields a data product similar to any other standard imaging modality. Most important in comparison to the standard processing of MRSI, it is not a collection of localized spectra that need to be interpreted laboriously, but the mapping of the tumor-related information within the spectral image. Results of this approach will be compared against the outcome of a operatorcontrolled analysis. In order to allow a direct application, the algorithms can be integrated into the radiation therapy planning software at the German Cancer Research Center (dkfz) [5].

Machine-Based Rejection of Low-Quality Spectra

2

33

Methods

Data The data was acquired on a standard MR scanner (Siemens, Magnetom Vision, 1.5T, 1 H-MRS, TE 135 ms) at the dkfz. Spectral images of 31 patients with tumor diagnosis (astrocytoma, meningioma, glioma, metastases – confirmed during follow-up) were available at a spatial resolution of 322 and under a spatial resolution of approx. 1 cm voxel side-length (fig. 1a). Within this data 269 spectra could be labeled as “tumor”, “tumor border” or “normal state” (69/49/151, fig. 1d). – Spectral images of another 36 patients were classified completely by visual inspection according to the signal quality and resulted in approx. 37000 spectra (10% “nice”) for the training of the “nice vs. noise” classifier. Classifier – Quality Assessment While the signal-to-noise ratio can be assessed easily by linear methods, the separation of the various artifacts demands for the training of a non-linear classifier (“randomForest” decision tree ensemble [1]). RandomForests extend the idea of bagging tree ensembles by seeking optimal splits for each tree node on random subspaces of the data. Outcome of a randomForest classification is either the binary class membership, or the normalized number of votes from the tree ensemble, which allows for a subjective readjustment of the rejection threshold.– Different feature representations of the data (different normalization strategies, data binning) were tested and optimized according to the classification error. As the “noise” class of the training data only contained the most frequent artifacts, it was extended by uniformly distributed random samples of the spanned feature space of all spectra. This nonparametric outlier detection ensures a proper signal classification even in the presence of previously unknown artifacts. Classifier – Tumor Detection The character of the binary “normal state vs. tumor” classification problem allows the application of linear models on the data. In order to overcome the sparseness of the training problem (256 spectral channels (P ) in the spectral region of Choline, Creatine and NAA, 269 (N ) highly collinear spectra), the spectral regions relevant for the classification were identified in a first feature selection by help of the randomForest Gini importance measure (fig. 1d), the accumulated Gini decrease for all nodes of all trees within the ensemble. A partial least squares regression (PLS) [1] on these variables was used for the discrimination of the two tissue types. To allow an assessment of the tumor probability, a logistic model was build on the score of the PLS subspace (fig. 1c). The leave-‘one-patient’-out cross-validated PLS score was compared by means of the receiver-operator-characteristic (ROC) against the results of different standard approaches [5], all based on resonance line quantitation (line integral ratios and linear combinations thereof, fig. 1b).

34

3

B.H. Menze et al.

Results

Areas with high signal-to-noise ratio were reliably identified, virtually all artifacts being present in the data set were separated. An inspection of the leave-’one patient’-out shows that the cross-validated test error of 1.04 % is most probably due to ambivalent training labels. The classifier proposed to reject 60 low quality spectra (16/10/34) from the data set for the tumor classification. Within that data set, the randomForest Gini importance identified the spectral regions of the metabolites choline and NAA to be relevant for the classification. Thus a subset of Psubset = 14 out of the 256 spectral channels was used for training and evaluation of the binomial PLS model (fig. 1d). The resulting tumor classifier reached an accuracy of 95.5% in the differentiation between normal state and both tumor groups, normal and tumor were separated without error (100% accuracy). These values, however, reduce to 92.5% and 93.3% when the 60 low quality spectra are included. Comparing the ROC of this approach with other methods as described in [5], we find that the automated pattern recognition performs comparable to the outcome of a quantitation by a human operator (fig. 1b with noise) or better (fig. 1b without noise). All studied methods tend to show a higher reliability when low quality spectra are separated by the first step classifier.

4

Discussion

The proposed application of a specific, non-linear classifier for the the separation of non-reliable spectra is independent from the diagnostic question and the examined organ. Although we observe optimal results in conjunction with our pattern recognition approach, such a quality assessment prior to the diagnostic analysis shows to be beneficial also in conjunction with traditional resonance line quantitation. So far, only information theoretic criteria (e.g. Cramer-Rao-bounds) were used to assess the quality of a spectrum. Explicit and easily available knowledge about frequent artifacts which is the base of our noise classifier are disregarded by these traditional quality measures. In the specific task of brain tumor detection and localization, we can show that the fully automated pattern recognition operates as reliably as the operatorsupervised resonance line quantitation. The high degree of automation of both steps, the trained quality control and the chemometrical tumor recognition, allows for the application of further image processing and the exploitation of spatial relations within the MR spectroscopic image. Promising extensions might be the automated segmentation of tumor regions or the combination of MRSI nosologic images with other diagnostic imaging modalities. The operator-free data processing is a prerequisite for the clinical application of spectral images with high spatial resolution and therefore thousands of spectra in each acquisition.

Machine-Based Rejection of Low-Quality Spectra

35

1.0 0.8 0.6 0.4

True positive rate

pred cho/cr cho/naa cho/cr + a*cho/naa

0.0

0.0

0.2

0.4

0.6

pred cho/cr cho/naa cho/cr + a*cho/naa

0.2

True positive rate

0.8

1.0

Fig. 1. a) Tumor probability map; left: PRESS box indicated, right: gold standard (T (t) - tumor (-border), N - normal), regions which were classified as low quality spectra were disregarded for display. b) Receiver-operator-characteristic of the presented PLS based pattern recognition and other methods as described in [5], including(left) and excluding (right) low quality spectra. c) Transformation of class densities and binomial tumor-probability in red-green color scale. (here: normal vs. both tumor groups) d): Average spectral patterns of healthy and tumorous tissue.

0.0

0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.8

1.0

(b) tumor

healthy

0.6

normal

Cho

NAA Cr

3 2

tumor border tumor

1

1

0.5

2.2 ppm

randomForest Gini importance

Median Quartiles Outlier

4

6

8

healthy

10 12 14

3.3 ppm tumor tumor−border

2

0

0

tumor probability

class densities

(a) 4

0.4

False positive rate

False positive rate

0

20

40

60

80

100

PLS score

(c)

(d)

References 1. Menze BH, Lichy MP, Bachert P, et al. Optimal classification of Lonag Echo Time In Vivo Magnetic Resonance Spectra in the Detection of Recurrent Brain Tumors. NMR in Biomedicine submitted;. 2. Devos A, Lukas L, Suykens JA, et al. Classification of brain tumor using short echo time 1 H MR spectra. J Magn Reson 2004;p. 164–175. 3. Lichy MP, Pathow C, Schultz-Ertner D, et al. Follow-up of gliomas after radiotherapy: 1 H MR spectroscopic imaging for increasing diagnostic accuracy. Neuroradiology 2005;p. 1–12. 4. Kelm BM, Menze BH, Neff T, et al. CLARET: a tool for fully automated evaluation of MRSI with pattern recognition methods. In: Procs BVM; 2006. . 5. Neff T, Bachert P, Lichy MP, et al. Einsatz der Protonten-MR-spektroskopischen Bildgebung zur Zielvolumenbestimmung in der Strahlentherapieplanung bei glialen Hirntumoren. In: Procs BVM; 2004. p. 145–149.

Maximum-Likelihood-Ansatz zur Metallartefaktreduktion bei der Computertomographie May Oehler und Thorsten M. Buzug Department of Mathematics and Technology, RheinAhrCampus Remagen, 53424 Remagen, Deutschland Email:{moehler,buzug}@rheinahrcampus.de

Zusammenfassung. Aufgrund der Aufh¨ artung des R¨ ontgenspektrums treten besonders bei Metallen Artefakte in der CT-Bildrekonstruktion auf. Mathematisch liegt die Ursache in der Inkonsistenz der Daten des Radonraums. Zur Unterdr¨ uckung der Bildfehler werden die inkonsistenten Daten mit polynomialer Interpolation u uckt und anschließend ¨berbr¨ mit einem gewichteten Maximum-Likelihood-Expectation-MaximizationAlgorithmus rekonstruiert. Dieses Verfahren wird als λ-MLEM Algorithmus bezeichnet.

1

Einleitung

Die Computertomographie (CT) z¨ ahlt heute zu einem der wichtigsten bildgebenden Verfahren in der Medizin. Ein Problem bei der Beurteilung von CT-Bildern stellen Metallartefakte dar. Metalle in Form von Zahnf¨ ullungen, wie Amalgam oder Gold, sowie H¨ uftprothesen aus Stahl absorbieren auch die hochenergetische R¨ontgenstrahlung st¨ arker als das umliegende Gewebe und f¨ uhren zu falschen Schw¨ achungswerten. Im rekonstruierten Bild f¨ uhrt dies h¨aufig zu dunklen Streifen zwischen den Metallobjekten und zu nadelstrahlf¨ormigen, von den Objekten ausgehenden Streifen, die das umliegende Gewebe u ¨ berlagern und hierdurch die diagnostische Beurteilung erschweren. Zur¨ uckzuf¨ uhren sind diese Probleme auf ein niedriges SNR im Bereich des Metallschattens, ein erh¨ohtes Verh¨altnis von Streustrahlung zu Prim¨ arstrahlung und auf Strahlaufh¨artungsartefakte [1]. Um die diagnostische Beurteilung der Bilder, sowie die Planung von Operationen im Kieferbereich oder nach H¨ uftimplantatoperationen zu erleichtern, besteht ein Interesse an der Reduktion der Artefakte.

2

Material und Methoden

Als Standardrekonstruktion wird in der Computertomographie auf Grund ihrer Geschwindigkeit die gefilterte R¨ uckprojektion (FBP) eingesetzt. Dieses Verfahren stellt jedoch keine ad¨ aquate Methode im Umgang mit den inkonsistenten Daten im Radonraum dar. Einen besseren Ansatz hierf¨ ur stellt das 1984 eingef¨ uhrte

Maximum-Likelihood-Ansatz zur Metallartefaktreduktion

37

Maximum-Likelihood-Expectation-Maximization-Verfahren (MLEM) f¨ ur die Computertomographie dar [2]. Der Vorteil des MLEM-Verfahrens im Vergleich zur Rekonstruktion mit der gefilterten R¨ uckprojektion liegt darin, dass w¨ahrend der Rekonstruktion in geeigneter Weise Einfluss auf die aufgenommenen Rohdaten genommen werden kann. Weiterhin hat das MLEM-Verfahren das Potenzial die zur Aufnahme von CT-Bildern ben¨ otigte Dosis zu reduzieren, denn es ist in der Lage, Bilder aus Rohdaten zu rekonstruieren, die eine schlechte Statistik aufweisen und nur aus einer geringen Anzahl an Projektionen bestehen. Aus diesem Grund stellt es in der Nuklearmedizin das Standardverfahren zur Rekonstruktion dar. Zentrale Vorteile gegen¨ uber der FBP sind weiterhin das Fehlen der streifenf¨ ormigen Artefakte im Bild und ein exakteres betonen der Organ und K¨ orperkonturen [3]. Zun¨ achst werden die Rohdaten eines Torsophantoms der Firma CIRS Inc. mit dem Scanner Tomoscan M/EG der Firma Philips aufgenommen (Abb. 1a). Das Torsophantom wird mit zwei Stahlmarkern versehen. Die Vergleichsgrundlage bilden jeweils die rekonstruierten Bilder der Rohdaten dieses Torsophantoms ohne Stahlmarker in derselben Schnittlage. Den ersten Schritt zur Reduktion der entstehenden Metallartefakte stellt ein einfaches Reparaturverfahren des Rohdatenraumes dar (Abb. 1b). Hierzu werden zun¨achst die Metallmarker in einem vorl¨ aufigen, mit der FBP rekonstruierten Bild mit Hilfe eines Schwellwertes detektiert. Durch Vorw¨ artsprojektion der segmentierten Marker erh¨alt man ein reines Metallmarker-Sinogramm, das den Verlauf der Metallprojektionen im Rohdatenraum liefert. Alle Werte innerhalb dieses Sinogramms, die verschieden von Null sind, werden als inkonsistente Daten bezeichnet. In der Literatur [4], [5] und [6] finden sich verschiedene Ans¨ atze, die inkonsistenten Daten zu u ucken. In ¨ berbr¨ dieser Arbeit werden die inkonsistenten Daten mit polynomialer Interpolation innerhalb einer Projektion unter einem festen Winkel u uckt. ¨ berbr¨ Damit wird die unter dem Marker liegende Weichteilabsorption gesch¨atzt. Abbildung 1c zeigt das Ergebnis der polynomialen Interpolation (gepunktete schwarze Kurve) im Vergleich zur linearen Interpolation (schwarze StrichPunkt-Kurve), der Projektion, gemessen mit Metallmarkern (graue Kurve) und der Ground Truth, gemessen ohne Metallmarker (schwarze Kurve) anhand eines vergr¨ oßerten Profil-Ausschnittes aus Abb. 1b unter einem Winkel von γ = 120◦ . Hierin zeigt sich, dass mit der polynomialen Interpolation eine gute N¨aherung an die Ground Truth gelingt. Anschließend werden die so gesch¨atzten Weichteildaten mit dem MLEM-Algorithmus rekonstruiert. Da es sich bei diesem Reparaturschema des Radonraums um einen rein pragmatischen Ansatz handelt, dem ein schwaches physikalisches Model zu Grunde liegt, kann an dieser Stelle nicht erwartet werden, dass die interpolierten Daten jenen entsprechen, die tats¨ achlich ohne Metallmarker gemessen werden. Aus diesem Grund werden im Folgenden die jeweiligen Projektionen, die durch einen Metallmarker verlaufen, sowie die entsprechenden Zeilen der dazugeh¨origen Systemmatrix. mit einem Vertrauensparameter λ gewichtet. Dieses neue Verfahren wird λ-MLEM-Algorithmus genannt.

38

M. Oehler und T.M. Buzug

Abb. 1. (a) Experimenteller Philips Tomoscan M/EG mit CIRS Torsophantom markiert mit zwei Stahlmarkern; (b) Sinogramm der aufgenommen Daten des Torsophantoms markiert mit zwei Stahlmarkern; (c) Vergr¨ oßerter Ausschnitt der Projektion im Bereich der Metallprojektion unter dem Winkel γ = 120◦ einschließlich der Ergebnisse der linearen und polynomialen Interpolationen sowie der Ground Truth (gemessen ohne Stahlmarker).

¨ Die Herleitung des neuen λ-MLEM-Algorithmus basiert auf zwei Anderungen der urspr¨ unglichen Formel [2]. Im ersten Schritt werden alle Zeilen der Systemmatrix A, die zu Projektionen geh¨ oren, die durch ein Metallobjekt verlaufen, mit dem Vertrauensparameter 0 ≤ λ ≤ 1 gewichtet, so dass die neue Log-LikelihoodFunktion f¨ ur die Transmissions-Computertomographie wie folgt lautet

l (f ∗ ) = ln (L (f ∗ )) =

M 

⎛ ⎝−˜ ni

i=1

N 

⎞ λi aij fj∗ − n0 e−

N

∗ j=1 λi aij fj

⎠ + const., (1)

j=1

˜ i der wobei n0 der Anzahl der Photonen, die die R¨ontgenr¨ohre verlassen und n modifizierten Anzahl der detektierten Photonen entspricht. Der urspr¨ ungliche MLEM-Algorithmus ist ein einfacher Gradienten-Algorithmus [7], der auch nach Modifikation in folgender Form dargestellt werden kann 
(2) f ∗(n+1) = f ∗(n) + D f ∗(n) grad(l (f ∗ )); hierbei entspricht D der Diagonalmatrix f¨ ur die Transmissions-Computertomographie   ∗(n)
 fr ∗(n) D f , (3) = diag M ˜ i λi air i=1 n so dass Gleichung (2) wie folgt geschrieben werden kann fr∗(n+1) =

fr∗(n)

=

+

fr∗(n)

∗(n)

fr

+ M



∂l (f ∗ ) ∂fr∗



˜ i λi air i=1 n M ∗(n) N  ∗(n) fr n0 λi air e− j=1 λi aij fj M ˜ i λi air i=1 i=1 n

−

M  i=1

 n ˜ i λi air

(4) .

Maximum-Likelihood-Ansatz zur Metallartefaktreduktion Abb. 2. (a) FBP-Rekonstruktion, (b) MLEM-Rekonstruktion; (c) Rekonstruktion mit λi = 0.5 (innerhalb der Metallprojektionen).

39

λ-MLEM-

¨ ¨ Der zweite Anderungsschritt beinhaltet die Uberlegung, dass die Anzahl der gemessenen R¨ ontgenquanten im Detektor proportional zur Intensit¨at der R¨ ontgenstrahlung ist. Aus diesem Grund muss die Projektionssumme pi =

N 

aij fj ,

(5)

j=1

das heißt, die gemessenen Projektionswerte pi im Sinogram ebenfalls ad¨aquat gewichtet werden. Die angepasste Anzahl der R¨ontgenquanten ist damit n ˜i = n0 e−λi pi . Somit lautet die neue Fix-Punkt-Iteration fr∗(n+1)

=

fr∗(n)

M

N

∗(n)

λi air e− j=1 λi aij fj M −λi pi i=1 λi air e

i=1

.

(6)

In Abb. 2a ist das Ergebnis der FBP-Rekonstruktion dargestellt. Abbildung 2b zeigt das Ergebnis der Rekonstruktion mit dem klassischen MLEMAlgorithmus [7] basierend auf der modifizierten MLEM-Gleichung (6). Diese ist n¨ amlich identisch mit der urspr¨ unglichen MLEM-Rekonstruktionsvorschrift bei ur alle Projektionen i ∈ {1, . . . , M }. Innerhalb der beiden einer Wahl von λi ≡ 1 f¨ unterschiedlich rekonstruierten Bilder 2a/b sind die Metallartefakte gut zu erkennen. Dies beruht auf Inkonsistenzen innerhalb der unbehandelten Rohdaten, die durch Aufh¨ artung hervorgerufen werden. Im Vergleich hierzu zeigt Abb. 2c das Ergebnis der zun¨ achst mit polynomialer Interpolation reparierten Rohdaten und anschließender Rekonstruktion mit dem λ-MLEM-Algorithmus. Die mit dem λ-MLEM-Algorithmus rekonstruierten Bilder wirken im Vergleich zu den mit dem FBP-Algorithmus berechneten Bildern verrauschter. Daher ist die Erweiterung der Rekonstruktionsvorschrift des λ-MLEM-Algorithmus durch einen Regularisierungsterm erforderlich.

3

Ergebnisse und Diskussion

Als Beurteilungskriterium f¨ ur die G¨ ute der Metall-Artefakt-Unterdr¨ uckung wurde der Korrelationskoeffizient zwischen den Bildern jeweils mit und ohne Stahlmarker - also der Ground Truth - berechnet. Das beste Ergebnis wurde mit dem

40

M. Oehler und T.M. Buzug

λ-MLEM-Algorithmus mit einer Wahl von λ = 0.5 erzielt (Abb. 2c). Es zeigt sich, dass die Metallartefakte im Vergleich zur Rekonstruktion mit der StandardFBP gut reduziert werden k¨ onnen. Derzeit ist der λ-MLEM-Algorithmus in otigt bei 500 Iterationen auf einem Intel MATLABTM implementiert und ben¨ Pentium 4 Prozessor mit 3 GHz ca. 20 Minuten (Radonraum: 256x180 Daten; Bildraum: 256x256 Pixel). Auf Grund dieser langen Rechenzeit planen wir eine Implementation auf dedizierter Hardware, die Unterteilung der Projektionen in Ordered Subsets und die Einf¨ uhrung von Relaxationsmethoden. Weiterhin werden die entwickelten Verfahren mit anderen Algorithmen zur Metallartefaktreduktion verglichen. Hierbei stellen Methoden, die die polychromatischen Eigenschaften der R¨ ontgenstrahlung in der Computertomographie ber¨ ucksichtigen, einen besonderen Schwerpunkt dar.

Literaturverzeichnis 1. Kachelrieß M. Reduktion von Metallartefakten in der R¨ ontgen-ComputerTomographie. Ph.D. thesis. Friedrich-Alexander-Universit¨ at Erlangen- N¨ urnberg; 1998. 2. Lange K, Carson R. EM reconstruction algorithms for emission and transmission tomography. J Comput Assist Tomog 1984;8:306–316. 3. Jank J, Backfriede W, Bergmann H, Kletter K. Analyse des Konvergenzverhaltens von Rekonstruktionsalgorithmen anhand lokaler und globaler Parameter. Med Phys 2001;11:246–254. 4. Glover GH, Pelc NJ. An algorithm for the reduction of metal clip artifacts in CT reconstructions. Med Phys 1981;8:799–807. 5. Kalender WA, Hebel R, Ebersberger J. Reduction of CT artifacts caused by metallic implants. Radiology 1987;164:576–577. 6. Lewis RM, Bates RHT. Image reconstruction from projections III: Projection completion methods (theory). Optik 1978;50:189–204. 7. Lange K, Bahn M, Little R. A Theoretical Study of Some Maximum Likelihood Algorithms for Emission and Transmission Tomography. IEEE Trans Med Imaging 1987;6:106–114.

Ultraschall-Perfusionsbildgebung fu ¨r die Schlaganfalldiagnostik auf Basis eines Modells fu ¨r die Destruktionskinetik von Kontrastmittel Christian Kier1 , Karsten Meyer-Wiethe2 , G¨ unter Seidel2 3 und Til Aach 2

1 Institut f¨ ur Signalverarbeitung, Universit¨ at zu L¨ ubeck, 23538 L¨ ubeck Klinik f¨ ur Neurologie, Universit¨ atsklinikum S-H, Campus L¨ ubeck, 23538 L¨ ubeck 3 Lehrstuhl f¨ ur Bildverarbeitung, RWTH Aachen, 52056 Aachen Email: [email protected]

Zusammenfassung. Zur Diagnose von zerebrovaskul¨ aren Erkrankungen mittels Ultraschall ist neben den Methoden der Bolus- und Wiederanreicherungskinetik die Methode der Destruktionskinetik bekannt, bei der u orung von Kontrastmittel perfusionsbezoge¨ber die schnelle Zerst¨ ne Parameter bestimmt und farbkodiert als Parameterbilder dargestellt werden. Das dabei bislang verwendete Modell hat den Nachteil, diese Parameter nur durch ein Least-Squares-Fitting bestimmen zu k¨ onnen. Eine Weiterentwicklung des Modells f¨ uhrt zu der M¨ oglichkeit, den sogenannten Perfusionskoeffizienten direkt aus den Daten berechnen zu k¨ onnen. Desweiteren wird eine verbesserte Sch¨ atzung des daf¨ ur notwendigen Destruktionskoeffizienten dargelegt. Eine Versuchsstudie, in der die erhaltenen Ergebnisse mit MRT-Aufnahmen verglichen werden, liefert deutliche Hinweise darauf, daß das neue Modell eine exaktere Bestimmung der Perfusion erm¨ oglicht.

1

Einleitung

Die zuverl¨ assige und schnelle Messung der zerebralen Mikrozirkulation ist entscheidend f¨ ur die Diagnose und Behandlung akuter zerebrovaskul¨arer Erkrankungen. Derzeit wird diese Messung vorwiegend mit Hilfe zeit- und kostenintensiver tomographischer Verfahren (CT/MRT) durchgef¨ uhrt. Die Messstationen sind dar¨ uber hinaus ortsgebunden, so daß Transfer und eventuelle Wartezeiten zum Teil erhebliche Belastungen des Patienten mit sich bringen. Mit der transkraniellen Sonografie lassen sich kosteng¨ unstig und schnell Informationen u ¨ ber die lokale Hirndurchblutung am Bett des Patienten gewinnen. Dabei werden Ultraschall-Bildsequenzen aufgezeichnet, die den Verlauf der Konzentration eines Kontrastmittels im Blut festhalten, welches durch Ultraschallpulse in regelm¨ aßigen Abst¨ anden zerst¨ ort wird. Aus diesem Verlauf lassen sich perfusionsbezogene Parameter bestimmen, die farbkodiert als Parameterbilder dargestellt werden und R¨ uckschl¨ usse auf die Perfusion in einzelnen Bild- und damit Gehirnbereichen erlauben [1]. Bekannt sind eine bolusbasierte Methode (BHI [2]) sowie zwei auf konstanter Kontrastmittelinfusion basierende Methoden der Wiederanreicherungs- (RHI [3]) und Destruktionskinetik (DHI [4]).

42

2

C. Kier et al.

Harmonic Imaging und Destruktionskinetik

Um das bedingt durch die starke Schallreflektion am Sch¨adelknochen geringe Signal-Rausch-Verh¨ altnis von transkraniellem Ultraschall zu verbessern, macht sich Harmonic Imaging das nichtlineare Verhalten des Kontrastmittels zu Nutze. Ultraschall-Kontrastmittel besteht im Wesentlichen aus Mikrobl¨aschen, die bei Beschallung den Schall nichtlinear reflektieren und abh¨angig vom Schalldruck dabei zerst¨ ort werden. W¨ ahrend der Puls mit einer Mittenfrequenz von 1,8MHz gesendet wird, werden im Echo auch die entstehenden harmonischen Schwingungen erfasst, die haupts¨ achlich auf das im Blut vorhandene Kontrastmittel zur¨ uckzuf¨ uhren sind und somit vorrangig die Perfusion abbilden. Die Diminution Harmonic Imaging (DHI) Methode beruht auf konstanter intraven¨ oser Kontrastmittelinfusion, die zu einer konstanten Kontrastmittelkonzentration im Blutkreislauf f¨ uhrt. Abbildung 1 (li.) zeigt exemplarisch das erste Bild einer DHI-Sequenz mit anfangs hohem Kontrastmittelniveau. Durch eine Folge von Ultraschallpulsen (1,67-6,67 Hz) wird die Kontrastmittelkonzentration vermindert, da durch den bei dieser Methode verwendeten Schalldruck die Mikrobl¨ aschen im Kontrastmittel degenerieren. Nach ca. 10 Pulsen wird ein Gleichgewichtszustand g erreicht, in dem bei jedem Puls genau soviel Kontrastmittel zerst¨ ort wird, wie im folgenden Interpulsintervall in die Bildebene einstr¨omt. Abbildung 1 (re.) verdeutlicht diesen Prozeß. Zufluß, Abfluß und Zerst¨orung des Kontrastmittels k¨onnen f¨ ur jeden Zeitschritt und jede Volumeneinheit der Bildebene durch folgendes rekursives parametrisches Modell [5] beschrieben werden:   c(n + 1) = c(n) · d · e−p· ∆t + c(0) · 1 − e−p · ∆t .    Abf luss

(1)

Zuf luss

Dabei ist n die Anzahl der Ultraschallpulse, c(n) die Konzentration, ∆t die Zeit zwischen zwei Pulsen, d der Destruktionskoeffizient und p der Perfusionskoeffizient. Um die Konzentration im n-ten Schritt zu berechnen, kann folgende geschlossene Form verwendet werden:   xn−1 − 1 xn−1 + y · , mit x−1 x = d · e−p · ∆t

c(n) = c(0) ·

(2)

y = 1 − e−p · ∆t .

Bisher wird das Modell mit Least-Squares Methoden an die Bilddaten der Ultraschallsequenz gefittet und so der Perfusionskoeffizient p errechnet, der letztlich Aufschluß u ¨ ber die Perfusion geben soll. Genauso wird der ortsabh¨angige Destruktionskoeffizient d bestimmt, der die Destruktionswirkung des Ultraschallpulses ortsaufgel¨ ost wiedergibt [5]. Durch das Fitting k¨onnen diese Parameter bislang nur mit eingeschr¨ ankter Genauigkeit gesch¨atzt werden [6]. Desweiteren muß die Tiefenabh¨ angigkeit der Destruktionswirkung des Ultraschallpulses auf das Kontrastmittel ber¨ ucksichtigt werden.

Ultraschall-Perfusionsbildgebung f¨ ur die Schlaganfalldiagnostik

43

Abb. 1. Exemplarisches Ultraschallbild einer DHI-Sequenz (links). Tats¨ achliche und beobachtete DHI-Kontrastmittelkonzentration abh¨ angig von US-Pulsen (rechts). Beobachtete Konzentration Tatsächliche Konzentration Gleichgewichtszustand g

Kontrastmittelkonzentration (normalisiert)

1

0.8

Destruktion 0.4

Messung

0.2

0

3

Perfusion

0.6

1

2

3

4 5 6 Ultraschallpuls

7

8

9

10

11

Weiterentwicklung des mathematischen Modells

Das sich einstellende Gleichgewicht zwischen Zufluß, Abfluß und Destruktion resultiert in einem konstanten Intensit¨ atswert, der als Grenzwert g des zugrunde liegenden Modells (mit n → ∞) interpretiert werden kann. Die Grenzwertbildung verdeutlicht die Abh¨ angigkeit von g von der Ausgangskonzentration c(0), vom Perfusionskoeffizienten p sowie vom Destruktionskoeffizienten d: xn−1 − 1 n→∞ n→∞ n→∞ x−1 −y e−p · ∆t − c(0) xn−1 − 1 p>0 = c(0) · = = c(0) · lim y · n→∞ x−1 x−1 d · e−p · ∆t − c(0) (2)

g = lim c(n) = lim c(0) · xn−1 + lim c(0) · y ·

(3)

Zur Berechnung von p ist es zun¨ achst notwendig, g und d zu berechnen. Die Ausgangskonzentration c(0) wird aus dem ersten Bild der DHI-Sequenz bestimmt. Zur Berechnung von d wird davon ausgegangen, daß die Destruktion unmittelbar nach dem Ultraschallpuls auftritt. Im folgenden Intervall bis zum n¨achsten Puls kommen dann nur noch die Flußeffekte zum Tragen. Wenn also das Intervall hinreichend kurz gew¨ ahlt wird, kann d als Koeffizient von zwei aufeinander folgenden Werten betrachtet werden. Zur Berechnung werden deshalb von der Kurve mit der h¨ ochsten Aufnahmefrequenz (6,67 Hz) die ersten beiden Werte herangezogen, da sich das Kontrastmittelniveau hier noch nahe an der S¨ attigung befindet und somit die Flußeffekte noch nicht so stark sind, die Destruktion vom Absolutwert jedoch am h¨ ochsten ausf¨allt: lim

∆t→0

   c(1) (2) 1 lim c(0) · d · e−p · ∆t + c(0) · 1 − e−p · ∆t = d = c(0) c(0) ∆t→0

(4)

Nachdem der Grenzwert als Mittelwert der letzten drei Intensit¨atswerte gebildet wurde, kann p nach Umformung von (3) aus d, Grenzwert sowie Anfangskonzentration c(0) berechnet werden:

44

C. Kier et al.

Abb. 2. Parameterbilder des Perfusionskoeffizienten p (li.) und Destruktionskoeffizienzen d (re.). Je heller die Intensit¨ at, desto st¨ arker die Perfusion bzw. desto schw¨ acher die Destruktion. Homogen graue (li.) und schwarze (re.) Bereiche sind ung¨ ultige Pixel.

1 · ln p= ∆t



g · d − c(0) g − c(0)

 (5)

Nach der Berechnung des Perfusionskoeffizienten werden die Werte normalisiert und farbkodiert in einem Parameterbild dargestellt. Dabei werden die Bildpunkte, bei denen der Grenzwert g > α · c(0) ist (mit α frei w¨ahlbar, i.A. 1) als ung¨ ultig markiert, da hier die Modellannahme nicht zutrifft. Abbildung 2 zeigt Parameterbilder von p und d. Als weitere Parameter wurden aus der Zeit-Intensit¨ atskurve die maximale Amplitude und die Halbwertszeit des Kontrastmittels errechnet und ebenfalls als farbkodiertes Parameterbild dargestellt. Alle Berechnungen erfolgen pixelbezogen und erlauben somit eine pixel- oder regionenbasierte semi-quantitative Auswertung.

4

Versuchsstudie an 8 Patienten

In einer laufenden Studie wurden von bisher 8 Patienten mit Schlaganfallsymptomen jeweils DHI-Sequenzen sowie MRT-Aufnahmen erstellt. In den MRTBildern wurden solche Bereiche als Perfusionsdefekte klassifiziert, in denen die Durchblutung mehr als 4 Sekunden verz¨ ogert auftrat. In den DHI-Parameterbildern wurden Perfusionsdefekte von klinischen Experten ohne Kenntnis der MRTBefunde von Hand markiert. Die Gr¨ oße der Perfusionsdefekte wurde mittels des Spearman Ranking Verfahrens zueinander in Beziehung gesetzt. Dabei zeigt sich, daß von den vier Parametern (p, d, Amplitude, Halbwertszeit) allein der Perfusionskoeffizient eine signifikante Korrelation (r = 0.8, Signifikanz p = 0.017) mit den aus MRT-Aufnahmen bestimmten Perfusionsdefekten aufweist.

5

Diskussion

Im Gegensatz zu den derzeit verwendeten Verfahren erm¨oglicht die vorgestellte Methode die kosteng¨ unstige und schnelle Diagnostik der Hirnperfusion aufgrund von Ultraschallsequenzen direkt am Patientenbett unter minimaler Bela-

Ultraschall-Perfusionsbildgebung f¨ ur die Schlaganfalldiagnostik

45

stung des Patienten. Hervorzuheben ist die kurze Dauer der Untersuchung mittels der DHI-Methode, die neben verminderter Patientenbelastung zu stabileren Untersuchungsbedingungen im Vergleich zu anderen Harmonic Imaging Methoden (Bolus- und Wiederanreicherungskinetik) f¨ uhrt und der Methode damit das gr¨oßte Potential verschafft [4, 2, 5]. Die gezeigten Ergebnisse sind aufgrund des Umfangs der Studie nur vorl¨aufig, zeigen aber, daß unsere Weiterentwicklung des mathematischen Modells deutlich zur Verbesserung der DHI-Methode gef¨ uhrt hat und eine exaktere Berechnung des Perfusionskoeffizienten p erlaubt. Ebenfalls zur Verbesserung der Genauigkeit tr¨ agt die tiefenabh¨ angige Sch¨ atzung des Destruktionskoeffizienten d bei, da somit die Tiefenabh¨ angigkeit von p reduziert wird. Eine Schw¨ache der Methode ist derzeit noch die untersucherabh¨ angige Bestimmung der Perfusionsdefekte in den Parameterbildern, die allerdings durch ein standardisiertes und somit automatisches Verfahren behoben werden kann. Desweiteren kann davon ausgegangen werden, daß mit unserer Weiterentwicklung die DHI-Perfusionsbildgebung auch an anderen per Ultraschall erreichbaren Organen verbessert werden kann.

Literaturverzeichnis 1. Metzler Volker, Seidel G¨ unter, Wiesmann Martin, Meyer Karsten, Aach Til. Perfusion Harmonic Imaging of the Human Brain. In: Ultrasonic Imaging and Signal Processing. vol. 5035 of Procs SPIE. San Diego, CA; 2003. p. 337–348. 2. Kier Christian, Toth Daniel, Meyer-Wiethe Karsten, Schindler Angela, Cang¨ ur Hakan, Seidel G¨ unter, et al. Cerebral Perfusion Imaging with Bolus Harmonic Imaging. In: Ultrasonic Imaging and Signal Processing. vol. 5750 of Procs SPIE. San Diego, CA; 2005. p. 437–446. 3. Metzler V, Seidel G, Toth D, Claassen L, Aach T. Schnelle Messung der lokalen Hirnperfusion zur Diagnoseunterst¨ utzung bei zerebrovaskul¨ aren Erkrankungen. In: Procs BVM; 2001. p. 280–284. 4. Meyer Karsten, Seidel G¨ unter. Transcranial contrast diminution imaging of the human brain – a pilot study on healthy volunteers. Ultrasound Med Biol 2002;28:1433– 1437. 5. Eyding J, Wilkening W, Reckhardt M, et al. Contrast burst depletion imaging (CODIM): a new imaging procedure and analysis method for semiquantitative ultrasonic perfusion imaging. Stroke 2003;34(1):77–83. 6. Eyding Jens, Wilkening Wilko, Reckhardt Markus, et al. Reliability of semiquantitative ultrasonic perfusion imaging of the brain. J Neuroimaging 2004;14:143–149.

Robust and Fast Estimation of Signal-Dependent Noise in Medical X-Ray Image Sequences Marc Hensel1 , Bernd Lundt2 , Thomas Pralow2 and Rolf-Rainer Grigat1 1 2

Vision Systems, TU Hamburg-Harburg, 21079 Hamburg General X-Ray, Philips Medical Systems, 22335 Hamburg Email: [email protected]

Abstract. We present a practice-oriented, i.e. fast and robust, estimator for strong signal-dependent noise in medical low-dose X-ray images. Structure estimation by median filtering has shown to be superior to linear binomial filtering. Falsifications due to remaining structure in the estimated noise image are significantly reduced by iterative outlier removal.

1

Introduction

Medical X-ray image sequences as applied, e.g., in angiography exhibit severe signal-dependent noise. This is founded on low X-ray doses used for radiation protection reasons. Noise reduction as well as contrast enhancement methods can be significantly improved by consideration of the signal-dependent noise level. However, in noise estimation several intricacies arise. First of all, the application requires real-time processing while sophisticated noise estimators exhibit high computing time (complexity). Also, there is the problem of structure diversity. Noise estimation implies signal estimation (object structures). However, clinical sequences contain large regions of low contrast and smooth transitions (e.g. organs) as well as fine structures of high contrast (e.g. catheters, vascular trees). Finally, existing noise models are not universally applicable for all observed X-ray images. Existing noise models are based on the Poisson distribution as noise in lowdose X-ray images is dominated by statistical variability of the X-ray quanta and, thus, by additive Poisson-distributed quanta noise. However, all too often such distribution cannot be observed in medical sequences. Flat-panel detectors might consist of multiple detector arrays exhibiting significantly differing properties (e.g. sensitivity) and, hence, require corrective preprocessing. Moreover, device-specific logarithmic mappings of digital X-ray images with the purpose to establish linear dependency of gray-values from the thickness of imaged objects are applied. These mappings invert the monotony of signal-dependent noise curves. Even worse, mapping parameters not matching the detector or camera type can totally degrade the noise curve. As concluding example, preprocessing by Wiener filtering leads to a sharp bend in noise curves that cannot be described by the known models.

Robust and Fast Estimation of Signal-Dependent Noise

2

47

State-of-the-Art

State-of-the-art noise models for low-dose X-ray images are based on the assumption of the data being dominated by additive Poisson-distributed quanta noise. In Poisson-distributed data, mean µ (i.e. the expected uncorrupted signal inten√ sity s(x, y)) equals variance σ 2 . Thus, noise standard deviation σ = µ increases with the square root of the expected signal strength. Most often, and leading to a differing model, the exponential attenuation of X-rays passing through matter is compensated by logarithmic mapping. Hereby, linear dependency of image intensity and traversed object thickness is established. At the same time, logarithmic mapping fundamentally changes the noise characteristic. The resulting noise standard deviation is monotonically decreasing over large signal ranges and can be modeled by an exponential function. However, both models are devicespecific and preprocessing might yield observed noise characteristics that are not adequately described by these models. There are a multitude of noise estimation methods [1]. Many of these are not suited for real-time X-ray image processing, because of the huge amount of data, the complexity of the method, or because they are not suited for signal-dependent noise. Examples are methods based on wavelet transformation or Maximum Likelihood estimation [2, 3]. Noise estimators for real-time applications are mostly based on signal estimation by low-pass filtering. The high-pass portion, i.e. the data filtered out, is interpreted as noise and analyzed to yield the noise estimation [1, 4]. Naturally, the resulting noise estimation can be considerably falsified by structure, as edges contain significant high-frequency components.

3

Methods

In the context of real-time noise estimation, three major questions arise: What are the noise properties? Which filter is suited to approximate the signal? Finally, how can the influence of signal on the estimated noise image be further reduced? 3.1

Noise Model

The physical process underlying noise in low-dose X-ray images is Poissondistributed quanta noise. For a – in practice fulfilled – ”sufficiently large”number of quanta contributing per pixel (about 20), the discrete distribution can be approximated by the continuous normal (Gaussian) distribution with same mean and variance. Our measurements of X-rayed brass wedges using varying preprocessing steps verified that the observed signal-dependent noise can be described fairly well by additive zero-mean normal-distributed noise η with signaldependent standard deviation ση (s), i.e.   g(x, y) = s(x, y) + η s(x, y) (1)   2  η 1 1 exp − pdf(η; s) = √ (2) 2 σ 2π · ση (s) η (s) with signal s and the observed gray-valued image g.

48

M. Hensel et al. Table 1. Noise estimation in homogeneous images using 3 × 3 standard filters Filter Median Binomial

3.2

σse /σ0 0.4078 0.3750

σηe /σ0 0.9720 0.8004

ηe [%] 2.85 19.96

Signal Estimation Filter

With estimated signal se , the estimated noise component at location (x, y) is given by ηe (x, y) = g(x, y)−se (x, y). For real-time signal estimation in very noisy images, 3 × 3 median and (linear) binomial filters h are taken into account [1]. In homogeneous signals s(x, y) = s0 corrupted by noise σ0 , linear filtering se = h∗g yields an estimated noise image ηe with standard deviation ση2e according to: ⎡ ⎤  ση2e = ⎣ [1 − δ(i)δ(j)] h2i,j + (1 − h0,0 )2 ⎦ · σ02 (3) i

j

The performance of median filtering has been analyzed by experiments. For both, median and binomial filtering, Table 1 shows the noise levels in se and ηe as well as the relative error ηe = |σηe − σ0 |/σ0 of the resulting noise estimation. Regarding se , noise reduction performance of the median filter is only slightly below the binomial filter. However, most remarkably, noise in ηe reflects σ0 by far better than in case of the binomial filter. Furthermore, median filtering is superior in structure preservation and, thus, in limiting the influence of signal structure on ηe . 3.3

Intra-frame Noise Estimation

The proposed method is organized in five steps: 1. Signal estimation se (x, y) by 3 × 3 median filtering and creation of the corresponding noise image ηe (x, y) = g(x, y) − se (x, y) 2. Subdivision of the dynamic range of the signal in intervals Si of equal size 3. Estimation of noise σηe (i) in the intervals S(i) as standard deviation of all noise values ηe (x, y) whose corresponding signal values se (x, y) are in Si 4. Iterative outlier removal 5. Interpolation with consideration of the statistical basis The quality of the initial noise estimation in S(i) %−1/2 $ 2 σηe (i) = E (Ni − E{Ni }) with &   & Ni = ηe (x, y) && se (x, y) ∈ Si

(4) (5)

is improved by iterative outlier removal: In the calculation of the noise standard deviation σηe (i) for an interval S(i), absolute noise values above three times the

Robust and Fast Estimation of Signal-Dependent Noise

49

standard deviation are with high probability caused by high-frequency components originating from structure and not from noise. Thus, these outliers are removed from Ni (t) iteratively and the standard deviation is updated from the remaining values in Ni (t + 1): &   & Ni (t + 1) = ηe (x, y)&& ηe (x, y) ∈ Ni (t) ∧ |ηe (x, y)| ≤ 3σηe (i) (6) The noise estimations σηe (i) for intervals Si are mapped to a signal-dependent estimation σηe (s) by interpolation of σηe (i) of those intervals, where a ”sufficiently high”number (> 100) of pixel values have contributed to the standard deviation. Clinical X-ray images most often contain smooth transitions. Hence, normally most intervals are considered in the interpolation for the number of intervals (e.g. 128) and image data used by our groups. 3.4

Incremental Inter-frame Noise Estimation

For applications with very restrictive real-time requirements, the computing time for noise estimation can be controlled adaptively by incremental inter-frame noise estimation. Founded on the expression σ 2 (X) = E(X 2 ) − E(X)2 , the basic idea is to incrementally improve the estimation by additional consideration of some pixels of each new frame in a sequence. Number and location of the pixels is arbitrary, however, locations should differ from image to image in such way that all image coordinates have the same contribution in the long run. Incremental adding can be applied as long as the imaging parameters are constant and, hence, frames exhibit equivalent noise characteristics.

4

Results

Signal-dependent noise in low-dose X-ray images is described well by additive zero-mean Gaussian noise with signal-dependent standard deviation. The maximum absolute difference of normal and Poisson distributions of equal mean and variance is solely 0.010 units (normed to signal values: 0.10%) for 10 quanta per pixel and 0.005 units (0.02%) for 20 quanta per pixel. The measured noise curves σηe (s) are quasi-continuous, but not necessarily monotonic. The precision of the noise estimation has been evaluated using uniform, artificial, and clinical test images corrupted by noise with known characteristic. The clinical image showing a vascular tree has been acquired with comparatively high dose and, thus, contains low noise. This was further reduced by nonlinear diffusion filtering prior to evaluation. On all test data, signal estimation by median filtering clearly outperformed estimation based on binomial filtering. In the absence of image structure, the relative error of the estimated noise was about 2.85% for median and 19.96% for binomial filtering (Tab. 1). The presence of artificial structure falsified the noise estimation and yielded relative errors of 52.18% (median) and 81.69% (binomial). In the presented method, these errors were significantly reduced, in

50

M. Hensel et al.

Fig. 1. Estimated noise histograms for binomial filtering of clinical image. Ideal case: 1-D histograms for constant se are Gaussian-distributed. Left: All pixels contribute. Structure produces errors with predominantly negative/positive sign for small/large se (MSE: 8.96). Right: Only 37.16% of pixels with lowest entries (≤ 1% max. value) in edge image (Prewitt) contribute. Strong disturbances due to structure remain (MSE: 7.54). Proposed method: The disturbances are largely removed (MSE: 3.34). (For better visibility the data is normed to 1 for each se and the display clipped to 0.05.)

particular by structure iteration, to about 0.05% (median) and 17.38% (binomial), respectively. For the clinical image, relative estimation errors were about 2.67% and 18.91%, respectively. State-of-the-art gradient-based methods [1] did not yield comparable reduction of the influence of structure for the clinical test image (see Figure 1 and mean squared errors of normed data therein).

5

Discussion

The presented method is utmost robust in several aspects. Most prominent are its universality and suppression of object structures. The method adapts to the noise characteristics and is suited for exposures and fluoroscopic sequences, likewise. Moreover, typical falsifications in state-of-the-art noise estimators due to highfrequency components of structure are significantly reduced by iterative outlier removal. Finally, it has shown that signal estimation using median filtering yields good results for images corrupted by severe noise (e.g. fluoroscopic images).

References 1. Olsen SI. Estimation of noise in images: An evaluation. CVGIP: Graphical Models and Image Processing 1993;55(4):319–323. 2. Yuan X, Buckles BP. Subband Noise Estimation for Adaptive Wavelet Shrinkage. In: Proc IEEE 17th Int Conf Pattern Recognition. vol. 4; 2004. p. 885–888. 3. Sijbers J, den Dekker AJ. Maximum Likelihood Estimation of Signal Amplitude and Noise Variance From MR Data. Magn Reson Med 2004;51(3):586–594. 4. Amer A, Dubois E. Fast and Reliable Structure-Oriented Video Noise Estimation. IEEE Trans Circuits and Systems for Video Technology 2005;15(1):113–118.

CLARET: A Tool for Fully Automated Evaluation of MRSI with Pattern Recognition Methods B.M. Kelm1 , B.H. Menze1 , T. Neff2 , C.M. Zechmann2 and F.A. Hamprecht1 1

Interdisciplinary Center for Scientific Computing (IWR), University of Heidelberg, 69120 Heidelberg 2 German Cancer Research Center (dkfz), 69120 Heidelberg Email: [email protected]

Abstract. Magnetic Resonance Spectroscopic Imaging (MRSI) measures relative concentrations of metabolites in vivo and can thus be used for the diagnosis of certain tumors. We introduce the program CLARET that makes MRSI accessible for clinical routine use. Instead of embarking on an error-prone quantification of metabolites that requires manual checking of the results in many voxels, the program uses pattern recognition methods to directly compute tumor probability maps. Furthermore, non-evaluable signals are identified and masked out. The user can thus save time and concentrate on suspicious regions only.

1

Introduction

With magnetic resonance spectroscopic imaging (MRSI), specific metabolites can be detected and spectrally resolved in vivo. Since the concentration ratios of certain metabolites change characteristically in pathologic tissue, MRSI is in principle very well suited for the detection and localization of tumors. A major challenge in MRSI, however, lies in the postprocessing and evaluation of the acquired spectral volumes. In general, two approaches to the evaluation of MRSI have been considered in the literature. The first approach initially performs a quantification based on physical signal models [1]. Algortihms such as HLSVD, VARPRO, AMARES, LCModel, QUEST, etc. allow to incorporate different kinds of prior knowledge in order to obtain robustness towards noise. Such or similar algorithms are often provided by commerical vendors (e.g. Siemens – PRISMA, Philips – LCModel) and are also available in the popular Java solution jMRUI. However, in order to avoid wrong diagnoses because of erroneous quantification results, one has to manually verify the line fit in every single voxel. Merely because of time constraints, this approach is not viable in clinical routine, in particular at higher spatial resolutions. Furthermore, manual evaluation of MRSI data requires tissue specific domain knowledge not shared by all radiologists. Finally, such a manual evaluation lacks objectivity and reproducibility.

52

B.M. Kelm et al.

The second approach to the evaluation of MRSI data applies methods from machine learning and pattern recognition [2]. From this point of view, quantification is only one way of feature extraction and dimension reduction. Instead of using error-prone quantification, pattern recognition methods can as well use any other, possibly more robust, representation of the spectral information. Several techniques have been proposed in the literature among which are e.g. artificial neural networks, support vector machines, subspace methods, generalized linear models, etc. Recent results [3, 4] show that pattern recognition methods which do not rely on an explicit quantification step can be superior for a given diagnostic problem. Furthermore, pattern recognition also allows to identify spectra which are dominated by artifacts or which are just too noisy to be processed reliably [5]. Despite their considerable potential, pattern recognition methods for the evaluation of MRSI are not applied in clinical routine. One important reason is that commercial vendors do not offer or support such evaluation strategies yet. Another reason is that no software tools are available which offer pattern recognition methods for the evaluation of MRSI in a user-friendly way. In this paper we introduce the CLARET tool (C SI-based Localization And Robust E stimation of T umor probability) for the diagnostic evaluation of MRSI data. CLARET implements powerful pattern recognition methods for an automatic evaluation of MRSI volumes. Furthermore, it provides convenient tools and a user-friendly interface for time-efficient analyses.

2

Design Principles and Use Cases

The evaluation of MRSI volumes with CLARET is designed for utmost user friendliness. After selecting an MRSI volume and a suitable MR image volume (usually T2 -weighted) from the DICOM data set, CLARET can be initiated to evaluate either individual slices or the whole loaded volume at once. The results are displayed in transparent probability maps superposed onto slices through the MRI volume (Fig. 1). One can easily switch between tumor probability estimates and their 2σ confidence intervals. In addition, voxels which cannot be evaluated are masked out. In the subsequent diagnosis the user can therefore concentrate only on regions marked suspicious in the probability map. In case of doubt, the original spectral signal is easily accessible and conspicuities in the T2 -image can also be scrutinized. Finally the extracted probability map can be stored in a file together with the analyzed MRI/MRSI volumes for later reference or it can be exported for use in the radiation planning software VIRTUOS [6]. CLARET has explicitly been designed for the application of pattern recognition methods. Therefore, it can also be used for the construction of training data sets. The automatic display of the respective spectral signals together with fitted model spectra and quantification results upon selection of an MRSI voxel allow for a semi-manual evaluation of the spectral data. The results from such a voxel-wise evaluation can easily be entered per mouse click in the probability map and stored as training data set. Since manual labels can also be entered

CLARET: A Tool for Fully Automated Evaluation of MRSI

53

Table 1. Distribution of labels in the prostate data set (76 slices from 24 patients). quality \ class non-evaluable poor good total

healthy – 721 1665 2386

undecided – 437 629 1066

tumor – 284 452 736

total 15268 1442 2746 19456

after an automatic evaluation CLARET is also suitable for the correction of classification errors and is ready for active learning.

3

Experimental Results

Spectral recordings from an ongoing clinical prostate MRSI study (IMAPS, [7]) from 24 patients with 16 × 16 × 16 voxels and 512 spectral channels have been included in the assessment. The data has been acquired on a common MR scanner (MAGNETOM Symphony, SIEMENS Medical Systems, Erlangen) with endorectal coil. Altogether 76 MRSI slices have been labeled with CLARET with respect to signal quality and diagnostic classification (cf. Table 1). In this way it was possible to label about 20,000 voxels in a relatively short amount of time and to store them as training data set in a machine-readable format. The analysis of the obtained data has shown that pattern recognition methods which do not employ an explicit quantification step for feature extraction can yield better performance. For the discrimination between tumorous and healthy tissue all considered pattern recognition methods reached a median cross-validated area under ROC (receiver operator characteristic) of at least .995 and therefore performed at least as good as the best quantification approaches (cf. Fig. 2, left). The right part of Figure 2 illustrates the class separation that can be obtained for the example of a binomial PLS (partial least squares, ”binom PLS (m)”). The noise classifier discriminates evaluable from non-evaluable spectra with an estimated out-of-bag error of 4.9%. With the current choice of pulse sequence and field of view, approximately three quarters of the MRSI voxels have to be discarded by the noise classifier as they are either heavily distorted by artifacts or contain noise only.

4

Discussion

For the first time a software tool is available which generates pathophysiologic probability maps from MRSI data fully automatically. CLARET is currently employed in a prostate study at the German cancer research center Heidelberg (dkfz). The graphical user interface and integrated workflow allow for an efficient evaluation of MRSI. Direct import of DICOM data from the MR scanner and the subsequent fully automatic evaluation by means of powerful pattern recognition

54

B.M. Kelm et al.

Fig. 1. The CLARET GUI can be used to evaluate MRSI efficiently. In routine use, the program automatically computes and displays tumor probability maps and confidence intervalls on top of morphologic MR images. The program also allows for a point-andclick display of spectral raw data, it can perform quantification, and it may be used for the manual labeling or the semi-manual refinement of training data sets.

8

healthy

6

tumor 4

density

10 12

(Cho+Cr)/Ci (v) Ci/(Cho+Cr+Ci) (v) gauss (v) binom (v) RF (v) SVM−rbf (v) (Cho+Cr)/Ci (a) RF (a) SVM−rbf (a) (Cho+Cr)/Ci (q) RF (q) SVM−rbf (q) binom (m) binom PCR (m) binom PLS (m) binom GPLS (m) binom PSR (m)

0

2

undecided

0.85

0.90

0.95 AUC

1.00

0.0

0.2

0.4

0.6

0.8

1.0

p

Fig. 2. Left: Comparison of the tumor prediction capability of various approaches: (v)VARPRO, (a)-AMARES(jMRUI), (q)-QUEST(jMRUI) quantification versus spectral (m)agnitude pattern recognition approaches. The area under curve (AUC) of the receiver operator characteristic has been 8-fold cross-validated. Right: Density estimates of the cross-validated tumor probability estimates.

CLARET: A Tool for Fully Automated Evaluation of MRSI

55

algorithms make its use simple. An application of CLARET for radiation therapy planning is projected and enabled by the integration into the software platform VIRTUOS [6]. The mentioned IMAPS prostate tumor study shows the potential of pattern recognition methods for the diagnostic evaluation of MRSI and highlights the necessity to provide suitable software. CLARET prototypically demonstrates the possibilities of a pattern recognition based MRSI evaluation. Here CLARET clearly contrasts with other MRSI evaluation tools such as jMRUI, LCModel or PRISMA which concentrate on the quantification of spectral data. Although these programs can also be used to compute and visualize color maps, only relative metabolite concentrations or ratios thereof are displayed. In contrast, CLARET is tailored towards the generation and visualization of pathophysiologic maps that report an explicit estimate for tumor probability in every voxel.

References 1. Vanhamme L, Sundin T, Van Hecke P, et al. MR spectroscopy quantitation: a review of time-domain methods. NMR Biomed 2001;14:233–246. 2. Hagberg G. From magnetic resonance spectroscopy to classification of tumors. A review of pattern recognition methods. NMR Biomed 1998;11:148–156. 3. Kelm BM, Menze BH, Zechmann CM, et al. Automated Estimation of Tumor Probability in Prostate MRSI: Pattern Recognition vs. Quantification. Magn Reson Med submitted;. 4. Menze BH, Lichy MP, Bachert P, et al. Optimal Classification of Long Echo Time In Vivo Magnetic Resonance Spectra in the Detection of Recurrent Brain Tumors. NMR Biomed submitted;. 5. Menze BH, Kelm BM, Heck D, et al. Machine based rejection of low-quality spectra, and estimation of tumor probabilities from MRSI. In: Procs BVM; 2006. . 6. Bendl R, Pross J, Hoess A, et al. VIRTUOS - A Program for Virtual Radiotherapy Simulation and Verification. In: Proc of 11th Int. Conf. on The Use of Computers in Radiation Therapy. A. R. Hounsell u. a. Manchester: North Western Med. Physics Dept.; 1994. p. 226–227. 7. Scheenen T, Weiland E, Futterer J, et al. Preliminary Results of IMAPS: An International Multi-Centre Assessment of Prostate MR Spectroscpoy. In: Procs 13th ISMRM, Miami. Springer; 2005. .

Analysis of the Left Ventricle After Myocardial Infarction Combining 4D Cine-MR and 3D DE-MR Image Sequences D. S¨ aring1 , J. Ehrhardt1 , A. Stork2 , M.P. Bansmann2 , G.K. Lund3 and H. Handels1 1 Department of Medical Informatics, Department of Diagnostic and Interventional Radiology, 3 Department of Cardiology/Angiology, University Medical Center Hamburg-Eppendorf, 20246 Hamburg, Germany Email: [email protected] 2

Abstract. Spatial-temporal MR image sequences of the heart contain information about shape and motion changes and pathological structures after myocardial infarction. In this paper a software system called HeAT for the quantitative analysis of 4D MR image sequences of infarct patients is presented. HeAT supports interactive segmentation of anatomical and pathological structures. Registration of Cine- and DE-MR image data is applied to enable their combined evaluation during the analysis process. Partitioning of the myocardium in segments enables the analysis with high local resolution. Corresponding segments are generated and used for inter/intra patient comparison. Quantitative parameters were extracted and visualized. Parameters like endocard movement in the infarcted area of 6 infarct patients were computed in HeAT. Parameters in the infarct area show the expected dysfunctional characteristics. Based on theses parameters passive endocardial movement and myocardial areas with decreased contraction were identified.

1

Introduction

Myocardial infarction is one of the most common diseases in Germany. The infarcted area loses its ability to contract. This is attributed to left ventricle (LV) remodeling. LV remodeling is an important element in the progression of cardiac insufficiency characterized by wall thinning and chamber dilation for example [1]. It is a clinical problem to get quantitative parameters characterizing LV remodeling. New MR imaging techniques provide a non-invasive evaluation of anatomical and functional (local and global) parameters of the beating heart. In this paper spatial-temporal 4D Cine-MR and spatial delayed enhancement (DE)MR image sequences are combined to extract quantitative image parameters after myocardial infarction (Fig. 1). In this paper a software system called HeAT for the quantitative analysis of 4D MR image sequences of infarct patients is presented. Recently several software tools for quantitative analysis of spatial-temporal cardiac MR data were

Analysis of the Left Ventricle After Myocardial Infarction

57

Fig. 1. Two frames of a Cine-MR image sequence in endiastolic (a) and endsystolic (b) phase. Infarct area can be identified in the corresponding DE-MR image (c).

(a)

(b)

(c)

presented. The computation of global and local parameters in Cine-MR is supported rarely. Typically local parameters are computed and visualized using the 17 segment model. These parameters are limited for detailed evaluation of LV remodeling. Recently studies documented the mechanism of LV remodeling. Especially motion and shape changes of the myocardium in the infarct border zone were analyzed. Here the border zone was verified in Cine-MR manually using e.g. contrast echocardiography or delayed enhancement data for visual assistant. Generally this manual analysis is user-dependent and limited for inter/intra patient comparison. Other studies have underscored the impact of microvascular obstruction (MO) on the development of LV remodeling [2]. Due to the facts above the influence of MO is still poorly understood.

2

Methods

Computation of quantitative parameters in cardiac MR data requires localization and combination of the anatomical and pathological structures. Typically over 200 spatial-temporal Cine-MR and 7-12 spatial DE-MR images are acquired for each patient during breath-hold sequences. Segmentation and registration are necessary before the automatic algorithms for parameter extraction can be applied to evaluate the degree of myocardial infarction. Manual segmentation is used to outline myocardial structures in Cine-MR. Here identification of pathological structures is not possible, but in DE-MR these structures can be recognized. Therefore a data-driven method is applied in DEMR images for segmenting pathological structures using user-defined seed points within the healthy myocardial area. Based on their intensities mean x¯intensity and standard deviation σintensity are calculated. Due to the homogeneous intensity values of healthy myocardial tissue, voxels in the myocardium with intensities higher than (1) xthreshold = x¯intensity + 2 · σintensity are regarded as necrotic (Fig. 2).

58

D. S¨ aring et al.

Fig. 2. Visualization of the results of direct contour overlay before (a) and after (b) rigid registration. Segmentation of the infarct area using xthreshold is presented in (c).

(a)

(b)

(c)

The MO is identified as voxels with signal intensity lower than x¯intensity − 2 · σintensity in surrounding hyperenhanced myocardium [3]. The direct transfer of these contours to Cine-MR image sequences for their combined evaluation leads to two problems. Alignment: Cine-MR and DE-MR imaging require different settings. These different settings lead to different field of views or different patient positions. A rigid registration method is applied to align the datasets (Fig. 2). Correspondence: In the same spatial position one DE-MR and several temporal Cine-MR images exist. Combination of both requires the definition of correspondence. This problem is addressed using Mutual Information [4] as similarity measure. Thus, information of both MR datasets can be combined transferring the contours of the registered DE-MR to the corresponding Cine-MR image sequence. Furthermore all Cine-MR frames of each slice are registered using non-linear demon based registration [5]. Applying the resulting transformation to the corresponding DE-MR slice a moving DE-MR can be computed. Detailed cardiac analysis requires a high local resolution. Based on the anatomical contours myocardial segments are generated and numbered [6]. Segments of different phases and different patients but with the same segment number can be identified as corresponding. Thereafter local quantitative parameters like size, length and transmurality are computed automatically for each myocardial segment. Combination of end-systolic and end-diastolic contours enables the calculation of parameters characterizing endocardial motion and increase of the wall thickness. Also global parameters e.g. infarct size are calculated. We implemented HeAT utilizing ITK and VTK with a problem-oriented adaptation.

3

Results

HeAT was evaluated using Cine-MR and DE-MR datasets of six patients (#2−7) after myocardial infarction and one patient (#1) with a healthy heart. Two

Analysis of the Left Ventricle After Myocardial Infarction

59

Table 1. For datasets #1 − #4 size of HS and IS relative to the myocardial area [%] and x ¯ ± σ of EM and DT in mid-ventricular slice are represented. Additionally for #7 the results for microvascular obstruction (MO) area are shown patient #1 #2 #3 #4 #7

section HS HS IS HS IS HS IS HS IS MO

[%] 100, 0 77, 1 22, 9 83, 7 16, 3 94, 3 5, 7 76, 2 23, 8 2, 8

EM[mm] 10, 0 ± 2, 8 7, 2 ± 2, 1 1, 9 ± 1, 1 5, 6 ± 1, 9 4, 5 ± 0, 7 7, 4 ± 2, 2 6, 4 ± 0, 8 12, 3 ± 1, 9 4, 1 ± 2, 2 2, 9 ± 1, 3

DT[mm] 5, 3 ± 1, 5 2, 7 ± 1, 6 1, 0 ± 1, 0 5, 6 ± 2, 2 3, 4 ± 1, 3 3, 7 ± 2, 1 3, 1 ± 0, 6 7, 4 ± 1, 6 3, 4 ± 2, 1 1, 4 ± 0, 9

physicans defined an apical, a midventricular and a basal slice for each patient and outlined the anatomical and pathological structures. During the analysis the mean x ¯ and standard deviation σ of endocardial movement (EM) and difference of thickness (DT) of healthy (HS) and infarcted (IS) section were compared (Tab. 1). The quantitative parameters of #1 describe the movement of a healthy heart. #2 and #5 reflects the expected degree of myocardial infarction. In the infarction area EM and DT are decreased (5 mm) due to the loss of its contractile function. In contrast, in #3 and #6 the differences of EM are low (< 1, 1 mm) and the differences of DT are high ( > 2, 2 mm ). This result can be interpreted as a passive myocardial contraction. In #4 the changes of EM and DT values are not significant ( < 1, 0 mm ). Here, the infarct area is small and heart function is influenced minimally. In #7 MO was discovered. In the basal and mid-ventricular slice the MO values of EM and DT are high decreased and indicate the center of the infarct (Fig. 3). In apical slice characteristics of passive movement can be observed. The computation of quantitative parameters using HeAT is useful to get objective and observer-independent criteria for the characterization of LV remodeling.

4

Discussion

The automatic parameter extraction and their visualization proofed to be helpful for the evaluation of patient image data after myocardial infarction. The visualization of the analysis results reflect significant changes in shape and motion in the patient data considered. The registration of Cine- and MR image sequences enables the combined analysis of motion and shape in infarct regions and healthy tissue. According to LV remodeling the diagnostic impact of the generated DE-MR sequences at different phases of the heart cycle has to be evaluated in future. The manual segmentation was time-consuming and its re-

60

D. S¨ aring et al.

Fig. 3. Representation of the quantitative parameters for all myocardial segments. The absolute values mm of endocardial movement (circles) and the difference in wall thickness between end-diastolic and end-systolic phase (triangles) are displayed as well as the transmurality % of the infarct area (diamonds) and the MO (boxes).

sults were user-dependent. Therefore automatic or semi-automatic methods have to be developed to improve the segmentation process. In the next step a database of a population of infarct patients will be established with base-line (acute phase) and follow-up (approx. 6 month past acute) evaluations concerning left ventricular remodeling. This can be useful for predicting the course of disease of an acute infarct patient.

References 1. Zimmerman SD, Criscione J, Covell JW. Remodeling in myocardium adjacent to an infarction in the pig left ventricle. Am J Physiol Heart Circ Physiol Dec 2004;(287):H2697 – H2704. 2. Wu KC, Zerhouni EA, Judd RM, et al. Prognostic significance of microvascular obstruction by magnetic resonance imaging in patients with acute myocardial infarction. Circulation 1998;(97):765–772. 3. Gerber BL, Garot J, et al. Accuracy of Contrast-Enhanced Magnetic Resonance Imaging in Predicting Improvement of Regional Myocardial Function in Patients After Acute Myocardial Infarction. Circulation Aug 2002;(106):1083–1089. 4. Wells W, Viola P, et al. Multi-modal volume registration by maximization of mutual information. Medical Image Analysis 1996;1(1):35–51. 5. Thirion JeanPhilippe. Non-Rigid Matching Using Demons. In: Proc. Int. Conf. Computer Vision and Pattern Recognition (CVPR ’96). Washington, DC, USA: IEEE Computer Society; 1996. p. 245. 6. S¨ aring D, Ehrhardt J, Stork A, Bannsmann MP, Lund GK, Handels H. HeAT Heart Analysis Tool. In: 50. Jahrestagung der Deutschen Gesellschaft f¨ ur Medizinische Informatik, Biometrie und Epidemiologie. Freiburg; 2005. p. 28–30.

Content Based Image Retrieval for Dynamic Time Series Data Birgit Lessmann1,2 , Tim W Nattkemper2 , Johannes Huth2 , Christian Loyek2 , Preminda Kessar3 , Michael Khazen3 , Linda Pointon3 , Martin O. Leach3 and Andreas Degenhard1 1

2

Theoretical Physics, Physiscs Department, University of Bielefeld, 33615 Bielefeld Applied Neuroinformatics, Technical Faculty, University of Bielefeld, 33615 Bielefeld 3 Clinical MR Research Group, Royal Marsden Hospital, Institute of Cancer Research, Sutton, Surrey, UK Email: [email protected]

Abstract. Content based image retrieval (CBIR) systems in the field of medical image analysis are an active field of research. They allow the user to compare a given case with others in order to assist in the diagnostic process. In this work a CBIR system is described working on datasets which are both time- and space-dependent. Different possible feature sets are investigated, in order to explore how these datasets are optimally represented in the corresponding database.

1

Introduction

In clinical practice, the amount of digitised image data acquired with respect to diagnostic decision making is steadily increasing. In particular three or four dimensional acquisition strategies give rise to large amount of data to be processed. One example is the acquisition of a series of images utilising dynamic contrast enhanced magnetic resonance imaging (DCE-MRI), regarded as a powerful technique for the early detection of breast cancer [1]. In DCE-MRI the uptake of a contrast agent is monitored over a selected time interval to access characteristics of the uptake behaviour in tissue [2]. This allows for detecting abnormalities and, additionally, classifying the detected lesions by their uptake characteristics. Malignant tumours are typically characterised by a signal intensity curve showing a strong and fast uptake often followed by a washout. Contrarily, benign tumours typically possess a slight or moderate uptake behaviour of the contrast agent [2]. The acquired image series contains both, the temporal and the spatial information, resulting in a high dimensional data set. Software tools designed to assist the radiologist in his or her daily clinical work are therefore an active field of research. One particular class of assistant tools are the content based image retrieval (CBIR) systems based on the concept of query by example (QBE), i.e. searching database entries similar to a given query. Here we present a CBIR system for the interactive analysis of DCE-MRI images.

62

2 2.1

B. Lessmann et al.

Methods Content Based Image Retrieval

CBIR systems are based on the concept of query by example (QBE). Given an example case as input, the system output are those cases which are, by a chosen measure, most similar to the query case. CBIR systems for various purposes are currently under development. One type of example are retrieval systems for histopathological applications, usually based on texture, or modality independent retrieval systems for automatic categorisation of image data [3]. 2.2

Feature Vector Computation

We evaluate datasets acquired with different acquisition protocols, an additional challenge often unavoidable in daily clinical work. We consider a database containing DCE-MRI data with four and also five post-contrast images. We compare methods that differ in the treatment of these varying datasets with respect to feature vector computation. During the retrieval step the feature vectors of the different cases are compared. To achieve comparable feature vectors for our heterogenous database we apply different methodologies. An established method to describe signal enhancement in DCE-MRI is the use of radiological metafeatures [4], which do not depend on the dimension of the time-series. However, meta features, in general, strongly depend on the particular application, motivating the search for feature vectors applicable in a more generalised context. In this work, we propose and compare possible substitutions for meta features. In the following paragraphs the sets of feature vectors analysed in this work are described in detail. Truncation In a first approach we truncate a six dimensional time series by omitting the last time-point, so there is the same minimum number of timepoints for each sequence. Extrapolation In a second approach the five dimensional time series are extrapolated to six dimensional ones. Wavelet features Based on a Discrete Wavelet Transform (DWT) a more sophisticated approach is considered. Wavelet analysis is a method of data analysis to access the localised and scale dependent information in signals [5]. With respect to time series analysis, wavelet-based methods are quite established [6]. We have wavelet-transformed the five or six-dimensional time series and then truncated the achieved series of coefficients to the length of five. I.e. in case of a six-dimensional time series one coefficient is omitted. In contrast the truncation in the time domain, the information of the last time-point, if available, is still partly included in some of the remaining coefficients. Here the Daubechies-4wavelet [5] is employed for our computations.

Content Based Image Retrieval for Dynamic Time Series Data

63

Radiological Meta-Features Another type of feature vectors is based on established kinetic meta features used in MR radiology. We have evaluated the CBIRsystem using the features percentage enhancement, washout ratio, steepest slope and time-to-peak enhancement as described in [4].

3

Database

Our analysis includes 27 cases, i.e. 27 time series of DCE-MR images. Each single image in this time series is acquired within an acquisition time of 90 sec. Two images are acquired before and four or five images after injection of the contrast agent. Only one pre-contrast image was included in the further analysis. In 10 cases only four post-contrast images are available resulting in a shorter time series of images. 14 cases are histopathologically classified as malignant and 13 as benign. Segmentation of tumour tissue was performed within a preprocessing step by applying the dynamic pyramid linking algorithm in 3d. This usually results in a decomposition of a tumour into several parts. The average time series computed for each of the latter are then stored as entries in the database,normalised with the pre-contrast value. The database comprises a total number of approximately 3000 entries.

4

Results

A statistical evaluation of the different feature sets is performed. All segments of each tumour for each case are selected as a query example and the entries corresponding to the remaining cases as database content. For each given query example the number of retrieved malignant and benign segments are counted. For a query example classified as malignant the retrieved malignant segments are labelled as true positive (TP) and the retrieved benign ones as false positive (FP) and vice versa. From the values of TP and FP the precision of each query is computed. The four different methodologies are then compared to each other in a statistical evaluation. The results for the best ten matches are shown in figure 1. For each tumour an average precision curve is computed. Figure 1 presents the mean areas under the precision curve. In the averaging process the results for the different segments are weighted regarding the size of the segment. Since this analysis is based on only retrieving the best ten matches, recall values cannot be computed. Since the database comprises 1678 feature vectors describing malignant tissue and 1073 feature vectors describing benign tissue, the a priori probabilities of retrieving malignant or benign cases are 0.61 and 0.39 respectively. Regarding these values the results of malignant tissue are significantly better then those of benign tissue. In fact, the results of the benign lesions are quite near to the a priori probability. As can be seen in figure 1 the retrieval results for the truncation and extrapolation procedure are quite similar. The wavelet based features show a very good performance in retrieving malignant tissue and benign cases. The meta features show a performance similar to those of the wavelet features in retrieving

64

B. Lessmann et al.

Fig. 1. Mean areas under the precision curve for the for different methods. Left: malignant cases, Right: benign cases 1 truncated time series extrapolated time series wavelet features meta features

mean area under precision curve

0.8

0.6

0.4

0.2

0 malignant cases

benign cases

the malignant cases, but provide a performance inferior to the others in case of benign entries. However, regarding the statistical fluctuations measured none of the feature sets can definitely be determined as the best suited one. A further observation is, that the standard deviations of the benign cases are much higher then those of the malignant cases. This is assumed to be related to the following observation. Starting from a database containing the segments of 25 malignant and 17 benign lesions, we count the number of lesions providing retrieval results exceeding the a priori probabilities of retrieving malignant or benign cases. The results are shown in Table 1. In most of the malignant cases the averaged area under the precision curve exceed the a priori probability. In case of benign lesions the retrieval results seem to be quite randomly distributed. This leads to the conclusion that malignant tissue presumably shows a more characteristic uptake kinetic than benign tissue. In [7] it was shown, that malignant tumours often contain regions showing a benign uptake characteristic. Thus a lot of segments in the database derived from malignant tumours are difficult to be distinguished from the benign ones.

5

Discussion and Conclusion

We proposed and evaluated a CBIR system for DCE-MR images capable of handling inhomogeneous data sets. Different techniques are proposed to accomplish this task, including a wavelet based scheme. In a statistical analysis we showed that the feature vector sets achieve quite comparable results. However, among the approaches to be compared with the meta features the wavelet based approach shows the smallest standard deviation with respect to malignant cases. This observation corresponds to the fact that, regarding this approach, all lesions except one achieve a retrieval result exceeding the a priori probability. Furthermore, an advantage of the wavelet based approach is that it does not require an a priori decision for truncating a selected time point or extrapolating an additional time point, to achieve homogeneity necessary for database retrieval. In particular the latter observation is desirable in clinical practice. The observation that the retrieval results of benign tissue only slightly exceed the a priori values

Content Based Image Retrieval for Dynamic Time Series Data

65

Table 1. The number of lesions reaching a retrieval results higher than the a priori probability. method

malignant cases benign cases total: 25 total: 17 truncation 21 8 extrapolation 21 9 wavelet features 24 9 meta features 24 6

is assumed to be related to tumour inhomogeneity. As shown in [7] malignant tumours also contain tissue showing benign characteristics. Thus a significant amount of tumour segments in the database are classified as malignant while showing benign signal enhancement. Thus, we conclude that the representation of a tumour in a database through the result of a segmentation procedure is insufficient for retrieval tasks. Further analysis with respect to tumour features will be necessary to find a representation scheme satisfying the requirements within the clinical practice. Acknowledgements. The authors would like to thank Oliver Schulz, MaxPlanck-Institute Dortmund, for providing software resources. The work was funded by the University of Bielefeld and the federal state Nordrhein-Westfalen, Germany.

References 1. UK MRI Breast Screening Study Advisory Group. Magnetic resonance imaging screening in women at genetic risk of breast cancer: imaging and analysis protocol for the UK multicentre study. Magn Res Imag 2000;18:765–776. 2. Heywang-Koebrunner SH, Beck R. Contrast-Enhanced MRI of the Breast. Berlin: Springer-Verlag; 1996. 3. Lehmann TM, Gueld MO, Deselaers T, Keysers D, Schubert H, Spitzer K, et al. Automatic Categorization of medical images for content-based retrieval and datamining. Comp Med ImagGraph 2005;29:143–155. 4. Szabo BK, Aspelin P, Wiberg MKristofferson, Bone B. Analysis of kinetic and morphologic diagnostic criteria. Acta Radiologica 2003;44:379–386. 5. Daubechies I. Ten Lectures on Wavelets. SIAM: CBMS-NFS Series Appl. Math.; 1991. 6. Percival DB, Walden AT. Wavelet Methods for Time Series Analysis. Cambridge, UK: Cambridge University Press; 2000. 7. Twellmann Thorsten, Lichte Oliver, Nattkemper TimW. An Adaptive Tissue Characterisation Network for Model-Free Visualisation of Dynamic ContrastEnhanced Magnetic Resonance Image Data. IEEE Transactions on Medical Imaging 2005;24(10):1256–1266.

Visual Exploration of Pathology Images by a Discrete Wavelet Transform Preprocessed Locally Linear Embedding Claudio Varini1,2 , Birgit Lessmann1,2 , Andreas Degenhard1 , Volkmar Hans3 and Tim Nattkemper2 1 Theoretical Physics, University of Bielefeld, Bielefeld, Germany Applied Neuroinformatics Group, University of Bielefeld, Bielefeld, Germany, 3 Institute of Neuropathology, Evangelischesn Krankenhaus, Bielefeld, Germany Email: [email protected] 2

Abstract. The information content of large collections of histopathological images can be explored utilizing computer-based techniques that can help the user to explore the similarity between different brain tumor types. To visually inspect the degree of similarity between different tumors, we propose a combined approach based on the Discrete Wavelet Transform (DWT) and Locally Linear Embedding (LLE). The former is employed as a preprocessing utility, the latter achieves the dimensional reduction required for visualization.

1

Introduction

The automatic exploration of large collections of histopathological images is an actual field of research in computer science applied to medicine. Computer-based techniques can allow the user to find relations and similarities in the data. In particular the visual exploration of a dataset containing different types of tumor can provide valuable information concerning classification. Techniques for dimensional data reduction offer appealing characteristics for the visual exploration of collections of histopathological images and of highdimensional data in general. These techniques compute a projection of the data into a lower-dimensional space while best preserving the information content. The visualization of the low-dimensional space can reveal hidden structures in the data, e. g. the presence of meaningful patterns. A recently proposed algorithm for dimensional data reduction is Locally Linear Embedding (LLE) [1]. It attempts to reduce the dimension of the data while preserving the relationships between neighboring data points. i. e. neighboring data points in the highdimensional space are projected by LLE into neighboring data points in the dimensional reduced space. In other words, the closeness of two data points in the dimensional reduced space reflects the similarity of the two respective data points in the high-dimensional space. This property of neighborhood preservation in LLE can be useful for the visual exploration of a collection of histopathological images. Specifically, the

Visual Exploration of Pathology Images

67

image space I = N , where N is the number of pixels of an image and each image represents a data point belonging to this space, can be reduced down to two or three dimensions in order to visualize the total information content. Images with similar structural characteristics represent neighboring data points in the image space that are expected to be mapped onto nearby points in the dimensional reduced space. In this way the similarity between several different images can be visualized at once in a customized display. On the other hand, the image space is extremely high-dimensional (104 −106 ) while the number of images, i. e. the number of points, is typically limited (102 − 103 ). This means the image space is actually very sparse and it may probe problematic for LLE to compute a faithful projection of such space. Indeed, for this purpose LLE must find a global hidden structure in the data and this in turn requires the data to be sufficiently dense. Ideally, the number of data points should grow exponentially with the dimension of the data space and this fact is known as ”curse of dimensionality”in the machine learning literature [2]. To reduce the sparsity of the image space there are typically two possibilities, either to increase the number of data points (i. e. images) or to reduce the dimension of the image space itself. While the first possibility is often not achievable because of practical reasons, e. g. the limited number of patients and images, the second possibility can be done by appropriate techniques of signal processing such as the Discrete Wavelet Transformation (DWT). This is a technique for signal processing used to access the localized and scale-dependent information in signals or images. By computing wavelet based image features we are able to generate a lower-dimensional feature vector that encodes the image information. In this work we present the visual exploration of a dataset of histopathological images of different brain tumors based on a combination of DWT and LLE. Each image is preprocessed by DWT and transformed into a feature vector. This DWT pre-processing step is used to reduce the dimension of the image space, thereby reducing its sparsity. These sets of feature vectors represent the LLE input that is reduced down to two dimensions. The dimensionally reduced dataset is finally visualized with customized colors encoding the type of tumor. This allows the user to explore the similarity among the images of the dataset.

2 2.1

Methods Locally Linear Embedding

Given V D-dimensional vectors {Xi } as input, the LLE algorithm comprises three steps: Step 1: it consists in assigning each data point Xi a predetermined number n of neighbors, typically according to the Euclidean distance. Step 2: by minimizing the following error function Ψ (W ) =

V  i=1

|Xi −

n  j=1

Wij Xj |2

with

n  j=1

Wij = 1

(1)

68

C. Varini et al.

one computes the weights {Wij } that combined with the neighbors best approximate each data point Xi . Step 3: the weights are used to map each data point Xi into a d-dimensional vector Yi with d < D, such that the following error function is minimized: Φ(Y ) =

V 

|Yi −

i=1

2.2

n 

Wij Yj |2

j=1

with

V V  1  Yi YiT = I , Yi = 0 (2) V i=1 i=1

Discrete Wavelet Transform (DWT)

The DWT analysis enables the assessment of localized and scale-dependent information in signals and images [3]. A signal f is decomposed into a basis of shifted and dilated versions of a mother wavelet ψ [4]  f (x) = dj,k ψj,k (x) , with ψj,k (x) = 2−j/2 ψ(2−j x − k) . (3) (j,k)

The index j indicates the dilation or scaling step while k refers to translation or shifting. The wavelet coefficients dj,k are given by the scalar product dj,k = f (x), ψj,k (x) or dj,k = f (x), ψ˜j,k (x) in the case of biorthogonal wavelets with the dual wavelet ψ˜ [4]. An efficient calculation of these coefficients is accomplished by the Fast Wavelet Transform (FWT), an algorithm allowing the coefficients to be calculated in a stepwise manner. To perform a FWT a scaling function φ(x) is required such that [4] √  √  h(k)φ(2x − k) and ψ(x) = 2 g(k)φ(2x − k) . (4) φ(x) = 2 k

k

The coefficients h(k) and g(k) are termed Filter coefficients. On the first scale the signal is decomposed into its details and the remaining signal, i.e. the approximation, reflecting the particular scale. The details are described by the wavelet coefficients of this scale while the approximation is represented by scaling coefficients corresponding to the scaling function. The procedure can be iterated by a further decomposition of the approximation into details and approximation of the next coarser scale. In two dimensions the DWT can be applied to each dimension separately, resulting in wavelet coefficients describing the horizontal, the vertical and the diagonal details.

3

Data and Experiments

The experimental dataset contains 84 histopathological images from 21 different cases of meningioma WHO grade I, a benign brain tumor. Each case relates to one of four meningioma subtypes, namely meningotheliomatous, fibroblastic, psammomatous and transitional, the latter showing intermediate features of the characteristics of the former classes. Each pathological image comprises 1300 × 1050 pixels at 400x magnification. Dividing each image into 16 subimages with 256 × 256 pixels, we derive a data set containing 1344 subimages.

Visual Exploration of Pathology Images

69

The LLE is performed on two different input data: the first one is the set of all subimages where each subimage is treated as a point in a 256 × 256dimensional data space; the second one is the set of texture describing features based on DWT. These features are computed as follows. Firstly, an average absolute coefficient is computed for each color channel and each of the finest six scales:   |dj,o (kx , ky )|, j = 1, .., 6, and o = o1 , o2 , o3 . (5) f1 (j) = o kx ,ky

Here j is again the scale index, while index o indicates the orientation in the image. As explained in section 2.2 The indices o1 and o2 indicate coefficients in vertical or horizontal direction, while o3 indicates the diagonal details. Secondly, we introduce a feature set f2 describing a preferred orientation in the image.

f2 (j) =

   1 ( |dj,o1 (kx , ky )|− |dj,o2 (kx , ky )| + c |dj,o3 (kx , ky )|).(6) f1 (j) kx ,ky

kx ,ky

kx ,ky

with j = 1, .., 6. These computations result in two types of features for each of the finest six scales and each of the three color channels, leading to a set of 36 features for each subimage. Thus, the input of LLE comprises 1344 36dimensional feature vectors. Both input data are projected into a two-dimensional space and each data point is colored according to its respective histopathological diagnosis. The overlap among the clusters in the two embeddings has been quantified by computing for each data point the percentage of its nearest neighbors which belong to the same class. The average value computed over the entire dataset quantifies the degree of overlap among the various clusters. The value is comprised between 0 and 1. The closer to 1, the less the clusters overlap.

4

Results

The LLE projections of the subimages and of the DWL coefficients are shown in Fig. 1. Direct application of LLE to the subimages results in overlapping clusters lacking a clear structure. On the contrary, the DWT preprocessing of the images allows LLE to detect the presence of four different clusters. The meningotheliomatous, fibroblastic and psammomatous data points are clearly localized and quite well separated in the projected space. This is in agreement with the histopathological characteristics of the various tissue types. Specifically, psammomatous tissue is characterized by round calcifications that differ significantly from the round structures in meningothelomatous tissue and the elongated structures (cells and cell nuclei) in fibroblastic tissue (see the tissue samples in Fig. 1. At the same time, the transitional subtype cluster largely overlaps with meningotheliomatous and fibroblastic, in agreement with the fact that transitional meningiomas show features incorporating characteristics from the

70

C. Varini et al.

Fig. 1. Two-dimensional projections obtained by LLE of the histopathological dataset without (left) and with (right) DWT processing.

0.2

LLE

0.1

0.08

0.15

LLE + DWT

0.06 0.1

0.04 0.05

0.02 0

0

−0.02

−0.05

−0.04 −0.1

transitional fibroblastic psamomatous meningothelomatous

−0.15

−0.2 −0.06

−0.04

−0.02

0

0.02

0.04

0.06

transitional fibroblastic psamomatous meningothelomatous

−0.06

−0.08

0.08

0.1

0.12

0.14

−0.1 −0.06

−0.04

−0.02

0

0.02

0.04

0.06

0.08

0.1

0.12

other classes. The matching between the data visualization and the prelabelling of the data ensures that significant information has been preserved by the DWT preprocessing approach. The overlap between the clusters has been quantified as described above and the experimental values are 0.387 for the LLE projection and 0.567 for the LLE projection with the DWT preprocessing.

5

Discussion

Our results clearly show that LLE benefits from the DWT-based preprocessing. Specifically, applying LLE directly to the 256 × 256-dimensional space of the subimages proves problematic because of the sparsity of the space itself. By computing wavelet based features, the information of each subimage can be compacted into a lower dimensional feature vector. In this way the dimension of the data is significantly reduced and, in turn, the resulting feature space is more dense. This allows LLE to detect clinical relevant data structures in a more efficient manner.

References 1. Roweis ST, Saul LK. Nonlinear Dimensionality Reduction by Locally Linear Embedding. Science 2000;290:2323–2326. 2. Bellmann R. Adaptive Control Processes: A guided Tour. Princeton University Press; 1961. 3. Mallat S, Zhong S. Characterization of Signals from Multiscale Edges. Transactions on Pattern Analysis and Machine Intelligence 1992;14(7):710–732. 4. Daubechies I. Ten Lectures on Wavelets. CBMS-NFS Series Appl. Math., SIAM; 1991.

Strukturprototypen zur Modellierung medizinischer Bildinhalte Benedikt Fischer, Benjamin Winkler, Christian Thies, Mark O. G¨ uld und Thomas M. Lehmann Institut f¨ ur Medizinische Informatik, RWTH Aachen, 52057 Aachen Email: bfi[email protected]

Zusammenfassung. Medizinische Bildinhalte sind h¨ aufig aus mehreren Bildregionen zusammengesetzt, die zueinander in bestimmten Verh¨ altnissen stehen. Diese lassen sich u ¨ ber Wahrscheinlichkeitsverteilungen regionaler und relationaler Attribute zu einem Strukturprototypen verallgemeinern und mit Szenen unbekannten Inhalts vergleichen. Die semiautomatische Synthese eines Strukturprototyps sowie seine Anwendung zur Szenenanalyse wird am Beispiel von Handradiographien vorgestellt. Durch Verwendung der Strukturinformation wird hier eine Steigerung der Erkennungsrate um 17% erzielt.

1

Einleitung

Aufgrund der bei medizinischem Bildmaterial auftretenden hohen Variabilit¨aten lassen sich nur schwer Normwerte f¨ ur die Attribute zu identifizierender Objekte entwickeln. So sind beispielsweise die Regionenmerkmale von Radiographien der Metakarpalknochen nicht ausreichend trennscharf, um eine korrekte Zuordnung der Regionen zu den einzelnen Fingern zu erlauben. Auch f¨ ur einen menschlichen Betrachter ist es nahezu unm¨ oglich, einen einzelnen Knochen ohne Umgebung korrekt zu klassifizieren. Dies f¨ allt jedoch leicht, wenn die Verh¨altnisse zu anderen Knochen (Position, Gr¨ oße, etc.) bekannt sind. Eine Modellierung einer solchen Szene kann u ¨ ber einen attributierten relationalen Graphen (ARG) erfolgen, der ausschließlich die relevanten Regionen als Knoten und ihre Verh¨ altnisse zueinander als Relationskanten repr¨asentiert. Diese Szene-ARGs kommen daher mit nur wenigen Elementen aus. Bei der Segmentierung von Bildern unbekannten Inhalts m¨ ussen jedoch wegen der unbekannten Aufl¨ osung je Pixel unterschiedliche Regionenzugeh¨origkeiten betrachtet werden. In [1] wird das Bild dazu in einem iterativen Regionenverschmelzungsprozess in einen hierarchischen attributierten Regionenadjazenzgraphen (HARAG) u uhrt. Die resultierenden Graphen sind dadurch jedoch ¨ berf¨ deutlich gr¨ oßer als die Szene-ARGs. Eine Szenenanalyse entspricht dem Vergleich des Szene-ARG mit dem HARAG des zu analysierenden Bildes. Zur allgemeinen Objektsuche anhand von ARGs existiert in der Fachliteratur eine Reihe von L¨osungsans¨atzen [2, 3]. Oft basieren die Referenzen jedoch lediglich auf manuell erzeugten Segmentierungen einer Referenzaufnahme oder auf Kantenbildern, deren Anwendung wegen

72

B. Fischer et al.

der Delineationsproblematik ausscheidet. H¨ aufig k¨onnen mit den vorgestellten L¨osungen auch lediglich kleine Graphen mit weniger als 100 Knoten effizient miteinander verglichen werden oder die hohen Variabilit¨aten in den relevanten Bildstrukturen werden nur unzureichend modelliert. Zudem k¨onnen lediglich Graphen gleichen Typs miteinander verglichen werden.

2

Methoden

Die Strukturprototypgraphen verallgemeinern die relevanten Bildinhalte f¨ ur einen Anwendungsfall, so dass Variabilit¨ aten nicht nur in Einzelobjekten sondern auch im Zusammenhang ber¨ ucksichtigt werden. Die Repr¨asentation, semiautomatische Synthese und Anwendung des Prototypgraphens wird im Folgenden vorgestellt. Als Anwendungsbeispiel werden Skelettradiographien der linken Hand herangezogen, wie sie bei Kindern zur Bestimmung des Knochenalters verwendet werden. 2.1

Prototyprepr¨ asentation und -training

Der Prototypgraph ist ein vollst¨ andiger Graph, dessen Knoten Einzelobjekte und dessen Kanten Relationen zwischen den Einzelobjekten beschreiben. Im Anwendungsbeispiel entsprechen die Einzelobjekte den einzelnen Handknochen. F¨ ur jedes Einzelobjekt werden die statistischen Verteilungen der regionalen Merkmale als Knotenattribute, die der relationalen Merkmale zwischen den Einzelobjekten als Kantenattribute kodiert. Beispiele f¨ ur ein regionales bzw. relationales Merkmal sind der mittlere Grauwert einer Region bzw. die relative Gr¨oße zweier Regionen. Die Merkmale des Prototypgraphens sind dabei unabh¨angig von den Merkmalen der zur Segmentierung verwendeten HARAGs. Insbesondere werden die relationalen Merkmale erweitert. Die Merkmalsverteilungen werden in einer Trainingsphase unter Annahme von Normalverteilungen gesch¨ atzt: Als Referenz werden zun¨achst die relevanten Knoten f¨ ur jedes Einzelobjekt in automatisch erzeugten HARAGs manuell mit einem entsprechenden Benutzerinterface identifiziert. Die bereits w¨ahrend der Segmentierung berechneten regionalen Merkmale werden als Knotenattribute weiterverwendet. Bei Bedarf k¨ onnen auch weitere regionale Merkmale berechnet werden. Danach werden je Datensatz Kanten zwischen den identifizierten Knoten eingef¨ ugt und mit relationalen Merkmalen attributiert. Anschließend kann dann die Verteilung aller Attribute gesch¨ atzt werden. Insgesamt wurden 34 regionale Merkmale zu Form, Intensit¨ at und Textur sowie 12 relationale Merkmale zu Topologie-, Gr¨ oßen- und Intensit¨ atsverh¨ altnissen verwendet. ¨ Mit Hilfe der ermittelten Verteilungen wird dann eine Ahnlichkeitsfunktion ¨ f¨ ur jeden Prototypknoten bzw. jede Prototypkanten definiert, um die Ahnlichkeit unbekannter Regionen bzw. Regionenpaare zu den Einzelobjekten bzw. Einzelobjektpaaren zu bestimmen. Im Anschluss an die Verteilungsberechnung findet eine Merkmalsselektion statt, um die besten Merkmalsmengen je Region und Relation zu bestimmen und

Strukturprototypen zur Modellierung medizinischer Bildinhalte

73

Abb. 1. Prozentuales Auftreten der einzelnen Handknochen als eigenst¨ andige Region (links) und Nummerierung der Prototypklassen (rechts). Die Nummerierung besteht aus der Knochenklasse (MK: Metakarpal, UPh: untere, MPh: mittlere, bzw. OPh: obere Phalanx) sowie der Fingernummer (1:Daumen bis 5:kleiner Finger).

83%

84% 85%

85%

82%

88%

58%

OPh-3

80%

OPh-2 MPh-3

72%

67%

86%

76%

44% 67%

70%

73%

MPh-2

61%

UPh-2

OPh-4

MPh-4 OPh-5

UPh-3

OPh-1

UPh-5

UPh-1

36% 42%

MPh-5

UPh-4

MK-2 MK-1

MK-3

MK-4 MK-5

den L¨ osungsraum f¨ ur das Graph-Matching zu verkleinern. Im Anwendungsbeispiel wurde mit Sequential Forward Selection ein ebenso einfaches wie schnelles Verfahren ausgew¨ ahlt [4]. 2.2

Vergleich Prototyp- und Bildgraph

Der Vergleich zwischen Prototyp- und Bildgraph erfolgt auf Basis eines HopfieldNetzes [5]. In einem Assoziationsgraphen werden Entsprechungshypothesen zwischen Prototypknoten und HARAG-Knoten als eigener Graphknoten repr¨asen¨ tiert, sofern eine grundlegende Ahnlichkeit der repr¨asentierten Regionen u ¨ ber die regionalen Merkmale vorliegt. Diese dient dann auch gleichzeitig als initiales Potential der Knoten. Das Verfahren wurde modifiziert, um die relationalen Merkmale des Prototypen zur St¨ arkung bzw. Hemmung von Hypothesen ebenfalls ber¨ ucksichtigen zu k¨ onnen. F¨ ur die Matching-Hypothesen werden zwischen betrachteten HARAG-Knoten im Bedarfsfall fehlende relationale Merkmale be¨ rechnet. Uber ein Gradientenabstiegsverfahren werden die Potentiale der Matching-Hypothesen solange ver¨ andert, bis die gefundene Zuordnung stabil ist. 2.3

Experimente

Zur Evaluierung wurden 96 Handradiographien verwendet. Sofern in der Segmentierung vorhanden, wurden je Bild bzw. Graph 19 Handknochen (Metakarpalknochen bis obere Phalanx) mit einem Klassenlabel versehen (Abb. 1). Insgesamt wurden 221614 Regionen segmentiert, von denen 1290 den 19 Klassen entsprechen. Abb. 1 illustriert, wie oft die jeweiligen Knochen in der Segmentierung vorhanden waren. Durchschnittlich bestand ein HARAG aus 2300 Knoten.

74

B. Fischer et al. Tabelle 1. Erkennungsrate der einzelnen Fingerknochen Klasse vorh. lokal strukturell MK-1 70 47 52 64 45 50 MK-2 67 46 53 MK-3 35 24 26 MK-4 40 16 27 MK-5 42 27 29 UPh-1 79 58 59 UPh-2 84 59 63 UPh-3 83 67 71 UPh-4 73 43 60 UPh-5

Klasse vorh. MPh-2 82 MPh-3 82 MPh-4 72 MPh-5 64 OPh-1 56 OPh-2 80 OPh-3 81 OPh-4 77 OPh-5 59

lokal strukturell 45 53 59 68 52 63 38 43 21 32 28 43 44 44 36 47 21 26

Gesamt 1290 776 100% 60.2%

909 70.5%

Zur Evaluierung wurde eine sechsfache Kreuzvalidierung gew¨ahlt, um jeweils einen Prototypen zu berechnen und die Erkennungsleistung zu bestimmen. Eine Regionenzuordnung wird als korrekt gez¨ ahlt, wenn sich die vom Prototypen zugeordnete Region mit der Segmentierung der Ground Truth zu mindestens ¨ 85% u wurde vernachl¨assigt, da ¨ berlappt. Eine hundertprozentige Uberdeckung sich Regionen oft nur in wenigen kleinen Details unterscheiden und auch manuell kaum zu beurteilen ist, welche Region die“ korrekte L¨osung darstellt. So ” werden zum Beispiel bei manchen Regionen die Kapseln in die Segmentierung des Fingers einbezogen, in anderen F¨ allen dagegen nicht.

3

Ergebnisse

¨ Uber alle Klassen gemittelt wurden ohne relationale Merkmale lediglich 60.2% der Regionen korrekt klassifiziert, mit Hilfe des Strukturprototypen konnte dagegen eine Erkennungsrate von 70.5%, d.h. eine Steigerung um u ¨ ber 17%, erzielt werden (Tab. 1). Abbildung 2 gruppiert die Resultate u ¨ ber die jeweilige Knochenklasse. Bei allen Klassen wird eine Verbesserung durch Verwendung der Strukturinformationen erreicht. Das Trainieren der sechs Prototypen beanspruchte durchschnittlich 15 Minuten, das jeweilige Testen der 16 Datens¨atze dagegen lediglich 30 Sekunden.

4

Diskussion und Ausblick

Die durchgef¨ uhrten Experimente illustrieren die generelle Anwendbarkeit von Strukturprototypen zur Objektsuche. Die Strukturprototypen f¨ uhren in allen Belangen zu einer deutlichen Verbesserung der Erkennungsrate gegen¨ uber Vergleichen ohne strukturelle Information. In Abbildung 2 f¨allt jedoch das schlechte Abschneiden der Klasse OPh auf. Dies ist dadurch zu erkl¨aren, dass die Regionen dieser Klasse sehr klein sind, die Regionengr¨ oße jedoch einen starken Einfluss auf

Strukturprototypen zur Modellierung medizinischer Bildinhalte

75

Abb. 2. Vergleich von lokaler Suche und Struktursuche mit einer geforderten Regionen¨ uberdeckung von 85%. Erkennungsrate nach Knochenklasse

80%

70,47%

60,16%

53,54%

53,54%

75,67%

78,12%

64,67%

20%

70,36%

40%

75,36%

60% 64,49%

Erkennungsrate

100%

lokal strukturell

0% MK

UPh

MPh

OPh

Gesamt

Knochenklasse

¨ viele der verwendeten Merkmale hat. So wirken sich z.B. kleine Anderungen der Regionen deutlich auf Formmerkmale aus. Zudem existieren in den HARAGs bedingt durch den Verschmelzungsprozess viele kleine Regionen, so dass hier eine Abgrenzung der richtigen Regionen schwieriger ist. Neben den hierdurch zu erkl¨ arenden schlechten Werten f¨ ur OPh-1 und OPh-5 stechen in Tabelle 1 auch die Klassen MK-4, MK-5 sowie UPh-1 negativ hervor. Wie aus Abb. 1 hervorgeht, standen genau f¨ ur diese Klassen deutlich weniger Trainingsdaten zur Approximation der Merkmalsverteilungen zur Verf¨ ugung als f¨ ur die restlichen Klassen, so dass der Grund f¨ ur die geringe Erkennungsleistung hierin zu sehen ist. Abhilfe soll deswegen in Zukunft durch eine robustere Segmentierung geschaffen werden. Bislang wurde außerdem lediglich eine Normalverteilung der verwendeten Merkmale angenommen, statt die Verteilungen genauer zu sch¨atzen. Zusammen mit optimierten Trainingsmethoden f¨ ur die Merkmalsgewichtung, z.B. durch eine Supportvektormaschine, bieten sich hierdurch weitere Verbesserungsm¨ oglichkeiten f¨ ur k¨ unftige Forschungsarbeiten.

Literaturverzeichnis 1. Lehmann TM, Beier D, Thies C, Seidl T. Segmentation of medical images combining local, regional, global, and hierarchical distances into a bottom-up region merging scheme. In: Procs SPIE. vol. 5747; 2005. p. 545–555. 2. Petrakis GM. Design and evaluation of spatial similarity approaches for image retrieval. Image and Vision Computing 2002;20(1):59–76. 3. Park BG, Lee KM, Lee SU, Lee JH. Recognition of partially occluded objects using probabilistic ARG (attributed relational graph)-based matching. Computer Vision and Image Understanding 2003;90:217–241. 4. Cantu-Paz E, Newsam S, Kamath C. Feature selection in scientific applications. In: Procs ACM International Conference on Knowledge Discovery and Data Mining; 2004. p. 788–793. 5. Lappe C, Fischer B, Thies C, G¨ uld MO, Kohnen M, Lehmann TM. Optimierung eines konnektionistischen Graphmatchers zum inhaltsbasierten Retrieval medizinischer Bilder. In: Procs BVM; 2004. p. 338–342.

Automated Feature Selection for the Classification of Meningioma Cell Nuclei Oliver Wirjadi1,2 , Thomas M. Breuel2 , Wolfgang Feiden3 and Yoo-Jin Kim3 1

Fraunhofer ITWM, Models and Algorithms in Image Processing Group, Email: [email protected] 2 Technische Universit¨ at Kaiserslautern, Department of Computer Science 3 Universit¨ at des Saarlandes, Institute of Neuropathology

Abstract. A supervised learning method for image classification is presented which is independent of the type of images that will be processed. This is realized by constructing a large base of grey-value and colour based image features. We then rely on a decision tree to choose the features that are most relevant for a given application. We apply and evaluate our system on the classification task of meningioma cells.

1

Introduction

Computerized image analysis has emerged as a powerful tool for objective and reproducible quantification of histological features. DNA ploidy measurement, quantification of immunohistochemical markers, nuclear quantification, texture analysis of chromatin, and morphological diagnostic based on algorithms applied to multiple descriptors of tumor cells are the main application areas of computerized microscopy in pathology. For example, according to the grading system of the World-Health-Organization (WHO) of brain tumors, quantification of histologic features (mitotic index, cellular density, and Ki-67 labelling-index) are essential in the grading of meningiomas. Computerized image analysis may enable an objective, standardized, and time-saving assessment of these prognostic features. However, pixel-based methods at present are still afflicted by segmentation and classification problems. We have recently proposed a classification approach for Ki-67 antibody-labelled cells in meningiomas [1]. We here propose a method for computer-aided classification of tumor cell nuclei in routinely hematoxylin-eosin (HE)-stained slides from resected meningioma samples. The proposed processing method is a general, supervised learning approach. It relies solely on a given training data set. Thus, we are working directly on the image data, without any need for preprocessing. Most researchers in the field for cell classification take a different approach: They first binarize the image and then use shape or texture features to classify cell types within an image, e.g. [2, 3, 4, 5]. A similar approach to ours relies on a grey-scale image feature to train a Support Vector Machine (SVM) as classification method [6]. We will first describe the constructed feature space and outline the basic mechanisms of CART (Classification and Regression) trees. Then, we will apply and evaluate our method on the task of classifying meningiomas.

Automated Feature Selection

77

Fig. 1. The original intensity images and the computed features for two typical representatives of the tumor and nontumor classes. Color channels are not shown, here.

(a) Meningioma tumor cell

(b) Normal cell

2

Features

The first step in our system consists of computing a set of features from the given input images. For the results presented in this paper, we chose a linear scale-space representation of the image, first and second order edge features, morphological features (minimum and maximum masks, white and black tophat transformations) and the three color channels (red, green and blue). All combined yields a 10-dimensional feature vector in each pixel. Extension or modification of this particular choice of features is easily done and does not change the setup of our method. In order to smooth out noise effects, we averaged each feature vector over a small local window. Fig. 1 shows two cells from the data along with their feature spaces.

3

A Brief Review of the CART Algorithm

Having constructed such a high dimensional feature space, we apply a machine learning method to extract class information. For this purpose, we have chosen the CART classification tree, see [7] and [8], which also discusses trees in the context of ensemble learning techniques. In brief, the goal in classification trees is to construct a series of decisions, which are arranged in a hierarchical manner, namely a tree. The CART algorithm has two stages: Tree growing and tree pruning. The growing stage recursively splits the training samples until the GINI diversity index,  p(j|t)p(i|t), (1) i(t) = i=j

is minimized in each terminal node. Here, t is a node and i, j ∈ C are class labels. p(i|t) is therefore the conditional probability of observing a sample from class i at node t. The rationale behind the GINI index is that the probability of seeing two different classes in one node should be minimal.

78

O. Wirjadi et al.

Table 1. True and false positive (TP,FP) rates at the optimal operating point of the classifier on all six images of the class tumor vs. all other classes. Column ”all combined” matches Fig. 2(d). Empty fields mean that a cell type was not present in the image.

Train Test 1 Test 2 Test 3 Test 4 Test 5

normal endothelial erythrocyte collagene all combined TP FP TP FP TP FP TP FP TP FP 0.95 0.09 0.99 0.00 0.98 0.25 0.98 0.17 0.95 0.11 0.85 0.14 – – – – 0.90 0.00 0.85 0.12 0.80 0.11 0.78 0.22 0.81 0.00 – – 0.78 0.09 0.81 0.07 – – – – – – 0.81 0.07 0.78 0.14 0.78 0.00 0.88 0.00 – – 0.77 0.10 0.88 0.23 0.88 0.60 0.88 0.13 – – 0.88 0.23

Once (1) is minimized for all leaves, the pruning stage begins. CART pruning is a risk minimization approach penalized by tree complexity: min R(T ) + α|T˜ |,

(2)

where T = {t1 , t2 , . . .} is a tree and R is the misclassification rate. By |T˜ |, we denote the number of terminal nodes in T . The problem is that the regularization parameter α is unknown, a priori. But for CART, there exists a procedure of optimizing (2) without being explicitly given α.

4

Application to Cell Classification

We applied the CART classification method to the feature space described in Sec. 2. We tested the method on 6 microscopic color images of surgically resected and HE-stained meningioma samples. Each of the six images is assigned a ground-truth, as is shown in Fig. 2(b), which depicts the image that was used for training the classifier. The remaining five images were used for testing only. There were up to 400 labelled tumor cells in each of the six images. Not all types of cells were present in all six images with around 50 nontumor locations marked in each image.

5

Results

Results obtained by our classification algorithm are expressed as true and false positive rates. These are usually presented in Receiver-Operator Characteristic (ROC) plots such as Fig. 2(d), which is plotted over the posterior class probabilities which are the results of CART, c.f. Sec. 3. In our evaluation, we considered any occurence of labels within one pixel distance as a detection and averaged over all according class posteriors in that area.

Automated Feature Selection

79

Fig. 2. Original data and classification results of our classifier. Color-codes of the different classes in these images are as follows: tumor cells (green), normal cells such as fibroblasts (yellow), collagen (black) and erythrocytes (blue).

0.10

0.20

Train Image Test 1 Test 2 Test 3 Test 4 Test 5

0.00

False Positive

0.30

(a) The original image which was (b) Labelled ground-truth of the used for training training image

0.5

0.6

0.7

0.8

0.9

1.0

True Positive

(c) CART classified training image (d) Receiver-Operator Characteristic (ROC) of our classifier on the training image and all five testing images

We show performance of the tumor class against all other available labelled points combined in Fig. 2(d). The classification performance against all other types of cells in the data is summarized in terms of true and false positive rates at the optimal operating point in the table in Table 1. One of the most frequent arguments for the use of decision trees for classification is that their structure is often comprehensible and interpretable for humans. The quantity of interest is the split dimension that was chosen in each tree node. In our experiments, the tree classifier used mainly edge information and the red color channel.

6

Discussion

With detection rates of usually well above 80%, our classifier is capable of localizing meningioma tumor cell locations in HE stained microscopic images. The ROC plots in Fig. 2(d) show good generalization properties of our method, being stable in terms of false positive errors, in particular.

80

O. Wirjadi et al.

However, the classified image in Fig. 2(c) indicates that our results are noisy and that the tumor class is overestimated. This is also apparent in the ROC results, which show false positive rates around 10%. We attribute these results to the pixel-wise approach that we took, here.

7

Conclusions

We proposed a method that could be helpful during the examination of histopathological samples. Results from our method are promising and could lead to a system for computer-aided diagnostics. The tree-structure of the CART classifier is also useful for data exploration: The path along which a sample is passed down a tree for classification contains information about which types of features are discriminant characteristics of a certain type of cell. We expect to be able to reduce false detection errors by segmenting individual cells from these images and this is also the track we are following in our current research.

References 1. Kim YJ, Romeike BFM, Feiden W. Automated morphometric determination of the Ki67 labelling-index in meningiomas: A validation-model for a fast and facile method. Acta Neuropathol 2004;108:357. 2. Rajpoot KM, Rajpoot NM, Turner MJ. Hyperspectral Colon Tissue Cell Classification. In: SPIE Medical Imaging (MI’04). San Diego, California (USA); 2004. 3. Gesu VDi, Bosco GLo, Zavidovique B. Classification Based on Iterative Object Symmetry Transform. In: Proc. 12th International Conference on Image Analysis and Processing (ICIAP 03). vol. 0; 2003. p. 44. 4. Perner P, Perner H, M¨ uller B. Mining Knowledge for Hep-2 Cell Image Classification. Journal Artificial Intelligence in Medicine 2002;26:161–173. 5. Huang PW, Hsu YC, Lin PL, Dai SK. A Decision Tree Approach for Classification of White Blood Cells based on Image Features. In: Signal and Image Processing (SIP 2005). Honolulu, Hawaii, USA; 2005. 6. Ronneberger O, Fehr J, Burkhardt H. Voxel-Wise Gray Scale Invariants for Simultaneous Segmentation and Classification. In: Proc. 27th DAGM Symposium; 2005. 7. Breiman L, Friedman JH, Olshen RA, Stone CJ. Classification and Regression Trees. Chapman & Hall; 1986. 8. Hastie T, Tibshirani R, Friedman J. The Elements of Statistical Learning. Springer; 2001.

Efficient Atlas-Based Analysis of the Hippocampus S. Iserhardt-Bauer1,2, S. Schoell1,2 , T. Hammen3 , H. Stefan3 , A. Doerfler4 and P. Hastreiter1,2 1

Computer Graphics Group, University of Erlangen-Nuremberg Neurocenter, Department of Neurosurgery, University of Erlangen-Nuremberg 3 Epilepsy Center, Department of Neurology, University of Erlangen-Nuremberg 4 Division of Neuroradiology, University of Erlangen-Nuremberg Email: [email protected] 2

Abstract. Volumetric approaches for the analysis of hippocampal structures (HS) are required for the diagnosis of different diseases. In order to diagnose, evaluate and compare patient datasets, standardized and reproducible analysis supports physicians in clinical routine and research. In this paper, we present a practical application for volumetry in MR volume datasets. The approach combines the semiautomatic linear registration of an atlas based polygonal model with T1-weighted (based on inversion recovery protocol) and T2-weighted MR images and the automatic volumetric assessment of diseased structures. The approach was evaluated and compared with manually segmented MR datasets.

1

Introduction

MR-volumetric assessment of temporomesial structures, especially hippocampal structures, play an important role in the diagnosis of temporal lobe epilepsy, degenerative diseases like Alzheimer dementia and the evaluation of their course of disease. Objective, reliable and reproducible semi- or fully automatic methods are required to record minor atrophies, evaluate chronological changes and confidently compare them among different observers and institutes. Resulting increased inter- and intra-observer variability of manual techniques limit the role of segmentation in clinical studies. Only valid results of hippocampal volume segmentation can be confidently correlated to severity of disease progression and to neurohistopathological results. Conventionally used manual segmentation is a time consuming procedure, which therefore cannot be performed in clinical routine. Fully automatic segmentation, like in [1], often fails if the hippocampus is relatively small and the shape of the object is highly variable. Compared to this, semiautomatic methods, like in [2], may provide a more realistic approach because of the combination of human expertise and automatic techniques. In [3] a model which contains a triangulated surface and the corresponding gray scale volume is used. This requires a presegmentation of the objects of interest for reconstructing the surface. In [4] a deformable model is generated from a single manually labeled volume

82

S. Iserhardt-Bauer et al.

Fig. 1. Alignment of the atlas after transformation to the volume coordinate system: For comparison the hippocampus was segmented manually by voxel painting in one coronal slice (left). 2D representation of the volume, including the corresponding intersections of the atlas with the volume, using atlas transformation (middle). A 3D visualization, which serves for spatial orientation, is shown. (right)

to measure the size and the shape of the hippocampus. The disadvantage of this approach is the manual segmentation task of the hippocampus and the low resolution of the model. In this paper we introduce a new approach for semiautomatic segmentation and analysis of the hippocampus volume. The segmentation is based on the geometric models of the Cerefy Brain Atlas [5] which were generated from the Talairach-Tournoux Atlas [6]. The essential steps of the approach are: – Find the transformation of a geometric atlas model of the hippocampus to a T1-weighted MR volume using manual adjustment. This MR sequence provides a clear recognizability of the boundaries of the hippocampus. – Compute the volume of the left and right hippocampus using the transformed atlas model – Transfer the atlas model to T2-weighted volume using the computed trasnformation matrix – Compare average intensities of the left and right hippocampus region in T2weighted volume. Compared to T1-weighted images this sequence emphasizes the intensity of diseased tissues. Compared to pure manual segmentation based on pixel painting the presented method provides a faster volumetry of the hippocampal structures for the diagnosis of temporal lope epilepsy. Therefore it turned out to be a promising method for clinical routine use.

2

Method

The presented segmentation approach consists of 5 steps which are subsequently explained.

Efficient Atlas-Based Analysis of the Hippocampus

83

Fig. 2. Manual adjustment of the hippocampus model by using the Open Inventor manipulator: Coronal slice contains the intersections of the atlas model with this slice(left). Using a 3D view of arbitrary slices to adjust the hippocampus in 3D (middle). The manipulator allows an easy handling of using geometrical transformation (right).

1. Atlas coordinate system transformation: The used atlas model is available in the Talairach space where the anterior commissure (AC) represents the origin of the related coordinate system. For a quick alignment the anterior (AC) and the posterior (PC) commissure must be identified within the volume data. Based on the approach in [7] the user has to set five separate landmarks using a triplanar view of the volume. The defined points span the Talairach space inside the volume dataset. Using the computed transformation matrix between these two coordinate systems the polygonal model of the atlas is then transformed into the volume coordinate system. Figure 1 shows the result after the alignment. 2. Manual adjustment of the atlas: In a second step the polygonal model must be adjusted, which is done by using a 3D viewer. For supporting the manipulation the object-oriented 3D toolkit Open Inventor is used. Using a standard manipulator of this library this kind of manipulation provides an easy way to transform the polygonal model correctly. For a comprehensive visual feedback the 3D viewer represents three arbitrary slices of the dataset. These slices are controlled by a triplanar view where each slice can be positioned arbitrarily in order to achieve an optimal orientation and selection. Furthermore the intersections of the atlas with the volume slices are displayed in the triplanar view. Figure 2 shows the results of this task. 3. Volumetry of the registered model: After manual registration the volume of the polygonal model is computed using the maximum unit normal component (MUNC) [8] algorithm. 4. Atlas transformation to the T2-weighted dataset: A corresponding T2weighted MR volume is registered to the IR volume by using automatic voxel-based registration [9]. Using the registered volume the former manually defined atlas transformation is easily applied. Figure 3 shows the adjusted model in the T2 dataset. 5. Comparison of intensity values: For the final analysis of disease the average intensity value of each segmented hippocamus are compared.

84

S. Iserhardt-Bauer et al.

Fig. 3. The above figure shows the adjusted atlas model to the registered T2-weighted volume.

3

Validation

At the Epilepsy Center of the University of Erlangen-Nuremberg a clinical study using 30 datasets, was carried out. The study was based on manual segmentation of the hippocampus in Inversion Recovery MR datasets. The segmentation was obtained by a medical expert on a slice by slice basis using pixel painting demanding more than 1 hour in average for a precise hippocampus segmentation. The approach was applied in 4 clinical cases with the two volumes with matrix 380 × 25 × 512 voxels with the respective size of 0.449 × 3.6 × 0.449 mm3 . After a short training required to get familiar with the 3D visualization tool the manual segmentation normally demands less than 5 minutes including landmarks setting, linear registration and computing the volume. Table 1 shows the results of the compared methods. For patient 1 the computed volume of the two methods are very close. Small differences between the two methods but a clear differentiation between the volumes of the right and left hippocampus are noticeable for patient 3 and 4. In case of patient 2 the volume of the right hippocampus is different between the two methods. Significant differences between the average values for the left and right hippocampus are an indication for temporal lope epilepsy.

4

Conclusion

A semiautomatic approach for linear registration and volumetry was presented. It provides a fast straightforward process for the purpose of registering MR data with a geometrical model of an anatomical atlas. The approach allows a linear registration using 3D visualization with interactive manipulation techniques for an intuitive registration and efficient segmentation of the hippocampus. The

Efficient Atlas-Based Analysis of the Hippocampus

85

Table 1. Computed volumes of the right (HR) and left (HL) hippocampus and the average value of the segmented voxels are shown. Significant differences between the two volumes and the intensities are an indication for temporal epilepsies.

Dataset Patient 1 Patient 2 Patient 3 Patient 4

Manual Approach Volume (mm3 ) HR HL 2909 1287 1548 1922 1661 2624 2170 1508

New Approach Volume (mm3 ) HR HL 2848 1138 2214 1929 1695 2330 2634 1542

Average HR HL 763 512 864 441 467 631 580 470

outcome of the presented strategy showed good correspondence to pure manual segmentation and better delineation in complex and pathological situations. As a major achievement, the previously required high time effort was significantly reduced and robust results were achieved. For the future, further automation is envisaged based on the experience of medical experts. A nonlinear deformation of the polygonal model will also contribute to achieve more accurate results of the volumetry.

References 1. Webb J, Guimond A, Eldridge P, Chadwick D, Meunier J, Thirion JP, et al. Automatic detection of hippocampal atrophy on magnetic resonance images. Magn Reson Imaging 2001;17(8):1149–1161. 2. Ashton EA, Parker KJ, Berg MJ, Chen C. Novel volumetrie feature extraction technique with applications to MR images. In: IEEE Trans Med Imaging. vol. 16(4); 1997. p. 365–371. 3. L¨ otj¨ onen J, M¨ akel¨ a T. Elastic Matching Using a Deformation Sphere. In: Proc. of MICCAI; 2001. p. 541–548. 4. Shen D, Moffat S, Resnick SM, Davatzikos C. Measuring size and shape of the hippocampus in MR images using a deformable shape model. NeuroImage 2002;15(2):422–434. 5. wwwcerefycom. Cerefy Brain Atlas: Geometric Models 2.0; 2005. 6. Talairach J, Tournoux P. Co-Planar Stereotaxic Atlas of the human brain. Thieme Verlag; 1988. 7. Bazin PL, McAuliffe M, Gandler W, Pham DL. Free software tools for atlas-based volumetric neuroimage analysis. In: Proc. SPIE, Medical Imaging 2005: Image Processing. vol. 5747. San Diego; 2005. p. 1824–1833. 8. Alyassin AM, Lancaster JL, Downs JH, Fox PT. Evaluation of new algorithms for the interactive measurement of surface area and volume. Medical Physics 1994;21(6):741–52. 9. Hastreiter P, Ertl T. Integrated Registration and Visualization of Medical Image Data. In: Proc. of Computer Graphis International; 1998. p. 78–85.

Fully-Automated Analysis of Muscle Fiber Images with Combined Region and Edge-Based Active Contours Thomas Brox1 , Yoo-Jin Kim2 , Joachim Weickert3 and Wolfgang Feiden2 1 Computer Vision and Pattern Recognition Group, University of Bonn, R¨ omerstr. 164, 53117 Bonn, Germany 2 Institute of Neuropathology, Saarland University, 66421 Homburg/Saar, Germany 3 Math. Image Analysis Group, Saarland University, 66041 Saarbr¨ ucken, Germany Email: [email protected]

Abstract. This paper presents a new approach to automated muscle fiber analysis based on segmenting myofibers with combined region and edge-based active contours. It provides reliable and fully-automated processing, thus, enabling time-saving batch processing of the entire biopsy sample stemming from routinely HE-stained cryostat sections. The method combines color, texture, and edge cues in a level set based active contour model succeeded by a refinement with morphological filters. Falsepositive segmentations as compared to former methods are minimized. A quantitative comparison between manual and automated analysis of muscle fibers images did not reveal any significant differences. We gratefully acknowledge partial funding by the DFG.

1

Introduction

The size and shape of muscle fibers is an important cue to diagnose neuromuscular diseases, since it has been shown that morphometric data can discern very early changes in the distribution pattern of fiber size in muscle biopsy samples [1]. While fiber size estimation by simple inspection, as yet performed in routine diagnostics, is inaccurate and subjective, accurate measurements by means of manual segmentation of fibers is time-consuming and tedious, particularly since a few hundreds of fibers per specimen have to be analyzed in order to obtain statistical significance. This brings up the need for an automated analysis routine of muscle fiber images. Despite this need for an automated process, until today, only few segmentation methods dedicated to this task have been presented [2, 3, 4, 5]. The reported methods are mostly based on border shape enhancement routines, followed by application of user-defined or histogram based thresholds, and interactive manual editing. Due to inaccurate delineation of fibers as well as the need of special histochemical stains and partially extensive user interaction, the usability of these methods in practice is limited.

Fully-Automated Analysis of Muscle Fiber Images

87

For a fully-automated yet reliable automated analysis, a solid and accurate separation of single myofibers from the remaining parts in the image (i.e., connective tissue, nuclear clumps, and blood vessels) is essential. To succeed in this task, the presented method makes use of recent advances in level set based segmentation, where classical edge-based active contours [6, 7, 8] are extended by region based cues, such as the color and texture. Region based active contour models that partition the image into two classes have been introduced in [9, 10]. In the present application, the two classes are the class of the myofibers and the class of the background. This extension allows for exploiting three sources of information to separate the classes: color, texture, and edges. They are combined in a sound and transparent way by means of a cost functional. The separating contour is thereby modelled by an implicit level set function that allows for topological changes and can, hence, handle the area of myofibers as one class, though the separate fibers are not connected. The functional and its minimization are detailed in Section 3. With the single fibers at hand, a multitude of morphometric parameters can be assessed for all detected fibers in a single pass. The whole method works without any user interaction and with a fixed set of parameters. Despite this full automation, the empirical evaluation in Section 4 shows a high reliability of the method. Section 5 concludes the paper by discussing the impact of this outcome.

2

Muscle Sample Preparation and Image Acquisition

Biopsy samples were trimmed, mounted, and frozen in isopentane-cooled liquid nitrogen, before storage at −70◦ C. Transverse sections (10µm) were cut with a cryotome at −20◦ C and attached to slides by thawing. After keeping the slides at room temperature for at least 30 min., the sections were stained with hematoxylin and eosin. Microscopic images were then taken in artifact-free areas in muscle cross sections with a 20× objective (Nikon Eclipse E600 microscope, Nikon DN100 CCD-camera) and stored as 640 × 480 pixel (571 × 428µm) RGB color images.

3

Segmentation of Myofibers

Given the fiber image I : Ω → R3 , the decisive task is to determine the outline of the myofibers. To this end, we suggest a level set based active contour model that combines multiple cues to separate the fibers from the remaining parts of the image. In level set based segmentation methods, the contour is represented by the zero-level line of a so-called embedding function Φ : Ω → R. This implicit representation of the contour has several advantages, among others that parts of the two regions need not necessarily be connected and may split and merge. Since the region of the muscle fibers itself consists of numerous connected components, this flexibility in the topology of the regions is an important property of the method.

88

T. Brox et al.

The active contour model is described by a cost functional, in which undesirable properties of a possible solution are penalized by high costs: '
 E(Φ) = − H(Φ) log p1 + (1 − H(Φ)) log p2 − ν g(|∇I|2 )|∇H(Φ)| dx. (1)      Ω  region based

edge based

The region based part is a probabilistic model, that maximizes the total aposteriori probability of pixels assigned to the best of two regions. The membership of a pixel to one of the regions is determined by the sought level set function Φ evaluated by means of the step function H, which is smoothed in order to ensure differentiability [9]. The regions are modelled by the probability densities p1 and p2 that are estimated within the two regions, respectively. For the density estimation we employ the Parzen method that comes down to smoothed region histograms; see [11]. The region based part exploits that all fibers have a similar color that can generally be distinguished from the color of the intermyofibrillar connective tissue. Since color alone may not always be sufficient to distinguish the two regions, it is supported by texture information represented by the feature space provided in [12]. It captures the fact that the muscle fibers are mainly homogeneous without much textural variations, whereas the endomysial connective tissue contains collagenous fibers, blood vessels, fibrocytes, and other cellular components. The joint densities p1 and p2 are approximated as the product of the densities of the single feature channels. The second part of (1) represents the classical geodesic active contour model that A decreasing function g(s2 ) = √ seeks a contour of minimal weighted length. 3 2 2 1/ s + 1 of the image gradient magnitude s = k=1 |∇Ik |2 serves as weighting function in order to reduce the cost of the contour length in the presence of edges. This part of the model exploits the fact that the muscle fibers are often separated from the connective tissue by more or less strong edges. Hence, it supplements a third cue for the partitioning besides the color and texture information. Moreover, the penalty on the contour length avoids single noise pixels or small artifacts to be separated from the surrounding region. The relative influence of the edge-based term is determined by the parameter ν = 2. Starting from an initial partitioning obtained by a histogram based thresholding, a minimum of (1) is obtained by steepest descent. This yields the update    k τ  k p1 k+1 k 2 ∇Φ = Φ + H (Φ ) log + νdiv g(|∇I| ) (2) Φ ν p2 |∇Φk | with iteration index k, time step size τ = 0.5, and H  being the derivative of H with respect to its argument. In each iteration, also the densities p1 and p2 are updated. After 200 iterations one obtains the sought contour separating the muscle fibers from the connective tissue; see Fig. 1b. Although the active contour model yields accurate boundaries in large parts of the image, some myofibers may not be completely separated. In order to refine the result, it is merged with the outcome of an edge detector, binarized by automated thresholding, and enhanced by filters from mathematical morphology [13]. The final result of this postprocessing is shown in Fig. 1c.

Fully-Automated Analysis of Muscle Fiber Images

89

Fig. 1. (a) Original input RGB image of a dystrophic muscle biopsy sample. (b) Resulting segmentation with the active contour model. Non-fiber structures are removed. (c) Final result: each analyzed fiber is outlined and numbered. Fibers touching the image boundaries are not considered.

4

Experiments

A total of 30 digital images containing 679 fibers on five human muscle specimens were segmented. Parameters were kept fixed for all images to ensure a fully automated processing. The segmentation results were evaluated independently by two neuropathologists yielding a misclassification rate of only 2%. Additionally, the accuracy of the morphometric analysis was assessed by comparison between human and machine measurements in 10 out of the 30 digital images containing a total of 191 fibers on five human muscle specimens. Three experts manually traced fiber outlines with a computer mouse using the ”freehand”ROI selection tool. Calculation of cross sectional area, perimeter, circularity, and Feret diameter were then analyzed automatically by the computer for each outlined fiber. The manually collected data were compared to the machine measurement of the same images. For each fiber, the three human measurements and the results obtained by the automated system were averaged. This was used as standard of comparison. The mean error was defined as the mean of deviations from the standard of comparison assessed for each fiber. The results shown in Tab. 1 do not reveal any significant differences between human and machine analysis.

5

Discussion

The experiments show that, despite the full automation, the method works very reliably with a mixed set of muscle specimen. This is in contrast to previous techniques that either yield many inaccurate segmentations, or need a significant amount of manual user interaction. The robustness of the presented approach can be explained by the sound combination of three types of information. This ensures that in case of one cue not being available, or reliable, the others can promote the solution. Moreover, the method is easy to use, and it neither requires special knowledge in image processing nor special histochemical stains. As a consequence, the method satisfies all premises for being valuable in highcontent image analysis of muscle samples for research purposes as well as in clinical diagnostics. Since the method enables full automation, convenient batch

90

T. Brox et al.

Table 1. Average morphometrical values and mean error from standard of comparison as assessed for 191 fibers obtained manually by three investigators and by machine. human 1

human 2

human 3

machine

2

2

2

5625µm2 7%

fiber area

5707µm 7.6%

perimeter

292.5µm 5.6%

301.1µm 4.1%

301.1µm 4.3%

302.7µm 4%

circularity

0.74 6.1%

0.70 9.7%

0.69 9.4%

0.68 10.5%

111.3µm 3.7%

111.4µm 4.1%

110.9µm 3.5%

111µm 3.6%

diameter

5639µm 7%

5617µm 6.7%

processing of the entire biopsy sample may be possible and selection bias can be avoided.

References 1. Dubowitz V. Muscle Biopsy: A Practical Approach. London: Bailliere Tindall; 1985. 2. Dudley AW, Spittal RM, Dayoff RE, Ledley RS. Computed image analysis techniques of skeletal muscle. In: Jasmin G, Proschek L, editors. Microanalysis and Quantification. Basel: Karger; 1984. p. 34–57. 3. Castleman KR, Chui LA, Martin TP, Edgerton VR. Quantitative muscle biopsy analysis. Monographs in Clinical Cytology 1984;9:101–116. 4. Collumbien R, Zukowski F, Claeys A, Roels F. Automated analysis of muscle fibre images. Analytical Cellular Pathology 1990;2:373–387. 5. Klemenˇciˇc A, Kovaˇciˇc S, Pernus F. Automated segmentation of muscle fiber images using active contour models. Cytometry 1998;32:317–326. 6. Kass M, Witkin A, Terzopoulos D. Snakes: Active contour models. International Journal of Computer Vision 1988;1:321–331. 7. Caselles V, Kimmel R, Sapiro G. Geodesic active contours. International Journal of Computer Vision 1997;22:61–79. 8. Kichenassamy S, Kumar A, Olver P, Tannenbaum A, Yezzi A. Conformal curvature flows: from phase transitions to active vision. Archive for Rational Mechanics and Analysis 1996;134:275–301. 9. Chan T, Vese L. Active contours without edges. IEEE Transactions on Image Processing 2001;10(2):266–277. 10. Paragios N, Deriche R. Geodesic active regions: A new paradigm to deal with frame partition problems in computer vision. Journal of Visual Communication and Image Representation 2002;13(1/2):249–268. 11. Brox T, Rousson M, Deriche R, Weickert J. Unsupervised segmentation incorporating colour, texture, and motion. In: Petkov N, Westenberg MA, editors. Computer Analysis of Images and Patterns. vol. 2756 of Lecture Notes in Computer Science. Berlin: Springer; 2003. p. 353–360. 12. Brox T, Weickert J. A TV flow based local scale estimate and its application to texture discrimination. Journal of Visual Communication and Image Representation 2006. To appear. 13. Soille P. Morphological Image Analysis. Berlin: Springer; 1999.

Shape-Based 3D Level Set Segmentation of the Proximal Femur in CT-Data Agnes Gr¨ unerbl1 , Karl Fritscher1 , 2 Michael Blauth , Volker Kuhn2 and Rainer Schubert1 1

Institute for Biomedical Image Analysis, University for Health Science, Medical Informatics and Technology, Tyrol, Austria 2 Department of Traumatology, University Hospital, Innsbruck, Tyrol, Austria Email: [email protected]

Abstract. This work presents the creation of a common shape model of the proximal femur and the use of this common shape model for the automatic segmentation of healthy femora. The method to build up a common shape model is described and the approach of automatic segmentation of CT datasets will be explained. Further the resulting shape model and the use of the model in the segmentation pipeline in order to automatically segment 15 datasets is discussed.

1

Introduction

The presented work is part of a broader project to develop and investigate methods for automated segmentation of the healthy femur in CT-data as well as in x-ray images as a prerequisite for automated positioning of regions of interest for detailed bone analysis. Even though there has been done some work on segmenting the pelvis and the femur for surgical planning and simulation [e.g. 1, 2, 3], there is few work to find about statistical modelling of the proximal femur and the further use of such a model within a level set based segmentation pipeline. Therefore, as a first step we aimed to build up a statistical three-dimensional shape model of the proximal femur to serve for automated segmentation of 3D CT-data. This paper will describe the generated shape model and present first results in using this model for automated level set based segmentation of CTdata.

2

State of Review

For the creation of 3D statistical shape models different approaches have been introduced: In [4] Rueckert et al. describe the usage of deformation fields to represent shape. Moreover, a number of other approaches to incorporate prior shape knowledge into the segmentation process have been developed [5-10]. Geometric deformable models, also known as geodesic snakes or level set snakes have been developed by Osher and Sethian [11] and have been introduced in the field of image analysis by Caselles and Malladi [13,12]. In [10] Leventon

92

A. Gr¨ unerbl et al.

Fig. 1. Left shape model (dark) and shape variation with -1.5 Std. in 1. principal component (light). Middle: shape model. Right: shape model (dark) and shape variation with 1.5 Std. in 1. principal component (light)

extended Caselles’s geodesic active contours by incorporating prior shape information into the segmentation process. The segmenting-surface evolves according to the image gradient and a maximum a-posteriori (MAP) estimate of the shape and pose parameters of the statistical shape model generated by using principal component analysis.

3

Contributions/Benefits

Using an automatic hierarchic registration approach to initialize the segmentation process and the shape model to guide the segmentation process with level sets gives us the possibility to fully automatically segment the proximal part of the femur in CT-scans. An important contribution is the possibility to automate the process of segmentation and to make the results reproducible. The automatic approach guarantees that all images are segmented the same way with reproducible results. This means an improvement in the segmentation process and the segmentation quality, since reproduction is not possible in the manual and semi automatic approach because the result here always is influenced by the segmenting expert. A further benefit of the automatic segmentation approach is, that it is far less time consuming than the semi-automatic approaches such as region growing in combination with essential manual correction.

4

Methods

The first aim of this work was the creation of a common shape model of the proximal femur. In order to create such a shape model, 13 data sets had to be segmented semi-automatically or manually. Out of these segmented images a common shape model could be calculated: 1. rigid alignment of the distance maps of the segmented images onto an atlas image 2. non-rigid alignment of distance maps of labels to atlas label image using demons algorithm [14] 3. Perform PCA on deformation fields, calculated in step 2

Shape-Based 3D Level Set Segmentation of the Proximal Femur in CT-Data

93

Fig. 2. Left: an example for a CT dataset of a proximal Femur with poor quality (slice thickness: 5mm). Right: The result of the automated segmentation of this dataset.

Different instances of shape can be generated by applying the deformation fields resulting from the PCA calculation on the atlas label. Using this shape model in combination with level set segmentation, CT images of the proximal femur were automatically segmented. As an instrument of segmentation the updated and improved version of the segmentation pipeline which was introduced in [15, 16] in order to automatically segment MRI images of the endocardium could be used here. The procedure is as follows: 1. Rigid alignment of the individual image to an atlas image 2. Non rigid alignment of the image to be segmented and the atlas image using demons algorithm 3. Warping atlas label set with deformation field from non rigid registration 4. Rigid alignment of warped label and atlas label to get initial shape parameters 5. Perform PCA decomposition of the resulting deformation field (point 3) to get initial shape parameters 6. Level set segmentation using MAP approach and statistical shape model Using a shape model relying on 13 manually or semi-automatically segmented datasets, 15 datasets were automatically segmented. Out of these 15 datasets five already had been used to build the shape model. Further the 15 datasets were of different slice-thickness (between 0.625 mm and 5 mm). In order to evaluate the results of the segmentation, the Similarity Index and the Mean Distance of the resulting segmentation images of the automatic segmentation and the manually slightly corrected final results were calculated.

5

Results

Using the approach described in the method section, a valid common shape model could be created (Fig 1). The first principal component specifies the variation in size. The second and the third principal components specify the variation in the trochanter major and the trochanter minor. The other main components indicate other small variations. Within the first six principal components of the PCA 92% of the shape variations are covered. The described approach of automatic segmentation has been successfully applied and provided good results for all cases (see Table 1). The evaluation of the segmentation, compared the automatically segmented result and the final,

94

A. Gr¨ unerbl et al.

Table 1. detailed list of the segmentation results with Similarity Index and Mean Distance for all segmented datasets datasetNo 17 22 23 25 27 29 30 31 32 34 35 41 42 43 48

included /new Sl-Thickness (mm) SI MD new 5 0.903 1.04 new 0.625 0.879 1.61 new 2.5 0.872 1.64 new 1.25 0.875 1.71 new 1.25 0.967 0.38 new 5 0.975 0.35 new 2.5 0.958 0.41 included 2.5 0.931 0.59 included 2.5 0.915 0.98 included 1.25 0.931 0.79 new 1.25 0.896 1.5 included 1.25 0.911 0.81 included 1.25 0.912 1.34 new 2.5 0.964 0.52 new 2.5 0.962 0.45

manually corrected result, showed that the similarity index averages at 0.9251 with a sigma of 0.043 for the ten totally new datasets. For the five datasets (31, 31, 34, 41, 42) which were already included into the used shape model the average result of the similarity index was 0.92 with a sigma of 0.01. For the datasets not included the mean distance averages at 0.961 voxel (sigma = 0.59) while the average for the five already included old datasets is 0.902 voxel (sigma = 0.28). This means only a slight difference between the already included and the new datasets. The detailed results can be viewed in Table 1. An interesting result of the automatic segmentation is that the automatic approach produces satisfying results for datasets with all different slice-thicknesses and the segmentation of datasets of high quality does not show better results compared to datasets with poor quality. The left part of Fig. 2 shows such a CT image of poor quality. On the right side of Fig. 2 the result of the automatic segmentation of this image can be seen.

6

Discussion

This preliminary study has shown that the femora can be automatically segmented using the segmentation pipeline developed at IBIA. After the successful creation of a valid common-shape-model this model could effectively be implemented in the segmentation pipeline as initial shape for the level set segmentation. The results of the segmentation of new datasets showed satisfying results using the pipeline and the integrated common shape model. The main advantage of automatic segmentation can be seen in the time used to segment a dataset. Due to the possibility of automating the segmentation process, in contrast to semi-automatic approaches as region growing, only little interaction of the user is needed. A fast semi-automatic segmentation approach using thresholds is not useful in this case because of the unclear range of grey values for the bones in CT images.

Shape-Based 3D Level Set Segmentation of the Proximal Femur in CT-Data

95

Nevertheless, the results of the evaluation show that further improvement is needed to enhance the accuracy and especially the speed of the segmentation method. In a first step, we expect that the integration of more segmented datasets into the model will further improve the specificity and generality of the model and the quality of the automatic segmentation. Furthermore, the use of greyvalue images for a faster segmentation of the Femora in CT images is planed.

References 1. F¨ arber M, Ehrhardt J, Handels H. Automatic atlas-based contour extraction of anatomical structures in medical images. In: Lemke U, et al, editors. CARS. International Congress Series 1281. Elsevier; 2005. p. 272–277. 2. Lamecker H, Seebaß M, Hege HC, Deuflhard P. A 3d statistical shape model of the pelvic bone for segmentation. In: SPIE Medical Imaging. vol. 5370; 2004. p. 1342–1351. 3. Lange T, Tunn PU, Lamecker H, Scheinemann P, Eulenstein S, Schlag P. Computerunterst¨ utzte Prothesenkonstruktion mittels statistischen Formmodells bei Beckenresektionen. In: Procs BVM; 2004. p. 30–34. 4. Rueckert D, Frangi A, Schnabel JA. Automatic Construction of 3-D Statistical Deformation Models of the Brain Using Nonrigid Registration. IEEE Trans Med Imaging 2001;22:1014–1025. 5. Cootes TF, Edwards GJ, Taylor C. Active Appearance Models. IEEE Trans Patt Anal Mach Intell 2001;6:681–685. 6. Cootes TF, Taylor CJ, Cooper DH, Graham J. Segmentation and measurement of the cortex from 3-D MR images using coupled surfaces propagation. Comput Vis Image Underst 1995;61:38–59. 7. Zeng X, Staib LH, Schultz R, Duncan JS. Segmentation and measurement of the cortex from 3-D MR images using coupled surfaces propagation. IEEE Trans Med Imaging 1999;18:927–937. 8. Cremers D, Schnorr C, Weickert J. Diffusion-Snakes: Combining Statistical Shape Knowledge and Image Information in a Variational Framework. In: IEEE Workshop on Variational Level Set Methods; 2001. p. 137–144. 9. Paragios N. Priors for level set representations. European Conference on Computer Vision; 2002. 10. Leventon M, Grimson E, Faugeras O. Statistical Shape Influence in Geodesic Active Contours. Comp Vis Patt Rec 2000;1:316–323. 11. Osher J, Sethian JA. Fronts propagating with curvature-dependent speed: algorithms based on Hamilton-Jacobi formulations. J Comp Phys 1988;79:12–49. 12. Malladi R, Sethian J, Vemuri BC. Shape modeling with front propagation: a level set approach. IEEE Trans Patt Anal Mach Intell 1995;17:158–175. 13. Caselles V, Kimmel R, Sapiro G. A geometric model for active contours. Numerische Mathematik 1999;66. 14. Thirion JP. matching as a diffusion process: an analogy with Maxwell‘s demons. Med Image Anal 1998;2:243–260. 15. Fritscher KD, Pilgram R, Schubert R. Automatic 4D endocardium segmentation using hierarchical registration and model guided level set segmentation. In: Lemke U, et al, editors. CARS. International Congress Series 1281. Elsevier; 2005. 16. Fritscher KD, Schubert R. A software framework for pre-processing and level set segmentation of medical image data. In: SPIE Medical Imaging; 2005.

Aktive Sensoren: Kontextbasierte Filterung von Merkmalen zur modellbasierten Segmentierung Lars Dornheim, Jana Dornheim, Heiko Seim und Klaus T¨onnies Institut f¨ ur Simulation und Graphik, Fakult¨ at f¨ ur Informatik, Otto-von-Guericke-Universit¨ at Magdeburg

Zusammenfassung. Strukturen in medizinischen Bildern sind oft unvollst¨ andig abgebildet und erfordern zus¨ atzliches Modellwissen zu ihrer Segmentierung. Es gibt eine F¨ ulle einfacher Merkmale (Grauwerte, Kanten, etc.) mit deren Hilfe eine modellbasierte Segmentierung erfolgt. Sensorbasierte Modelle reagieren nun mit allen Sensoren potentiell auf all diese Merkmale, auch wenn pro Sensor nur ein Bruchteil interessiert. Es werden richtungsgewichtete Kontursensoren vorgestellt, die abh¨ angig von ihrer Richtung Konturen im Datensatz bewerten. Sie reagieren bevorzugt auf Konturen, die aus Modellsicht eine erwartete Richtung aufweisen. W¨ ahrend der Modellanpassung werden diese erwarteten, sensorabh¨ angigen Konturrichtungen konsistent zum Modell gehalten. Dadurch werden aktive Sensoren geschaffen, die eine deutliche Vorfilterung auf einer einfachen Merkmalsebene im Kontext des Modells durchf¨ uhren. So wird die Segmentierung von detailreichen, verrauschten und unvollst¨ andigen Daten mittels Modellen deutlich zielstrebiger und robuster, wie wir in drei Anwendungsf¨ allen nachweisen k¨ onnen.

1

Einfu ¨hrung

Im Fall medizinischer Bilder ist oft auf Grund der reinen Bildinformation keine komplette, exakte Segmentierung m¨ oglich. In diesen F¨allen ist Modellwissen u ¨ ber die zu segmentierenden Strukturen erforderlich. Dieses Wissen, z.B. u ¨ ber die erwartete Form, Gr¨ oße oder Lage, wird durch Modelle verschiedenster Auspr¨ agung (ACMs, ASMs, SMSMs [1], etc.) beschrieben. Eine Reihe von Modellen bezieht die Bildinformation dabei u ¨ ber Sensoren. Diese sind u onnen auf spezifische Bildmerkmale ¨ ber das Modell verteilt und k¨ (Grauwerte, Konturen, Ecken, etc.) reagieren. Sie fungieren als eine erste Abstraktionsebene, auf der das Bild durch das Modell punktuell und lokal wahrgenommen werden kann. Diese einfachen Merkmale werden durch das Modell zu einem komplexen Objekt zusammengef¨ uhrt. Problematisch ist, daß es in verrauschten oder detailreichen Bildern sehr viele solcher einfachen Merkmale gibt und es a priori nicht immer klar ist, zu welcher Struktur sie geh¨ oren. Daher ist es von zentraler Bedeutung, schon fr¨ uhzeitig im Segmentierungsprozeß m¨ oglichst viele irrelevante Merkmale herauszufilten. Wir wenden uns in diesem Paper der besonders h¨ aufig benutzten Klasse der Konturmerkmale zu und werden auf Grund von Sensorausrichtungen ihre Relevanz dynamisch und lokal bestimmen.

Aktive Sensoren

2

97

Stand der Forschung

Aus der Literatur sind viele verschiedene Arten von Sensoren bekannt, die in Modellen zur Segmentierung eingesetzt werden. Ihre Ausgaben k¨onnen u.a. von bestimmten Intensit¨ ats- oder Farbwerten, Kanten oder Ecken [2] abh¨angen. Nach unserem Kenntnisstand agieren zur Zeit alle diese Sensoren passiv. D.h., die Ausgabe eines Sensors h¨ angt im allgemeinen nur von den Bilddaten ab. Selten werden Sensoren beschrieben, die vom initialen Modell abh¨angig sind. Sie schr¨ anken damit sinnvoll die Merkmalsmenge ein (z.B. die fest gerichteten Sensoren in [3]). Der Nachteil bei all diesen w¨ ahrend der Modellanpassung passiven Sensoren ist die fehlende M¨ oglichkeit, den Zustand des Modells in die Berechnung der Sensorausgaben mit einzubeziehen. Deshalb werden auch keine f¨ ur das Modell irrelevanten Merkmale dynamisch durch diese Sensoren herausgefiltert.

3

Stabile Feder-Masse-Modelle

Wir nutzen zur modellbasierten Segmentierung dreidimensionale Stabile FederMasse-Modelle (SMSMs [1]). Sie sind auch in h¨oheren Dimensionen effizient simulierbar und weisen eine gut kontrollierbare Formstabilit¨at auf. Sie sind dynamische Formmodelle, die u ¨ ber ein Gleichgewicht aus drei Kr¨aften gesteuert werden: 1. Federkr¨afte zum Gr¨ oßenerhalt des Modells 2. Torsionskr¨afte zum Formerhalt des Modells 3. Sensorkr¨afte zur Anpassung des Modells an die Daten Punkt 2 unterscheidet sie von einfachen Feder-Masse-Modellen. Die zus¨atzlichen, stabilisierenden Torsionskr¨ afte werden durch den Abgleich aktueller Federrichtungen zu ihren Federruherichtungen erzeugt.

4

Richtungsgewichtete Kontursensoren

Wir haben f¨ ur die mit den einzelnen Massen des Modells assoziierten Sensoren Normalen eingef¨ uhrt, die jeweils die Richtung eines Sensors beschreiben. Bei der Modellkonstruktion werden diese Sensornormalen durch arithmetische Mittlung der Normalen der angrenzenden Konturfl¨achen, jeweils gewichtet durch den Winkel der Fl¨ ache an der Sensormasse, berechnet, so daß sie Vertexnormalen entsprechen. Bei der Ver¨ anderung des Modells w¨ ahrend seiner Anpassung an die Daten andern sich die L¨angen und Richtungen der Federn. Somit m¨ ussen auch die ¨ Normalen der Sensoren diesem neuen lokalen Kontext (gegeben durch die Ausrichtung der angrenzenden Federn) angepaßt werden. Das geschieht durch eine Neuausrichtung jedes einzelnen Sensors. F¨ ur jeden Sensor wird dabei jede dreidimensionale Verdrehung einer an ihn angrenzenden Feder i durch ein Rotationsquarternionen Qi beschrieben, der im

98

L. Dornheim et al.

¨ Abb. 1. Uber den Gradientenbetrag erzeugte Konturbilder eines Schichtbildes eines 3D-SPECT-Datensatzes des Thorax. Bild (b) wurde zus¨ atzlich einer Richtungsgewichtung in X-Richtung (Pfeil) unterzogen. Die hellen Bereiche sind jeweils die unscharfen Konturen des linken Ventrikels.

(a)

(b)

Falle von SMSMs schon berechnet zur Verf¨ ugung steht. Daraus wird eine u ¨ ber alle m angrenzenden Federn gemittelte dreidimensionale Ausgleichsrotation Q (Gleichung 1 f¨ ur großes n f¨ ur eine genaue Approximation; z.B. n = 100) approximiert, die auf den Sensor angewendet wird. Dadurch wird dieser entsprechend den an ihn angrenzenden Federn mitrotiert, so daß sein lokaler Kontext korrekt aufrechterhalten wird.

Q=

 ( i

n ϕi , ai ) Q( m·n

 mit Qi = Q(ϕi , ai ) =

cos ϕ2i sin ϕ2i · ai

 (1)

Mit Hilfe dieser Sensorrichtungen lassen sich nun richtungsgewichtete Kontursensoren konstruieren, die Konturinformationen abh¨angig von ihrer eigenen Richtung bewerten. Auf diese Weise werden durch einen Sensor bevorzugt Konturen gefunden, die zum lokalen Kontext des Sensors und damit zum Modell eine bestimmte, erwartete Ausrichtung (in unseren F¨allen stets die Sensorrichtung) aufweisen (Abb. 1 zeigt den Effekt am Beispiel eines Sensors auf Thorax-3DSPECT-Daten). Im Detail wird diese Konturbewertung erreicht, indem zur Konturberechnung zun¨ achst ein 5x5x5 Gradientenfilter angewendet wird. Wir verwenden hier optimierte Filter aus [4], die besonders richtungstreue Gradientenapproximationen auf den Voxeldaten erzeugen, da die Gradientenrichtungen in unserem Fall eine besonders wichtige Rolle spielen. Die Abweichung der Richtung des Gradienten I von der Sensorrichtung n wird bestimmt und zur linearen Wichtung der Gradientengr¨ oße benutzt (Gleichung 2), wobei kleinere Abweichungen zur h¨oheren Wichtungen f¨ uhren.   ∠(I, n) · I (2) K = 1− π

Aktive Sensoren

5

99

Ergebnisse

Wir untersuchten das Modellverhalten bei der Verwendung der aktiven, richtungsgewichteten Kontursensoren im Vergleich zu klassischen, passiven Kontursensoren (normale Gradientenfilter) in drei medizinischen Anwendungsf¨allen. 5.1

Segmentierung des Schildknorpels

Im ersten Fall sollte der Schildknorpel (Kehlkopf) in CT-Daten des Halses segmentiert werden [5]. Daf¨ ur wurde Konturmodellwissen in Form eines SMSM genutzt, das jeweils einmal mit aktiven und passiven Kontursensoren auf 12 CTDatens¨ atzen des Halses angewendet wurde. Die Segmentierungsergebnisse mit aktiven Sensoren waren in 10 von 12 F¨ allen deutlich besser als die mit passiven Sensoren, im Rest der F¨ alle identisch. In den meisten F¨allen zeigte sich bei passiven Sensoren eine Untersegmentierung gegen¨ uber der Segmentierung mittels aktiver Sensoren mit Volumenunterschieden von bis zu 30 Prozent (z.B. fehlerhaftes Finden der gegen¨ uberliegenden Kante des flachen Schildknorpels in Abb. 2(b)). Auch Abwanderungen passiver Kontursensoren zu Nachbarstrukturen mit starken Gradienten kamen vor. Diese negativen Effekte waren bei den aktiven Sensoren signifikant vermindert, was eine erfolgreiche Segmentierung des Schildknorpels erst erm¨ oglichte. 5.2

Segmentierung vergr¨ oßerter Lymphknoten

Im zweiten Fall sollten vergr¨ oßerte Lymphknoten in CT-Daten des Halses durch ein zweischaliges, initial kugelf¨ ormiges SMSM nach Vorgabe eines im Lymphknoten liegenden Startpunktes segmentiert werden [6]. In den von uns untersuchten drei CT-Datens¨ atzen grenzten sich die Lymphknoten im Gradientenbild oft nicht klar und durchg¨ angig ab, zudem waren deutlich st¨arkere Gradienten in ihrer unmittelbaren N¨ ahe zu finden. Beides verhinderte eine gute Segmentierung mit dem SMSM, das passive Kontursensoren benutzte. Bei der Verwendung aktiver Kontursensoren konvergierte das Modell zielstrebig zu einer jeweils zufriedenstellenden Segmentierung. Das bei dem ersten Modell beobachtete, zum Teil großr¨ aumige Abwandern einzelner Sensoren (Abb. 2(d)) zu starker, aber falscher Gradienteninformation war nicht mehr festzustellen. 5.3

Segmentierung des linken Ventrikels

Der letzte Anwendungsfall war die Segmentierung des mit infarktbedingten L¨ ucken behafteten linken Ventrikels in SPECT-Daten, die ein sehr niedriges Signal-Rausch-Verh¨ altnis aufwiesen. Durch ein mehrstufiges Verfahren konnte hier der linke Ventrikel erfolgreich in 41 Datens¨atzen segmentiert werden [7]. Die letzte Stufe bildete dabei ein ventrikelf¨ ormiges SMSM, das die beschriebenen aktiven Kontursensoren benutzte. Auf 7 quantitativ untersuchten Datens¨atzen stellte sich dabei gegen¨ uber der Verwendung passiver Kontursensoren eine durchschnittliche Verbesserung des Segmentierungsfehlers gegen¨ uber einem von einem Experten erstellten Goldstandard um 11,9 Prozent heraus.

100

L. Dornheim et al.

Abb. 2. Der Schildknorpel in (a) und der Lymphknoten in (c) wurden unter Verwendung von richtungsgewichteten Kontursensoren segmentiert. In (b) und (d) ist jeweils das zugeh¨ orige Ergebnis mit klassischen Kontursensoren dargestellt.

(a)

6

(b)

(c)

(d)

Diskussion

Die beschriebenen Ergebnisse zeigen, daß in den drei beschriebenen Anwendungsf¨ allen die Segmentierungsqualit¨ at durch den Einsatz der aktiven Sensoren deutlich verbessert werden konnte. Das Abwandern von Sensoren zu benachbarten Objektkanten wurde fast vollst¨ andig vermieden. Das im Modell verankerte Modellwissen konnte damit umfassender genutzt werden. Die Implementierung der aktiven Sensoren erfolgte sehr effizient. Die Sensorrotationen konnten direkt aus den im SMSM bereits vorliegenden Federrotationenquarternionen abgeleitet werden. Insgesamt war kein Performanzverlust ¨ durch den Ubergang zu den aktiven Sensoren sp¨ urbar. Im Fall anderer Modellarten m¨ ussen die aktuellen Sensornormalen unter Umst¨anden aufwendiger berechnet werden, wie es bei SMSMs nur w¨ ahrend der Konstruktion erfolgt.

Literaturverzeichnis 1. Dornheim L, T¨ onnies KD, Dornheim J. Stable Dynamic 3D Shape Models. In: ICIP; 2005. 2. Bergner S. Structural Deformable Models for Robust Object Recognition. Diplomarbeit. Fakult¨ at f¨ ur Informatik, Otto-von-Guericke-Universit¨ at Magdeburg; 2003. 3. Schild M, Pohle R, Brune K, Hess A. Semi-automatic Segmentation of the Left Ventricle in CINE MR Datasets by Linked Radial Active Model (LRAM). In: Bildverarbeitung f¨ ur die Medizin; 2005. 4. J¨ ahne B, Haussecker H, Geissler P, editors. Signal Processing and Pattern Recognition. vol. 2 of Handbook of Computer Vision and Applications. Academic Press; 1999. p. 125–151. 5. Dornheim J, Dornheim L, Preim B, T¨ onnies KD, Hertel I, Strauss G. Stable 3D Mass-Spring Models for the Segmentation of the Thyroid Cartilage. Otto-vonGuericke-Universit¨ at Magdeburg. Germany; 2005. 6. Seim H, Dornheim J. Ein 2-Fronten-Feder-Masse-Modell zur Segmentierung von Lymphknoten in CT-Daten des Halses. In: Bildverarbeitung f¨ ur die Medizin; 2006. 7. Dornheim L, T¨ onnies KD, Dixon K. Automatic Segmentation of the Left Ventricle in 3D SPECT Data by Registration with a Dynamic Anatomic Model. In: MICCAI; 2005.

Vergleich von Geschwindigkeitsfunktionen zur Segmentierung der Koronararterien aus CT-Volumina mit Front-Propagation-Algorithmen Thomas H. Stehle1 und Olivier Ecabert2 1

Lehrstuhl f¨ ur Bildverarbeitung, RWTH Aachen, 52056 Aachen Philips GmbH Forschungslaboratorien Aachen, 52066 Aachen Email: [email protected]

2

Zusammenfassung. Der Zustand der Koronararterien wird immer ¨ ofter anhand von EKG-getriggerten Multislice-CT-Aufnahmen bewertet. Die Segmentierung, die f¨ ur eine Befundung ben¨ otigt wird, ist bei manueller Durchf¨ uhrung sehr zeitaufw¨ andig. Deshalb ist es von großem Interesse, diesen Vorgang zu automatisieren. Im folgenden Beitrag werden drei modellbasierte Geschwindigkeitsfunktionen beschrieben und verglichen, die zusammen mit dem Fast-Marching-Algorithmus eingesetzt werden k¨ onnen, um die Koronararterien automatisch zu segmentieren.

1

Einleitung

Die koronare Herzkrankheit ist die h¨ aufigste Todesursache in Deutschland und anderen westlichen L¨ andern. In Deutschland sind 2004 u ¨ ber 26% aller Todesf¨alle darauf zur¨ uckzuf¨ uhren [1]. Eine kosteng¨ unstige und den Patienten wenig belastende Untersuchungsmethode bietet die Computer-Tomographie. Dazu wird eine CT-Aufnahme des Herzens unter Gabe von Kontrastmittel durchgef¨ uhrt, so dass die Koronararterien hell gegen¨ uber dem umliegenden Gewebe erscheinen. F¨ ur die Befundung ist es zweckm¨ aßig, die Koronararterien zu segmentieren, um alle irrelevanten Bildinhalte ausblenden zu k¨ onnen. Dieser Vorgang dauert, wenn er manuell durchgef¨ uhrt wird, f¨ ur einen ge¨ ubten Benutzer bis zu zwei Stunden. Die Automatisierung dieses Vorgangs ist aufgrund der großen Zeit- und damit auch Kostenersparnis von großem Interesse.

2

Front-Propagation-Algorithmus: Fast-Marching

In diesem Abschnitt wird eine kurze, qualitative Beschreibung des Fast-Marching-Algorithmus gegeben. F¨ ur eine formale und umfassende Darstellung sei auf die Arbeiten von Sethian [2] und Deschamps [3] verwiesen. Der Fast-Marching-Algorithmus ist ein Verfahren, bei dem sich eine Front, ausgehend von einem Saatpunkt, entlang eines Mediums ausbreitet. Die Vorzugsrichtung, in der sich die Front ausbreitet, h¨ angt dabei von den Eigenschaften des

102

T.H. Stehle und O. Ecabert

Mediums ab. F¨ ur alle Nachbarpixel der Front wird mit Hilfe einer Geschwindigkeitsfunktion jeweils bestimmt, zu welchem Zeitpunkt sich die Front dorthin ausbreiten wird. Diese Information wird in einer sortierten Liste gespeichert und die Front jeweils in Richtung des Pixels ausgedehnt, dessen Ankunftszeit am kleinsten ist. Anschließend wird das Pixel aus der Liste entfernt und die Ankunftszeit in noch nicht betrachteten Nachbarpixeln berechnet und gespeichert.

3

Geschwindigkeitsfunktionen

In diesem Abschnitt werden drei verschiedene Geschwindigkeitsfunktionen vorgestellt, die innerhalb von Blutgef¨ aßen hohe Werte und außerhalb kleine Werte liefern sollen. Alle beschriebenen Verfahren beruhen auf der Annahme, dass es sich bei den Blutgef¨ aßen lokal um zylindrische Strukturen handelt, deren Grauwert l¨ angs des Gef¨aßes ann¨ ahernd konstant ist, w¨ahrend er senkrecht dazu einen starken Gradienten aufweist. 3.1

Vesselness-Filter

Die erste Geschwindigkeitsfunktion basiert auf dem Vesselness-Filter, das von Frangi in [4] eingef¨ uhrt wurde. Bei diesem Verfahren wird f¨ ur jeden Bildpunkt x die Hesse-Matrix ⎞ ⎛ gxx (x) gxy (x) gxz (x) (1) H(x) = ⎝ gyx (x) gyy (x) gyz (x) ⎠ gzx (x) gzy (x) gzz (x) berechnet. Dabei entsprechen die gij (x) (i, j ∈ {x, y, z}) den zweiten partiellen Ableitungen des Grauwert-Volumens am Punkt x. Die Eigenwerte der HesseMatrix geben Aufschluss u ¨ ber die Grauwertvariation entlang der entsprechenden Eigenvektoren. Seien o.B.d.A. die Eigenwerte aufsteigend sortiert, d. h. |λ1 | ≤ |λ2 | ≤ |λ3 |, dann ist ⎧ 0oder λ3 > 0 ⎪ ⎨ 0,  falls λ2 >    λ2 λ2 2 λ2 +λ2 +λ2 − 2 2 − 2|λ λ1 |β 2 V (x) = (2) − 1 2c22 3 2λ3 α 2 3 e 1 − e 1 − e , sonst ⎪ ⎩ eine Geschwindigkeitsfunktion, die innerhalb zylindrischer Objekte groß und ansonsten klein ist. Die Fallunterscheidung stellt sicher, dass es sich um ein helles Objekt auf dunklem Hintergrund handelt. Die ersten beiden Faktoren des zweiten Falles grenzen zylindrische Strukturen von Ebenen bzw. Sph¨aren ab, w¨ ahrend der dritte Faktor die St¨ arke der Grauwertvariation ber¨ ucksichtigt. α, β und c sind Gewichtungsfaktoren. 3.2

Cylinderness-Filter

Beim Cylinderness-Filter wird ein geometrisches Zylindermodell an das Grauwertvolumen angepasst und anschließend die Passgenauigkeit bewertet. Young

Vergleich von Geschwindigkeitsfunktionen

103

et al. haben dieses Verfahren in [5] zur Segmentierung der Beinarterien verwendet. Es werden daf¨ ur an den beiden Endfl¨ achen E1 und E2 des Zylinders senkrecht zur Zylinderachse unter verschiedenen Winkeln θi die Punkte P1i bzw. P2i mit den st¨ arksten Grauwert¨ uberg¨ angen von hell nach dunkel gesucht. Der neue Radius des Modells wird als arithmetisches Mittel der ermittelten Distanzen d1i und d2i zwischen den Mittelpunkten M1 bzw. M2 der Endfl¨achen und den gefundenen Punkten P1i bzw. P2i definiert. Durch Schwerpunktbildung der alt man eine aktualisierte Sch¨atzung der MittelpunkPunkte P1i bzw. P2i erh¨ te M1 bzw. M2 und damit auch eine aktualisierte Sch¨atzung der Orientierung (Verbindungsvektor der Mittelpunkte). Die Anpassung des ersten Zylinders im Saatpunkt geschieht u andige Suche. Bei der Anpassung in einem ¨ber eine vollst¨ darauffolgenden Punkt werden als Startwerte die Parameter des Zylindermodells des Vorg¨ anger-Bildpunktes verwendet. Als G¨ utekriterien f¨ ur die Passgenauigkeit eignen sich die mittlere Summe F der Gradientenbetr¨ age in den Punkten P1i und P2i sowie der mittlere residuale Fehler RC zwischen dem aktualisierten Zylindermodell und den Punkten P1i und P2i . Da die Front in der Mitte des Blutgef¨ aßes am schnellsten wachsen soll, sinkt die Geschwindigkeit exponentiell mit dem Abstand D des Front-Punktes zur Zylinderachse. Dies f¨ uhrt zur Geschwindigkeitsfunktion   1 · e−D/δ (3) C(x) = e−RC /γC · 1 − 1 + e(F −φ0 )/φ1 Dabei sind γC , φ0 , φ1 und δ Gewichtungsfaktoren. 3.3

Grauwertprofil-Analyse

Bei der Grauwertprofil-Analyse werden die Grauwerte entlang eines Strahls betrachtet, der senkrecht durch das Blutgef¨ aß verl¨auft. Diese Richtung kann z. B. senkrecht zum Eigenvektor zum betragsm¨ aßig kleinsten Eigenwert der HesseMatrix oder senkrecht zur Achse eines angepassten Zylindermodells gew¨ahlt werden. Unter der Annahme, dass eine Parabel geeignet ist, die Grauwerte entlang eines Profils zu beschreiben, das durch ein Blutgef¨aß verl¨auft, wurde das folgende Analyseverfahren entwickelt. Nach einer ¨ aquidistanten Abtastung der Grauwerte entlang des Profils werden mit Hilfe eines Least-Squares-Fittings die Koeffizienten einer Parabelgleichung g(x) = ax2 + bx + c bestimmt. Anschließend wird der residuale Fehler RG zwischen Parabel und den abgetasteten Werten berechnet und ¨ ahnlich wie beim Cylinderness-Filter die Distanz D des aktuellen Front-Bildpunktes zum Extremum der Parabel (Modellmitte) zur Definition der Geschwindigkeitsfunktion  0, falls a > min(0, Schwellwert) (4) G(x) = 1 · e−D/δ , sonst 1+e(RG −γG0 )/γG1 verwendet. Dabei sind δ, γG0 und γG1 Einstellungs- und Gewichtungsfaktoren. Ist der Parameter a der Parabelgleichung positiv, so ist diese nach oben

104

T.H. Stehle und O. Ecabert

ge¨ offnet und kann demzufolge kein Blutgef¨ aß repr¨asentieren. Ebenso kann f¨ ur betragsm¨ aßig kleine negative a davon ausgegangen werden, dass im momentan betrachteten Bildpunkt kein Blutgef¨ aß vorliegt. Diese Sachverhalte werden im ersten Fall von Gl. (4) behandelt.

4

Segmentierung

Die oben genannten Verfahren wurden auf 7 Datens¨atzen getestet. Das erste Kriterium, anhand dessen die G¨ ute einer Segmentierung bewertet wurde, war die relative L¨ ange des automatisch segmentierten Gef¨aßes im Vergleich zu einem handsegmentierten Gef¨ aß. Da keines der Verfahren spezielle Methoden zur Er¨ kennung und Uberwindung von Stenosen enth¨ alt, wurde nach dem Stehenbleiben des vollautomatischen Verfahrens pro Hauptgef¨aßzweig ein weiterer Saatpunkt manuell angegeben. Das zweite Kriterium war die mittlere Abweichung der automatisch gefundenen Mittellinie des Gef¨ aßes im Vergleich zur handsegmentierten Mittellinie und die zugeh¨ orige Standardabweichung. Bei jedem der drei Verfahren wurde neben der Modellinformation ein grauwertbasierter Schwellwert verwendet: Wenn der Grauwert unter 90% des mittleren Grauwerts des Herzmuskels sank, wurde die Geschwindigkeit auf 0 gesetzt. 4.1

Vesselness-Filter

Die Parameter wurden bei diesem Verfahren folgendermaßen festgelegt: α = 1, β = 1 und c = 10. Dies bedeutet, dass die morphologische Information mehr gewichtet wurde als die eigentliche St¨ arke der Grauwertvariation. Dar¨ uber hinaus wurden noch ein Schwellwert verwendet: Wenn V (x) < 0, 4 zutraf, wurde die Geschwindigkeit auf 0 gesetzt. Mit Hilfe des so eingestellten Vesselness-Filters segmentierte der Fast-Marching-Algorithmus im Mittel eine L¨ ange von etwa 53% der Koronararterien vollautomatisch. Mit einmaliger Interaktion steigerte sich das Ergebnis auf 76% des Gef¨aßbaumes. Die mittlere Abweichung der Mittellinie betrug dabei 0,84 mm bei einer Standardabweichung von 0,55 mm. 4.2

Cylinderness-Filter

Beim Cylinderness-Filter wurden Grauwert¨ uberg¨ange unter 16 verschiedenen Winkeln gesucht. Die L¨ ange des Zylindermodells wurde im Saatpunkt mit 3 mm initialisiert und in den folgenden Punkten als Mittelwert von L¨ange und Durchmesser des vorherigen Modells gew¨ ahlt. Die restlichen Parameter wurden wie folgt festgelegt: γC = 0, 2 mm, φ0 = 260 HU (Hounsfield-Units), φ1 = 20 HU und δ = 0, 2 mm. Der Fast-Marching-Algorithmus lieferte hier ohne Benutzerinteraktion eine relative segmentierte L¨ ange von etwa 43%, mit der Angabe eines weiteren Saatpunktes erh¨ ohte sich dies auf etwa 60%. Die Abweichung der Mittellinien betrug hierbei 0,81 mm bei einer Standardabweichung von 0,56 mm.

Vergleich von Geschwindigkeitsfunktionen

4.3

105

Grauwertprofil-Analyse

Die L¨ ange des Grauwertprofils wurde in den Tests auf 5 mm konstant festgelegt. Da sich der Durchmesser der Blutgef¨ aße jedoch ver¨andert, wurden die entsprechenden Gewichtungsfaktoren mit γG0 = 15 HU und γG1 = 8 HU nicht sonderlich restriktiv gew¨ ahlt. Der Parameter δ wurde wie beim Cylinderness-Filter auf 0,2 mm festgelegt. Der Schwellwert aus Gl. (4) wurde auf −0, 5 gesetzt. Hier wurde ohne Benutzerinteraktion im Mittel etwa 70% eines Gef¨aßbaumes automatisch gefunden. Mit einmaliger Interaktion konnte das Ergebnis auf etwa 80% gesteigert werden. Die mittlere Abweichung von der Mittellinie betrug etwa 0,86 mm bei einer Streuung von 0,68 mm.

5

Zusammenfassung und Vergleich

Es wurden drei m¨ogliche modellbasierte Geschwindigkeitsfunktionen vorgestellt, die zur Segmentierung der Koronararterien mit Front-Propagation-Algorithmen verwendet werden k¨ onnen. Alle hier beschriebenen Verfahren waren in der Lage, der Verzweigung der linken Koronararterie in den hinteren und vorderen Ast korrekt zu folgen. Ver¨ zweigungen in kleinere Aste konnten jedoch von keinem Verfahren zuverl¨assig segmentiert werden. Die beiden Geschwindigkeitsfunktionen Vesselness-Filter und Grauwertprofil-Analyse lieferten nach einmaliger Interaktion vergleichbare Ergebnisse sowohl bei der Abweichung der Mittellinien als auch bei der Segmentierungsl¨ange. Die ben¨otigte Rechenzeit ist beim Vesselness-Filter aufgrund der Faltungsoperationen und der Eigenwertanalyse wesentlich h¨ oher als bei der Grauwertprofil¨ Analyse. Das Cylinderness-Filter lieferte bei der Ubereinstimmung der Mittellinien das beste Ergebnis, konnte aber nur einen ungen¨ ugenden Teil der Koronarien segmentieren. Deswegen ist die Grauwertprofil-Analyse unter den oben beschriebenen Bedingungen die geeignetste Geschwindigkeitsfunktion.

Literaturverzeichnis 1. Statistisches Bundesamt. Gesundheitswesen – Todesursachen in Deutschland 2004, Fachserie 12, Reihe 4; 2005. 2. Sethian JA. A fast marching level set method for monotonically advancing fronts. Proc of the National Academy of Sciences of the USA 1996;93(4):1591–1595. 3. Deschamps T. Curve and Shape Extraction with Minimal Path and Level-Sets techniques - Applications to 3D Medical Imaging. Ph.D. thesis. Universit´e Paris-IX Dauphine. Place du mar´echal de Lattre de Tassigny, 75775 Paris Cedex; 2001. 4. Frangi AF, Niessen WJ, Vincken KL, Viergever MA. Multiscale Vessel Enhancement Filtering. In: MICCAI. London, UK: Springer; 1998. 5. Young S, Pekar V, Weese J. Vessel Segmentation for Visualization of MRA with Blood Pool Contrast Agent. In: MICCAI. Utrecht, The Netherlands: Springer; 2001.

Ein 2-Fronten-Feder-Masse-Modell zur Segmentierung von Lymphknoten in CT-Daten des Halses Heiko Seim1 , Jana Dornheim1 und Uta Preim2 1

Institut f¨ ur Simulation und Graphik, Otto-von-Guericke-Universit¨ at Magdeburg 1 Klinik f¨ ur diagnostische Radiologie, Universit¨ atsklinikum Magdeburg Email: [email protected]

Zusammenfassung. Mit dem Ziel, die pr¨ aoperative Einsch¨ atzung der Operabilit¨ at von Hals-Lymphknoten-Ausr¨ aumungen (Neck Dissections) durch eine 3D-Darstellung zu verbessern, bedarf es einer Methode, um Lymphknoten effizient zu segmentieren. Hierzu wird in dieser Arbeit ein stabiles 3D-Feder-Masse-Modell pr¨ asentiert, welches eine direkte Integration in einen Visualisierungsprozess erlaubt. Dabei werden erstmals Grauwert-, Form- und Kanteninformationen in einem Modell kombiniert. Ergebnisse einer Evaluierung werden ebenfalls diskutiert.

1

Problemstellung

Bei einer Metastasierung der Lymphknoten im Bereich des Halses wird in vielen F¨ allen eine Hals-Lymphknoten-Ausr¨ aumung (Neck-Dissection) durchgef¨ uhrt. Da zu deren Planung in den meisten F¨ allen lediglich eine Sichtung der 2DSchichtbilder erfolgt, ist eine Einsch¨ atzung der anatomischen Topographie oft sehr schwierig. Eine dreidimensionale Visualisierung relevanter Strukturen soll die pr¨aoperative Einsch¨ atzung der Operabilit¨ at des Patienten verbessern. Hierf¨ ur sind Segmentierungen der zu visualisierenden Strukturen notwendig. Die Lymphknotensegmentierung ist dabei einer der zeitaufwendigsten Arbeitsschritte [1], der bisher nur auf manuellem Wege zuverl¨ assig auszuf¨ uhren war.

2

Stand der Forschung

Rogowska et al. [2] stellen nach der Analyse elementarer Segmentierungsverfahren (Wasserscheidentransformation, Schwellwertverfahren, Aktive Konturen) fest, dass die Lymphknotensegmentierung nur mit einem hohen Maß an Modellwissen zuverl¨ assig m¨ oglich ist. Eine Variante des Fast-Marching-Verfahrens ¨ wurde in [3] vorgestellt. Das bekannte Problem der Ubersegmentierung durch Auslaufen konnte hierbei nur durch einen hohen Grad an Benutzerinteraktion (Setzen einer Barriere) gel¨ ost werden. Komplexeres Modellwissen konnte in [4] in Form einer dreidimensionalen aktiven Oberfl¨ ache formuliert werden, die ausgehend von einem Startpunkt kontinuierlich w¨ achst. Obwohl sich Objekte in stark

Ein 2-Fronten-Feder-Masse-Modell zur Segmentierung von Lymphknoten

107

Abb. 1. Schematischer 2D-Querschnitt des 2-Fronten-Modells (links). Jeweils ein Masseknoten mit Gradientensensor und einer mit Intensit¨ atssensor bilden durch eine sehr steife Federverbindung eine funktionelle Einheit (rechts).

Feder mit geringer Steifheit Feder mit hoher Steifheit

Masse mit Gradientensensor Masse mit Intensitätssensor

idealisierten Phantomdaten erfolgreich segmentieren ließen, wurde eine Untersuchung auf realen Daten nicht vorgenommen, wodurch eine Prognose f¨ ur einen praktischen Einsatz nicht m¨ oglich ist.

3

Methoden

F¨ ur das von uns entwickelte Verfahren kommen Stabile 3D-Feder-Masse-Modelle [5] (auch Stable 3D-Mass-Spring-Models - SMSMs) zum Einsatz, da sich mit ihnen das f¨ ur die Lymphknotensegmentierung notwendige komplexe Modellwissen (Grauwertbereich, Kanteninformation, Formwissen) in einem einzigen Modell beschreiben l¨ asst. Herk¨ ommliche Feder-Masse-Modelle verf¨ ugen lediglich u ¨ ber Federkr¨ afte, um u ande verbundener Masseknoten die Ausgangs¨ ber die Abst¨ form zu beschreiben. Dadurch war es bisher nicht m¨oglich, lokal vernetzte FederMasse-Netze zur stabilen Segmentierung in h¨ oheren Dimensionen zu verwenden. SMSMs bieten eine zus¨ atzliche formerhaltende Modellkomponente, die bestrebt ist, die relativen Ruherichtungen aller Federn aufrecht zu erhalten (Torsionskr¨ afte). Um das stabile 3D-Feder-Masse-Modell den Bilddaten anzupassen, werden Sensoren verwendet. Jeweils ein Sensor ist r¨ aumlich mit einem Masseknoten verkn¨ upft und erzeugt eine auf ihn wirkende Kraft, die sich aus den Bildmerkmalen ableitet. F¨ ur die Segmentierung von Lymphknoten bieten sich zwei Sensortypen an: richtungsgewichtete 3D-Gradientensensoren [6] zur Detektion der Lymphknotenkontur in den Bilddaten sowie Intensit¨ atssensoren, die auf das homogene Innere von Lymphknoten reagieren. 3.1

Aufbau des 2-Fronten-Modells

Das entwickelte Modell besteht aus einer doppelten Kugelstruktur zweier identischer SMSMs, die sich lediglich in ihren Radien leicht unterscheiden [7]. Dadurch entstehen eine ¨ außere Front, auf der Masseknoten mit Gradientensensoren angeordnet sind, und eine innere Front, die u ¨ ber Masseknoten mit Intensit¨atssensoren

108

H. Seim, J. Dornheim und U. Preim

Tabelle 1. Vergleich der Segmentierungsergebnisse der manuellen und der automatischen Segmentierung mit dem Goldstandard (mittlere Diskrepanz f¨ ur alle Lymphknoten eines Datensatzes). Datensatz Anwender 1 Fehlsegmentierung (%) Anwender 2 Modell Anwender 1 Hausdorff-Distanz (mm) Anwender 2 Modell Anwender 1 Mittlere Randdistanz (mm) Anwender 2 Modell

1 45,88 45,63 44,38 3,513 4,113 3,913 0,420 0,488 0,421

2 69,38 65,25 50,75 2,401 2,644 2,350 0,353 0,406 0,309

3 43,25 50,88 51,38 3,238 3,225 3,825 0,401 0,444 0,596

4 35,13 29,88 51,75 1,213 1,150 1,700 0,311 0,271 0,583

5 37,00 33,13 38,88 1,575 1,725 1,925 0,296 0,279 0,416

verf¨ ugt (siehe Abb. 1). Durch die Kugelform des Modells wird dar¨ uber hinaus die kugelig bis ellipsoide Erscheinungsform der Lymphknoten modelliert. Gradientensensoren sind hierbei f¨ ur eine Anpassung des Modells an die Lymphknotenkontur zust¨andig, w¨ ahrend die Intensit¨ atssensoren bestrebt sind, sich in Richtung lymphknotentypischer Grauwerte zu bewegen oder dort zu verweilen. Zwischen den beiden Fronten wird eine enge Verkn¨ upfung hergestellt, indem je ein Paar korrespondierender Gradienten- und Intensit¨atssensoren mit sehr steifen Federn verbunden wird. Das Resultat ist eine funktionelle Einheit von Gradienten- und Intensit¨ atsknoten, die sowohl einen gerichteten Gradientenverlauf als auch das homogene Innere von Lymphknoten ber¨ ucksichtigt. Die Steifheit der Federn zwischen Sensoren gleichen Typs wird nahe Null gew¨ahlt, um eine variable Gr¨ oßenanpassung des Modells zuzulassen. Das 2-Fronten-Modell bietet somit Formtreue (Torsionskr¨ afte) bei hoher zu erreichender Gr¨oßenvarianz (schwache Federsteifheit f¨ ur Federn innerhalb einer Front). 3.2

Ablauf der Segmentierung

Zur Segmentierung wird das Modell mit einem Initialdurchmesser von 3mm in den Daten platziert, da kleinere Lymphknoten klinisch nicht relevant sind. Hierzu kann der Anwender einen Punkt im Inneren des Lymphknotens markieren, an den das Modell verschoben wird. Um eine g¨ unstigere Startkonfiguration zu erhalten, ist es alternativ m¨ oglich, zwei gegen¨ uberliegende Punkte auf der Lymphknotenkontur zu definieren. In diesem Fall wird das kugelige Modell zwischen diesen zwei Punkten positioniert, wobei der Punktabstand als Durchmesser gew¨ ahlt wird. Anschließend wird der f¨ ur den ausgew¨ahlten Lymphknoten typische Grauwert bestimmt. Hiermit kann f¨ ur die Ausgangsdaten eine Fensterung des Intensit¨ atsbereiches festgelegt werden.

4

Ergebnisse

F¨ ur die Evaluierung lagen uns 11 CT-Datens¨ atze vor, in denen klinisch relevante Lymphknoten auftraten. In einer eingehenden qualitativen Analyse sollte gekl¨art werden, inwieweit die Modellkomponenten ihre Funktion im Segmentierungsprozess erf¨ ullen. In einem zweiten quantitativen Evaluierungsschritt wurden in f¨ unf

Ein 2-Fronten-Feder-Masse-Modell zur Segmentierung von Lymphknoten

109

Abb. 2. Gr¨ oßenanpassung einer sehr ungenauen Initialisierung u ¨ ber die Zeit: Axiale Ansicht (oben) und zugeh¨ orige 3D-Ansicht (unten).

CT-Datens¨ atzen Varianzen zwischen manuellen Segmentierungen von drei erfahrenen Anwendern und Segmentierungen des Modells untersucht. Hierzu ließ sich eine von einem Radiologen verifizierte Referenzsegmentierung als Goldstandard verwenden. 4.1

Qualitative Analyse

Es zeigte sich, dass die entwickelten Modellkomponenten nur in ihrer Gesamtheit ein stabiles Segmentierungsmodell ergeben. So liegt mit den Torsionskr¨aften ein sehr wichtiger Faktor f¨ ur die Formstabilit¨ at, variable Gr¨oßenanpassung (siehe Abb. 2) sowie die organische Extrapolation fehlender Bildinformationen vor. Zus¨ atzlich konnte gezeigt werden, dass die Verwendung von Intensit¨atssensoren die Ausdehnung in Strukturen mit anderem Grauwert verhindert, w¨ahrend die Einbeziehung der Gradientenrichtung Bilddaten reduziert, die das Modell zu stark ablenken k¨ onnen. 4.2

Quantitative Analyse

F¨ ur diese Untersuchung wurden aus jedem Datensatz acht Lymphknoten segmentiert, wobei jeweils zwei einer Problemklasse zugeordnet werden konnten: isoliert liegende Lymphknoten, Lymphknoten mit starken Gradienten in der direkten Umgebung, Lymphknoten mit Unterbrechungen im Konturverlauf (z.B. an Gewebe mit gleichem Grauwert) und stark deformierte Lymphknoten. Es zeigte sich eine starke Korrelation der Varianzen der Modellsegmentierung und der Segmentierungen der Testanwender (siehe Tab. 1). Die gr¨oßten Diskrepanzen entstanden durch schicht¨ ubergreifende Fehlsegmentierungen. Dies galt sowohl f¨ ur die 2-Fronten-Segmentierung, als auch f¨ ur die manuelle Segmentierung. F¨ ur einzelne Problemklassen zeigten sich ebenfalls keine signifikanten Unterschiede.

5

Diskussion

Die starke Korrelation der Varianzen bei manueller und der Modell-Segmentierung lassen vermuten, dass mit dem 2-Fronten-Modell ein Verfahren ent-

110

H. Seim, J. Dornheim und U. Preim

Abb. 3. Lymphknotensegmentierungen mit dem 2-Fronten-Modell (weiße Kontur). Zus¨ atzlich ist der Goldstandard eingeblendet (hellgraue Kontur).

wickelt wurde, das eine zuverl¨ assige semi-automatische Lymphknotensegmentierung erm¨ oglicht (siehe Abb. 3). Die internen Modellkr¨afte garantieren eine hohe Formstabilit¨at bei gleichzeitiger Flexibilit¨at hinsichtlich der Modellgr¨oße. Dadurch wird es m¨oglich, mit einer sehr ungenauen Startinitialisierung den kompletten Lymphknoten zu segmentieren. W¨ ahrend der Evaluierung zeigte sich eine Tendenz des 2-Fronten-Modells zur Untersegmentierung gegen¨ uber manuellen Segmentierungen. Dieses Verhalten konnte bereits in [5] beobachtet werden und bedarf einer klinischen Studie zur weitergehenden Untersuchung. Nach abgeschlossener Segmentierung erlaubt das 2-Fronten-Modell durch seine geometrische Beschaffenheit eine direkte Integration in eine 2D- oder 3D-Visualisierung. Dabei bleibt die nat¨ urliche ellipsoide Form von Lymphknoten sehr gut erhalten. Eine nachtr¨ agliche Gl¨ attung ist nicht notwendig. Eine Ausdehnung der Methode auf andere K¨ orperregionen z.B. Becken liegt nahe, da sich dort die Lymphknoteneigenschaften kaum unterscheiden. Danksagung. Diese Arbeit ist Teil des von der DFG gef¨orderten Schwerpunktprogramms Medical Navigation and Robotics“ (1124, PR 660/3-1). ”

Literaturverzeichnis 1. Hintze J, Cordes J, Preim B, et al. Bildanalyse f¨ ur die pr¨ aoperative Planung von Neck Dissections; 2005. p. 11–15. 2. Rogowska J, Batchelder K, Gazelle G, et al. Evaluation of Selected Two-Dimensional Segmentation Techniques for Computed Tomography Quantitation of Lymph Nodes. Investigative Radiology 1996;13:138–145. 3. Yan J, Zhuang T, Zhao B, et al. Lymph node segmentation from CT images using fast marching method. Comput Med Imaging Graph 2004;28(1-2):33–38. 4. Honea D, Snyder WE. Three-Dimensional Active Surface Approach to Lymph Node Segmentation. In: SPIE Medical Imaging. vol. 3661; 1999. p. 1003–1011. 5. Dornheim L, T¨ onnies KD, Dornheim J. Stable Dynamic 3D Shape Models. In: ICIP’05: International Conference on Image Processing; 2005. 6. Dornheim L, Dornheim J, Seim H, et al. Aktive Sensoren: Kontextbasierte Filterung von Merkmalen zur modellbasierten Segmentierung; 2006. 7. Seim H. Modellbasierte Segmentierung von Lymphknoten in CT-Daten des Halses. Master’s thesis. Otto-von-Guericke-Universit¨ at Magdeburg; 2005.

Femur Detection in Radiographs Using Template-Based Registration Jan Schreiber1 , Rainer Schubert1 and Volker Kuhn2 1

Institute for Biomedical Image Analysis, University for Health Sciences, Medical Informatics and Technology, 6060 Hall in Tyrol, Austria, [email protected] 2 Department of Traumatology and Sportsmedicine (Director: Prof. Michael Blauth), Medical University Innsbruck, 6020 Innsbruck, Austria, [email protected]

Abstract. This article describes a method for the automatic detection of the proximal femur in radiographs using a template-based mutual information registration method. It will be part of a planned, larger system for automated estimation of osteoporosis in the femoral neck. Our multi-step optimization process achieves a successful registration rate of 70% to 95%.

1

Introduction

Osteoporosis is a metabolic disease of the skeletal system, which leads to several million fractures every year, mainly with elderly women. Beside the spine and the distal radius, the femoral neck is particularly affected. This leads to a substantial mobility restriction of the patients.

2

Motivation

The treatment of a fracture of the femoral neck depends on the type of the fracture and the bone quality. Commonly, the estimation of bone quality of the acutely injured patient has to take place with a radiograph of the pelvis, which is made by routine if a fracture of the femoral neck is suspected. The evaluation is carried out by a physician and depends to a considerable degree on the quality of the radiograph as well as the experience of the physician. This work is part of a larger project with the aim of providing a sophisticated decision support system for surgeons when selecting the appropriate operative procedure. Methods of pattern recognition will be used for an application that estimates the grade of osteoporosis of patients with hip fractures on the basis of radiographs. It will integrate seamlessly into clinical work-flow. One requirement for the osteoporosis analysis is the automatic localization of the femur in order to place regions of interest (ROI) reproducibly onto the radiograph. This work presents a method, results and evaluation for a robust detection of the un-fractured femur in digital hip overview radiographs.

112

3

J. Schreiber, R. Schubert and V. Kuhn

State of Research

Due to the superimpositions in radiographs and variations in shape and position of the patient, segmentation of the femur in radiographs is a challenging task. The most promising methods described so far have been published by Behiels [1, 2] and base on active shape models and show a success-rate of approximately 70%. One of the main causes for the missing 30% seems to be the disregard of variations in position. Consequently, Behiels suggests enhancing the model with these variations. The risk of getting an unspecific model may increase by the mixture of the independent variations in shape and position. The literature describes different methods for the analysis of regions of interest in radiographs to estimate the grade of osteoporosis. Publications (e.g. [3, 4]) focus on gray-level, structure, texture or fractal analysis and simply use manually positioned regions. The manual placement of regions of interest leads to inter- and intra-observer variations. Fully automatic analysis of osteoporosis from radiographs is already possible with commercial systems. Their drawback is the restriction to measurements of peripheral bones, e.g. the hand, that are in a considerable distance to the fractured site.

4

Benefit

A decision support system might ease the pre-operative planning, supporting the surgeon in the decision for an appropriate implant and operation method depending on the actual local quality of the fractured osteoporotic bone.

5

Methods

The primary aim of our work is the correct position of regions of interest onto radiographs. As the analysis in the fractured side is difficult and questionable, the regions for the analysis of osteoporosis will be placed at the contralateral un-fractured femur. This is valid, because there is a good correlation of the mechanical properties of the bone between both sides [5]. To achieve this, a pixel-precise segmentation of the femur is not necessary. We suggest to register a template onto the radiograph to perform the localization of the femur. In order to detect the proximal femur, a sample radiograph serves as a template and is registered with a patient’s radiograph. Our tests with different intensity based registration metrics showed the best results when using mutual information as registration metric. This, for a monomodal registration problem surprising outcome, finds its explanation in the projective characteristics of hip overview radiographs. The brightness of the bony structure in the femur varies considerably due to loss of bone mineral density. Additionally, the gray values of soft tissue surrounding the bone vary extensively with the patient’s constitution which leads to different ratios in intensities of bony and soft tissue areas. A special challenge in the detection of the femur is a pendulous abdomen that sets

Femur Detection in Radiographs Using Template-Based Registration

113

Fig. 1. The main tasks of the processing pipeline. Each task is subdivided in specialized processing steps. Global, regional and local registration use different regions of the images and process them in four zoom levels to achieve a more robust registration.

Global Registration

Regional Registration

Local Registration

Placing ROIs

a heavy bias over the proximal femur region in some images. These challenges showed to be solved best by a multimodal registration method. The information about the location of the regions of interest, contained in the template, is mapped onto the radiograph. These regions of interest, that may be placed e.g. in accordance with the classification of Singh et al. [6], allow a statistical analysis for the estimation of osteoporosis. The registration of the template with the radiograph is a multi-step optimization process (fig. 1). In order to start this process, the physician has to assign the system the side of the un-fractured femur. With this information, the software uses the template for the specified side and starts a three-step registration process. First, the global registration maps a complete radiograph with the pelvis and both femura to gain a principle location and a basic adaptation to the patient’s size. The following regional registration uses a clipping of the template image that surrounds the assigned, un-fractured proximal femur roughly and handles variations in flexion, adduction and rotation. The local registration finally concentrates on a very narrow region of the proximal femur and is responsible for the fine-tuning of the registration. For the improvement of stability, every registration step incorporates a fourlevel image scale pyramid. With succeeding pyramid-levels, the radiograph is successively increased in resolution, until the registration is executed with the full resolution of the radiograph. Additionally, in each of these levels the degrees of freedom of the optimizer are adapted. This means that each level’s registration starts with an almost pure translation transformation. The range for rotation and uniform scaling is increased incrementally so that in the end all three transformations apply with their full weight. The combination of translation, rotation and uniform scaling showed the best registration results with a minimum of anatomically impossible transformations. The described methods have been implemented in a clinically usable application. The software toolkit ITK [7] provided the framework for data handling and image processing algorithms. It enabled us to test and implement different metrics, methods and strategies in a very flexible way.

114

J. Schreiber, R. Schubert and V. Kuhn

Fig. 2. (a), (b) Result images categorized in groups A and B. The 3 dots in the femoral head and neck helped to decide if potential regions of interest might be within the femur. (c) Accumulated number of radiographs registered in categories A-X per template.

(a) Category A

6

(b) Category B

(c)

Results and Discussion

In order to verify the quality of the processing pipeline, 195 radiographs, obtained from Innsbruck University Hospital (courtesy of Prof. Jaschke), have been registered with 15 different templates. The templates are a random sample of these radiographs. In order to verify the processing pipeline’s output, the 2925 results have been analyzed by expert visual inspection and were categorized in 5 groups: A: The outline of the template image matches perfectly the contour of the femur. B: The outline of the template image is not perfectly aligned with the contour of the femur but is close enough to place ROIs correctly onto the femur. C: The outline of the template is related to the contour of the femur but the mapping is not sufficient for a good placement of ROIs. F: The outline of the template was placed somewhere in the image, no evident relation with the contour of the femur can be seen. X: The registration failed. Figures 2a and 2b show example images of successful registrations categorized as A and B. Our method showed to be robust even with artifacts from implants and extremely varying image quality. We succeeded in placing fields of measurement objectively and reproducibly in over 70% of these 195 samples of radiographs using template T33L (fig. 2c). This is in the same range of success as Behiels’ method [2] using active contours. These 70% were reached with a single template. Taking variations of shape into account by using the best out of 4 different templates (T33L, T241L, T198L, T05L), a success rate of over 95% has been achieved.

Femur Detection in Radiographs Using Template-Based Registration

115

So far, there is no automatic method to determine which of the four templates shows the best registration because the metric value of mutual information is not comparable over different registrations, only statistical tendencies have been noticed. A manual inspection of the four registration results should be of little effort for the physician. As the regions of interest have not yet been analyzed for osteoporosis, it is not yet possible to estimate the difference in the osteoporosis assessment for different templates with little variations in the registration quality. Depending on the size of the images and the combination of template and patient’s radiograph, the automatic process of matching these two images takes about 1.5 minutes for a 2828 × 2320 pixels image on a 1.8 GHz P4 computer. In future work, we want to consider both, positional variations and interindividual shape variations by using a 3D shape model for the generation of the templates. We anticipate that this extends the method to be able to correctly register radiographs, which have been taken when the patient has not been positioned optimally. This might improve the success rate of the method to a level where it can be implemented into clinical software. Acknowledgements. This work has been supported by the AO Development Institute, Davos and health information technologies tirol (HITT).

References 1. Behiels G, Vandermeulen D, Suetens P. Statistical Shape Model-based Segmentation of digital X-ray Images. In: MMBIA, IEEE; 2000. p. 61–68. 2. Behiels G, Maes F, Vandermeulen D, Suetens P. Evaluation of image features and search strategies for segmentation of bone structures in radiographs using Active Shape Models. Med Image Anal 2002;6(1):47–62. 3. Link TM, Majumdar S, Grampp S, Guglielmi G, van Kuijk C, Imhof H, et al. Imaging of trabecular bone structure in osteoporosis. Eur Radiol 1999;9(9):1781–8. 4. Gregory JF, Stewart A, Undrill PE, Reid DM, Aspden RM. Identification of hip fracture patients from radiographs using Fourier analysis of the trabecular structure: a cross-sectional study. BMC Medical Imaging 2004;4(4). 5. Eckstein F, Wunderer C, Boehm H, Kuhn V, Priemel M, Link TM, et al. Reproducibility and side differences of mechanical tests for determining the structural strength of the proximal femur. J Bone Miner Res 2004;19:379–385. 6. Singh M, Nagrath AR, Maini PS. Changes in trabecular pattern of the upper end of the femur as an index of osteoporosis. J Bone Joint Surg Am 1970;52(3):457–467. 7. Yoo TS, Ackerman MJ, Lorensen WE, Schroeder W, Chalana V, Aylward S, et al. Engineering and Algorithm Design for an Image Processing API: A Technical Report on ITK – The Insight Toolkit. In: In Proc. of Medicine Meets Virtual Reality; 2002. p. 586–592.

A Statistical Geometric Model of the Heart Jens von Berg and Cristian Lorenz Philips Forschungslaboratorien, Abteilung Technische Systeme, 22335 Hamburg Email: {Jens.von.Berg,Cristian.Lorenz}@philips.com

Abstract. A comprehensive model of the end–diastolic human heart is presented that covers multiple surfaces like those of the four chambers and the attached vessels. It also contains the three main coronary arteries and a set of 25 anatomical landmarks. The model was adapted to fit 27 clinical multi–slice computed tomography images thus reflecting the anatomical variability to be observed in that sample. The statistical model is intended to provide a priori information for automated diagnostic and interventional procedures. A number of experiments was performed to determine the accuracy of model–based predictions done on unseen cardiac images. Using an additional deformable surface technique, the model allows for determination of all chambers and the attached vessels on the basis of given anatomical landmarks with an average accuracy of 1.1 mm. After such an individualization of the model by surface adaptation the centreline of the three main coronary arteries may be estimated with an average accuracy of 5.2 mm.

1

Introduction

Diagnosis and therapy of cardiac diseases is one of the major issues of today’s medicine. Imaging of the cardiac anatomy is addressed by virtually all medical imaging modalities and a considerable portion of clinical interventions concern the heart. From this context arises firstly a demand for preferably non–invasive, accurate diagnosis procedures and secondly a demand for preferably minimally invasive therapeutic procedures. Limited health–care budgets in both fields call for efficient and as much as possible automated procedures. One attempt to facilitate these requirements is the intense use of cardiac anatomical domain knowledge within the related computerized procedures.

2

Related Work

Model based cardiac evaluation procedures have been described for all 2D, 3D or 4D imaging modalities that are capable of imaging the heart, such as 3D echocardiography [1, 2], magnetic resonance tomography (MRT) [3, 4], single– photon emission computed tomography (SPECT) [5], positron emission tomography (PET), X–ray [6], and X–ray Multi–slice computed tomography (MSCT) [7]. As reviewed in [8], most work on 3D images described the left ventricle only that is clearly visible in all imaging modalities. In recent years also the right ventricle

A Statistical Geometric Model of the Heart

117

and the atria have been included in some cardiac models, extracted from cardiac MRT scans [9, 10] or MSCT [11]. Image guidance from pre–operative scans is desired during interventions at the left atrium [12]. Multi–slice computed tomography (MSCT) provides images of comparable or even higher spatial resolution than MRT and allows for a fine delineation of the four chambers as well as the trunks of the attached arteries and veins. Considerable less literature is available concerning modelling of the coronary arteries, despite their clinical importance and various attempts for automated or semi–automated segmentation. Dodge et al. reported measurements of the coronary artery locations and diameters based on bi–planar X–ray fluoroscopy data [13]. X–ray fluoroscopy is the gold–standard for coronary artery imaging and reconstruction [14].

3

Contribution

We present a statistical geometric model of the heart that covers the surfaces of the main cavities (atria and ventricles), the trunks of the attached vessels (aorta, pulmonary artery, vena cava, and pulmonary veins), as well as the left myocardium. Although the location of coronary arteries on the ventricles may vary between subjects, the course of the main three coronary arteries can be covered well with a parametric statistical model [15]. We included their centrelines the comprehensive model. A mean model was built by co–registration of manually or semi–automatically performed expert–delineations for 27 end–systolic cardiac data sets. In addition to surfaces and coronary centrelines, a set of 25 anatomical landmarks was manually depicted in the training images serving as a reference frame and for model initialisation and cross–validation. Model individualization is enabled by the automated adaptation of the surface model to an unseen MSCT image by a shape constrained deformable surface model method.

4

Methods

While the triangular multi–surface model (Fig. 1 left) was constructed in a bootstrap fashion using clinical MSCT images [11], the scheme of the coronary model was taken from [13] and it was individualized to the same MSCT training images. As manual expert surface delineation was achieved by deformation of a given model template, a Procrustes analysis could be done by point–based registration using either a rigid (6 degrees of freedom, DOF), a similarity (7 DOF), or an affine (12 DOF) transformation. The residual distances from that mean model reveal the anatomical variability of different cardiac structures beyond the global transformation of the Procrustes registration. The automated surface model individualization was realized by shape constrained deformable surface models [4]. This method used both shape similarity to the a priori model and attraction by image features in an energy minimization approach [16]. A global point–based pre–registration was achieved using the anatomical landmark set to initialise the deformable model.

118

J. von Berg and C. Lorenz

Fig. 1. Left: Multi–surface heart model constructed from an MSCT image. Right: Distribution of shape variability in the patient sample after affine co–registration.

5

Results

The mean residual variability of surface vertex positions after Procrustes analysis ranged from 5.6 mm (rigid) via 4.7 mm (similarity) to 3.6 mm (affine). Most of the variability is to be observed in pulmonary vein trunks, vena cava, and right atrium (Fig. 1). The ventricles are less variable, their values range below the above mean values. These findings compare well with those of the variability of the main coronary arteries that are attached to the ventricles and showed 3.8 mm for rigid, 3.3 mm for similarity, and 2.0 mm for affine registration as acquired in [15]. The mean residual variability over all landmark positions after Procrustes analysis was 9.1 mm (rigid), 7.7 mm (similarity), and 6.7 mm (affine). An unknown landmark position may be estimated from a set of other given well– chosen landmarks with a mean error of about 6 mm. The same holds for the localisation of the main coronary artery centrelines from some given landmarks. Fig. 2 left shows the mean triangular surface model overlaid with the mean coronary model, which were built independently from it. The anatomical landmarks and their remaining variability after a global co–registration by the coronary centrelines are shown in Fig. 2 centre as error ellipsoids in the model co– ordinate system. Fig. 2 right shows the variability of coronary artery centrelines manually delineated in the patient sample after co–registration of their corresponding cardiac surfaces. The coronary artery model was adapted to minimise the summed distance to all these individual centrelines. A mean surface model built from a subset of patients and adapted to the remaining images yielded a mean distance of 3.1 mm to reference expert data after the global landmark–based pre–registration (similarity). The distance of vertex v1 in surface s1 to surface s2 was calculated determining the closest point in a local patch surrounding the corresponding vertex v2 in s2 . Such a patch included all neighbour triangles with a maximal triangle distance of 3 from v2 . The subsequent automatic deformable surface adaptation improved this result to a distance of 1.1 mm averaged over all subjects and all anatomical regions. When the globally pre–registered model is used to estimate the main coronary

A Statistical Geometric Model of the Heart

119

Fig. 2. Left: The mean surface model registered with the mean coronary artery model. Centre: Anatomical landmarks with their error ellipsoids registered with the mean coronary artery model. Right: Remaining variability of coronary artery centrelines.

position, a mean centreline distance of 5.4 mm (similarity) or 5.2 mm (affine) can be observed to the manual delineated centrelines.

6

Discussion

A statistical model of the human heart was presented that covers surfaces of all four chambers and the attached vessel trunks, the centrelines of the three main coronary arteries, and a set of 25 cardiac anatomical landmarks. The variability of cardiac substructures in a sample set of 27 end–diastolic multi–slice CT images was analysed. The model was mainly used to estimate shape and position of cardiac substructures by the use of other cardiac substructures (e.g. surfaces by landmarks, coronaries by surfaces). The surfaces may be also automatically deformed to fit the respective image boundaries. The application of the surface model for fully automatic cardiac analysis is currently employed [17]. Acknowledgements. We would like to thank our colleagues from Philips Medical Systems PMS–CT Cleveland and PMS–CT Haifa for the abundance of cardiac MSCT images, for clinical evaluations, and for fruitful discussions. We also would like to thank J. T. Dodge for kindly making available updated position measurements of the coronary arteries.

References 1. G´erard O, Collet Billon A, Rouet JM, Jacob M, Fradkin M, Allouche C. Efficient model-based quatification of left ventricular function in 3D echocardiography. IEEE Trans Med Imag 2002;21(9):1059–1068.

120

J. von Berg and C. Lorenz

2. Zagrodsky V, Walimbe V, Castro-Pareja CR, Qin JianXin, Song JongMin, Shekhar R. Registration-assisted segmentation of real-time 3-D echocardiographic data using deformable models. IEEE Trans Med Imag 2005;24(9):1089–1099. 3. Lorenzo-Vald´es M, Sanchez-Ortiz GI, Mohiaddin R, Rueckert D. Atlas-based Segmentation and Tracking of 3D Cardiac MR Images Using Non–rigid Registration. In: Procs MICCAI. Springer; 2002. p. 642–650. 4. Kaus MR, von Berg J, Weese J, Niessen W, Pekar V. Automated segmentation of the left ventricle in cardiac MRI. Med Img Anal 2004;8:245–254. 5. Dornheim L, T¨ onnies K, Dixon K. Automatic segmentation of the left ventricle in 3D SPECT data by registration with a dynamic anatomical model. In: Procs MICCAI. Springer; 2005. p. 335–342. 6. Oost E, Koning G, Sonka M, Reiber HC, Lelieveldt BPF. Automated Segmentation of X–ray Left Ventricular Angiograms Using Multi–View Active Appearance Models and Dynamic Programming. In: Frangi, Radeva, Santos, Hernandez, editors. LNCS 3504, FIMH. Springer; 2005. p. 23–32. 7. Chen T, Metaxas D, Axel L. 3D cardiac anatomy reconstruction using high resolution CT data. In: Procs MICCAI. Springer; 2004. p. 411–418. 8. Frangi AF, Niessen WJ, Viergever MA. Three-dimensional modeling for functional analysis of cardiac images: A review. IEEE TMI 2001;20:2–25. 9. L¨ otj¨ onen J, Kivist¨ o S, Koikkalainen J, Smutek D, Lauerma K. Statistical shape model of atria, ventricles and epicardium from short- and long-axis MR images. Med Img Anal 2004;8:371–386. 10. Pilgram R, Fritscher KD, Schubert R. Modeling of the geometric variation and analysis of the right atrium and right ventricle motion of the human heart using PCA. In: Proc. of CARS. Elsevier; 2004. p. 1108–1113. 11. von Berg J, Lorenz C. Multi-surface Cardiac Modelling, Segmentation, and Tracking. In: Frangi, Radeva, Santos, Hernandez, editors. LNCS 3504, FIMH. Springer; 2005. p. 1–11. 12. Marom EM, Herndon JE, Kim YH, McAdams HP. Variations in pulmonary venous drainage to the left atrium: Implications for radiofrequency ablation. Radiology 2004;230(3):824–829. 13. Dodge JT, Brown BG, Bolson EL, Dodge HT. Intrathoracic spatial location of specified coronary artery segments on the normal human heart. Applications in quantitative arteriography, assessment of regional risk and contraction, and anatomic display. Circulation 1988;78:1167–1180. 14. Movassaghi B, Rasche V, Grass M, Viergever MA, Niessen WJ. A quantitative analysis of 3-D coronary modeling from two or more projection images. IEEE Transaction on medical imaging 2004;23(912):1571–1531. 15. Lorenz C, von Berg J, B¨ ulow T, Renisch S, Wergandt S. Modeling the coronary artery tree. In: Proc. of Shape Modeling International 2004. IEEE Comput. Soc; 2004. p. 354–357. 16. McInerney T, Terzopoulos D. Deformable models in medical image analysis: A survey. Med Img Anal 1996;1(2):91–108. 17. Ecabert O, Peters J, Lorenz C, von Berg J, Vembar M, Subramanyan K, et al. Towards automatic full heart segmentation in computed-tomography images. In: Computers in Cardiology; 2005.

Ein geometrisches Modell fu ¨r die Zellsegmentierung Fritz Jetzek1,2 , Christian-Dennis Rahn2 und Leonie Dreschler-Fischer2 1

2

Evotec Technologies GmbH, 22525 Hamburg Arbeitsbereich Kognitive Systeme, Universit¨ at Hamburg, 22527 Hamburg Email: {jetzek,rahn,dreschle}@kogs.informatik.uni-hamburg.de

Zusammenfassung. Die exakte Segmentierung von Zellen in Mikroskopaufnahmen geh¨ ort seit jeher zu den aktiven Forschungsgebieten der Bildverarbeitung. Herk¨ ommliche Verfahren setzen allerdings h¨ ochstens indirekt auf eine genaue Modellierung der Zellmorphologie. Im vorliegenden Beitrag wird ein geometrisches Modell aufgestellt, das diesem Mangel begegnet. Zentraler Punkt ist dabei die Beschreibung der Zellkontur durch eine an diskreten Punkten aufgespannten Membran. Die daraus resultierende Form wird zun¨ achst mit Hilfe der Variationsrechnung hergeleitet. Anschließend wird eine beispielhafte Implementation vorgestellt, die die gewonnenen Erkenntnisse aufgreift und f¨ ur die Segmentierung nutzbar macht. Erste Experimente mit dem Verfahren liefern vielversprechende Ergebnisse.

1

Problemstellung

Die automatische Segmentierung von Zellen in Mikroskopaufnahmen geh¨ort zu den wichtigsten bildanalytischen Aufgaben in der biomedizinischen Forschung. Zur Bearbeitung biologischer Fragestellungen werden Strukturen von Zellen, z.B. Rezeptoren oder Zytoskelettbestandteile, mit Fluoreszenzfarbstoffen markiert. In Reaktion auf ¨ außere Reize reagieren diese Strukturen dann etwa mit einer Umlagerung. F¨ ur die Quantifizierung solcher Beobachtungen ist die Segmentierung einzelner Zellen innerhalb einer Aufnahme notwendig. Das Segmentierungsproblem ist komplex, da Zellen eine sehr heterogene Morphologie besitzen, die schwierig zu modellieren ist. Ferner ergeben sich Schwierigkeiten durch Okklusion sowie durch F¨ alle von eng benachbarten Zellen, deren Trennfl¨ ache nicht eindeutig erkennbar ist.

2

Stand der Forschung

Viele klassische Zellsegmentierungsverfahren verwenden Wachstumsalgorithmen wie Voronoigraphen oder die Wasserscheidentransformation. Die Algorithmen werden typischerweise mit Informationen u ¨ ber die Lage der Zellkerne initialisiert und approximieren dann unter Verwendung der lokalen Intensit¨atsverteilung im

122

F. Jetzek, C.-D. Rahn und L. Dreschler-Fischer

Zytoplasma die Zellkonturen [1]. Neuere Verfahren erweitern den Ansatz durch die Verwendung von aktiven Konturen (Snakes), die auch bei stark verrauschtem Material noch gute Ergebnisse erzielen [2]. Ein alternativer Ansatz verzichtet ausdr¨ ucklich auf eine Modellierung von Zellen; vielmehr werden Pixel bzw. Voxel aufgrund von Eigenschaften der Intensit¨aten in der lokalen Nachbarschaft geclustert [3]. Abseits der Bildverarbeitung wurde von Ingber das Tensegrit¨atsmodell formuliert, bei dem die mechanischen Eigenschaften von Zellen, insbesondere die Natur des Zytoskeletts zum Tragen kommen [4].

3

Wesentlicher Fortschritt durch den Beitrag

Die Modellierung der Form einer Zelle bauen wir auf Annahmen u ¨ ber das Zellwachstum auf. Wir benutzen Erkenntnisse des Tensegrit¨atsmodells zur Definition der geometrischen Eigenschaften der Kontur. Den Mittelpunkt der Betrachtung bilden die von uns in Anlehnung an das Zytoskelett definierten Wachstumsachsen der Zelle, die sich auf der Kontur als Kr¨ ummungsextrema wieder finden. Wir zeigen, dass die zwischen diesen Punkten liegenden Abschnitte durch Kurven zweiter Ordnung dargestellt werden k¨ onnen. Der Ansatz bietet damit die M¨ oglichkeit, Zellkonturen im Subpixelbereich zu ermitteln. Diese Methodik ist eng an biologischen Erkenntnissen orientiert, so dass hier die Grundlage f¨ ur wesentlich robustere Segmentierungsverfahren gelegt wird. Das Problem der Segmentierung wird reduziert auf die Erkennung von Landmarken, die mit den Endpunkten von Wachstumsachsen korrespondieren.

4

Methoden

Schwerpunkt des Beitrags ist eine Beschreibung der Zellkontur. Wir verwenden physikalische Modelle f¨ ur die Erkl¨ arung der kontinuierlichen Kr¨ ummung von Konturabschnitten. Des weiteren zeigen wir, inwiefern die lokale H¨aufung von Wachstumsachsen sowie deren L¨ ange mit der Form der dazwischen liegenden Konturabschnitte zusammenh¨ angt. 4.1

Physikalisch motivierte Zellmodellierung

In [5] wurde folgendes Energiefunktional als Zellmembranmodell vorgeschlagen: ' ' ' 1 J = κ (C1 + C2 − C0 )2 dA + λ1 dV + λ2 dA (1) 2 Das erste Integral beschreibt hier die Membrankr¨ ummung, κ ist ein Elastizit¨ atsmodul, C1 und C2 sind die Hauptkr¨ ummungen und C0 die spontane Kr¨ ummung der Membran. λ1 und λ2 sind Lagrange-Multiplikatoren zur Erhaltung von Zellvolumen und -oberfl¨ ache und k¨ onnen als Oberfl¨achenspannung und osmotischer Druck interpretiert werden. In der Literatur sind einige vielversprechende FEM-Simulationen zur Beschreibung von Zellformen mittels Gl. (1) beschrieben.

Ein geometrisches Modell f¨ ur die Zellsegmentierung

123

Abb. 1. Links: Zum Prinzip der Konturmodellierung. Die Zellachsen sind gestrichelt dargestellt. Ein Achsenende liegt jeweils im Nukleus, das andere definiert eine Landmarke. Zwei benachbarte Achsen spannen eine Minimalfl¨ ache auf. Rechts: Eine ur unterschiedliche Werte von λi . yi (x)-Funktion f¨

F¨ ur eine effiziente Segmentierung von Bilddaten ist Gl. (1) wegen ihrer Komplexit¨ at jedoch ungeeignet. Hinsichtlich einer 2-D Segmentierung adh¨arenter, sternf¨ ormiger Zellen schlagen wir ein stark vereinfachendes Funktional als Zellmodell vor, das die Projektionsfl¨ ache der Zelle (in 3-D das Volumen) sowie das Konturl¨ angenquadrat (in 3-D das Quadrat der Oberfl¨ache) unter gegebenen Randbedingungen minimiert. Die Oberfl¨ achungkr¨ ummung ist nicht mehr explizit vorgesehen. Durch die Verwendung des Konturl¨angenquadrats wird eine elastische Zellmembran beschrieben. Die Zelle wird in N dreieckige Segmente Si partitioniert, deren eine Ecke im Zentrum des Nukleus liegt. Die beiden anderen Ecken liegen auf der Zellkontur auf Endpunkten (Landmarken) pi von benachbarten Zellachsen (vgl. das Zytoskelett). Der (bei den betrachteten Zellen zumeist konkave) Konturteil in Si zwischen den Landmarken pi und pi+1 werde in einem lokalen Koordinaur jedes Segment Si sieht das tensystem als yi (x) bezeichnet (siehe Abb. 1). F¨ Funktional dann folgendermaßen aus: 'x1 Ji =

1+

2 (yi )

'x1 dx + λi

x0

yi dx

(2)

x0

Das erste Integral minimiert das Konturl¨ angenquadrat und der zweite Term den Fl¨ acheninhalt. Die λi steuern die relative Bedeutung des jeweiligen Fl¨acheninhalts. Eine analytische L¨ osung von Gl. (2) erfolgt u ¨ ber die Euler-Gleichung λi − 2yi = 0 ,

(3)

und ergibt eine mit λi parametrisierte, quadratische Funktion f¨ ur yi (x). Somit kann nach diesem Modell die Kontur einer Zelle st¨ uckweise durch Polynome mit niedrigem Grad beschrieben werden. Um die Randbedingungen f¨ ur jedes onnen, werden kubische Spline-Kurven Konturst¨ uck yi symmetrisch angeben zu k¨ verwendet. Die Kr¨ ummungsparameter λi werden durch den Zelltypus und die jeweiligen Wachstumsachsen bestimmt (s.u.).

124

4.2

F. Jetzek, C.-D. Rahn und L. Dreschler-Fischer

Implementation

Wir gehen f¨ ur die Umsetzung unseres Modells an Zellen aus menschlichem Knochenmarkskrebsgewebe (U2OS) bereits von gegebenen Landmarken pi aus. Sie markieren Kr¨ ummungsextrema der Membranlinie. Durch ihre Lage zueinander sowie zum Kern soll die Membranlinie aus verschieden langen Abschnitten yi (x) mit mehr oder weniger stark gekr¨ ummten Verlauf bestimmt werden. Wir gehen weiter davon aus, dass der Zellkern bereits segmentiert vorliegt. Im konkreten Fall der Fluoreszenzmikroskopie k¨onnen z.B. Mehrkanalaufnahmen mit speziell gef¨ arbten Kernen generiert werden, aus denen sich dann mittels einfacher Schwellwertanalyse die einzelnen Kerne extrahieren lassen. achstgelegenen Punkt pi auf der F¨ ur jede Landmarke pi berechnen wir den n¨ Kernkontur. Beide Punkte zusammen bilden einen lokalen Richtungsvektor Pi = pi − pi (die Wachstumsachse), der grob die Orientierung des Zytoplasmas in dieser Richtung angibt. Die Menge dieser Vektoren kann dann nach der Reihenfolge ihrer Fußpunkte pi auf der Kernlinie sortiert werden; dabei auftretende Teilprobleme wie etwa der Sortierung von Vektoren mit identischen Fußpunkten wurden mittels einer Analyse der lokalen Lage der Vektoren bez¨ uglich der Kernkontur gel¨ ost. Diese Sortiermethode ist f¨ ur sternf¨ormige Zellen eindeutig. Wir nutzen die Wachstumsachsen zur Parametrisierung der jeweils zwischen benachbarten Vektoren aufgespannten Konturabschnitte yi (x). Die Betrachtungen zur Minimierung von Fl¨ ache und Bogenl¨ ange in Abschnitt 4.1 lassen sich umsetzen unter Verwendung der L¨ ange und der Spannweite jeweils benachbarter Achsen. Um f¨ ur die letztere ein Maß zu erhalten, normieren wir zun¨achst ur die jeweils benachbarten s¨ amtliche Achsen zu ni = Pi /Pi  und berechnen f¨ Achsen das Skalarprodukt ni , ni+1 . Dessen Wertebereich ist bei den vorliegenden Konturen durch [−1..1] gegeben, wobei −1 f¨ ur den maximalen Winkel von 180◦ steht. Der Bereich wird abgebildet auf [1..0], um h¨ohere Werte f¨ ur gr¨oßere Spannweiten zu erhalten. Schließlich skalieren wir die ni und ni+1 mit den jeweils gebildeten Werten. Zur Modellierung von Membranlinienabschnitten yi (x) mittels einer kubischen Spline werden die so entstandenen Paare dann direkt zur Parametrisierung eingesetzt (siehe Abb. 2).

5

Ergebnisse

Das beschriebene Verfahren ber¨ ucksichtigt die Form adh¨arenter Zellen als das Resultat einer zwischen benachbarten Punkten aufgespannten Membran. Liegen die Landmarken als Sch¨ atzungen dieser Punkte einmal vor, kann durch das einfache Modell der segmentweisen Approximation der Zellkontur mittels BezierSplines ein akzeptables Ergebnis erzielt werden. Dies gilt insbesondere f¨ ur weit auseinander liegende Landmarken, die in weitr¨aumig aufgespannte Kontursegmente resultieren. Ermutigende Resultate ergeben sich aber auch in diffusen Bereichen des Zytoplasmas, die insgesamt eher konvex erscheinen. Hier l¨asst sich zeigen, dass eine engere B¨ undelung der Achsen und eine einhergehende Verflachung der Splines ebenfalls eine erfolgreiche Abgrenzung der Zelle gegen ihre Umgebung bewirkt.

Ein geometrisches Modell f¨ ur die Zellsegmentierung

125

Abb. 2. Membranapproximation mit Splines. Links: Konfokale Aufnahme von U2OSGewebe; Mitte: manuell gesetzte Landmarken, automatisch detektierte Kernlinie und Wachstumsachsen; rechts: approximierte Membrankontur mit unterschiedlich skalierten Richtungsvektoren. Der Durchmesser der abgebildeten Zellen betr¨ agt ca. 15µm.

6

Diskussion

F¨ ur den vollst¨ andig automatischen Einsatz des Verfahrens sind noch weitere Constraints einzubeziehen, etwa die Relation von der Orientierung des Zellnukleus im Verh¨ altnis zu der Orientierung der gesamten Zelle. Speziell f¨ ur weniger ¨ dicht gebautes Gewebe ist außerdem das Problem von Uberh¨ angen noch anzugehen. Als n¨ achste Schritte auf dem Weg zu einer robusten Segmentierung sind schließlich das automatische Erkennen von Landmarken und ihre Zuordnung zu Zellen (auch zur L¨ osung von Okklusionsproblemen) zu nennen; momentan sei dazu auf die Arbeiten von Rohr [6] verwiesen. Weiterhin kann das vorgestellte Verfahren auch mit Aktiven Konturen kombiniert werden.

Literaturverzeichnis 1. Bengtsson E, W¨ ahlby C, Lindblad J. Robust Cell Image Segmentation Methods. Patt Recog Image Analysis 2004;4(2):157–167. 2. Rahn CD, Stiehl HS. Semiautomatische Segmentierung individueller Zellen in LaserScanning-Microscopy Aufnahmen humaner Haut. In: Procs BVM; 2005. p. 153–158. 3. Ronneberger O, Fehr J, Burkhardt H. Voxel-Wise Gray Scale Invariants for Simultaneous Segmentation and Classification. In: Procs DAGM. Springer; 2005. 4. Ingber DE. Cellular tensegrity: defining new rules of biological design that govern the cytoskeleton. J Cell Science 1993;104:613–627. 5. Helfrich W. Elastic properties of lipid bilayers. Theory and possible experiments. Z Naturforschung C 1973;28:11–12. 6. Rohr K. Landmark-Based Image Analysis. Kluwer, Dordrecht; 2001.

Towards Automatic Segmentation of Serial High-Resolution Images Cornelia Br¨ uß, Marc Strickert and Udo Seiffert Leibniz-Institute of Plant Genetics and Crop Plant Research (IPK), Corrensstrasse 3, D-06466 Gatersleben Email: [email protected]

Abstract. Developing barley grains are to be visualised by a 4-D model, in which spatiotemporal experimental data can be integrated. The most crucial task lies in the automation of the extensive segmentation procedure. Because of constraints like incomplete a-priori expert knowledge and the complexity of this specific segmentation task, learning techniques like Artificial Neural Networks (ANN ) yield promising solutions. In this work we present our first good segmentation results. Two different supervised trained ANN classifiers were applied, on one hand, the wellestablished borderline-learning Multiple-Layer Perceptron (MLP ) and on the other hand, the prototype-based Supervised Relevance Neural Gas (SRNG). While so far segmentation was mainly achieved using manual tools, now almost automatic segmentation becomes more feasible.

1

Introduction

The geometric reconstruction of biological structures in 3-D models establishes new facilities for the analysis of structural and functional interrelationships as well as developmental processes of these biological objects in a spatial or even spatiotemporal (4-D) context. The intended purpose of such models often lies in the generation of standardised anatomical atlases in which various spatial experimental data can be integrated. We are working on the generation of a 4-D atlas model of a barley grain with ideally about 25 different time steps, that allows the integration of experimental data, e.g. gene-expression data. The research of spatiotemporal processes – which yield the accumulation of nutrients like starch and proteins in the grain – will be significantly promoted. So far the emphasis lies on the generation of high-resolution, stand-alone models that ensure the recognisability of even minor components like small sized tissues [1]. Experience gained from a predominantly manual modelling of highly resolved grain models clearly showed the need for automation and facilitation of many repetitive, time-consuming and work-intensive steps. This is even more important as many geometric models at different time steps have to be created in order to establish a time-dependent geometric model that represents complex biological development processes. The creation of 3-D models comprises a sequence of nontrivial steps. In contrast to relatively small 3-D models based on direct 3-D image generating methods, such as Nuclear Magnetic Resonance (NMR) or

Towards Automatic Segmentation of Serial High-Resolution Images

127

confocal microscopy, the creation of high-resolution seed models based on many hundred up to several thousand of serial cross-sections – as in our case – requires the solution of additional problems. These are e.g. the handling of an enormous amount of data and the regeneration of the spatial integrity of the 2-D images of the cross-sections in the 3-D model according to the original object [2, 3]. However, the most crucial task lies in the automation of the segmentation procedure. In this step the biologically relevant materials or tissues are identified or labelled within the raw image material. Strictly speaking, each pixel has to be assigned to one of about 20 model-specific materials. Since the segmentation is to be done over all images of a grain it is by far the most work-intensive step in the workflow. In this work in progress we focus on the automation of the segmentation procedure. We deal with specifically generated, bluish dyed highresolution images of cross-sections of barley grains [1]. Due to the high degree of complexity available automatic standard methods failed and therefore the segmentation had to be manually done by drawing the borderlines of each of the materials over all images. A flexible and easily adaptable segmentation solution is required since a couple of constraints are to be dealt with: – Incomplete, partly inconsistent and (even in the modelling process itself) developing expert knowledge of the histological background, – Varying appearance of cross-sections in different grain-parts and at different developmental stages, – Subjectiveness and hence lack of (exact) reproducibility as well as – Varying requirements (e.g. the question which materials are relevant?). The segmentation is also characterised by a very high level of complexity, since the discrimination of two neighbouring materials often turned out to be Gordian.

2

Methods

Due to the degree of difficulty we decided in favour of a segmentation based on a prior pixel-wise classification. A very promising attempt to combine the pros of human-like adaptive and intelligent processing on the one hand and computeraided high-throughput processing on the other hand is to utilize soft computing techniques like Artificial Neural Networks (ANN) [4, 5] which generally offer intelligent and trainable data processing, particularly within an image processing framework. So far two different supervised trained ANN classifiers were applied to exemplary image stacks, on the one hand the well-established borderline-learning Multiple Layer Perceptron (MLP) [6, 7, 8] and on the other hand the prototype-based Supervised Relevance Neural Gas (SRNG), which is an initialisation-tolerant version of Kohonen’s well-established Learning Vector Quantization (LVQ) classifier [9]. Our first good segmentation results are based on an underlying feature vector with 170 properties concerning colour, geometry and symmetry (such as Cartesian and polar coordinates, distance to centroid, absolute angle to symmetry axis) and particularly texture according to varying neighbourhoods (such as

128

C. Br¨ uß, M. Strickert and U. Seiffert

Fig. 1. Automatic segmentation of an exemplary cross-section of a grain: a) original colour image of a cross-section, b) according manual segmentation by a biologist, c) results of automatic segmentation based on MLP, d) results of automatic segmentation by SRNG.

(a)

(b)

(c)

(d)

Gaussian filters, histogram based features). For simplification reasons we used for the proof of concept the same feature vector for both classifiers although we are aware of the fact, that different classifiers may require slightly different feature sets to perform optimally. All features were z-score-transformed for the normalisation of the attributes. We used 2 stacks of respectively 10 arbitrarily chosen consecutive images from different grain parts. Respectively 3 typical images were selected to randomly extract training examples – for the MLP a natural material representation (density of training samples equals density of data samples) was chosen whereas for the SRNG a uniform presentation was preferred. In the recall phase both classifiers were applied to the whole image stack. In each image stack 11 respectively 12 materials were to be recognised.

3

Results

We introduce our first good results based on an underlying initial feature vector. By comparison with formerly completely manually segmented images we achieved with both methods classification accuracies of about 90% per image. In Tab. 1 the confusion matrix according to classification results over a full stack of

Towards Automatic Segmentation of Serial High-Resolution Images

129

Table 1. Confusion matrix of results with MLP / natural distribution of pixels for 10 consecutive images (model 7 Days After Flowering (DAF), style). All model-specific materials are assigned one-to-one to a specific label index in ascending order. Gaps in the label numbering are referred to materials being not present in the considered part of the grain. The entries in the main diagonal are in most cases close to 100%. Higher numbers at other matrix positions indicate not yet satisfactorily characterised materials. Label-No. 0 2 6 8 9 10 11 12 13 14 16 0 98.65 1.32 0 0.01 0 0 0.01 0 0 0 0.01 2 0.66 98.66 0.02 0.39 0.02 0.02 0 0 0 0.08 0.15 6 0 0.21 73.86 9.42 0.06 2.51 11.18 0.01 1.25 1.49 0 8 0 5.97 10.36 81.48 0.05 1.33 0.18 0.05 0.06 0.52 0.01 9 0 0 0 0 90.43 0 4.15 5.10 0.32 0 0 10 0 0.08 3.60 5.02 0.19 60.12 0.58 0.42 0.93 29.07 0 11 0 0.02 6.86 0.11 6.86 0.23 81.37 1.12 3.05 0.39 0 12 0 0 0.02 0 7.88 0 2.00 75.08 15.02 0 0 13 0 0.01 0.30 0 1.72 0.19 1.77 3.15 88.52 4.33 0 14 0 1.04 0.09 0 0 2.21 0 0 0.09 96.57 0 16 0 20.44 0 0 0 0 0 0 0 0 79.57

10 images in relation to the manually segmented reference images is to be seen. In principle with MLP very reliable borderlines were achieved, smaller materials sometimes were omitted. With SRNG the single positions of even tiny materials were detected, but the borders look rather jagged and many misclassified islands occur (Fig. 1). Based on the strengths of both automatic segmentation methods and a simple postprocessing procedure mainly using structural knowledge, first model-segments were created with the visualisation software AmiraTM (Fig. 2).

Fig. 2. Two perspective views of one 3-D model based on 10 automatically segmented images of cross-sections of a barley seed (7DAF, style, 20 fold stretched in height).

130

4

C. Br¨ uß, M. Strickert and U. Seiffert

Discussion

Our results show that a nearly automatic segmentation of cross-sections of developing barley seeds is feasible now. The expert can focus on essential modelling decisions. Only a tiny but representative subset of the images will have to be manually segmented for the training of the ANN classifiers. Adaptations can be achieved in the modelling process itself or in response to changed requirements without much effort. Furthermore an automation of the segmentation step is an inevitable precondition for the generation of high-resolution 4-D atlas models based on a considerable number of individual grains at the different developmental stages. Further research concerns the application and comparison of further classification methods, the development of a reduced but nevertheless robust feature vector, and the design of an adequate postprocessing procedure. We are convinced that our automatic segmentation method does not only work within different grain parts and different developmental stages of barley but can be applied to similar species such as wheat as well. From the conceptual point of view this method is also generally extensible to medical applications. Acknowledgements. This work was supported by BMBF-grant (BIC-GH, FKZ 0312706A) and by BMBF-grant (GABI-Seed, FKZ 0312282). We would like to thank Sabine Gubatz and Winfriede Weschke for their valuable contributions.

References 1. Gubatz S, et al. Three-dimensional models of developing barley seeds for the visualization of gene-expression patterns. in preparation 2006. 2. Stalling D, Westerhoff M, Hege HC. Amira: A Highly Interactive System for Visual Data Analysis. In: The Visualization Handbook; 2005. p. 749–767. 3. Dercksen VJ, Prohaska S, Hege HC. Fast cross-sectional display of large data sets. In: Proceedings IAPR Conference on Machine Vision Applications; 2005. p. 336–339. 4. Suykens JAK, Vandewalle JPL, De Moor BLR. Artificial Neural Networks for Modelling and Control of Non-Linear Systems. Kluwer Academic Publishers, Den Haag, The Netherlands; 1996. 5. Forbes N. Imitation of Life – How Biology is Inspiring Computing. The MIT Press, Cambridge, USA; 2004. 6. Minsky M, Papert S. Perceptrons: An Introduction to Computational Geometry. MIT Press, Cambridge; 1969. 7. Lippmann RP. An Introduction to Computing with Neural Nets. IEEE ASSP Magazine 1987;4(87):4–23. 8. Rumelhart DE, Hinton GE, Williams RJ. Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing: Explorations in the Microstructure of Cognition; 1986. p. 318–362. 9. Hammer B Strickert M Villmann T˙ Supervised neural gas with general similarity measure. Neural Processing Letters 2005;21:21–44.

Topology Correction for Brain Atlas Segmentation Lin Chen and Gudrun Wagenknecht Central Institute for Electronics, Research Center Juelich, Juelich, Germany Email: [email protected]

Abstract. Topological correctness of 3D human brain structures is an important prerequisite for brain atlas deformation and surface flattening. Our topology correction method uses an axis-aligned sweep through the volume to locate handles. Handles are detected by successively constructing and analyzing a directed graph. A multiple region-growing process is used which simultaneously acts on the foreground and background to isolate handles and tunnels. The sizes of handles and tunnels are measured, then handles are removed or tunnels filled based on their sizes.

1

Introduction

Representing the topologically correct shape of complex anatomical regions such as human brain structures is a challenging task, especially for regions in the cortex. Several methods for correcting the topology of the cortical surface have recently been developed. Dale et al. [1] flattened a cortex isosurface by ignoring small handles, identifying and fixing topology defects on the inflating cortical surface, thus leaving some large handles to be edited manually. More recently, Fischl et al. [2] inflated the cortex isosurface to a sphere and identified the overlapping triangles on the spherical surface which corresponded to the handles, and tessellated a new mesh as the topologically correct cortical surface. Shattuck and Leahy [3] and Xiao Han et al. [4] introduced graph-based methods for topology correction. Shattuck and Leahy examined the connectivity of 2D segmentations between adjoining slices to detect topological defects and minimally correct them by changing as few voxels as possible. One drawback of this approach is that the ”cuts”which are necessary to correct the topological defects are necessarily oriented along the Cartesian axes. Building on their work, Xiao Han et al. developed an algorithm to remove all handles from a binary object under any connectivity. Successive morphological openings correct the segmentation at the smallest scale. This method works for small handles. Wood et al. [5] proposed a different approach. Handles in the tessellation are localized by simulating wavefront propagation on the tessellation and are detected where the wavefronts meet twice. The size of a handle is the shortest non-separating cut along such a cycle, which helps retain as much fine geometrical detail of the model as possible. One drawback of this method is that it requires the arbitrary vertex tessellation to be converted to a volumetric image in order to correct the defect.

132

L. Chen and G. Wagenknecht

Our method provides a fully automatic topology correction mechanism, thus avoiding tedious manual correction. What is new about our method is that it provides a very fast alternative approach which has several advantages over Shattuck and Leahy’s model, including the fact that corrections are not oriented along cardinal axes. It can thus be done under any connectivity in 3D (6,18,26) without cutting the whole plane and changing as few voxels as possible.

2

Methods

Considering a digital object, computation of two numbers is enough to check whether modifying one voxel will affect the topology. These topological numbers, denoted Tn and Tn¯ , were introduced by Bertrand [6] as an elegant way to classify the topology type of a given voxel which is to be used by the algorithm. The object is henceforth termed X and its inverse object X. A point x ∈ X which can be added or removed without changing the topology of an object is characterized by Tn (x, X) = Tn¯ (x, X) = 1. A point x ∈ X is called a n-border point, if and only if at least one of its n-neighbors x , x ∈ X. The algorithm generates different connected components and assigns voxels with different labels for each component. Residual points characterize voxels belonging to a component that will change the topology of the object. If their component will not change the topology, they are termed body points. A method is described whereby the topology of a volumetric binary image can be altered so that an isosurface algorithm can generate a surface with the topology of a sphere, i.e., a genus of zero. The genus of an object can be determined by its Euler characteristic, which can be computed using the Euler-Poincar´e formula χ = v − e + f = 2 − 2g (1) where v is the number of vertices, e the number of edges, f the number of faces, and g the genus. If g = 0, the object has the topology of a sphere. The Euler characteristic is a topological invariant of a generated isosurface. However, this calculation only provides a global criterion for topology correction, not information about the position and size of handles and tunnels. Hence, the size and location of both handles and tunnels need to be found. To that end, we analyze the topology of the object while also analyzing its geometry. We create two directed graphs - one for foreground voxels and one for background voxels - which contain information about the volume. This allows us to determine if the foreground object is topologically equivalent to a sphere by counting the number of cycles in the graphs. The cycles also give information about the size and location of handles or tunnels. A foreground connectivity graph G = {N, E} is created which contains important information about the structure of the binary image foreground. The object is examined along a selected cardinal axis, identifying the connected components within each slice perpendicular to the axis, using 2D 4-connectivity if the foreground uses 6-connectivity in 3D, and 2D 8-connectivity if the foreground uses 18- or 26-connectivity in 3D. Each in-slice-connected component is called

Topology Correction for Brain Atlas Segmentation

133

Fig. 1. An 8 × 3 × 5 binary volume with a torus, the corresponding slices and its connectivity graphs for foreground and background.

a node in the graph. Next, it is determined how each node is connected to the nodes in the next slice. Two nodes are defined as having a directed connection if they are n-connected. Each connection in the object is represented by an edge in the graph. Note that one node may be connected to two or more nodes, and that these nodes are connected to one node in the next slice (Fig. 1). In the simplest case, one node will have multiple edges connecting it to one node in the next slice in the foreground. Such a representation is the simplest form of a topological handle existing in the object (Fig. 2). The background connectivity graph is created likewise using n ¯ connectivity (Fig. 1 and 2). The basic idea of topology correction is dividing cycles into body and residue parts and discarding the smallest residue piece in each cycle in 3D. When these voxels are removed from the foreground, they are also removed from the object. This is called a handle cut. Conversely, when voxels are removed from the background, they are added to the object, and hence a tunnel is filled. When a cycle with two sides is detected, we choose the smaller one as the handle. Handles are good candidates for these residue parts. However, since the thinnest cut of a cycle may not fall within the handle, we introduce residue part expansion (RPE), which is intended to catch the thinnest cut by iteratively growing the handle. This is done as follows: We find the top and bottom connection sets X1 ⊂ X and X2 ⊂ X which are n-adjacent to the handle set S. The handle set S is grown by X1 and X2 . Hence, the sets X1 and X2 are the border point sets of S. The growing procedure is done iteratively, e.g., if the number of n-adjoint

Fig. 2. A 5 × 5 × 4 binary volume with a torus, the corresponding slices and its connectivity graphs for foreground and background.

134

L. Chen and G. Wagenknecht

Fig. 3. A sample surface rendering of the segmented volumes (10 different gyri) before and after topology correction.

points of X1 is smaller than the number of points of X1 , X1 is added to S and the n-adjoint points are labeled X1 , and so on. After RPE growing, each residual part S is an n-connected component n-adjacent to body part X, and a cut of it can reduce the genus by one. This is due to the fact that its growing by border points is equivalent to growing by adding simple points, and so the topology will be retained after growing. The main idea of cutting the residue part is to transfer as many points as possible from the residue back to the body without changing its topology. Specifically, sets X1 and X2 are the two cuts of the residue part after RPE, but they might not be the smallest ones. The body set is grown by successively detecting border points of X1 or X2 which lie within the residue, but only add those points (which are simple points) which come from the residue and do not adversely affect topology. Note that at each iteration, the largest set of simple points is added to the body, which ensures that the final residue points are not added back to the body and are positioned at the thinnest parts of the handles. The nature of the changes described here depends on the axis along which the object is analyzed. In order to ensure that only the smallest changes are made to the object, corrections are applied iteratively along each axis. A threshold is used, and only corrections less than or equal to the threshold are done. This multi-axis approach dramatically reduces the number of voxels which are added to or removed from the object set.

3

Results

We applied the method to the labeled version of the ICBM Single subject MRI Anatomical Template (www.loni.ucla.edu/ICBM/ICBM BrainTemplate.html). The high-resolution structural brain template is the average of 27 T1-weighted MRI acquisitions from a single subject (from the Montr´eal Neurological Institute database). The template is aligned within the stereotaxic space of the ICBM

Topology Correction for Brain Atlas Segmentation

135

Fig. 4. WM/GM surface obtained before and after topology correction. Handles are highlighted in red.

average template derived from Talairach and Tournoux [7]. The image size is 309 × 362 × 309 voxels. Cortical gyri, subcortical structures and the cerebellum are assigned a unique label. The tessellation of each topologically corrected segmentation has the topology of a sphere, i.e, it has an Euler characteristic of two, corresponding to a genus of zero. Figures. 3 and 4 show two sample rendering surfaces before and after topology correction. This algorithm changed between 0.0% and 1.23% of the voxels for each of the segmented brain volumes, with an average of 0.05%.

References 1. Dale AM, Fischl B, Sereno MI. Cortical surface-based analysis I: Segmentation and surface reconstruction. NeuroImage 1999;9:179–194. 2. Fischl B, Liu A, Dale M. Automated mainfold surgery: Constructing geometrically accurate and topologically correct methods of the human cerebral cortex. IEEE Trans Med Imag 2001;20:70–80. 3. Shattuck D, Leahy M. Automated graph-based analysis and correction of cortical volume topology. IEEE Trans Med Imag 2001;20(11):1167–1177. 4. Han X, Xu C, Neto U, Prince JL. Topology correction in brain cortex segmentation using a multiscale, graph-based algorithm. IEEE Trans Med Imag 2002;21(2):109– 121. 5. Wood Z, Hoppe H, Desbrun M, schroeder P. Removing excess topology from isosurfaces. ACM Transactions on graphics 2004;23:190–208. 6. Bertrand G. Simple points, topological numbers and geodesic neighborhoods in cubic grids. Pattern Recognition Letters 1994;15:1028–1032. 7. Talairach J, Tournoux P. Co-Planar Stereotaxic Atlas of the Human Brain. Georg Thieme Verlag, Stuttgart; 1988.

Segmentation of the Vascular Tree in CT Data Using Implicit Active Contours Karsten Rink, Arne-Michael T¨ orsel and Klaus T¨ onnies Institute for Simulation and Graphics, University of Magdeburg, 39016 Magdeburg

Abstract. We propose an algorithm for the segmentation of blood vessels in the kind of CT-data typical for diagnostics in a clinical environment. Due to poor quality and variance in the properties of the data sets a two level approach using implicit active contours is chosen for the task. A fast pre-segmentation using the fast marching method followed by propagation of a sparse field level set allows a robust segmentation of the vascular tree. Evaluation of the results and observed problems are described.

1

Introduction

The detection and segmentation of blood vessels are important parts of many medical applications. The segmentation results can be used to analyse the vessels themselves, e.g. to find aneurysms, stenoses or malformations. Furthermore, knowledge of the location and size of the blood vessels is essential for operation planning. One possible application is neck dissection: The local lymph nodes are the first stage of a lymphogenous metastasis of a tumour. Since the involved lymph nodes may in turn may invade neighbouring structures, they should be removed. This requires finding the boundaries between blood vessels and the enlarged lymph nodes in order to decide if an operation is possible.

2

Related Work

A large number of methods has been applied to blood vessel segmentation[1]. Examples are multi scale approaches, centerline detection[2] or region growing[3]. Most vessel segmentation methods are tested with angiography data (XRA or MRA) or contrast-enhanced MRI. Boundaries of the vessels are usually clearly visible in these modalities and purely data driven approaches, e.g. the aforementioned region growing methods, give good results. Another approach for segmentation is the use of active contours. The advantage of these models is the combination of features derived from the data and assumptions about properties of the chosen object. Besides the well-known explicit models (i.e. snakes, etc.) this group also includes implicit models like level set methods[4][5] and fast marching methods[6]. Implicit contours are globally defined which allows a combination of dataand model-driven strategies. This seems promising since the location and size

Segmentation of the Vascular Tree in CT Data

137

of blood vessels are different for every patient, making an explicit formulation for a model difficult. A pure data-driven approach on the other hand will be unreliable if boundaries the vessels cannot be easily identified. Level set methods have already been applied to blood vessel segmentation (see for instance [7]) but due to the artifacts and partial volume effects in our data the task is challenging.

3

Blood Vessel Segmentation Using Level Set Methods

We use a two level approach for the segmentation of the blood vessels in our data: After preprocessing the data with rank order filters we first perform a presegmentation using the fast marching method. This algorithm converges very fast and allows for the user to just choose a few seed points for initialisation. To get the final result we start a sparse field level set algorithm[8] initialised with the contour from the fast marching result. The propagation of the front is stopped in both stages of the segmentation process if the grey values of pixels on the front deviate too far from expected grey values for blood vessels in the given data set or if the front meets a boundary. During the level set stage we also use a regularisation term based on local 3D curvature. The level set equation Φt + F |∇Φ| = 0

(1)

has a speed function F defined as F = FI ∗ (FA + α ∗ FK )

(2)

where for each pixel (x, y, z) in the data set FA is the advection speed, FK is the local curvature and FI = FI (x, y, z) is the image-based speed term defined as FI (x, y, z) = (1 + β ∗ (∇I(x, y, z))2 + γ ∗ (I(x, y, z) − Ivessel ))−1 .

(3)

The weights α, β and γ enable a propagation specific to the features of a given data set; a high value meaning that this feature has a large influence and vice versa. Finally, the term Ivessel denotes the grey values interval associated with blood vessels. As noted in [4] it is possible to incorporate an exponential function for the image term instead of the reciprocal one we use to achieve a faster convergence. However, experiments with our algorithm showed that this leads to a loss of robustness.

138

K. Rink, A.-M. T¨ orsel and K. T¨ onnies Table 1. Examples for the resolution of the data sets.

Data set 01 03 09 15 19 22 23 25

4

Pixel spacing 0.28 0.33 0.45 0.47 0.53 0.43 0.58 0.41

Slice spacing 3.0 3.0 3.0 2.1 5.0 3.0 6.0 1.5

Slice thickness 3.0 3.0 3.0 1.0 5.0 2.0 5.0 3.0

Contrast agent yes no no yes no no yes no

Results and Discussion

We tested our algorithm for segmentation of blood vessels on 10 CT-data sets representative for diagnostics in a typical clinical environment. The resolution and quality vary substantially between the different data sets (see table 1). The data is often corrupted by noise, by inhomogeneities and by metal artifacts from dental inlays. Depending on slice thickness partial volume effects may further complicate analysis of the data. With half of the data sets a contrast agent was used. Using our method we were able to segment most of the vessels contained in data with only a single seed point at the first slice of the data set. More seed points in other slices may result in a more exact segmentation and a faster convergence of the propagation process. During the first level of our segmentation process we used an extremely cautious propagation strategy to avoid leaking of the contour. In most of the cases we were successfully able to avoid this. The front leaked out of the blood vessels in cases of extreme metal artifacts due to dental inlays (figure 1(a)) and when a contrast enhanced vessel was located directly beside a bone (figure 1(b)). A different method for pre-segmentation is necessary in these cases since there is no way (even for a human) to locate the boundary of the vessel. Results of our algorithm were evaluated by two experts with medical background to ensure the correctness of our segmentation. Blood vessels with a large diameter (arteria carotis externa, -interna, etc.) were always segmented correctly. Depending on the quality of the data an undersegmentation of up to 10% of the diameter of the vessel has been observed. This apparent undersegmentation proved often to be the correctly segmented lumen. Pixels not segmented were classified during evaluation as connective tissue. Due to the large slice spacing and -thickness of the data sets the algorithm could not follow smaller vessels branching off at a steep angle if either the lumen of the vessel had a large disparity to the lumen in the following slice or the vessels merged with the background due to partial volume effects. In both cases it is not possible to follow the vessels without further modification on our algorithm. Except in the cases mentioned vessels with a diameter as low as 5 pixels were segmented correctly. Especially in data sets where a contrast agent was used, the

Segmentation of the Vascular Tree in CT Data

139

Fig. 1. (a) The image shows metal artifacts originating from dental inlays. The vessels on the left side are segmented correctly due to regulation constraints of the model. Boundaries for the vessels on the right side are not recognisable. (b) On the left side a contrast enhanced vessel seemingly merges with the bone. The vessels on the right side are correctly segmented but on vessel is lost due to partial volume effects.

(a)

(b)

contrast increases in cranial direction, allowing a more accurate segmentation (see figure 2(a)). Vessels with an even smaller diameter were often not clearly distinguishable even by the experts evaluating our results. This can be attributed to partial volume effects and noise. All of the mentioned results were obtained using an identical parametrisation for all data sets. With a special parametrisation for each data set results were usually more exact but the experts evaluating our results stated that the results with the identical parametrisation were adequate. The time needed for convergence of the front propagation process differed extremely based on the number of slices of the data set, the quality of the data and the quality of the intermediate result of the fast marching method. Computation times ranged from less than a minute to about 20 minutes in cases where large parts of the final result had to be covered by the level set algorithm itself.

5

Conclusions and Future Work

We presented an algorithm for the segmentation of the vascular tree in CT-data of the human head and neck section using a modified level set algorithm. Results of our segmentation proved to be adequate for vessels with a diameter of at least 5 pixels (1.5–2.5 mm). For the neck dissection application mentioned in the beginning only submandibular vessels are of interest. These vessels still have a large diameter and results of the front propagation are adequate.

140

K. Rink, A.-M. T¨ orsel and K. T¨ onnies

Fig. 2. (a) Segmentation of vessels with a small diameter. (b) 3D visualisation of a front propagation result.

(a)

(b)

Segmentation results would certainly be improved if a reliable algorithm for detection of seed points throughout the data set could be incorporated. Parameter adaption for different parts of the data set would also improve the accuracy of the final result. Acknowledgements. We like to thank the university hospital in Leipzig for providing the data sets. We are also grateful to Karin Engel and Andreas F¨ ugner for the discussion and their help with the evaluation of the results.

References 1. Kirbas C, Quek F. A Review of Vessel Extraction Techniques and Algorithms. ACM Computing Surveys 2004;36(2):81–121. 2. Wesarg S, Firle EA. Segmentation of Vessels: The Corkscrew Algorithm. In: Proceedings of the SPIE Conference on Medical Imaging. vol. 5370; 2004. . 3. Boskamp T, et al. A New Vessel Analysis Tool for Morphometric Quantification and Visualization of Vessels in CT and MRI Datasets. Radiographics 2004;24:287–297. 4. Malladi R, Sethian JA, Vemuri B. Shape Modelling with Front Propagation: A Level Set Approach. IEEE Trans on PAMI 1995;17(2):158–175. 5. Sethian JA. Level Set Methods and Fast Marching Methods. Cambridge University Press; 1999. 6. Sethian JA. A Fast Marching Level Set Method for Monotonically Advancing Fronts. Proc Nat Acad Sci 1996;93(4):1591–1595. 7. van Bemmel CM, et al. A Level-Set-Based Artery-Vein Separation in Blood-Pool Agent CR-MR Angiograms. IEEE Trans Med Imaging 2003;22(10):1224–1234. 8. Whitaker RT. Isosurfaces and Level-Set Surface Models. School of Computing, University of Utah; 2002.

Shifting of the Aneurysm Necks for Enhanced Aneurysm Labelling J. Bruijns, F.J. Peters, R.P.M. Berretty and B. Barenbrug Philips Research Laboratories Prof. Holstlaan 4, 5656 AA Eindhoven, The Netherlands Email: [email protected]

Abstract. Volume representations of blood vessels acquired by 3D rotational angiography are very suitable for diagnosing an aneurysm. We presented a fully-automatic aneurysm labelling method in a previous paper. In some cases, a portion of a “normal” vessel part connected to the aneurysm is incorrectly labelled as aneurysm. We developed a method to shift the erroneous borders as close to the real aneurysm as possible. Application of this method gives better estimates for the aneurysm volumes.

1

Problem

Volume representations of blood vessels acquired by 3D rotational angiography show a clear distinction in gray values between tissue and vessel voxels [1]. These volume representations are very suitable for diagnosing an aneurysm (see Fig. 1.1). Physicians may treat an aneurysm by filling it with coils. Therefore, they need to know the volume of the aneurysm. In a previous paper [2] we described a method for fully-automatic labelling of the aneurysm voxels after which the volume is computed by counting these voxels (see Fig. 1.2). We use local distance thresholds to define a tight bounding surface around the aneurysm [2]. This tight bounding surface should be located just outside the aneurysm where it borders to tissue. Elsewhere, it should intersect the “normal” vessel as close to the aneurysm as possible. The local distance thresholds are derived from border vessel voxels (i.e. vessel voxels face connected to a tissue voxel). Because border vessel voxels are missing at an aneurysm neck, the tight bounding surface may bulge out into a “normal” vessel part (see Fig. 1.2). In such a case a portion of this “normal” vessel part is incorrectly labelled as aneurysm. The problem is to correct these erroneous labelled border areas.

2

Related Work

Subasic et al. [3] use the level-set algorithm with a 3-D deformable model for segmentation of an abdominal aortic aneurysm from CTA images. Because their

142

J. Bruijns et al.

method is adjusted to the shape of the abdominal aorta, it cannot be used free from problems for an arbitrary aneurysm. McLaughlin et al. [4] demarcate the extent of an intracranial aneurysm given a 3-D model of the vasculature. Local shape descriptors are grouped using a novel region-splitting algorithm. The method is used to estimate aneurysm volume. Results are presented for four clinical data sets. Bruijne et al. [5] use model-based interactive segmentation of abdominal aortic aneurysms from CTA data and multi-spectral MR images. After manual delineation of the aneurysm sac in the first slice, the method automatically detects the contour in subsequent slices.

3

What Is New

To improve the accuracy of the estimated aneurysm volume, we have developed a method to shift an erroneous aneurysm neck along the corresponding vessel part as close to the real aneurysm as possible. We use the shape information extracted from this vessel part to control this shift.

4

Method

Fully-automatic improvement of the estimated aneurysm volume is performed in four steps. First, the fully-automatic branch labelling method [6] is applied. Next, we check whether the local shape properties indicate that a neck may be shifted (see Section 4.1). If yes, then the erroneous aneurysm voxels in front of this neck (i.e. farther away of the real aneurysm) are changed to “normal” vessel voxels, and next this neck is shifted till the “normal” vessel part evolves into the real aneurysm (see Section 4.2). In our system shape information extracted from a “normal” vessel part is stored in a tube object (tube for short). A tube consists of a series of consecutive probes [7]. A probe is a combination of a sphere, a plane through the center of the sphere and a number of shape parameters. After a tube is created by fullyautomatic vessel tracing [6], the sphere centers are close to the central axis of the vessel, the planes are almost orthogonal to the vessel and each probe contains an ellipse representing the local cross-section of the probe’s plane with the vessel surface. Note that the fully-automatic branch labelling method is extended to create also a node for each aneurysm neck. 4.1

The Conditions for Shifting of a Neck

To prevent erroneously shifting of a neck a number of conditions must be fulfilled, the most important ones are: 1. It is possible to align a probe [7] (from now on called the “neck probe”) at the neck node. Successful alignment indicates that the vessel has approximately a cylindrical cross-section at the neck node.

Shifting of the Aneurysm Necks for Enhanced Aneurysm Labelling

143

2. The diameter of the vessel at the neck should be sufficiently smaller than the diameter of the aneurysm, else, the neck may be inside the real aneurysm. 3. It is possible to generate a tube (see Section 4) by fully-automatic vessel tracing [6] along the best valid run-up path to the neck node. A run-up path consists of branches of the generated graph [6]. A run-up path is valid if the last part of the run-up path is inside the run-up region. This run-up region is a truncated cylinder enclosing the “normal” vessel part at the neck. Both the length and the radius of this cylinder are given by radius of the neck probe. The normal of the neck probe gives the central axis of this cylinder. If there are more valid run-up paths, we select the run-up path which stays as long as possible inside the halve cylinder, created by extending the run-up region farther away from the aneurysm. If there are still more valid runup paths, we select the run-up path with the greatest Euclidean distance between the begin of the run-up path and the plane of the neck probe. If there are still more, we select the run-up path with the greatest length. The generated tube is also used to refine the run-up region. 4. The aneurysm is separated from the refined run-up region except at the neck. 5. The generated tube contains enough aligned probes to extract the radius threshold rshif t from the radii of these probes (details not in this paper). rshif t (just greater than the vessel radius at the neck) is used to detect where the vessel part evolves into the real aneurysm. 4.2

Cleaning and Shifting

All aneurysm voxels in the refined run-up region are changed to “normal” vessel voxels. After that, possible aneurysm voxels in the vessel part farther away from the neck are probably disconnected from the real aneurysm. These isolated clusters of aneurysm voxels are also changed to “normal” vessel voxels. Starting at the neck node, the erroneous voxels closer to the aneurysm center are corrected by moving a test probe in small steps along a growing path (the “shift path”) of face connected vessel voxels. All face neighbor vessel voxels of the current voxel of the shift path, closer to the aneurysm center, are candidates to extend the shift path. If there are more candidates, we select the candidate closest to the vessel center. If there are still more, we select the candidate with the smallest Euclidean distance to the probe. For each new voxel the probe is first moved to the position of this voxel and next aligned [7] to extract the local direction of the vessel. For each position of the test probe we collect the vessel voxels located in a small cylindrical slice at the front side of the plane of the probe. The radius of this slice is equal to radius threshold rshif t . The central axis is given by the plane normal of the probe. The thickness is equal to the size of a voxel times 2.5. The factor 2.5 is carefully chosen: a much smaller factor resulted in disjunct vessel voxels in case the plane is oblique compared to the voxel grid and a much larger factor resulted in a premature stop.

144

J. Bruijns et al. Fig. 1. Aneurysm.

1: Gray value volume

2: Labelled volume

3: Before shifting of the neck

4: After shifting of the neck

Shifting of the neck is stopped when an aneurysm voxel is encountered between the two bounding planes of the current slice but outside the cylinder, face connected to a vessel voxel of this slice, possibly via a chain of face connected vessel voxels. If not, the aneurysm voxels of the current slice are changed to “normal” vessel voxels. After the neck has been shifted, the graph structure is adjusted. If the neck node has exactly one branch, the shift path is used to extend this branch. The neck node is moved to the last knot of this extended branch. If a neck node has more than one branch, a new neck node is created, connected to the old neck node via the shift path.

5

Results and Discussion

We have applied the method to improve the accuracy of the estimated aneurysm volume by shifting of the aneurysm necks to 42 clinical volumes with an aneurysm

Shifting of the Aneurysm Necks for Enhanced Aneurysm Labelling

145

(11 of them 256x256x256, the rest 128x128x128), acquired with the 3D Integris system [8]. In 36 of these cases aneurysm voxels were changed to “normal” vessel voxels. The mean number of aneurysm voxels changed is 3.5% of the number of aneurysm voxels, the maximum number is 16.7%. The total numbers of necks is 131, the total number of run-up regions cleaned is 72, the total number of necks shifted is 43. Not a single neck was moved inside the real aneurysm. The effect of a shifted neck can be perceived by comparing Fig. 1.3 with Fig. 1.4. Shifting of the erroneous aneurysm necks to the real aneurysm gives better estimates for our clinical aneurysm volumes. Possibly more important than these better estimates is that a picture without a lot of erroneously labelled “normal” vessel parts (compare Fig. 1.3 with Fig. 1.4) increases the confidence in the accuracy of the aneurysm labelling method.

References 1. Kemkers R, Op de Beek J, Aerts H, et al. 3D-Rotational Angiography: First Clinical Application with use of a Standard Philips C-Arm System. In: Procs CAR 98. Tokyo; 1998. 2. Bruijns J. Local Distance Thresholds for Enhanced Aneurysm Labelling. In: Procs BVM. Heidelberg, Germany; 2005. p. 148–152. 3. Subasic M, Loncaric S, Sorantin E. 3-D image analysis of abdominal aortic aneurysm. In: Procs SPIE: Medical Imaging: Image Processing, Volume 4684; 2002. p. 1681–1689. 4. McLaughlin RA, Noble JAlison. Demarcation of Aneurysms using the Seed and Cull Algorithm. In: Procs MICCAI 2002. Tokyo, Japan; 2002. p. 419–426. 5. de Bruijne M, van Ginneken B, Viergever MA, Niessen WJ. Interactive segmentation of abdominal aortic aneurysms in CTA images. Med Image Anal 2004;8(2):127–138. 6. Bruijns J. Fully-Automatic Branch Labelling of Voxel Vessel Structures. In: Procs VMV. Stuttgart, Germany; 2001. p. 341–350. 7. Bruijns J. Semi-Automatic Shape Extraction from Tube-like Geometry. In: Procs VMV. Saarbruecken, Germany; 2000. p. 347–355. 8. Philips-Medical-Systems-Nederland. INTEGRIS 3D-RA. Instructions for use. Release 2.2. Philips Medical Systems Nederland. Best, The Netherlands; 2001.

Vollautomatische Segmentierung der weißen Hirnsubstanz oberhalb der Seitenventrikel aus kernspintomographischen Datens¨ atzen Ralf Sch¨ onmeyer1,2 , Anna Rotarska-Jagiela1,2, David Prvulovic1,2 , Corinna Haenschel1,2,3 und David E.J. Linden4 1

Brain Imaging Center, Universit¨ at Frankfurt am Main, Schleusenweg 2-16, 60528 Frankfurt am Main 2 Labor f¨ ur Neurophysiologie und Neuroimaging, Universit¨ atsklinikum Frankfurt, Zentrum der Psychiatrie, Heinrich-Hoffmann-Str. 10, 60528 Frankfurt am Main 3 Max-Planck-Institut f¨ ur Hirnforschung, Deutschordenstraße 46, 60528 Frankfurt am Main 4 School of Psychology, University of Wales, LL57 2AS Bangor, UK Email: [email protected]

Zusammenfassung. In dieser Arbeit stellen wir einen voll-automatisierten Algorithmus vor, der in der Lage ist, die weiße Substanz in der Region oberhalb der Ventrikel aus T1-gewichteten anatomischen MRDatens¨ atzen des menschlichen Gehirns zu segmentieren. Im Gegensatz zu anderen Methoden werden dabei nur wenige Voraussetzungen u ¨ ber die zu verarbeitenden Daten gemacht, und es sind keine ggf. manuell zu begleitenden Vorverarbeitungsschritte, wie z.B. Filterung und/oder Normalisierung, n¨ otig. Der Algorithmus wurde unter Zuhilfenahme der Cognition Network Technology implementiert, die eine wissensbasierte und kontextsensitive Handhabung der Bilddaten erlaubt. Eine quantitative Auswertung anhand von bis jetzt 10 Datens¨ atzen zeigt, daß im Vergleich zu einer manuellen Segmentierung eine overlay-metric von 0.9 erzielt wird.

1

Einleitung

Durch die immer gr¨ oßere Verf¨ ugbarkeit von Kernspintomographen in der klinischen Forschung und die damit einhergehende steigende Anzahl der zu verarbeitenden Datens¨ atze wird es zunehmend wichtiger, Arbeitsschritte zu automatisieren und unabh¨ angig von manueller Interaktion zu machen. Dabei bilden Segmentierungs- und Klassifikationsaufgaben oftmals den Flaschenhals“ der ” Verarbeitungskette, da automatische L¨ osungen oft nur unzureichende Ergebnisse liefern und manuelle Verfahren sehr zeit- und personalaufw¨andig sind. Im vorliegenden Fall ist es f¨ ur eine aktuelle MR-Spektroskopie-Studie zur AlzheimerKrankheit n¨ otig, die weiße Substanz oberhalb des Ventrikelsystems zu segmentieren. In diesem transversalen Bereich werden spektroskopische Messungen koregistriert, deren Ergebnisse zusammen mit den Ergebnissen der Gewebeklassifikation der weißen Substanz in weitere orts- und gewebetypabh¨angige Berechnungen

Vollautomatische Segmentierung der weißen Hirnsubstanz

147

einfließen. Da das Ziel eine vollautomatische Verarbeitung der Auswertung sein soll, die potentiell auch im klinischen Alltag eingesetzt werden kann, ist eine manuelle oder halb-automatische Verarbeitung nicht gew¨ unscht. In dieser Arbeit wird ein Verfahren vorgestellt, das auf T1-gewichteten MR-Datens¨atzen die geforderte Aufgabe zufriedenstellend l¨ ost und dabei nur wenige Voraussetzungen u ¨ ber die Beschaffenheit der Ausgangsdaten macht.

2

Stand der Forschung

Die uns bekannten Verfahren zur automatischen Segmentierung der weißen Substanz, wie sie zum Beispiel in den Softwarepaketen Brains2 [1] und BrainVoyager [2] implementiert sind, arbeiten meist mit Schwellenwerten und verlangen i.d.R. nach einer umfangreichen Vorverarbeitung der anatomischen Ausgangsdaten mit Hilfe von Filterungs-, Homogenisierungs- und Normalisierungsoperationen, die teilweise interaktiv begleitet werden m¨ ussen. Wenn Segmentierungsergebnisse f¨ ur pr¨ azise volumetrische Berechnungen herangezogen werden sollen, ist eine manuelle Bearbeitung unumg¨ anglich und definiert nach wie vor den Goldstandard. Je nach gew¨ unschter Qualit¨ at kann dies – alleine f¨ ur die transversalen Schichten oberhalb der Ventrikel – leicht einen Tag Arbeitszeit pro Datensatz in Anspruch nehmen.

3

Wesentlicher Fortschritt durch den Beitrag

Das hier vorgestellte Verfahren setzt keinerlei Vorverarbeitung wie Filterung, Homogenisierung oder Normalisierung der zu verarbeitenden T1-gewichteten MR-Datens¨ atze des menschlichen Kopfes voraus. Es arbeitet vollautomatisch auf Daten von Probanden ohne pathologische intrakranielle Raumforderungen (Tumore, Blutungen, etc.), die mit verschiedenen MR-Sequenzen aufgenommen wurden und eine unterschiedliche Qualit¨ at hinsichtlich Helligkeit, Kontrast und Signal-zu-Rausch-Verh¨ altnis aufweisen.

4

Methoden

Die Bildanalysealgorithmen wurden mittels der Cognition-Network-Technology (CNT) [3] der Firma Definiens AG, M¨ unchen, entworfen und mit Hilfe der Skriptsprache Perl gesteuert. Das objektorientierte Konzept der CNT zur wissensbasierten Bildanalyse und der Workflow zur automatisierten Verarbeitung von 3DMR-Daten wurden in [4] vorgestellt. F¨ ur die damalige Aufgabe – automatisierte Segmentierung der Seitenventrikel – war es noch ausreichend, einfachere Operationen mit der CNT zu vollziehen und somit eine evaluierte Machbarkeitsstudie f¨ ur die Verarbeitung von 3D-Daten mit dieser Technologie zu bilden. Hingegen muß in diesem Beitrag, aufbauend auf den dort erlangten Erkenntnissen, verst¨ arkt auf die erweiterten M¨ oglichkeiten der CNT zur¨ uckgegriffen werden, um

148

R. Sch¨ onmeyer et al.

Abb. 1. Beispiel f¨ ur ein transversales Eingangsbild (a), an dem einige Verarbeitungsschritte des Algorithmus illustriert werden. (b) zeigt die Verarbeitung nachdem eine Absch¨ atzung f¨ ur die Kalotte (hellgrau) und eine Maskierung von absolut und relativ zur Umgebung dunklen Bereichen (schwarz) erfolgte. In (c) sind Kantenbereiche grau dargestellt. Diese begrenzen die zu bildenden Segmente, die in Nachbarschaft zu den dunklen Bereichen als graue Substanz (in (d) dunkelgrau dargestellt) klassifiziert werden. Der weiß markierte Bereich in (d) stellt das Segmentierungsergebnis f¨ ur die weiße Substanz in dieser Schicht dar.

(a)

(b)

(c)

(d)

der jetzigen viel komplexeren Problemstellung besser gerecht zu werden. Im Folgenden werden kurz die wesentlichen Verarbeitungsschritte zur Umsetzung des Algorithmus skizziert: Das Verfahren zum Auffinden der weißen Substanz arbeitet auf transversalen Schichten eines MR-Volumendatensatzes und klassifiziert zun¨achst alle absolut dunklen Bereiche nach einer einfachen Histogrammanalyse des Eingangsbildes (Abb. 1(a)). Damit werden im Wesentlichen extrakranielle und liquorgef¨ ullte Areale klassifiziert, die auch eine Absch¨atzung des Kalottenumfangs erlauben (grauer Bereich in Abb. 1(b)). Danach werden Bereiche, die relativ zur Umgebung dunkel sind, markiert. Dies erfasst haupts¨achlich Liquor, der aufgrund des Partialvolumeneffekts heller erfasst wurde, und Teile der grauen Substanz. In Abb. 1(b) sind dies die schwarz dargestellten Bereiche innerhalb der Kalotte. Nun wird auf alle noch nicht markierten Bildpunkte ein lokal adaptiver Kantendetektor eingesetzt, der vorzugsweise Pixel, die auf der Grenze zwischen grauer und weißer Substanz liegen, erfasst und markiert (Abb. 1(c)). Eine Kontrastsegmentierung unterteilt die noch verbleibende unmarkierte Bildfl¨ache in Objekte ¨ ahnlicher Helligkeit und Gr¨ oße. Dabei hindern die zuvor markierten Kantenpixel die Kontrastsegmentierung daran, Objekte zu bilden, die u ¨ ber Kanten hinausgehen. Segmente, die zu Liquor-Objekten Kontakt haben, werden vom Algorithmus mit großer Wahrscheinlichkeit der grauen Substanz zugeordnet, was insbesondere f¨ ur Schichten oberhalb der Ventrikel zutrifft. Die nun verbleibenden unklassifizierten Objekte in der Bildmitte stellen das Ger¨ ust f¨ ur die weiße Substanz dar. Mit Hilfe von kontextsensitiven Erosions- und Dilatationsoperationen werden alle Rest- und Kantenobjekte ggf. der weißen Substanz zugeordnet, um sie weiter auszuformen (Abb. 1(d)). Eine nachtr¨aglich angewandte 3D-RegionGrowing-Operation klassifiziert den nun zusammenh¨angenden Bereich der weißen Substanz.

Vollautomatische Segmentierung der weißen Hirnsubstanz

149

Abb. 2. Detailausschnitte der 10 quantitativ untersuchten Datens¨ atze, die der jeweils ersten transversalen Schicht oberhalb des Ventrikelsystems entnommen wurden. Das Segmentierungsergebnis des hier vorgestellten Verfahrens ist weiß umrandet eingezeichnet.

5

Ergebnisse

Das Verfahren wurde bislang auf 25 verschiedene Datens¨atze angewandt und liefert nach Sichtkontrolle in allen F¨ allen ad¨ aquate Ergebnisse in den transversalen Schichten oberhalb des Ventrikelsystems. Dies ist genau der Bereich, in dem die ca. 10 mm dicke Schicht der spektroskopischen Untersuchung koregistriert wird, und die Ergebnisse der Gewebeklassifikation mit einfließen sollen. Eine quantitative Evaluation wurde bislang im Vergleich zu zehn Datens¨atzen vorgenommen, f¨ ur die eine manuelle Segmentierung der weißen Substanz vorliegt (Abb. 2). Diese wurde unter Zuhilfenahme von [5] angefertigt. Eine erste Auswertung zeigt, dass in dem geforderten Bereich oberhalb der Ventrikel eine mittlere overlaymetric nach [6] von 0,90 mit einer Standardabweichung von 0,019 erreicht wird. ¨ Die gr¨ oßte Ubereinstimmung betr¨ agt 0,92 und die schlechteste 0,85.

6

Diskussion

Die vorgestellte Methode arbeitet robust und liefert ein zufriedenstellendes Segmentierungsergebnis f¨ ur die zugrundeliegende Anwendung. Da es, im Gegensatz zu anderen Verfahren, wenige Voraussetzungen u ¨ ber die zu verarbeitenden Datens¨ atze macht, ist es f¨ ur die Eingliederung in den Arbeitsablauf zur Auswertung der spektroskopischen Messungen geeignet und verl¨angert diesen insbesondere nicht um manuelle Verarbeitungsschritte. Beim Testen kam die Verarbeitung von Datens¨ atzen unterschiedlicher MR-Sequenzen (u.a. MPRAGE, MDEFT, T1FLASH) erfolgreich zum Einsatz, die die in der klinischen Diagnostik und Forschung typischen Qualit¨ atsschwankungen aufweisen. Teilweise erzielen andere Verfahren eine h¨ ohere overlay-metric von ca. 0,95. Im Vergleichsfall (mit

150

R. Sch¨ onmeyer et al.

BrainVoyager) wurden solche Ergebnisse aber nur erzielt, wenn der Ausgangsdatensatz aufw¨ andig gefiltert und normalisiert wurde, was unabdingbar manuelle Arbeitsschritte n¨ otig macht. Zudem werden bei nichtlinearer Normalisierung des Kortex, wie zum Beispiel der weit verbreiteten Talairach-Transformation, Gr¨oßenverh¨ altnisse verzerrt, so dass in Hinblick auf volumetrische Auswertungen die Aussagekraft, der mit solchen Verfahren gefundenen Ergebnisse, eingeschr¨ ankt ist. Es ist geplant, die vorgestellten Algorithmen noch zu erweitern und auch auf Schichten anwendbar zu machen, die Ventrikelstrukturen enthalten, um somit die Segmentierung der weißen Substanz auch auf tieferen Schichten von nicht-normalisierten Datens¨ atzen ausweiten zu k¨onnen. Gerade durch das objektorientierte Konzept der Cognition-Network-Technology k¨onnen die hier gezeigten Verfahren mit Implementierungen bereits vorhandener Algorithmen [4] der gleichen Programmplattform interagieren. Danksagung. Die Autoren danken der Alzheimer Forschung Initiative e.V. f¨ ur die finanzielle Unterst¨ utzung. Das Brain Imaging Center Frankfurt am Main wird gef¨ ordert durch das Bundesministerium f¨ ur Bildung und Forschung (DLR 01GO0203).

Literaturverzeichnis 1. Goebel R. BrainVoyager: Ein Programm zur Analyse und Visualisierung von Magnetresonanztomographiedaten. In: Plesser T, Wittenburg P, editors. Forschung und wissenschaftliches Rechnen. Beitr¨ age zum Heinz-Billing-Preis 1996. GWDG-Bericht. G¨ ottingen: Gesellschaft f¨ ur wissenschaftliche Datenverarbeitung mbH; 1997. http://www.brainvoyager.com. 2. Magnotta VA, Harris G, Andreasen NC, O’Leary DS, Yuh WT, Heckel D. Structural MR image processing using the BRAINS2 toolbox. Comput Med Imaging Graph 2002;26(4):251–64. 0895-6111 Journal Article. 3. Sch¨ ape A, Urbani M, Leiderer R, Athelogou M. Fraktal hierarchische, prozeß- und objektbasierte Bildanalyse. In: Procs BVM; 2003. p. 206–210. http://www.definiens.com. 4. Sch¨ onmeyer R, Prvulovic D, Rotarska-Jagiela A, Dallmann K, Haenschel C, Athelogou M, et al. Automatisierte Segmentierung der Seitenventrikel des menschlichen Gehirns aus kernspintomographischen Datens¨ atzen. In: Procs BVM; 2005. p. 83–87. 5. Sch¨ onmeyer R, Prvulovic D, Linden DEJ. VMR Segmenter – A Tool for Manual Segmentation of VMR-datasets; 2005. Http://www.bic.uni-frankfurt.de/bv-tools. 6. Zijdenbos AP, Dawant BM, Margolin RA, Palmer AC. Morphometric analysis of white matter lesions in MR images. IEEE Trans Med Imaging 1994;13(13):716–724.

Knowledge-Based Segmentation of Calvarial Tumors in Computed Tomography Images Aleksandra Popovic1 , Martin Engelhardt2 and Klaus Radermacher1 1

Chair of Medical Engineering, Helmholtz-Institute for Biomedical Engineering, RWTH Aachen University 2 Clinic for Neurosurgery, Ruhr-University Bochum Email: [email protected]

Abstract. This paper presents an image segmentation algorithm based on the level sets deformable model framework, guided with patient specific information as well as a priori knowledge gained from the training set. The driving application is segmentation of 3D calvarial tumors from Computed Tomography images, which is a challenging task considering the fact that they reside both in calcified and soft tissue, have ill-defined borders, and occupy wide range of image intensities. Level set algorithms are widely used for complex segmentation problems since they show good robustness in presence of inhomogeneities and noise. However, for segmentation of object with fuzzy borders, standardly used surface evolution forces based on the gradients often fail to reach the convergence. We present an algorithm that combines image specific information and a priori knowledge on image intensities of objects under investigation. The knowledge modeling framework is presented, followed by the segmentation algorithm, and the validation of the results.

1

Introduction

The CRANIO project for computer and robot assisted craniotomy [1] tackles the problem of efficient and effective removal of calvarial tumors, including operation planning and surgery. Within this framework a need for automatic and semiautomatic delineation of calvarial tumors emerged. Calvarial tumors can be found anywhere from the meninges to the area under the skin of the head. The variety of origin and location of calvarial tumors results in diverseness in their appearance in Computed Tomography (CT) images. They are standardly located in both soft and calcified tissue, occupying a large range of image intensities. Furthermore, local calcifications and ossifications, which are both very common in those lesions, represent persistent problem since they introduce large discontinuities. Thus, region or edge based algorithms often fail to properly segment the entire tumor. In our previous study [2] we have demonstrated that in comparison with other segmentation methods, level set framework showed the most promising results. This is due to its capability to advance in two or more fronts and finally merge together into one bounding surface, which is the key feature when an object with different tissue types is to

152

A. Popovic, M. Engelhardt and K. Radermacher Fig. 1. Flowchart of the segmentation process.

belief map

Segmentation framework

patient specific gradients

segmentation result

be segmented. In this paper, we propose an extension to the approach presented in our previous work [2], adding a knowledge-based propagation term to the segmentation framework. The most common approach in modeling of a priori knowledge in medical image segmentation is to define an a priori shape and adjust it to the borders of the specific object to be segmented. Although this method has been successful in segmentation of healthy anatomy [3], Clark et al. point out that prior shapes are virtually unfeasible for segmentation of tumors, due to the morphological discrepancy between the subjects [4].

2

Methods

The segmentation approach proposed here relies on the level sets based deformable model, guided with gradients derived from the image under subject and the individual belief map generated from the training set (Fig. 1). A belief map indicates a likelihood that an image element belongs to the tumor. In this work, belief map is solely based on the grey-levels of the image. 2.1

Belief Map Generation

Let T be a training set of grey-level images of tumor extracted region, Ti (x), Ti : R3 → R, i = 0...nt − 1, x = [x, y, z]T . It is important to notice that each image from the training set, Ti , contains grey-levels of the tumor while all other parts of the image are set to zero. Tumors were previously manually segmented by an expert. For each image in T a maximum likelihood estimation of a Gaussian distribution of the grey-levels within the tumor is computed (µi , σi ). Mean Gaussian distribution is found at: nt −1 1  µ= µi , nt i=0

nt −1 1  σ= σi . nt i=0

(1)

Knowledge-Based Segmentation of Calvarial Tumors

153

Let I(x) (I : R3 → R) be an image to be segmented. In each image element, i.e. voxel, a likelihood that given voxel belongs to the tumor is defined as: B(x) = 2.2

I(x)−µ 1 √ e− 2σ2 σ 2π

(2)

Level Set Evolution

Level sets are generalized surface movement framework [5], where surface evolution is defined as: ∂Ψ (x, t) = −∇Ψ (x, t) · F (x), (3) ∂t Ψ (x, t) is a hypersurface defined on the entire image while the surface under subject is a zero level set of Ψ . Speed function, F (x), defines velocity and direction of movement in each point of the front. In our previous work [2], we have used following speed function: F (x) = Fp (x) + Fc (x) + Fa (x), Fp = α · gI (x),

Fc = −β · gI (x) · k(x),

where k is the curvature of the current front map, and Q is the advection force, defined as: gI (x) =

1 , 1 + |∇Gσ ∗ I(x)|

Fa = γ · ∇Q(x), ∇Φ (∇ |∇Φ| ), gI is an edge

Q(x) = −|∇(Gσ ∗ I(x))|,

(4) (5) potential

(6)

where Gσ is the Gaussian filter. Fp , Fc , Fa are propagation, curvature, and advection speed terms, respectively. This terms are weighted using three constants [α, β, γ]. Herein, we propose an extension to this framework by introducing additional term B(x), Eq. 2, into the propagation part of the speed function: Fp (x) = α · (δ · B(x) + gI (x)).

(7)

The level set propagation is realized within the National Library of Medicine Image Segmentation and Registration Toolkit (http://www.itk.org). 2.3

Validation of the Segmentation Results

Statistical metrics for validation of a segmentation outcome in comparison with the ground truth used in this study are defined as follows: DSC =

sensitivity =

2·TP , 2·TP + FP + FN

TP , TP + FN

specif icity =

(8) TN , TN + FP

(9)

where TP, FP, TN, FN, are number of true positives, false positives, true negatives, and false negatives, respectively. Dice Similarity Coefficient (DSC) is a special case of the kappa statistics for very large samples.

154

A. Popovic, M. Engelhardt and K. Radermacher

Table 1. Minimal and maximal value of three validation metrics for five patient Patient A B C D E

3

Diagnosis Sensitivity Metastasis 0.59÷0.77 Meningioma (WHO II) 0.83÷0.90 Meningioma (WHO III) 0.81÷0.88 Meningioma (WHO I) 0.81÷0.97 Meningioma (WHO I) 0.90÷0.96

Specificity 0.96÷0.96 0.98÷0.99 0.98÷0.99 0.95÷0.99 0.98÷0.99

DSC 0.68÷0.70 0.72÷0.86 0.79÷0.83 0.81÷0.89 0.84÷0.88

Materials

Five patient datasets were used, four thereof with diagnosed meningioma and one with skull metastasis. All patients were scanned with Siemens Somatom Plus CT, resolution 0.43x0.43x3mm. Tumors were manually delineated by one of the coauthors (M.E.). For each test a group of four datasets is used for the knowledge modeling and fifth dataset for the validation of segmentation results.

4

Results

In the Table 1 validation results for the five datasets under subject are shown. Different results are archived by varying algorithm parameters [α, β, γ, δ]. For all patients, a significant improvement compared to classical level sets algorithm [2] for all three validation metrics is noticeable. Figure 2 presents an example of the segmentation workflow and a segmentation result. Entire segmentation process lasts approximately one minute.

5

Discussion and Conclusion

For all patients, a significant improvement compared to classical level sets algorithm [2] in all three validation metrics is noticeable. The algorithm here presented uses topological flexibility of level sets (e.g. fronts merging) together with a knowledge-based term which stabilizes the algorithm and improves accuracy. As Zijdenbos et al. [6] specified, DSC of more then 0.7 is considered to be a very good segmentation result. In this study, for four patients, it was possible to reach DSC of more then 0.8, with the sensitivity of above 0.85. However, segmentation results for patient ’A’ are significantly less accurate, due to the fact that this patient was diagnosed with a very large metastasis expanding to extra calvarial soft tissue. It is clear from the Table 1 that segmentation accuracy decreases with severity of the tumor (WHO grade). In our future work, we will focus on improvements of knowledge modeling. First tests using a discrete method as in Touhami et al. [7] showed promising results.

Knowledge-Based Segmentation of Calvarial Tumors

155

Fig. 2. From left to right: Original image, represented using two sided intensity window, Speed function, and a segmentation result.

Acknowledgement. This project is funded in part by the German Research Foundation (DFG), Framework ’Surgical Navigation and Robotics’ (DFG RA548/2-1)

References 1. Popovic A, Engelhardt M, Wu T, Portheine F, Schmieder K, Radermacher K. CRANIO – Computer Assisted Planning for Navigation and Robot-assisted Surgery on the Skull. In: Lemke HU, et al, editors. Procs CARS. vol. 1256 of International Congress Series. Elsevier; 2003. p. 1269–1276. 2. Popovic A, Engelhardt M, Radermacher K. Segmentation of Skull-infltrated Tumors Using ITK: Methods and Validation. In: ISC/NA-MIC/MICCAI Workshop on Open-Source Software at MICCAI 2005. Available: http://hdl.handle.net/1926/21; 2005. 3. Paragios N. A Level Set Approach for Shape-driven Segmentation and Tracking of the Left Ventricle. IEEE Transactions on Medical Imaging 2003;22(6):773–776. 4. Clark MC, Hall LO, Goldgof DB, Velthuizen R, Murtagh FR, Silbiger MS. Automatic Tumor Segmentation Using Knowledge-Based Techniques. IEEE Transactions on Medical Imaging 1998;17(2):187–201. 5. Sethian JA. Level Set Methods and Fast Marching Methods. vol. 3. 2nd ed. Cambridge University Press; 1996. 6. Zijdenbos AP, Dawant BM, Margolin RA, Palmer AC. Morphometric Analysis of White Matter Lesions in MR Images: Method and Validation. IEEE Transactions on Medical Imaging 1994;13(4):716–724. 7. Touhami W, Boukerroui D, Cocquerez JP. Fully Automatic Kidneys Detection in 2D CT Images: A Statistical Approach. In: Duncan J, Gerig G, editors. Eigth International Conference on Medical Image Computing and Computer–Assisted Intervention (MICCAI). vol. 3749 of Lecture Notes on Computer Science. SpringerVerlag; 2005. p. 262–270.

Live-Wire Segmentierung fu oste ¨r hochaufgel¨ Farbbilder mit optimierter Graphensuche Thorsten Zerfaß1,2 , Sebastian Mues-Hinterw¨aller1, Dietrich Paulus2 und Thomas Wittenberg1 1

2

Fraunhofer-Institut f¨ ur Integrierte Schaltungen IIS, Erlangen Institut f¨ ur Computervisualistik, Univ. Koblenz-Landau, AG Aktives Sehen Email: [email protected]

Zusammenfassung. Das aus der Literatur bekannte Live-Wire Verfahren beschreibt einen konturbasierten, interaktiven Ansatz zur Segmentierung. Die Kontur eines Objekts wird dabei durch einen Pfad minimaler Kosten beschrieben, der durch eine Menge von Saatpunkten f¨ uhrt, die zuvor durch den Benutzer selektiert wurden. Der Live-Wire Ansatz liefert gute Ergebnisse hinsichtlich Segmentierungsqualit¨ at und Geschwindigkeit bei minimalem Interaktionsaufwand und dies mit relativ geringem Zeitaufwand. Bei den in der Literatur beschriebenen Verfahren werden f¨ ur die Berechnung der Pfade oft nur Grauwertbilder verwendet, die Berechnung anhand von Farbbildern wird nur sehr selten behandelt. Diese Arbeit befasst sich intensiv mit deren Verwendung und stellt neue Ans¨ atze vor, die Farbinformationen f¨ ur die Segmentierung zu nutzen, um hierdurch die Qualit¨ at der Segmentierungsergebnisse zu steigern. Zudem wird f¨ ur den Bereich der Graphensuche innerhalb des Live-Wire Verfahrens bisher der Algorithmus von Dijkstra verwendet. Im Kontext dieser Arbeit wird als alternativer Ansatz der F*-Algorithmus f¨ ur eine wesentlich effizientere Graphensuche speziell f¨ ur hochaufgel¨ oste Bilder vorgestellt. Die vorgestellten Verbesserungen des Live-Wire Verfahrens werden abschließend an einer repr¨ asentativen Stichprobe evaluiert.

1

Problemstellung

Durch eine Vielzahl neuer Techniken und Forschungsergebnisse hat sich die Anzahl der verf¨ ugbaren medizinischen Bildaufnahmemodalit¨aten in den vergangenen Jahren deutlich erh¨ oht. Insbesondere farbige Modalit¨aten werden verst¨arkt in der Bildgebung eingesetzt. Zudem hat sich eine starke Verbesserung der Bildqualit¨ at und Bildaufl¨ osung bereits bestehender Verfahren ergeben. Um einen Arzt bei der objektiven Beurteilung der Bilddaten zu unterst¨ utzen, bieten moderne Mensch-Maschine-Schnittstellen in Kombination mit Bildverarbeitungsans¨ atzen M¨ oglichkeiten, um wichtige Bereiche in einem Bild interaktiv herauszuheben oder zu markieren. Das Live-Wire Verfahren [1] stellt einen solchen Ansatz dar, um eine Interaktion des Benutzers mit dem System zu erm¨oglichen, und gleichzeitig gute Segmentierungsergebnisse zu erhalten. Im Gegensatz zu vollautomatischen Segmentierungsverfahren, die i.d.R. nur applikations-spezifisch

Live-Wire Segmentierung f¨ ur hochaufgel¨ oste Farbbilder

157

gute Ergebnisse liefern, lassen sich Live-Wire Verfahren universell einsetzen. Zudem liefern Live-Wire Verfahren eine hohe Qualit¨at in Bezug auf Genauigkeit und Geschwindigkeit einer Segmentierung. Um jedoch den eingangs erw¨ahnten Entwicklungen bzgl. neuen – farbigen – Bildmodalit¨aten sowie gesteigerten Bildaufl¨osungen gerecht zu werden, bedarf es sinnvollen Erweiterungen des Live-Wire Verfahrens. In den letzten Jahren sind hierzu die verschiedensten Ans¨atze vorgestellt worden.

2

Stand der Forschung

Das Live-Wire Verfahren wurde 1992 von Mortensen und Barrett vorgestellt [1]. Es beschreibt eine interaktive Methode zur Segmentierung von Objektkonturen unter Verwendung des Graphensuchalgorithmus von Dijkstra [2] und einer Funktion zur Berechnung der Kosten f¨ ur bestimmte Pfade innerhalb eines Bildes anhand von Grauwertintensit¨ aten. F¨ ur die Verarbeitung von Farbbildern wird in der Literatur die Anwendung der in [1] vorgestellten Kostenfunktion auf den jeweils einzelnen Farbkan¨ alen vorgeschlagen. Dies f¨ uhrt durchaus zu einer Verbesserung der Ergebnisse, jedoch erh¨ oht sich auch die Berechnungzeit f¨ ur die gesamte Kostenfunktion. Die Auswahl einer Kontur erfolgt durch die Selektion eines sogenannten Saatpunktes auf der Kante des zu segmentierenden Objekts. Die Auswahl eines zweiten Punktes auf der Objektkontur initiiert die Berechnung des optimalen Pfades zwischen dem Saatpunkte und dem aktuellen Punkt, wobei der aktuelle Punkt durch die Position des Mauszeigers gegeben ist. Bewegt der Benutzer die Maus, bekommt er jeweils den optimalen Pfad zwischen Mauszeiger und Saatpunkt angezeigt. Hat sich der Benutzer f¨ ur eine bestimmte Position oder einen bestimmten Pfad entschieden, so beendet er die Markierung der Teilkontur, und startet wiederum die Suche nach einem optimalen Pfad zum n¨achsten Punkt. Der aktuell selektierte Punkt dient nun als neuer Saatpunkt f¨ ur die weitere Berechnung. Der beschriebene Vorgang wiederholt sich so lange, bis die gesamte Kontur des Objekts segmentiert wurde. Die dabei entstehende Kontur besteht aus den einzeln selektierten optimalen Pfaden.

3

Fortschritt durch den Beitrag

Der vorliegende Beitrag stellt zwei Erweiterungen des bekannten Live-Wire Verfahrens vor. Zum einen wird das Verfahren auf einen neuen Ansatz zur Verarbeitung von Farbbildern erweitert , zum anderen wird der zur Graphensuche vorgeschlagene Algorithmus von Dijkstra [2] durch den F*-Algorithmus [3, 4] ersetzt. Durch Verwendung der zus¨ atzlichen Informationen aus den verschiedenen Farbkan¨ alen erlaubt die Erweiterung auf Farbbilder eine Verbesserung der Kantenfindung, außerdem wird die Berechnungszeit durch die Verwendung einer alternativen Kostenfunktion deutlich gesenkt. Der F*-Algorithmus verbessert im Hinblick auf Bilddaten mit hoher Aufl¨ osung die Geschwindigkeit bei der Graphensuche und erlaubt auf diesen somit die effiziente Anwendung des Live-Wire Verfahrens.

158

4 4.1

T. Zerfaß et al.

Methoden Erweiterung auf Farbbilder

Bei der Segmentierung von Objekten auf Farbbildern kann die Verwendung der Grauwertintensit¨ aten der einzelnen Bildpunkte bei der Berechnung der Kostenfunktion zu Problemen f¨ uhren, da es viele Situationen gibt, bei denen wichtige Kanteninformationen zwischen farbigen Objekten bei der Umrechnung in ein Grauwertbild verloren gehen. Eine Erweiterung der Kostenfunktion auf Farbbilder und deren zus¨atzliche Information erscheint deshalb sinnvoll. Ein einfacher Ansatz hierzu w¨ are die Verwendung der in [1] vorgestellten Kostenfunktion auf den jeweils einzelnen Kan¨ alen des Bildes. Die Berechnung dieser Kostenfunktion ist jedoch relativ zeitaufw¨ andig, f¨ ur die Berechnung auf mehreren Farbkan¨alen sollte deshalb ein anderer Ansatz gew¨ ahlt werden. Ein alternativer Ansatz ist die Verwendung des Canny-Operators [5] auf allen drei Kan¨alen eines Bildes. Die Ergebnisse des Canny-Operators auf den jeweiligen Kan¨alen werden in einem anschließenden Schritt zusammengefasst, wobei die Resultate dabei mit empirisch ermittelten Werten unterschiedlich gewichtet werden. Die Vorteile dieses Ansatzes sind in der kurzen Berechnungszeit und in den guten Ergebnissen bei der Kantedetektion zu sehen. Weiterhin ergibt sich durch die Resultate, die der Canny-Operator liefert, eine Beschleunigung bei der Graphensuche, da es sich bei dem Ergebniss der Kostenfunktion nur noch um ein Bin¨arbild handelt. Die optimalen Pfade sind dadurch auf einfache Weise und mit geringem Zeitaufwand zu berechnen. 4.2

F*-Graphensuche

Im Bereich der Graphensuche liefert der Algorithmus von Dijkstra gute Ergebnisse, jedoch treten Rechenzeit- und Speicherplatzprobleme auf, wenn sich die Aufl¨ osung der Bilddaten deutlich erh¨ oht. Um dieses Problem zu beseitigen wurde der F*-Algorithmus [3, 4] als Alternative zum Dijkstra-Algorithmus [2] untersucht. Algorithmisch unterscheidet sich dieser deutlich von Dijkstra’s Ansatz. Wie der Algorithmus von Dijkstra ben¨ otigt der F*-Algorithmus die Angabe einer Kostenfunktion, um die Kosten f¨ ur die Kanten des Graphen zu bestimmen. Auch die Initialisierung des Pfad-Feldes verl¨ auft analog zum Dijkstra-Algorithmus. Die anschließenden Berechnungen auf dem Pfad-Feld unterscheiden sich jedoch vollst¨ andig. Den F*-Ansatz kann man sich als eine Art Distanztransformation auf dem Pfad-Feld vorstellen, bei dem die Werte innerhalb des Pfad-Feldes sukzessive aktualisiert werden. Hierbei sind die verwendeten Masken, sowie die Reihenfolge bei der Aktualisierung entscheidend. Das Pfad-Feld wird in mehreren Richtungen und mit verschiedenen Masken durchlaufen, die Werte innerhalb des Feldes werden dabei stets neu berechnet. Der Algorithmus terminiert, sobald ¨ sich in einer Iteration keine Anderung mehr innerhalb des Pfad-Feldes ergibt. Als Resultat erh¨ alt man ein Pfad-Feld, das die optimalen Pfade zu einem Saatpunkt enth¨ alt. Um den optimalen Pfad von einer bestimmten Position zum Saatpunkt zu erhalten, wird wie beim Dijkstra-Algorithmus ein Backtracking-Verfahren verwendet.

Live-Wire Segmentierung f¨ ur hochaufgel¨ oste Farbbilder

159

Abb. 1. Berechnungszeiten f¨ ur die Kostenfunktionen. 6 Canny-Operator als Kostenfunktion Original Kostenfunktion [1] 5

Zeit in s

4

3

2

1

0 1

2

3

4

5

6

7

8

9

10

Bild

5

Ergebnisse

Die beschriebenen Erweiterungen des Live-Wire Verfahrens wurden auf der Basis von 36 Referenzbildern aus unterschiedlichen Bildmodalit¨aten (CT, Endoskopie, Mikroskopie, ...) und Bildinhalten durch eine Gruppe von zehn Experten evaluiert. Jedes Bild wurde von jedem Experten mit dem orginal Live-Wire Verfahren sowie mit elf Varianten der modifizierten Version interaktiv segmentiert. Zudem wurde eine Evaluation an synthetisch erzeugten Bildern durchgef¨ uhrt. Dabei wurde das Verhalten des modifizierten Live-Wire Verfahrens im Hinblick auf Rauschen untersucht. Hierzu wurden die synthetisch erzeugten Bilder mit unterschiedlich starkem Salt´n-Pepper“ Rauschen versehen, der Verwendung dieses ” Rauschens kommen hierbei jedoch keine speziellen Bedeutungen zu. Beim Vergleich der Verfahren lagen die Schwerpunkte bei der Evaluation auf der Segmentierungsgeschwindigkeit, sowie auf der Segmentierungsgenauigkeit. Die Evaluation der Segmentierungsgenauigkeit wurde zum einen in Bezug auf Freihandsegmentierungen, zum anderen in Bezug zu Referenzsegmentierungen durchgef¨ uhrt. Es wurden dabei mehrere Metriken herangezogen um die Segmentierungsergebnisse zu vergleichen. Hierzu z¨ ahlten Dice-, Tanimoto-, Kappa- und RandpixelKoeffizient, sowie Fehlerwahrscheinlichkeit, Konsistenzwerte, Hausdorff-Distanz, CCH-Wert, CCC-Wert und Vektor-Distanz. Durch die Verwendung der beschriebenen Erweiterungen wurden sowohl bei der Segmentierungsgeschwindigkeit als

160

T. Zerfaß et al.

auch bei der Segmentierungsgenauigkeit positive Ergebnisse erzielt. In Abb.1 ist eine Gegen¨ uberstellung der Berechnungszeiten auf mehreren Bildern f¨ ur die in [1] vorgestellte Kostenfunktion und die Berechnung u ¨ ber den Canny-Operator [5] dargestellt, hier sind die zeitlichen Vorteile durch die Verwendung des CannyOperators deutlich zu sehen. Gegen¨ uber der Freihandsegmentierung liefert das vorgestellte Verfahren wesentlich bessere Resultate, sowohl bei der Geschwindigkeit als auch bei der Qualit¨ at. Ebenso konnten bessere Ergebnisse in beiden Bereichen im Bezug zum urspr¨ unglichen Verfahren [1] erzielt werden. Beispielsweise verringert sich die Anzahl der ben¨ otigten Saatpunkte, was in Konsequenz zu einer weiteren Beschleunigung der Segmentierungszeit f¨ uhrt.

6

Diskussion

Durch die Eweiterung des Live-Wire Verfahrens auf Farbbilder, sowie der zus¨ atzlichen Verwendung des F*-Verfahrens [3, 4], kann der in [1] beschriebene interaktive Segmentierungsansatz im Hinblick auf Geschwindigkeit und Qualit¨at der Segmentierung deutlich verbessert werden. W¨ahrend die Verwendung einer mehrkanaligen Kostenfunktion zur G¨ ute der Segmentierung auf Farbbildern beitr¨ agt, ¨ außert sich die Verwendung des F*-Verfahrens bei der Segmentierung hochaufgel¨ oster Bilder. Speziell bei Bildern mit r¨aumlichen Aufl¨osungen gr¨oßer als 512x512 Bildpunkten zeigt sich die Effizienz des F*-Ansatzes gegen¨ uber des ursp¨ unglichen Verfahrens von Dijkstra [2], da mit einer Erh¨ohung der Bildaufl¨ osung auch die L¨ ange und Anzahl aller zu verwaltenden optimalen Pfade und somit die notwendige Rechen- und Speicherkapazit¨at ansteigt.

Literaturverzeichnis 1. Mortensen EN, Morse BS, Barrett WA, et al. Adaptive Boundary Detection Using ‘Live-Wire’ Two-Dimensional Dynamic Programming. In: IEEE Proceedings of Computers in Cardiology (CIC ’92). Durham, NC; 1992. p. 635–638. 2. Dijkstra EW. A note on two problems in connexion with graphs. In: Numerische Mathematik. vol. 1. Mathematisch Centrum, Amsterdam, The Netherlands; 1959. p. 269–271. 3. Ford Jr LR. Network Flow Theory. The RAND Corperation, Santa Moncia, California; 1956. 4. Fischler MA, Tenenbaum JM, Wolf HC. Detection of Roads and Linear Structures in Low-Resolution Aerial Imagery Using a Multisource Knowledge Integration Technique. Computer Graphics and Image Processing 1981;15:201–223. 5. Canny J. A Computational Approach to Edge Detection. In: Fischler MA, Firschein O, editors. Readings in Computer Vision: Issues, Problems, Principles, and Paradigms. Los Altos, CA.: Kaufmann; 1987. p. 184–203.

Automatic Segmentation of the Vessel Lumen from 3D CTA Images of Aortic Dissection Tam´as Kov´acs1, Philippe Cattin1 , Hatem Alkadhi2 , Simon Wildermuth3 and G´ abor Sz´ekely1 1

Computer Vision Group, ETH Z¨ urich, 8092 Z¨ urich, Switzerland Institute of Diagnostic Radiology, University Hospital, 8092 Z¨ urich, 3 Institut fuer Radiologie, Kantonsspital St. Gallen, 9000 St. Gallen, Switzerland Email: 1 {kovacs, cattin, szekely}@vision.ee.ethz.ch, 2 [email protected], 3 [email protected] 2

Abstract. Acute aortic dissection is a life-threatening condition and must be diagnosed and treated promptly. For treatment planning the reliable identification of the true and false lumen is crucial. However, a fully automatic Computer Aided Diagnosing system capable to display the different lumens in an easily comprehensible and timely manner is still not available. In this paper we present the first step towards such a system, namely a method that segments the entire aorta without any user interaction. The method is robust against inhomogeneous distribution of the contrast agent generally seen in dissected aortas, high-density artifacts, and the dissection membrane separating the true and the false lumen.

1

Introduction

Acute aortic dissection is a life-threatening condition and must be diagnosed and treated promptly. The reliable identification of the true and false lumen is crucial for treatment planning. This is, however, a difficult task, even for trained professionals. A fully automatic Computer Aided Diagnosing (CAD) system capable to display the different lumens in an easily comprehensible way is still not available. It is thus the aim of this research to provide the radiologists generic tools to support diagnosis and treatment planning. In order to accomplish such a CAD system, an accurate segmentation of the entire aorta including the aortic arch as well as the ascending and descending segments is essential. Different solutions for the aorta segmentation can be found in literature. These include vessel axis extraction and border estimation [1, 2], neural network [3], watershed-based [4], region growing [5] and level set-based [6] approaches. All of these methods segment just a well defined part of the aorta, require manual initialization and some even user intervention. Moreover, these methods are not robust against the disturbing artifacts in the image data like the different densities of the contrast agent caused by flow variations in the two lumens, reconstruction errors due to high contrast agent density [7] and last but not least they are not able to deal with the dissection membrane within the aortic lumen.

162

T. Kov´ acs et al.

We have developed a method for the fully automatic segmentation of the aorta based on the Hough transformation (HT) and a deformable model (DM) framework. An extensive survey of the DMs is given in [8]. The DMs always require an accurate initialization of the object. Behrens in [9] suggests a Houghbased algorithm combined with a Kalman filter to obtain an approximate segmentation of tubular structures. The drawback of this approach is, however, the need for three initial parameters (starting point of the aorta, the aorta radius, and an approximate axis direction). Additionally, the large number of applied HTs make the segmentation relatively slow. In comparison to this approach, our method incorporates more a priori anatomical knowledge about the shape of the aortic arch and therefore needs no initial parameters.

2

Description of the Method

We present a robust, model based approach capable to segment the aorta regardless the inherent deficiencies present in CTA images of aortic dissections. The method is based on the observation that on the one hand the aorta lumen has an approximately circular cross section and on the other hand the aortic arch forms a 180◦ -sector of a torus. Using this a priori knowledge as a simple model in combination with the Hough transformation yields a reliable aorta segmentation method. As will be shown in the results, the circular shape of the aorta is an ideal constraining factor to support the segmentation process. In order to create an initial mesh for the DM, two seed points must be determined in the ascending as well as in the descending aorta. The points can be placed by a user (semiautomatic segmentation) or they can be calculated automatically as will be described next. In the first step the region of the heart is detected by calculating the average intensity of all axial slices. As the heart chambers have large cross sections filled with contrast agent, the highest average intensity is a reliable locator. Starting from the slice with the highest average intensity 20 axial slices were taken with a distance of 1 cm. On each of these slices the two circles defined by the strongest Hough-peaks were detected which mostly corresponded to the ascending and descending aorta. For the first slices, still in the heart region, no such circles are detected. In the next step, the centers of the detected circles from all of the slices are projected to an axial plane, which results in a set of points given by (x, y) coordinates. In order to obtain the positions of the aorta the set of points have to be spatially clustered, which in our case was performed with the K-means algorithm. According to our experiments the HT within the given interval superior the heart can detect not only the ascending and descending aorta but also the spine (although with a lower probability). Based on this consideration we have set the number of clusters to three. The centers of the two largest clusters in terms of number of elements approximate the position of the ascending and descending aorta. As the last step we search for the slice closest to the heart on which the two detected circles are members of the respective

Automatic Segmentation of the Vessel Lumen

163

clusters. The centers of these two circles serve as the seed points (CA , CD ) of the ascending and descending aorta, see Fig. 2(a)/1. Based on the relative position of (CA , CD ) the radius r of the aortic arch can be estimated with r = |CA − CD |/2, see Fig. 2(a)/2. With an additional HT on the reformatted slice perpendicular to the connecting line of the circle centers CA and CD , the superior point of the aortic arch can be estimated as shown in Fig. 2(a)/3. Since the aorta and the pulmonary artery are located close to each other, in fact two different circles are detected in the preceding step. From anatomical knowledge, however, we know that the aorta lies superior to the pulmonary artery (Fig. 2(a)/4) yielding C90◦ as the circle center. The center Carch of the aortic arch, Fig. 2(b), can now be determined with Carch = → − → − → − → − → − → − → − → − C90◦ + r( C AD − C 90◦ )/(| C AD − C 90◦ |) were C AD = C A + ( C D − C A )/2. So far the aorta centerline is defined by the three circle centers CA , C90◦ , and CD . For further refinement, additional slices are reformatted in 15 degree steps by pivoting around Carch , yielding 13 additional circle centers and aorta diameter pairs (Ci , di ) ∀ i = 0◦ , 15◦ , ..., 180◦ , see Fig. 2(b)/5. To avoid outliers in the first place, the two connecting lines between (C0◦ , C90◦ ) and (C90◦ , C180◦ ) are taken as a rough aortic arch model and the ROI in every reformatted slice can be restricted to 2.5-times the average aorta diameter. Defining tight ROIs not only increases the robustness, but also reduces the computational load of the approach, as the time consuming HTs are only applied to small subimages found by the model assumptions with the previously estimated parameters. Based on the center points Ci , a good approximation for the midline of the aortic arch is given. Starting from C180◦ the aorta segmentation is extended, in 2 cm steps, through the descending aorta towards the iliac bifurcation Fig. 2(b)/6. For computational efficiency the ROI is located at the same position as in the last slice and the ROI is limited to 70 × 70 mm2 . As the vessel’s cross section close to the bifurcation loses its circular shape, the distal end of the descending aorta can be easily detected and the process stopped. The centerline of the aorta and the arch is then interpolated from the center points using a cubic spline, see Fig. 2(b)/7. To further refine the segmentation, an elastically deformable model (DM) is used. The initial mesh of the DM can be easily generated using the aorta centerline with the associated aorta diameters. This initialization is then optimized using the mass-spring analogy as described in [10].

3

Results

The method was applied to 21 patients of which 3 had normal healthy anatomy and 8 abdominal aortic dissection. The 10 remaining patients have shown multiple pathologies as 3 aneurisms, 6 stenosis, and 8 stent grafts. The CT datasets typically consisted of 500 − 650 slices of 512 × 512 pixels using 16-bit quantization, with a pixel size of 0.6 − 0.65 mm, and an effective slice thickness of 2 mm. From the 21 datasets only the 3 aneurism and one heavy stenosis case failed, as our current implementation can not yet handle the variing lumen diameter. In spite of the sometimes bad signal-to-noise ratio and the presence of distractor

164

T. Kov´ acs et al.

Fig. 1. (a) The detection of the three initial circles to estimate the parameters of the aortic arch (b) the refinement of the aortic arch and the descending aorta with additional circles. The steps described in the text are highlighted with numbers

(a)

(b)

objects like stents, the segmentation process was successful in all other cases, as demonstrated on some examples in Fig. 2. To obtain a quantitative assessment, the datasets were manually segmented. The mesh of these segmentations were taken as the ground truth and compared to the results of the 17 successful segmentations. To quantify the performance, we determined the average distance of the two meshes perpendicular to the manual segmentation. Our method performed equally well for the group of healthy patients (3), dissections (8), small stenosis (2) resulting in an overall average error of 1.1 ± 0.17 mm. The best segmentation had an average distance of 0.84 ± 0.92 mm and the worst one of 1.33 ± 1.04 mm. The results were less satisfactory for the stent graft cases with an average distance of 2.22 ± 0.33 mm. The average time required to perform a manual segmentation was 40 min per dataset. In contrast, the processing time was less than 1 min for the semiautomatic segmentation (the two initial points were placed by a user), and about 6 min for the fully automatic procedure using a standard 2.4 GHz PC.

4

Discussion and Conclusion

In this paper we presented an automatic method for the segmentation of the aorta using a model based approach. The method uses HTs to detect the approximately circular shape of the aorta on the individual slices orthogonal to the vessel, and a 3D elastically deformable mass-spring model to more accurately adjust the detected contour to the aortic lumen. The method is robust against acquisition artifacts typically present in 3D CTA images of aortic dissections. The performance of the method has been evaluated on CT angiographic images of 21 patients. The results have been satisfactory, even if manual segmentation by a human expert would have produced a more accurate delineation of the lumen on some slices.

Automatic Segmentation of the Vessel Lumen

165

Fig. 2. (a) Accurate segmentation of the aortic arch displayed on an axial slice, (b) segmentation with the dissection membrane close the lumen wall, (c) the aorta outline on a slice of a noisy dataset, (d) 3D rendering of the segmented aorta

(a)

(b)

(c)

(d)

Our future work will concentrate on the detection of the dissection membrane within the identified region of interest. The detected membrane is then used to identify and visualize the true and false lumen of the aorta. Acknowledgments. This work has been supported by the CO-ME/NCCR research network of the Swiss National Science Foundation (http://co-me.ch).

References 1. Verdonck B, Bloch I, Maˆıtre H, et al. Accurate Segmentation of Blood Vessels from 3D Medical Images. In: IEEE Int Conf on Image Process; 1996. p. 311–314. 2. Wink O, Niessen WJ, Viergever MA. Fast Delineation and Visualization of Vessels in 3-D Angiographic Images. IEEE Trans Med Imaging 2000;19(4):337–346. 3. Katz WT, Merickel MB. Aorta Detection In Magnetic Resonance Images Using Multiple Artificial Neural Networks. In: Annual Int Conf of the IEEE Eng Med Biol Mag; 1990. p. 1302–1303. 4. Tek H, Akova F, Ayvaci A. Region competition via local watershed operators. In: IEEE Comput Soc Conf on Comput Vis and Pattern Recog; 2005. p. 361–368. 5. Pohle R, Toennies KD. Segmentation of Medical Images Using Adaptive Region Growing. In: SPIE Med Imaging Conf. vol. 4322; 2001. 6. Loncari´c S, Subasi´c M, Soratin E. 3-D deformable model for abdominal aortic aneurysm segmentation from CT images. First Int Workshop on Image and Signal Process and Anal 2000. 7. Baissalov R, Sandison GA, Donnelly BJ, et al. Suppression of high-density artefacts in x-ray CT images using temporal digital subtraction with application to cryotherapy. Phys Med Biol 2000;45:53–59. 8. McInerney T, Terzopoulos D. Deformable Models in Medical Image Analysis: A Survey. Med Image Anal 1996;1:91–108. 9. Behrens T, Rohr K, Stiehl HS. Robust Segmentation of Tubular Structures in 3-D Medical Images by Parametric Object Detection and Traking. IEEE Trans Syst Man Cybern B 2003;33:554–561. 10. Zsemlye Gabriel. Shape Prediction from Partial Information. Ph.D. thesis. Computer Vision Laboratory, ETH Zurich, Switzerland; 2005.

Automatische Erstellung von gleichm¨ aßig verteilten Landmarken fu ¨r statistische Formmodelle Tobias Heimann, Ivo Wolf und Hans-Peter Meinzer Abteilung f¨ ur Medizinische und Biologische Informatik, Deutsches Krebsforschungszentrum, 69120 Heidelberg Email: [email protected]

Zusammenfassung. Die Minimierung der Beschreibungsl¨ ange (MDL) ist eine der vielversprechendsten Methoden, um automatisch die n¨ otigen Punkt-Korrespondenzen f¨ ur die Erstellung statistischer Formmodelle zu bestimmen. Bisher gibt es allerdings keine M¨ oglichkeit, die Verteilung der erstellten Landmarken auf dem Modell zu beeinflussen, was zu unzureichenden Formdarstellungen f¨ uhren kann. In dieser Arbeit erweitern wir eine bekannte Methode, welche die Punkte auf einem einzelnen Gitternetz (Mesh) neu konfiguriert, f¨ ur den Einsatz mit statistischen Formmodellen. In einer abschließenden Evaluation mit Lungen- und Leberdatens¨ atzen zeigen wir, dass unser Verfahren die Generalisierungsf¨ ahigkeit und Spezifit¨ at der generierten Modelle signifikant verbessert.

1

Einleitung

In der medizinischen Bildverarbeitung ist die automatische Segmentierung dreidimensionaler Datens¨ atze noch immer ein weitgehend ungel¨ostes Problem. Beachtliche Erfolge wurden in den letzten Jahren bei der Verwendung statistischer Formmodelle (auch Active Shape Models“) [1] erzielt. Hierbei orientiert sich ” der Computer an einem statistischen Modell der zu findenden Strukturen, das aus einer Menge von Trainingsdaten gewonnen wird. Um ein solches Modell zu erstellen, muss zuerst eine Anzahl korrespondierender Punkte oder Landmarken auf den Trainingsdaten gefunden werden. Zur L¨osung dieses Problems existieren mehrere unterschiedliche Ans¨ atze: Eine M¨ oglichkeit ist, die Landmarken durch Registrierung mit einem deformierbaren Template, z.B. mit Hilfe von ThinPlate-Splines, auf jedes Trainingsmuster abzubilden. Auch u ¨ ber eine geeignete Parametrisierung der Formen wie Spherical Harmonics k¨onnen Korrespondenzen ermittelt werden. Wir nutzen in unserer Arbeit einen dritten Ansatz, bei dem die Korrespondenzen von einem Initialzustand aus iterativ verbessert werden. Dazu werden ebenfalls Parametrisierungen genutzt, die aber durch eine Kostenfunktion u ute des Modells optimiert werden. Die besten Ergebnisse ¨ ber die G¨ wurden bis jetzt mit einer auf MDL basierenden Kostenfunktion [2] erreicht. In diesem Beitrag besch¨ aftigen wir uns speziell mit dem Problem der fehlenden Kontrolle u ¨ ber die Verteilung der Landmarken auf den einzelnen Trainingsformen: Da das MDL-Verfahren dazu tendiert, Landmarken von starken

Automatische Erstellung von gleichm¨ aßig verteilten Landmarken

167

Ausbuchtungen der Formen weg zu bewegen, k¨ onnen sich durch die resultierende ungleichm¨ aßige Triangulierung betr¨ achtliche Differenzen zwischen den Trainingsdaten und ihrer Repr¨ asentation im Modell ergeben (Abb. 1(a)). Gleichm¨aßig verteilte Landmarken w¨ aren hier, genauso wie bei der Nutzung des Modells f¨ ur die Segmentierung, von großem Vorteil.

2

Grundlagen

Um ein statistisches Formmodell zu erstellen, m¨ ussen auf allen Trainingsdaten zuerst korrespondierende Landmarken positioniert werden. Beim MDL-Verfahren werden diese Landmarken nicht direkt auf den Eingangsdaten platziert, stattdessen wird jede 3D-Oberfl¨ ache zuerst in eine simplere Form u uhrt und die ¨berf¨ einzelnen Punkte dort initialisiert und modifiziert. F¨ ur Objekte ohne L¨ocher und Selbst¨ uberschneidungen (Genus 0) ist dieser Parameterraum kugelf¨ormig und u angen- und Breitengrade definiert. Wir verwenden das in [3] vor¨ ber L¨ gestellte Verfahren, um konforme (winkeltreue) Parametrisierungen Ω f¨ ur alle Trainingsdaten zu erzeugen. Eine beliebige Menge von Punkten Ψ , normalerweise gleichm¨ aßig auf der Kugel verteilt, l¨ asst sich dann u ¨ ber die Parametrisierungsfunktion Ωi in den Objektraum transformieren und repr¨asentiert dort das i-te Trainingsmuster. Um die initialen, weitgehend zuf¨ alligen, Korrespondenzen zu verbessern, lassen wir Ψ konstant und modifizieren stattdessen die Parametrisierungsfunktionen Ωi , wodurch die Landmarken im Objektraum ebenfalls verschoben werden. Als Optimierungsmethode kommt ein Gradientenabstiegsverfahren zum Einsatz, welches die Parametrisierungen in lokal beschr¨ ankten Bereichen auswertet und durch eine Gauss’sche H¨ ullkurve moduliert in die optimale Richtung verschiebt. Die technischen Details dieses Verfahrens sind in [4] beschrieben. Die Korrespondenz zwischen den einzelnen Trainingsmustern ist somit ausschließlich durch die Parametrisierungen gegeben, die Punkte auf der Kugel Ψ sind f¨ ur alle Trainingsdaten gleich und bestimmen nur noch die Verteilung der Landmarken. Dadurch sind wir in der Lage, diese Punkte zu jedem beliebigen Zeitpunkt umzustrukturieren, ohne die Korrespondenzen zu verlieren.

3

Umverteilen von Landmarken

Um eine bestimmte Landmarkenverteilung im Objektraum zu erreichen, verwenden wir eine Modifikation des in [5] beschriebenen Verfahrens, welches zur Umverteilung der Knotenpunkte eines Meshes entwickelt wurde und zusammengefasst wie folgt funktioniert: Die gew¨ unschte Punktdichte wird in einem zweidimensionalen Parameterraum durch ein Graustufenbild kodiert, wobei eine hohe Dichte durch helle Pixel repr¨ asentiert wird. Um eine gleichm¨aßige Verteilung der Knotenpunkte zu erzielen, wird f¨ ur jedes Dreieck des Meshes ein Verzerrungsfaktor berechnet, der sich aus der Dreiecksfl¨ache im Objektraum geteilt durch die Dreiecksfl¨ ache im Parameterraum ergibt. Alle Dreiecke werden mit ihrem Verzerrungsfaktor als Farbe im Parameterraum geren-

168

T. Heimann, I. Wolf und H.-P. Meinzer

Abb. 1. (a) Die stark schwankende Landmarkendichte f¨ uhrt zu einer unzureichenden Beschreibung der transparenten Trainingsform durch das Modell. (b) Auf der Verzerrungskarte im Parameterraum sind die unterbesetzten Regionen deutlich zu erkennen. (c) Dithering der Karte und eine Delaunay-Triangulierung liefern die Positionen der neuen Landmarken. (d) Zur¨ uck in den Objektraum transformiert, sind alle Landmarken gleichm¨ aßig verteilt und beschreiben die Form richtig.

(a)

(b)

(c)

(d)

dert, wodurch sich eine Verzerrungskarte des Meshes ergibt (Abb. 1(b)). Dieses Graustufenbild wird durch bew¨ ahrte Halbton-Verfahren (Dithering) auf ein Schwarz/Weiß-Bild reduziert, wobei die Gesamtzahl weißer Pixel – welche die neuen Knotenpunkte darstellen – im Voraus festgelegt wird. Mit Hilfe einer 2DDelaunay Triangulierung k¨ onnen dann die neuen Punktverbindungen bestimmt werden (Abb. 1(c)). Nach einer Gl¨ attung durch den Laplace’schen Fluss werden alle Punkte zur¨ uck in den Objektraum transformiert und ergeben die neuen Landmarken-Positionen (Abb. 1(d)). Anstatt eines einzelnen Meshes haben wir f¨ ur unser Formmodell eine ganze Reihe von Trainingsdaten, die mit einer Menge von Landmarken (den Knotenpunkten im Mesh) dargestellt werden muss. Dank der verwendeten Korrespondenzoptimierung kennen wir bereits Parametrisierungen f¨ ur alle Formen, wenn auch in Kugelform. Um diese Parametrisierungen in den erforderlichen 2D-Raum zu transformieren, teilen wir jede Kugel in zwei H¨alften und nutzen f¨ ur beide die stereographische Projektion auf die Ebene, in der das Graustufenbild erstellt wird. Abschließend bilden wir aus allen Bildern derselben Kugelh¨alfte durch Addition der korrespondierenden Grauwerte ein Durchschnittsbild, auf welchem das Dithering f¨ ur die neuen Landmarken durchgef¨ uhrt wird.

4

Evaluation von statistischen Formmodellen

F¨ ur die Evaluation von statistischen Formmodellen haben sich die objektiven Maße Generalisierungsf¨ ahigkeit und Spezifit¨at bew¨ahrt [6]. Die Generalisierungsf¨ ahigkeit beschreibt die F¨ ahigkeit des Modells, neue Formen zu repr¨asentieren. Sie kann durch eine Reihe von Leave-one-out“-Tests auf den ” Trainingsdaten quantifiziert werden, indem die Abweichung zwischen der ausgelassenen Form und der besten Ann¨ ahrung mit dem reduzierten Modell gemessen wird. Spezifit¨ at beschreibt die G¨ ultigkeit der Formen, die das Modell

Automatische Erstellung von gleichm¨ aßig verteilten Landmarken

169

produziert. Der Wert wird gesch¨ atzt, indem eine hohe Anzahl (in unserem Fall 10.000) von zuf¨ alligen Parameterwerten f¨ ur das Modell generiert wird und jeweils die Abweichung zum ¨ ahnlichsten Muster aus der Trainingsmenge gemessen wird. Um Abweichungen zwischen zwei Formen zu quantifizieren, wird bisher die durchschnittliche Entfernung zwischen korrespondierenden Landmarken berechnet. Mit dieser Methode k¨ onnen allerdings nur Modelle mit gleicher Anzahl von Landmarken und ¨ahnlicher Verteilung zuverl¨ assig verglichen werden [7]. In unserem neuen Evaluierungsverfahren ersetzen wir die landmarkenbasierte Metrik durch eine volumenbezogene: Die zu vergleichenden Formen, repr¨asentiert durch Landmarken und darauf basierende Gitternetze, werden dabei zuerst in zwei Volumenbilder gerendert. Anschließend werden die Ergebnisse (A und B) mit Hilfe des Tanimoto-Koeffizienten verglichen: CT =

|A ∩ B| |A ∪ B|

(1)

F¨ ur die Berechnung von Generalisierungsf¨ ahigkeit und Spezifit¨at werden die generierten Instanzen des Modells mit den Original-Trainingsdaten verglichen, nicht mit ihrer Modell-Approximation. Dadurch wird das Verfahren sensitiver gegen¨ uber unzul¨ anglichen Formbeschreibungen wie in Abb. 1(a).

5

Ergebnisse

Um das beschriebene Verfahren zu testen, wurden f¨ ur zwei Mengen von Trainingsdaten (18 Lungen- und 32 Leberdaten) jeweils drei statistische Formmodelle erzeugt: Das erste Modell wurde mit dem Referenzverfahren aus [4] erstellt. Die resultierenden Parametrisierungen wurden an den Algorithmus zur Landmarkenumverteilung weitergeleitet, der die Landmarken gleichm¨aßig u ¨ ber alle Formen verteilte und so das zweite Modell erzeugte. Bei der Erstellung des dritten Modells wurden die Landmarken bereits w¨ ahrend des Optimierungsvorgangs alle 10 Iterationen neu verteilt. Die Ergebnisse der Auswertung mit den Evaluationsmaßen aus Abschnitt 4 sind in Abb. 2 dargestellt. Obwohl sich die Generalisierungsf¨ ahigkeit auch nach einer einmaligen Umverteilung schon deutlich verbessert, wird ein signifikanter Unterschied erst durch eine iterative Umverteilung erreicht. F¨ ur die Spezifit¨ at erbringt die Umverteilung aufgrund der kleineren Standardfehler schon einmalig eine signifikante Verbesserung. Auch hier werden die besten Ergebnisse aber mit einer iterativen Umverteilung erzielt.

6

Zusammenfassung

Die Verteilung der Landmarken spielt, u ¨ ber die richtigen Korrespondenzen hinaus, eine erhebliche Rolle bei der Modellerstellung. Gleichverteilte Landmarken verbessern die Qualit¨ at des MDL-Verfahrens in Bezug auf Generalisierungsf¨ ahigkeit und Spezifit¨ at und sollten so zu einer verbesserten Performance des Modells bei der Segmentierung in den klinischen Anwendungen f¨ uhren. Auch weitere Einsatzbereiche von statistischen Formmodellen, z.B. in Diagnostik und Simulation, k¨ onnen von dem beschriebenen Verfahren profitieren.

170

T. Heimann, I. Wolf und H.-P. Meinzer

Abb. 2. Generalisierungsf¨ ahigkeit und Spezifit¨ at f¨ ur beide Datens¨ atze. Der Volumenfehler ist spezifiziert als 100(1 − CT ) mit CT als Tanimoto-Koeffizient. In beiden Modellen beschreiben die dargestellten zehn Parameter 90% der Gesamtvarianz. Generalisierungsfaehigkeit Lunge

Spezifitaet Lunge

10.5

9.4 Standard Optimierung Einmalige Umverteilung Iterative Umverteilung

10

9.2 Volumenfehler

Volumenfehler

9 9.5 9 8.5

8.8 8.6 8.4 8.2

8

Standard Optimierung Einmalige Umverteilung Iterative Umverteilung

8

7.5

7.8 1

2

3

4 5 6 7 Anzahl Parameter

8

9

1

10

2

3

8

9

10

9

10

Spezifitaet Leber

Generalisierungsfaehigkeit Leber 26

19.5 Standard Optimierung Einmalige Umverteilung Iterative Umverteilung

24

19 18.5

22

Volumenfehler

Volumenfehler

4 5 6 7 Anzahl Parameter

20 18 16

18 17.5 17 16.5 16 15.5

14

Standard Optimierung Einmalige Umverteilung Iterative Umverteilung

15 14.5

12 1

2

3

4 5 6 7 Anzahl Parameter

8

9

10

1

2

3

4 5 6 7 Anzahl Parameter

8

Literaturverzeichnis 1. Cootes TF, Taylor CJ, Cooper DH, Graham J. Active Shape Models – Their Training and Application. CVIU 1995;61(1):38–59. 2. Davies RH, Twining CJ, Cootes TF, Waterton JC, Taylor CJ. 3D Statistical Shape Models Using Direct Optimisation of Description Length. In: Procs ECCV. Springer; 2002. p. 3–20. 3. Gu X, Wang Y, Chan TF, Thompson PM, Yau ST. Genus Zero Surface Conformal Mapping and Its Application to Brain Surface Mapping. In: Procs IPMI. Springer; 2003. p. 172–184. 4. Heimann T, Wolf I, Williams TG, Meinzer HP. 3D Active Shape Models Using Gradient Descent Optimization of Description Legth. In: Procs IPMI. Springer; 2005. p. 566–577. 5. Alliez P, Meyer M, Desbrun M. Interactive Geometry Remeshing. ACM TOG Special issue for SIGGRAPH conference 2002;21(3):347–354. 6. Styner M, Rajamani KT, Nolte LP, Zsemlye G, Sz´ekely G, Taylor CJ, et al. Evaluation of 3D Correspondence Methods for Model Building. In: Procs IPMI. Springer; 2003. p. 63–75. 7. Heimann T, Wolf I, Meinzer HP. Optimal Landmark Distributions for Statistical Shape Model Construction. In: Procs SPIE Medical Imaging (Akzeptiert); 2006.

Evaluation of Active Appearance Models for Cardiac MRI Tobias B¨ohler1 , Tobias Boskamp1 , Heinrich M¨ uller2 , 1 Anja Hennemuth and Heinz-Otto Peitgen1 1

MeVis - Center for Medical Diagnostic Systems and Visualization, Universit¨ atsallee 29, 28359 Bremen 2 LS VII Computer Graphics, University of Dortmund, Otto-Hahn-Strasse 16, 44221 Dortmund Email: [email protected]

Abstract. Robust delineation of short-axis cardiac magnetic resonance images (MRI) is a fundamental precondition for functional heart diagnostics. Segmentation of the myocardium and the left ventricular blood pool allows for the analysis of important quantitative parameters. Modelbased segmentation methods based on representative image data provide an inherently stable tool for this task. We present an implementation and evaluation of 3-D Active Appearance Models for the segmentation of the left ventricle using actual clinical case images. Models created from varying random data sets have been evaluated and compared with manual segmentations.

1

Introduction

Cardiac Magnetic Resonance Imaging (MRI) has become a reliable method for the detection of common heart diseases. Cardiac dysfunctions, most notably the coronary heart disease, are the major cause of death in European countries and worldwide [1]. A thorough functional analysis can provide valuable data for cardiac diagnosis and therapeutical treatment planning. Fundamental parameters include the ejection fraction, the stroke volume, and the myocardial wall thickness. The computation of these values requires the delineation of the left ventricular myocardium. The segmentation of these structure in MR images is a complex task. A variety of approaches have been proposed, which can be roughly divided into semi-automatic and fully-automatic segmentation techniques. The former include algorithms requiring a great amount of manual interaction, such as the tracing of ventricular contours using intelligent scissors [2]. If huge amounts of image data need to be processed, these methods are cumbersome. Therefore, an automation of the procedure is highly desired, and approaches using deformable models or similar model-based criteria are common. Due to noise and artifacts in MR images, model-based approaches providing inherent information on anatomical structure are highly beneficial. For instance, Active Contour

172

T. B¨ ohler et al.

Models use image gradient forces and internal energy terms to determine contour points via a local optimization scheme [3]. For 3-D images, this technique has been extended to higher dimensional ”Balloon”segmentation methods [4]. However, the gradient image required for the edge detection is often perturbed by noise and image artifacts, causing unsatisfactory segmentation results. Other approaches combine known segmentation results to a single statistical model. The segmentation is then performed by iteratively fitting the model to an input image via an optimization process. For geometrical information, this approach has found wide usage in the form of Active Shape Models, which have been applied to ventricular anatomy [5, 6]. Atlas-based segmentation methods utilize an atlas built from a training set of patient images, representing common features among those images [7]. Active Appearance Models (AAM) combine a model of the shape structure with a model of gray value intensities and have been used in a variety of applications [8]. Due to the more complex nature of the AAM, most implementations were restricted to a two-dimensional approach. Recently, the application of a full 3-D AAM to cardiac MRI and ultrasound was proposed [9]. Such approaches to cardiac functional analysis are subject to current research, and several implementations and enhancements have been reported [10]. We modified the approach of Mitchell et al. [9] and evaluated our implementation using a random set of cardiac images taken from actual clinical routine.

2

Model Generation

The creation of a single model of cardiac appearance requires a preceding delineation of the endo- and epicardial borders of the myocardium. After tracing the contours semi-automatically using intelligent scissors [2], a Procrustes analysis is performed on the set of points, registering the shapes to a common reference frame via the Iterative Closest Point (ICP) algorithm [11]. The model parameterization is computed by creating a statistical model of the shape and texture variation in the sense of a single Point Distribution Model (PDM) of shape and texture dispersions [8]. A Principle Component Analysis (PCA) is employed for this purpose [5]. In order to build a combined AAM, the PCA is applied three times. First, a model of the shape variance is constructed from the registered contour points. Subsequently, the texture model is generated by warping the textures enclosed by the outlined contours to a common reference frame, typically the mean shape, and applying the PCA once again. Finally, the combined model is constructed by creating combined parameter vectors     Wcs ¯) WPs (x − x , (1) = bc = Pg (g − g cg ¯) and performing the PCA once more, where Pg and Ps denote the corresponding eigenmatrices for shape and gray values, x ¯ and g ¯ give the population means, and W is a suitable matrix describing the correlation of gray values and textures [8]. Inverting these linear equations, corresponding model instances are constructed independently of each other. An exemplary generated shape model can be seen in Figure 1.

Evaluation of Active Appearance Models for Cardiac MRI

173

Fig. 1. Ventricular shape model (l.) and its application: Initial (m.), converged (r.).

3

Model Fitting

The process of segmentation can be interpreted as a non-linear optimization problem of fitting the multi-parametric heart model to the input image to be processed. The difference is measured by the root mean square error 1 1 (wi − gi )2 ) 2 , n i=1

n

e(w, g) = (

(2)

where w denotes the vector of warped gray values from the input image, and g the model gray value vector. A semi-3-D steepest descent optimization strategy is employed, using the numerically computed derivatives of the error measure and providing a stable algorithm. Transformation parameters are evaluated in directions orthogonal to the heart’s long axis. The warping step is performed in a 2-D piecewise-affine fashion, computing the triangle ∆ = (t1 , t2 , t3 ) containing each point p = (px , py )T and solving for its barycentric coordinates α, β, and γ defined by αt1 + βt2 + γt3 = p. Although this takes advantage of the layered structure of the resampled image, the loss of three-dimensional information results in an error that can not be eliminated completely. On the other hand, this allows the computation of the derivatives at running time, in contrast to the usage of a pregenerated approximation computed from a training set [5]. An initialization of the mean model instance is provided by manually positioning the contour and adjusting its scale and translation. One single image slice and the corresponding segmentation can be seen in Figure 1.

4

Image Data and Evaluation

The model generation described above was performed using actual clinical routine images. Three types of MR devices manufactured by General Electric (Genesis Signa), Philips (Gyroscan Intera), and Siemens (MAGNETOM Sonata) were used for the MRI acquisition. The image sets contained 30 anonymized dynamic images, with each image consisting of 6 to 12 different image slices. Spatial planar resolution was 256 × 256 voxels for most images. In the preprocessing step, these images were resampled to a common number of slices, with resulting voxel sizes

174

T. B¨ ohler et al.

Table 1. Minimum and maximum distance error measures for the five models. Distance (mm) M 10 M 15 M 20 M 25 M 28 Minimum 0.08 0.11 0.22 0.24 0.31 Maximum 64.53 13.04 8.23 10.12 9.82 Table 2. Timings and numbers of iterations for the reference segmentations.

Model M 10 M 15 M 20 M 25 M 28

Computation time in sec. Iteration steps Average Minimum Maximum Minimum Maximum 81.14 37.94 157.85 3 13 99.84 60.17 195.99 4 10 92.74 23.40 189.98 3 10 96.25 32.57 163.78 4 11 101.62 46.12 181.20 3 11

ranging from 1.7mm to 1.9mm. Short-axis two-chamber views of the left and right ventricle were selected, and the corresponding endocardial and epicardial contours were delineated manually. Five models have been generated, with 10 to 28 images used for the model generation routine, respectively. The required images were selected randomly from the pool of existing image data, the explainable variance was set to 98% of the total variance. The accuracy of the models was determined by computing the averaged root mean square error (RMS) between manual segmentations and automatically delineated myocardial contours, as well as the minimum and maximum distance. For all models, the average segmentation error was 3.06mm (minimum 1.84mm, maximum 6.91mm). This corresponds to error distances of approximately 1.5 to 4 voxels, depending on the actual voxel size. As can be seen in Table 1, the minimum and maximum error values for the generated models (M 10 to M 28) vary with the number of included model images. By increasing the number of training images, the maximum error is being reduced, whereas the minimum error is being increased slightly, probably due to the greater amount of model variation. Three clinical images contained visible deformations of the myocardium, for instance dilated cardiomyopathy. The impact of these pathological images on the model-based segmentation was examined separately by creating a further Appearance Model. However, the effect of the inclusion of such images was found to be considerably low. Since an ordinary gradient descent optimization scheme was employed, the efficiency was rather limited. Table 2 shows the average number of required iteration steps to reach convergence, as well as the average time elapsed. The computation was performed using an ordinary personal computer (1.7GHz, 2GB RAM). As can be seen from the table, an increased number of model images leads to a reduced number of iterations in some cases. In comparison to optimization methods using precomputations, the method of directly evaluating the derivatives in each iteration is more time-consuming. However, since the training set descent matrix is just an approximation, the direct method is more robust.

Evaluation of Active Appearance Models for Cardiac MRI

5

175

Discussion

We have presented an evaluation of a 3-D Active Appearance Model segmentation for the automatic delineation of cardiac anatomy. The implemented method was analyzed using random sets of actual routine clininal case images for model generation and testing. In this way a considerably high level of authenticity and a realistic assessment of the method are achieved. The evaluation results hold promise for a fully automatic model-based segmentation method, and demonstrate that the quality of the resulting segmentations depends essentially on the number of images used for the model generation. This underlines the importance of large image databases as a precursor for a plausible model generation. The results indicate that the model-based segmentation has to be combined with an efficient and intuitive correction mechanism and a more efficient optimization strategy to find its way into clinical routine image processing. Acknowledgements. We would like to thank the clinical partners of the VICORA research project for providing the cardiac MR image data.

References 1. World Health Organization. The Atlas of Heart Disease and Stroke; 2004. Available from: http://www.who.int/cardiovascular diseases/resources/atlas/en/ 2. Mortensen EricN, Barrett WilliamA. Intelligent Scissors for Image Composition. In: Proc. of SIGGRAPH. New York, NY, USA: ACM Press; 1995. p. 191–198. 3. Kass M, Witkin A, Terzopoulos D. Snakes – Active Contour Models. International Journal of Computer Vision 1987;1(4):321–331. 4. Cohen LD. On Active Contour Models and Balloons. Comput Vision Image Understand 1991;53(2):211–218. 5. Cootes TF, Taylor CJ, Cooper DH, et al . Active Shape Models – their Training and Application. Comput Vision Image Understand 1995;61:38–59. 6. Frangi AF, Rueckert D, Schnabel JA, et al . Automatic Construction of Multipleobject Three-dimensional Statistical Shape Models: Application to Cardiac Modeling. IEEE Trans Med Imaging 2002;21(9):1151–1166. 7. Lorenzo-Valdes M, Sanchez-Ortiz GI, Elkington A, et al . Segmentation of 4D Cardiac MR Images using a Probabilistic Atlas and the EM Algorithm. Medical Image Analysis 2004;8(3):255–265. 8. Cootes TF, Edwards GJ, Taylor CJ. Active Appearance Models. Lecture Notes in Computer Science 1998;1407:484. 9. Mitchell SC, Bosch JG, Lelieveldt BPF, et al . 3-D Active Appearance Models: Segmentation of Cardiac MR and Ultrasound Images. IEEE Trans Med Imaging 2002;21:1167–1178. 10. Stegmann MB, Pedersen D. Bi-temporal 3D Active Appearance Models with Applications to Unsupervised Ejection Fraction Estimation. In: Proc. SPIE Medical Imaging. SPIE; 2005. 11. Besl PJ, McKay ND. A Method for Registration of 3-D Shapes. IEEE Trans Pattern Analysis Mach Intel 1992;14(2).

Automatische Segmentierung der Gewebegrenzen in 2D-Ultraschalldaten aus der Mund-, Kiefer- und Gesichtschirurgie S. G¨ ob3 , T. Maier1 , M. Benz1 , S. Lowitzsch1 , T. Wittenberg2 , W. Kullmann3 , E. Nkenke4 , F.W. Neukam4 und G. H¨ausler1 1

Institut f¨ ur Optik, Information und Photonik, Universit¨ at Erlangen-N¨ urnberg, Erlangen 2 Fraunhofer Institut f¨ ur Integrierte Schaltungen IIS, Erlangen 3 Labor f¨ ur Medizintechnik und Medizinische Informatik, Fachbereich Elektrotechnik der Fachhochschule W¨ urzburg-Schweinfurt, Schweinfurt 4 Klinik und Poliklinik f¨ ur Mund-, Kiefer-, Gesichtschirurgie der Universit¨ at Erlangen- N¨ urnberg, Erlangen Email: [email protected]

Zusammenfassung. Es soll ein Modell der Gewebeschwellung bei Operationen im Gesichtsbereich erstellt werden. Zur Berechnung des Modells werden zun¨ achst Daten mit einem optischen 3D-Sensor, sowie einem Ultraschallsensor akquiriert. F¨ ur den Modellierungsprozess ist es notwendig, die Haut- und die Knochengrenze aus den zweidimensionalen Ultraschallschnittbildern zu segmentieren. Die vorliegende Arbeit stellt ein vollautomatisches und robustes Verfahren zur Segmentierung der Konturen von Haut und Knochen vor.

1

Einleitung

Ein in der Mund-, Kiefer- und Gesichtschirurgie h¨aufig vorkommender Eingriff ist die Kieferverlagerung. Das Problem dabei ist die auftretende Gewebeschwellung. Diese verhindert, dass der Chirurg w¨ahrend des Eingriffs die postoperative Gesichtsform nach Abklingen der Schwellung erkennen kann. Es wird ein System entwickelt, mit dem auf Basis von pr¨aziser optischer 3DMesstechnik und nicht-ionisierender 2D-Ultraschallbildgebung eine intraoperative Pr¨ adiktion der Weichgewebeform des Patienten erzielt werden kann. Es gilt, ¨ das Odem zu quantifizieren. Dazu muss neben den optischen Oberfl¨achendaten auch das Volumen zwischen Haut- und Knochenoberfl¨ache erfasst werden. Die 2D-Ultraschallbildgebung liefert die gew¨ unschte Information, wobei keine Strahlenbelastung auftritt und die Kosten sehr gering bleiben. Das Gebiet der Schwellung wird durch mehrere Ultraschallmessungen erfasst. Haut- und Knochengrenzen werden durch Interpolation fl¨ achig modelliert, wodurch eine Schwellung in Form einer Volumen¨ anderung quantifizierbar wird. Die Interpolation erfolgt anhand der in den einzelnen Ultraschallbildern segmentierten Gewebegrenzen. F¨ ur den intraoperativen Einsatz muss die Segmentierung automatisiert werden. Diese ist Gegenstand des vorliegenden Beitrags.

Automatische Segmentierung der Gewebegrenzen in 2D-Ultraschalldaten

2

177

Stand der Forschung

Die Segmentierung von Ultraschalldaten ist eine in der Medizin weit verbreitete Anforderung. Leistungsf¨ ahige Programme f¨ ur die manuelle und halbautomatische Segmentierung beliebigen Bildmaterials stehen als Open Source oder kommerziell zur Verf¨ ugung, wie z. B. Amira oder MeVis. In den meisten F¨allen kommen Aktive Konturen (Snakes) zum Einsatz. Die Startkonturen der Snakes werden in Ultraschallbildern meist von Hand initiiert. Die Snake wird so optimiert, dass die Summe aus einem inneren und ¨außeren Energieterm minimal wird. Die innere Energie ist abh¨ angig von der Form der Kurve, die ¨außere Energie ber¨ ucksichtigt die Bildeigenschaften entlang der Kurve. F¨ ur die vollst¨andige Automatisierung einer Segmentierungsaufgabe gibt es nach wie vor keine allgemeine L¨ osung. Es finden sich gute Ans¨ atze, die sich aber meist auf einen bestimmten Kontext beziehen, z. B. die Knochensegmentierung im Rahmen der Orthop¨adie [1], welche in Modellsituationen erfolgreich, jedoch an realen Patienten fehlertr¨ achtig war, oder die Arbeit von [4], welche sich auf H¨ uft- und Oberschenkelkno¨ chen spezialisiert und die Haut v¨ ollig ausspart. Die geringe Ubertragbarkeit von Automatisierungsmethoden liegt vor allem an den sich unterscheidenden Weichgewebestrukturen der verschiedenen K¨ orperregionen. Sie ver¨andern die Texturcharakteristik eines Ultraschallbildes und erzwingen oft eine Anpassung oder neue Auswahl der Methoden. Zus¨ atzlich erschwert Speckle-Rauschen jede Segmentierung. Ultraschallbilder m¨ ussen daher in der Regel gefiltert werden. Meist liegt der Erfolg in der passenden Kombination verschiedener Methoden.

3

Methoden

Die Ultraschallmessungen wurden mit einem Sonoline Omnia der Firma Siemens durchgef¨ uhrt. Ausgewertet wurden 21 Bilddatens¨atze von zwei Probanden. Gemessen wurde im Bereich von Kiefer und Wange. Der Messbereich umfasste jeweils 244x427 Bildpixel. Um die automatische Segmentierung validieren zu k¨onnen, f¨ uhrte der Kieferchirurg eine halbautomatische Segmentierung der Gewebegrenzen mit MeVis durch. Es zeigte sich, dass die sequentielle Segmentierung von Haut- und Knochengrenze bei unterschiedlicher Vorverarbeitung sinnvoll ist. Verschiedene Filter wurden getestet. F¨ ur die Segmentierung der Hautgrenze erwies sich der ,,Diffusion Stick“ [2] als optimal. Durch die Unterdr¨ uckung von Speckle-Rauschen verst¨ arkt er beliebig orientierte Kanten, die bei anschließender Schwellwertfilterung deutlich hervortreten. F¨ ur die Segmentierung der Knochenoberfl¨ache zeigte sich das anisotrope Difussionsfilter nach Perona und Malik [3] als geeigneter. Die Knochengrenze ist prinzipiell schlechter (breiter und gestreuter) abgebildet. Eine Top-HatTransformation entfernt irrelevante Strukturen und hebt die Knochenstrukturen hervor. Durch die anschließende Anwendung eines Schwellwertfilters wird der Knochen noch besser vom Hintergrund getrennt und in seiner Erscheinung verst¨ arkt.

178

S. G¨ ob et al.

Zur anschließenden Bestimmung der gesuchten Konturlinien werden in einem ersten Schritt St¨ utzstellen entlang der Haut- bzw. Knochengrenze berechnet. Dabei gehen u. a. Plausibilit¨ ats¨ uberlegungen ein: Die Hautgrenze befindet sich sehr nahe am oberen Bildrand und wird bei pixelweiser Abw¨artstastung einer Bildspalte sehr fr¨ uh erreicht. F¨ ur die Knochengrenze gilt dies in umgekehrter Weise. Zu Beginn wird eine willk¨ urlich ausgew¨ ahlte Bildspalte betrachtet. F¨ ur jedes Pixel dieser Spalte wird der Abstand vom oberen bzw. unteren Bildrand, die Grauwertverteilung in seiner Umgebung und der Gradient bewertet. Auf diese Weise wird f¨ ur Haut- und Knochengrenze jeweils ein Anfangspixel gefunden, von dem aus die Kontur der Gewebegrenze (das Segment) nach links und rechts verfolgt wird. Die Nachfolgepunkte werden durch ein Energieminimierungsverfahren bestimmt. Es werden bei diesem folgende Energien berechnet:  α · ECont + β · EGrad + γ · EBand wenn i < 3 EGesamt = sonst α · ECont + β · EGrad + γ · EBand + δ · ESmooth (1) Dabei leitet sich ECont aus den Abst¨ anden zwischen den Punkten ab. Bei EGrad geht der Gradient ein. EBand wird im Folgenden als Bandenergie bezeichnet. In diesen Term geht das Vorwissen ein, dass die mittlere Intensit¨at oberhalb der Haut- bzw. Knochenkontur niedriger ist als unterhalb. ESmooth ergibt sich aus der Gl¨ atte der Kontur entlang der St¨ utzstellen. Diese kann erst berechnet werden wenn drei oder mehr Punkte bestimmt wurden.

Abb. 1. Bandenergie

Die Berechnung der Bandenergie erfolgt in Anlehnung an [6]. F¨ ur einen zu suchenden Nachfolgepunkt vi werden zuerst zwei Regionen Ri und R‘i definiert (vgl. Abb.1). Nach der Bestimmung der Regionen werden die Pixelwerte darin jeweils aufsummiert und die berechneten Summen subtrahiert: ⎞ ⎛     1 (2) ·⎝ I (pj ) − I pj ⎠ dif (vi ) = n·N

pj ∈Ri

pj ∈Ri

Automatische Segmentierung der Gewebegrenzen in 2D-Ultraschalldaten

179

Abb. 2. Segmentierung einer Haut- und einer Knochenkontur. Originalbild (oben), Bilder nach Vorverarbeitung (mitte), Ergebnisse der Segmentierung (unten).

pj bzw. p‘j stehen f¨ ur die Pixel die in Ri bzw. R‘i enthalten sind. n ist die Anzahl der Pixel in einer Region und N ist eine Normalisierungskonstante. EBand berechnet sich zu:  pen dif (vi ) < 0 EBand = (3) 1 − dif sonst Dabei ist pen eine Konstante zur ,,Bestrafung“, da in diesen F¨allen die Grauwertverteilung nicht der Erwartung entspricht. Durch EBand wird verhindert, dass der Nachfolgepunkt in bzw. unterhalb der zu suchenden Kontur gefunden wird. Sobald EGesamt einen vorgegebenen Wert u ¨ berschreitet, wird die Suche nach Nachfolgepunkten abgebrochen. Der Schwellwert wurde eingef¨ uhrt, da die zu suchenden Konturen nicht auf allen zu bearbeitenden Bildern durchg¨angig sind. Die so gefundenen St¨ utzstellenpunkte bilden die Startkontur f¨ ur die Optimierung durch eine Aktive Kontur. Als Aktive Kontur wurde das Verfahren nach [5] gew¨ ahlt. Die G¨ ute der Startkontur h¨ angt vom Anfangspunkt ab. Dieser wird in einer willk¨ urlich ausgew¨ ahlten Spalte, wie oben beschrieben, bestimmt. Um die Robustheit des Verfahrens zu steigern, werden mehrere Anfangspunkte u ¨ ber die Breite des Bildes verteilt bestimmt. Es ergeben sich somit auch mehrere Startkonturen f¨ ur die jeweils eine Optimierung durchgef¨ uhrt wird. Ausgew¨ahlt wird am Ende die Kontur, bei der die Aktive Kontur nach der Optimierung die niedrigste Gesamtenergie besitzt.

180

4

S. G¨ ob et al.

Ergebnisse

Die Konturfindung der Hautgrenze war in allen 21 Bildern m¨oglich. Ihre mittlere Abweichung von der fach¨ arztlich segmentierten Gewebegrenze betr¨agt 1,8 Pixel mit einer Standardabweichung von 0,8 Pixel, wobei ein Pixel 0,09 mm entspricht. Die Segmentierung der Knochengrenze wurde nur an 20 Bildern getestet, da auch der Arzt bei einem Bild keinen eindeutigen Verlauf festlegen konnte. In 19 Bildern wurde die Knochenkontur automatisch gefunden, die mittlere Abweichung von der Referenz ist jedoch mit 2,9 Pixel gr¨oßer als beim Hautsegment. Die Standardabweichung betr¨ agt hier 1,2 Pixel. Die Laufzeit betrug ca. 2 sec pro Bild und Gewebegrenze mit einem Pentium IV 2,9 GHz.

5

Diskussion

Es wurde eine Methode zur Segmentierung von Haut- und Knochengrenzen vorgestellt, welche an durchschnittlichen Ultraschallbildern aus dem Mittelgesicht viel versprechende Ergebnisse liefert. Die Segmentierungen konnten anhand der manuellen Referenzsegmentierungen des Arztes validiert werden. Es zeigte sich, dass das Verfahren eine robuste Automatisierung der Kontursegmentierung erm¨ oglicht. Die Hautgrenze war in allen F¨allen deutlicher zu sehen als die Knochengrenze, da u ¨ ber der Haut nur homogenes Gel auflag und der Bereich oberhalb der Haut somit artefaktarmer ist. Dies spiegelt sich auch in den Segmentierungsergebnissen wider, die bei der Hautkontur besser als bei der Knochenkontur sind. F¨ ur zuk¨ unftige Anwendungen im klinischen Betrieb gilt es, die Laufzeit des Verfahrens f¨ ur den intraoperativen Einsatz zu verk¨ urzen und es im klinischen Betrieb zu validieren.

Literaturverzeichnis 1. Kowal J, Amstutz C, Nolte L. On B-mode ultrasound-based registration for computer assisted orthopaedic surgery; 2001. 2. Xiao C, Chen Y. A diffusion stick method for speckle suppression in ultrasonic images. Pattern Recognition Letters 2004;25:1867–1877. 3. Perona P, Malik J. Scale-Space and Edge Detection Using Anisotropic Diffusion. IEEE Transactions On Pattern Analysis And Machine Intelligence 1990;12(7):629– 639. 4. Kryvanos A. Computer assisted surgery for fracture reduction and deformity correction of the pelvis and long bones. Ph.D. thesis. Universit¨ at Mannheim; 2002. 5. Akgul Y, Kambhamettu C. A Coarse-to-Fine Deformable Contour Optimization Framework. IEEE Transactions On Pattern Analysis And Machine Intelligence 2003;25(2):174–186. 6. Li M, Kambhamettu C. Snake For Band Edge Extractions And Its Applications. In: IASTED; 2003.

Intelligente Kantendetektion in endoskopischen Ultraschallbildern mit dem Centered-Compass-Filter Tobias Riegg, Ursula Zucker und Alexander Horsch Institut f¨ ur Medizinische Statistik und Epidemiologie, Technische Universit¨ at M¨ unchen, 81675 M¨ unchen Email: [email protected]

Zusammenfassung. Bei der computergest¨ utzten Analyse von endoskopischen Ultraschallbildern spielen Kantenfilter eine wichtige Rolle. Problematisch bei diesen Bildern sind das starke, modalit¨ atsspezifische Rauschen und die unregelm¨ aßige Struktur der Kanten. In diesem Artikel wird ein Kantenfilter vorgestellt, der die speziell bei endosonografischen Bildern auftretenden tangentialen oder grob kreisbogenf¨ ormigen Kanten detektiert, an denen man zum Beispiel bei der Detektion von Tumorberandungen interessiert ist. F¨ ur die Anwendung der Methode muss der Mittelpunkt der untersuchten Struktur, also etwa die ungef¨ ahre Lage des Lumenschwerpunkts, bekannt sein, um eine winkelabh¨ angige Filterung zu erm¨ oglichen. Das Verfahren wurde f¨ ur das Projekt OTEUS (Oesophagus Tumor Staging mit endoskopischem Ultraschall) der Technischen Universit¨ at M¨ unchen entwickelt und wird dort erfolgreich eingesetzt.

1

Einleitung

Ultraschall ist in der Medizin als bildgebendes Verfahren zur Untersuchung innerer Organe und Gewebestrukturen weit verbreitet. Medizinische Ultraschallaufnahmen sind nur sehr schwer objektiv zu beurteilen und auch die automatische Analyse von Ultraschallbildern ist auf Grund von Speckles, tiefenabh¨angiger Signald¨ ampfung, niedrigem Signal-Rausch-Verh¨altnis und richtungsabh¨angigem Kantenkontrast eine Herausforderung. Doch gerade die automatische Analyse und Interpretation dieser Aufnahmen ist zur objektiven, reproduzierbaren Diagnose und Behandlungsvorbereitung w¨ unschenswert und von hohem klinischen Nutzen. Ein essenzieller Schritt in Richtung automatischer Bildinterpreta¨ tion ist die Detektion von Uberg¨ angen zwischen verschiedenen Gewebeschichten [1, 2]. Da die meisten hierf¨ ur notwendigen Kantenfilter darauf ausgerichtet sind, m¨oglichst alle Kanten im Bild zu detektieren, ist es bei der weiteren Verarbeitung oft schwierig, relevante von irrelevanten Kanten zu unterscheiden. Hier sind also Verfahren zur Kantendetektion gefragt, die sehr tolerant gegen¨ uber Rauschen sind und die die Zahl der detektierten Kanten auf die notwendigen einschr¨anken und damit deren Nutzen maßgeblich verbessern. Zur weiteren Analyse ben¨otigt man nicht alle Kanten, u ussige Kanten erschweren diese sogar. ¨berfl¨

182

T. Riegg, U. Zucker und A. Horsch

Bei endoskopischen Ultraschallbildern, insbesondere des Oesophagus, kann man sich Wissen u ¨ ber die Beschaffenheit des Bildinhaltes bei der Filterung zu Nutze machen. Die R¨ ander von Oesophaguskarzinomen verlaufen auf den Ultraschallbildern ann¨ ahernd kreisbogenf¨ ormig entlang von Kanten, die einen ¨ Ubergang von hell nach dunkel, ausgehend vom Ultraschalltransducer, markieren. Um speziell diese relevanten Kanten zu detektieren, wurde ein darauf ausgerichteter Kantenfilter entwickelt, der abh¨ angig von der relativen Position eines Bildpunktes zum Transducer arbeitet.

2

Stand der Technik

G¨ angige Kantenfilter, wie z. B. der Sobel-Filter oder der Canny-Deriche-Filter, filtern das gesamte Bild aus bis zu vier Richtungen und w¨ahlen von den so erzeugten Werten den gr¨ oßten f¨ ur das resultierende Kantenbild. Mit dieser Vorgehensweise werden im Idealfall alle im Bild auftretenden Kanten detektiert [3, 4]. Eine gerichtete Kantenfilterung ist mit so genannten Kompassfiltern oder u ber Richtungsgradienten beim Sobelfilter und a¨hnlichen Filtern m¨oglich. Die ¨ hier frei w¨ ahlbare Richtung ist jedoch f¨ ur das gesamte Bild uniform festgelegt. Bei technischen Bildern ist diese unidirektionale Filterung aufgrund der geometrisch strukturierten Bildinhalte oft erw¨ unscht und sinnvoll, um den Anteil der nicht ben¨ otigten Kanten zu reduzieren und so speziell nach den gew¨ unschten Kanten zu suchen [5].

3

Wesentlicher Fortschritt durch den Beitrag

Mangels klarer geometrischer Formen war eine solche Vorselektion von Kanten bei organischen Bildinhalten bislang nicht denkbar. Der in dieser Arbeit neu entwickelte Centered-Compass-Filter (CCF) filtert nicht das gesamte Bild aus einer fest definierten Richtung, sondern ausgehend von einem Mittelpunkt der kreisf¨ ormigen Kanten strahlenf¨ ormig zum Bildrand. Hierbei wird das Wissen, dass die gesuchten Kanten n¨ aherungsweise konzentrisch um diesen Mittelpunkt liegen und so von dem Detektionsstrahl“ passiert werden m¨ ussen, genutzt. Es ” wird f¨ ur jeden Bildpunkt eine individuelle Filtermaske berechnet, die so gedreht ist, dass genau diese Kanten hohe Gradienten im Kantenbild zur Folge haben, w¨ahrend alle anderen Kanten nicht oder nur schwach auftreten.

4

Methoden und Materialien

Als Kompassfilter bezeichnet man parametrisierte Kantenfilter, deren Detektionsrichtung frei einstellbar ist. Erreicht wird diese Flexibilit¨at, indem man durch trigonometrische Umformungen die Filtermaske bzw. -matrix dreht. Im Gegensatz zu herk¨ ommlichen Kompassfiltern verwendet der hier vorgestellte CenteredCompass-Filter f¨ ur jeden Bildpunkt eine individuell berechnete Filtermaske. Ziel ist eine winkelabh¨ angige Filterung, abh¨ angig von der relativen Position eines

Intelligente Kantendetektion in endoskopischen Ultraschallbildern

183

Bildpunktes zur Transducerposition. Der eigentlichen Kantenfilterung geht eine Gaussfilterung voraus, die das Bild gl¨ attet und es so erm¨oglicht, mit verrauschten Bildern zu arbeiten und gute Ergebnisse zu erzielen. Kennt man die Position des Transducers, kann damit f¨ ur jeden Punkt des Bildes der radiale Winkel zum Transducer berechnet werden. Mit dem so bestimmten Winkel und dem schon erw¨ ahnten Vorwissen, dass die gesuchten Kanten fast kreisf¨ ormig um den Mittelpunkt liegen, kann man eine Filtermaske, basierend auf einer Prewitt-Maske, f¨ ur genau diesen Punkt erstellen. Durch diese Methode ¨ der Filterung werden vom Mittelpunkt aus die Uberg¨ ange von dunkel nach hell detektiert, die ann¨ ahernd auf einem Kreisbogen verlaufen. Dies sind in Ultraschallbildern des Oesophagus genau die Kanten, entlang derer die R¨ander von Karzinomen verlaufen. Somit wird eine Detektion und Analyse dieser Karzinome stark vereinfacht. Berechnung der Filtermaske: Als Basis wird eine einfache 3x3 Prewitt-Maske verwendet: ⎞ ⎛ −1 0 1 ⎝ −1 0 1 ⎠ (1) −1 0 1 Damit diese Matrix drehbar wird, m¨ ussen die einzelnen Werte durch trigonometrische Funktionen erzeugt werden, die als Parameter den gew¨ unschten Winkel α erhalten [6]. Damit ergibt sich folgende Filtermaske f¨ ur den CenteredCompass-Filter: ⎛ ⎞  a − b −b −a − b ⎝ a 0 −a ⎠ wobei a = cos(Π/2 − α) (2) b = sin(Π/2 − α) a + b b −a + b oßeren Masken als 3x3 ist die Toleranz gegen¨ uber von der idealen KreisBei gr¨ form abweichenden Kanten zu gering, was problematisch ist, da die Kanten in organischen Bildern nur selten entlang dieser verlaufen. Somit w¨ urden zu große L¨ ucken in den detektierten Kanten entstehen. Von großen Masken ist daher abzuraten. Da die Maske f¨ ur jeden Bildpunkt berechnet werden muss, wirkt sich die schlanke Maske zus¨ atzlich positiv auf die Laufzeit aus. Sollte die Position des Transducers (oder eines anderen gew¨ unschten Filterreferenzpunktes) nicht vom Ultraschallger¨ at an das Programm u ¨ bermittelt werden, kann sie eventuell aus dem Bild gewonnen werden. In Abb. 1(a) ist der gesuchte Punkt der Mittelpunkt der kreisf¨ormigsten schwarzen Region im Bild, da der Transducer kreisf¨ ormige Artefakte im Bild erzeugt. Diese Region l¨ asst sich rasch mittels einer Schwellwertoperation, deren Ergebnisbild in seine Zusammenhangskomponenten zerlegt wird (mit einer modifizierten Tiefensuche [7, 8]), gefolgt von einer Selektion der gesuchten Region nach Gr¨oße und Form, bestimmen.

184

T. Riegg, U. Zucker und A. Horsch Abb. 1. Vergleich von Centered-Compass-Filter (CCF) und Canny-Filter

5

(a) Originalbild

(b) Tumorgrenze (OTEUS)

(c) Kantenbild Canny-Filter

(d) Kantenbild CCF

Ergebnisse

Da f¨ ur jedes Pixel die Filtermaske neu berechnet wird, ist das Laufzeitverhalten des Filters im Vergleich mit anderen Kantenfiltern deutlich schlechter. Auf einem handels¨ ublichen Rechner mit 1,5 GHz Intel Pentium M Prozessor dauert die Kantenfilterung mit dem Centered-Compass-Filter von einem Bild mit den Dimensionen 672x480 im Schnitt eine Sekunde. Abb. 1(a) zeigt ein Original-Ultraschallbild des Oesophagus. Vergleicht man die daraus resultierenden Kantenbilder des Canny-Filters (Abb. 1(c)) und des Centered-Compass-Filters (Abb. 1(d)) bez¨ uglich Anzahl und Relevanz der detektierten Kanten zur Bestimmung der Tumorgrenze (Abb. 1(b)), ist der Vorteil des Centered-Compass-Filters klar erkennbar. Der Centered-Compass-Filter senkt die Menge der in weiteren Schritten zu verarbeitenden Kanten um bis zu 75%, was eine bedeutende Vereinfachung f¨ ur deren folgende Analyse darstellt. Der Filter wurde an 20 verschiedenen Ultraschallbildern des Oesophagus getestet und die Gesamtl¨ange der detektierten Kanten gemessen. Im Vergleich zum Canny-Deriche-Filter sank diese durchschnittlich um 36%. Die detektierten, f¨ ur die Weiterverarbeitung relevanten, Kanten waren in beiden Testreihen identisch; folglich werden vom CenteredCompass-Filter lediglich die irrelevanten Kanten reduziert. Insgesamt verbessert der Centered-Compass-Filter somit die G¨ ute der detektierten Kanten erheblich.

Intelligente Kantendetektion in endoskopischen Ultraschallbildern

6

185

Diskussion

Der Centered-Compass-Filter eignet sich nur f¨ ur ein enges Anwendungsspektrum. Die notwendigen Voraussetzungen f¨ ur eine erfolgreiche Filterung, n¨amlich kreisbogenf¨ ormige Kanten um einen bekannten Mittelpunkt herum, sind nur in speziellen F¨ allen erf¨ ullt. Spielt die Laufzeit aber keine große Rolle und sind die obigen Voraussetzungen erf¨ ullt, so liefert der Centered-Compass-Filter ausgesprochen gute Ergebnisse und leicht weiter zu verarbeitende Kanten. Bislang kommt der Filter bei dem Programm OTEUS zum Einsatz, f¨ ur das er auch entwickelt wurde. OTEUS dient zur Bestimmung des Stadiums von Oesophaguskarzinomen, um die Diagnose des Arztes durch eine Zweitmeinung zu erg¨anzen. Das Programm erkennt unter Zuhilfenahme des Centered-CompassFilters zun¨ achst die relevanten Kanten, mit denen im darauffolgenden Schritt die Tumorgrenze erkannt und analysiert wird. Erst durch die Verwendung des Centered-Compass-Filters konnte eine saubere, zuverl¨assige und korrekte Erkennung der Tumorgrenze realisiert werden. Ein Einsatz des Centered-Compass-Filters ist auch in anderen Bereichen, in denen endoskopische Bilder mit Methoden der medizinischen Bildverarbeitung analysiert werden, denkbar.

Literaturverzeichnis 1. Yu Y, Acton ST. Edge Detection in Ultrasound Imagery Using the Instantaneous Coefficient of Variation. IEEE Trans Image Process 2004;13(12):1640–1655. 2. Gong L, Pathak SD, Kim Y. Selective contrast enhancement of prostate ultrasound images using sticks with high-level information. SPIE Medical Imaging 2001 2001;4319(5):1640–1655. 3. Steinbrecher R. Bildverarbeitung in der Praxis. Oldenbourg, M¨ unchen; 1993. 4. Radig B. Verarbeiten und Verstehen von Bildern. Oldenbourg, M¨ unchen; 1993. 5. Ritter GX, Wilson JN. Handbook of Computer Vision Algorithms in Image Algebra. CRC Press, New York; 2000. 6. Meyberg K, Vachenauer P. H¨ ohere Mathematik 1. Springer, Heidelberg; 2001. 7. Heun V. Grundlegende Algorithmen. Vieweg, Wiesbaden; 2003. 8. Steger A. Diskrete Strukturen 1. Springer, Berlin; 2001.

Limits on Estimating the Width of Thin Vessels in 3D Medical Images Stefan W¨ orz and Karl Rohr University of Heidelberg, IPMB, and DKFZ Heidelberg, Dept. Bioinformatics and Functional Genomics, Biomedical Computer Vision Group Im Neuenheimer Feld 580, 69120 Heidelberg, Germany Email: {s.woerz,k.rohr}@dkfz.de

Abstract. This work studies limits on estimating the width of thin vessels in 3D medical images. Based on nonlinear estimation theory we analyze the minimal stochastic error of the width estimate caused by image noise. Given a 3D analytic model of the image intensities of a vessel, we derive a closed-form expression for the Cram´er-Rao bound of the vessel width. We use the derived lower bound as a benchmark and compare it with previously proposed accuracy limits of three different approaches for vessel width estimation. Moreover, by experimental investigations we demonstrate that the derived lower bound can be achieved by fitting a 3D parametric intensity model directly to the image data.

1

Introduction

Heart and vascular diseases are one of the main causes of death for women and men in modern society. An abnormal narrowing of arteries (stenosis) is one of the main reasons of these diseases as the essential blood flow is hindered. In clinical practice, images of the human vascular system are acquired using different imaging modalities, for example, 3D Magnetic Resonance Angiography (MRA) or 3D Computed Tomography Angiography (CTA). Segmentation and quantification of vessels from 3D medical images is crucial for diagnosis, treatment, and surgical planning. An essential task is the accurate estimation of the width (diameter) of vessels, for example, to identify and quantify stenoses, in particular for thin vessels such as coronary arteries. Concerning thin vessels, limits on the accuracy of estimating the vessel width have been addressed by different groups using different approaches (e.g., [1, 2, 3], see below for details). However, the results of these approaches have not yet been compared with each other. For a quantitative comparison of the proposed limits it would be preferable to have a benchmark. Analytic benchmarks for performance evaluation have been introduced for a different task in medical image analysis, namely, the localization of 3D landmarks [4]. However, an analytic benchmark for vessel width estimation has not yet been derived. Based on nonlinear estimation theory, we have analyzed the minimal stochastic error of the width estimate caused by image noise. Given a 3D analytic model of the image intensities of a vessel, we have derived a closed-form expression for

Limits on Estimating the Width of Thin Vessels in 3D Medical Images

187

the Cram´er-Rao bound (CRB) of the vessel width, which defines the minimal uncertainty. Note that the derivation of the CRB of the vessel width significantly differs from the derivation of the CRBs of the landmark models in [4]. The reason is that the here used cylindrical parametric intensity model and the required first order partial derivative are more complex (e.g., requiring a Bessel function). We employ the derived CRB as a benchmark and compare it with previously proposed accuracy limits of three different approaches for vessel width estimation [1, 2, 3]. Moreover, by experimental investigations we demonstrate that the derived lower bound can be achieved by fitting a 3D parametric intensity model directly to the image data.

2

Cram´ er-Rao Lower Bound of Cylinder Model

To derive a benchmark for performance evaluation of 3D vessel segmentation approaches, we use a 3D analytic model that represents the image intensities of a vessel. We propose to use a 3D Gaussian smoothed cylinder, which is well suited to model vessels of different widths (e.g., [2, 3]). The cylinder model comprises parameters for the width of the vessel (radius R), the image blur σ, and the image contrast a between the intensity levels of the vessel and the surrounding tissue. A 2D cross-section of this Gaussian smoothed 3D cylinder is defined as gDisk (x, y, R, σ) = Disk (x, y, R) ∗ G2D σ (x, y)

(1)

where ∗ denotes convolution, Disk (x, y,*R) is a two-valued function with value 1 if r ≤ R and 0 otherwise (for r = x2 + y 2 ), as well as the 2D Gaussian √ −1 − x2 function G2D 2πσ e 2σ2 . Extending σ (x, y) = Gσ (x) Gσ (y), where Gσ (x) = the 2D disk in z-direction as well as including the image contrast a yields the cylinder model gM,Cylinder (x, y, z, R, σ, a) = a gDisk (x, y, R, σ). Note that here we omit, without loss of generality, the 3D rigid transform used in [3]. To determine a lower bound for estimating the vessel radius, we utilize the Fisher information matrix F. We consider a cylindrical region-of-interest (ROI) of half-width (radius) w within the xy-plane and half-width wz in z-direction (along the cylinder) around a position on the centerline of the cylinder. A cylindrical ROI as compared to a cubic (or cuboidal) ROI is a more natural choice for tubular structures and also reduces the complexity in the calculation of the involved integrals. Since here we are only interested in estimating the vessel radius R (assuming that the values of the remaining parameters are known), the information matrix F consists of one element. The Cram´er-Rao lower bound (CRB) of the uncertainty is then given by (e.g., [4]) 2 2 −1 . σR ˆ ≥ σCRB, R ˆ =F

(2)

The bound determines the minimal possible uncertainty of the estimated parameter R for a given level of image noise. For calculating the CRB in (2), the first order partial derivative of the cylinder model w.r.t. the radius R is required. Fortunately, whereas a closed-form solution of a Gaussian smoothed cylinder is not known, a closed-form solution of the required partial derivative can be derived:

188

S. W¨ orz and K. Rohr

∂gM,Cylinder (r, z, R, σ, a) =a ∂R

√
*   rR  2πR Gσ r2 + R2 I0 , σ σ2

(3)

with I0 being the modified Bessel function of the first kind (order 0). Assuming that the half-width w of the ROI (within the xy-plane) is much larger than the radius R and the standard deviation σ, i.e. w → ∞, the closed-form expression of the CRB in (2) using (3) can be stated as R2

2 σCRB, ˆ R

σ 2 σn2 e 2σ2  R2  vox3 = 2πa2 R2 wz I0 2σ 2

(4)

where σn denotes the standard deviation of the Gaussian image noise and vox denotes the spatial unit in 3D (i.e. one voxel is a cube with a size of one vox in each dimension). It can be seen that the precision increases (i.e. the bound decreases) with decreasing image noise σn as well as increasing image contrast a and size wz of the 3D ROI along the cylinder, and depends in a more complicated way on the radius R and the image blur σ (compared to σn , a, and wz ). The limits of the CRB for R → 0 and R → ∞ are ∞ and 0, respectively. For example, Fig. 1 (left, black curve) visualizes the CRB given in terms of the standard deviation (square root of the variance) as a function of the radius R. In general, it turns out that the bound is monotonically decreasing as a function of the vessel radius. To give an impression of the achievable accuracy, we state numerical examples of the CRB for thin vessels. For example, using a = 100 gr, σ = 1 vox, σn = 5 gr, and wz = 12 vox, for vessel radii R of 0.5, 1, 2, and 3 vox the minimal uncertainties σCRB, Rˆ compute to 0.012, 0.007, 0.005, and 0.004 vox, respectively (gr denotes the unit of the intensities in grey levels). Thus, for thin vessels the precision is well in the subvoxel range. However, for very thin vessels (e.g., a width of 1 vox) in combination with extremely poor imaging conditions (i.e. a very poor signal-to-noise ratio), the uncertainty of the vessel radius can excess the radius of the vessel itself. For example, for an extremely low image contrast of a = 5 gr, a vessel radius of R = 0.5 vox, and a small size of the ROI along the cylinder of wz = 5 vox, the CRB computes to 0.76 vox, which is about 50% larger in comparison to the radius. Note that the derived CRB in (4) does not impose a fixed limit for a minimal value of the vessel radius. A limit on the minimal radius can be derived based on the desired maximal uncertainty of the vessel radius (e.g., 5% or 0.1 vox). For example, for a maximal uncertainty of 5%, the limit of the minimal radius computes to R = 0.34 vox (using the same settings as above), i.e. the minimal width of 2R = 0.68 vox is below image resolution.

3

Vessel Width Estimation by Model Fitting

We have carried out an experimental investigation to analyze how the theoretical bound relates to practice. To this end we have generated 3D images based on the 3D cylinder model with additive Gaussian noise for different radii R = 0.5, 1, 2, 3, 4, 5, 6 vox and using the same parameter settings as above (i.e. a =

Limits on Estimating the Width of Thin Vessels in 3D Medical Images

189

Fig. 1. Theoretical and experimental precision for estimating the radius R as a function of the radius R (left) as well as 2D axial sections of 3D synthetic cylinders of radii R = 1 (middle) and R = 3 (right), using a = 100 gr, σ = 1 vox, σn = 5 gr, and wz = 12 vox. CRB,R 0.014 0.012 0.01 0.008 0.006 0.004 0.002 1

2

3

4

5

6

R

100 gr, σ = 1 vox, σn = 5 gr). For example, Fig. 1 shows 2D axial sections of 3D synthetic cylinders of radii R = 1 vox (middle) and R = 3 vox (right). To estimate the radius of the vessel we apply a model fitting approach [3] using a cylindrical ROI with a size of w = wz = 12 vox. Since a closed-form solution of the Gaussian smoothed cylinder gM,Cylinder is not known, we here numerically integrate the cylinder model to utilize the same model for the theoretical analysis and the experiments (instead of using an analytic approximation as in [3]). In total, for each value of the radius we carried out 1000 experiments (randomly varying the initial parameters and the added Gaussian noise) and determined the precision σRˆ of the radius as the standard deviation of the estimated radii. The results are represented by the dots in Fig. 1 (left). In addition, the black curve indicates the theoretical precision according to the derived CRB σCRB, Rˆ . It turns out that the agreement between the theoretical and the experimental values is very good, in particular, for thin vessels (e.g., R = 0.5 vox), i.e. the derived lower bound can indeed be achieved experimentally. The agreement is even more remarkable since the analytic derivation does not consider discretization effects due to sampling and quantization, while in the experiments discrete images have been used.

4

Comparison of Different Limits

We have also compared the accuracy limits of three different vessel segmentation approaches with the CRB from above. Hoogeveen et al. [1] studied accuracy limits in determining the vessel width from time-of-flight (TOF) and phase-contrast (PC) 3D MRA images. Experiments were based on 3D synthetic TOF and PC MRA images as well as on real images, which were generated by using phantom tubes with known diameters. For measuring the vessel width, the criteria full-width-half-maximum and full-width-at-10% were applied for TOF and PC images, respectively. The authors state that for both TOF and PC MRA images a minimal radius of about 1.5 vox is required for accurate estimation of the vessel width (allowing a maximal error of the estimated vessel width of 5%). Sato et al. [2] developed a differential vessel segmentation approach based on a multi-scale line filter. A Hessian-based line filter is applied to different scales of a 3D image and vessels are extracted based on these filter responses. To determine the width of a vessel, the filter responses are compared to filter responses of an ideal vessel model. It turns out that a maximum response of the

190

S. W¨ orz and K. Rohr

multi-scale filter, which is required to estimate the vessel width, is inherently not obtainable for thin vessels with a radius below 1.39 vox. In [3], we developed a model fitting approach for vessel segmentation based on an analytic 3D parametric intensity model. We use a 3D Gaussian smoothed cylinder to model the image intensities of a vessel and the surrounding tissue within a ROI. Since a closed-form solution of a Gaussian smoothed cylinder is not known, we have developed an accurate approximation based on the Gaussian function and the Gaussian error function. To segment a vessel we utilize an incremental process based on least-squares model fitting as well as linear Kalman filtering. We have applied the cylinder model to segment vessels in 3D MRA and 3D CTA images of the human. However, we obtain ambiguous estimates of the vessel width for a radius below about 1.72 vox. The reason is that for this value we automatically switch the used approximation in our approach. Note that, in contrast to Hoogeveen et al. [1], in the approach of Sato et al. [2] as well as in our model fitting approach [3], an accuracy limit is given by the approach itself (note also that in both approaches the limits are stated assuming a standard deviation of the Gaussian image smoothing of 1 vox). In comparison, as discussed above, the derived CRB in (4) does not impose a fixed limit for a minimal value of the vessel radius such as in [2, 3]. Moreover, since the theoretically derived CRB has been experimentally achieved for thin vessels, in particular, for a radius of 0.5 vox, we conclude that the limit of R ≈ 1.5 vox proposed by all three approaches [1, 2, 3] is not a fundamental limit.

5

Conclusion

We have analyzed limits for estimating the vessel width of thin vessels. Given a 3D analytic model of the image intensities of a vessel, we have derived a closedform expression for the Cram´er-Rao bound of the vessel radius. In addition, we have compared the derived Cram´er-Rao bound with previously proposed limits of three different approaches. Moreover, by experimental investigations, we have demonstrated that the derived lower bound can indeed be achieved by model fitting of a 3D parametric intensity model.

References 1. Hoogeveen RM, Bakker CJG, Viergever MA. Limits to the Accuracy of Vessel Diameter Measurement in MR Angiography. J Magn Reson Imaging 1998;8:1228– 1235. 2. Sato Y, Yamamoto S, Tamura S. Accurate Quantification of Small-Diameter Tubular Structures in Isotropic CT Volume Data Based on Multiscale Line Filter Responses. In: Procs MICCAI; 2004. p. 508–515. 3. W¨ orz S, Rohr K. A New 3D Parametric Intensity Model for Accurate Segmentation and Quantification of Human Vessels. In: Procs MICCAI; 2004. p. 491–499. 4. Rohr K. Fundamental Limits in 3D Landmark Localization. In: Procs IPMI; 2005. p. 286–298.

Weichgewebemodellierung durch Fl¨ acheninterpolation heterogen verteilter Messdaten Sylvia Wilharm1 , Tobias Maier2 , Michaela Benz2 , Gerd Sußner1 , ausler2 und G¨ unther Greiner1 Svenja Lowitzsch2 , Gerd H¨ 1

Institut f¨ ur Informatik, Lehrstuhl f¨ ur Graphische Datenverarbeitung, Universit¨ at Erlangen-N¨ urnberg 2 Max-Planck Forschungsgruppe - Institut f¨ ur Optik, Information und Photonik, Universit¨ at Erlangen-N¨ urnberg Email: [email protected]

Zusammenfassung. In vielen Operationssituationen muss der Chirurg trotz Weichgewebeschwellung im Eingriffsgebiet eine Pr¨ adiktion des postoperativen Zustands treffen. Zur Unterst¨ utzung des Arztes kann die Schwellung anhand des Volumens zwischen den Gewebefl¨ achen von Haut und Knochen quantifiziert werden. In diesem Beitrag wird eine Methode vorgestellt, die mittels Gewebekonturen aus 2D-Ultraschallbildern intraoperativ eine Weichgewebemodellierung durchf¨ uhrt. Dies geschieht anhand einer analytischen Fl¨ achenbeschreibung der heterogen verteilten, fehlerbehafteten Messdaten. Die verwendeten Methoden basieren einerseits auf Interpolation mit radialen Basisfunktionen kombiniert mit Gl¨ attungsmaßnahmen, andererseits werden Approximationsmethoden mit Polynomen und radialen Basisfunktionen untersucht. Die aus Haut- und Knochenkonturen gewonnenen Ergebnisse der Interpolation werden denen der Approximationen gegen¨ ubergestellt.

1

Problemstellung

Ein in der Mund-, Kiefer- und Gesichtschirurgie h¨aufig vorkommender Eingriff ist die Kieferverlagerung. W¨ ahrend des Eingriffs tritt gew¨ohnlich eine Gewebeschwellung auf, die es dem Chirurgen erschwert, die Kieferverlagerung so durchzuf¨ uhren, dass die sp¨ at-postoperative Gesichtsform dem gew¨ unschten Ergebnis ¨ entspricht. Es gilt daher, das Odem zu quantifizieren, um w¨ahrend der Operation eine Darstellung des schwellungsfreien Gesichts ermitteln zu k¨onnen. Zur Quantifizierung wird das durch Haut- und Knochenoberfl¨ache begrenzte Schwellvolumen verwendet. Mit Hilfe von 2D-Ultraschallbildgebung werden mehrere Schnittbilder gewonnen, welche die Grundlage der Oberfl¨achengenerierung bilden. Die Gewebegrenzen werden jeweils segmentiert und die Bildebenen mit Hilfe optischer 3D-Datens¨ atze im 3D-Raum registriert. Die in diesem Beitrag behandelte Aufgabe besteht nun darin, aus diesen Gewebegrenzen die Gewebefl¨achen zu modellieren. Zu ber¨ ucksichtigen ist dabei die ungleichm¨aßige Verteilung sowie die Fehlerbehaftung der Messdaten. Durch Kombination und Adaption geeigneter bereits existierender Verfahren wird diese Aufgabe gel¨ost.

192

2

S. Wilharm et al.

Stand der Forschung

Bisher ist kein Ansatz bekannt, bei dem das Weichgewebe anhand von Gewebekonturen aus 2D-Ultraschallbildern modelliert wird. H¨aufig werden f¨ ur diesen Zweck Volumendaten verwendet, die zum Beispial mittels Computertomographie gewonnen werden [1]. Diese Messtechnik ist jedoch ionisierend und daher belastend f¨ ur den Patienten. Des Weiteren ist sie technisch aufw¨andig und kostenintensiv. Bei den hier vorliegenden Konturlinien aus 2D-Ultraschallbildern l¨ asst sich die Aufgabe auf ein Problem zur Funktionsrekonstruktion anhand verstreuter Daten zur¨ uckf¨ uhren. Daf¨ ur existieren verschiedene Verfahren. Eine M¨ oglichkeit stellen sogenannte Inverse-Distance-Weighted-Methoden dar, wie zum Beispiel die Shepard-Methode [2]. Die Interpolante wird hier als gewichtete Summe der Werte an den gegebenen Datenpunkten definiert. Diese Methode liefert im allgemeinen qualitativ schlechtere Ergebnisse als solche Ans¨atze, die auf radialen Basisfunktionen basieren [3]. Bei einem Ansatz mit radialen Basisfunktionen wird die Interpolante als gewichtete Summe von Basisfunktionen dargestellt (vgl. z.B. [4]). Diese Methode wird als Grundlage f¨ ur den vorliegenden Beitrag verwendet. Des Weiteren gibt es Approximationsmethoden die zum Beispiel auf Polynomen [2] oder auf radialen Basisfunktionen basieren [4].

3

Wesentlicher Fortschritt durch den Beitrag

Durch diesen Beitrag wird die Modellierung von Weichgewebefl¨achen aus ungleichm¨ aßig verteilten 3D-Messdaten erm¨ oglicht, die entlang segmentierter Gewebegrenzen aus 2D-Ultraschallbildern vorliegen. Eine besondere Herausforderung dabei sind die fehlerbehafteten Daten. Zum einen sind die von Hand aus den Ultraschallbildern segmentierten Gewebegrenzen nicht besonders glatt; die tats¨achlichen Gewebekonturen sind deutlich glatter. Zum anderen treten Ungenauigkeiten zwischen den Konturlinien auf: Bei sehr dicht beieinander verlaufenden bzw. sich u ¨ berlappenden Ultraschallschnitten kann der Gewebekonturenverlauf leicht unterschiedlich eingezeichnet sein. Diese Probleme sind bedingt durch die meist schlechte Qualit¨ at der Ultraschallbilder, auf denen der genaue Verlauf der Gewebegrenzen insbesondere beim Knochen schwer zu erkennen ist. Ein Beispiel f¨ ur ein Ultraschallbild und f¨ ur zehn Konturlinien eines Knochendatensatzes ist in Abb. 1 zu sehen. Gel¨ ost wurden die genannten Probleme durch eine geeignete Kombination aus Gl¨ attungsalgorithmen und radialen Basisfunktionsmethoden.

4

Methoden

Um eine Darstellung der Daten als H¨ ohenwerte u ¨ber einer Bezugsebene zu erhalten, werden die Schnitte mittels Hauptkomponentenanalyse [5] in ein geeignetes Koordinatensystem transformiert. Wegen der heterogenen St¨ utzstellenverteilung wurde eine Approximation mit Polynomen [2] sowie eine Interpolation bzw. Approximation mit radialen Basisfunktionen [4] verwendet. Die Schwierigkeit lag

Weichgewebemodellierung durch Fl¨ acheninterpolation

193

Abb. 1. Ultraschallschnitt mit weiß eingezeichnetem Verlauf des Knochens (links). ¨ Zehn Konturlinien eines Knochendatensatzes (rechts). Umkreist: Uberlappungen von Konturlinien.

hier bei der Auswahl einer geeigneten Basisfunktion und ihrer Parameter, da die Wahl der Basisfunktion die Gl¨ atte des resultierenden Gewebefl¨achenmodells sowie die Rauschempfindlichkeit der Methode bestimmt: je glatter die Basisfunktion, desto gr¨ oßer die Rauschempfindlichkeit. Zur Korrektur von Messfehlern (Rauschen sowie Fehler durch Segmentierung) wurden Gl¨attungsmethoden verwendet: Es wurde einerseits eine 2D-Gl¨ attung der H¨ohenwerte der Interpolation vorgeschaltet [6] um Differenzen zwischen nah beieinander verlaufenden Konturlinien auszugleichen. Desweiteren wurde eine nachgeschaltete Gl¨attung durch implizite Faltung nach Carr [7] verwendet. Damit konnten unter anderem durch Interpolation bzw. Approximation mit einer nicht glatten Basisfunktion entstandene Kanten und Spitzen gegl¨ attet werden.

5

Ergebnisse

Die Verfahren wurden an Knochenkonturen aus Ultraschallbildern getestet. Der Datensatz bestand aus zehn Konturlinien aus Ultraschallbildern auf einem Gebiet von ca. 4 cm × 4 cm. Jede Konturlinie bestand im Mittel aus 237 Punkten. Der mittlere Samplinabstand betrug 0,15 mm. Wie zu erwarten, war das mittels Polynomapproximation erzielte Ergebnis sehr glatt, enthielt aber kaum Details und war stellenweise recht weit von den gegebenen Werten an den Datenpunkten entfernt. Der mittlere Abstand der an diesen Punkten approximierten Werte von den gegebenen verrauschten Werten betrug 0,44 mm. Die besten Ergebnisse wurden mittels Interpolation mit einer nicht glatten Basisfunktion (z.B. einer C 0 -stetigen Wendlandfunktion) in Kombination mit vorund nachgeschalteter Gl¨ attung erzielt. Das durch eine Approximation mit einer nicht glatten Basisfunktion kombiniert mit einer nachgeschalteten Gl¨attung gewonnene Ergebnis war dem sehr ¨ ahnlich. Es wurde jeder zehnte Punkt einer Konturlinie als Approximationszentrum verwendet. Beide Ergebnisse sind in

194

S. Wilharm et al.

Abb. 2. Oben: Knochendatensatz. Ergebnis der Interpolation mit einer C 0 -stetigen Wendlandfunktion kombiniert mit vor- und nachgeschalteter Gl¨ attung (links). Ergebnis der Approximation mit einer C 0 -stetigen Wendlandfunktion kombiniert mit einer nachgeschalteten Gl¨ attung (rechts). Unten: Erster Hautdatensatz. Ergebnis der Interpolation mit einer C 2 -stetigen Wendlandfunktion.

Abb. 2 zu sehen. Der mittlere Abstand der approximierten zu den gegebenen Werten an den Datenpunkten betrug bei beiden Varianten 0,12 mm. Bei der Verwendung glatterer Basisfunktionen kam es an den problematischen Stellen (¨ uberlappende Konturlinien mit zum Teil stark schwankenden Werten auf kleinem Raum) zu unerw¨ unschten Dellen und Peaks. Zur quantitativen Bewertung der Ergebnisfl¨ achen fehlen beim Knochen bisher Referenzfl¨achen. Diese k¨onnen aus Computertomographie-Datens¨ atzen gewonnen werden, die bisher noch nicht zur Verf¨ ugung standen. Zur Validierung wurden daher die vorhandenen optischen 3D-Datens¨atze der Gesichter verwendet. Aus diesen wurden Hautkonturen herausgeschnitten, um Ultraschall-Gewebegrenzen zu simulieren. Es wurden dabei jeweils 6 Schnitte auf einem Gebiet von ca. 3 cm x 7 cm extrahiert, die ann¨ahernd gleiche Ausrichtung haben. Sie bestanden im Mittel aus jeweils 108 Punkten und hatten einen mittleren Samplingabstand von 0,58 mm. Die Ergebnisse wurden mit der Referenzfl¨ ache des zugrunde liegenden optischen Datensatzes verglichen. Die auf der Interpolation mit radialen Basisfunktionen beruhende Methode ergab als bestes Ergebnis einen mittleren Abstand zur Referenzfl¨ache von 0,06 mm. Dabei wurde ur den ersten eine C 2 -stetige Wendlandfunktion verwendet. Dieses Ergebnis ist f¨ der beiden Datens¨ atze in Abb. 2 dargestellt. Da die hier vorliegenden Daten bereits glatt sind, wurde auf eine Gl¨ attung bzw. Approximation mit radialen Basisfunktionen verzichtet. Zum Vergleich der Genauigkeit wurde eine Polynomapproximation durchgef¨ uhrt, die einen mittleren Abstand von 0,20 mm zur Referenzfl¨ ache lieferte. Die Interpolationsmethode erzielte damit ein ca. dreimal genaueres Ergebnis der Oberfl¨ achenmodellierung als die Polynomapproximationsmethode.

Weichgewebemodellierung durch Fl¨ acheninterpolation

6

195

Diskussion

Dieser Beitrag erm¨ oglicht die Modellierung von Weichgewebefl¨achen anhand heterogen verteilter Messdaten, die aus segmentierten 2D-Ultraschallbildern stammen. Die Verfahren basieren auf Approximation mit Polynomen bzw. auf Interpolation und Approximation mit radialen Basisfunktionen. Messfehler k¨onnen bei der Interpolation durch Gl¨ attung der Werte korrigiert werden. Eine Validierung der Verfahren erfolgte anhand optischer Datens¨atze von Gesichtsoberfl¨ achen, aus denen Gewebeschnitte extrahiert und diese mit Hilfe der oben beschriebenen Methoden interpoliert bzw. approximiert wurden. Die auf diese Weise modellierten Gewebefl¨ achen wurden mit den Referenzfl¨achen verglichen. Bei den in diesem Fall relativ glatten Daten lieferte die Interpolation mit m¨aßig glatten Basisfunktionen die besten Ergebnisse. Die Verfahren wurden auch an Knochenkonturen aus Ultraschallbildern getestet. Diese Daten waren fehlerbehaftet und nicht glatt. In diesem Fall stellten sich weniger glatte Basisfunktionen kombiniert mit Gl¨attungsmethoden als geeignet heraus. Die Polynomapproximation war f¨ ur beide Datens¨ atzen die ungenaueste Methode. Ein Vergleich der Ergebnisfl¨ achen f¨ ur den Knochen mit aus Computertomographie-Datens¨atzen gewonnenen Referenzfl¨ achen ist geplant. Weitere Verbesserungen lassen sich mit Hilfe von anwendungsoptimierten Gl¨ attungsmethoden erreichen.

Literaturverzeichnis 1. Kessler P, Wiltfang J, Teschner M, et al. Computergraphische Simulationsm¨ oglichkeiten in der orthop¨ adischen Chirurgie. Mund-, Kiefer-, Gesichtschirurgie 2000;6:373–376. 2. Kincaid D, Cheney W. Numerical Analysis. Mathematics of Scientific Computing. 2nd ed. Brooks/Cole; 1996. 3. Lodha SK, Franke R. Scattered Data Techniques for Surfaces. In: Proceedings of Dagstuhl Conference on Scientific Visualization, IEEE Computer Society Press; 1999. p. 182–222. 4. Wendland H. Scattered Data Approximation. Cambridge University Press; 2005. 5. Hartung J, Elpelt B. Multivariate Statistik. M¨ unchen: Oldenbourg; 1999. 6. J¨ ahne B. Digitale Bildverarbeitung. Heidelberg: Springer; 1997. 7. Carr JC, Beatson RK, McCallum BC, et al. Smooth surface reconstruction from noisy range data. In: GRAPHITE ’03: Proceedings of the 1st international conference on Computer graphics and interactive techniques in Australasia and South East Asia. New York, NY, USA: ACM Press; 2003. p. 119ff.

Registrierung verschiedener Knochenstrukturen in Ultraschall- und CT-Daten anhand von pr¨ aund intraoperativen Patientendatens¨ atzen Susanne Winter1 , Bernhard Brendel2 , Ioannis Pechlivanis3 , Kirsten Schmieder3 1 Institut f¨ ur Neuroinformatik, Ruhr-Universit¨ at Bochum, 44780 Bochum, Lehrstuhl f¨ ur Hochfrequenztechnik, Ruhr-Universit¨ at Bochum, 44780 Bochum, 3 Neurochirurgische Universit¨ atsklinik, Ruhr-Universit¨ at Bochum, 44892 Bochum, Kompetenzzentrum Medizintechnik Ruhr (KMR) Bochum Email: [email protected] 2

Zusammenfassung. Die Registrierung pr¨ aoperativer CT/MR-Daten mit dem Koordinatensystem des Operationssaales ist ein zentrales Problem in der bildgest¨ utzten, navigierten Chirurgie. Um intraoperativ die Belastung von Personal und Patienten durch R¨ ontgenstrahlung zu vermindern, dient bei unserem Ansatz der dreidimensionale Ultraschall als intraoperative Bildgebungsmodalit¨ at. Unser Registrierungsalgorithmus soll neurochirurgische, orthop¨ adische oder unfallchirurgische Eingriffe an der Wirbels¨ aule oder den großen Gelenken unterst¨ utzen. Gegenstand der Untersuchungen in diesem Beitrag ist die Evaluierung unseres Registrierungsalgorithmus anhand von Ultraschalldatens¨ atzen von Knie und Schulter, die ausserhalb des Operationssaales aufgenommen wurden, sowie intraoperativ erhobenen Ultraschalldaten der Lendenwirbels¨ aule.

1

Einleitung

Der Trend zur Minimalisierung chirurgischer Eingriffe erfordert Techniken zur Verbesserung der r¨ aumlichen Orientierung im Operationsgebiet. Hier bietet die bildgest¨ utzte Navigation dem Chirurgen die M¨oglichkeit anhand von pr¨aoperativen CT/MR-Datens¨ atzen die Position seiner Instrumente auch in Bereichen zu verfolgen, die der direkten Sicht nicht zug¨ anglich sind. Voraussetzung f¨ ur eine zuverl¨ assige Navigation ist eine exakte Registrierung der pr¨aoperativen Bilddaten mit dem Koordinatensystem des Operationssaales. Landmarkenbasierte Verfahren haben den Nachteil großer Ungenauigkeiten, wenn die Landmarken zu weit vom operativen Zielgebiet entfernt liegen, oder die manuelle Definition anatomischer Landmarken in den pr¨ aoperativen Datens¨atzen nicht pr¨azise m¨oglich ist. Bildbasierte Registrierungsalgorithmen umgehen diese Probleme, allerdings sind die Kosten f¨ ur Systeme mit intraoperativer CT- oder MR-Bildgebung enorm. Die Nutzung von Ultraschall zur intraoperativen Bildgebung hingegen hat den Vorteil niedrigerer Kosten und geringeren Platzbedarfs. Außerdem sind Ultraschallsysteme bei Freihandf¨ uhrung des Schallkopfes einfacher und flexibler einsetzbar.

Registrierung verschiedener Knochenstrukturen

197

Obwohl die Abbildungseigenschaften des Ultraschalls bez¨ uglich Knochenstrukturen nicht optimal sind und nur ein geringer Teil der Knochenoberfl¨ache abgebildet wird, steigt aufgrund der genannten Vorteile des Ultraschalls das Interesse an einer Nutzung zur intraoperativen Unterst¨ utzung von Eingriffen an Knochenstrukturen. Die bisher in der Literatur beschriebenen Ans¨atze zur Registrierung von Knochenstrukturen in Ultraschalldaten und CT/MR-Daten basieren auf Oberfl¨achen-Oberfl¨ achen-Registrierung, wozu die Knochenoberfl¨ache in beiden Modalit¨ aten segmentiert werden muss [1, 2, 3, 4]. Eine Segmentierung der Knochenoberfl¨ ache in Ultraschalldaten ist bislang allerdings nicht zuverl¨assig f¨ ur unterschiedliche anatomische Regionen m¨ oglich. Der von uns entwickelte Ansatz basiert auf einer Oberfl¨ achen-Volumen-Registrierung, bei der die Knochenoberfl¨ ache nur in den pr¨ aoperativen CT-Daten segmentiert wird und die Ultraschalldaten als Grauwert-Volumendatensatz belassen werden [5, 6]. Ziel unserer Arbeit ist es die Ultraschallregistrierung intraoperativ sowohl an der Lendenwirbels¨ aule, als auch bei Eingriffen an den großen Gelenken (Knie, H¨ ufte, Schulter) einzusetzen. Unser Ansatz wurde zun¨achst f¨ ur Wirbels¨aulenapplikationen entwickelt, und es konnte bereits gezeigt werden, dass hier eine zuverl¨ assige, pr¨ azise Registrierung m¨ oglich ist [7]. Außerdem wurde eine hohe Genauigkeit des Gesamtsystems am Phantom gemessen und die Anwendbarkeit f¨ ur Knie und Schulter visuell best¨ atigt [8]. In diesem Beitrag wird unser Ansatz zur Ultraschallregistrierung anhand von Ultraschalldatens¨ atzen des Knies und der Schulter, sowie intraoperativ gewonnenen Ultraschalldaten der Lendenwirbels¨aule systematisch evaluiert. Es kann gezeigt werden, dass die Methode auf verschiedene anatomische Regionen u ¨bertragbar ist und dass sie mit intraoperativ gewonnenen Daten ebenfalls zuverl¨ assig funktioniert.

2

Material und Methoden

Die Ultraschalldatens¨ atze wurden mit einem Siemens Sonoline Omnia akquiriert. Die 3D-Rekonstruktion der Ultraschalldatens¨atze von Schulter und Knie wurden mit einem magnetischen Positioniersystem und einem Software Add-On von 3D Echotech durchgef¨ uhrt. Die intraoperativ erhobenen Ultraschallvolumendaten wurden mit einem optischen Stereokamerasystem und einer eigenen 3D-Rekonstruktion erzeugt. Zus¨ atzlich wurden in den intraoperativen Daten die Knochenoberfl¨ achen mit einem adaptiven Tiefenausgleich verst¨arkt. Die CTDatens¨ atze wurden als Spiral-CT aufgenommen. Alle Datens¨atze wurden in Datens¨ atze mit isotroper Aufl¨ osung bei einer Voxelgr¨oße von 0,5 mm x 0,5 mm x 0,5 mm umgewandelt. Zur Registrierung wurde eine rigide Oberfl¨ achen-Volumen-Registrierung verwendet, bei der das Optimierungskriterium der Grauwertsumme der projizierten Oberfl¨ achenpunkte entsprach. Als Optimierungsmethode wurde die Covarianzmatrix Adaptations Evolutions-Strategie (CMA-ES) genutzt. Im Bereich des

198

S. Winter et al.

Tabelle 1. Registrierrate (RR) in Prozent, mittlere Zahl der notwendigen Fitnessberechnungen (ZF) und mittlere Rechenzeiten (RZ) in Sekunden, jeweils f¨ ur die Daten von Schienbein, Oberarmknochen und Lendenwirbel ohne und mit systematischer Reduktion der Oberfl¨ achenpunkte (Pkt) mit den Faktoren (RF) 4 und 8. Daten RF Pkt RR ZF RZ Schienbein 1 10639 100,0 8023 32,0 Schienbein 4 2660 100,0 8036 8,2 Schienbein 8 1330 100,0 8104 4,2 Oberarmknochen 1 4023 100,0 6217 10,6 Oberarmknochen 4 1006 99,6 6266 2,8 Oberarmknochen 8 503 90,3 6263 1,5 Lendenwirbel 1 5519 100,0 6239 15,4 Lendenwirbel 4 1380 93,6 5241 3,3 Lendenwirbel 8 690 90,9 5215 1,7

Knies wurde die Knochenoberfl¨ ache des Schienbeins zur Registrierung verwendet, im Bereich der Schulter die des Oberarmknochens. Die Oberfl¨ achenpunkte wurden mittels Schwellwert (200 Hounsfield Units) aus den CT-Daten, unter Ber¨ ucksichtigung der Schalleinfallsrichtung, bestimmt. Die so gewonnenen Oberfl¨ achenpunkte wurden zus¨atzlich systematisch um Faktor 4 und Faktor 8 reduziert. Zur Evaluierung wurde f¨ ur jeden Datensatz zun¨achst das Optimum bestimmt, indem mittels 50facher lokaler Optimierung derjenige Parametersatz ermittelt wurde, der im Sinne der Optimierung den besten Wert lieferte. Durch visuelle Kontrolle wurde die Plausibilit¨ at dieser L¨osung best¨atigt. Ausgehend von 1000 verschiedenen Startpositionen wurde jeweils 1000 mal registriert. Die Startpositionen verteilten sich auf mittlere Distanzen zum Optimum zwischen 0 und 15 mm, wobei Verschiebung und Rotation gleichzeitig variiert wurde. Diese Startabweichungen k¨ onnen bei grober Vorregistrierung als intraoperativ realistisch angesehen werden. Als korrekt registriert wurden die Versuche gewertet, deren Abstand zum Optimum geringer als 1 mm war.

3

Ergebnisse

Von den 1000 Registrierversuchen mit den Daten des Knies konnten 100 % korrekt registriert werden (siehe Tab. 1). Dies galt sowohl f¨ ur die Versuche mit der kompletten Oberfl¨achenpunktmenge, als auch bei systematischer Ausd¨ unnung. Die Daten der Schulter konnten bei vollst¨ andiger Oberfl¨ache ebenfalls zu 100 % korrekt registriert werden, bei Reduktion der Oberfl¨achenpunkte gelang dies nur noch zu 99,6 % bzw. zu 90,3 %. Die Registrierung der intraoperativ erhobenen Ultraschalldaten eines Lendenwirbels war bei Nutzung der kompletten, f¨ ur den Ultraschall sichtbaren Oberfl¨ ache, auch zu 100 % m¨oglich. Die Registrierung anhand von weniger Punkten f¨ uhrte zu geringeren Registrierraten von 93,6 % und 90,9 %.

Registrierung verschiedener Knochenstrukturen

199

Abb. 1. Darstellung der Knochenober߬ achenpunkte nach Registrierung; oben Schienbein, Mitte Oberarmknochen, unten Lendenwirbel; links alle Ober߬ achenpunkte, in der Mitte Reduktion mit Faktor 4, rechts Reduktion mit Faktor 8.

Die Zahl der f¨ ur die Registrierung ben¨ otigten Rechenschritte lag f¨ ur den Lendenwirben bei ca. 5200 bis 6200, f¨ ur den Unterschenkelknochen bei etwas u ¨ ber 8000. Die absoluten Rechenzeiten sind direkt abh¨angig von der Zahl der verwendeten Oberfl¨ achenpunkte und den ben¨ otigten Rechenschritten. Zur Registrierung eines Wirbels mit kompletter Oberfl¨ache wurden etwa 15 s ben¨otigt. Das Schienbein konnte mit einer mittleren Rechenzeit von 4,2 s zuverl¨assig registriert werden. Der mittlere Abstand aller korrekten Registrierungen zu ihrem jeweiligen Optimum lag bei 0,07 mm. In Abb. 1 sind die Knochenoberfl¨ achenpunkte nach Registrierung in die Ultraschalldaten eingeblendet. Dabei zeigen die Bilder links die Registrierung mit kompletter Oberfl¨ache, die Bilder in der Mitte und rechts die Registrierung mit reduzierter Knochenoberfl¨ ache.

4

Diskussion

Es konnte gezeigt werden, dass die Ultraschallregistrierung sowohl intraoperativ an der Lendenwirbels¨ aule als auch in anderen Anwendungsgebieten mit hoher Pr¨ azision und hoher Registrierrate m¨ oglich war.

200

S. Winter et al.

Die Rechenzeiten der Registrierung sind abh¨angig von der Zahl der verwendeten Oberfl¨ achenpunkte. Die Versuche mit systematischer Reduzierung der Oberfl¨achenpunktmenge haben gezeigt, dass bei den Daten des Knies auch bei Reduktion um Faktor 8 noch eine 100 %ige Registrierung der Daten m¨oglich war. Bei den anderen Datens¨ atzen hingegen hat die Zuverl¨assigkeit der Registrierung abgenommen. Voraussetzung f¨ ur eine erfolgreiche Registrierung ist allerdings eine gute Bestimmung der Knochenoberfl¨ ache im CT, die in den Ultraschalldaten abgebildet wird. F¨ ur die Versuche an Knie und Schulter war der im Ultraschall abgebildete Ausschnitt vor Bestimmung der Knochenoberfl¨ache im CT bekannt und die Oberfl¨ ache wurde abh¨ angig davon extrahiert. Bisher existieren noch keine Ultraschallaufnahmeprotokolle f¨ ur die großen Gelenke, die eine geeignete Auswahl des vom Ultraschall abgebildeten Bereichs und damit die automatische Bestimmung der geeigneten Knochenoberfl¨ache zulassen. Daher wird eine intraoperative Registrierung noch nicht mit so hoher Zuverl¨ assigkeit m¨ oglich sein wie dies f¨ ur die pr¨aoperativen Daten gezeigt werden konnte. F¨ ur die Registrierung der Lendens¨aule hingegen wurde die Vorgehensweise bei der Ultraschall-Datenaufnahme so genau festgelegt, dass die Bestimmung der Knochenoberfl¨ achenpunkte ohne Kenntnis der eigentlichen Daten m¨oglich war und eine zuverl¨ assige Registrierung der intraoperativ erhobenen Daten durchgef¨ uhrt werden konnte. Danksagung. Diese Arbeit ist im Rahmen des Kompetenzzentrum Medizintechnik Ruhr (KMR) Bochum entstanden und wird gef¨ordert vom BMBF (Az. 13N8079).

Literaturverzeichnis 1. Tonetti J, Carrat L, Blendea S, et al. Clinical Results of Percutaneous Pelvic Surgery. Computer Assisted Surgery Using Ultrasound Compared to Standard Fluoroscopy. Comput Aided Surg 2001;6:204–211. 2. Ioppolo J, Kowal J, Nolte LP. Ultrasonic Registration Techniques. In: Procs CAOS; 2002. p. 295. 3. Muratore DM, Russ JH, Dawant BM, Galloway RL. Three-Dimensional Image Registration of Phantom Vertebrae for Image-Guided Surgery: A Preliminary Study. Comput Aided Surg 2002;7:342–352. 4. Amin DV, Kanade T, DiGioia AM, Jaramaz B. Ultrasound Registration of Bone Surface for Surgical Navigation. Comput Aided Surg 2003;8:1–16. 5. Brendel B, Winter S, Rick A, et al. Registration of 3D CT- and ultrasound-datasets of the spine using bone structures. Comput Aided Surg 2002;7:146–155. 6. Winter S, Brendel B, Rick A, et al. Registration of bone surfaces, extracted from CT-datasets, with 3D-ultrasound. Biomed Tech 2002;47(1):57–60. 7. Winter S, Brendel B, Igel C. Registrierung von Knochen in 3D-Ultraschall- und CT-Daten: Vergleich verschiedener Optimierungsverfahren. In: Procs BVM; 2005. p. 345–349. 8. Brendel B, Winter S, Ermert H. In vivo Evaluierung und In vitro Genauigkeitsmessung f¨ ur einen Algorithmus zur Registrierung von Ultraschall- und CT-Datens¨ atzen. In: Procs BVM; 2005. p. 340–344.

An Adaptive Irregular Grid Approach Using SIFT Features for Elastic Medical Image Registration Astrid Franz, Ingwer C. Carlsen and Steffen Renisch Philips Research Laboratories, P.O. Box 63 05 65, D-22315 Hamburg Email: [email protected]

Abstract. Elastic image registration is an active field of current research. In contrast to B-spline transformations, defined on a regular grid of control points, we consider physics-based transformations defined on irregular grids. With such control point arrangements, the required nonlinear behaviour can be described with less parameters. We combine this transformation model with the SIFT algorithm for identifying prominent image structures that serve well as initial control point positions. Medical applications from different modalities show that with this intelligent control point initialization the number of required control points can be further reduced, which significantly speeds up the registration process.

1

Introduction

Elastic registration of medical images, i.e. finding a non-affine transformation such that corresponding image structures correctly align, is an active field of current research. Accurate image registration is a necessary prerequisite for many diagnostic and therapy planning procedures where complementary information from different images has to be combined. Different registration algorithms have been proposed, but as of yet no generally accepted strategy seems to exist and it is unlikely that a single approach will serve all clinical applications. One well-established classification scheme of elastic registration methods is their division into parametric and non-parametric methods [1, 2]. Parametric approaches have the advantage of representing the transformation by a moderate number of parameters, but on the other hand limit the transformation freedom. The transformation parameters have to be optimized in order to find that set of parameters yielding optimal similarity of the two images, quantified by a greyvalue based similarity measure. Since optimization in a high-dimensional space is computationally expensive, a transformation model has to be found describing the clinical relevant deformations with as few parameters as possible. A well-known transformation model for elastic image registration are Bsplines defined on a regular grid of control points [3, 4]. The registration accuracy for such a transformation strongly depends on the grid resolution, where the use of fine grids results in high computational costs. An alternative is the use of irregular grids of control points with a physics-based transformation model as

202

A. Franz, I.C. Carlsen and S. Renisch

introduced in [5, 6]. The advantage of such a method is that control points need to be placed only in image regions where they are of significant influence on the registration accuracy. Hence a similar transformation flexibility can be described by fewer parameters than on the basis of a regular control gid. Furthermore, not only the forces applied at the control points, but also the position of the control points can be changed during the optimization process [7, 8]. Hence no prior knowledge is required where to optimally place the control points, which is a great advantage over registration approaches using point landmarks from local image characteristics (see [9] and references therein). In [7, 8] the number of the control points was fixed, and they where initially placed on a regular grid. A validation investigation of these methods for a set of clinical applications showed that a further reduction of the number of parameters is possible by an iterative placement of the control points [10]. Since global optimization is computationally expensive, the fast derivative-based LevenbergMarquardt method is used for optimizing the forces as well as the position of the control points, but this optimization strategy is only locally convergent and therefore the registration result depends on the initial placement of the control points. In [10] the control points are initially placed randomly inside the image area, which makes the registration result non-deterministic.

2

Theory and Methodology

Here we propose to use the Scale Invariant Feature Transform (SIFT) algorithm known from panoramic image mosaicing [11] for identifying good initial landmark positions. The SIFT features are geometrically invariant under similarity transforms and invariant under affine changes in intensity. Distinctive SIFT feature points correspond to prominent image structures that serve well as initial control points of relevance and that allow constraining the local optimization to adjust only parameters that have a pronounced influence on improving the image similarity. In contrast to a random control point placement, this results in a deterministic and more robust registration algorithm. The SIFT algorithm identifies extrema in the scale space, i.e. it measures how long an image structure survives when blurring the image with wider and wider Gaussian kernels. The longer a structure survives the blurring sequence, the more prominent this structure appears in the image. The first control point is then placed at the most prominent SIFT feature. Starting from this control point, the force and the position is optimized by the Levenberg-Marquardt method until optimal similarity between the reference image and the warped floating image is reached. Then this optimal control point configuration is used as starting configuration for the next optimization run, and an additional control point is placed at the next prominent SIFT feature. All control points together are optimized further. The iterative placement of an additional control point at the next prominent SIFT feature is continued as long as a significant improvement of the similarity measure can be reached.

An Adaptive Irregular Grid Approach

203

Fig. 1. Application test images: MR image of a joint (a), abdominal CT image (b) and PET transmission image (c), and corresponding regions of interest for computing the displacement error (d-f). (a)

(b)

(c)

(d)

(e)

(f)

We use the validation strategy introduced in [10] to compare the registration results of the proposed algorithm with previous approaches. We construct a “pseudo” ground truth by applying an artificial, but realistic deformation to a clinical floating image and use this artificially deformed image as reference image further on. After a registration, the resulting transformation can then be compared with the known ground truth, using e.g. the displacement error averaged over a region of interest as quality measure for judging the registration accuracy.

3

Results

We investigated the proposed algorithm of combining the adaptive irregular grid approach with an iterative control point placement based on SIFT features for a range of clinical applications: MR images of freely moving joints for orthopedic investigations, abdominal CT images for adaptive radiation therapy planning, and PET transmission images used for the attenuation correction and registration of independently acquired PET and CT images. The test calculations were carried out for the 2D images shown in fig. 1, but of course the proposed algorithm works equally well in three spatial dimensions. We constructed a pseudo ground truth by applying a thin plate spline transformation to all three example images, where this transformation was chosen in such a way that the deformed images are in good agreement to real deformed clinical images. Note that the pseudo ground truth transformation was chosen out of another transformation class than that used for subsequent registration.

204

A. Franz, I.C. Carlsen and S. Renisch

(b) MSSD

displacement error

(a)

number of control points

number of control points

Fig. 2. Displacement error (a) and similarity measure (b) for the MR moving joint application shown in fig. 1a as a function of the number of control points. The control points are initially placed randomly () or at the SIFT feature points ().

(b) MSSD

displacement error

(a)

number of control points

number of control points

Fig. 3. Displacement error (a) and similarity measure (b) for the radiation therapy planning application shown in fig. 1b as a function of the number of control points. The control points are initially placed randomly () or at the SIFT feature points ().

(b) MSSD

displacement error

(a)

number of control points

number of control points

Fig. 4. Displacement error (a) and similarity measure (b) for the PET application shown in fig. 1c as a function of the number of control points. The control points are initially placed randomly () or at the SIFT feature points ().

An Adaptive Irregular Grid Approach

205

In all example applications it turned out that a small number of control points is sufficient to reach an averaged displacement error of less than 1 pixel over the considered region of interest (see figs. 2-4). In comparison, with a random initial control point placement such small displacement errors can not be reached (see figs. 2,3), or they require a much larger number of control points (see fig. 4). Hence, the SIFT feature points are good starting points for the adaptive irregular grid approach to elastic registration.

4

Conclusion and Discussion

The elastic registration algorithm we present here uses the SIFT features known from panoramic stitching for identifying significant image structures for the initial control point placement for adaptive irregular grid transformation models. Contrary to a completely random positioning, it avoids placing control points in areas void of significant grey value structures where their adjustment will hardly change the similarity measure and hence will not efficiently improve image similarity. Furthermore, it makes the registration algorithm deterministic and reproducible, an important aspect for acceptance in the clinical practice. Hence the combination of the adaptive irregular grid transformations and the SIFT features for initial control point placement is a promising approach to elastic medical image registration.

References 1. Rohr K. Landmark-Based Image Analysis: Using Geometry and Intensity Models. Dordrecht: Kluwer; 2001. 2. Modersitzki J. Numerical Methods for Image Registration. Oxford University Press; 2004. 3. Rueckert D, Sonoda LI, Hayes C, et al. Nonrigid registration using free-form deformations: Application to breast MR images. IEEE Trans Med Imaging 1999;18(8):712–721. 4. Kybic J, Unser M. Fast Parametric Elastic Image Registration. IEEE Trans Image Process 2003;12(11):1427–1442. 5. Kohlrausch J, Rohr K, Stiehl S. A new class of elastic body splines for nonrigid registration of medical images. In: Procs BVM; 2001. p. 164–168. 6. Kohlrausch J, Rohr K, Stiehl HS. A New Class of Elastic Body Splines for Nonrigid Registration of Medical Images. J Math Imaging Vision 2005;23(3):253–280. 7. Pekar V, Gladilin E. Deformable Image Registration by Adaptive Gaussian Forces. In: Procs CVAMIA+MMBIA; 2004. p. 317–328. 8. Pekar V, Gladilin E, Rohr K. An Adaptive Irregular Grid Approach for 3-D Deformable Image Registration. Phys Med Biol, in press 2005. 9. Zitov´ a B, Flusser J. Image registration methods: A survey. Image Vis Comput 2003;21(11):977–1000. 10. Franz A, Carlsen IC, Renisch S, et al. Validation of elastic registration algorithms based on adaptive irregular grids for medical applications. In: Procs SPIE Med Imaging: Image Processing; 2006. 11. Brown M, Lowe DG. Recognising Panoramas. In: Procs ICCV; 2003. p. 1218–1225.

New Approximating Gaussian Elastic Body Splines for Landmark-Based Registration of Medical Images Stefan W¨ orz and Karl Rohr University of Heidelberg, IPMB, and DKFZ Heidelberg, Dept. Bioinformatics and Functional Genomics, Biomedical Computer Vision Group Im Neuenheimer Feld 580, 69120 Heidelberg, Germany Email: {s.woerz,k.rohr}@dkfz.de

Abstract. We introduce a new approximation scheme for landmarkbased elastic image registration using Gaussian elastic body splines (GEBS). The scheme is based on an extended energy functional related to the Navier equation under Gaussian forces and allows to individually weight the landmarks according to their localization uncertainties. We demonstrate the applicability of the registration scheme based on 3D synthetic image data as well as 2D MR images of the human brain. From the experiments it turns out that the new approximating GEBS approach achieves more accurate registration results in comparison to previously proposed interpolating GEBS as well as TPS.

1

Introduction

Image registration is an important task in medical image analysis. Examples for applications are the registration of images of different modalities as well as the registration of preoperative with intra- and postoperative images. While rigid registration schemes are computationally efficient, they do not allow to cope with local differences between corresponding image data. Therefore, nonrigid registration schemes are required. A special class of general nonrigid transformations are elastic transformations, which allow for local adaptation and which are generally based on an energy functional or the related partial differential equation. Often, spline-based approaches are used for nonrigid registration such as thin-plate splines (TPS, e.g., [1]), elastic body splines (EBS, [2]), and Gaussian EBS (GEBS, [3, 4, 5]). While TPS are based on the bending energy of a thin plate, EBS and GEBS are derived from the Navier equation (partial differential equation), which describes the deformation of elastic objects under certain forces. GEBS in comparison to EBS have the advantage that more realistic forces are used, i.e. Gaussian forces instead of polynomial or rational forces. In splinebased registration approaches, generally an interpolation scheme is applied that forces corresponding landmarks to exactly match each other. The underlying assumption is that the landmark positions are known exactly. In real applications, however, landmark extraction is always prone to error. Therefore, to take these localization uncertainties into account, approximation schemes have been

New Approximating Gaussian Elastic Body Splines

207

proposed, for example, for TPS (see, e.g., [1]). However, approximation schemes for EBS and GEBS approaches have not yet been introduced.

2

Approximating Gaussian Elastic Body Splines (GEBS)

First, we briefly describe the interpolating GEBS approach (Kohlrausch et al. [3, 4]). This approach is based on the Navier equation of linear elasticity ++µ 0=µ +∆u + (λ +) ∇ (div u) + f

(1)

with the displacement vector field u, body forces f , as well as Lam´e constants + > 0 describing material properties. Given Gaussian forces f (x) = c f (r) = µ +, λ * √ c ( 2πσf )−3 exp(−r2 /(2σf2 )) with x = (x, y, z)T , r = x2 + y 2 + z 2 , and the standard deviation σf , an analytic solution of (1) has been derived. The resulting basis functions G (a 3 × 3 matrix) are given by (up to a constant factor)     2 2 r2 − 3σf2 αr2 + σf2 e−ˆr e−ˆr erf(ˆ r) − β 2 erf(ˆ r) + 3β 4 I+ xxT (2) G(x) = r3 r r5 r * √ where rˆ = r/( 2 σf ), α = 3 − 4ν, β = σf 2/π, and the Poisson ratio + λ + + 2+ ν = λ/(2 µ). Using the interpolation condition qi = u(p i ), the scheme for n spline-based elastic image registration is given by u(x) = x + i=1 G(x − pi ) ci where pi and qi denote the positions of corresponding n landmarks of the source and target image, respectively. The coefficients ci represent the strength as well as direction of the Gaussian forces and are computed from a linear system of equations (LSE) comprising the basis functions G and the landmarks pi and qi . With an interpolation approach as described above the landmarks are matched exactly. This implicitly assumes that the landmark positions are known exactly, which is not realistic. To take into account landmark localization errors we extend this approach by weakening the interpolation condition, i.e. we use the approximation condition qi ≈ u(pi ). More precisely, the approximation condition is specified based on 3 × 3 covariance matrices Σ i defining the anisotropic localization uncertainties of the n landmarks. For the special case of isotropic localization uncertainties σi , the covariance matrix simplifies to Σ i = σi2 I. To include localization uncertainties of landmarks in the GEBS approach, i.e. to derive approximating GEBS, we introduce a new energy-minimizing functional consisting of two terms. The first term JElastic represents the elastic energy according to the Navier equation (1) without the force f and acts as a smoothness term. The second term JF orce represents Gaussian forces specified by corresponding landmarks pi and qi , and, in addition, incorporates the localization uncertainties Σ i of the landmarks. Here, we propose a quadratic approximation ' ' ' ∞ 1 n JF orce = f (x − pi ) (qi − u(x))T Σ −1 i (qi − u(x)) dx (3) i=1 −∞ λn where λ > 0 denotes the regularization parameter. The new functional then reads Jλ = JElastic + JF orce. For Jλ we derive the related partial differential equation,

208

S. W¨ orz and K. Rohr

which represents an extension of the Navier equation (1), and then determine an analytic solution. Finally, we determine the resulting LSE. Since the solution can be stated in analytic form, we end up with a computationally efficient scheme. It turns out that the analytic solution to the approximation problem consists of the same basis functions G as in the case of interpolation. However, the resulting LSE to compute the coefficients ci is more complex. More precisely, the structure of the LSE is the same for interpolating and approximating GEBS, except that approximating GEBS include additional sums of weighted forces n −1 i=1 f (pj −pi )Σ i . It also turns out that the previously proposed interpolating GEBS are a special case of the new approximating GEBS. In comparison to existing spline-based approaches, the new approach based on approximating GEBS combines a number of advantages. A main advantage is that GEBS include a material parameter (Poisson ratio ν), which defines the ratio between transverse contraction and longitudinal dilation of an elastic material. Therefore, the registration scheme integrates an improved physical deformation model, i.e. cross-effects can be taken into account (which is not the case for TPS). Another advantage is that Gaussian forces are used in the GEBS approach instead of polynomial or rational forces as in the previous EBS approach [2]. Gaussian forces are physically more plausible since they decrease with distance and they do not diverge. In addition, with Gaussian forces we have a free parameter (standard deviation σf ) to control the locality of the transformation. Finally, the new approximation approach allows to individually weight the landmarks according to their localization uncertainty, which can be characterized either by scalar weights σi or by weight matrices Σ i representing isotropic and anisotropic uncertainties, respectively.

3

Experimental Results

We have applied the new approximating Gaussian EBS approach to register 3D synthetic image data as well as 2D MR images of the human brain. In the synthetic experiments we generated 3D image data based on the superposition of superellipsoids (using different sizes, orientations, and homogeneous intensities), which represent a simplified 3D MR image of a human head comprising different tissues such as skin, skull, brain, and the ventricular system (see Fig. 1, left). To simulate local differences in the images, we locally varied the shape of the ventricular system. In addition, we applied a translation of the overall image. In total, we used 12 corresponding landmarks. Moreover, we artificially misplaced a subset of three landmarks to simulate landmark extraction in clinical routine, which generally is prone to error (i.e. the left-, top-, and right-most landmarks in Fig. 1, left). To quantitatively analyze the registration accuracy, we computed the mean intensity error eint between the source and target image as well as between the transformed source and target image. Applying the new approach using anisotropic localization uncertainties of the landmarks without misplaced landmarks, the mean intensity error eint improved by 85.8% w.r.t. to the unregistered images. In comparison, for interpolating

New Approximating Gaussian Elastic Body Splines

209

Fig. 1. 2D section of the 3D source image as well as 2D sections of the 3D source image overlayed with computed edges of the target image: Without registration as well as with registration using interpolating and approximating GEBS (from left to right).

GEBS the results are similar with an improvement of 79.0%. With misplaced landmarks the new approximating GEBS approach still improved eint by 79.5% (Fig. 1, right). In comparison, interpolating GEBS yield significantly worse results with an improvement of only 16.6% (Fig. 1, middle right). Moreover, for interpolating TPS the results are worse, i.e. achieving improvements of only 46.3% without and 14.3% with artificially misplaced landmarks. We have also applied the new approximating Gaussian EBS approach to register pre- and postsurgical MR images of the human brain. The images shown in Fig. 2 are 2D MR images of a patient before (left) and after (middle left) resection of a tumor. 22 landmarks have been placed at the contours of the tumor and at the contours of the head in the vicinity of the tumor (white lines). Five additional landmarks have been placed at the top, right, and bottom part of the image. Prior to elastic registration the images have initially been aligned by an affine transformation. Note that after affine transformation the ventricular system is well aligned, thus the resection of the brain tumor has hardly an effect on the position and size of the ventricular system. For the Gaussian forces of the GEBS approach we chose a standard deviation of σf = 5 voxels, and the Poisson ratio is set to ν = 0.49, which corresponds to brain tissue. Using interpolating TPS and interpolating GEBS for image registration (not shown here), it turns out that in both cases the vicinity of the tumor and resection area are well registered. However, in the case of TPS there are significant deviations at the ventricular system, and, therefore, the overall registration result is not usable. In contrast, using GEBS only deforms the source image in the vicinity of the displaced landmarks (i.e. within the tumor and resection area). Using approximating GEBS in this experiment does not improve the registration accuracy significantly. The reason is that the corresponding landmarks have been chosen very well. To demonstrate the applicability of approximating GEBS, we have misplaced five landmarks on the left side of the outer skull (see Fig. 2, left), i.e. we shifted the five landmarks upwards along the outer skull. For these landmarks, we defined the localization uncertainties in accordance with their displacements, whereas for the other landmarks we chose relatively small isotropic localization uncertainties. Fig. 2 shows the registered source image using interpolating GEBS (middle right) and approximating GEBS (right) for this

210

S. W¨ orz and K. Rohr

Fig. 2. Registration of 2D MR brain images (from left to right): Pre- and postsurgical images as well as registered source image using interpolating and approximating GEBS.

second set of landmarks. It turns out that the misplaced landmarks significantly affect the registration result in the case of interpolating GEBS, see the unrealistic oscillations on the left side of the outer skull in Fig. 2 (middle right). In contrast, using approximating GEBS the influence of the misplaced landmarks is relatively low, while the tumor and resection area are still well registered.

4

Conclusion

We have presented a new approximation scheme for elastic image registration based on Gaussian elastic body splines (GEBS). The scheme is based on an extended energy functional related to the Navier equation using Gaussian forces and incorporates both isotropic as well as anisotropic localization uncertainties of the landmark positions. Our experimental results show that the scheme is superior to previously proposed interpolating GEBS as well as TPS. Acknowledgments. This work has been funded by the Deutsche Forschungsgemeinschaft (DFG) within the project ELASTIR (RO 2471/2-1). The original images and the tumor outlines have kindly been provided by OA Dr. med. U. Spetzger and Prof. Dr. J.-M. Gilsbach, Neurosurgical Clinic, University Hospital Aachen of the RWTH.

References 1. Rohr K, Stiehl HS, Sprengel R, et al. Landmark-Based Elastic Registration Using Approximating Thin-Plate Splines. IEEE Trans Med Imaging 2001;20(6):526–534. 2. Davis MH, Khotanzad A, Flaming DP, et al. A physics-based coordinate transformation for 3D image matching. IEEE Trans Med Imaging 1997;16(3):317–328. 3. Kohlrausch J, Rohr K, Stiehl HS. A New Class of Elastic Body Splines for Nonrigid Registration of Medical Images. In: Proc. BVM’01; 2001. p. 164–168. 4. Kohlrausch J, Rohr K, Stiehl HS. A New Class of Elastic Body Splines for Nonrigid Registration of Medical Images. J Math Imaging Vis 2005;23(3):253–280. 5. Pekar V, Gladilin E, Rohr K. An adaptive irregular grid approach for 3-D deformable image registration. Physics in Medicine and Biology 2006; in press.

Piecewise Rigid Multimodal Spine Registration ˇ Peter Cech, Adrian Andronache, Liping Wang, G´ abor Sz´ekely and Philippe Cattin Computer Vision Laboratory, ETH Zurich, CH-8092 Zurich Email: {cech,androna,szekely,cattin}@vision.ee.ethz.ch Abstract. In this paper we present an efficient and robust vertebra segmentation algorithm for CT data. It proved reliable even for cases with damaged vertebrae or missing intervertebral discs. The resulting segmentation is then used to define the corresponding regions of interest in a piecewise rigid registration of the spine between CT and MR datasets of the same patient. The resulting deformation field has been extended to the surrounding soft tissue by smooth interpolation.

1

Introduction

Over the past decade computer assisted surgery has evolved from early laboratory experiments to clinical prototypes and industrial products. The main idea is to provide the surgeon a broad spectrum of information about the anatomy and physiology of the patient during interventions. One possible solution is to spatially align the pre-operative images with intra-operative acquisitions. The main objective of this research is to create a framework allowing to piecewise rigidly register pre-operative spine images with intra-operative data reflecting the actual state of the patient’s anatomy during intervention. Conventional registration methods as described in the review article [1] will fail when registering spine data. The reason lying in the interleaved nature of the spine consisting of the rigid vertebrae and surrounding soft tissue. It is therefore important, that prior to registration each vertebra is separated from its neighbors and treated as a rigid body during registration. While many different methods have been proposed for medical image segmentation (see [2] and the references therein), literature is sparse in the field of vertebrae segmentation and registration. The most promising approach so far are the deformable models and their improved extensions using a priori knowledge in the form of parametric or statistical models [3, 4, 5].

2

Methods

Piecewise rigid registration is a two-stage process. In the first stage, the vertebrae of the spinal column to be registered are extracted. In the second step, all the segments are registered using prior knowledge of spatial relations between them. Vertebra Segmentation: A spinal column consists of vertebrae interleaved with soft tissues such as intervertebral discs. It follows an S-shaped curve and allows for a certain degree of flexibility in bending and twisting. As the main shape features of the vertebra are oriented either parallel or perpendicular to

212

ˇ P. Cech et al.

the centerline of the spinal canal, the extraction of this centerline is the logical first step of the segmentation process. As the spinal canal is a tubular structure located inside the spinal column, we can assume a simplified model: a cylindrical structure with longitudinal orientation enclosed by bone. In a first step, bones are segmented by thresholding at 200 Hounsfield units (HU). Our simplified model ignores the existence of intervertebral discs and other gaps between bones. To overcome this limitation, a morphological dilation with an ellipsoid structural element (isotropic in axial slice, extended in longitudinal direction) is used to enclose the spinal canal. Ideally, the spinal canal would be a single tubular structure, practically it consists of several segments (e. g. gaps due to imperfect bridging of intervertebral discs). To extract these segments, connected component labeling of the background enclosed by bone is performed in each axial slice. In some cases the labeling delivers components other than the spinal cord e. g. inside the vertebral body or areas falsely enclosed by the dilation. Unsuitable components are discarded based on the size and shape of the 2D components and 3D segments they create. The spinal cord approximation is iteratively constructed from the remaining segments, starting with the largest. Conflicts (more than one segment in a slice) are resolved in favor of the continuity of the already constructed part. For each slice intersecting the spinal cord approximation, a mass center of the intersection marks a rough centerline position. The final centerline is a smoothed approximation of such points. Before we approach the next step of the segmentation process, the volume is straightened by resampling in a way, that each slice is perpendicular to the centerline of the spinal canal. A single threshold segmentation of the reformated volume, as used above, would fail to include the low density bone in the interior of the vertebrae. Therefore we segment the bone, utilizing an automatic technique developed previously [6]. The method adaptively varies the threshold based upon mean and standard deviation of the gray values in the local neighborhood. The adaptive nature causes foreground pixels to occur not only in the bony regions, but also in the soft tissues all around the volume. Therefore we make use of an additional threshold that helps to distinguish the dense bone contours from soft tissues. The gaps in the bone contours, caused sometimes by the operation are, corrected by a 2D morphological closing, followed by the filling of the bone interior. The last step of the segmentation process is the separation of the vertebrae, Fig. 1(a). The separation surface consists of three parts. The first is a half-plane separating vertebral bodies at the position of an intervertebral disc. The second part is a triangular surface spanning a 90◦ fan from the spinal cord centerline in the posterior direction. It is positioned in the gap between the laminas and spinous processes of two neighboring vertebrae. The separation is finalized by spanning a ruled surface between boundaries of the half-plane and the fan. Non-rigid Registration: The choice of the registration procedure is imposed by both the physical characteristics of the spine and the multi-modal nature of the images. A piecewise rigid strategy seems to be the most suitable approach to

Piecewise Rigid Multimodal Spine Registration

213

Fig. 1. Segmentation process. (a) Left: The amount of bone voxels in the anterior area of the slice. Regions around the minima coincide with the intervertebral discs. Right: Two consecutive vertebrae in the straightened spinal column overlayed by the scheme of the separation surface construction. Dotted line represents the distance between the spinal canal centerline and the ridge of the lamina or spinous processes. Minimum areas coincide with the posterior gaps between the vertebrae. The tilt is optimized to avoid intersecting the bones. (b) Segmented vertebra and the separation surface. (c) Spinal canal centerline is interpolated in the region of the injured spine.

accurately model the deformation of the spine structure. This approach allows to decompose the global non-rigid matching problem of the spine into numerous local rigid registrations of the individual vertebrae. The parameters obtained after these local rigid matches are then embodied into a dense global non-rigid deformation field built such that it preserves the rigid characteristics of the vertebrae and elastically deforms the soft tissue around it. Introduced in 1995 by [7] and [8], mutual information (MI) is seen as the best similarity measure for matching multi-modal images. However, care must be taken to avoid problems with interpolation artifacts [9] and the inherent limitations of MI with images of low structural content [10]. In the context of piecewise rigid spine registration this is of particular importance, as the number of image samples around the rigid vertebrae is relatively small, and the vertebrae are of low contrast in the MR scans. We therefore propose to use a slightly dilated mask, i.e. 2 − 3 mm, of the vertebrae, as the regions for the local rigid registration. The extra layer of soft tissue around each vertebrae will not affect the rigid matching, as the deformation is minimal in the proximity of the bone. It will on the other hand increase the reliability of the MI estimation and therefore increase the robustness of the registrations. Once all the corresponding vertebrae pairs are properly registered, the individual transformations are merged into a global dense deformation field. Using a 3D extension of the technique described by Little et al. in [11] the final deformation field is built such, that it rigidly transforms the vertebrae and elastically deforms the soft tissue around them.

3

Results

We have tested the segmentation algorithm on 10 datasets containing regions of the cervical, thoracic, lumbal and sacral spine. Two datasets contained vertebrae

214

ˇ P. Cech et al.

Fig. 2. Result of a CT-MR spine registration. (a) Transversal and sagittal sections in the reference CT image. (b) The contours of the CT vertebrae overlaid on the corresponding sections in the floating MR image after the global rigid registration. (c) The contours of the CT vertebrae overlaid on the resulting MR sections after the piecewise registration procedure.

(a)

(b)

(c)

with missing lamina and spinous processes and three more contained vertebrae with deformations. Since only three of our CT datasets were accompanied with correspondig MRI volumes, the feasibility of the full segmentation and the piecewise registration process was verified on these three cadaver studies. The spinal canal extraction has proven robust against cases when lamina and spinous processes are missing on some vertebrae. In such cases, the centerline is interpolated from the neighboring vertebrae, Fig. 1(c). The centerline extraction can follow a wrong path in the area of the sacrum, where false canals between the sacrum and pelvis are created by the morphological dilation. The separation of the vertebrae works robustly in areas of the thoracic and lumbal spine, but often fails in the area of the cervical spine. In one case the last lumbal vertebra was not separated due to incorrect spinal canal centerline detection in the sacrum region. The approach chosen for separating neighboring vertebrae does always not offer proper segmentation of the articular processes. In the cervical area, a purely planar surface might be insufficient to separate the spinous processes. However, even in such cases the fraction of incorrectly separated bone is small and therefore the registration is able to correct for them and give robust results. The registration algorithm was tested on segmented CT spine data with their corresponding MR scans. Figure 2 depicts a registration result of one of the CTMR data sets of the spine, showing the contours of the CT segmented vertebra overlaid on the corresponding MR image. The middle column, depicting the result after the global rigid registration, shows the necessity for individual verte-

Piecewise Rigid Multimodal Spine Registration

215

bra matching in order to compensate their rotation around the spinal cord. The images from the right column show the result after piecewise rigid registration.

4

Discussion and Conclusions

In this paper we presented an efficient vertebrae segmentation algorithm for CT data. The algorithm provides the centerline of the spinal canal and even if some of the vertebrae are damaged, it is capable to robustly produce results accurate enough to perform reliable piecewise registration of the spine. We also presented an algorithm for achieving piecewise multimodal registration of the spine. The registration method we presented is not restricted to the CT-MR modalities, but can be used for any other mono/multi-modal image registrations, provided that at least in one of the images the vertebrae can be segmented to define the rigid objects. This piecewise strategy can be suitable for other non-rigid registration applications, if elastic deformations close to or in between the previously defined rigid objects are only of interest. Acknowledgements. This work has been supported by the CO-ME/NCCR research network of the Swiss National Science Foundation (http://co-me.ch). We are also grateful to the MEMCenter, University of Bern.

References 1. Zitova B, Flusser J. Image registration methods: a survey. Image and Vision Computing 2003;21(11):977–1000. 2. Pham DL, Xu C, Prince JL. Current Methods in Medical Image Segmentation. Annual Review of Biomedical Engineering 2000;2:315–337. 3. Benameur S, Mignotte M, et al. 3D/2D registration and segmentation of scoliotic vertebrae using statistical models. Comput Med Imaging Graph 2003;27:312–37. 4. Hu Y, Haynor DR. Multirigid registration of MR and CT images of the cervical spine. In: Medical Imaging 2004: Image Processing. vol. 5370; 2004. p. 1527–1538. 5. Zamora G, Sari-Sarrafa H, Long R. Hierarchical Segmentation of Vertebrae from X-ray Images. In: Proc. of SPIE Medical Imaging - Image Processing; 2003. 6. Wang LI. Segmentation of Bone in Computed Tomography Images Using Contour Coherency. Master’s thesis. Queen’s University, Kingston, Ontario, Canada; 2004. 7. Viola P, Wells WM. Alignment by maximization of mutual information. In: Proc. of ICCV. ISBN 0-8186-7042-8. IEEE Computer Society; 1995. p. 16–23. 8. Maes F, Collignon A, Vandermeulen D, Marchal G, Suetens P. Multi-modality image registration by maximization of mutual information. Proc IEEE Workshop Mathematical Methods in Biomedical Image Analysis 1996;p. 14–22. 9. Tsao J. Interpolation Artifacts in Multimodality Image Registration Based on Maximization of Mutual Information. IEEE Trans Med Imag 2003;22(7):854–864. 10. Andronache A, Cattin P, Sz´ekely G. Adaptive Subdivision for Hierarchical Nonrigid Registration of Multi-modal Images Using Mutual Information. In: MICCAI. vol. 3750. Springer-Verlag GmbH; 2005. p. 976–83. 11. Little JA, Hill DLG, Hawkes DJ. Deformations Incorporating Rigid Structures. Computer Vision Image Understanding 1997;66(2):223–232.

A Robust Semi-automatic Procedure for Motion Quantification of Aortic Stent Grafts Using Point Set Registration Julian Mattes1 , Iris Steingruber2 , Michael Netzer1 , Karl Fritscher1 , Helmut Kopf2 , Werner Jaschke2 and Rainer Schubert1 2

1 ¨ Institut f¨ ur Biomedizinische Bildanalyse, UMIT, 6060 Hall in Tirol, Osterreich ¨ Klinik f¨ ur Diagnostische Radiologie, Medizinische Universit¨at Innsbruck, Osterreich Email: [email protected]

Abstract. After endovascular aortic aneurysm repair, stent graft migration and kinking or buckling of the stent graft can cause the perilous risk of rupture. In a previous paper we presented an approach to analyze the migration of the stent by defining the spinal canal as a reference object and by investigating the movements relative to it. In this paper, we quantify also non-rigid deformations of the stent. A procedure is used based on the segmentation and extraction of surface points for stent and spinal canal and on point set registration. The sensitivity of the quantified values with respect to the choice of segmentation parameters is investigated as well. Results for 6 patients show that the procedure allows us to distinguish benign cases from dangerous changes in morphology even if segmentation parameters vary within a reasonable bandwidth.

1

Introduction

The enlargement of the aorta below the renal arteries due to its weakened walls is called an infrarenal or abdominal aortic aneurysm (AAA) [1]. From a diameter of 5 cm on, the AAA should be treated because of the perilous risk of rupture. Endovascular aneurysm repair is a treatment established in the early nineties in which a stent with a synthetic graft (stent graft) is placed inside the aorta to cover the weakened regions of its wall. However, the process of aneurysm shrinkage, ongoing aneurismal disease, and damage or fatigue of graft material may result in leakage, graft migration, and kinking or buckling of the graft, which can subsequently cause rupture or occlusion [2]. In order to assess the ruptur risk depending on the diameter of the aneurysm several methods for the segmentation of AAAs have been investigated [3]. Image processing methods have also been used for extracting and describing vessels from CT images to improve the design of stents [4]. Another study attempted to assess the rupture risk using hemodynamic modelling [5]. Several clinical papers are dealing with complications which appear after endovascular repair [2] or compare this approach with the classical open intervention [1]. Currently, few is known about the morphological changes and the migration of the graft as well as about those of the aneurysm after an endovascular stent

A Robust Semi-automatic Procedure for Motion Quantification

217

graft implantation, in particular their quantitative description is lacking. In a previous work [6] and [7] we proposed quantitative measures and an (implemented) procedure for this purpose, in particular we quantified the migration of the stent with respect to the spinal canal and to the aorta. In this paper, we investigate the robustness of the procedure and show that malign changes in morphology can be identified by the quantified parameters.

2

Methods

Our procedure for motion estimation is based on point set registration applied to the points of segmented surfaces, which have been extracted from the 3D-CT images of two different points in time. Hence, a reproducible determination of motion may depend on the chosen segmentation parameters and the user should be able to select each parameter in a range in which the resulting motion does not vary to a large extend. A reproducible motion determination is necessary if different users are applying the procedure (implemented as a software tool) and to get a comparable result if the motion of different patients has to be quantified. Firstly, our procedure shall estimate the global rigid motion of the stent. Secondly, the non-rigid motion and deformation of the stent shall be determined and quantified. Finally, by varying a critical segmentation parameter within a certain bandwidth we analyse how the estimated motion depends on this parameter. In [6] we evaluated the first step on thoracic stents and the second step was performed on several abdominal stent devices in [7]. In [7], as well, the motion of the stent with respect to the aorta is analyzed. Here, we focus on the third step and detail the order of registration steps which we found out to be necessary for a robust behavior of the procedure. As the pose of a patient in the CT device is different for two different points in time it is necessary, when tackling the first step, to define a fixed reference system. We found out the spinal canal to be well suited for serving as a object of reference: it deforms only little and it is relatively easy to segment it reproducibly. As described in [6] (see also [8] for the implementation) we used the ”fastmarching-level-set”algorithm to segment the spinal canal. The stent could be segmented either by thresholding or using a ”region growing”algorithm [6]. For the fast-marching-level-set and for the region growing algorithm seed points have to be set by the user. In the former case a parameter called ”stopping value”exists responsible for the size of the segmented object. To place the stent in the reference system defined by the spinal canal we register rigidly the spinal canal extracted for both points in time and transform the stent by the transformation matrix calculated during this registration step. A high registration accuracy is obtained by registration in both directions, time point one on two and vice versa, and by taking the result with smaller registration error r . Here, r is defined by r (C1 , C2 ) =

N1
  2 , ci ∈ C1 , d T(ci ), C2 i=1

(1)

218

J. Mattes et al.

where C1 (resp. C2 ) is the point set of the spinal canal extracted at the first (resp. second) point in time; N1 the number of points in C1 , T the transformation and d( · , C) is the Euclidean distance to point set C: d(x, C) = mind∈C |x − d|. The cost functional is optimized using the Levenberg-Marquardt algorithm and a pre-computed distance map. After transforming the stent into this reference system we calculate its rigid motion by registration of the stent for both points in time as described above for the spinal canal. Now, we register the stent point sets also non-rigidly, first using an affine transformation, after with a thin-plate spline based algorithm [9]. Measuring the change in the residual error r after each registration step (with an increasing number of degrees of freedom) represents an elementary possibility to quantify the amount of morphological change of the stent. The stopping value during the segmentation of the spinal canal turned out to be a critical parameter for the size of the segmented objects. In order to determine the effect of this parameter we varied it and calculated its influence on the quantified motion parameters. We have chosen the parameter bandwidth such that a user can immediately see that a value below and above it would lead to an object which is too small or too large, respectively.

3

Results

In a clinical evaluation we investigated a sample of 6 patients all of which have been treated with the same kind of stent device (ZenithT M ). The corresponding CT image stacks consist of slices with 0.9 mm thickness, 0.5 mm x,y-spacing, 512 x 512 pixels per slice, and a number of 200 up to 250 slices, which we resampled to over 400 slices in order to obtain isotropic images with 0.5 mm thickness. The high accuracy demonstrated by the low residual error er 1mm for all patients after rigid registration of the spinal canal showed that the latter is well suited to establish a reference system. For its segmentation the stopping value in the fast-marching-level-set algorithm has been chosen such that, on the one hand, the segmented region is not leaving the domain of the spinal canal and that, on the other hand, no splitting in two not connected regions occurs (due to a too low stopping value). Inside of this range we varied the parameters and registered spinal canal and stent for different parameter combinations (see Table 1). Even though the motion parameters vary for the different combinations cases of high migration and deformation can still be identified. For two stents (patients 4 and 6 in Table 1) we quantified a large shape change (see Fig. 1) which also have been identified by the radiologists, however, only on later CT images. For these stents the initial transformation into the reference system of the spinal canal was helpful to obtain a good initial position for stent registration.

A Robust Semi-automatic Procedure for Motion Quantification

219

Table 1. Evaluation results. The residual registration error r after registration of the spinal canal and after rigid and affine registration of the stent is shown for different stopping value combinations: 13 for both points in time, 11-15 and 15-11. For all combinations the two abnormal shape changes for patients 4 and 6 can be detected by a strong difference of r after rigid and affine registration of the stent. Patient 1 2 3 4 5 6

-Spinal Canal -Stent -affin 13-13 11-15 15-11 13-13 11-15 15-11 13-13 11-15 15-11 0.69 2.54 2.17 1.26 1.26 1.26 0.96 0.96 0.96 0.70 2.22 4.07 0.21 0.21 0.21 0.17 0.17 0.17 0.76 2.45 2.12 0.52 0.52 0.52 0.35 0.35 0.35 1.11 17.27 9.68 21.81 21.80 21.81 3.09 2.02 2.02 1.11 2.53 2.92 2.24 2.25 2.26 1.21 1.24 1.21 1.63 4.85 8.23 10.69 10.69 10.69 2.04 2.06 2.07

Fig. 1. Patient 6: Spinal canal and stent surfaces extracted for two points in time (light March 2003, dark April 2004) after registration of the spinal canal’s surface point sets and transforming the stent accordingly (reference system defined by the spinal canal).

220

4

J. Mattes et al.

Discussion

We proposed a method to quantitatively describe disease patterns in the treatment progression of patients after endovascular AAA repair. The semi-automatic method is based on several segmentation and registration steps allowing to define a spatial reference system and to quantify the relative motion in this system. Here, we have shown that—for the small set of patient data investigated—the method is robust in the sense that the resulting description is largely user independent and reproducible. With the proposed procedure we could quantitatively distinguish cases where dangerous shape changes appeared and cases with benign treatment progression. In particular, we could identify an upcoming closure of one shank of a bifurcating stent in two cases where radiologists recognized this only on a later CT image. As shown in this paper, for the procedure’s parameters the user can easily find a bandwidth inside which a clear decision is possible if an abnormal shape change occurred or not. This robustness allows also non-experts to obtain user independent results by the use of the implemented procedure. It represents a prerequisite to implement the method as a tool for clinical practice, together with a further automatization of the segmentation step, which shall be achieved in future work using a template based approach.

References 1. Rutherford RB, Krupski WC. Current status of open versus endovascular stent-graft repair of abdominal aortic aneurysm. J Vasc Surg 2004;39(5). 2. Dattilo JB, et al. Clinical failures of endovascular abdominal aortic aneurysm repair: Incidence, causes, and management. J Vasc Surg 2002;35(6). 3. Brunijne M, et al. Interactive segmentation of abdominal aortic aneurysms in CTA images. Med Image Anal 2004;8:127–138. 4. Subramanyan K, et al. Abdominal aortic stent graft planning with automatically extracted vessel centrelines/cross-sections in multislice CT. In: CARS. Elsevier; 2004. p. 183–188. 5. Breeuwer M, et al. Assessment of the rupture risk of abdominal aortic aneurysms by patient-specific hemodynamic modelling - initial results. In: CARS. Elsevier; 2004. p. 1090–1095. 6. Mattes J, et al. Spatio-temporal changes and migration of stent grafts after endovascular aortic aneurysm repair. In: CARS. Elsevier; 2005. p. 393–397. 7. Mattes J, et al. Quantification of the migration and deformation of abdominal aortic aneurysm stent grafts. In: SPIE Medical Imaging 2006: Image Processing. Proc. of SPIE;. p. accepted. 8. Fritscher K, Schubert R. A software framework for preprocessing and level-set segmentation of medical image data. In: SPIE Medical Imaging 2005: Image Processing. Proc. of SPIE;. p. 1742–1752. 9. Mattes J, Fieres J, Eils R. A shape adapted motion model for non-rigid registration. In: SPIE Medical Imaging 2002: Image Processing. vol. 4684 of Proc. of SPIE;. p. 518–527.

Utilizing Salient Region Features for 3D Multi-modality Medical Image Registration Dieter Hahn1 , Gabriele Wolz2 , Yiyong Sun3 , Frank Sauer3 , Joachim Hornegger1, Torsten Kuwert2 and Chenyang Xu3 1

Department of Pattern Recognition, Friedrich-Alexander-University of Erlangen-Nuremberg (FAU), Martensstr. 3, 91058 Erlangen, Germany 2 Department of Nuclear Medicine, FAU, Krankenhausstr. 12, 91054 Erlangen, Germany 3 Siemens Corporate Research, 755 College Road East, Princeton, NJ 08540, USA Email: [email protected]

Abstract. Besides common solely intensity- or feature-based image registration methods, hybrid approaches make use of two or more image properties. A 3D representation of saliency can be used to automatically locate distinct region features within two 3D images and establish a robust and accurate hybrid registration method. The extracted features contain information about the underlying saliency, the scale of the regions and enclosed voxel intensities. Similar anatomical or functional content results in similar salient region features that can be used to estimate an image transform based on corresponding feature pairs. The refinement of this estimate results in a robust and sub-pixel accurate set of joint correspondences. An evaluation by a medical expert on various clinical data using a medical application demonstrates that the approach is robust to image overlap, artefacts and different fields of view.

1

Introduction

Registration has grown to a major research topic in the field of medical image processing [1]. A major medical benefit can be withdrawn from the registration of images acquired with different modalities that can roughly be divided into two major categories: anatomical imaging (e.g. Computed Tomography (CT), Magnetic Resonance Imaging (MRI)) to retrieve the morphology in good spatial resolution and functional imaging (e.g. Positron Emission Tomography (PET), Single Photon Emission Computed Tomography (SPECT)) to depict the underlying metabolism. Mono-modality registration approaches are for instance valuable for therapy control or tumor change diagnostics. The concept of saliency can be used to define a measure for the local uniqueness of image elements based on the intensity complexity in a local neighborhood [2, 3, 4]. Applications of this descriptor range from content tracking across subsequent video frames, image matching for 3D reconstruction [5] to 2D image registration [6]. Salient image regions provide a hybrid source of information, as they describe the uniqueness of the underlying image content based on intensity

222

D. Hahn et al.

values and contain geometrical information of the region center and its scale. In the following, we describe a registration method that makes use of these properties for establishing correspondences between extracted features from a reference and a template image, which finally leads to a registration transform.

2

Methods

The proposed registration approach is based on finding corresponding salient region features. A feature in this context consists of a center position and a radius of a spherical neighborhood that desribes a local saliency maximum. This radius is denoted as scale. According to [4], the saliency A is defined as follows: & ' ' & & &∂ & & (1) p(i, s, x) log2 p(i, s, x) di · s AD (s, x) = − & ∂s p(i, s, x)& di Rs Rs including the entropy with respect to the image intensity values i ∈ D within a spherical neighborhood region Rs of scale s around a voxel x. Here, p(i, s, x) is the probability density function (PDF) of i for Rs . A also contains a term for the similarity between PDFs with respect to the scale. Its values grow with increasing dissimilarity of the PDFs. The scale parameter s can be approximated by the scale that results in a local peak of the entropy for the region around x. Voxels containing high saliency values, i.e. high local unpredictability or local signal complexity, have to be extracted after computation of the eq. 1. Based on algorithms published in related literature [4, 6], we added a region growing approach to find local maxima within the saliency values, however, in certain areas with high intensity variations, feature clustering is likely to occur. This may have a negative impact on the correspondence search. For instance if two images from different modalities with a different distribution of intensities are considered, one image may contain a dominant salient feature cluster in the upper right, the other one in the lower left part of the image but describing a totally different region of the body. A minimization of the mean square error (MSE) between the two feature sets then tends to align mainly the clusters. This is a problem that we address with a simple and efficient algorithm, because a set of features that is distributed more uniformly across the image domain provides a better initialization for the correspondence set optimization. A nearest point algorithm based on a kD-tree [7, 8] is used for the storage of the feature centers of one set. The nearest neighbors of a specific element can therefore be retrieved efficiently. The scale parameter is used as a minimal distance requirement: all returned features within a distance to the query feature that is equal or less than its scale and with lower saliency are removed from the set. The list is padded with features of lower saliency in order to maintain a specific size of the set. After enforcing the restriction, the features are distributed more uniformly across the image. Examples of some of the results are given in figure 1. Unlike a similar version of the algorithm[6], we reduce the search space prior to the correspondence computation. Initially, an iterative closest point (ICP) algorithm is used to estimate the transform that minimizes the MSE between the

Utilizing Salient Region Features

223

Fig. 1. The images show the set of salient feature regions before 2(a) and after 2(b) clustering removal, the most significant 3D salient region features extracted from a CT 2(c) (windowed for better visualization), a registration result on a PET-CT 2(d) and a SPECT-CT volume pair 2(e).

(a)

(b)

(c)

(d)

(e)

region centers of the reference and the template feature sets. This transform is applied to the template features that are stored in a kD-tree afterwards. For each reference image feature, only the nearest transformed template feature neighbors are regarded as possible candidates for correspondences. Feature pairs with a large spatial distance apart are unlikely corresponding and can be removed from the search space. In order to quantify the correspondence between two features, the translation and rotation invariance properties are used. Translation invariance is given by the alignment of the region centers and the rotation parameters are achieved by a local rigid-body registration. The optimization is driven by the entropy correlation coefficient (ECC) [9] that is a specific form of normalized mutual information. Instead of ordering the correspondences according to local ECC values of the regions, we use the global ECC for each hypothesized correspondence between the reference and the template image (Ir , It ). This meaˆi,j that is given by the translation and sure is computed for the parameter set Θ rotation invariance of each hypothesized feature pair ci,j . TΘ ˆ

Lglobal (ci,j ) = ECC(Ir , It

i,j

)

(2)

224

D. Hahn et al.

Table 1. The overall measured distances in cm between the manually chosen landmarks for the PET-CT, CT-CT and SPECT-CT volume pairs in x, y and z-direction along with the standard deviations. PET-CT Distances CT-CT Distances SPECT-CT Distances

0.013 ± 0.68 −0.17 ± 0.38 0.04 ± 0.21

0.47 ± 0.91 0.12 ± 0.43 0.16 ± 0.37

0.43 ± 2.08 0.26 ± 0.58 0.04 ± 0.22

The previous steps result in a correspondence estimate with less outliers. The final step of the algorithm consists in the sub-pixel accurate refinement of the feature pairs, which is achieved by an expectation maximization type algorithm that optimizes the correspondence set with respect to the global ECC and removes remaining outliers.

3

Results

The proposed registration approach has been evaluated on 11 PET-CT volume pairs acquired at different times, 3 CT volumes at different stages of the treatment and 10 SPECT-CT volume pairs from a hybrid scanning system (Siemens Symbia). The SPECT images have been artificially rotated and translated as they are initially very well registered. The algorithm had to compensate intensity artefacts, due to an uncorrected intensity scaling between several slices of some of the CTs, noise and different fields of view. The registration quality was assessed by a medical expert who measured the distances between several easy to locate points of interest: the apex of the left and right lung, cardiac apex, liver round end, left and right upper and lower renal ends and spine. The manual rigid transformation of the SPECT images varied between 10 to 50 mm translation in x, y and z-direction together with a rotation around each axis of 5 to 60 degrees. The overall results of the evaluation are summarized in table 1. For the evaluation, the medical expert could choose between using centroids of 3D regions of interest or direct landmark to landmark measurements in a medical application (InSpace). In the PET-CT results, a higher standard deviation in the z-direction is apparent. Reasons for this may be found in the longer acquisition time for the PET with arms-up, several respiratory cycles and the according movement of the diaphragm.

4

Discussion and Conclusion

We have demonstrated that salient region features are suitable for 3D registration. The operations for the extraction and correspondence search are most time consuming and still require 10 to 15 minutes for high resolution images, however, there has been valuable additional information gained during the whole process: the set of joint feature correspondences that contain information about the extent, the parameters of the local deformation and the local signal complexity.

Utilizing Salient Region Features

225

As we used only a rigid-body transform model to evaluate the method, we did not address local deformations. Therefore, a certain amount of variation between the registered anatomical structures is inherent in the results. Like all manual measurements, the results are tainted with a measurement error. A recent study has shown that the overall upper limit for a similar measurement method is expected to be not more than 3 mm[10]. This has to be considered when drawing conclusions from the results. In future work, we will explore how the properties of the salient regions can be exploited for a non-rigid registration. Acknowledgments. The authors acknowledge the financial support of the Deutsche Forschungsgemeinschaft (DFG), grant number SFB, TP C10, HipGraphics for providing the medical application InSpace and Siemens Corporate Research for the FusionToolKit (FTK).

References 1. Pluim JPW, Maintz JBA, Viergever MA. Mutual-information-based registration of medical images: a survey. IEEE Transactions on Medical Imaging 2003;22(8):986– 1004. 2. Gilles S. Robust description and matching of images. Ph.D. thesis. University of Oxford; 1998. 3. Kadir T, Zisserman A, Brady M. An affine invariant salient region detector. ECCV 2004;1:228–241. 4. Kadir T, Brady M. Saliency, Scale and Image Description. International Journal of Computer Vision 2001;45(2):83–105. 5. Fraundorfer F, Bischof H. Utilizing Saliency Operators for Image Matching. In: Proceedings International Workshop on Attention and Performance in Computer Vision; 2003. p. 17–24. 6. Huang X, Sun Y, Metaxas D, Sauer F, Chenyang X. Hybrid Image Registration based on Configural Matching of Scale-Invariant Salient Region Features. Computer Vision and Pattern Recognition Workshop, Conference on 2004;1:167–167. 7. Bentley JL, Freidman JH. Data structures for range searching. ACM Computing Surveys 1979;11(4):397–409. 8. Freidman JH, Bentley JL, Finkel RA. An Algorithm for Finding Best Matches in Logarithmic Expected Time. ACM Transactions on Mathematical Software 1977;3(3):209–226. 9. Maes F. Segmentation and registration of multimodal medical images: From theory, implementation and validation to a useful tool in clinical practice. Ph.D. thesis. Catholic University of Leuven; 1998. 10. Noemayr A, Roemer W, Hothorn T, Pfahlberg A, Hornegger J, Bautz W, et al. Anatomical Accuracy of Lesion Localization by Retrospective Interactive Rigid Image Registration between F-18-FDG-PET and X-Ray CT. Nuklearmedizin 2005;44(4):149–155.

¨ Kombination verschiedener Ahnlichkeitsmaße fu ontgenbildern ¨r die 2D/3D-Registrierung von R¨ mittels Demokratischer Integration T. Feldmann1 , S. Bouattour1 , D. Paulus1 und F. Deinzer2 1

Institut f¨ ur Computervisualistik, Universit¨ at Koblenz-Landau, 56070 Koblenz 2 Siemens AG, Medical Solutions, Angiographie, Durchleuchtung und Aufnahmesysteme, 91301 Forchheim Email: {tfeld, bouattour, paulus}@uni-koblenz.de, [email protected]

Zusammenfassung. F¨ ur die 2D/3D-Registrierung von Bilddatens¨ atzen eines Patienten werden verschiedene intensit¨ atsbasierte ¨ Ahnlichkeitsmaße eingesetzt. Diese haben den Nachteil, dass sie nur auf bestimmten Bilddaten gute Ergebnisse liefern und zus¨ atzlich heuristisch parameterisiert werden m¨ ussen. In diesem Beitrag wird ein ¨ neues Verfahren vorgestellt, dass beliebig viele Ahnlichkeitsmaße integriert und automatisch das f¨ ur den jeweiligen Bilddatensatz geeignetste am h¨ ochsten gewichtet. Dazu werden die freien Parameter der Maße an das Bildmaterial automatisch adaptiert. Unsere Experimente belegen die Wirksamkeit der Methode.

1

Einleitung

In vielen medizinischen Eingriffen wird pr¨ aoperativ ein 3D-Volumen des betroffenen K¨ orperteils aufgenommen und in die w¨ ahrend der Intervention mit einer CBogen-Anlage erstellten 2D-R¨ ontgenbilder eingeblendet. Hierf¨ ur ist eine permanente intra-operative Registrierung der 2D-R¨ ontgenbilder mit dem 3D-Volumen zum Ausgleich von Patientenbewegung (Translation, Rotation) notwendig. Die projektiven Eigenschaften der C-Bogen-Anlage sind dabei bekannt. Bei der rigiden 2D/3D-Registrierung sind die Parameter f¨ ur Rotation und Translation eines 3D-Volumens (sechs Freiheitsgrade) gesucht, die in einer best¨ m¨oglichen Ubereinstimmung zwischen einem damit projizierten Bild (Digitally Reconstructed Radiograph (DRR)[1]) und einem echten 2D-R¨ontgenbild re¨ sultieren. Die Ubereinstimmung wird intensit¨atsbasiert gemessen. Dazu werden ¨ verschiedene Ahnlichkeitsmaße verwendet, z.B. Normalisierte Kreuzkorrelation (NCC), Merkmalsintensit¨at (PI), Gradientenkorrelation (GC) oder Gradientendifferenz (GD) [1]. Einige dieser Maße haben freie Parameter, deren Werte heuristisch angepasst werden m¨ ussen. Zudem h¨ angt ihre Leistungsf¨ahigkeit stark vom Bildmaterial ab, so dass heuristisch das passende Verfahren f¨ ur den jeweiligen Anwendungsfall ermittelt werden muss. ¨ Dieser Beitrag stellt ein Verfahren vor, das verschiedene Ahnlichkeitsmaße zur intensit¨ atsbasierten rigiden 2D/3D-Registrierung kombiniert. Dabei werden die freien Parameter der Abstandsmaße zur Laufzeit automatisch adaptiert.

¨ Kombination verschiedener Ahnlichkeitsmaße

2

227

Demokratische Integration fu ¨ r die 2D/3D-Registrierung

F¨ ur die 2D/3D-Registrierung von R¨ ontgenbildern mit 2D-Projektionen eines 3D¨ Volumens (DRR) wird eine Menge intensit¨ atsbasierter Ahnlichkeitsmaße eingesetzt, deren Kombination mittels der so genannten demokratischer Integration (DI) nach Triesch et al. [2] erfolgt. Dort wurde die DI f¨ ur die Gesichtserkennung und Verfolgung eingef¨ uhrt. Im folgenden werden die theoretischen Grundlagen der DI sowie unsere Anpassungen f¨ ur die medizinische 2D/3D-Registrierung erl¨ autert. Das Ziel der Registrierung eines zum Zeitpunkt t aufgenommenen R¨ontgenbilds IFLL (t) mit einem Volumen ist das Auffinden der sechs Freiheitsgrade x f¨ ur Rotation und Translation, so dass die Pojektion des Volumens IDRR (x) mit dem IFLL (t) am ¨ ahnlichsten ist. Bei der DI werden NS verschiedene ¨ Ahnlichkeitsmaße Si parallel eingesetzt. Glg. 1 gibt das Ergebnis der Einzelmaße an. Ai (x, t) = Si (IFLL (t), IDRR (x)) mit 0 ≤ Ai (x, t) ≤ 1 und i = 1 . . . NS

(1)

¨ Die Ahnlichkeitsmaße werden u ¨ ber eine gewichtete Summe integriert (s. Glg. 2), bei der die Gewichte ri (t) die Zuverl¨assigkeit der Maße u ¨ ber die Zeit beschreiben. R(x, t) =

NS 

ri (t)Ai (x, t)

NS 

mit

i=1

ri (t) = 1

(2)

i=1

Gesucht ist die Position im sechsdimensionalen Raum mit dem maximalen Wert f¨ ur die Summe aller Abstandsmaße: x∗ (t) = argmax R(x, t). x

Die Zuverl¨ assigkeit ri (t) wird als dynamische, sich u ¨ ber die Zeit anpassende Gewichtung f¨ ur das jeweilige Maß eingesetzt, um festzulegen, wie stark das ¨ Ahnlichkeitsmaß in zuk¨ unftigen Aussagen u ¨ ber die Bild¨ahnlichkeit in die Bewertung eingeht. Sie ist durch die Dynamik in Glg. 3 definiert. τ ri (t) = qi (t) − ri (t)

(3)

Dabei ist τ eine Konstante, die angibt, mit welcher Geschwindigkeit sich ri auf qi zubewegt. Bei qi (t) handelt es sich um die normierte Qualit¨at, f¨ ur die gilt: q˜i (t) qi (t) = NS ˜j (t) j=1 q

mit

NS 

qi (t) = 1

(4)

j=1

at. F¨ ur diese werden drei Verfahren Hierbei bezeichnet q˜i (t) die relative Qualit¨ aus [2] getestet. Erstens die Uniform Quality (UQ): q˜iUQ (t) = N1S , in der alle Maße die gleiche konstante Qualit¨ at bekommen, zweitens die durch die Summe aller m¨ oglichen Positionen x normierte Normalized Saliency (NoS) in Glg. 5 und drittens die in Glg. 6 definierte Distance to Average Saliency (DAS). Alternative Verfahren sind in [2] beschrieben. q˜iNoS (t) = Ai (x∗ (t), t)

mit

Ai (x, t) =

Ai (x, t)  x
Ai (x , t)

(5)

228

T. Feldmann et al.

Abb. 1. Registrierung eines Phantomfußes u ¨ ber eine kontinuierliche Bildsequenz. Links: die R¨ ontgenbilder aus der aufgenommen Sequenz, Mitte: die DRR mit dem besten gefundenen Parameter x f¨ ur Rotation und Translation, Rechts: Differenzbild von R¨ ontgenbild und DRR.

R¨ ontgenbild, t = 1

DRR

Differenzbild

R¨ ontgenbild, t = 8

DRR

Differenzbild

 q˜iDAS (t)

∗

= gramp (Ai (x (t)) − Ai (x, t))

mit

gramp (x) =

0:x≤0 x:x>0

(6)

Bei NoS und DAS m¨ ussen aufwendig zus¨ atzliche Stichproben ermittelt werden, um eine Normierung durchf¨ uhren zu k¨ onnen. Der Mittelwert Ai (x, t) aus Glg. 6 l¨asst sich f¨ ur die 2D/3D-Registrierung dabei lediglich approximieren. ¨ Da die Ahnlichkeitsmaße h¨ aufig u ugen, mit denen sie an ¨ ber Parameter verf¨ das Bildmaterial angepasst werden k¨ onnen, werden bei Maßen mit geringer Qualit¨ at die Parameter dynamisch so abge¨ andert, dass das Einzelergebnis besser mit dem Gesamtergebnis korreliert. Dazu wird Glg. 1 um den Parametervektor pi (t) erweitert: (7) Ai (x, t) = Si (IFLL (t), IDRR (x), pi (t)). Angenommen, es existiert eine Funktion, mit der man einen Parametervektor f¨ ur jedes Abstandsmaß f¨ ur jede 2D-Projektion des 3D-Volumens erstellen kann, dann gibt es auch die M¨ oglichkeit, einen Parametervektor an der optimalen Registrierungsposition zu ermitteln durch: p∗i (t) = argmax Si (IFLL (t), IDRR (x∗ ), pi ). pi

(8)

Analog zur Dynamik der Zuverl¨ assigkeit (Glg. 3) l¨asst sich eine Konstante θi definieren, die die Geschwindigkeit beschreibt, mit der sich die Parameter der Maße an die Bilddaten anpassen: θi pi (t) = p∗i (t) − pi (t).

(9)

¨ Kombination verschiedener Ahnlichkeitsmaße

229

¨ Abb. 2. Vergleich einzelner Ahnlichkeitsmaße und der Kombination mit DI durch ¨ Uberlagerung von DRR und R¨ ontgenbild bei einem globalen Optimierungsansatz. Die t und Ezt sind in Millimetern, die Roin-plane und out-of-plane Translationsfehler Exy r tationsfehler E als Winkel der internen Darstellung nach Rodrigues angegeben. Die DI erzielte den besten Registrierungswert.

GC t : 7, 2 mm, Exy Ezt : 8 mm, E r : 33, 9◦

3

GDI t Exy : 0 mm, Ezt : 8 mm, E r : 30, 4◦

NCC t Exy : 1, 6 mm, Ezt : 9, 6 mm, E r : 4◦

PI t Exy : 1, 6 mm, Ezt : 8 mm, E r : 35, 7◦

DI t Exy : 0 mm, Ezt : 8 mm, E r : 2◦

Experimente

F¨ ur die praktischen Experimente wurden vier Datens¨atze ausgew¨ahlt: ein k¨ unstliches Blutgef¨ aß aus Knete und drei Phantomdatens¨atze eines Sch¨adels, eines Thorax und eines Fußes. Sie bestanden jeweils aus einem vorab aufgenommenen 3D-Volumen und mehreren, mit einer C-Bogenanlage aufgenommenen R¨ontgenbildsequenzen. Die R¨ ontgenbilder wurden sowohl einzeln, als auch als komplette Sequenzen (vgl. Abb. 1) gegen die DRRs der 3D-Daten registriert. ¨ Als Ahnlichkeitsmaße wurden NCC, PI, GC und GD aus [1] verwendet. NCC und PI vergleichen direkt die Pixelintensit¨ aten zweier Bilder, w¨ahrend GC und GD auf den Gradientenbildern der Eingebebilder arbeiten. Die Suche nach den optimalen Parametern von Glg. 2 und Glg. 8 wurde mit einem globalen Optimierungsverfahren (uniforme Suche), gefolgt vom lokalen Downhill-Simplex gel¨ ost. Die Resultate zeigen, dass die gradientenbasierten Maße sich gut eignen, um Kanten von Knochen zu registrieren. Dementsprechend werden sie bei den Datens¨ atzen des Phantomfußes und des Sch¨adels hoch gewichtet. Die rein intensit¨ atsbasierten Verfahren liefern hingegen gute Ergebnisse auf homogenen Fl¨achen, wie man sie bei Aufnahmen von Weichteilen (Datensatz des k¨ unstlichen Blutgef¨ aßes, vgl. Abb. 2) findet, und werden dort erwartungsgem¨aß st¨arker gewichtet. Beim Thorax werden alle Verfahren außer PI hoch gewichtet, da dieser Datensatz sowohl große fl¨ achige Bereiche als auch viele Kanten aufweist. Damit ist die von der DI gew¨ ahlte Gewichtung sinnvoll. Die Resultate wurden mit 3D-Plots diskreter Abtastungen der Suchr¨ aume validiert. Dabei zeigte sich, dass vorrangig diejenigen Maße gering gewichtet wurden, bei denen alle Aussagen zu einem Bilddatensatz bei variierendem x sehr a ¨hnlich, und damit undifferenziert waren. In den Experimenten lieferte die Kombination der Abstandsmaße auf allen Datens¨ atzen meist signifikant bessere, aber nie schlechtere Ergebnisse als ¨ das jeweils manuell gew¨ ahlte optimale Einzelmaß. Die Uberpr¨ ufung der automatisch berechneten Gewichte best¨ atigt, dass die Gewichtszunahme wie erwartet

230

T. Feldmann et al.

¨ Abb. 3. Automatische Gewichtung der Zuverl¨ assigkeiten der Ahnlichkeitsmaße u ¨ ber zwanzig Schritte mit Qualit¨ atsmaßen DAS und NoS. Es wird das am besten f¨ ur die Bilddaten aus Abb. 2 geeignete Abstandsmaß NCC bevorzugt.

f¨ ur die Verfahren am st¨ arksten war, die f¨ ur die Bilddaten heuristisch am geeignetsten erschienen (vgl. Abb. 3). Bei den gering gewichteten Maßen stellte sich, wie gew¨ unscht, durch die automatische Parameteradaptierung eine Angleichung der Aussage an das Gesamtergebnis ein.

4

Diskussion

In diesem Beitrag haben wir die DI f¨ ur die 2D/3D-Registrierung adaptiert und ¨ erweitert. Das Verfahren ist in der Lage, verschiedene Ahnlichkeitsmaße zu kombinieren. Es gewichtet dabei stets die Maße am h¨ochsten, deren Aussagen am st¨arksten mit der Gesamtantwort harmonieren. Durch diesen Ansatz k¨onnen deutlich bessere Ergebnisse, als die von den einzelnen verwendeten Bildvergleichsverfahren, erzielt werden. Die DI optimiert zudem automatisch u ¨ ber die ¨ Zeit die freien Parameter der verwendeten Ahnlichkeitsmaße, die bisher heuristisch ermittelt werden mussten. Unsere Experimente belegen die Wirksamkeit der Methode. Da das Verfahren auf herk¨ ommlichen Rechnern mehrere Stunden f¨ ur eine Registrierung ben¨ otigt, ist f¨ ur die Zukunft vorgesehen, das Verfahren unter Ausnutzung von Grafikhardware f¨ ur die 2D-Projektion des 3D-Volumens auf Echtzeitf¨ ahigkeit zu optimieren und eine Vielzahl zus¨atzlicher Bildvergleichsverfahren zu integrieren.

Literaturverzeichnis 1. Penney GP, Weese J, Little JA, Desmedt P, Hill DLG, Hawkes DJ. A Comparison of Similarity Measures for Use in 2-D-3-D Medical Image Registration. IEEE Trans Med Imag 1998;(4):586–595. 2. Triesch J, von der Malsburg C. Democratic Integration: Self-Organized Integration of Adaptive Cues. Neural Computation 2001;(13):2049–2074.

Registration of Histologic Colour Images of Different Staining Ulf-Dietrich Braumann1 , Jens Einenkel2 , Lars-Christian Horn3 , Jens-Peer Kuska1 , Markus L¨ offler1 , Nico Scherf1 and Nicolas Wentzensen4 1

Interdisziplin¨ ares Zentrum f¨ ur Bioinformatik, Universit¨ at Leipzig, 04107 Leipzig 2 Universit¨ atsfrauenklinik Leipzig, 04103 Leipzig 3 Institut f¨ ur Pathologie, Universit¨ at Leipzig, 04103 Leipzig 4 Pathologisches Institut, Universit¨ at Heidelberg, 69120 Heidelberg Email: [email protected]

Abstract. We have focused our interest on the registration of brightfield transmitted light microscopy images with respect to different histological stainings. For this kind of registration problem we have developed a new segmentation procedure. Based on the obtained consistent segmentations, a nonlinear registration transformation is computed. The applied registration procedure uses a curvature-based nonlinear partial differential equation in order to find the appropriate mapping between the images. Finally, we present an example for the registration of images of two consecutive histological sections from a uterine cervix specimen, whereas one section stained with p16INK4a was mapped onto another with H&E staining.

1

Introduction

The use of diverse stainings of consecutive tissue sections can provide a valuable amount of additional information about the structure and position of different types of tissues. Especially the usage of different immunohistochemical stainings may provide new insights into the interaction of cancer, inflammation and healthy cells in the human body. Multiple- or even double-staining techniques using different immunohistochemical stains applied on one and the same section is difficult due to the interaction of the staining agents, and in many cases is not feasible. One solution for that problem might be the usage of consecutive sections, while the application of different staining protocols is accomplished on separate slices. What basically makes the registration of images of such sections difficult is the partial loss of spatial correspondences between the two sections. The reasons for the deformation between consecutive sections are not only some differences concerning the mechanical stress applied during the preparation, especially while sectioning. The aggressive chemical substances used for the staining usually cause some individual, non-uniform shrinkage of the different tissue types which may be comprised within a certain section. To reconstruct the spatial correspondences between the individual sections the usage of a basically nonlinear registration

232

U.-D. Braumann et al.

procedure is required. However, the registration of differently stained images is not at all straightforward, due to the fact that different stainings may have totally different distributions both in colour as well in position space. So the direct usage of the colour images for the registration process is not possible. This is why we need to accomplish a segmentation step prior to the actual registration which, however, requires the utmost possible consistency referring to the various applied stainings. We consider this intermediate step essential in order to obtain the optimum accuracy for the respective registration transformation. As the segmentation leads to label images, the registration procedure itself still remains based on scalar image data. Depending on the segmentation quality, the registration will restore the correspondences between the tissue boundaries, however some possible correspondence on the level of individual cells is lost. One important restriction of the developed method is the requirement that important (large area) tissue types must be distinguishable in all staining variants.

2

Segmentation

The segmentation plays the central role in the registration of the slices with unequal colours. We focus our interest on the statistical description of the distribution of pixel properties in a d-dimensional feature space. Every staining has an individual distribution in the applied colour space. We operate in the RGB space, but other colour spaces may be used as well. The identification of different tissue types does not only include pixel differences within the colour space. The statistical properties of a pixel’s neighbourhood may also be important[1, 2, 3]. To include these properties into the segmentation, we construct a d-dimensional vector from selected statistical properties of the pixel, see Fig. 1. The neighbourhood is included in the segmentation vector using properties like the colour mean value and by the construction of successive smoothed images (the level index l in Fig. 1). Frequency properties of the respective pixel are included via sampling along an Archimedian spiral, starting at the pixel and analyzing the frequency distribution of the one-dimensional Fourier transform.

l=2 l=1

l=0 Image Mean 3 x 3

Fig. 1. Construction of the segmentation vector from colour and mean and some smoothing levels. In this example the segmentation vector is constructed from the colour of the image and the Gaussian smoothed image, than the mean value of the unsmoothed and the two times smoothed image, giving a 3 × 4 dimensional segmentation vector.

The segmentation vectors yi are used to estimate the distribution P (y) =

K  k=1

αk p(y|µk , Σk )

(1)

Registration of Histologic Colour Images of Different Staining

as a linear combination of normal distributions   1 (2 π)−d/2 T −1 exp − (y − µ) · Σ · (y − µ) . p(y|µ, Σ) = √ 2 det Σ

233

(2)

The estimation of the paramters µk , Σk and αk is done using the expectation maximization algorithm [4, 5]. Using the estimated distribution P (y) we assign every pixel in the image a class number αk p(x|µk , Σk ) arg max K k k=1 αk p(x|µi , Σi )

(3)

to obtain the image segmentation. For the two slices with different staining we obtain two segmented images S and S  , whereas the class labels assigned by the algorithm must be made consistent between the two segmentations. This means, that the labels in one of the segmentations, say S  , must be exchanged to match the same regions as in the image S. The segmentation S  may have more classes K  than the segmentation S with K classes. This could occur, for instance, when the second staining marks vessels that cannot be identified in the first staining. In such case the class labels must be merged to describe the same region in both segmentations. Merging of two or more classes is also necessary, when a good approximation of the density distribution requires more than a single normal distribution to describe the segmentation vectors of a certain tissue type in one of the two colour images.

3

Registration

From the segmentation we get two images with scalar class label information. These two scalar images are used to compute the displacement field u(x) for the registration. The computation of the displacement field u base on the partial differential equation (4) α ∆2 u − f (x, u) = 0 with

f (x, u) = [S  (x) − S(x − u(x))] ∇S(x − u(x))

(5)

This equation was introduced in [6] and recently studied in [7], wherein ∆ denotes the two-dimensional Laplace operator. To allow a smooth convergence for the solution, we introduce an artificial time t and solve the equation ∂u (x, t) + α ∆2 u(x, t) = f (x, u(x, t)) (6) ∂t The time discretisation is done by an implicit midpoint rule, and the dependence on the position coordinate x in the finite difference approximation of ∆2 is resolved using a discrete cos-transform. A detailed description about the solution procedure and the used finite difference approximations can be found in [8]. Finally, when the displacement field for the registration is found, the original colour image is transformed according to this transformation to obtain the registered version of the original data.

234

U.-D. Braumann et al.

Fig. 2. Label exchange and label merging (black circle) to obtain a consistent segmentation for a H&E and p16INK4a stained image pair.

H&E Image

p16

Cancer

Stroma

Inflammation

INK4a

Image

Background

Consistent Segmentation

4

Example

As an example for the process outlined above, we consider two images with H&E and p16INK4a staining, respectively, that should be registered. The tissue types that appear in both images are cancer, inflammation, healthy stroma and additionally the background. This suggests a total of four classes for the segmentation. For the segmentation of the H&E image we use two smoothing levels and choose the colour, the mean value in a 7 × 7 neighbourhood of level l = 0, and the slope of the frequency distribution from the first smoothing level. The p16INK4a image is segmented using the colour of level l = 0 and the colour from the first smoothing level. For the p16INK4a image we need an additional normal distribution to describe the colour of the cancer region. We end up with four classes for the H&E image and five classes for the p16INK4a staining. The colour labels of the p16INK4a segmentation were re-sorted, and the two classes for the cancer region were merged (see Fig. 2 for the summary of the operations). The consistent segmentations obtained by these operations were used to compute the displacement field and were further applied to the original p16INK4a stained image. The result of this operation can be seen in the left part of Fig. 3. To underline the quality of the image registration obtained by the proposed method we show the result for a alternating sequence of H&E and p16INK4a stained images. The consistent segmentation of every slice were registered on the consistent segmentation of its predecessor. The right part of Fig. 3 shows the result of this procedure.

Registration of Histologic Colour Images of Different Staining

235

Fig. 3. Left: Registration field (red lines) obtained by the registration of the segmentations of a p16INK4a image (green channel) onto a H&E stained image (red channel) with the transformed segmentation (blue channel). Middle & right: Illustrative assessment of the obtained reconstruction for an alternating H&E/p16INK4a stained serial section. The oblique plane in the middle image depicts how the virtual cutting plane was basically placed for the virtual section given on the right image.

5

Conclusions and Future Work

We have shown a method for the registration of microscopic sections with different stainings on the base of the consistent segmentation of the respective images. The method was successfully applied onto an alternating sequence of H&E/p16INK4a stained images. Our work continues with the application of the newly developed method for other stainings and the registration of serial sections with more than just two different stainings.

References 1. Manjunath BS, Ohm JR, Vasudevan VV, Yamada A. Color and Texture Descriptors. IEEE Transactions on Circuits and Systems for Video Technology 2001;11(6):703– 715. 2. Lucchese L, Mitra SK. Color Image Segmentation: A State-of-the-Art Survey. Proceeding of the Indian National Science Academy A (Physical Sciences) 2001;67(2):207–221. 3. Manjunath BS, Ma WY. Texture Features for Browsing and Retrival of Image Data. IEEE Transactions on Pattern Analysis and Machine Intelligence 1996;18(10):837– 842. 4. Moon TK. The Expectation-Maximization Algorithm. IEEE Signal Processing Magazine 1996;p. 47–60. 5. Pernkopf F, Bouchaffra D. Genetic-Based EM Algorithm for Learning Gaussian Mixture Models. IEEE Transactions on Pattern Analysis and Machine Intelligence 2005;27(8):1344–1348. 6. Amit Y. A Nonlinear Variational Problem for Image Matching. SIAM Journal on Scientific Computing 1994;15(1):207–224. 7. Fischer B, Modersitzki J. Curvature Based Image Registration. Journal of Mathematical Imaging and Vision 2003;18:81–85. 8. Braumann UD, Kuska JP, Einenkel J, Horn LC, L¨offler M, H¨ ockel M. ThreeDimensional Reconstruction and Quantification of Cervical Carcinoma Invasion Fronts from Histological Serial Sections. IEEE Transactions on Medical Imaging 2005;24(10):1286–1307.

Wissensbasierte nicht-starre Registrierung von SPECT/CT Datens¨ atzen Florian J¨ ager1 , Jingfeng Han1 , Joachim Hornegger1 und Torsten Kuwert2 1

2

Lehrstuhl f¨ ur Mustererkennung, Friedrich-Alexander Universit¨ at ErlangenN¨ urnberg, Martensstraße 3, 91058 Erlangen Email: {jaeger,jingfeng,hornegger}@informatik.uni-erlangen.de Nuklearmedizinische Klinik, Friedrich-Alexander Universit¨ at Erlangen-N¨ urnberg, Krankenhausstraße 12, 91054 Erlangen Email: [email protected]

Zusammenfassung. Die Fusion funktioneller und morphologischer Bildinformation spielt in der radiologischen Diagnostik eine wichtige Rolle. Allerdings ist eine zuverl¨ assige Registrierung aufgrund der unterschiedlichen bildgebenden Eigenschaften der beiden Modalit¨ aten nur bedingt m¨ oglich. In dieser Arbeit wird ein neues Verfahren zur Registrierung von SPECT und CT Datens¨ atzen vorgestellt, welches es erm¨ oglicht gezielt lokale Deformationseigenschaften aktiver Regionen in die Registrierung zu integrieren. Hierzu wird der Datensatz zun¨ achst mit Hilfe von Fuzzy-C-Means segmentiert und das Ergebnis in die Registrierung integriert. Weiterhin wird ein Regularisierer vorgestellt, welcher a-priori Wissen u ahrend des ¨ ber die Steifheit unterschiedlicher Gewebetypen w¨ Optimierungsprozesses nutzt und somit das Ergebnis beeinflusst und verbessert. Die vorgestellte Methode wurde auf realen, klinisch relevanten 3D-Volumendatens¨ atzen evaluiert.

1

Einleitung

Eine wichtige Anwendung der Medizinischen Bildverarbeitung ist die Detektion und Quantifizierung von L¨ asionen. Hierzu wird oftmals auf die Vorz¨ uge mehrerer verschiedener bildgebender Verfahren zur¨ uckgegriffen. Morphologische Bilddaten, wie CT-Aufnahmen, werden dabei zur Quantifizierung und Lokalisation und funktionelle Daten, z.B. SPECT-Aufnahmen, zur Detektion sowie Einordnung (maligne oder benigne) verwendet. Aufgrund der wenigen strukturellen Informationen der SPECT-Bilder m¨ ussen die darin gefundenen Herde auf die CT-Daten abgebildet werden, damit f¨ ur die Behandlung (z.B. Ablation) relevante Regionen von unrelevanten unterschieden werden k¨onnen. In der derzeitigen klinischen Routine erfolgt diese Abbildung per Hand durch den behandelnden Arzt. Um eine schnelle und sichere Zuordnung (d.h. geringe interund intra- Beobachtervariabilit¨ at) der detektierten L¨asionen (Hotspots) in den SPECT Bildern zu den hochaufl¨ osenden CT Aufnahmen zu gew¨ahrleisten, ist es w¨ unschenswert diese automatisch mittels multi-modaler nicht-starrer Registrierung zu berechnen. Ohne ortsabh¨ angige Beschr¨ankung der Deformationen f¨ uhrt

Wissensbasierte nicht-starre Registrierung von SPECT/CT Datens¨ atzen

237

dies oftmals zu medizinisch nicht signifikanten Ergebnissen, da alle Regionen der Datens¨ atze ¨ aquivalent behandelt und unterschiedliche Verformungseigenschaften (z.B. leicht verformbar, steif) ausser acht gelassen werden. Aktive Regionen, d.h. Bereiche mit hohen Grauwertintensit¨ aten in SPECT-Datens¨atzen, bezeichnen Strukturen, welche einen erh¨ ohten Stoffwechsel besitzen. Leider decken sich diese meist nicht mit der struktuellen Information der CT-Daten. Daraus ergibt sich das Problem, dass aktive Regionen durch die Registrierung unrealistisch stark deformiert werden. In dieser Arbeit wird ein neuer Ansatz pr¨asentiert, welcher die Wahrscheinlichkeit, dass ein Voxel Teil einer aktiven Region eines SPECTDatensatzes ist, als a-priori Wissen in den Registrierungsprozess integriert.

2

Stand der Forschung

Unter Registrierung wird das Auffinden einer Transformation zwischen einem Referenzbild R und einem Templatebild T verstanden, so dass der Abstand der beiden bez¨ uglich eines gew¨ ahlten Kriteriums minimal ist. Die Anwendung ist dabei ausschlaggebend f¨ ur die Wahl des Abstandmaßes. Bei mono-modalen Registrierproblemen wird h¨ aufig die Summe der quadratischen Abst¨ande verwendet, im multi-modalen Fall die Transinformation. Die Minimierung solcher Differenzmaße f¨ uhrt normalerweise zu einem sehr schlecht konditionierten Optimierungsproblem. Daher m¨ ussen zus¨ atzlich Regularisierungsans¨atze in Betracht gezogen werden. In diesem Artikel wird ein Regularisierer eingesetzt, welcher die Kr¨ ummung des Deformationsfeldes bestraft. Dies entspricht einer Gl¨attung des Deformationsfeldes. Ein m¨ oglicher Ansatz zur L¨osung des resultierenden Problems der nicht-starren Registrierung ist die Variationsrechnung. Hierbei muss das Funktional J [u; T, R] = D[u; T, R] + αS[u] (1) minimiert werden. D repr¨ asentiert ein Abstandsmaß zwischen den Bildpaaren, S entspricht einem Regularisierer, welcher z.B. die Glattheit des Ergebnisses garantiert und u : IR2 → IR2 definiert eine Funktion welche dem Deformationsfeld in Abh¨ angigkeit der Position x entspricht. Der Faktor α regelt die Steifheit des Gewebes. In den meisten aktuellen Algorithmen schr¨ankt der Regularisierer die Deformation in allen Bereichen gleich stark ein, d.h. verschiedene bekannte Gewebeeigenschaften bleiben unber¨ ucksichtigt. Um Wissen in den Registrierungsprozess zu integrieren, werden h¨ aufig entweder verschiedene Regularisierungsterme (z.B. elastische und diffusionsbasierte Gl¨ atter) kombiniert oder ein Nachverarbeitungsschritt im Anschluss an jede Iteration der Optimierung durchgef¨ uhrt (z.B. ortsabh¨ angige Gl¨ attung des Deformationsfeldes) [1]. Analog zu der hier pr¨ asentierten Methode gibt es Ans¨ atze, die beispielsweise Wissen u ¨ ber Deformationseigenschaften mit Hilfe eines Maskenbildes direkt in den Regularisierer einbinden [2].

238

3

F. J¨ ager et al.

Methoden

Der in dieser Arbeit pr¨ asentierte wissensbasierte Registrierungsansatz kann in zwei Teilbereiche gegliedert werden. Im ersten Schritt wird eine Wahrscheinlichkeitskarte bestimmt, welche die Zugeh¨ origkeit eines Voxels der SPECTAufnahme (des Templatebildes) zur Klasse der aktiven Regionen beschreibt. Anhand dieser wird die ¨ ortliche Verteilung der Steifheitskoeffizienten berechnet, d.h. je wahrscheinlicher ein Voxel einem Hotspot entspricht, desto h¨oher ist der ihm zugewiesene Koeffizient. Zur Bestimmung der Wahrscheinlichkeitskarte wird eine modifizierte Version des Fuzzy-C-Means-Algorithmus [3] verwendet. Hierbei wird die Nachbarschaft jedes Voxels in die Berechnung mit einbezogen. Damit kann das Optimierungsproblem der Klassifikation durch folgenden Term beschrieben werden: J=

Nc  n 

2 am i,k yk − ci  +

i=1 k=1

Nc  n  λ  am yr − ci 2 → min, i,k NR i=1 k=1

(2)

yr ∈NR

wobei Nc die Anzahl der Klassen, n die Anzahl der Voxel, ci die Klassenzentren, NR die Nachbarschaft, NR deren Kardinalit¨ at, yr die beobachteten Intensit¨aten, m einen Skalierungsfaktor und λ den Einfluss der Nachbarschaft beschreibt. F¨ ur die Partitionsmatrix ai,k gelten die Wahrscheinlichkeitsbedingungen i ai,k = 1 und ai,k ≥ 0. Zur Regularisierung wird die Zugeh¨origkeit eines Voxels zur Klasse ahlt. Im zweiten Schritt wird die Registrierung der κ mit κ = arg maxβ cβ gew¨ beiden Datens¨ atze durchgef¨ uhrt, wobei das zuvor gewonnene Maskenbild zur Restriktion der Deformationen abh¨ angig von der Steifheit bestimmter Regionen genutzt wird. Die Integration der Steifheitskoeffizienten erfolgt u ¨ ber einen ortsabh¨ angigen Regularisierer. Dieser basiert auf der zweiten Ableitung des Verschiebungsfeldes, bestraft also die Kr¨ ummung des Deformationsfeldes. Affine Transformationen werden hingegen nicht eingeschr¨ankt. Weiterhin beinhaltet der Regularisierer eine ortsabh¨ angige differenzierbare Funktion b : IRd → IR. Daraus ergibt sich f¨ ur dessen kontinuierliche Version: 1 [u] := 2 d

S

spatial

l=1

' b(ϕ(x))(ul )2 dx,

(3)

Ω

wobei  dem Laplace-Operator entspricht und x ∈ IRd die Position innerhalb der Daten, d die Dimension, meistens 2D Bilder bzw. 3D Volumen und u das Deformationsfeld in Abh¨ angigkeit von x darstellt. ϕ : IRd → IRd ist die Abbildung ϕ(x) = x − u(x). Die Minimierung des Funktionals J erfolgt mittels der EulerLagrange Gleichung. Hierf¨ ur muß die Gˆ ateaux-Ableitung dJ [u; T, R] gebildet werden. Die Ableitung des vorgestellten Gl¨ atters ergibt den Differentialoperator Aspatial [u] = dS spatial [u] = b(ϕ(x))2 u.

(4)

Die diskrete Version der Funktion b wird definiert als b(x) = α + γaκ,j . Dabei ist j der Index in der Partitionsmatrix des Voxels an der Position x im Templatebild. α beschreibt die Grundsteifheit - entspricht α in Gleichung 1 - und γ den

Wissensbasierte nicht-starre Registrierung von SPECT/CT Datens¨ atzen

239

Einfluss der Wahrscheinlichkeitskarte. Damit kann der diskrete Differentialoperator Aspatial durch das Matrixprodukt BAcurv berechnet werden. Acurv entspricht dem Operator der kr¨ ummungsbasierten Registrierung [4]. B ist definiert als B = diag(b(ϕ(x1 )), b(ϕ(x2 )), . . . , b(ϕ(xn ))). Aufgrund der Ortsabh¨angigkeit der Matrizen kann das Gleichungssystem nicht mittels der Diskreten Cosinus Transformation gel¨ ost werden. Der L¨ osungsansatz, der zur Berechnung der Experimente verwendet worden ist, basiert auf einem Gradientenabstiegsverfahren.

Abb. 1. Korrespondierende Schichten eines zur Evaluierung verwendeten Datensatzes und das Ergebnis der Registrierung: Original CT Volumen (oben links), original SPECT Volumen (oben mitte), verwendete Wahrscheinlichkeitskarte (oben rechts), deformiertes Volumen ohne ortsabh¨ angige Regularisierung (unten links) und mit ortsabh¨ angiger Regularisierung (unten rechts). .

4

Ergebnisse

Die vorgestellte Methode wurde auf mehreren klinischen SPECT/CT Datens¨ atzen getestet. Um die Ergebnisse der Registrierung besser Evaluieren zu k¨onnen wurden Aufnahmen eines SPECT/Spiral CT Systems verwendet. Hierbei werden beide Volumen parallel akquiriert. Damit sind diese weitgehend registriert, was es erm¨ oglicht die Datens¨ atze als Goldstandard zu verwenden. Die Ergebnisse der Registrierung der Datens¨ atze ohne ortsabh¨angige Regularisierung zeigten, dass prim¨ ar Bereiche hoher Stoffwechselaktivit¨at stark deformiert wurden. Durch die ortsabh¨ angige Regularisierung wird dies weitgehend unterbunden. Allerdings ben¨ otigt diese f¨ ur zufriedenstellende Ergebnisse weit mehr Iterationen, da Bereiche mit hohen Steifheitskoeffizienten viel langsamer trans-

240

F. J¨ ager et al.

formiert werden als Regionen mit kleineren Werten. Abbildung 1 zeigt das Ergebnis einer Registrierung mit und ohne ortsabh¨angiger Regularisierung. Dabei ist deutlich zu erkennen, dass beide Methoden schwache Kanten des SPECTDatensatzes verst¨arken. Aufgrund der Maskierung mittels der zuvor bestimmten Wahrscheinlichkeitskarte zeigt das Ergebnis der pr¨asentierten Methode in Regionen hoher Stoffwechselaktivit¨ at kaum Deformationen.

5

Diskussion

Wir konnten zeigen, dass mit Hilfe der vorgestellten Methode die Integration von a-priori Wissen in den Optimierungsprozess m¨oglich ist und damit die Ergebnisse der Registrierung aus medizinischer Sicht plausibler werden. Wegen der grossen Intensit¨ atsunterschiede zwischen aktiven Regionen (z.B. der Milz) und Regionen mit geringerer Stoffwechselaktivit¨ at k¨onnen SPECT Bilder leicht segmentiert und damit ortsabh¨ angige Steifheitskoeffizienten zugewiesen werden. Die bisher erzielten Ergebnisse sprechen daf¨ ur, dass der pr¨asentierte Ansatz gut f¨ ur die Registrierung von SPECT und CT Datens¨ atzen geeignet ist. Allerdings ist die Methode f¨ ur den klinischen Einsatz im Moment nur bedingt einsetzbar, weil die Laufzeit, abh¨ angig von der Gr¨ oße der betrachteten Datens¨atze, noch weiter reduziert werden muss. Da die vorgestellte Methode nicht auf die Registrierung von SPECT/CT Datens¨ atzen beschr¨ ankt ist, sind weitere Einsatzgebiete (z.B. die Registrierung von PET/CT oder MRT/CT Datens¨atzen) denkbar. Vorraussetzung hierf¨ ur ist allerdings die zuverl¨ assige Zuweisung der Steifheitskoeffizienten zu den unterschiedlichen Gewebearten. Danksagung. Wir m¨ ochten der Firma Hipgraphics f¨ ur ihre Unterst¨ utzung und der kostenlosen Bereitstellung des Volumenrenderes InSpace danken. Weiterhin m¨ ochten wir der Deutschen Forschungsgemeinschaft (DFG) und dem SFB 603, TP C10, f¨ ur die finanzielle Unterst¨ utzung danken.

Literaturverzeichnis 1. Staring M, Klein S, Pluim JPW. Nonrigid Registration with Adaptive, ContentBased Filtering of the Deformation Field. In: Proc of SPIE Medical Imaging. vol. 5747; 2005. p. 212–221. 2. Kabus S, Franz A, Fischer B. On Elastic Image Registration with Varying Material Parameters. In: Procs BVM; 2005. p. 330–334. 3. Ahmed MN, Yamany SM, Mohamed N, Farag AA, Moriarty T. A Modified Fuzzy CMeans Algorithm for Bias Field Estimation and Segmentation of MRI Data. IEEE Trans Med Imaging 2002;21(3):193–199. 4. Modersitzki J. Numerical Methods for Image Registration. Oxford University Press, Oxford New York; 2004.

Computergestu ¨tzte Auswertung koronarangiographischer Bildfolgen hinsichtlich des Myocardialen Blushgrades M. Erbacher1 , G. Korosoglou2 und H. Dickhaus1 1 Institut f¨ ur Medizinische Biometrie und Informatik, Abteilung Medizinische Informatik, 69120 Heidelberg 2 Kardiologische Abteilung des Universit¨ atsklinikums Heidelberg, 69120 Heidelberg Email: [email protected]

Zusammenfassung. Aufgrund der hohen Zahl an Sterbef¨ allen in Folge von Herzkreislauferkrankungen, ist es w¨ unschenswert eine quantitative Aussage f¨ ur die Durchblutung des Herzmuskels zu erhalten. Es hat sich gezeigt, dass die Bestimmung des myocardialen Blushgrades gegen¨ uber der alleinigen Bestimmung des TIMI-Frame-Counts Vorteile f¨ ur die Bewertung des Patientenzustands bringt. Um die Bestimmung der Blushgrades zu verbessern, wird eine Methode zur Bewegungskompensation vorgestellt. Das vorgestellte Verfahren kann Translationen und Rotationen korrigieren. Außerdem wird auf den Nutzen der bei der Auswertung berechenbaren Parameterbilder eingegangen. Dabei werden sowohl neue Parameter vorgestellt, wie auch der Nutzen zur Bestimmung der ROI erl¨ autert.

1

Problemstellung

Nach Angaben des Statistischen Bundesamts wird die H¨alfte aller Sterbef¨alle durch eine Herz-Kreislauferkrankung verursacht. Ungef¨ahr zwei Drittel dieser Todesf¨ alle entstehen durch die koronare Herzkrankheit (KHK). Die Zahl der Infarkte, von denen man annimmt, dass sie sich sehr h¨aufig aus einer KHK entwickeln, liegt bei etwa 200.000 pro Jahr; davon verlaufen ca. 35% t¨odlich [1]. Der Trend dieser Zahlen ist zunehmend. Routinem¨aßig wird bei diesen Erkrankungen bei Stenoseverdacht eine Koronarangiographie durchgef¨ uhrt. W¨ahrend eines solchen Eingriffs wird zur Aufl¨ osung einer Stenose normalerweise eine PTCA (pulmonare transluminale Koronarangioplastie) durchgef¨ uhrt. Nach einem solchen Eingriff ist es w¨ unschenswert direkt aus der Angiographie einen objektiven Wert f¨ ur die Durchblutung des Myokards zu erhalten.

2

Stand der Forschung

Zur Bewertung des Erfolges einer PTCA werden unterschiedliche Verfahren eingesetzt. Zum einen kann eine visuelle Absch¨ atzung des Grades der Diameterstenose durch den Kardiologen erfolgen. Dieses Verfahren leidet darunter, dass von

242

M. Erbacher, G. Korosoglou und H. Dickhaus

einer Projektion auf das komplette Gef¨ aß geschlossen werden muss. Eine weitere M¨oglichkeit ist das von Gibson entwickelte Verfahren des TIMI-Frame-Counts. Hierbei wird die Flussgeschwindigkeit in den Koronarien bestimmt. Beide Verfahren sagen nichts u ¨ ber die Durchblutung des Myokards aus wie Stone et. al. [2] gezeigt haben. Eine dritte M¨ oglichkeit ist die Bestimmung des so genannten Blushgrades. Dabei wird aus der Abschattung des Myokards durch das Kontrastmittel auf dessen Durchblutung geschlossen. Ein computergest¨ utztes Verfahren zur Bestimmung des Blushgrades existiert bereits [3]. Durch die unzureichende Bewegungskompensation sind aber viele Angiographieserien nur schlecht oder gar nicht auswertbar. In der Literatur gibt es schon verschiedene Ans¨atze zur Bewegungskompensation in angiographischen Bildfolgen [4, 5]. Diese zeichnen sich jedoch h¨ aufig durch einen hohen Rechenaufwand aus. Das ist bei der gegebenen Fragestellung, bei der die Kardiologen eine Online-Auswertung w¨ unschen, ein entscheidender Nachteil.

3

Wesentlicher Fortschritt durch den Beitrag

W¨ ahrend der Aufnahme einer Angiographieserie kann es dazu kommen, dass der Aufnahmefokus verschoben wird (in den von uns untersuchten Daten bei ca. 20% aller Serien). Das geschieht immer dann, wenn der behandelnde Arzt nach Beginn der Aufnahme feststellt, dass sich das Zielgebiet nicht im sichtbaren Bereich befindet. Durch diese Bewegung ist die Bestimmung des Blushgrades ohne Bewegungskompensation nicht m¨ oglich. Das im Folgenden vorgestellte Verfahren dient dazu, solche Bewegungen zu kompensieren und dadurch die Auswertbarkeit zu verbessern. Außerdem wird eine Methode erl¨autert, mit deren Hilfe ein f¨ ur den Blush relevantes Gebiet einfach bestimmt werden kann.

4

Methoden

Die Erstellung von kontrastreichen Angiographiefolgen wird durch ein Differenzbildverfahren erreichet. Da es f¨ ur eine sinnvolle Differenzbildung n¨otig ist, dass sich die einzelnen Bilder nur in dem interessanten Aspekt, in diesem Fall der Verteilung des Kontrastmittels, unterscheiden, gilt es Bewegungen m¨oglichst vollst¨ andig zu eliminieren. Weil in dem existierenden Verfahren nur Bilder betrachtet werden, die dieselbe Phase des Herzzyklus zeigen, kann man davon ausgehen, dass die Form des Herzens konstant ist. Aus diesem Grund und da die Bewegung der R¨ ontgenkamera keine Deformation verursacht, kann der Bewegungseffekt manuell behoben werden. Eine solche Kompensation ist jedoch zeitintensiv. Um eine schnellere Korrektur zu erm¨ oglichen, soll diese Verschiebung durch ein Matchingverfahren automatisch kompensiert werden. Der von uns gew¨ahlte Ansatz geht davon aus, dass sich die zu matchenden Bilder nur in ihrer Lage zueinander unterscheiden. Allerdings stellt das sich u ¨ ber die Zeit ausbreitende Kontrastmittel ein Problem dar. Um dieses zu vermeiden werden immer zwei im zeitlichen Ablauf auf einander folgende Bilder zur Deckungsgleichheit gebracht. Anschließend

Computergest¨ utzte Auswertung koronarangiographischer Bildfolgen

243

werden die Transformationen relativ zum jeweils vorherigen Bild ermittelt und die Korrektur durchgef¨ uhrt. Dadurch wird eine nahezu identische Lage f¨ ur alle Bilder gew¨ ahrleistet. F¨ ur die Optimierung wird ein angepasster Differenzoptimierer verwendet. Dieses Verfahren wird so modifiziert, dass Pixel, die Kontrastmittel in den Arterien darstellen, nur dann beachtet werden, wenn sie in beiden Bildern Arterien zugeordnet werden. Das geschieht durch Einstellen eines Schwellenwerts, der angibt ab welchem Wert ein Pixel einer Arterie zugeh¨orig betrachtet werden soll. Um aus einer derart gewonnenen Serie den Blushgrade bestimmen zu k¨onnen, muss der zu untersuchende Bereich, die Region of Interest (ROI), definiert werden. Dabei ist wichtig, dass sich dort keine st¨orenden Einfl¨ usse wie zum Beispiel Arterien, Venen oder Atmenbewegungen des Zwerchfells auswirken. Zur Unterst¨ utzung des Kardiologen bei der Auswahl der ROI werden so genannte Parameterbilder ermittelt. Sie quantifizieren einen bestimmten Aspekt der aufgenommenen Bildfolge. Als besonders n¨ utzlich hat sich dabei der Zeitpunkt des Auftretens des maximalen Grauwertes erwiesen. Hierzu wird f¨ ur jedes Pixel dieser Zeitpunkt bestimmt und an der entsprechenden Stelle im Parameter-Bild eingetragen. In dieser Darstellung sind die Arterien gut vom Myokard zu unterscheiden, da das Kontrastmittel dort zeitversetzt ankommt. Eine noch bessere Trennung von Myokard und Arterien kann man erreichen, indem man den Quotienten aus maximalem Grauwert und dem Zeitpunkt seines Auftretens als Parameter verwendet (vgl. Abb. 1). Durch diese zus¨atzliche Information wird verhindert, dass Arterien und Myokardbereiche, die r¨aumlich nah am Punkt der Kontrastmittelgabe liegen, denselben Wert erhalten.

5

Ergebnisse

Durch die vorgestellte Bewegungskompensation wird die Auswertbarkeit von Angiographiefolgen erh¨ oht. Folgen, in denen es zu einer Verschiebung des Aufnahmebereichs gekommen ist, k¨ onnen korrekt ausgewertet werden. Das wurde von uns in einer Studie mit 100 Patienten nachgewiesen. Von diesen 100 Serien waren ohne Bewegungskompensation 60% auswertbar. Durch Nutzung des beschriebenen Verfahrens wurde die Auswertung von weiteren 20% der Serien erm¨oglicht. Eine Auswertung der restlichen 20% ist aus mannigfachen Gr¨ unden nicht m¨oglich und soll Gegenstand weiterer Untersuchungen sein. Abb. 1 zeigt den Unterschied im Ergebnis der Durchblutungsbestimmung ohne und mit Bewegungskompensation. W¨ ahrend die Kurve f¨ ur die Auswertung ohne Kompensation einen schlechten Abfluss des Kontrastmittels zeigt (maximal 5% pro Sekunde), ist dies nach der Kompensation ( maximal 17% pro Sekunde) nicht mehr der Fall. Auch die maximalen Werte unterscheiden sich deutlich: Vor der Kompensation liegt der Maximalwert bei ca. 60, danach bei 29. Anhand des eben genannten Beispiels wird deutlich, dass eine Bewegungskorrektur f¨ ur die Auswertung relevant ist, da sonst unter Umst¨ anden falsche Schl¨ usse aus der Ergebnissen gezogen werden. Abb. 1 veranschaulicht außerdem, dass Arterien und Artefakte in den Parameterbildern deutlich zu erkennen sind. Insgesamt kann geschlossen werden,

244

M. Erbacher, G. Korosoglou und H. Dickhaus

Abb. 1. Parameterbild f¨ ur den Quotienten aus maximalem Grauwert und dem Zeitpunkt seines Auftretens (oben) sowie der Grauwertverlauf innerhalb der ROI (unten) ohne und mit Bewegungskompensation; links ohne Bewegungskompensation, rechts mit Bewegungskompensation.

dass durch die Nutzung der Parameterbilder die Auswertung einfacher und robuster geworden ist, da die ROI nun u ¨blicherweise so gew¨ahlt wird, dass sie keine Artefakte oder Arterien enth¨ alt. Dadurch wird die Variabilit¨at zwischen den Kardiologen, die eine Blushbewertung durchf¨ uhren, geringer. Auch die vorgestellte Bewegungskompensation f¨ uhrt zu einer weiteren Stabilisierung der Ergebnisse, indem sie selbst auch noch geringe Bewegungen korrigiert und damit die Anzahl der Artefakte reduziert.

6

Diskussion

Das vorgestellte Verfahren ist in der Lage, Verschiebungen des Aufnahmebereiches zu kompensieren und den Kardiologen bei der Auswahl einer optimalen ROI f¨ ur die Blushbewertung zu unterst¨ utzen. 20% der untersuchten Serien wiesen u. a. eine starke Atmenbewegung des Zwerchfells auf. Diese konnten bislang durch das vorgestellte Verfahren nicht kompensiert werden. Hierf¨ ur soll ein elastischer Matchingasatz mit zus¨ atzlicher Bewegungsabsch¨atzung evaluiert werden.Die Genauigkeit der Bewegungskompensation erscheint nach einer rein visuellen Bewertung gut. Eine genauere Evaluierung wird noch durchgef¨ uhrt.

Computergest¨ utzte Auswertung koronarangiographischer Bildfolgen

245

Literaturverzeichnis 1. Deutschland StatistischesBundesamt. Gesundheitswesen – Todesursachen. Internet: www.destatis.de/themen/d/thm gesundheit.htm (gesehen 13.10.2005); 2003. 2. Stone GW, Lamsky AJ, et al. Beyond TIMI 3 Flow: The importance of restored myocardial perfusion for survival in risk patients undergoing primary or rescue PTCA. J Am Coll Cardiol 2000;35(403A). 3. Malsch U, Dickhaus H, K¨ ucherer H. Quantitative Analyse von Koronarangiographischen Bildfolgen zur Bestimmung der Myokardperfusion. In: Procs BVM; 2003. 4. Hemmendorf M, Andersson MT, Kronander T, Knutsson H. Phase-Based Multidimensional Volume Registration. IEEE Transactions on Medical Imaging 2002;13(12):1536–1543. 5. Buzug TM, Weese J, Lorenz C. Weighted Least Squares for Point-Based Registration in Digital Subtraction Angiography (DSA). In: SPIE Vol. 3661; 1999.

A Variational Framework for Joint Image Registration, Denoising and Edge Detection Jingfeng Han1 , Benjamin Berkels2, Martin Rumpf2 , Joachim Hornegger1, Marc Droske3 , Michael Fried1 , Jasmin Scorzin2 and Carlo Schaller2 1

Universit¨ at Erlangen-N¨ urnberg, 2 Universit¨ at Bonn,

3

University of California

Abstract. In this paper we propose a new symmetrical framework that solves image denoising, edge detection and non–rigid image registration simultaneously. This framework is based on the Ambrosio–Tortorelli approximation of the Mumford–Shah model. The optimization of a global functional leads to decomposing the image into a piecewise–smooth representative, which is the denoised intensity function, and a phase field, which is the approximation of the edge-set. At the same time, the method seeks to register two images based on the segmentation results. The key idea is that the edge set of one image should be transformed to match the edge set of the other. The symmetric non–rigid transformations are estimated simultaneously in two directions. One consistency functional is designed to constrain each transformation to be the inverse of the other. The optimization process is guided by a generalized gradient flow to guarantee smooth relaxation. A multi–scale implementation scheme is applied to ensure the efficiency of the algorithm. We have performed preliminary medical evaluation on T1 and T2 MRI data, where the experiments show encouraging results.

1

Introduction

Image registration, image denoising and edge detection are three important and still challenging image processing problems in the field of medical image analysis. Traditionally, solutions are developed for each of these three problems mutually independent. However, in the various applications, the solutions of these problems are depend on each other. Indeed, tackling each task would benefit significantly from prior knowledge of the solution of the other tasks. Here, we treat these different image processing problems in an uniform mathematically sound approach. There already have been some attempts in the literature to develop methods aligning the images and detecting the features simultaneously [1, 2, 3, 4]. Due to our knowledge, most of the existing approaches are restricted to lower dimensional parametric transformations for image registration. Recently, in [5, 6] a novel approach for non–rigid registration by edge alignment has been presented. The key idea of this work is to modify the Ambrosio–Tortorelli approximation of the Mumford–Shah model, which is traditionally used for image segmentation,

A Variational Framework for Joint Image Registration

247

so that the new functional can also estimate the spatial transformation between images, but in contrast to the method proposed by Droske et al. our method is fully “symmetric” with respect to the treatment of the edge sets in both images and the transformations in both directions.

2

Method

Assume two gray images R and T are given, whose intensity values are described by the function u0R and u0T , respectively. The goal of the joint framework is to find piecewise smooth representatives uR and uT (denoising), phase field edge functions vR and vT (edge detection) and symmetric non–rigid spatial transformations φ and ψ such that uR ◦ ψ matches uT and uT ◦ φ matches uR (registration). For simplification of presentation, we denote all the unknowns with Φ = [uR , uT , vR , vT , φ, ψ]. The associated functional is defined as u0

u0

R T EG [Φ] = EAT [uR , vR ] + EAT [uT , vT ] + EREG [Φ] → min,

(1)

In what follows, we define and discuss the variational formulation. 2.1

Denoising and Edge Detection 0

u The EAT [u, v] denotes the Ambrosio–Tortorelli (AT) approximation functional proposed in [7, 8]. This functional is originally designed to approximate the Mumford–Shah model [9] for image segmentation. The functional is defined as 0

'

u , EAT [u, v] =

 β ν
1 α ∇v2 + (v − 1)2 dx, (u − u0 )2 + v 2 ∇u2 + Ω 2   2   2    4   E1

E2

E3

E4

with parameters α, β, ν ≥ 0. In the Ambrosio–Tortorelli approximation, the edge set is depicted by a phase field function v with v(x) ≈ 0 if x is an edge point and v(x) ≈ 1 otherwise. The term E1 favors u to be as similar to u0 as possible. The term E2 allows u to be singular (large ∇u2 ) where v ≈ 0 and favors u to be smooth (small ∇u2 ) where v ≈ 1. The term E3 constrains v to be smooth. The last term E4 prevents the degeneration of v, i.e. without E4 the functional would be minimized by v ≡ 0, u ≡ u0 . For the details of the Ambrosio–Tortorelli approximation, we refer to [7]. 2.2

Edge Alignment

The main goal of the registration functional EREG is to find the transformations that match the edge sets of image R and image T to each other. In order to explicitly enforce the bijectivity and invertibility of spatial mapping, we estimate the two transformations in two directions simultaneously: φ : Ω → Ω is the transformation from image T to image R and ψ : Ω → Ω is the one from R to T . The functional EREG is a linear combination of an external functional Eext , an internal functional Eint and a consistent functional Econ : EREG [Φ] = µEext [Φ] + λEint [φ, ψ] + κEcon [φ, ψ],

(2)

248

J. Han et al.

Fig. 1. Results of registration of T1/T2 slices with parameters: α = 2550, β = 1, ν = 1, µ = 0.1, λ = 20, κ = 1,  = 0.5h. (a, b): The original images u0T 1 and u0T 2 . (c, d): Piecewise smooth functions uT 1 and uT 2 . (e, f ): Phase field functions vT 1 and uT 2 . (g, h): The registered T1 and T2 slices. (i): Blending of transformed T1 slice and phase field function of T2 slice. (j): Blending of transformed T2 slice and phase field function of T1 slice.

a

c

e

g

i

b

d

f

h

j

where µ, λ and κ are just scaling parameters. The three functionals Eext , Eint , Econ are defined as follows: ' Eext [Φ] = 'Ω Eint [φ, ψ] = 'Ω Econ [φ, ψ] = Ω

1 1 (vT ◦ φ)2 ∇uR 2 + (vR ◦ ψ)2 ∇uT 2 dx , 2 2 1 1 Dφ − 112 + Dψ − 112 dx , 2 2 1 1 φ ◦ ψ(x) − x2 + ψ ◦ φ(x) − x2 dx . 2 2

(3) (4) (5)

Here, 11 is the identity matrix. The external functional Eext favors transformations that align zero–regions of the phase field of one image to regions of high gradient in the other image. The internal functional Eint imposes a common smoothness prior on the transformations. The consistency functional Econ constrains the transformations to be inverse to each other, since it is minimized when φ = ψ −1 and ψ = φ−1 . 2.3

Variational Formulation

The definition of the global functional EG [Φ] is mathematically symmetrical with respect to the two groups of unknown [uR , vR , φ] and [uT , vT , ψ]. Thus, we restrict here to variations with respect to [uR , vR , φ]. The other formulas can be deduced in a complementary way.

A Variational Framework for Joint Image Registration

249

Fig. 2. Results of 3D registration. We denote the original MRI volume as R and the artificially deformed volume as T . After symmetric registration, the resampled volume

are denoted as R and T respectively. (a) The check board volume of R and T . (b)

The check board volume of R and T .(c) The check board volume of T and R . The parameter setting: α = 2550, β = 1, ν = 1, µ = 0.1, λ = 20, κ = 1,  = 0.5h.

a

b

c

For testfunctions ϑ ∈ C0∞ (Ω), ζ ∈ C0∞ (Ω, Rd ), we obtain '

∂uR EG , ϑ =

'

2 α(uR − u0R )ϑ + βvR ∇uR · ∇ϑ + µ(vT ◦ φ)2 ∇uR · ∇ϑdx , Ω

ν β ∇uR 2 vR ϑ + (vR − 1)ϑdx 4 ' ν∇vR · ∇ϑ + µ∇uT ◦ ψ −1 2 vR ϑ |det Dψ|−1 dx , + Ω ' ∂φ EG , ζ = µ ∇uR 2 (vT ◦ φ)∇(vT ◦ φ) · ζ + λDφ : Dζ

∂vR EG , ϑ =

Ω

Ω

+ κ([φ ◦ ψ](x) − x) · [ζ ◦ ψ](x) + ([ψ ◦ φ](x) − x)Dψ(h(x)) · ζ(x)dx .

where A : B = ij Aij Bij . At first, a finite element approximation in space is applied [10]. Then, we minimize the corresponding discrete functional by finding a zero crossing of the variation. Because of the high dimensionality of the minimization problem (six unknown functions, two of them vector valued), we employ an EM type algorithm, i.e. we iteratively solve for zero crossings of the variations given before. Since the variations with respect to the images and the phase fields are linear in the given variable, we can solve these equations directly with a CG method. The nonlinear equations for the transformation are solved with a time discrete, regularized gradient flow, which is closely related to iterative Tikhonov regularization, see [11].

3

Results

The first experiment was performed on a pair of T1/T2 MRI slices (See Fig.1a,1b), which have the same resolution (257 × 257) and come from the same

250

J. Han et al.

patient. The experiment results in Fig.1 show that the proposed method successfully removes the noise (Fig.1c,1d) and detects the edge features (Fig.1e,1f ) of T1/T2 slices. Moreover, the method computes the transformations such that the two transformed slices (Fig.1g,1h) optimally align to the original images according to the edge features, see (Fig.1i,1j). The second experiment was designed to demonstrate the effect of the proposed method in 3D. We deformed one MRI volume (129 × 129 × 129) with Gaussian radial basis function (GRBF) and seek to recover the artificially introduced transformation via symmetric registration method. See the registration results in Fig.2. Acknowledgements. The authors gratefully acknowledge the support of Deutsche Forschungsgemeinschaft (DFG) under the grant SFB 603, TP C10. The authors also thank HipGraphic Inc. for providing the software for volume rendering (InSpace).

References 1. Z¨ ollei L, Yezzi A, Kapur T. A Variational Framework for Joint Segmentation and Registration. In: MMBIA’01: Proceedings of the IEEE Workshop on Mathematical Methods in Biomedical Image Analysis. Washington, DC, USA: IEEE Computer Society; 2001. p. 44–51. 2. Chen Y, Thiruvenkadam S, Huang F, Gopinath KS, Brigg RW. Simultaneous segmentation and registration for functional MR images. In: Proceedings. 16th International Conference on Pattern Recognition. vol. 1; 2002. p. 747–750. 3. Young Y, Levy D. Registration-based morphing of active contours for segmentation of CT scans. Mathematical Biosciences and Engineering 2005;2(1):79–96. 4. Pohl KM, Fisher J, Levitt JJ, Shenton ME, Kikinis R, Grimson WEL, et al. A Unifying Approach to Registration, Segmentation, and Intensity Correction. In: MICCAI; 2005. p. 310–318. 5. Droske M, Ring W. A Mumford-Shah Level-Set Approach for Geometric Image Registration. SIAM Appl Math 2005; to appear. 6. Droske M, Ring W, Rumpf M. Mumford-Shah Based Registration. Computing and Visualization in Science manuscript 2005; submitted. 7. Ambrosio L, Tortorelli VM. On the approximation of free discontinuity problems. Boll Un Mat Ital B 1992;6(7):105–123. 8. Ambrosio L, Tortorelli VM. Approximation of functionals depending on jumps by elliptic functionals via Γ -convergence. Comm Pure Appl Math 1990;43:999–1036. 9. Mumford D, Shah J. Boundary detection by minimizing functional. In: Proceedings. IEEE conference on Computer Vision and Pattern Recognition. San Francisco, USA; 1985. 10. Bourdin B, Chambolle A. Implementation of an adaptive Finite-Element approximation of the Mumford-Shah functional. Numer Math 2000;85(4):609–646. 11. Clarenz U, Henn S, Rumpf K M Witsch. Relations between optimization and gradient flow methods with applications to image registration. In: Proceedings of the 18th GAMM Seminar Leipzig on Multigrid and Related Methods for Optimisation Problems; 2002. p. 11–30.

Evaluierung von Registrierungsstrategien zur multimodalen 3D-Rekonstruktion von Rattenhirnschnitten Christoph Palm, Andrea Vieten, Dagmar Bauer und Uwe Pietrzyk Institut f¨ ur Medizin, Forschungszentrum J¨ ulich GmbH, 52425 J¨ ulich Email: [email protected]

Zusammenfassung. In dieser Arbeit werden drei Strategien zur 3D Stapelung von multimodalen Schnittbildern vorgestellt. Die Strategien werden experimentell anhand von Dualtracer-Autoradiographien evaluiert. Dazu werden neue Maße zur Beschreibung der Konsistenz innerhalb einer Modalit¨ at und der Konsistenz der Modalit¨ aten untereinander entwickelt, die auf bekannten Registrierungsmetriken basieren. Gerade bez¨ uglich der Konsistenz der Modalit¨ aten untereinander zeigen zwei Strategien die besten Resultate: (1) abwechselnde multimodale Registrierung (2) monomodale Rekonstruktion einer Modalit¨ at und multimodale 2D Registrierung der zweiten Modalit¨ at.

1

Einleitung

In der Neurologie werden h¨ aufig bildgebende Verfahren wie MRT und PET eingesetzt, die ein koh¨ arentes 3D-Hirnmodell liefern. Allerdings weisen die Verfahren eine geringe Ortsaufl¨ osung auf. Daher werden bei Tierexperimenten hochaufl¨osende ex vivo Techniken wie Autoradiographie und Histologie von 2D Hirnschnitten verwendet. Der Bezug der Einzelschnitte zueinander geht dabei verloren, da jede Schicht praktisch separat ausgemessen wird. Der Vergleich mit origin¨ aren 3D Verfahren erfordert daher die nachgelagerte Registrierung der Schnittserien zu einem 3D Datensatz. Speziell in der neurologischen Tumorforschung wird durch gleichzeitige Beobachtung verschiedener Eigenschaften wie Rezeptordichte oder pH-Wert die Wirkungsweise eines Tumors auf molekularer Ebene untersucht. Jede dieser Eigenschaften kann durch ein anderes bildgebendes Verfahren visualisiert werden. Allerdings ist f¨ ur jeden Hirnschnitt nur genau ein Verfahren anwendbar. Deshalb werden unter der Annahme geringer morphologischer Ver¨anderungen benachbarte Schnitte verschieden aufgenommen. Bei der Zusammensetzung dieser multimodalen Schnittserien ergibt sich damit das besondere Problem der konsistenten Rekonstruktion eines multimodalen 3D Modells.

2

Stand der Forschung

Die Registrierung eines monomodalen Rattenhirn-Schnittbildstapels, sei es Histologie oder Autoradiographie, wird mangels eindeutiger Landmarken meist

252

C. Palm et al.

Abb. 1. Beispiel eines Schnittbildes mit FET (I) und MET Anreicherung (II). Das gemeinsame Histogramm (III) nach Registrierung zeigt genau ein Cluster. III

II MET Bildwerte

I

FET Bildwerte

intensit¨ atsbasiert gel¨ ost. Als Metriken kommen dabei die normalisierte Korrelation [1] oder Mutual Information in Frage. Einige Verfahren beschr¨anken sich auf eine rigide Registrierung, andere setzen nicht-rigide Techniken ein [2]. Es finden sich nur wenige Ans¨ atze zum speziellen Problem der multimodalen Stapelregistrierung. In [3] wird genau ein Verfahren zur multimodalen Schnittbildregistrierung angewendet ohne die Qualit¨ at zu untersuchen. In diesem Beitrag werden erstmals verschiedene Strategien zur Registrierung von multimodalen Schnittbildserien vorgestellt. F¨ ur eine nicht-rigide Registrierung fehlt eine antatomische Referenz, so dass wir uns hier auf rigide Registrierungstechniken beschr¨ anken. Zur Erzeugung eines Quasi-Goldstandards zur rigiden Registrierung wird die spezielle Aufnahmetechnik der Dual-TracerAutoradiographie (Abschn. 3) genutzt. Damit lassen sich intermodale und intramodale Konsistenzmaße definieren (Abschn. 3), um die Strategien quantitativ zu vergleichen (Abschn. 5).

3

Qualit¨ atsmaße

Die Registrierungsgenauigkeit kann bei multimodalen Bildern wegen der unterschiedlichen Signale nicht in Form von Differenzbildern gemessen werden. Statt dessen werden segmentierte Regionen oder deren Konturen verglichen. Ein solches Verfahren ist auf Schnittserien nicht ohne Weiteres u ¨ bertragbar, weil Differenzen neben der m¨ oglichen Registrierungsungenauigkeit eine weitere Ursache in morphologischen Unterschieden von Schnitt zu Schnitt haben k¨onnen. Dual-Tracer-Autoradiographie: Um morphologische Unterschiede ausschließen zu k¨ onnen, wurde f¨ ur diese Studie die Technik der Dual-TracerAutoradiographie eingesetzt, bei der zwei unterschiedliche Tracer FET (O-2[18 F]fluoroethyl-L-tyrosin) und MET (L-methyl-[3 H]-methionin) gleichzeitig injiziert werden. Die unterschiedliche Halbwertszeit beider Isotope (110 Minuten bzw. 12,3 Jahre) und die M¨ oglichkeit der Abschirmung des Tritiums [3 H], erlauben die Autoradiographie des FET (Abb. 1, I) sofort und des MET (Abb. 1, II) nach Abklingen des 18 F. Damit liegen multimodale autoradiographische Daten bei identischen Hirnschnitten vor. Obwohl beide Modalit¨aten unterschiedliches Rauschverhalten aufweisen, ergibt sich im gemeinsamen Histogramm ein Cluster (Abb. 1, III).

Evaluierung von Registrierungsstrategien

253

Abb. 2. Strategien zur Registrierung zweier Modalit¨ aten A and B: MOP (links), SOP (Mitte), and MOSOP (rechts). Die Schnitte in hellgrau markieren die Referenzbilder, die dunkelgrau markierten Schichten die auszurichtenden Bilder. Theoretisch f¨ uhren alle drei Strategien zu einem konsistenten 3D Modell (III).

A

A

A

B

B

B

I

II

III

I

II

III

I

II

III

Intramodale- und Intermodale Konsistenz: Zur Beurteilung der Registrierungsqualit¨ at unterscheiden wir die intramodale Konsistenz sowie die intermodale Konsistenz. Als Maß f¨ ur die Genauigkeit einer 2D Registrierung zweier ¨ Schnitte wird als regionenbasierter Ansatz das Uberlappungsgebiet (UG) der Schnittsegmente definiert. Bei der intramodalen Konsistenz wird nach der Registrierung jeweils ein monomodaler Schnittbildstapel angenommen, d.h. nur die Schnitte einer Modalit¨at werden zu einem 3D Modell zusammengef¨ ugt. Dabei werden benachbarte Schnitte miteinander verglichen, obwohl sie morphologisch Unterschiede aufweisen. Folglich hilft hier die Technik der Dual-Tracer-Autoradiographie nicht weiter. Die Ergebnisse sind entsprechend vorsichtig zu interpretieren. Als Maß f¨ ur die Registrierungsqualit¨ at des Gesamtstapels wird der Median aller paarweiser Einzelergebnisse verwendet. Bei der intermodalen Konsistenz werden zwei monomodale Stapel miteinander verglichen. Dieser Vergleich bezieht sich auf gleiche Schnitte unterschiedlicher Modalit¨ at. Durch Anwendung der Dual-Tracer-Autoradiographie handelt es sich damit sogar um absolut identische Schnitte, was eine exakte Quantisierung der Registrierungsgenauigkeit zul¨ asst. Auch hier wird als Maß f¨ ur die Gesamtstapel der Median der Einzelergebnisse genutzt.

4

Strategien zur multimodalen Stapel-Registierung

Drei Strategien zur Registrierung der multimodalen Schnittbildstapel werden hier vorgestellt und verglichen: MOP, SOP und MOSOP. – MOP (Modality-Preferred): Zuerst werden beide Stapel monomodal mit einer Reihe von 2D Registrierungen rekonstruiert. Erst dann erfolgt die multimodale Registrierung der 3D Stapel (Abb. 2, links). Mit dieser Strategie wird die Konsistenz der monomodalen Stapel optimiert. – SOP (Sliceorder-Preferred): Beide Modalit¨aten werden gem¨aß der Schnittreihenfolge gemischt. Durch eine Reihe von 2D Registrierungen werden jeweils die morphologisch ¨ ahnlichsten Schnitte unabh¨angig von der Aufnah-

254

C. Palm et al.

Abb. 3. Vergleich der Ergebnisse verschiedener Strategien zur multimodalen Schnittbildstapelung. Dargestellt sind jeweils die Differenzen zwischen MOP und SOP (weiß) sowie zwischen MOP und MOSOP (grau) f¨ ur neun Datens¨ atze. SOP-MOP

UG 0.18

MOSOP-MOP

Datensatz 1

Datensatz 2

Datensatz 3

Datensatz 4

Datensatz 5

Datensatz 6

Datensatz 7

Datensatz 8

Datensatz 9

A B AB

A B AB

A B AB

A B AB

A B AB

A B AB

A B AB

A B AB

A B AB

***

0.10 0.08 0.06 0.04 0.02 0

memodalit¨ at u ¨ berlagert. Durch die wechselnde Aufnahmetechnik sind alle Registrierungen multimodal (Abb. 2, Mitte). – MOSOP (Modality-and-Sliceorder-Preferred): Wie bei MOP wird zun¨achst ein monomodaler Stapel gebildet. Die Schnitte der zweiten Modalit¨at werden dann multimodal in 2D mit den korrespondierenden Schnitten der bereits registrierten ersten Modalit¨ at u ¨ berlagert (Abb. 2, rechts).

5

Ergebnisse

Zur Evaluation wurden neun Datens¨ atze mit Hilfe der Strategien MOP, SOP und MOSOP rigide registriert. Im Rahmen der Einzelregistrierungen wurde die normalisierte Korrelation u ur ¨ ber ein Gradientenabstiegsverfahren optimiert. F¨ die resultierenden Stapel wurde die intramodale- sowie die intermodale Konsistenz berechnet. Jeder Datensatz besteht aus ca. 60 Schnitten, die jeweils mit zwei Modalit¨ aten A und B nach der Technik der Dual-Tracer-Autoradiographie aufgenommen wurden. Die Darstellung der Ergebnisse erfolgt als Differenzen von SOP und MOSOP gegen¨ uber MOP als Referenzstrategie. Die Graphik in Abbildung 3 zeigt die Differenzen f¨ ur alle neun Datens¨ atze mit der intramodale Konsistenz f¨ ur Modalit¨at A, der intramodalen Konsistenz f¨ ur Modalit¨ at B und der intermodalen Konsistenz f¨ ur AB. Hohe Werte bedeuten eine große Verbesserung des Konsistenz von SOP bzw. MOSOP gegen¨ uber MOP. Die intramodale Konsistenz von MOP wurde durch SOP in zwei F¨allen und durch MOSOP in einem Fall deutlich verbessert. Dabei ist zu beachten, dass sich durch die Definition der Strategien automatisch eine identische intramodale Konsistenz f¨ ur A bei MOP und MOSOP ergibt (Abb. 3, graue A-Balken). Bez¨ uglich der intermodalen Konsistenz zeigt sich eine Verbesserung der MOP Basislinie f¨ ur alle neun Datens¨ atze. Dabei verhalten sich SOP und MOSOP

Evaluierung von Registrierungsstrategien

255

Abb. 4. Horizontale und sagitale Sicht auf einen monomodalen 3D Stapel nach Registrierung mit MOP (I+II), SOP (III+IV) and MOSOP (V+VI). Die andere Modalit¨ at ist durch die u ¨ berlagerte Kontur angedeutet.

I

II

III

IV

V

VI

nahezu identisch. Beispielhaft wird der Unterschied zwischen den Ergebnissen der einzelnen Strategien in Abbildung 4 deutlich. Dabei werden zwei Schichten durch den rekonstruierten 3D FET Stapel in jeweils orthogonaler Richtung zum Originalschnitt mit u ¨ berlagerter Kontur des MET Stapels gezeigt. Bei guter intermodaler Konsistenz passt die u ¨ berlagerte Kontur gut. Die intramodale Konsistenz ist dann gut, wenn die inneren Strukturen gut sichtbar sind. Eine glatte Außenkontur z.B. in der sagitalen Sicht hat dagegen keine Bedeutung, da es im Randbereich h¨ aufig zu Artefakten aufgrund der Schnitttechnik kommt.

6

Zusammenfassung und Diskussion

Durch die Dual-Tracer-Autoradiographie konnte erstmals ein Quasi-Goldstandard zur Beurteilung der Registrierungsqualit¨ at von multimodalen Schnittbildstapeln pr¨ asentiert werden. Damit wird eine quantitative Messung der intramodalen Konsistenz und der intermodalen Konsistenz m¨oglich. Weiterhin wurden erstmals systematisch drei Strategien zur Registrierung von multimodalen Schnittbildstapeln vorgestellt. Es zeigte sich, dass generell die Strategien SOP und MOSOP vergleichbar, aber jeweils deutlich der Strategie MOP u ¨berlegen sind. Angesichts der als schwieriger geltenden multimodalen Registrierung war die Vergleichbarkeit der Ergebnisse von SOP und MOSOP nicht zu erwarten. Insbesondere Registrierungsfehler werden bei SOP u ¨ ber beide Stapel propagiert, w¨ ahrend sie sich bei MOSOP eher lokal auswirken. Offenbar ist aber beim vorliegenden Bildmaterial die Registrierungsqualit¨at so hoch, dass diese systematischen Unterschiede keine Bedeutung haben.

Literaturverzeichnis 1. Nikou C, Heitz F, Nehlig A, Namer IJ, Armspach N. A robust statistics-based global energy function for the alignment of serially acquired autoradiographic sections. Journal Neuroscience Methods 2003;124:93–102. 2. Wirtz S, Fischer B, Modersitzki J, Schmitt O. Super-fast elastic registration of histologic images of a whole rat brain for three-dimensional reconstruction. SPIE Medical Imaging 2004;5370:328–334. 3. Goldszal AF, Tretiak OJ, Liu DD, Hand PJ. Multimodality multidimensional image analysis of cortical and subcortical plasticity in the rat brain. Annals Biomedical Engineering 1996;24:430–439.

Interpolation of Temporal Image Sequences by Optical Flow Based Registration Jan Ehrhardt1 , Dennis S¨ aring1 and Heinz Handels1 1

Institut f¨ ur Medizinische Informatik, Universit¨ atsklinikum Hamburg–Eppendorf, 20246 Hamburg Email: [email protected]

Abstract. Modern tomographic imaging devices enable the acquisition of temporal image sequences. In our project, we study cine MRI sequences of patients with myocardial infarction. Because the sequences are acquired with different temporal resolutions, a temporal interpolation is necessary to compare images at predefined phases of the cardiac cycle. This paper presents an interpolation method for temporal image sequences. We derive our interpolation scheme from the optical flow equation. The spatiotemporal velocity field between the images is determined using an optical flow based registration method. Here, an iterative algorithm is applied, using the spatial and temporal image derivatives and a spatiotemporal smoothing step. Afterwards, the calculated velocity field is used to generate an interpolated image at the desired time by averaging intensities between corresponding points. The behavior and capability of the algorithm is demonstrated on synthetic image examples. Furthermore, quantitative measures are calculated to compare this optical flow based interpolation method to linear interpolation and shape–based interpolation in 5 cine MRI data sets. Results indicate that the presented method statistically significantly outperforms both linear and shape–based interpolation.

1

Introduction

The study of organ motion becomes more and more important, e.g. in cardiac imaging or in radiotherapy treatment planning. But in general, the spatial and temporal resolution of imaging devices is limited and a compromise between spatial resolution, temporal resolution, acquisition time and signal–to–noise ratio must be found. Therefore, in a number of image processing tasks a spatial and temporal interpolation of data sets is necessary to calculate dense motion models for instance. In our project, we compare cardiac cine MRI sequences of different patients, acquired with different temporal resolutions. A temporal interpolation of the image data is necessary to generate images at predefined phases of the cardiac cycle. This paper describes an optical flow based interpolation method for temporal image sequences. Five cine MRI data sets were used to perform a quantitative analysis. Statistical measures were calculated to compare our interpolation algorithm to linear and shape–based interpolation.

Interpolation of Temporal Image Sequences

2

257

Method

The theoretical motivation of our interpolation method is the optical flow equation. Other registration–based interpolation methods for 3D image volumes were presented for example in [1] and [2]. But no theoretical background was provided and the methods are limited to consecutive slices. In contrast, the optical flow equation makes the use of more than two consecutive slices for the calculation of the velocity field possible. Determining the optical flow. The initial hypothesis of optical flow based methods is that the pixel intensities of time varying image regions remain constant: dI(x(t), t)/dt = 0. From the optical flow equation we obtain v = −∇I

∂t I , ∇I2

(1)

where v is the spatiotemporal velocity field and ∇I the spatial image gradient. Equation (1) is ill–posed and additional constrains are necessary [3]. In our implementation the regularization is done by a spatiotemporal Gaussian smoothing of the velocity field. The temporal derivative ∂t I can be simply computed by finite differences or by a convolution with a Gaussian derivative in time direction to take more than two consecutive slices into account. Optical flow based interpolation. From the intensity conservation assumption follows for the image I(x, t) at time t = t0 + δt: I(x(t), t) ≈ I(x(t) − δt · v, t0 ).

(2)

Thus, if the velocity field v is known, we can interpolate the image at time t from an image at time t0 . But in general the intensity conservation assumption might not be fulfilled and structures may appear or disappear between two time steps. Therefore, we use a weighted average between corresponding voxels in the adjacent time frames I(x, ti ) and I(x, ti+1 ):   I(x(t), t) = (1 − δt) · I (x(t) − δtv, ti ) + δt · I x(t) − (1 − δt)v −1 , ti+1 , (3) with ti < t < ti+1 , δt = t−ti and a normalized time step ti+1 −ti = 1. In general, the inverse velocity field v −1 can’t be computed directly. In our interpolation scheme an iterative Newton–Raphson method is used to calculate the inverse velocity for each grid point [4]. Evaluation methods. Our interpolation method relies on two assumptions: the intensity conservation assumption and that the algorithm is capable to calculate the correct velocity field v. In a first evaluation we generated a synthetic phantom (see fig. 1). For this image sequence the intensity conservation assumption is violated. The aim was to evaluate the behavior of the algorithm in this case.

258

J. Ehrhardt, D. S¨ aring and H. Handels

Fig. 1. Top row: Two slices of the phantom. Bottom row: Interpolations between the phantom slices with varying time step. Each row shows one line in the interpolated image for a given time step. The position of the line is indicated by the dotted line in the top images. Bottom left: linear interpolation, bottom middle: optical flow based interpolation and bottom right: shape–based interpolation.

y

y

x

t=0

t

t=1

t

x

x

t

x

x

In a second evaluation procedure we calculated quantitative measures to compare our interpolation method with two other methods: linear and shape–based interpolation [5]. Linear interpolation is the most frequently used interpolation technique and was chosen as a baseline reference. The shape–based interpolation algorithm was chosen since it was shown to have the best performance in a comparison of interpolation methods [6]. For the quantitative evaluation five cardiac MRI datasets (ECG-triggered true FISP sequences, between 13 and 21 time frames, 224 × 256 pixels) were used. For evaluation each slice of the temporal image sequence (apart from the first and the last slice) was removed one at a time and the three interpolation methods were used to interpolate the missing slice. Finally, the interpolated slices were compared to the original removed slices. In conformity with the paradigm proposed by Grevera and Udupa three error measures were used: the mean difference (MD), the number of sites of disagreement (NSD) and the largest difference per slice (LDS) (see [6] for an exact definition). To compare two interpolation methods a measure called statistical relevance was used. This measure expresses the degree of importance of the observed difference between the methods, e.g. the statistical relevance between the linear MD and the optical flow based MD is given by:  +100 · (1 − M Df low /M Dlin ) , if M Dlin > M Df low . (4) = rfMD low/lin −100 · (1 − M Df low /M Dlin ) , otherwise

Interpolation of Temporal Image Sequences

259

Fig. 2. Top row: A sample slice estimated by linear (left) optical flow based (middle) and shape–based (right) interpolation. Bottom row: Corresponding difference image I int (x) − I orig (x) between the interpolated and original slice.

3

Results

In the first qualitative evaluation we interpolated 20 slices between the images of the phantom at varying time steps δt ∈ [0, 1]. The bottom row of fig. 1 gives a comprehensive sketch of the behavior of the different interpolation methods. Each row of the images show one line of the interpolated image for a given time step. Although the intensity constrain is violated the optical flow based method produced satisfactory results. In this case a compromise between intensity–based and shape–based interpolation was found. In a second evaluation five cardiac MRI datasets were used. Table 1 shows the statistical relevance of the error measures MD and NSD and the mean statistical relevance of LSD (averaged over the slices) to compare the interpolation methods. Positive values indicate that the optical flow based method performed better. The results in table 1 show that the optical flow based interpolation outperformed linear and shape–based interpolation in most cases significantly. In contrast to NSD and LDS only a slight improvement of the mean difference (MD) is indicated. Since a large part of the displayed structures doesn’t change over the cardiac cycle the mean difference is strongly influenced by noise. If the image structures change considerably between adjacent slices, the most noticeable improvements by our method were observed. In fig. 2 sample slices estimated by the three interpolation methods and corresponding difference images

260

J. Ehrhardt, D. S¨ aring and H. Handels

Table 1. Statistical relevance values of mean difference (MD), number of sites of disagreement (NSD) and largest difference per slice (LDS) to compare the optical flow based with linear and shape–based interpolation. Positive values indicate the optical flow method performed better. A dash in the table indicates that the difference between the two methods was not statistically significant (paired student’s t–test, p ≤ 0.05).

data set MRI MRI MRI MRI MRI

01 02 03 04 05

statistical flow/lin r M D r NSD r LDS 3.35 12.11 14.46 – 13.33 21.95 5.49 9.35 9.97 3.69 8.63 – – 3.07 7.12

relevance flow/shape r M D r NSD r LDS 3.4 19.91 20.72 1.47 24.65 26.3 3.05 8.19 16.07 2.84 9.18 17.68 3.02 14.24 12.75

were shown. The linear interpolated image appears blurred and large differences can be observed. The shape-based interpolation conserves edges of image structures but small details are lost. The optical flow based interpolation performs more accurately and only few differences are shown in the difference image.

4

Conclusion

The quantitative results show that the optical flow based method clearly outperforms the linear and shape–based interpolation. Furthermore, in our experiments the optical flow based method was computational less expensive than the shape– based interpolation. But our interpolation method relies on two assumptions: the intensity conservation assumption and that the algorithm described is capable to calculate the correct velocity field. Therefore, further evaluation is necessary to study the robustness of the algorithm.

References 1. Goshtasby A, Turner DA, Ackerman LV. Matching of tomographic slices for interpolation. IEEE Trans Med Imaging 1992;11(4):507–516. 2. Penney GP, Schnabel A, Rueckert D, Viergever MA. Registration–based interpolation. IEEE Trans Med Imaging 2004;23(7):922–926. 3. Horn BKP, Schunck BG. Determining optical flow. Artif Intell 1981;17(1-3):185– 203. 4. Press WH, Teukolsky SA, Vetterling WT, Flannery BP. Numerical recipes in C. Cambridge University Press; 1992. 5. Grevera GJ, Udupa JK. Shape–based interpolation of multidimensional grey–level images. IEEE Trans Med Imaging 1996;15(6):881–892. 6. Grevera GJ, Udupa JK. An objective comparison of 3–D image interpolation methods. IEEE Trans Med Imaging 1998;17(4):642–652.

GPU Accelerated Image Registration in Two and Three Dimensions A. K¨ ohn, J. Drexl, F. Ritter, M. K¨ onig and H.O. Peitgen MeVis - Center for Medical Diagnostic Systems and Visualization Universit¨ at Bremen

Abstract. Medical image registration tasks of large volume datasets, especially in the non-rigid case, often put a heavy burden on computing resources. GPUs are a promising new approach to address computational intensive image processing tasks. We investigate recently introduced GPU hardware features that accelerate 2D and 3D rigid and nonrigid registration tasks. Our implementation is entirely GPU based.

1

Introduction

Strzodka et al. [1] describe an implementation of a 2D non-rigid registration algorithm on a graphics processor (GPU) using DirectX 9 compatible hardware. They use the regularized gradient flow (RGF) algorithm originally introduced by Clarenz et al. [2]. RGF is a fast state-of-the-art registration algorithm set in the framework of variational calculus, regularization theory, and deterministic annealing (multiscale) optimization methods, similar to the ”velocity-based diffusion registration”of Fischer and Modersitzki [3]. We explore the extension of RGF to 3D on a GPU. Furthermore, we also provide 2D/3D rigid registration. In contrast to the work of Hastreiter and Soza [4] who used the trilinear interpolation capabilities of graphics hardware to accelerate the deformation of the moving volume but otherwise left the computation on the CPU, our implementation is entirely GPU-based. We provide performance benchmarks for our implementations and compare them to available CPU based implementations.

2

The Algorithms

Image registration is the problem of finding a coordinate transformation Φ to align a template image fT to a reference image fR , so that fR ≈ fT ◦ Φ. We focus on the sum-of-squares difference (SSD) metric: ' 1 E= [fR (x) − fT (Φ(x))]2 dx = min! (1)   2 Ω  =:e(x)

with Ω = [0; 1]d , d as the image dimension [2].

262

A. K¨ ohn et al.

Rigid Registration with the SSD criterion: Let Φ(x, p) be a coordinate transform parameterised by the vector p. The gradient descent algorithm to compute an optimal p∗ for (1) can be written as a differential equation: p˙ = −∇E,

p(0) = p0

with the gradient of E with respect to p given by: ' ∇E = −e(x)J T ∇fT (Φ(x, p))dx

(2)

(3)

Ω

and J as the Jacobian: Jij = ∂p∂ j Φi of the coordinate transform. For rigid registration, Φ is a linear rigid transformation (3D: three translations and three rotations). In our code we employ an explicit formula for the computation of the Jacobian, as we found that using finite difference approximations can lead to convergence problems. Nonlinear Registration via RGF: In this case we deal with a freeform deformation parameterised by a displacement field u(x): Φ(x) = x + u(x). The ”Gradient Flow”is the Gateaux-Derivative of E with respect to u: E  [u] = −e(x)∇fT (x + u(x)) The RGF algorithm consists in updating the smoothed gradient flow: u˙ = −B E  [u],

u(0) = u0

(4)

to find an optimal u∗ , with a d-dimensional linear smoothing operator B. The smoothing (i.e. regularization) is necessary to bring a certain amount of ”coherence”into the free-form deformation Φ. Time-Discretization and Annealing: The time discretization of the differential equations is done by using the explicit Euler rule [2]. The step size of the explicit Euler step is determined by employing the well-known Armijo rule [2]. A deterministic annealing strategy is used to avoid local minima. The strategy works on a Gaussian image pyramid of fR and fT , the pyramid scale plays the role of the annealing temperature [2]. Choosing the smoothing operator B in RGF: Following a suggestion of Clarenz [2], we regularize the gradient flow with a Gaussian filter instead of using a multigrid smoother [1]. The main advantage of a multigrid smoother is that more global deformations can get corrected. But this is also achieved by using a multiscale approach, which justifies the use of a simple filtering instead of the comparably expensive multigrid smoother. A similar approach can be found in [5].

GPU Accelerated Image Registration in Two and Three Dimensions

263

Table 1. comparison of voxel accumulation methods (256*256*128 fp16 texture with 1 channel) method A B C1 C2

3 3.1

memory 18 mb (16+2) 160 kb (128+32) 160 kb 160 kb

RT switches 255 1024 8 8

time GPU1 130.79 ms 52.16 ms 23.73 ms 18.14 ms

time GPU2 343.36 ms 42.6 ms 12.29 ms 9.84 ms

GPU Implementation Issues General Outline

The GPU Programming is done entirely in the OpenGL GPU language GLSL. We used a GeForce 6800 PCI-E 256MB(GPU1) and a GeForce 6800 GT AGP 256MB (GPU2) board for the benchmarks. Render to texture: A particular problem arises when attempting to implement image processing algorithms that employ iteration over images. To pass result images from one iteration step as the input to the next iteration step one employs a technique called ”render to texture”. We use the new Framebuffer Objects (part of the OpenGL 2.0 specification). In [1] so-called Pbuffers have been used for this purpose. According to benchmarkings done by us, Framebuffer objects are 10-20 times faster than Pbuffers. 3.2

Rigid Registration

Warping: For the rigid case, we use hardware accelerated image warping of the moving image fT (via the OpenGL texture matrix) with activated linear interpolation. Voxel accumulation in 3D: To compute spatial discretized versions of E or a component of the gradient vector ∇E, the GPU has to accumulate the voxels of a volume into a scalar value. We want to take maximal advantage of GPU parallelism and hardware acceleration in the 3D case. We have investigated three methods for this problem and compared them for the task of computing E. The basic idea of all methods is again a pyramidal scheme and employing the linear interpolation hardware of the GPU (Figure 1). Method C also exploits the blending capabilities of graphics hardware, which enable one to linear combine the already written pixel/voxel with the new computed one. Method C is further improved by sampling multiple slices in one pass (method C2). This saves rendering passes and utilizes the graphics pipeline more efficiently. See Table 1 for a comparison of the voxel accumulation methods. The results show that method C is the best choice. Comparing the results of the two GPUs, one can also observe that method C scales the best when using faster hardware.

264

A. K¨ ohn et al. Fig. 1. Voxel accumulation methods

Method A: 3D buffer

Method B: 2D buffer for each slice of the 3D texture:

successively average 8 neighbouring texels via linear interpolation until each dimension is reduced to 1 texel

successively average 4 neighbouring texels via linear interpolation until each dimension is reduced to 1 texel and do this for each slice

Method C: 2D buffer with blending

render all slices to a temporary 2D texture with blending switched on, then reduce texture to 1 texel as described above

Using Multiple Render Target (MRT): Since there is currently no support to render to a slice of a 3D texture, one has to use an expensive workaround by rendering to a 2D texture and copying the contents back to the 3D texture. One can avoid this for the rigid case by computing ∇E in one pass. But since dim(∇E) = 6, and a texture can only hold four components, we would have to compute ∇E in two passes, wasting computational resources. Instead, employing the MRT feature of current GPUs allows rendering to four textures in one pass. 3.3

Non-rigid Registration

The displacement field u is represented as a 2D respectively 3D texture in GPU memory, but on a coarser resolution than the images. Since the regularization removes higher spatial frequencies from the displacement field this results in virtually no loss of information regarding the Nyquist Theorem. The required upsampling during the transformation of the moving image fT is done by hardware using linear interpolation. Update of the displacement field is performed by an explicit Euler step in the differential equation (4). To implement this on the GPU, we again employ blending u := u + η u, ˙ with stepsize η determined by Armijo’s rule. To evaluate the metric, we use the same approach as described above for the rigid case.

4

Results

We presented some methods to significantly improve performance for rigid and non-rigid registration algorithms using state-of-the-art graphics hardware. Table 2 shows some results. Please note that the GPU timings for the 3D non-rigid case contains expensive copy operations, hence we provided estimated timings without taking them into account (in brackets). We compared our approach with a simplex (Nelder-Mead) based and a steepest descent based algorithm for the rigid case. The later uses finite differences to calculate the gradient. We provided

GPU Accelerated Image Registration in Two and Three Dimensions

265

Table 2. Results of our registration implementations rigid 2D resolution 256*256 iterations 77 GPU time 105 ms t/iter 1.36 ms iterations 47 / 58 CPU time 656 ms / 6.1 s t/iter 14 ms / 105 ms CPU: Pentium 4 3.4 GHz 2GB

3D 256*256*128 76 5.24 s 69 ms 219 / 36 180 s / 260 s 822 ms / 7.2 s RAM - GPU: GeForce

non-rigid 2D 3D 256*256 256*256*128 67 16 200 ms 62.5 s (9.2 s) 2.98 ms 3.9 s (575 ms) 42 4.21 s 100 ms 6800 PCI-E 256MB

both timings; the first belongs to the simplex based registration. We only had CPU code for the 2D non-rigid case.

5

Discussion

GPU based image registration achieves a significant speedup for the 2D case and the 3D rigid case. For 2D rigid we obtained a speed advantage of factor 10 for the GPU per iteration, and a speed advantage of factor 12 for 3D rigid. This allows us to register a 256x256x128 voxels volume in approx. 5 seconds. Our 3D non-rigid registration however is not as fast as one would expect. The reason for this is a memory copy bottleneck: Current NVIDIA and ATI drivers don’t support rendering to a slice of a 3D volume so we have to render to a 2D texture and copy the results back to the 3D texture. This amounts to 80%-90% of the total computation time. Therefore, a huge speedup can be expected with the introduction of future drivers that support the render-to-3D-slice interface. Acknowledgments. We’d like to thank Dr. Robert Strzodka (Stanford University, Computer Science) for sharing his ideas with us, and Tobias B¨ ohler (MeVis) for the 2D RGF CPU code.

References 1. Strzodka R, Droske M, Rumpf M. Image Registration by a Regularized Gradient Flow - A Streaming Implementation in DX9 Graphics Hardware. Computing 2004. 2. Clarenz U, Droske M, Rumpf M. Towards fast non-rigid registration in Inverse Problems, Image Analysis and Medical Imaging. AMS Special Session Interaction of Inverse Problems and Image Analysis 2002;313:67–84. 3. Modersitzki J. Diffusion registration. Oxford University press; 2005. p. 153. 4. Soza G, Bauer M, Hastreiter P, Nimsky Ch, Greiner G. Non-Rigid Registration with Use of Hardware-Based 3D B´ezier Functions. MICCAI 2002;p. 549–556. 5. Stefanescu R, Pennec X, Ayache N. Grid-enabled non-rigid registration of medical images. Parallel Processing Letters 2004;14:197–216.

Hardwaregestu ¨tztes Stippling von medizinischen Oberfl¨ achenmodellen Alexandra Baer, Christian Tietjen, Martin Spindler und Bernhard Preim Institut f¨ ur Simulation und Graphik Otto-von-Guericke Universit¨ at Magdeburg, 39106 Magdeburg Email: [email protected]

Zusammenfassung. In dieser Arbeit wird ein texturbasiertes Verfahren zur hardwaregest¨ utzten Stippling-Darstellung vorgestellt, welches auf beliebige medizinische Oberfl¨ achen angewendet werden kann. Unter Verwendung von Shadern werden Stippling-Texturen auf die Oberfl¨ achen aufgebracht und eine echtzeitf¨ ahige 3D-Visualisierung generiert. Ferner erm¨ oglicht das Verfahren eine Stippling-Darstellung der Oberfl¨ achen ohne notwendige Vorverarbeitungsschritte und unabh¨ angig von der Komplexit¨ at des Objektgitters. Die Anforderungen an traditionelle Stippling-Illustrationen sowie an interaktive NPR-Darstellungen, wie Frame-Koh¨ arenz und Skalierbarkeit, wurden ber¨ ucksichtigt und in der Umsetzung integriert.

1

Einleitung

In der computergest¨ utzten medizinischen Ausbildung und Therapieplanung ist es oft wichtig, interessante und relevante anatomische Strukturen in ihrem Kontext u ur oft ¨ bersichtlich darzustellen. In anatomischen Atlanten werden hierf¨ illustrative Darstellungen anstelle von Photographien verwendet, da derartige simplifizierte Illustrationen eine schnelle Informationsverarbeitung erm¨oglichen. Bevorzugt werden Techniken wie Silhouetten, Schraffur oder Stippling eingesetzt. Stippling ist eine Punktiertechnik, bei der die Helligkeit und die Form der Objekte durch die lokale Punktdichte auf der Struktur realisiert werden. Diese Illustrationstechnik eignet sich hervorragend, um Kontextstrukturen unauff¨allig darzustellen und zugleich die Form der Struktur zu verdeutlichen. Stippling ist f¨ ur Organoberfl¨ achen einsetzbar, welche keine spezifische Kr¨ ummung oder Richtung aufweisen. In dieser Arbeit werden Oberfl¨achen genutzt, die aus Segmentierungsergebnissen von CT- oder MRT-Daten abgeleitet sind. Die gewonnenen Oberfl¨ achenmodelle durchlaufen einen mehrstufigen Prozess und werden aus dem Originalobjekt mittels Segmentierung, Oberfl¨ achengenerierung und -gl¨attung gewonnen [1].

2

Verwandte Arbeiten

In der Vorarbeit [2] wird eine Klassifizierung von Strukturen bzw. Objekten in Fokus-, fokusnahe und Kontextobjekte eingef¨ uhrt, um auf dieser Basis Darstellungsattribute zu definieren und zuzuweisen. [2] beschreiben eine Kombination

Hardwaregest¨ utztes Stippling von medizinischen Oberfl¨ achenmodellen

267

von Silhouetten mit Oberfl¨ achen und Verfahren zur Volumenvisualisierung, wobei die Integration von Stippling als eine zus¨ atzliche Darstellungstechnik vorgestellt wird. In der Computergrafik existieren verschiedene Ans¨atze, die eine Visualisierung der Daten u oglichen. F¨ ur eine interaktive Echtzeit¨ ber Stippling erm¨ Visualisierung m¨ ussen einerseits spezielle Anforderungen an die Skalierbarkeit der Punkt-Primitive auf der Objektoberfl¨ ache sowie an die Frame-Koh¨arenz erf¨ ullt sein und andererseits wesentliche Merkmale einer Stippling-Illustration integriert werden. Die hierf¨ ur geeigneten Methoden k¨onnen in objekt-, volumenund texturbasierte Ans¨ atze unterteilt werden. [3] entwickelten ein direktes Volumen-Rendering-Verfahren, mit dem medizinische Volumendaten u ¨ ber Stippling dargestellt werden. [4] ist ein objektbasiertes Verfahren, um eine Animation statischer Oberfl¨ achenmodelle zu erm¨ oglichen. Beide Verfahren erzeugen in einem Vorverarbeitungsschritt eine maximale Anzahl von Punkten. Wird zu nah an die Struktur herangezoomt, reicht die Anzahl der vordefinierten Punkte nicht mehr aus, um die Struktur angemessen darstellen zu k¨onnen. Bisherige Ans¨atze haben eine hohe Vorverarbeitungszeit, sind nicht beliebig skalierbar oder frame-koh¨ arent und k¨ onnen nicht problemlos mit anderen Verfahren kombiniert werden. Texturbasiertes Stippling ist sehr effizient, erfordert allerdings eine verzerrungsfreie Texturabbildung. Wenn keine Texturkoordinaten f¨ ur die Modelle festgelegt sind, wird die Textur u urfel) auf ¨ ber eine Zwischengeometrie (Zylinder, W¨ das eigentliche Modell projiziert. Von der Grafik-Hardware wird bestenfalls das Cube-Mapping unterst¨ utzt, welches einen umliegenden texturierten W¨ urfel auf das Objekt abbildet. Das Polycube-Verfahren [5] erm¨oglicht f¨ ur komplexe Objekte eine Texturabbildung mit geringer Verzerrung. Hierbei muss in einem Vorverarbeitungsschritt das Objekt in eine W¨ urfelhierarchie unterteilt werden. F¨ ur texturbasierte Techniken wurden die Tonal-Art-Maps (TAM) eingef¨ uhrt [6]. TAMs sind Texturen, die Koh¨ arenz zwischen verschiedenen Helligkeits- und Aufl¨osungsstufen besitzen und somit Frame-Koh¨ arenz und Skalierbarkeit gew¨ahrleisten. Die Texturkoordinaten m¨ ussen dazu vorab festgelegt werden.

3

Methode

Die ben¨ otigten Oberfl¨ achen werden mittels Marching Cubes aus bin¨aren Segmentierungsmasken erstellt. F¨ ur den Einsatz von illustrativen Techniken ist in der Regel noch eine Gl¨ attung der Oberfl¨ achen n¨otig, um m¨ogliche resultierende Artefakte wie Ausfransungen bzw. Treppenstufen nicht unvermeidlich zu betonen. Die Auswahl und Parametrisierung der Gl¨attungsverfahren h¨angt dabei von der Art der anatomischen Struktur z.B. Organ oder Muskel ab [1]. Die gewonnenen Dreiecksnetze k¨ onnen dann von der Grafik-Hardware beschleunigt texturiert werden. Die Texturabbildung erfolgt im Fragment Shader und setzt sich aus dem Cube Mapping und dem Polycube-Ansatz zusammen, um m¨ogliche Texturverzerrungen zu minimieren.

268

A. Baer et al.

Abb. 1. Eine Darstellung des Herzens, wobei die Oberfl¨ ache ausschließlich durch Punkte repr¨ asentiert wird, sowie eine Detailansicht nach Heranzoomen eines bestimmten Objektbereiches.

Da nur Stippling-Punkte dargestellt werden sollen, lassen sich diese Verfahren stark vereinfachen. Zum einen entfallen zeitintensive Operationen zur Generierung eines objektspezifischen Polycubes, da der Objektraum als eine Unterteilung in Einheitsw¨ urfel betrachtet wird und somit keine Umformungen des Objektes notwendig sind. Zum anderen ist eine Textur f¨ ur alle Seiten an Stelle von sechs Texturen beim Cube Mapping ausreichend. Aufgrund der verwendeten Stippling-Textur sind alle Berechnungen f¨ ur die Texturabbildung anhand eines Referenzw¨ urfels durchf¨ uhrbar. Die Koordinaten der Eckpunkte werden mittels Modulo-Operation in diesen W¨ urfel abgebildet. F¨ ur einen Oberfl¨ achenpunkt wird zun¨ achst durch die Beleuchtungsberechnung der Grauwert ermittelt und somit die zu verwendende Textur bestimmt. Der Schnittpunkt der Normalen mit der W¨ urfelseite definiert das korrespondierende Texel. Stauchungen und Streckungen der Textur auf dem Objekt k¨onnen mit der Unterteilung in mehrere W¨ urfel sowie durch die Betrachtung des NormalenVektors f¨ ur die Bestimmung der W¨ urfelseite minimiert werden. Es wird eine Ann¨ aherung an eine fl¨ achentreue und konforme Abbildung erreicht. Der W¨ urfel muss geeignet skaliert werden. Wird er zu klein, wird die Textur zu einer grauen Fl¨ ache interpoliert. Wird der W¨ urfel zu groß, kann die Textur nicht mehr verzerrungsfrei abgebildet werden. Außerdem w¨ urde bei einem sehr hohen Zoomfaktor die Punktdichte der Textur sehr gering ausfallen. Deswegen wird das MIP-Mapping u urfelgr¨oße realisiert. Die ¨ber eine variierende W¨ Kantenl¨ ange eines W¨ urfels entspricht immer einer Zweierpotenz (die kleinste W¨ urfell¨ ange ist 1). Wenn nah an das Objekt herangezoomt wird, erfolgt eine Un¨ terteilung des Objektes in mehr W¨ urfel (siehe Abb. 1). Zur Uberblendung auf die h¨ohere W¨ urfelhierarchie wird das TAM-Konzept genutzt. Die Punktverteilung

Hardwaregest¨ utztes Stippling von medizinischen Oberfl¨ achenmodellen

269

Abb. 2. Kombination verschiedener Illustrationstechniken zur Darstellung von Kontextobjekten und fokusnahen Strukturen (Leber mit intrahepatischen Strukturen).

auf der Textur ist selbst¨ ahnlich aufgebaut, so dass die dunklen Punkte bei halber Kantenl¨ ange in der großen Texturabbildung enthalten sind. Die gleichm¨aßige Verteilung der Punkte wurde mit dem Poisson-Disk-Verfahren umgesetzt [7].

4

Ergebnisse

Es wurden verschiedene medizinische Modelle (Gehirn, Herz, Leber, Niere etc.) visualisiert und die Geschwindigkeit ihrer Darstellung in Frames per Second (fps) gemessen (siehe Abb. 1 und 2). Zus¨ atzlich wurde ein Stanford Bunny (kein medizinisches Objekt) gew¨ ahlt, um einen Vergleich zu in anderen Ver¨offentlichungen vorgestellten Verfahren zu erm¨ oglichen. Alle Werte wurden auf einer Nvidia GeForce 6600 GT PCI Express Grafikkarte gemessen. Die Auswertung hat gezeigt, dass mit Verwendung der Shader die Darstellungsgeschwindigkeit bei dem Stanford Bunny 63 fps betr¨ agt, unabh¨ angig von der Menge der StipplingPunkte auf dem Objekt. Der objektbasierte Ansatz [4] erreicht bei diesem Objekt 56 fps mit einer Nvidia GeForce 4 Grafikkarte und 120.000 generierten Punkten. Außerdem ben¨ otigt er eine aufw¨ andige Vorverarbeitung von 2:31min. Mit unserem Ansatz kann eine Stippling-Darstellung unabh¨angig von der Menge der darzustellenden Punkte erfolgen. Die Anzahl der Punkte wird f¨ ur die Textur festgelegt und wirkt sich demzufolge nicht nachteilig auf die Darstellungsgeschwindigkeit aus. Alle auszuf¨ uhrenden Berechnungen werden direkt auf der Grafikkarte und ohne vorherige Vorverarbeitung des Geometriemodells ausgef¨ uhrt. Das Verfahren ist einfach, aber sehr effektiv. Die Vorteile liegen u.a. darin, dass keine Parametrisierung notwendig ist. Die Dichte, Gr¨oße und Farbe

270

A. Baer et al.

der Punkte sind vom Benutzter beliebig einstellbar. Die Darstellung ist framekoh¨arent und kann beliebig skaliert werden. Eine Verzerrung der StipplingPunkte durch die Texturabbildung ist nicht wahrnehmbar. Das Verfahren l¨asst sich problemlos in die Rendering-Pipeline [2] integrieren, so dass noch anspruchsvollere Visualisierungen generiert werden k¨ onnen. Abb. 2 zeigt eine Komposition verschiedener Techniken. Strukturen, die Kontextinformationen liefern, werden hier mittels Stippling und Silhouetten abgebildet. Fokusnahe Objekte hingegen werden u ¨ ber Transparenz, Farbe oder wie in Abb. 2 u ¨ ber verschiedene Graustufen hervorgehoben.

5

Diskussion

Einsatzm¨ oglichkeiten dieser Technik liegen in der medizinischen Ausbildung und Therapieplanung. Kombiniert mit [2] ist diese Technik eine Erweiterung der Darstellungsm¨ oglichkeiten von gr¨ oßeren Kontextobjekten. In Bezug auf die Therapieplanung muss eine Evaluierung durchgef¨ uhrt werden, um festzustellen, ob mit dieser Technik eine schnellere Wahrnehmung der dargestellten Informationen gegeben ist. F¨ ur die wichtigen anatomischen Strukturen m¨ ussen Punktdichte und Punktgr¨ oße ebenfalls noch ermittelt werden. Danksagung. Diese Arbeit ist Teil des von der DFG gef¨orderten Schwerpunktprogramms Medical Navigation and Robotics“ (1124, PR 660/3-1). ”

Literaturverzeichnis 1. Bade R, Haase J, Preim B. Grundlegende Algorithmen und Strategien zur Gl¨ attung medizinischer Oberfl¨ achenmodelle. In: SimVis 2006; 2005. . 2. Tietjen C, Isenberg T, Preim B. Combining Silhouettes, Surface,and Volume Rendering for Surgery Education and Planning. In: IEEE/Eurographics Symposium on Visualization (EuroVis); 2005. p. 303–310. 3. Lu A, Morris CJ, Ebert DS, et al. Non-Photorealistic Volume Rendering using Stippling Techniques. In: VIS ’02. Washington, DC, USA: IEEE Computer Society; 2002. p. 211–218. 4. Meruvia-Pastor OE, Freudenberg B, Strothotte T. Real-Time Animated Stippling. IEEE Computer Graphics and Applications 2003;23(4):62–68. 5. Tarini M, Hormann K, Cignoni P, et al. PolyCube-Maps. ACM Transactions on Graphics 2004;23(3):853–860. 6. Praun E, Hoppe H, Webb M, et al. Real-Time Hatching. In: Fiume Eugene, editor. SIGGRAPH ’01; 2001. p. 579–584. 7. McCool M, Fiume E. Hierarchical Poisson Disk Sampling Distributions. In: Proceedings of the conference on Graphics Interface ’92. San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.; 1992. p. 94–105.

Streamline Visualization of Diffusion Tensor Data Based on Triangle Strips Dorit Merhof1,2 , Markus Sonntag1,2 , Frank Enders1,2 , Christopher Nimsky2,3 , Peter Hastreiter1,2 and G¨ unther Greiner1 1

2

Computer Graphics Group, University of Erlangen-Nuremberg, Germany Neurocenter, Dept. of Neurosurgery, University of Erlangen-Nuremberg, Germany 3 Dept. of Neurosurgery, University of Erlangen-Nuremberg, Germany Email: [email protected]

Abstract. For the visualization of diffusion tensor imaging data, different approaches have been presented such as scalar metrics, glyphs or streamlines. Thereby, streamline techniques commonly referred to as fiber tracking provide a comprehensive and intuitive representation. For this reason, they are preferably applied for preoperative planning. The visualization of streamlines is solved by rendering lines or tubes to achieve even more significant results. However, the number of streamlines for a tracking of the whole brain or very dense tract systems may be immense, making a mesh-based tube visualization inefficient. To overcome this problem, we developed an alternative visualization technique for tubes by using textured triangle strips.

1

Introduction

Diffusion tensor imaging (DTI) is a magnetic resonance acquisition technique which has emerged in recent years providing valuable information about the location of white matter tracts within the human brain in vivo. DTI measures diffusion of water which is anisotropic in tissue with high degree of directional organization such as white matter. Thereby, information about the location of neuronal fibers is provided which is of great interest for neurosurgery. The reconstruction of white matter tracts from DTI data is commonly solved by tracking algorithms which utilize streamline techniques known from flow visualization. This visualization strategy provides an intuitive understanding of the spatial relation between fibers and space occupying lesions and is therefore a valuable supplement for neurosurgical planning [1, 2]. Almost all approaches presented in the context of fiber tracking focus on strategies to increase the precision of the computed streamlines. Thereby, filter approaches [3] have been presented as well as alternative streamline propagation techniques [4]. Recent approaches consider wavefront evolution techniques [5] as well as accurate treatment of crossing and branching fibers [6]. However, for the appropriate visualization of the derived fibers, only standard techniques such as lines or tubes are used in most cases.

272

D. Merhof et al.

Currently, most tools for DTI processing use lines or tubes to render fibers. However, utilizing simple line rendering has several disadvantages. In case of curved fibers, lines wider than one pixel suffer from gaps between neighboring segments. Furthermore, a constant width independent of the distance to the camera restricts the quality of visualization. Tubes on the other hand enable a significantly improved visualization, but rendering becomes much more time consuming due to the high geometric complexity restricting their interactive application. To overcome these limitations, we propose an alternative visualization technique using textured triangle strips which are reoriented depending on the viewing direction. Thereby, a visualization very similar to tubes is obtained but with a significantly reduced number of triangles enabling interactive rendering.

2

Material

All datasets used in this work were measured using a Siemens MR Magnetom Sonata Maestro Class 1.5 Tesla scanner. The specifications of the gradient system were a field strength of up to 40 mT/m (effective 69 mT/m) and a slew rate of up to 200 T/m/s (effective 346 T/m/s) for clinical application. DTI datasets were acquired using a field of view of 240 mm resulting in a voxel size of 1.875×1.875×1.9 mm3 . For each of the six diffusion weighted datasets (gradient directions (±1,1,0), (±1,0,1) and (0,1,±1)) and the reference dataset, sixty slices with no intersection gap and an acquisition matrix of 128×128 pixels were measured.

3

Methods

In a first step, fibers were computed using a fiber tracking approach incorporating trilinear tensor interpolation and fourth order Runge-Kutta integration. Fractional anisotropy was used as termination threshold for tracking. Optionally, oriented filters [3] were applied for noise reduction. Subsequently, triangle strips were reconstructed by creating two triangles for each fiber segment. Thereby, a pair of triangle vertices Pi ±1/2 · di was generated from the original streamline vertex Pi using a displacement vector di resulting from the cross product of viewing direction vi and streamline tangent ti . The displacement vector was normalized and scaled to obtain a user-defined width of the triangle strip: di = cwidth ·

vi × ti . vi × ti 

Regarding coloring of the triangle strips, a primary color was determined according to the standard color scheme commonly used in DTI visualizations [7]. Thereby, the normalized principal eigenvector components of the local trilinearly interpolated tensor were used as RGB values. To provide a 3D tube effect, texturing of the triangles became darker when approaching the boarder of the

Streamline Visualization of Diffusion Tensor Data Based on Triangle Strips

273

Fig. 1. Comparison of standard fiber rendering using lines (left) or tubes modeled with a triangle mesh (middle) and an alternative triangle-strip based tube representation (right).

triangle strip. This was achieved by using a 1D texture with a luminance and an alpha channel. The luminance channel of the texture was used to store the ambient illumination, the alpha channel stored the specular term. A sine function was used to darken the texture when approaching the border to obtain the visual effect of an illuminated tube. In case of the alpha channel, the result of the sine function was raised to a power of 16 to generate specular highlights. To obtain a realistic representation at the end of each fiber, tapering was used. Thereby, two further triangles were generated for each end of the fiber to terminate the streamline. Tapering provides a more tube-like representation at the end of each fiber where otherwise the flat geometry would become apparent.

4

Results and Discussion

In comparison to lines, tubes provide a much better 3D representation of streamlines. Rendering of lines results in gaps between neighboring segments if the lines are wider than one pixel. More severely, lines have a constant width independent of the distance to the camera which highly restricts the quality of visualization. Tubes on the other hand enable a significantly improved visualization, but rendering becomes much more time consuming due to the high geometric complexity. Triangle strips provide a good trade-off between visual quality and interactive application. A comparison between rendered lines, geometry tubes and triangle strips simulating tubes is presented in Figure 1. The approach was evaluated for whole brain trackings in brain tumor patients as well as healthy volunteers based on a data basis consisting of 28 datasets. Depending on the density of seed points and the tracking threshold, a tracking of the whole brain comprised about 1 000 up to 10 000 fibers. The average number of points for each fiber was in the range of 150. According to our expectations, rendering of tubes was by far slower than our novel technique due to a much higher number of triangles (Table 1). In our approach, two triangles are needed for each fiber segment. Contrary to that the geometric representation of a tube

274

D. Merhof et al.

Table 1. Frame rates in fps (frames per second) depending on the visualization technique (lines, tubes or triangle strips) and illumination for different graphics card storage options. VBOs Lines (no illumination) 242.5 fps Lines (illuminated) 153.3 fps Tubes (no illumination) 10.0 fps Tubes (illuminated) 10.0 fps Triangle Strips Tapering (no illumination) 80.9 fps Triangle Strips Tapering (illuminated) 61.9 fps Triangle Strips (no illumination) 85.3 fps Triangle Strips (illuminated) 65.4 fps

VAs 135.4 fps 135.1 fps 9.9 fps 9.9 fps 39.7 fps 39.7 fps 42.2 fps 42.2 fps

DLs 219.9 fps 153.1 fps 8.9 fps 8.9 fps 81.2 fps 61.8 fps 85.6 fps 65.1 fps

45.3 45.2 2.7 2.7 14.6 14.6 16.6 16.6

IM fps fps fps fps fps fps fps fps

segment requires at least 12 or more triangles to obtain a sufficient rendering result. In comparison to the rendering of lines, our approach achieved lower frame rates but the visualization was considerably improved. The performance measurements were obtained for a rendering viewport of 600×800 pixels on a NVidia Geforce 6800 graphics card with 256 MB graphics memory. A tracking of the whole brain consisting of approximately 300 000 vertices was generated and used for the measurements. Table 1 shows the measurement results for lines, geometry-based tubes with 12 triangles per segment and triangle strips. In case of tubes, 3.6 million triangles were rendered. In case of triangle strips 0.6 million triangles were necessary. Variations of the frame rate also originate from implementation aspects depending on whether Vertex Buffer Objects (VBOs), Vertex Arrays (VAs), Display Lists (DLs) or Immediate Mode (IM) were applied. With respect to clinical application, tube representations enable a better inspection of the data (Figure 2) and consequently an improved diagnosis. In the context of practical use, interactivity of the rendering procedure is of major concern since clinical acceptance is directly related to usability and interactive manipulation. The presented approach provides the physician with interactive high quality tube renderings of tracked fibers.

5

Conclusion

We presented a novel method for the visualization of fiber tracts derived from DTI data using textured triangle strips which is an alternative visualization strategy for tubes. This approach overcomes the disadvantages of both line and geometry-based tube representation. It is more efficient in terms of rendering times compared to tubes which is of particular importance if a large number of streamlines has to be visualized. In comparison to lines, the tube visualization provided by triangle strips is much better. Overall, the presented technique clearly improves the visualization compared to line representations and circumvents high rendering times encountered with tubes. For medical application, this

Streamline Visualization of Diffusion Tensor Data Based on Triangle Strips

275

Fig. 2. Comparison of line rendering (left) and triangle-strip based tube representation (right) in a 68-year old male patient with an astrocytom (WHO grade III) adjacent to the pyramidal tract.

is of high value since an interactive visualization is provided showing tube-like, high quality fibers. Acknowledgments: This work was supported by the Deutsche Forschungsgemeinschaft in the context of SFB 603, Project C9 and the Graduate Research Center “3D Image Analysis and Synthesis”.

References 1. Clark CA, Barrick TR, Murphy MM, Bell BA. White matter fiber tracking in patients with space-occupying lesions of the brain: a new technique for neurosurgical planning? Neuroimage 2003;20(3):1601–1608. 2. Nimsky C, Ganslandt O, Hastreiter P, Wang R, Benner T, Sorensen AG, et al. Intraoperative diffusion-tensor MR imaging: shifting of white matter tracts during neurosurgical procedures - initial experience. Radiology 2005;234(1):218–225. 3. Zhukov L, Barr A. Oriented Tensor Reconstruction: Tracing Neural Pathways from Diffusion Tensor MRI. In: Proc. IEEE Visualization; 2002. 4. Lazar M, Weinstein DM, Tsuruda JS, Hasan KM, Arfanakis K, Meyerand ME, et al. White Matter Tractography Using Diffusion Tensor Deflection. Human Brain Mapping 2003;18(4):306–321. 5. Jackowski M, Kao CY, Qiu M, Constable RT, Staib LH. White matter tractography by anisotropic wavefront evolution and diffusion tensor imaging. Medical Image Analysis 2005;9:427–440. 6. Vilanova A, Berenschot G, van Pul C. DTI Visualization with Streamsurfaces and Evenly-Spaced Volume Seeding. In: Proc. Joint EG/IEEE TCVG VisSym; 2004. p. 173–182. 7. Pajevic S, Pierpaoli C. Color schemes to represent the orientation of anisotropic tissues from diffusion tensor data: Application to white matter fiber tract mapping in the human brain. Magnetic Resonance in Medicine 1999;42(3):526–540.

Repr¨ asentation und Visualisierung von 3D-Formvarianten von Organen fu ¨r die medizinische Ausbildung Silke Hacker und Heinz Handels Institut f¨ ur Medizinische Informatik, Universit¨ atsklinikum Hamburg-Eppendorf, 20246 Hamburg Email: [email protected]

Zusammenfassung. Da einerseits omputerbasierte anatomische Atlanten in der Regel von einem Individuum abgeleitet sind, andererseits die morphologische Variabilit¨ at in vielen medizinischen Fragestellungen eine wichtige Rolle spielt, verfolgen wir das Ziel, einen Atlas zu entwickeln, der die Formvariabilit¨ at von ausgew¨ ahlten anatomischen Strukturen repr¨ asentieren kann. Die Grundlage f¨ ur dieses Projekt bildet der VOXELMAN-Atlas der inneren Organe. F¨ ur die Modellierung der anatomischen Formen verwenden wir die M-rep-Repr¨ asentation, die eine kompakte Beschreibung von anatomischen Objekten auf der Basis ihrer Mittelachsen bietet. Als Beispielobjekte haben wir ein Kollektiv von Nieren zur Beschreibung von inter-individueller Variabilit¨ at und die Lunge zur Beschreibung von dynamischen Organverformungen gew¨ ahlt. Durch die Integration einer Formbeschreibung in den VOXEL-MAN-Atlas ist es nun m¨ oglich Formvarianten eines Organs, z.B. durch Angabe von Alter oder Geschlecht, abzufragen oder sich die mittlere Form eines Kollektivs anzeigen zu lassen. Neben einer Oberfl¨ achendarstellung ist auch eine Volumendarstellung der Formvarianten m¨ oglich, die sich aus der Verformung des jeweiligen Referenzorganes nach Maßgabe der Formbeschreibung ergibt.

1

Einleitung

Dreidimensionale anatomische Atlanten stellen in der medizinischen Ausbildung eine sinnvolle Erg¨ anzung zu den klassischen Anatomieatlanten in gedruckter Form dar. Gegen¨ uber der statischen Darstellung in B¨ uchern erm¨oglichen sie ein interaktives Erlernen der menschlichen Anatomie und machen r¨aumliche Zusammenh¨ ange f¨ ur den Studierenden anschaulicher und begreifbarer. Trotz der hohen Qualit¨ at, die computerbasierte anatomische Atlanten inzwischen erreicht haben, ist ihr Nutzen dadurch eingeschr¨ ankt, dass die Daten, auf denen die Atlanten basieren, in der Regel von einem einzigen oder einigen wenigen Individuen stammen. Sie sind daher nicht repr¨ asentativ f¨ ur die menschliche Anatomie im Allgemeinen. Anatomische Strukturen weisen jedoch zum Teil betr¨achtliche Unterschiede bez¨ uglich ihrer Gr¨ oße und Form auf – zum einen aufgrund nat¨ urlicher

Repr¨ asentation und Visualisierung von 3D-Formvarianten von Organen

277

Variabilit¨ at und zum anderen in Abh¨ angigkeit von Faktoren wie z.B. Alter, Geschlecht oder Krankheit. Da die Darstellung von Variabilit¨at f¨ ur viele medizinische Fragestellungen von großer Bedeutung ist, wird ein K¨orpermodell entwickelt, das die Formvariabilit¨ at von ausgew¨ ahlten anatomischen Strukturen in geeigneter Weise repr¨ asentieren kann. Die Kenntnis der Variabilit¨ at in der Anatomie wurde bisher in der medizinschen Ausbildung fast ausschließlich in aufz¨ ahlender Art und Weise vermittelt, z.B. in Form von Bilder- oder Pr¨ aparatesammlungen. Die Integration von Variabilit¨ at in einen anatomischen Atlas ist ein komplexes Problem, das noch nicht allgemeing¨ ultig gel¨ ost wurde. Die gr¨ oßten Erfolge wurden bisher bei populationsbasierten Atlanten des Gehirns erzielt [1]. Hierbei handelt es sich meist um deformationsbasierte Atlanten, bei denen eine Referenzanatomie elastisch auf individuelle Anatomien verformt wird und die Abweichungen dann durch Deformationsfelder beschrieben werden. Diese k¨ onnen durch farbcodierte Visualisierungen dargestellt werden. F¨ ur Atlanten, die beispielsweise die inneren Organe darstellen, erscheint ein solcher Ansatz jedoch weniger geeignet, da sich nicht nur die Form von Organen, sondern auch ihre unterschiedliche Lage und Ausrichtung in den Deformationsfeldern widerspiegelt, wodurch ihre Interpretation erschwert wird. Eine Alternative ist hier die Beschreibung von anatomischen Strukturen mit Formmodellen, wie z.B. Punktwolkenmodelle, skelettbasierte Modelle oder Fourier Surfaces. Ein solcher organbezogener Ansatz erm¨oglicht eine Charakterisierung von Organformen unabh¨ angig von ihrer Position und insbesondere auch eine Berechnung von mittleren Organformen in einem Kollektiv.

2

Methoden

Den Ausgangspunkt dieses Projektes bildet der an unserem Institut entwickelte VOXEL-MAN-Atlas der inneren Organe [2], der auf den Datens¨atzen des Visible-Human-Projektes [3] beruht. F¨ ur die Modellierung der Formvarianten der Organe und deren Variabilit¨ at haben wir ,,M-reps“ (,,medial representation“) verwendet, die eine spezielle Variante der skelettbasierten Modelle darstellen [4]. Bei den M-reps werden die Mittelachsen durch diskrete Punkte (,,mediale Atome“) beschrieben. Diese werden durch einen Parametervektor repr¨asentiert, der lokale Forminformationen beinhaltet (Position, Objektradius, Orientierung, Objektwinkel). Auf diese Weise wird eine sehr kompakte Beschreibung von Objekten erreicht (Abb. 1). Eine M-rep-Figur setzt sich aus einem Gitter oder einer Kette solcher medialen Atome zusammen. Um Formvarianten eines Objektes miteinander in Bezug bringen zu k¨ onnen, ist es erforderlich eine geometrische Korrespondenz zwischen den Formmodellen zu definieren. Bei den Mreps geschieht dieses auf der Grundlage eines figurenbezogenen Koordinatensystems, das auf dem medialen Gitter basiert. F¨ ur eine statistische Beschreibung der Formvarianten eines Kollektivs wird eine erweiterte Form der klassischen Hauptkomponentenanalyse, die so genannte ,,Principal Geodesic Analysis“ verwendet. Diese Methode wurde von Fletcher et

278

S. Hacker und H. Handels

Abb. 1. Ein M-rep-Modell einer Niere. Links: Struktur des M-rep-Gitters mit 3 x 5 medialen Atomen. Rechts: Zugeh¨ orige Oberfl¨ achendarstellung.

al. [5] speziell f¨ ur die Anwendung von M-rep-Parametern entwickelt, welche u.a. Winkel beinhalten. Als Beispielobjekt f¨ ur die Entwicklung der Methodik zur Integration von Formmodellen in den VOXEL-MAN-Atlas haben wir ein M-rep-Modell der linken Niere verwendet, welches auf der Basis von CT-Datens¨atzen erstellt wurde und uns f¨ ur 48 Formauspr¨ agungen verschiedener Individuen zur Verf¨ ugung stand. F¨ ur die Verkn¨ upfung des Nierenmodells mit dem Volumenmodell haben wir auch ein M-rep-Modell der Visible-Human-Niere erstellt, welches als Referenz dient und die gleiche mediale Struktur aufweist wie die u ¨ brigen Nierenmodelle, so dass eine geometrische Korrespondenz zwischen den M-rep-Modellen hergestellt werden kann. Um neben einer oberfl¨ achenbasierten Darstellung der Formvarianten auch eine volumenbasierte Darstellung zu erm¨oglichen, wurde auf der Basis der M-rep-Koordinaten ein Verfahren entwickelt, das die Verformung von Organen aus dem Volumenmodell nach Maßgabe der M-rep-Formbeschreibung erm¨ oglicht. Als Beispiel f¨ ur die Darstellung von Organverformungen aufgrund von dynamischen Prozessen haben wir auf der Basis von 4D-CT-Datens¨atzen des Atemzyklus Mrep-Modelle des linken und rechten Lungenfl¨ ugels erstellt [6]. Als Grundlage haben wir Datens¨ atze von vier Lungentumorpatienten verwendet und die M-rep-Modelle an 10 bzw. 11 Zeitpunkte des Atemzyklus angepasst. Abbildung 2 zeigt das M-rep-Modell des linken Lungenfl¨ ugels eines dieser Patienten. Es besteht aus 6 x 7 medialen Atomen.

3

Ergebnisse

Durch die Integration der M-rep-Formbeschreibung in den VOXEL-MAN-Atlas ist es nun m¨ oglich, innerhalb des Atlasses verschiedene Auspr¨agungen eines Organs, wie zum Beispiel der Niere, abzufragen und zu visualisieren. Sind Zusatzinformationen zu den einzelnen Formvarianten verf¨ ugbar, wie z.B. Alter, Geschlecht und ggf. Pathologie, so k¨ onnen dieses vom Benutzer abgefragt werden. Neben der Darstellung individueller Formvarianten ist es z.B. auch m¨oglich, sich die mittlere Form eines Kollektivs von Objekten anzeigen zu lassen.

Repr¨ asentation und Visualisierung von 3D-Formvarianten von Organen

279

Abb. 2. Ein M-rep-Modell des linken Lungen߬ ugels in drei Zeitpunkten des Atemzyklus. Links: Maximale Inspiration. Rechts: Maximale Expiration.

In einem ersten Schritt lassen sich die Formvarianten der Niere als Oberfl¨ achenmodell anzeigen, welches sich aus dem M-rep-Modell sehr schnell errech¨ nen l¨ asst. Auf diese Weise kann man sich rasch einen Uberblick u ¨ ber die Formenvariabilit¨ at eines Kollektivs von Organen verschaffen. Dar¨ uber hinaus ist auch eine Volumendarstellung der Formvarianten m¨ oglich, die sich aus einer Verformung der Referenzniere aus dem Volumenmodell auf der Basis der M-rep-Koordinaten ergibt (Abb. 3). Hiermit werden eine realistische visuelle Darstellung der Formvarianten und auch die Visualisierung von Texturen des Organinneren, z.B. durch das Setzen von Schnitten erm¨ oglicht. Sinnvoll ist dies nat¨ urlich nur, wenn es sich hierbei nicht um eine pathologische Variante handelt, die sich in seiner Struktur von einer gesunden Niere wesentlich unterscheidet.

4

Diskussion und Ausblick

Es wurde ein neues Konzept f¨ ur einen anatomischen Atlas vorgestellt, der die Formvariabilit¨ at von Organen bzw. Organgruppen eines Kollektivs und auch Formver¨ anderungen von Organen aufgrund von dynamischen Prozessen repr¨ asentieren kann. Durch die Verkn¨ upfung des VOXEL-MAN-Atlasses mit der M-rep-Formbeschreibung werden die Vorteile beider Methoden kombiniert. Der VOXEL-MAN-Atlas erm¨ oglicht eine hohe Qualit¨at in der visuellen Darstellung von anatomischen Strukturen auf der Basis fotografischer Farbschichtbilder. Er stellt außerdem eine umfangreiche anatomische Wissensbasis in Form eines semantischen Netzwerkes zur Verf¨ ugung, die es erlaubt, anatomische Strukturen abzufragen. Eine effiziente Darstellung der Variabilit¨at von Organen, basierend auf gr¨ oßeren Kollektiven, ist mit einem volumenbasierten Ansatz jedoch nicht m¨oglich. Die M-rep-Modellierung erm¨ oglicht dagegen eine kompakte Beschreibung von Formvariabilit¨ at. Gegen¨ uber anderen Formmodellen hat sie außerdem den Vorteil, dass eine geometrische Korrespondenz nicht nur zwischen Oberfl¨achenpunkten sondern auch zwischen Volumenpunkten definiert werden kann.

280

S. Hacker und H. Handels

Abb. 3. Volumenbasierte Darstellung von Formvarianten der linken Niere im VOXELMAN-Atlas. Rechts: Referenzniere aus dem Volumenmodell. Links: Formvariante der Niere auf der Basis einer M-rep-Beschreibung (der Schnitt gibt einen Blick in das Innere der Niere).

Zu unseren n¨ achsten Schritten geh¨ ort die Selektion und Berechnung von geeigneten Formparametern aus den M-rep-Modellen, die eine Charakterisierung verschiedener Formklassen erm¨ oglichen. Weiterhin sollen erweiterte Visualisierungstechniken f¨ ur die Darstellung von Formunterschieden eines Organs implementiert werden. Danksagung: Wir bedanken uns bei Prof. Stephen Pizer und der Bildverarbeitungsgruppe (MIDAG) von der UNC in Chapel Hill, USA f¨ ur die Bereitstellung der Software ,,Pablo“ und die Unterst¨ utzung bzgl. der M-reps. Den Mitarbeitern ¨ der Radioonkologie an der UNC danken wir f¨ ur die freundliche Uberlassung der Nierendaten. Dieses Projekt wird unterst¨ utzt von der Deutschen Forschungsgemeinschaft.

Literaturverzeichnis 1. Toga RW, Mazziotta JC, editors. Brain Mapping - The Methods. Academic Press, San Diego; 2002. p. 727–755. 2. H¨ ohne KH, Pflesser B, Pommert A, Riemer M, Schubert R, Schiemann T, et al. A Realistic Model of Human Structure from the Visible Human Data. Method Inform Med 2001;40:83–89. 3. Spitzer V, Ackermann M, Scherzinger A, Withlock D. The Visible Human Male: A Technical Report. J Am Med Inform Assoc 1996;3(2):118–30. 4. Pizer SM, Fletcher PT, Joshi S, Stough J, Thall A, Chen JZ, et al. Deformable M-reps for 3D Medical Image Segmentation. IJVC 2003;55. 5. Fletcher PT, Joshi S, Pizer SM. Gaussian Distribution on Lie Groups and their application to Statistical Shape Analysis. IPMI 2003. 6. Ehrhardt J, S¨ aring D, Handels H. Optical Flow-based Interpolation of Temporal Image Sequences. In: Procs BVM; 2006.

Extracting Consistent and Manifold Interfaces from Multi-valued Volume Data Sets Stephan Bischoff and Leif Kobbelt Lehrstuhl f¨ ur Informatik 8, RWTH Aachen, 52056 Aachen Email: {bischoff,kobbelt}@informatik.rwth-aachen.de Abstract. We propose an algorithm to construct a set of interfaces that separate the connected components of a multi-valued volume dataset. While each single interface is a manifold triangle mesh, two or more interfaces may join consistently along their common boundaries, i.e. there are no T-junctions or gaps. In contrast to previous work, our algorithm classifies and removes the topological ambiguities from the volume before extracting the interfaces. This not only allows for a simple and stable extraction algorithm, but also makes it possible to include user constraints.

1

Motivation and Previous Work

Let there be a three-dimensional voxel grid with one (tissue) label per voxel. Our goal is to extract the interfaces between all adjacent tissues as triangle meshes, i.e. the result is a set of triangle meshes each separating voxels of two different tissue types. These meshes can then be used in downstream applications, e.g. active contour models [1]. Of course, we want to guarantee certain quality properties: 1. Each triangle mesh should be a subset of a 2-manifold (in particular we allow it to have have a boundary, and the boundary can touch itself). 2. The boundaries of the triangle meshes should consistently fit together, i.e. no gaps, T-junctions or other artifacts should occur. Unfortunately the above problem is ill-posed: Consider four voxels joining along a common edge and let there be two tissue types A and B such that the two pairs of two diagonally opposing voxels have the same tissue type. If the extraction algorithm simply extracts the interface between tissue A and B, we get a nonmanifold reconstruction along the common edge. The problem becomes even worse when voxels of different tissue types join at a common vertex. This is the reason why a naive generalization of the standard Marching Cubes algorithm does not produce valid results. In this work we present a simple and efficient algorithm that solves the above problem. It does so by repairing the ambiguous voxels in the voxel grid before extracting the meshes. This not only leads to a very simple extraction algorithm but furthermore, the user can easily specify additional constraints, like e.g. that tissues A and B should always be separated by a layer of tissue C. Our algorithm is hence also able to incorporate a-priori knowledge and thus compensate for noise that might be present in the raw data.

282

S. Bischoff and L. Kobbelt

Previous work. There are a number of approaches that (partly) solve the above problem. Reitinger [2] uses a domain subdivision-strategy but cannot guarantee that no singularities occur. The algorithm presented by Hege [3] produces guaranteed quality output but is very complex in terms of analyzing configurations and size of lookup tables. M¨ uller [4] presents a method based on simplices which in general produces arbitrary complexes instead of manifolds. All these methods have in common that they try to fix the extraction algorithm such that it can handle ambiguous cases. In contrast, our algorithm simply fixes the volume before extraction, so the extraction algorithm is kept simple.

2

Method

Let V be a set of voxels and let ∂V be the set of V ’s boundary vertices, edges and faces. We say that an edge e is critical in ∂V , if it is contained in four pairwise distinct faces of ∂V . Likewise a vertex v is critical in ∂V if it either is the end-vertex of a critical edge in ∂V or if it belongs to the singular configuration depicted critical edge to the right. Hence critical edges and vertices represent the nonmanifold parts of ∂V . Now let Vi the set of voxels labelled i. Usually ∂Vi contains critical elements and so we cannot use simple Marching Cubes like algorithms to reconstruct ∂Vi . Hence, our goal is to replace the sets Vi by geometrically similar voxel sets singular Vi such that ∂Vi does not contain any critical elements for all i. critical vertex 2.1

Removal of Critical Elements

Let us call an edge critical if it is critical in ∂Vi for some label i. In that case we call the smallest such i the dominant label at e. Critical vertices and their dominant labels are defined analogously. We can deduce solely from the voxels containing an edge or vertex whether that edge or vertex is critical or not. Thus we can efficiently collect all critical vertices and edges by iterating once over the whole volume. The main idea of our algorithm is to remove a critical element (edge or vertex) x by fattening it, i.e. we replace edges by small (discrete) cylinders and vertices by small (discrete) balls. For this we subdivide the voxels that contain x and relabel the subvoxels in a neighborhood of x by x’s dominant label. Figure 1a demonstrates this idea in two dimensions where a 3 × 3 subdivision of the pixels is sufficient to separate and resolve the complex vertices. In three dimensions we require at least a 5×5×5 subdivision and we need differently sized neighborhoods for vertices and edges in order not to introduce new critical elements in the process. We now make the above ideas mathematically precise: Each voxel that intersects a critical element x is (conceptually) subdivided into 5 × 5 × 5 subvoxels and each subvoxel inherits the label of its parent. We define the k-neighborhood N k (x) of x as N 0 (x) = {x} and N k (x) = {all subvoxels that intersect N k−1 (x)}.

Extracting Consistent and Manifold Interfaces

283

Fig. 1. Critical elements are resolved by subdividing and relabeling the adjacent voxels appropriately. In two dimensions a 3×3 subdivision is sufficient (a), in three dimensions a 5 × 5 × 5 subdivision is needed (b, subvoxels are shown distorted).

a)

b)

Fig. 2. The top row shows a symmetrical voxel configuration where six critical edges meet in a common vertex. Fattening this configuration on a 33 subdivision by 1neighborhoods introduces new critical edges. The same configuration and its proposed fattening on a 53 subdivision using 2-neighborhoods for vertices and 1-neighborhoods for edges is shown in the bottom row. In this case no new critical elements are created.

A simple two-step algorithm then removes all critical elements (Fig. 1b): First, we resolve all critical edges e by relabeling all subvoxels in N 1 (e) to e’s dominant label. Second, we resolve all critical vertices v by relabeling all subvoxels in N 2 (v) to v’s dominant label. The reason for choosing a larger neighborhood for the critical vertices than for the critical edges is that edges meeting at a common vertex must be well separated in order not to introduce new critical elements (Fig. 2). Note that in an implementation the subdivision and relabeling need not be actually carried out, but can be easily computed on the fly. Furthermore, the new voxel sets Vi (now containing regular-sized voxels as well as subvoxels) are geometrically close to the original sets Vi , i.e. they are not more than 1/2 voxel apart.

284

S. Bischoff and L. Kobbelt

Fig. 3. a) Three tissues A, B, C are separated by a thin layer of tissue D. b) The finite grid resolution leads to discretization artifacts. c) Incorporating a-priori knowledge yields the correct reconstruction.

C

C D A a)

C

D

D

D

D

B b)

A

B

c)

A

B

Incorporating User Constraints Suppose we have three tissues A, B, C which we know to be separated by a thin layer of tissue D (Fig. 3a). Due to noise or limited resolution, it might not be possible to accurately capture D on a coarse voxel grid (Fig. 3b). However, it is easy to modify our algorithm such that it takes this a-priori knowledge into account. For this we define a face f to be critical, if f separates label A from label B (or B from C, or C from A), and the dominant label of f is set to D. Then we proceed analogously to the removal of critical edges and critical vertices, this time however, we need a 7 × 7 × 7 subdivision (5 × 5 in the twodimensional case), in order to separate adjacent critical faces. To be more precise, we subdivide all voxels that contain a critical element and then resolve all critical faces/edges/vertices x (in that order) by relabeling all subvoxels in N 1 (x), N 2 (x), N 3 (x), to x’s dominant label (Fig. 3c). 2.2

Extraction of the Patches

To extract the patches we consider each (sub-)voxel face in turn. If the face separates two differently labelled voxels we extract a triangulated quadrangle for that face. Faces that are adjacent to subvoxel faces are triangulated by connecting its barycenter to the surrounding vertices by a triangle fan. We then apply a simple remeshing algorithm that is aware of common patch boundaries to remesh the extracted patches to a user-prescribed target edge length [5]. This algorithm also smoothes the patches and removes the typical staircase-artifacts that are due to the discrete nature of the voxels.

3

Results

We tested our algorithm on synthetic as well as on a number of real data sets of human hearts. As there are usually very few critical elements (typically less than 20 singular critical vertices and less than 300 critical edges) the overhead in memory consumption, running time and output complexity is very low. A typical 256 × 256 × 256 volume containing eight different tissues takes less than 2 minutes to extract and remesh to a target edge length of 2mm. Figure 4 shows reconstructions at different target edge lengths while Figure 5 shows the different stages of the algorithm and the effect of incorporating a-priori knowledge.

Extracting Consistent and Manifold Interfaces

285

Fig. 4. Reconstruction of a human heart at a target edge length of 2mm (a) and 4mm (b). By hiding some of the boundary patches, the interior patches become visible (c).

a)

b)

c)

Fig. 5. a) A closeup on the reconstruction before remeshing clearly shows the subdivided parts. b) The same part after remeshing to a target edge length of 2mm. c) A reconstruction where two tissues are automatically separated due to user constraints.

a)

b)

c)

Acknowledgments: We want to thank O. Ecabert, J. Peters and J. Weese, Philips Research Aachen, for helpful discussions and for providing the datasets.

References 1. Ecabert O, Peters J, Lorenz C, von Berg J, Vembar M, Subramanyan K, et al. Towards Automatic Full Heart Segmentation in Computed-Tomography Images. In: Computers in Cardiology; 2005. 2. Reitinger B, Bornik A, Beichel R. Consistent Mesh Generation for Non-binary Medical Datasets. In: Bildverarbeitung f¨ ur die Medizin; 2005. p. 183–187. 3. Hege HC, Seebass M, Stalling D, Zoeckler M. A Generalized Marching Cubes Algorithm Based on Non-Binary Classifications; 1997. 4. M¨ uller H. Boundary Extraction for Rasterized Motion Planning. In: Modelling and Planning for Sensor Based Intelligent Robot Systems; 1994. p. 41–50. 5. Botsch M, Kobbelt L. A Remeshing Approach to Multiresolution Modeling. In: Symp. Geometry Processing; 2004. p. 189–196.

Restoration of the Sphere-Cortex Homeomorphism Andreas Mang1 , Michael Wagner2 , Jan M¨ uller1 , Manfred Fuchs2 and Thorsten M. Buzug1 1

Department of Mathematics and Technology, RheinAhrCampus Remagen, 53424 Remagen, Germany 2 Compumedics Neuroscan, 20255 Hamburg, Germany Email: [email protected], [email protected]

Abstract. The proposed algorithm has been developed as a pre-processing tool for inflating cortical surface meshes, which have been created using segmentation and subsequent triangulation of magnetic resonance images (MRI) [1]. It works directly on the triangulated surface and is therefore completely independent from the underlying segmentation. It needs no other information than the triangle mesh itself, which makes it generally applicable for the removal of topological noise. The homeomorphism between cortical surface and sphere is re-established by removing handles and opening connections. Moreover, the presented approach guarantees a manifold mesh by locally examining connectivity in the neighbourhood of each vertex and removing non-manifold components. It will be embedded into the source reconstruction software package CURRY (Compumedics Neuroscan, El Paso, TX, USA).

1

Introduction

CURRY is a multimodality neuroimaging tool, which allows the integration of EEG, MEG or ECoG with other functional or anatomical imaging modalities, such as MRI, CT, fMRI, SPECT and PET. Sources of brain activity are computed from these data. The source reconstruction results are, besides other visualization techniques, directly mapped onto the triangulation of the cerebral cortex. Due to the intrinsic complex structure and the folding pattern of the cortical surface the visual inspection of neuronal activity, which is mapped directly onto the mesh, is difficult. Functional foci might be hidden inside sulci and in addition, functionally widely separated foci on opposite walls of a sulcus might appear to be close together. Hence, for visualization purposes, deformation techniques like flattening, inflation or spherical inflation (see e.g. [2]) to unfold the cortical surface are widely used in the neuroscience community. These methods are based on a well known fact from Riemannian geometry: any 2-manifold, such as the cerebral cortex (if the brain stem is artificially closed), without topological artefacts can be mapped conformally onto a sphere and local parts thereof to a disk in R2 [3].

Restoration of the Sphere-Cortex Homeomorphism

287

Fig. 1. Handle connecting two potentially different gyri within three iteration steps of the unfolding process, where (a) is the initial surface and (c) illustrates an almost completely smoothed surface.

(a)

(b)

(c)

However, due to imaging noise, image inhomogeneities and the partial volume effect connections across potentially disparate parts of the cortex are produced during segmentation or triangulation, respectively. These erroneous and anatomically incorrect connections, so-called handles, lead to distortions in the unfolded representation of the cortical surface (see fig. 1). Thus, it is necessary to remove them in order to re-establish the homeomorphism between sphere and brain. During the last few years extensive research has been aimed at producing topologically correct representations of the cortex. Besides manual editing (see e.g. [2]), different automatic approaches for the topologically correct reconstruction of cortical surfaces from MRI are presented in the literature. They can be divided into three groups: there are (i) methods that enforce topology constraints during segmentation (see e.g. [4]), (ii) methods that correct the segmentation results directly on volumetric data (see e.g. [5], [6]) and (iii) methods that work on triangulated surfaces (see [7], [8]). The approach presented here belongs to group (iii).

2

Materials and Methods

It is desired to find a method that leaves the surface geometry essentially unchanged, except in regions where topological artefacts are detected. The method presented here is based on a wave propagation concept, which was first introduced by Guskov and Wood [9]; errors are identified by analysing the genus of local patches. 2.1

Preliminaries

Before introducing the algorithm for topological noise removal the combinatorial structure of a manifold triangulation needs to be defined. Mathematically, an ndimensional manifold is a so called Hausdorff Space, which is locally isomorphic to a Euclidiean n-space. Thus, a compact connected 2-manifold is a topological space, where every point has a neighbourhood being topologically equivalent to an open disk in R2 [10]. The combinatorial structure of such a triangulated 2-manifold M (K, x) can be represented through an abstract simplicial complex K, where x : V → R3 denotes the coordinate function for each vertex v ∈ V . It

288

A. Mang et al.

embeds K in R3 . V = {v1 , v2 , . . . , vn } is the set of vertices in the mesh. Formally, a q-dimensional simplicial complex denotes a finite collection K of i-dimensional (i = 0, 1, . . . , q) simplices σ. Each simplex σ ∈ K is a convex hull of a set of i + 1 affine independent points - the so called vertices. 2.2

Non-manifold Components

In subsection 2.1 it was stated that any point of a manifold triangulation has a neighbourhood, which is topologically equivalent to an open disk in R2 . Thus, in order to guarantee a manifold triangulation, which is an essential underlying principle for the presented approach, all non-manifold components need to be identified and removed in a first step. This can be done quite easily by locally examining the connectivity in the neighbourhood of each vertex: M is called a manifold mesh, when (i) the three corners of a triangle refer to different vertices (no zero area), (ii) each edge bounds exactly two triangles and (iii) the star St (σ) = {τ ∈ K : τ ⊆ σ} of each vertex v forms a single cone. The star St (σ) of a simplex σ is a subcomplex of K and defined as all simplices τ containing σ [11]. In particular, it is the union of all edges and triangles incident upon v. 2.3

Topological Artefacts

Having removed all non-manifold components by introducing new vertices to the mesh and thus, breaking all non-manifold components, the next step is to locate and remove topological artefacts. The presence of these errors can be detected by computing the Euler number χ (M ) ≡ |V | − |E| + |F | = 2 − 2g (M ) , where |V |, |E| and |F | denote the number of vertices, edges and faces of M , respectively; g (M ) is the genus of the surface M . It is an invariant property of a manifold and denotes the largest number of non-intersecting simple closed curves that can be drawn on a surface, without separating it [9]. Cutting the surface along such a curve does not yield disconnected components of the surface. For a sphere S 2 the genus g = 0 and accordingly, the Euler number χ = 2. Hence, the cerebral cortex also represents a so called genus zero surface. However, as both χ and g are global scalar values, neither the Euler number nor the genus include information about the location or the size of a topological defect. Thus, in order to identify topological errors, a local measure of χ or g is needed instead of a global one. Accordingly, patches P (T, K) iteratively are grown around each vertex v ∈ V within a defined neighbourhood, where P (T, K) denotes a subcomplex of K, given by a set of triangles T . Starting from a seed / P (T, K) are added iteratively from the star St (vi ) of vertex vs , triangles Ti ∈ each vertex vi at the border of P (T, K). Doubling all components of P (T, K) besides the edges and vertices at its border, i.e. gluing P (T, K) to its copy, ˜ will result in a 2-manifold representation P(T, K) of the patch P (T, K). Thus, ˜ if no handle is located inside the manipulated subcomplex P(T, K) its genus

Restoration of the Sphere-Cortex Homeomorphism

289

Table 1. Removing topological artefacts on real brain data. #T and #V denotes the number of triangles and vertices in the tessellation, respectively. n is the number of non manifold components and g is the genus of the triangulated cortical surface. The given timings are for an AMD Athlon 1.5 GHz with 512 MB RAM.

#T 85460 74410 40084 144052

Before #V 42628 37126 19957 71955

g 44 32 38 34

n #T 34 85644 43 74484 30 40238 11 144222

After #V 42771 37228 20092 72085

g 9 2 2 5

n triangle size time time per vertex 0 2.0 mm 223 sec 5.23 msec 0 2.0 mm 242 sec 6.52 msec 0 2.5 mm 88 sec 4.41 msec 0 1.0 mm 338 sec 4.70 msec


 ˜ g P(T, K) = 0. Otherwise, a topological artefact is detected. In contrast to the approach presented in [10], each topological defect is not corrected directly after its detection. Instead, the smallest correcting cuts are identified first. Each vertex v is encoded with a number η (v) denoting the iteration step on which the artefact was detected. Subsequently, connected vertices carrying values η (v) smaller than their neighbor’s denote candidates for topological correction. After identifying areas with small values η (v) a non-intersecting cut is found on one side of the isolated area surrounding the handle or the tunnel. Having assured that the cut will not result in separated parts of the cortical surface, vertices along the cut are doubled. Consequently, the corresponding handle or the tunnel, respectively, is broken into two parts . Afterwards, the produced holes inside the triangle mesh are sealed and consequently, the topological defects are removed.

3

Results and Discussion

We have presented an approach to repair triangulated surfaces of the cerebral cortex, which is completely independent from the underlying segmentation. It needs no other information than the triangle mesh itself, which makes it generally applicable for the reduction of topological artefacts. Thus, it might be applied to other surface models besides triangulated representations of the cerebral cortex. The presented approach repairs local topological artefacts of triangle meshes with a time-complexity of O(N ). It is implemented in C++ and will become part of the source reconstruction software CURRY (Compumedics Neuroscan, El Paso, TX, USA). First results can be seen in tab. 1. The algorithm removes any non-manifold components produced by the triangulation. Moreover, nearly all topological artefacts present on the cortical surface are eliminated. For the removal of the topological noise the patch radius η (v) was set to approximately 15 mm. Unfortunately, the algorithm is not capable of removing all handles or holes (see tab. 1). The decision of filling the associated tunnel or cutting the handle is dependent on the diameter of the hole or the handle, respectively. In some cases the perimeter of the handle or the cavity is larger than the predefined maximal radius η (v) of the patch (15 mm in our case).

290

A. Mang et al.

Fig. 2. Comparision between (a) initial and (b) inflated representation of the cortical surface. The colouring illustrates the curvature; sulci are coloured red and gyri are coloured green.

(a)

(b)

Thus, the artefact is not detected. However, having removed most topological artefacts, the surface can be inflated properly for visual inspection of functional foci (see fig. 2).

References 1. Wagner M. Rekonstruktion neuronaler Str¨ ome aus bioelektrischen und biomagnetischen Messungen auf der aus MR-Bildern segmentierten Hirnrinde. Ph.D. thesis. TU Hamburg Harburg; 1998. 2. Fischl B, Sereno MI, Dale MA. Cortical Surface-Based Analysis I and II. NeuroImage 1999;9:179–207. 3. Evens L, Thompson R. Algebraic Topology; 2002. Northwestern University of New York. 4. Han X, Xu C, , Prince JL. A Topology Preserving Level Set Method for Geometric Deformable Models. IEEE Trans Pattern Anal 2003;25:755–768. 5. Shattuck DW, Leahy RM. Automated Graph-Based Analysis and Correction of Cortical Volume Topology. IEEE Trans Med Imaging 2001;11:1167–1177. 6. S´egonne F, Grimson E, Fischl B. Topological Correction of Subcortical Segmentation. In: LNCS 2879; 2003. p. 695–702. 7. S´egonne F, Grimson E, Fischl B. A Genetic Algorithm for the Topology Correction of Cortical Surfaces. In: Christensen GE, Sonka M, editors. LNCS 3565; 2005. p. 393–405. 8. Guskov I, Wood ZJ. Topological Noise Removal. In: Watson B, Buchanan JW, editors. Proceedings of Graphic Interface 2001; 2001. p. 19–26. 9. Wood ZJ. Computational Topology Algorithms for Discrete 2-Manifolds. Ph. D. dissertation. California Institute of Technology; 2003. 10. Gumhold S. Mesh Compression. Ph. D. dissertation. Fakult¨ at f¨ ur Informatik Eberhard-Karls-Universit¨ at zu T¨ ubingen; 2000. 11. MacLaurin C, Robertson G. Euler Characteristic in Odd Dimensions. Australian Mathematical Society Gazette 2003;30:195–199.

Integrierte Visualisierung von Anatomie und Perfusion des Myokards zur Fru ¨ herkennung der Koronaren Herzkrankheit Steffen Oeltze1 , Anja Kuß1 , Anja Hennemuth2 , Caroline K¨ uhnel2 und Bernhard Preim1 1 Institut f¨ ur Simulation und Graphik, Otto-von-Guericke-Universit¨ at Magdeburg, 39016 Magdeburg 2 MeVis - Centrum f¨ ur Medizinische Diagnosesysteme und Visualisierung gGmbH, Universit¨ at Bremen, 28359 Bremen Email: [email protected]

Zusammenfassung. Wir beschreiben die integrierte Visualisierung von anatomischen Daten des linken Ventrikels und der Koronargef¨ aße mit Ruhe/Stress Perfusionsdaten des Myokards. Der anatomische Zusammenhang zwischen Myokardregionen in den Perfusionsdaten und den versorgenden Abschnitten der Koronargef¨ aße wird durch eine interaktive 3d-Visualisierung illustriert. Diese kann im Rahmen der Fr¨ uherkennung der Koronaren Herzkrankheit f¨ ur die Detektion h¨ amodynamisch relevanter Stenosen genutzt werden. Weiterhin unterst¨ utzen die integrierte Visualisierung korrespondierender Parameter der Kontrastmittelanflutung und -auswaschung basierend auf Ruhe/Stress Perfusionsdaten und die automatische Hervorhebung signifikanter Unterschiede den Ruhe/Stress Vergleich und erleichtern die Detektion minderperfundierter Regionen.

1

Einleitung

Die Koronare Herzkrankheit (KHK) kennzeichnet eine Verengung (Stenose) oder Blockade der Koronargef¨ aße deren Folgen h¨ aufige Todesursachen sind. Herzinfarkt und Herzinsuffizienz resultieren aus einer Isch¨amie, der Unterversorgung des Myokards mit Blut. Am Beginn der Isch¨ amiekaskade steht die durch Stenosen bedingte Perfusionsst¨ orung. Die Lokalisierung dieser St¨orung im Myokard gekoppelt mit dem Wissen u ¨ ber die versorgenden Koronargef¨aße ist wichtig f¨ ur die Fr¨ uherkennung. Daf¨ ur werden dynamische Bilddaten in Ruhe und unter Stressbelastung akquiriert, um die Anreicherung eines Kontrastmittelbolus zu untersuchen. Der Vergleich von Perfusion in Ruhe und unter Stress ist wichtig, da die Autoregulation des Herzens in Ruhe den durch Stenosen eingeschr¨ ankten Blutfluss kompensieren kann. Perfusionsdaten beschreiben u ¨ ber Signalver¨ anderungen Anflutungs- und Auswaschungsvorg¨ange eines Kontrastmittels im Zielgewebe. Durch die Abtragung der Signalintensit¨aten korrespondierender Bildpunkte gegen die Zeit entstehen Zeit-Intensit¨ats-Kurven. Kurvenparameter, wie die maximale Signalintensit¨ at und die Zeitdauer bis zum Erreichen

292

S. Oeltze et al.

dieses Maximums, charakterisieren die Durchblutung und k¨onnen schichtbasiert als Parameterkarte dargestellt werden. Eine integrierte Visualisierung der Parameter aus Ruhe und Stress und die Hervorhebung auff¨alliger Regionen erlauben die Detektion von Arealen mit verz¨ ogerter und verminderter Perfusion.

2

Stand der Forschung

Kommerzielle Workstations [1], Forschungsprototypen [2] und bisherige Studien [3], [4] nutzen die standardisierte Korrespondenz [5] zwischen Myokardperfusion und den versorgenden Koronargef¨ aßen zur Detektion der KHK. Bulls-Eye-Plots repr¨ asentieren diese Korrespondenz und dienen der Visualisierung von Perfusionsparametern. F¨ ur eine patientenindividuelle Analyse pr¨asentieren [6] die 3dFusion von SPECT- Perfusionsdaten und MR-Koronarangiographien (MRA). Die linksventrikul¨ are Oberfl¨ ache wird in den SPECT-Daten segmentiert. Der Koronarbaum wird aus biplanaren Projektionen rekonstruiert. Die kombinierte 3d-Repr¨ asentation und eine Abbildung der Perfusionsdaten auf den Ventrikel gestatten eine genaue Zuordnung der Myokardregionen zu den versorgenden Gef¨aßabschnitten. Da die Rekonstruktion der Koronarien aus MRA-Daten artefaktbehaftet ist und MRA eine invasive Prozedur ist, wird in [7] die Fusion von CT-Koronarangiographien (CTA) und SPECT-Perfusionsdaten diskutiert.

3

Methoden

F¨ ur die Erprobung der Algorithmen wurden MR Ruhe/Stress Perfusionsdaten (3 Schichten) und CTA-Daten (