Image-based characterization of thrombus formation in time-lapse DIC microscopy

Nicolas Brieu, Nassir Navab, Jovana Serbanovic-Canic, Willem H. Ouwehand, Derek L. Stemple, Ana Cvejic, Martin Groher
2012 Medical Image Analysis  
The detection of salient events in video sequences displaying low contrast and highly dynamic conditions is becoming of increased interest for the community of computer vision. This thesis introduces novel methods for the analysis of such scenes, and in particular for automatic detection of thrombus formation in low contrast in vivo microscopic image sequences. This application is of crucial interest for identifying genetic variations which lead to an increased risk of developing cardiovascular
more » ... diseases (CADs). Our key idea is to perform segmentation of the thrombus by distinguishing different motion patterns in image time-series rather than by performing a standard image segmentation task in each frame. We model motion patterns by energies based on the concept of Dynamic Textures (DT) and regularize segmentation by two prior energies on the topological relationship between the thrombus and the aortic vessel and on the shape of the aortic region. Two approaches are introduced for the segmentation of dynamic textures. In our first approach, we introduce two DT-based features to take advantage of a-priori knowledge on the characteristics of motion patterns in thrombotic (slow and regular motion), aortic (fast and incoherent motion), and background (static) regions. These two features are derived from the modeling of motion patterns using dense motion fields (Optic-flow) and Linear Dynamic Systems (LDS). They are incorporated together with the two aforementioned priors into a scalar-based statistical level-set segmentation framework. Despite the capacity of this first approach to deal with challenging imaging conditions, its lack of robustness leads us to develop a second and more generic approach. We dismiss prior assumptions of slow vs. fast motion patterns and only assume that regions are defined by distinct motion patterns of unknown characteristics. We introduce two novel DT-based likelihoods. The first exploits the spatial saliency between motion patterns in thrombus, aortic, and background regions. The second takes advantage of the temporal saliency of motion patterns, which is introduced by the growth of the thrombus plug from an empty aortic vessel. If incorporated together with the two aforementioned priors into a multiphase statistical level-set, these two likelihoods make thrombus segmentation both accurate and robust. This opens the way to the automatic characterization of thrombus formation in low contrast in vivo microscopic sequences. From a mathematical point of view, the above developments of two DT-based likelihoods lead us to propose a novel approximation of the normal distribution on the manifold of DT models. Zusammenfassung Die Entdeckung von auffaelligen Ereignissen in Videosequenzen, die kontrastarme und hochdynamische Bedingungen aufweisen, wird im Bereich der Bildverarbeitung immer wichtiger. Diese Arbeit zeigt neue Methoden fuer die Analyse solcher Sequenzen auf, besonders fuer die automatische Bestimmung von Thrombus-Bildungen in kontrastarmen in vivo mikroskopischen Bildsequenzen. Diese Anwendung ist von hoher Wichtigkeit, wenn es darum geht, genetische Abweichungen zu identifizieren, die zu einem erhoehten Risiko von Herzkranzgefäßerkrankungen fuehren. Unsere Grundidee ist, eine Segmentierung des Thrombus anzuwenden, die die verschiedenen Bewegungsmuster in den Bildsequenzen unterscheidet, und nicht eine bildweise Standardsegmentierung durchzufuehren. Dazu modellieren wir die Bewegungsmuster als Energien, die auf der Idee der Dynamischen Texturen basieren, und schraenken die Segmentierung mit zwei prior Energien ein. Diese basieren einerseits auf der topologischen Beziehung zwischen Thrombus und Aorta, andererseits auf dem Profil der Gefaeßregion. Im ersten Ansatz verwenden wir zwei DT-basierte Merkmale, welche aus dem apriori Wissen ueber die Charakteristika der Bewegungsmuster innerhalb von Thromben (langsame und gleichmaeßige Bewegung), Gefaeßen (schnelle und inkohaerente Bewegung) und umgebenden Gewebe (statisch) abgeleitet werden. Diese zwei Merkmale werden aus der Modellierung der Bewegungsmuster hergeleitet, indem dichte Bewegungsfelder (Optical Flow) und Lineare Dynamische Systeme (LDS) verwendet werden. Diese zwei Merkmale werden zusammen mit dem oben genannten Wissen in einem skalaren, statistischen Level-Set Rahmen verbunden. Trotz der Moeglichkeit dieses ersten Ansatzes mit den anspruchsvollen Bildverhaeltnissen zurecht zu kommen, fuehrt uns dessen Mangel an Robustheit dazu, einen zweiten allgemeineren Ansatz zu entwickeln. Fuer den zweiten Ansatz haben wir die zwei Annahmen"langsame gegen schnelle Bewegungsmuster" verworfen und stattdessen nur angenommen, dass jedes Gebiet durch ein spezifisches, aber unbekanntes Bewegungsmuster definiert wird. Dazu fuehren wir zwei neue DT-basierte Wahrscheinlichkeiten ein. Die Erste beschreibt die Auffaelligkeit der Bewegungsmuster in den Thrombus-, Aorta-und Gewebe-Regionen. Die Zweite wird aus der temporaeren Auffaelligkeit der Bewegungsmuster abgeleitet, die aus dem Wachstum des Thrombus aus einer freien Aorta entsteht. Mit den beiden oben genannten Vorabinformationen in einem mehrphasigen, statistischen Level-Set verbunden, machen diese zwei Wahrscheinlichkeiten die Thrombus-Segmentierung exakt und robust. Dies ermoeglicht somit die automatische Charakterisierung von Thromben-Bildung in kontrastarmen in vivo mikroskopischen Sequenzen. Aus mathematischer Sicht fuehren uns die Entwicklungen der beiden DTbasierten Wahrscheinlichkeiten dazu, eine neue Approximation der Normalverteilung ueber der Mannigfaltigkeit der DT Modelle vorzuschlagen. v
doi:10.1016/j.media.2012.02.002 pmid:22482997 pmcid:PMC3740235 fatcat:dvg3ync4ejg5deeofot6mhs5hy