Video-based Bed Monitoring

Manuel Martinez
2017
Quality of sleep is difficult to quantify, yet it critically affects our life in many aspects. Many sleep disorders have effective treatments, but first we need to diagnose them, and this is performed in hospitals using a test named polysomnogram. It involves sleeping while being connected to more than 100 sensors that perform a plethora of tests including electroencefalogram, electrocardiogram, electrooculogram, and electromyography. Not only are polysomnograms intrusive, but they are also
more » ... nsive, and therefore are only performed on the most severe patients. A non-invasive way to monitor sleep in domestic environments would revolutionize sleep medicine, but developing such a system is challenging and requires collaboration between the fields of sensor engineering, machine learning and sleep medicine. In this thesis, we present a computer vision system designed to monitor beds that leverages on the recent developments in depth camera technology and machine learning algorithms. Compared to other sleep monitoring technologies, computer vision gives us essential context information that allows us to better understand the environment. Furthermore, we worked closely with sleep medicine experts that guided our efforts and provided us insights about the topic. Our first thesis contribution is the sensing device we developed, that has been certified for installation in hospitals and nursery homes. While developing this device, we thoroughly analyzed depth camera technology, developed a new communication protocol that stresses reliability, and developed new compression algorithms, resulting in publications in different areas. Using our recording device, we collected several datasets totaling more than 5000 hours of video. One of them is recorded in a sleep hospital on real patients, and includes polysomnogram data for reference. Another is captured in a nursing home and is used for long term sleep quality summaries. To the best of our knowledge, our datasets are the largest ever used in the topic by a significant margin, and are an important contribution of this thesis. The datasets are large enough to train machine learning methods and obtain statistically significant results. We also present a method for processing depth video targeted to our scenario named Bed Aligned Maps (BAM). Depth cameras are popular for sleep monitoring because they are robust to texture and illumination changes. However they still suffer many of the problems related to video monitoring: dealing with changes in camera or bed positions, low information density, and privacy concerns. To alleviate those problems, we propose the BAM, which is a low resolution descriptor based on v vi Kurzzusammenfassung Die Quantifizierung der Schlafqualität ist eine schwierige Aufgabe, dennoch ist sie ein wichtiger Bestandteil unseres Wohlbefinden und Lebensqualität. Für viele Schlafstörungen existieren bereits effektive Behandlungsmethoden, aber zuerst müssen diese diagnostiziert werden, in Krankenhäusern geschieht dieses durch ein Polysomnogramtest. Dazu müssen Patienten mindestens eine Nacht im Krankenhaus verbringen und an mehr als 100 Sensoren angeschlossen sein. Diese Sensoren können unter anderem Tests wie das Elektroenzephalogramm, Elektrokardiogramm, Elektrookulogramm oder das Electromyographie durchführen. Derartige Tests sind nicht nur aufdringlich, sondern auch teuer, und werden deshalb nur bei den schwerwiegendsten Fällen eingesetzt. Eine nicht-invasive Methode der Schlafüberwachung, die in einer häuslichen Umgebung ausgeführt werden kann, würde daher die Schlafmedizin revolutionieren. Die Entwicklung eines solchen Systems ist jedoch sehr kompliziert, da eine enge Zusammenarbeit zwischen Sensorexperten und Schlafmedizinern erfolgen müsste, welche in der heutigen Forschung jedoch kaum anzutreffen ist. Wir entwickeln Systeme zur Schlafüberwachung, welche aktuelle Methoden im Bereich des Machinellen Lernens sowie Entwicklungen von Tiefenkameras nutzt. Durch den Einsatz von Computer Vision Techniken wird der erforderliche Kontext geschaffen, um die aktuell überwachte Situation zu verstehen. Zusätzlich haben wir eng mit Schlafexperten zusammengearbeitet, die unsere Forschungen begleiteten. Unser erster Beitrag der Thesis ist die Sensorbox, welche für eine Installation in Krankenhäusern und Altersheimen zertifiziert wurde. Während der Entwicklung haben wir Tiefenkamera Technologien analysiert, ein neuartiges Kommunikationsprotokoll und Kompressionsalgorithmus entwickelt, was in Publikationen in verschiedenen Bereichen resultierte. Mit Hilfe unsere Sensorbox haben wir mehrere Datensätze gesammelt, welche insgesamt mehr als 5000 Stunden Videoaufzeichnungen enthalten. Einer der Datensätze wurde in einem Krankenhaus mit echten Patienten aufgenommen und beinhaltet Polysomnogramdaten. Ein weitere Datensatz wurde in einem Altersheim aufgenommen, um uns eine langfristige Übersicht der Schlafqualität zu liefern. Unsere Datensätze sind, soweit uns bekannt, die größten Datensätze in der Forschung und bilden damit einen wesentlichen Beitrag zu unserer Thesis. Beide Datensätze reichen aus, um Methoden des Machinellen Lernens zu benutzen und damit statistisch signifikante Ergebnisse zu erzielen. vii Weiterhin präsentieren wir eine Methode, um Tiefenaufnahmen für unser Szenario zu verarbeiten: Bed Aligned Maps (BAM). Tiefensensoren sind bei der Schlafüberwachung beliebt, da sie robust gegenüber Textur-und Beleuchtungsveränderungen sind. Dennoch sind auch diese anfällig für viele Probleme der Videoüberwachung: kleine Kamera-und Bettposition Veränderungen, niedriger Informationsgehalt, und Privatsphärebedenken. Um diesen Problemen entgegenzuwirken, haben wir die BAM entwickelt, ein auf Tiefendaten basierender niedrigauflösender Deskriptor, der die Bettposition als Referenz benutzt und die Zentrierungs-und Privatsphäreprobleme löst, während er um ein 500-faches kleiner ist, als die originalen Tiefendaten. Im Gegensatz zu den meisten sensorbasierten Ansätzen, die als Ziel die Beobachtung eines einzelnen Schlafaspektes haben, kann Maschinelles Sehen viele Aspekte gleichzeitig überwachen. Zuerst führen wir eine Atemmuster-Analyse durch, da Atmen das wichtigste Anzeichen für Schlafstörungen ist, insbesondere bei Apnoe. Diese Schlafstörung beinhaltet verschiedene Arten von Unterbrechungen und Abweichungen des normalen Atemrhythmus und deren Diagnose ist daher eine der Hauptziele der Polysomnografie. Um die Atmung zu analysieren entwickeln wir zuerst ein mathematisches Model des Problems, basierend auf der Signalverarbeitung, welches aufzeigt, wie verschiedene Kamera Parameter das Rauschverhalten der ermittelten Brustbewegung beeinflussen. Wir zeigen, dass dieses Rauschverhalten sich antiproportional in der vierten Potenz bezüglich des Abstandes zwischen Patient und Kamera verhält. Das erklärt, warum die meisten Methoden nicht mehr funktionieren, wenn die Kamera mehr als einen Meter vom Patienten entfernt ist. Wir entwickeln neue Methoden zur Atemrhythmusschätzung eines Patienten, die auch dann noch zuverlässing sind, wenn die Kamera 4 Meter von der Brust des Patienten entfernt ist und zusätzlich den Patienten im Bild lokalisieren. Abschließend präsentieren wir ein Maschinelles Lernverfahren speziell dazu entwickelt, um das Vorkommen von Apnoe mit vielversprechenden Ergebnissen zu erkennen. Weiterhin analysieren wir diverse Hinweise für die Schlafqualität, die durch unsere Schlafexeperten empfohlen wurden. Wir präsentieren neuartige Metriken für die Agitation und Bettbelegung, die einfach, zuverlässig und objektiv sind. Wir zeigen, wie diese Metriken genutzt werden können, um Schlafmuster über einen längeren Zeitraum hinweg zu visualisieren. Wir analysieren weiterhin bettbezogene Aktionen, wie z.B. das Ein-/Aussteigen, wechseln der Schlafposition, interagieren mit einer Krankenschwester oder die Benutzung diverser Objekte. Wir entwickeln ein Maschinelles Lernverfahren um die Schlafposition zu erkennen, welches besser als der im Schlaflabor benutzte Sensor arbeitet. Abschließend diskutieren wir die Aufgabe, zwischen Wach-und Schlafzustand zu unterscheiden. Das Ziel dieser Thesis ist, Schlafüberwachungstechnologie für jeden zugänglich zu machen. Unser ultimatives Ziel ist, daß keine Schlafstörung unbehandelt bleibt, nur weil sie nicht rechtzeitig identifiziert und korrekt diagnostiziert wurde. viii
doi:10.5445/ir/1000076972 fatcat:k4wggdg3sngavnv262s5fyicnu