FB6 Mathematik/Informatik/Physik

Institut für Informatik


Osnabrück University navigation and search


Main content

Top content

Rasmus Diederichsen:
Designing and Implementing a Rephotography Application for iOS

Erstgutachter: Prof. Dr. Oliver Vornberger

Zweitgutachter: Dr. Thomas Wiemann

Kontakt: rdiederichse@uni-osnabrueck.de

Arbeit als PDF: Thesis (∼19,6 MB)

Zusammenfassung

Ziel dieser Arbeit war die Entwicklung einer Anwendung für iOS, die die Nutzerin dabei unterstützt, die Aufnahmeposition eines Fotos wiederzufinden, um einen Vorher-Nachher-Vergleich anfertigen zu können, auch bekannt als Refotografie.

Allgemein bezeichnet Refotografie das Wiederfinden von Aufnahmepose und Kameraparametern einer möglicherweise historischen Fotografie, um eine Aufnahme vom selben Standort aus zu machen. Das Original und das neue Bild können verwendet werden, um Veränderungen einer Szene über einen längeren Zeitraum zu dokumentieren, indem die Bilder beispielsweise übereinander gelegt oder Teile des einen in das andere Bild geblendet werden. Normalerweise wird die Prozedur von Fotografen mittels Ansicht eines Ausdrucks vom Originalbild und viel Geduld durchgeführt. Die Kamera wird hierbei so lange graduell bewegt, bis die aktuelle Einstellung möglichst genau der des Originals entspricht. Der visuelle Vergleich zwischen Vorlage und Kamerabild ist zeitaufwendig und fehleranfällig, was den Wunsch nach Computer­unter­stützung motiviert.

Die Verbreitung von mobilen Geräten mit integrierten Kameras, die - anders als kommerzielle Digitalkameras - pro­gram­mierbar sind, erlaubt solche Unterstützung. Bisher existieren allerdings kaum Ansätze. Zwei bereits existierende mobile Anwendungen vereinfachen das Refotografieren mittels eines Overlays des Originalbildes über das Kamerabild, doch die Nutzerin muss die nötige Kamerabewegung nach wie vor selbst schätzen. Diese Arbeit stellt einen Versuch vor, ein leistungs­fähigeres System [1] zu untersuchen und prototypisch zu implementieren, welches zuvor für einen Computer mit ange­schlos­sener Kamera entwickelt wurde. Die Anwendung nutzt Algorithmen aus Bildverarbeitung und maschinellem Sehen aus der Open-Source-Bibliothek OpenCV, um dem Nutzer die nötige Bewegung zu kommunizieren. Sie ist damit die erste ihrer Art.

Da es zunächst um die prinzipielle Machbarkeit auf einem mobilen Gerät geht, werden einige vereinfachende Annahmen gemacht:

  • Das "historische" Foto wurde von dem Gerät aufgenommen, auf dem die Anwendung läuft und hat keine starken visuellen Unterschiede, damit automatische Featuredetektion genutzt werden kann.
  • Die Kalibrierungsdaten der Kamera sind bekannt.
  • Die Hardware entspricht dem zur Entwicklung genutzten iPad Air 2, da Bildverarbeitung rechenintensiv ist und die Anwendung möglichst in Echtzeit Richtungsanweisungen produzieren soll.

Ablauf

Die Nutzerin wählt zunächst ein Referenzbild aus der Galerie aus und wird von der App angewiesen zwei Bilder der Szene zu machen, um eine 3D-Rekonstruktion zu berechnen. Danach wird eine Visualisierung eingeblendet, die mittels zweier Pfeile die nötige Bewegung in Richtung optischer Achse sowie Sensorebene zeigt. Zudem hilft ein Kantenoverlay des Originals bei der Feinjustierung.

Nachdem das finale Foto gemacht wurde, kann dies mit einem Overlay über dem Original angezeigt werden.

Eine detaillierte Evaluation der Ergebnisse zeigt, dass die Implementation teilweise erfolgreich ist, wobei einige Aspekte beim Wiederfinden des Originalaufnahmeortes weiterer Arbeit bedürfen. Während die nötige Rotation der Kamera akkurat bestimmt werden kann, wurde bei der Berechnung der nötigen Translationsrichtung in dem Vorgehen von Bae et. al. ein prinzipielles Problem festgestellt. Ansätze zur Behebung werden beschrieben. Dank des Kantenoverlays kann die Anwendung dennoch zur Refotografie eingesetzt werden.

[1]: Bae et al., 2010. Computational Re-photography, ACM Transactions on Graphics, 29(3).