AG-Treffen 2023/04/12: Von der 3D Rekonstruktion bis zur digitalen Vermittlung

AG3D interaktives Protokoll 2023/04/12, 10:00 Uhr

Neue Mitglieder

UCLAB Potsdam: geschlossener Workshop zur Testung, was Museen im Bereich 3D selbst machen können (Photogrammetrie & Artec Leo) - Sabine könnte sich eine Vorstellung der Ergebnisse vorstellen
Ideen für künftige Werkstattberichte:
Michael Stache
Rebecca Schirone (Blender Workshop)
3D über Ultraschall (Frank Bauer könnte Kollegen fragen)

Frank Bauer (Universität Erlangen-Nürnberg): Von der 3D Rekonstruktion bis zur digitalen Vermittlung)
forschender Lehrstuhl in Erlangen
Computer Grafik & Computer Vision

Verzerrungen
nicht georeferenziert
tagsüber während starkem Sonnenlicht: Tiefeninformationen mittels infrarot nicht möglich
Scan wie Helix verzerrt
Nachbearbeitung auf der Basis einzelner Georeferenzen (Punkte)

Photogrammetrie: an Auflösung wird immer verloren
Bildbasiert: Auflösung der Kamera wird beibehalten
Ergebnis: Kein 3D Modell, kein Mesh
Zwischenposen werden ohne Löcher mittels Machine Learning realistisch ausgefüllt

Transparenz: Photogrammetrie funktioniert nicht
Lösungsansatz: Reflektogrammetrie
-> Strahlenverfolgung anhand der Laser Reflexion an der hintergespannten Mattscheibe

Oculus: Problem: zwei Szenen rendern
Voraussetzung: Schärfe von optischen Eindrücken ist variabel -> Grundlage: Augenbewegung/ Fokus, Stellen im Bereich des periphären Sehens werden mit foveated rendering ausgegeben, fokussierte Stellen mit regular rendering
https://lookingglassfactory.com/looking-glass-portrait
interessant: bewegte Inhalte
Renderingvorgang: Lang und teuer, wenn komplett gerendered
aktuelle Arbeit an: ausgewähltem Rendering & Volumen Rendering

interaktives projection mapping
Kinect: Object tracking im Raum
Forschungsansatz: mit einfachen Mitteln erfassen, wie sich Dinge im Raum bewegen
verschiedene Projektoren: Überlagerungen -> Software muss diese verrechnen können
Material, das Chrom simuliert + Reflektionen von umgebenden Objekten
Schatten können korrigiert werden
funktioniert auf beliebigen Oberflächen (auch Gesichtsgeometrie kann während der Bewegung gemapt werden)
Oftmals Problem bei 3D Erfassung: Statisches Erfassen von eigentlich beweglichen Objekten/ Subjekten
Mapping von kleinem Modell (wird bemalt) auf große Statue -> einfacher als Bearbeitung mit Laserpointer

Jacob: Reflektogrammetrie
Frank: Brillengläser: Ergebnis Freifläche -> Nutzen: Dioptrien Abgleich
Jacob: Einschlüsse in Steinen?
Frank: Problem: Reflektion sowohl der Ober- als auch Unterseite: Einschluss schwierig, da irgendwo innerhalb, zu wenig Wissen über den Einschluss, um Reflektion einordnen zu können, könnte man ausprobieren
Bei der Scan-Technik muss man vorher die ungefähre Geometrie kennen, um die exakte Geometrie zu erhalten, was bei optischen Linsen der Fall ist, nicht aber bei Bruchstellen.

Sarah: IBR nicht ganz, aber ähnlich zu NeRF? Es gibt Meinungen, dass NeRFs Photogrammetrie künftig ersetzen, was ist deine Meinung dazu?
Frank: IBR: Punktwolke; längerfristig Verbessern / nicht unbedingt Ersetzen von Photogrammetrie wahrscheinlich
Sarah: Auflösung der 3D Modelle in Viewern teilweise nicht gut genug, daher sind Alternativen auf Bildbasis (mit maximaler Auflösung) evtl. besser

Jacob: Gibt es auch Möglichkeiten, in photogrammetrischen Verfahren Reflektionen nicht als Fehler, sondern als Information zu erfassen?
Frank: Reflektion stört die Rekonstruktion. Ableitung von Materialeigenschaften mittels verschiedener Lichteinfälle (spezielles Equipment wird benötigt)
In der Photogrammetrie können die Punkte [der Einzelbilder] in zwei Cluster unterteilt werden, einen reflektierenden und einen diffusen. Die diffusen dienen der Geometrie, die anderen zusätzlich der Materialität.

Clarissa: Ich würde gerne mehr zur Bildforensik hören. Welche Ansätze, neben dem Betrachten der Beleuchtung, gibt es, um zukünftige Fälschungen zu identifizieren?
Frank: Unterscheidung: Photoshop vs. reales Foto; maschinengeneriertes Bild vs. reales / gephotoshopptes Foto. Projekt: Erkennung von leichter Hautfärbung (Blutfluss im Gesicht), AI bislang nicht in der Lage, diese Blutverteilung adäquat darzustellen
Mikrobewegungen: (vor einem Jahr) Herausforderung für AI
Tendenz: Analyse der Verhaltensmuster (bei Videos)
Meta: trainiertes Netzwerk, um genutzte Software zur Bildgenese zu erkennen