AG-Treffen 2023/10/18: Offene Softwarelösungen zu SfM

AG3D interaktives Protokoll • https://ag3d.org/ 2023/10/18, 10:00 Uhr

Neue Mitglieder

Karl Pallan

Begrüßung & Informationen zur AG3D

• Links & Ressourcen

Wiki: <https://ag3d.org>

Mailingliste abonnieren: <https://www.listserv.dfn.de/sympa/subscribe/ag3d>

Protokolle: <https://ag3d.org/index.php/Protokolle>

Videos: <https://www.youtube.com/channel/UCgacyn-2vUVvVG3tySHpovA>

Tassen-Benchmark: <https://ag3d.org/index.php/Tassenbenchmark>

Miro-Board: <https://miro.com/app/board/o9J_l-VOz-g=/>

• Neuigkeiten

Bericht von der Sammlungstagung

Workshop: https://ishtar.iwus.org/p/3dbonn

Poster

"Angeber"

Bericht von der LVT Mannheim

Offene Runde

• Themen für Werkstattberichte 08.11. und 13.12.

Kristian Peters, Multispektralfotografie

RTI (Köln/Louise Tharandt)

Kristian Peters (Landesarchiv NRW, kristian.peters@lav.nrw.de): Scannen von Siegeln?

Vorschlag: RTI https://vcg.isti.cnr.it/PalazzoBlu/

• Thema für eine AG3D-Sitzung?

Ferdinand Maiwald: StereoScan Neo https://hexagon.com/de/products/stereoscan-neo

Probleme: Farbwiedergabe/Textur

Erfahrungen?

Werkstattbericht

Ferdinand Maiwald: Offene Softwarelösungen zu SfM

Gliederung

Grundlagen

2 Open Source-Lösungen

• Wiss. Bio

Schwerpunkt Photogrammetrie, Promotion

Seit 2019 TU Dresden

2021 Jena

2023 Professur Optische 3D-Messtechnik Dresden

Grundlagen Photogrammetrische Messverfahren

• Heute: SfM

SfM-Workflow

Bilder auswählen, kann Software auch automatisch machen

Preprocessing der Bilder: Raw? Jpeg?

Feature Detection: Punkte finden, zuordnen in Bildpaaren

Geometrische Verifizierung, Eliminierung falscher Paare

Kamera-Parameter einstellen

Bündelblockausgleichung: Punkte werden in Objektraum projiziert, Rückprojizierung auf die Bilder, Kamerapositionen identifizieren

3D-Modell

• Merkmalsdetektion (Feature Detection)

Merkmalspunkte werden "beschrieben", identifiziert, gefunden

läuft über Grauwerte

mit unterschiedlichen Bildauflösungen, um wichtigste Paare zu identifizieren

automatische Verfahren der Identifizierung korrekter und falscher Paare

• Kameraparametrisierung

manuelle Eingabe der Parameter der Kamera

Kamera kalibrieren (alternativ, genauer, aufwändiger)

• Bündelblockausgleichung (Bundle Adjustment)

Einpassen der Bilder in eine "Szene", Punktewolke

• Dense Cloud

• SfM-Software

Agisoft Metashape

weitere proprietäre Programme, u.a. Pix4D, RealityCapture

Open Source:

Bundler

VisualSfM

MicMac OpenDroneMap

OpenSFM

COLMAP

Alicevision Meshroom

• Geschichte

Bündelblockausgleichung schwierigster Schritt

erste Open Source-Löung: 2008 (Bundler)

VisualSFM

MicMac

Agisoft PhotoScan/Metashape verdrängt Open Source

2016 COLMAP, Computer Vision, sehr leistungsstark, viele Parameter

2018 Meshroom mit GUI (angelehnt an Agisoft)

Vergleich Open Source-Lösungen

• COLMAP

https://colmap.github.io/

Dense Matching geht nur mit NVIDIA-Grafikkarte (CUDA https://de.wikipedia.org/wiki/CUDA)

DEMO

Vorteile

Nachteile:

Punktwolke kann nicht skaliert werden

Dichte Punktwolke nur mit CUDA

• Meshroom

https://alicevision.org/#meshroom

viel Automation

DEMO

Vorteile

gute GUI

Statistiken (für Publikationen z.B.)

Schnell

Stapelverarbeitung

CloudCompare https://www.danielgm.net/cc/

Gaussian Splatting (braucht COLMAP) https://www.youtube.com/watch?v=w43KV79LsFw https://huggingface.co/blog/gaussian-splatting

Fragerunde

Leistung? Meshroom: 1-3 Stunden (40-100 Bilder)

David Kühner: mit welcher OS-Software weiterarbeiten mit Dense Cloud? Ferdinand: CloudCompare, MeshLab, Blender

Carlos: Genauigkeit Metashape und OS? Ferdinand: COLMAP so gut wie Metashape, RealityCapture

Wie funktioniert Dense Matching? Ferdinand: Kamerapositionen bekannt: jeder Pixel der Bilder wird nun in den Objektraum projiziert ... Semi Global Matching (Standard) ... Neural Radiance Fields (nicht so präzise? Sieht besser aus)

Markus Rebhan: Texturinfo kann nicht verwendet werden? Ferdinand: geht auch. COLMAP macht kein Gitter, aber jeder Punkt hat Farbinfo; Mashroom kann Gitter machen, oder direkt Punkte verwenden

David Kühner: Einsatzbereiche. Gebäude: Vergleich mit LIDAR? Ferdinand: Laser sollte genauer in den Einzelpunkten, SfM bessere visuelle Qualität, dichtere Punktwolke digitaler Zwilling? LIDAR Zeit: SfM etwas schneller Oft ja beides zuleich (Kamera auf dem Laser)

Wie klein darf ein Objekt sein? Ferdinand: bei sehr kleinen Objekten ist vielleicht Streifenlicht besser Marcus Rebhan: hängt vom Objektiv ab, z.B. Makrofotografie ermöglicht auch sehr kleine Objekte; vgl. https://www.dinarda.org/disc3d

Chat

10:00:55 From Clarissa Kopanitsak To Everyone:

       Guten Morgen. :)

10:02:27 From Martin Stricker To Everyone:

       Guten Morgen ☀️

10:02:39 From Martin Stricker To Everyone:

       Das Pad: https://ishtar.iwus.org/p/3d

10:02:51 From Martin Stricker To Everyone:

       Das Wiki: https://ag3d.org/index.php/Startseite

10:06:12 From Clarissa Kopanitsak To Everyone:

       Super, Vielen Dank! :D

10:07:59 From Clarissa Kopanitsak To Everyone:

       Wird es aufgenommen?

10:13:45 From David Kühner (acameo) To Everyone:

       Reflectance Transformation Imaging (RTI)

10:14:07 From Robert Päßler To Everyone:

       https://apps.unive.it/server/eventi/35921/RTI%20in%20Sigillography%20v2_compressed.pdf

10:14:28 From Kristian Peters LAV NRW To Everyone:

       https://sketchfab.com/3d-models/siegel-micro-46f8b0f7fc4848e3a4573c7a9f02523a

10:16:16 From Louise Tharandt To Everyone:

       https://vcg.isti.cnr.it/PalazzoBlu/

10:18:54 From Kristian Peters LAV NRW To Everyone:

       kristian.peters@lav.nrw.de

10:23:04 From Martin Stricker To Everyone:

       https://hexagon.com/de/products/stereoscan-neo

11:16:07 From Clarissa Kopanitsak To Everyone:

       Ein Artikel zum "Gaussian Splatting": https://huggingface.co/blog/gaussian-splatting

11:17:08 From Marcus Rebhan ThULB Jena To Everyone:

       https://youtu.be/w43KV79LsFw?si=_JdDcVeFv0---YZK

11:17:17 From Marcus Rebhan ThULB Jena To Everyone:

       Video zu Gaussian Splatting

11:17:23 From Clarissa Kopanitsak To Everyone:

       👍

11:31:54 From Ferdinand Maiwald To Everyone:

       https://codingdavinci.de/de/daten/makrofotografien-und-3d-modelle-von-insekten

11:32:02 From Wibke Kolbmann To Everyone:

       https://www.dinarda.org/disc3d

11:34:25 From Marcus Rebhan ThULB Jena To Everyone:

       Vielen Dank für diesen sehr interessanten Vortrag!

11:35:56 From Anna Greger To Everyone:

       Vielen Dank! Es war wieder sehr spannend!

11:36:35 From Karl Pallan To Everyone:

       Vielen Dank an alle, das war sehr informativ!

11:36:54 From Clarissa Kopanitsak To Everyone:

       Danke bis dann!