AG-Treffen 2023/10/18: Offene Softwarelösungen zu SfM
AG3D interaktives Protokoll • https://ag3d.org/ 2023/10/18, 10:00 Uhr
Neue Mitglieder
Karl Pallan
Begrüßung & Informationen zur AG3D
- Links & Ressourcen
Wiki: <https://ag3d.org>
Mailingliste abonnieren: <https://www.listserv.dfn.de/sympa/subscribe/ag3d>
Protokolle: <https://ag3d.org/index.php/Protokolle>
Videos: <https://www.youtube.com/channel/UCgacyn-2vUVvVG3tySHpovA>
Tassen-Benchmark: <https://ag3d.org/index.php/Tassenbenchmark>
Miro-Board: <https://miro.com/app/board/o9J_l-VOz-g=/>
- Neuigkeiten
Bericht von der Sammlungstagung
Workshop: https://ishtar.iwus.org/p/3dbonn
Poster
"Angeber"
Bericht von der LVT Mannheim
Offene Runde
- Themen für Werkstattberichte 08.11. und 13.12.
Kristian Peters, Multispektralfotografie
RTI (Köln/Louise Tharandt)
Kristian Peters (Landesarchiv NRW, kristian.peters@lav.nrw.de): Scannen von Siegeln?
Vorschlag: RTI https://vcg.isti.cnr.it/PalazzoBlu/
- Thema für eine AG3D-Sitzung?
Ferdinand Maiwald: StereoScan Neo https://hexagon.com/de/products/stereoscan-neo
Probleme: Farbwiedergabe/Textur
Erfahrungen?
Werkstattbericht
Ferdinand Maiwald: Offene Softwarelösungen zu SfM
Gliederung
Grundlagen
2 Open Source-Lösungen
- Wiss. Bio
Schwerpunkt Photogrammetrie, Promotion
Seit 2019 TU Dresden
2021 Jena
2023 Professur Optische 3D-Messtechnik Dresden
Grundlagen Photogrammetrische Messverfahren
- Heute: SfM
SfM-Workflow
Bilder auswählen, kann Software auch automatisch machen
Preprocessing der Bilder: Raw? Jpeg?
Feature Detection: Punkte finden, zuordnen in Bildpaaren
Geometrische Verifizierung, Eliminierung falscher Paare
Kamera-Parameter einstellen
Bündelblockausgleichung: Punkte werden in Objektraum projiziert, Rückprojizierung auf die Bilder, Kamerapositionen identifizieren
3D-Modell
- Merkmalsdetektion (Feature Detection)
Merkmalspunkte werden "beschrieben", identifiziert, gefunden
läuft über Grauwerte
mit unterschiedlichen Bildauflösungen, um wichtigste Paare zu identifizieren
automatische Verfahren der Identifizierung korrekter und falscher Paare
- Kameraparametrisierung
manuelle Eingabe der Parameter der Kamera
Kamera kalibrieren (alternativ, genauer, aufwändiger)
- Bündelblockausgleichung (Bundle Adjustment)
Einpassen der Bilder in eine "Szene", Punktewolke
- Dense Cloud
- SfM-Software
Agisoft Metashape
weitere proprietäre Programme, u.a. Pix4D, RealityCapture
Open Source:
Bundler
VisualSfM
MicMac OpenDroneMap
OpenSFM
COLMAP
Alicevision Meshroom
- Geschichte
Bündelblockausgleichung schwierigster Schritt
erste Open Source-Löung: 2008 (Bundler)
VisualSFM
MicMac
Agisoft PhotoScan/Metashape verdrängt Open Source
2016 COLMAP, Computer Vision, sehr leistungsstark, viele Parameter
2018 Meshroom mit GUI (angelehnt an Agisoft)
Vergleich Open Source-Lösungen
- COLMAP
Dense Matching geht nur mit NVIDIA-Grafikkarte (CUDA https://de.wikipedia.org/wiki/CUDA)
DEMO
Vorteile
Nachteile:
Punktwolke kann nicht skaliert werden
Dichte Punktwolke nur mit CUDA
- Meshroom
https://alicevision.org/#meshroom
viel Automation
DEMO
Vorteile
gute GUI
Statistiken (für Publikationen z.B.)
Schnell
Stapelverarbeitung
CloudCompare https://www.danielgm.net/cc/
Gaussian Splatting (braucht COLMAP) https://www.youtube.com/watch?v=w43KV79LsFw https://huggingface.co/blog/gaussian-splatting
Fragerunde
Leistung? Meshroom: 1-3 Stunden (40-100 Bilder)
David Kühner: mit welcher OS-Software weiterarbeiten mit Dense Cloud? Ferdinand: CloudCompare, MeshLab, Blender
Carlos: Genauigkeit Metashape und OS? Ferdinand: COLMAP so gut wie Metashape, RealityCapture
Wie funktioniert Dense Matching? Ferdinand: Kamerapositionen bekannt: jeder Pixel der Bilder wird nun in den Objektraum projiziert ... Semi Global Matching (Standard) ... Neural Radiance Fields (nicht so präzise? Sieht besser aus)
Markus Rebhan: Texturinfo kann nicht verwendet werden? Ferdinand: geht auch. COLMAP macht kein Gitter, aber jeder Punkt hat Farbinfo; Mashroom kann Gitter machen, oder direkt Punkte verwenden
David Kühner: Einsatzbereiche. Gebäude: Vergleich mit LIDAR? Ferdinand: Laser sollte genauer in den Einzelpunkten, SfM bessere visuelle Qualität, dichtere Punktwolke digitaler Zwilling? LIDAR Zeit: SfM etwas schneller Oft ja beides zuleich (Kamera auf dem Laser)
Wie klein darf ein Objekt sein? Ferdinand: bei sehr kleinen Objekten ist vielleicht Streifenlicht besser Marcus Rebhan: hängt vom Objektiv ab, z.B. Makrofotografie ermöglicht auch sehr kleine Objekte; vgl. https://www.dinarda.org/disc3d
Chat
10:00:55 From Clarissa Kopanitsak To Everyone:
Guten Morgen. :)
10:02:27 From Martin Stricker To Everyone:
Guten Morgen ☀️
10:02:39 From Martin Stricker To Everyone:
Das Pad: https://ishtar.iwus.org/p/3d
10:02:51 From Martin Stricker To Everyone:
Das Wiki: https://ag3d.org/index.php/Startseite
10:06:12 From Clarissa Kopanitsak To Everyone:
Super, Vielen Dank! :D
10:07:59 From Clarissa Kopanitsak To Everyone:
Wird es aufgenommen?
10:13:45 From David Kühner (acameo) To Everyone:
Reflectance Transformation Imaging (RTI)
10:14:07 From Robert Päßler To Everyone:
https://apps.unive.it/server/eventi/35921/RTI%20in%20Sigillography%20v2_compressed.pdf
10:14:28 From Kristian Peters LAV NRW To Everyone:
https://sketchfab.com/3d-models/siegel-micro-46f8b0f7fc4848e3a4573c7a9f02523a
10:16:16 From Louise Tharandt To Everyone:
https://vcg.isti.cnr.it/PalazzoBlu/
10:18:54 From Kristian Peters LAV NRW To Everyone:
kristian.peters@lav.nrw.de
10:23:04 From Martin Stricker To Everyone:
https://hexagon.com/de/products/stereoscan-neo
11:16:07 From Clarissa Kopanitsak To Everyone:
Ein Artikel zum "Gaussian Splatting": https://huggingface.co/blog/gaussian-splatting
11:17:08 From Marcus Rebhan ThULB Jena To Everyone:
https://youtu.be/w43KV79LsFw?si=_JdDcVeFv0---YZK
11:17:17 From Marcus Rebhan ThULB Jena To Everyone:
Video zu Gaussian Splatting
11:17:23 From Clarissa Kopanitsak To Everyone:
👍
11:31:54 From Ferdinand Maiwald To Everyone:
https://codingdavinci.de/de/daten/makrofotografien-und-3d-modelle-von-insekten
11:32:02 From Wibke Kolbmann To Everyone:
https://www.dinarda.org/disc3d
11:34:25 From Marcus Rebhan ThULB Jena To Everyone:
Vielen Dank für diesen sehr interessanten Vortrag!
11:35:56 From Anna Greger To Everyone:
Vielen Dank! Es war wieder sehr spannend!
11:36:35 From Karl Pallan To Everyone:
Vielen Dank an alle, das war sehr informativ!
11:36:54 From Clarissa Kopanitsak To Everyone:
Danke bis dann!