AG-Treffen 2023/10/18: Offene Softwarelösungen zu SfM

AG3D interaktives Protokoll • https://ag3d.org/ 2023/10/18, 10:00 Uhr

Neue Mitglieder

==

Karl Pallan

Begrüßung & Informationen zur AG3D

==================

Links & Ressourcen: Wiki: <https://ag3d.org> Mailingliste abonnieren: <https://www.listserv.dfn.de/sympa/subscribe/ag3d> Protokolle: <https://ag3d.org/index.php/Protokolle> Videos: <https://www.youtube.com/channel/UCgacyn-2vUVvVG3tySHpovA> Tassen-Benchmark: <https://ag3d.org/index.php/Tassenbenchmark> Miro-Board: <https://miro.com/app/board/o9J_l-VOz-g=/>

Neuigkeiten: Bericht von der Sammlungstagung Workshop: https://ishtar.iwus.org/p/3dbonn Poster "Angeber" Bericht von der LVT Mannheim

Offene Runde

=

Themen für Werkstattberichte 08.11. und 13.12. Kristian Peters, Multispektralfotografie RTI (Köln/Louise Tharandt) Kristian Peters (Landesarchiv NRW, kristian.peters@lav.nrw.de): Scannen von Siegeln? Vorschlag: RTI https://vcg.isti.cnr.it/PalazzoBlu/ Thema für eine AG3D-Sitzung? Ferdinand Maiwald: StereoScan Neo https://hexagon.com/de/products/stereoscan-neo Probleme: Farbwiedergabe/Textur Erfahrungen?

Werkstattbericht

=

Ferdinand Maiwald: Offene Softwarelösungen zu SfM

Gliederung Grundlagen 2 Open Source-Lösungen

Wiss. Bio Schwerpunkt Photogrammetrie, Promotion Seit 2019 TU Dresden 2021 Jena 2023 Professur Optische 3D-Messtechnik Dresden

Grundlagen Photogrammetrische Messverfahren Heute: SfM SfM-Workflow Bilder auswählen, kann Software auch automatisch machen Preprocessing der Bilder: Raw? Jpeg? Feature Detection: Punkte finden, zuordnen in Bildpaaren Geometrische Verifizierung, Eliminierung falscher Paare Kamera-Parameter einstellen Bündelblockausgleichung: Punkte werden in Objektraum projiziert, Rückprojizierung auf die Bilder, Kamerapositionen identifizieren 3D-Modell

Merkmalsdetektion (Feature Detection) Merkmalspunkte werden "beschrieben", identifiziert, gefunden läuft über Grauwerte mit unterschiedlichen Bildauflösungen, um wichtigste Paare zu identifizieren automatische Verfahren der Identifizierung korrekter und falscher Paare

Kameraparametrisierung manuelle Eingabe der Parameter der Kamera Kamera kalibrieren (alternativ, genauer, aufwändiger)

Bündelblockausgleichung (Bundle Adjustment) Einpassen der Bilder in eine "Szene", Punktewolke

Dense Cloud

SfM-Software Agisoft Metashape weitere proprietäre Programme, u.a. Pix4D, RealityCapture Open Source: Bundler VisualSfM MicMac OpenDroneMap OpenSFM COLMAP Alicevision Meshroom

Geschichte Bündelblockausgleichung schwierigster Schritt erste Open Source-Löung: 2008 (Bundler) VisualSFM MicMac Agisoft PhotoScan/Metashape verdrängt Open Source 2016 COLMAP, Computer Vision, sehr leistungsstark, viele Parameter 2018 Meshroom mit GUI (angelehnt an Agisoft)

Vergleich Open Source-Lösungen

COLMAP https://colmap.github.io/ Dense Matching geht nur mit NVIDIA-Grafikkarte (CUDA https://de.wikipedia.org/wiki/CUDA) DEMO Vorteile Nachteile: Punktwolke kann nicht skaliert werden Dichte Punktwolke nur mit CUDA

Meshroom https://alicevision.org/#meshroom viel Automation DEMO Vorteile gute GUI Statistiken (für Publikationen z.B.) Schnell Stapelverarbeitung

CloudCompare https://www.danielgm.net/cc/

Gaussian Splatting (braucht COLMAP) https://www.youtube.com/watch?v=w43KV79LsFw https://huggingface.co/blog/gaussian-splatting

Fragerunde

=

Leistung? Meshroom: 1-3 Stunden (40-100 Bilder)

David Kühner: mit welcher OS-Software weiterarbeiten mit Dense Cloud? Ferdinand: CloudCompare, MeshLab, Blender

Carlos: Genauigkeit Metashape und OS? Ferdinand: COLMAP so gut wie Metashape, RealityCapture

Wie funktioniert Dense Matching? Ferdinand: Kamerapositionen bekannt: jeder Pixel der Bilder wird nun in den Objektraum projiziert ... Semi Global Matching (Standard) ... Neural Radiance Fields (nicht so präzise? Sieht besser aus)

Markus Rebhan: Texturinfo kann nicht verwendet werden? Ferdinand: geht auch. COLMAP macht kein Gitter, aber jeder Punkt hat Farbinfo; Mashroom kann Gitter machen, oder direkt Punkte verwenden

David Kühner: Einsatzbereiche. Gebäude: Vergleich mit LIDAR? Ferdinand: Laser sollte genauer in den Einzelpunkten, SfM bessere visuelle Qualität, dichtere Punktwolke digitaler Zwilling? LIDAR Zeit: SfM etwas schneller Oft ja beides zuleich (Kamera auf dem Laser)

Wie klein darf ein Objekt sein? Ferdinand: bei sehr kleinen Objekten ist vielleicht Streifenlicht besser Marcus Rebhan: hängt vom Objektiv ab, z.B. Makrofotografie ermöglicht auch sehr kleine Objekte; vgl. https://www.dinarda.org/disc3d

Sonstiges

==

Chat

==

10:00:55 From Clarissa Kopanitsak To Everyone:

       Guten Morgen. :)

10:02:27 From Martin Stricker To Everyone:

       Guten Morgen ☀️

10:02:39 From Martin Stricker To Everyone:

       Das Pad: https://ishtar.iwus.org/p/3d

10:02:51 From Martin Stricker To Everyone:

       Das Wiki: https://ag3d.org/index.php/Startseite

10:06:12 From Clarissa Kopanitsak To Everyone:

       Super, Vielen Dank! :D

10:07:59 From Clarissa Kopanitsak To Everyone:

       Wird es aufgenommen?

10:13:45 From David Kühner (acameo) To Everyone:

       Reflectance Transformation Imaging (RTI)

10:14:07 From Robert Päßler To Everyone:

       https://apps.unive.it/server/eventi/35921/RTI%20in%20Sigillography%20v2_compressed.pdf

10:14:28 From Kristian Peters LAV NRW To Everyone:

       https://sketchfab.com/3d-models/siegel-micro-46f8b0f7fc4848e3a4573c7a9f02523a

10:16:16 From Louise Tharandt To Everyone:

       https://vcg.isti.cnr.it/PalazzoBlu/

10:18:54 From Kristian Peters LAV NRW To Everyone:

       kristian.peters@lav.nrw.de

10:23:04 From Martin Stricker To Everyone:

       https://hexagon.com/de/products/stereoscan-neo

11:16:07 From Clarissa Kopanitsak To Everyone:

       Ein Artikel zum "Gaussian Splatting": https://huggingface.co/blog/gaussian-splatting

11:17:08 From Marcus Rebhan ThULB Jena To Everyone:

       https://youtu.be/w43KV79LsFw?si=_JdDcVeFv0---YZK

11:17:17 From Marcus Rebhan ThULB Jena To Everyone:

       Video zu Gaussian Splatting

11:17:23 From Clarissa Kopanitsak To Everyone:

       👍

11:31:54 From Ferdinand Maiwald To Everyone:

       https://codingdavinci.de/de/daten/makrofotografien-und-3d-modelle-von-insekten

11:32:02 From Wibke Kolbmann To Everyone:

       https://www.dinarda.org/disc3d

11:34:25 From Marcus Rebhan ThULB Jena To Everyone:

       Vielen Dank für diesen sehr interessanten Vortrag!

11:35:56 From Anna Greger To Everyone:

       Vielen Dank! Es war wieder sehr spannend!

11:36:35 From Karl Pallan To Everyone:

       Vielen Dank an alle, das war sehr informativ!

11:36:54 From Clarissa Kopanitsak To Everyone:

       Danke bis dann!