AG-Treffen 2026/06/24 Überblick über die Grundlagen von 3D Gaussian Splatting

Aus AG3D
Zur Navigation springen Zur Suche springen

AG3D interaktives Protokoll vom 24.06.2026, 10:00 Uhr

Informationen zur AG3D

Links & Ressourcen

Werkstattbericht Roland Clauß : Überblick über die Grundlagen von 3D Gaussian Splatting

Theorie

  • 3D-Digitalisierung, feine Strukturen (Bsp. Käfer) wie Fühler und feine Haare könnten nicht dargestellt werden - hierfür wird Gaussian Spatting genutzt
  • bei Computer Tomographie werden einzelene Schichten aufgenommen, Dichte wird angezeigt in Farbe oder Graustufen
  • Meshmodell (Oberflächenmodell) vs. volumetrischs Modell (im Raum Schichten) bsp. CT-Daten
  • Prinzip seit 1991 bekannt/ Idee entstanden (Lee Westover, Sun Microsystems Inc.)
  • jeder Raumpunkt mit Farbinformation wird auf (2D)Bild projeziert mit Eigenschaften
  • Rückprojektion auf Bildfläche, Orthografische Projektion mit Filterfunktion einer Gaußverteilung (Gaußsche Filter produzieren keine Verzerrungen)
  • Bernhard Kerbl et al., Université Cóte d´Azur (2023) "wiederbelebt" und zur Rekonstruktion herangezogen vgl. zuvor war es lediglich eine Darstellung
  • wie kann man volumetrische Daten als Funktion darstellen, erforscht 2023 - hierfür wurde eine Funktion entwickelt um diese mathematisch darzustellen
  • man kann sich den Gaussian Splat als Ellipsoid vorstellen
  • Ein Gaussian Splat ist quasi unendlich, geht gen 0 erreicht diese aber nicht im dreidimensionalen Raum.
  • Pipeline gebaut aus Bildern eine realen Objektes zu einer virtuellen Repräsentation als volumetrische Daten
  • ohne Start Punktwolke (Sparse Cloud wie SfM), geht es nicht, diese sollte auch schon gut erstellt werden
  • aus volumetrischen Daten wird Bild wieder zurückgerechtnet, diese Bild wird mit Originalaufnahme verglichen und die Fehler dazwischen werden versucht zu minimieren
  • Entwicklung/Ziel: ist die Rückrechnung aufs Bild um den Fehler zu minimieren - Wahrer Punkt physisch der im Bild erfasst ist und dann volumetrisch dargestellt wird.
  • Verlustberechnung wird optimiert und auf alle Parameter angewendet, Splats werden optimiert
  • Densification - Verdichtung der Gaussian Splats - haben großen Einfluss auf das Ergebnis - hier gibt es vers. Wege diese zu erreichen
  • zwischen 20.000 und 100.000 Iterationsschritte werden als Schleife durchgeführt
  • Wichtig (kurz zusammengefasst): Gaussian Splats ist ein Ellipsoid (eine langgestreckt Sphere) sie sind fließend, haben eine Dichte, haben Farbe, sind eine große Menge, können Millionen sein und werden über iterative Prozesse, die immer wieder durchgeführt werden, um am nächsten an das Original zu heranzukommen, so dass es immer stabiler wird und es keine große Schwankungen/ Veränderungen mehr gibt
  • Vgl. SFM deterativ vs. iterativ - Gaussian splat kann auch in einer Sackgasse landen, sodass kein Ergebnis erstellt werden kann
  • Regel (eigentlich wie bei jeder Arbeit) ist die Basis gut, ist das Ergebnis gut: Möglichst viele Bilder, scharfe Bilder, präzise Anordnung beim SFM führen zu einem guten Gaussian Splat
  • Der Restfehler soll so klein wie möglich werden (ein Restfehler bleibt immer) hierfür muss die Basis der Aufnahme so gut wie möglich sein.
  • (s. Folie mit den einzelnen Iterations-Schritten) Schritt 4 - hier wird der Fehler L möglichst klein angestrebt
  • SH = Spherical Harmonics sorgen für Lebendigkeit im 3D-Modell (es wird nicht eine feste Farbe definiert, sondern abhänging von der Betrachtung dargestellt) SH-Basisfunktionen geht in der Regel bis zur Ordnung 3, was danach kommt ergibt häufig keinen Sinn mehr
  • Diese Ordnungen stellen die Blickrichtungen da, je höher die Ordnung, desto detailreicher (0=zwei / Nord Süd, 1=sechs, etc.)
  • Bei Ordnung 3 kann man 16 verschiedene Richtungen angeben, daher kann auch Glänzen und Reflektion dargestellt werden
  • L=0 - zwei Richtungen, ...
  • SH - sind mathematische Formeln die aus vers. Richtungen vers. Farben darstellen können, z.B. Reflektionen die sich mit verändern je nach Blickwinkel.
  • => Richtungsabhängie Farbdarstellungen
  • Empfehlung: SH beim Splatting immer in der Ordnung 3
  • glänzende Oberflächen bei den Originalobjekten (z.B. Goldobjekte) - Gaussian Splat braucht die Reflektionen in Bild um diese später für die Darstellung zu nutzen
  • Lichtquelle ist fix und Objekt dreht sich = CyberGlobe vs. Objekt dreht sich und die Beleuchtung wandert mit der Blickrichtung (Ringlicht um/ an der Kamera)
  • SH-Koeffizienten geben die Farbe aus einer Bestimmten Richtung an - diese Bilden das Licht ab als Reflektion - dabei macht es keinen Unterschied ob das Licht fix ist oder sich mit der Kamera mitbewegt.
  • Über die Reflektion werden Oberflächeninformationen transportiert die das 3D-Modell realistischer erscheinen lassen, anders als beim SFM wo das Licht extra rausgerechnet wird
  • mittels pbr kann beim Mesh (SFM) das Licht künstlich gesetzt werden, dies ist bei Gaussian Splat derzeit nicht möglich, aber aktuell Forschungsgegenstand
  • durch pbr kann dann eine fotorealistische Darstellung auch beim Mesh erreicht werden (glanz bei Gold zum Beispiel)
  • Beim Gaussian Splat kann das licht nicht/ oder nur sehr sehr schwierig verändert werden, bringt aber vom Prinzip selbst die fotorealistische DArstellung mit den Reflektionen mit.
  • Instabile /Feine Objekte sind schwierig im 3D Modell zu erfassen, da sie sich bei der Aufnahme noch bewegt haben, als Gaussian Splat kann alles dargestellt werden, auch feinste Details. Dort wo es sich bewegt hat, ist im Gaussian Splat auch eine Unschärfe zu sehen, wie ein doppeltes oder unscharfes Bild
  • Rückproportion kann falsch dargestellt werden, ähnlich wie bei anderen Digitalisierungen, wenn Beweung in beweglichen Teilen bei der Digitzalisierung stattfindet, dann entstehen Dopplungen, Holo-Erscheinungen (bsp. "Geister-Borste" am Muschelhut)
  • je näher man an das Objekt heranzoomt, desto unschärfer und wirrer wird das Objket, man sieht die Ellipsoide diese sehen aus wie eine Netzkonstruktion (sieht aus wie Glasfasergewebe), langgezogene dünne "Gaswolken"
  • Praxistipps - Verdichtungsstrategien (s. oben) wichtig für das Endergebnis
  • ADC - nur im Postshot (schon älter?) - wenn in das 3D-Gaussian-Modell reingezoom wird, wird die Elipsoid-Oberfläche sichtbar
  • IGS+ - gibt es nur als Implementation im Lichtfeld Studio - Software, berücksichtigt vor allem die Kantendetails, Berechnung länger [Herr Roland Clauß ist nicht überzeugt von dieser Methode/ Iteration] -> "Ergebnisse sind nicht zu verwenden!"
  • MRNF - implementation nur im Lichtfeld Studio - Software, ist nicht open source, hat auch einen Anteil von Kantengeführten Details, allerdings hat die Iteration in der Rückproperation angefangen zu halluzinieren, setzt splats ein wo sie nicht sind [Herr Roland Clauß: es gibt Gaussian Splats die in der Oberflächendarstellung und Textur gut sind] -> aber es gibt bedenken wegen der Halluzinantionen
  • MCMC - (schon etwas älter, etwa seit zwei Jahren) - hat eine gewisse Zufallskomponente, mit einer Wahrscheinlichkeit werden neue GAussian Splats zufällig generiert, wie kommen diese in der Rückproportion an? damit ist es recht schnell. - !!! - Bei MCMC können u.U. Haare und Borsten besser abgebildet werden.
  • Splat3 - gibt es nur im Postshot - ist proprietär, bester Detaillierungsgrad
  • Beim Splatten wird alles in der Scene rekonstruiert, auch der Hintergrund
  • eher danach Bereich festlegen (Area of Intrest), da der Hintergrund hilft bei der Berechnung und Erstellung der Scene / Splats
  • es gibt verschiedenste Sofware (Produkte / Suite) aus dem OpenSource Bereich und nicht besonders Anwenderfreundlich
  • Ein Vormaskieren ist nicht zielführend, da Texturen falsch dargestellt werden können, gerade wenn es in Bereiche z.B. mit Haaren gehen, die eine Transluzenz aufweisen
  • Lichtfeld Studio (https://lichtfeld.io/) - einmalig 50€ - Empfehlung MRNF [Roland Clauß] - Version 5.2
  • Postshot (https://www.jawset.com/) - Pricing: https://www.jawset.com/shop/pricing/ - 70€ pro Monat - Empfehlung Splat3 [Roland Clauß]
  • beide kommen aus Deutschland
  • Viewer von SuperSplat - superspl.at
  • Gaussian Splat sind am Ende im gleichen Format, es ist egal mit welcher Verdichtung gearbeitet wurde


Praxis

  • Lichtfeld Studio - Version 5.2 es gibt tagesaktuelle - kein
  • Einblick in die Software /Interface - kann schnell unübersichtlich werden.
  • Drauf zu achten!!! :
    • die reduzierung der Bilder ausstellen - die maximale Breite ausstellen. (anmerkung aus dem auditorium: einstellung auf 0 nicht möglich)
    • Undistort: anmachen
    • Mip Filter: an
    • skalierungsfaktor: = 1
    • FS-Cache: ausmachen! (sonst kann ma nach na Woche wiederkommen und es passiert nichts)
    • max. gaussians 15M
    • SH Grad = 3
    • Retration = 100K
  • Optimierung bleibt zunächst einmal im default - hier muss im allgemeinen vorsichtig sein, default einstellungen sind das beste was Herr Roland Clauß damit hinbekommen hat.
  • lambda DSSIM = 0.200 - 28% L1
  • Zwischenspeichern kann man bei z.B. 45K iteration (kann, muss aber nicht) Herr Roland Clauß wartet einfach die zwei Stunden für die Iterationen
  • dann starten
  • jetzt werden die Splats gesetzt und orientieren sich immer näher in iher Anpassung an die originalBilder
  • der SFM-DAtensatz der reingeladen wird, muss sehr präzise sein - Collmap, Glowmap, RC, - das lichtfeldstudio macht kein matching, rechnet einfach nur seine Daten durch.
  • ply - Standardformat für Gaussain Splats - Tabellenformat, weil es auch offen ist und ergänzungen gemacht werden können.


  • Wichtig!
    • MipFilter und Undistort sind die Stolperfallen bei Lichtfeldstudio
    • Bei RC - mind. die höchste Bildauflösung nehmen oder besser noch eine höhere Auflösung wählen, da sonst das Abbildnen einer Bildmatrix beim Abbilden auf eine andere Verluste aufkommen.
  • Bsp. Kellergewölbe mit GCPs (Ground control points) per Tachi einmelssen und drüber legen
  • Postshot
    • Camera poses = import
    • limit image size = ausmacen
    • Start training = ausmachen - wenn wir importieren, wird der Bereich des Intresses festgelegt
    • max. splat count = 15M
    • Region of Interest einstellen - Edigt-Modus: CropBox erstellen - diese auf das Objekt ziehen/beschränken, für diese CropBox bekommen wir Werte die dann für die Region of Intrest verwendet werden können - diese CropBox kann interaktiv verändert werden, es wird lediglich in der Box Splats generiert.

dann noch 100 000 / 100 K Schritte/interationen

    • dann auf Start und loslegen
    • durch die CropBox wir der Hintergrund nicht mit abgebildet


Fragen

  • kannst du noch mal auf den Einzelkämpfer eingehen? lichtfeld studio oder Postshot?
  • beide Software sind Einzelkämpfer
  • Gaussian Splat funktioniert eigentlich nur mit Nvidia-Grafik
  • Reflektionen: Problemstellung/Frage: Beispiel: Die Reflektionen sind im Objekt, die Splats werden angeordnet wo sie in der Rückführung im Bild den kleinsen Fehler ergeben, dadurch wird die Spiegelung im Objekt verortet/ Physikalisch u.U. korrekt


Sonstiges

Offene Runde

Termine

  • 08.07.: ???
  • 12.08.: ???
  • 16.09.: ???
Abgerufen von „https://ag3d.org/index.php?title=AG-Treffen_2026/06/24_Überblick_über_die_Grundlagen_von_3D_Gaussian_Splatting&oldid=2165“