AG-Treffen 2022/11/09: Staatliche Kunstsammlungen Dresden: Digital Curation

Protokolle • Projektliste • Verfahren, Software, Objekte

AG3D interaktives Protokoll 2022/11/09, 10:00 Uhr

Begrüßung & Informationen zur AG3D

3D Hackathon

• Voller Erfolg, schöne Ergebnisse
• Youtube-Link zur Preisverleihung: https://www.youtube.com/watch?v=Opyw_L4roCM
• Viele spannende Ergebnisse: Hackdash: https://hackdash.org/dashboards/cnewd
• Preis für größte technische Innovation: https://total-stereo.code.jschaeffer.de
• Lesson learned: Orga braucht viel Zeit und ist hoher Aufwand

Werkstattbericht

Jacob Franke, Digital Curator, Staatliche Kunstsammlungen Dresden

Damaskuszimmer

• Empfangszimmer aus Damaskus
• vollständig saniert
• 1810/11
• 5,50m x 4m x 5,40m
• lag im Depot der Ethnographischen Sammlungen bis 90er Jahre
• Restaurierung inzwischen abgeschlossen
• zu sehen im Japanischen Palais Dresden
• Bestand: Vertäfelungen
• Ausstellungsräume nicht hoch genug für volle Höhe
• Lösung: Teil der Wand um 90° gekippt und Decke herabgesenkt
• 130 Einzelteile
• Vorige Visualisierung durch ein Papiermodell
• In Arbeit: Tastmodell (Inklusion)

-> Bestimmte Punkte lösen Audiofiles aus, die Informationen liefern -> Photogrammetrie hierfür auch dienlich

Vorgang

• Software: Metashape
• Hardware: DSLR Kamera, zwei Scheinwerfer, Leiter, Baugerüst, einfarbige Abhängung (war nicht unbedingt nötig, aber Rechendauer wurde dadurch deutlich verringert)
• Probleme:
  • Schattenwürfe
  • Reflektionen
  • Arbeit mit Tageslicht
  • Keine identische Beleuchtung bei verschiedenen Teilen möglich
  • -> Probleme konnten in der Nachbearbeitung gut gehandlet werden
• Aufnahmen: händische Erfassung

Am Objekt

• In verschiedene Abschnitte geteilt, im Hinblick auf späteres Zusammenfügen ausgewählt (Schnittkanten)
• Schrägen machen sich in Tiefenschärfe bemerkbar (in der Textur)
• Ziel: keine wissenschaftliche Genauigkeit, sondern Raumwirkung

Nachbearbeitung

• Blender
• Feine Reliefs gut erfasst (nicht nur in Textur)
• Teilweise Unschärfen durch schräge Aufnahmen (mit mehr Zeit präziser möglich)
• Sehr große Datei

-> manuelle Reduktion durch einfacheres gebautes Modell (von 18. Millionen auf ~6000 Dreiecke)

• Ad in Tool Tex Tools für Baking in Blender: https://github.com/SavMartin/TexTools-Blender

https://www.youtube.com/watch?v=eOHjXydeW3o Tutorial

• Ergebnis: Texturen in 4k
• Metallteile auf Platten zu großen Teilen abgenutzt, aber für Teile des eingesetzten Gedichts wurde eine Metal Map erstellt
• -> andere Reaktion auf Licht -> mögliches Ziel einer Hervorhebung in der späteren Anwendung
• Einzelteile später zusammengefügt, Detailarbeit

VR Anwendung

• Unreal Engine
• -> starke Unterschiede der Lichtverhältnisse zwischen UE Backend und VR Brille
• Aktuell: Anwendung im Sitzen, nicht für Bewegung im Raum konzipiert
• Metalle sind nicht zufriedenstellend trotz Metal Maps
• Flache Reflektionsfläche überfordert UE (im Gegensatz zu runden), Anwendung stürzt ab

Umgebender Raum

• In Blender modelliert

Diskussion

Patrick McDonough: Wie viele Fotos gemacht/verwendet?

• Jacob: ca. 170 pro Abschnitt
• Mit Stativ hätte es länger gedauert, wäre aber sicherlich präziser gewesen –> andere Tiefenschärfe wäre möglich gewesen

Muriel: Mit Welchem Abstand hast du in etwa fotografiert? Mit welchen Passpunkten?

• Jacob: automatisierte Passpunkte (werden selbst gesucht in Agisoft Metashape), ungefähre Abstände, nicht genau

Muriel: Größte Herausforderungen?

• Jacob: Neumodellierung war am komplexesten
• Jacob: Baking: (räumliche) Details auf glatte Fläche backen für Textur -> Räumlichkeit lässt sich durch Lichtreflexe simulieren, wo eigentlich keine sind (weniger Polygone als tatsächliche räumliche Informationen)

Patrick Dinger: Was war das Ziel? Wie kam es zu dem Projekt? Strategische Asuwahl der Programme?

• Jacob: Geistesiwissenschaftlier Background, 3D affin, Kenntnis in verschiedener Software, neue Software für dieses Projekt angelernt (Kenntnisse in Unity, aber Unity berechnet Preis nach Einkommen der Institution; UE berechnet nach Einnahmen des spezifischen Produkts -> daher kostenfrei für SKD, da die Ausstellung kostenfrei zugänglich ist -> demnach Entschluss UE zu nutzen und sich neu einzuarbeiten)

Patrick McDonough: Wie hat sich der Workflow durch dass gelernte geändert, gerade in Bezug auf Programm ablauf?

• Jacob: eigendlich hat sich der Workflow nicht stark verändert
• Jacob: wichtiger war, dass die unterschiedlichen Herausforderungen der Digitalisierung/Fotografie zu beachtet. Bei der Fotografie hat man dann nach und nach immer mehr dazu gelernt. Aber Metashape konnte sehr viel korriegieren 

Patrick Dinger: Woran ist es gescheitert, die Decke als ein Objekt zu erfassen? / Wo bist du an Grenzen gestoßen?

• Jacob: Porblem: gleichmäßige Ausleuchtung, daher in Einzelteilen erfasst und anschließend zusammen gefügt

Muriel: Tastmodell?

• Jacob: Das wird gedruckt, bislang erstmal ein Papiermodell (ca. 60 cm breit) (noch nicht das Tastmodell) -> externer Anbieter
• antiziperte Breite: ca. 2m -> zum hineingehen
• vermutlich Ende des Jarhes

Eliane: Größenverhältnisse? Sind Vergleiche zu anderen Zimmern möglich?

• Jacob: Modell ist auf die Gesamtgröße des Zimmers skaliert. Maße an sich stimmen und lässt sich reskalieren

Eliane: Weitere Nutzung des Modells? Ideen?

• Jacob: Für Restaurator:innen bisher noch keine konkreten Pläne. Ziele momentan: Verse des Gedichts vorgelesen bekommen / Erzählungen einbauen

Michael: Einsatzbereich nur im Museumkontext? Oder sind weitere Nachnutzungen angedacht?

• Jacob: Wenn das Objekt auseinander gebaut ist, ist wissenschaftliche Genauigkeit möglich, es wäre aber ein anderer Erfassungsvorgang nötig gewesen -> Photogrammetrie selber müsste präziser sein
• Jacob: Aktueller Stand: Eher Vermittlung
• Jacob: Mühe ist es dafür auch Wert gewesen -> Nachmodellierung war am aufwändigsten, das ist vor allem für die Vermittlung relevater, da es ja die tatsächliche Räumlichkeit verfälscht

Chat

10:07:37 Von Martin Stricker an Alle: https://hackdash.org/dashboards/cnewd 10:07:57 Von Léonie Cujé an Alle: Heutiges Live-Protokoll: https://ishtar.iwus.org/p/3d 10:08:01 Von Martin Stricker an Alle: https://www.youtube.com/watch?v=Opyw_L4roCM 10:08:40 Von Martin Stricker an Alle: https://total-stereo.code.jschaeffer.de/ 10:29:55 Von Patrick McDonough – Sammlungsdinge an Alle: Frage: Wie viele Fotos wurden gemacht, wie viele davon verwendet?