AG-Treffen 2021/07/14: Anthroworks3D

Werkstattbericht Marleen Mohaupt (Anthroworks3D)

Probleme der Skelettuntersuchung

• Skelette müssen transportiert und analysiert werden
  • Beschädigungen können durch die vielfache Bewegung auftreten
• Sammlungen stehen nicht dauerhaft zur verfügung, sondern werden teils wieder beigesetzt
  • Die wissenschaftlich adäquate Erhaltung ist ein Motivator der Digitalisierung
• = Anstöße zur Entwicklung des Prototypen einer Photogrammetrie-Pipeline

Kooperationen mit verschiedenen Hochschulsammlungen

• Göttingen: Rödelheim Skeletal Collection
• interessant insbesondere wegen des jungen Alters der Individuen
• Sie sollten 2020 beigesetzt werden
• Frage nach Digitalisierung für Erhalt kam auf
• Untersuchungen zu den Skeletten laufen noch
• Mittweida: Aufgabe: Digitalisieren & nutzbar machen
• D.h.: Annotieren, Messen, Austauschen
• Prototyp soll zurück nach Göttingen, um Untersuchungen am digitalen 3D Objekt durchzuführen

Lösungskonzept

• Digitalisierung -> Modell wird erstellt -> daran kann/soll weiter geforscht werden
• Realvermessungen finden auch statt und sollen künftig auch integriert werden
• bestehende & laufende Untersuchungen sollen integriert werden

Fach- und Forschungsstand

• Photogrammetriemodelle können für einen wissenschaftlichen Anspruch erstellt werden
• 3D4Medical -> Blick in den Menschen -> Anatomie erlebbar machen
• Frage: Wie kann man die beiden Aspekte verknüpfen?
• Digitalisierung auf einem hohen Niveau, um Untersuchungen für die Wissenschaft zu ermöglichen

Ziele

• 3D-Echtzeitrendering (Methoden aus dem Game-Development)
• Kooperation mit der Medieninformatik
  • In dieser Zusammenarbeit entstand der Prototyp
• Kosteneffizienz: Bestehende Soft- / Hardware nutzen, Softboxen mussten gekauft werden
• Austauschbarkeit: Auch interdisziplinär, andere Objekte sollen ebenfalls davon Nutzen tragen
• Qualität: wissenschaftliche Nutzung / Auswertung
• UX / UI: breite Nutzbarkeit
• Untersuchungen: Digitale Untersuchungen sollen mit physischen mithalten können

Pipeline

• Stationen
  • Fundstück - Fotografien erstellen - 3D-Modell erstellen- Modell optimieren
• Teilautomatisierung des Prozesses ist bereits erreicht, Ziel ist eine Komplettautomatisierung
• Dauer ca. 8 Min

Equipment

• Drehteller
• 3 Kameras
• 2 Softboxen
• Spezielle Glastische mit entspiegeltem Glas (Knochen können so auch von unten aufgenommen werden)

Nutzung von Referenz mit CCTags

• mehrere Objekte können gleichzeitig Digitalisiert werden / im Zusammenhang digitalisiert werden
• 0.045 mm Abweichung von physischen Messungen

Pipeline in Meshroom

• Pipeline kann selbst zusammengestellt werden
• Pipeline kann für alle Knochen gleich ablaufen

Retopology mit Meshlab

• Vergleiche von Modellen sind disziplinär notwendig
• Anzahl der Polygone muss je nach Nutzen angepasst werden
• Echtzeitvergleiche sind für die Anthropologie notwendig
• 50.000 Polygone für ein Modell als Vorgabe festgelegt
• Abweichung liegt bisher bei 0.01%, es stehen allerdings noch weitere Tests an

3D-Rekonstruktionsergebnisse

• zeigt den ersten digitalisierten Knochen (mit Knetresten eines Stabiliserungsversuchs)
• Pathologien werden mit dargestellt

Anwendung des Prototypen

• Nutzung von unity, programmiert in C#

[Zeigt Demonstrationsvideo der Anwendung]

Annotationen

• Punkte werden am Objekt gesetzt
• Linienmarkierung wird am Objekt, nicht im Raum gemacht, Fläche kann auch gezeigt werden, um bestimmte Teile des Objektes hervorzuheben

Messung

• Messungen geschehen von Punkt zu Punkt
• Können geändert und/oder Annotiert werden
• Umfangsmessungen sind möglich
• Winkelmessung
• Weitere Messverfahren sind in der Entwicklung

Evaluation

• Evaluationen von 7 Anthropolog:innen verschiedener Wissensstände
• Welche Unterschiede entstehen bei den Messungen? Wie ist die UX?
• Getestet mit Anthropolog:innen und Medieninformatik Studierenden
• Grafik: Man sollte im rechten Bereich sein
• Ergebnis: Der Prototyp kann eingesetzt werden

Messzuverlässigkeit

• Ersetzt die Arbeit am Realknochen nicht, dennoch gute Lösung

Schwierigkeiten

• Ausrichtung / Kameraposition
• Auflösung
• Schwierige Einschätzung der Distanz
• Fehlender Tastsinn

Anwendungsfelder

• dauerhafte Verfügbarkeit
• Bestandsschutz
• Messungen können schnell durchgeführt werden
• Vergleichspopulationen können international verglichen werden
• Austausch ist gegeben

Vision für die Zukunft

• Falldatenbank
• -> verschiedene Kurator:innen & Forschungsgruppen sollen das Tool nutzen
• -> Vernetzung / Austausch
• Integration von weiteren Daten (CT, Endoskopie)
• Integration von physischen Untersuchungen

Ausblick

• ForensicWorks3D
• zeigt Dose mit Fingerabdrücken: Spuren können verglichen werden
• -> xWorks3D: Anwendung ist auf verschiedene Objekte anwendbar

Diskussion

Messung

• Patrick: Messungen am Realobjekt / Meinst du die Messung ist gut genug, um nur digital zu messen?
• Marleen: Physische Messung wurde genutzt, um Skalierungsproblemen vorzubeugen, keine Kalibrierung wurde gemacht
  • Physische Messungen werden nicht ersetzt werden können, digitale Messungen sind eher als Zusatz zu verstehen, um auch im Nachgang weiter an dem Objekt zu arbeiten
  • Beispiel: Forensik: Stichwunde wird im 2D Bild nicht gezeigt, 3D kann besser dreidimensionale Relationen deutlich machen
• Patrick: Annotationen, wo werden diese gespeichert und wie?
• Marleen: Nutzen JSON Format, um die Annotationen & Metadaten abzuspeichern

Weitergabe von Daten

• Zoe: Background: sie kommt aus zwei unterschiedlichen Kontexte, u.a. Uni Köln Kompakkt. Kann man mit den heute vorgestellten Daten arbeiten?
• Marleen: Modelle dürfen wir nicht weitergeben. Sammlung gehört Göttingen. Austausch ist möglich, aber nicht alles kann weitergegeben werden.
  • Verweis auf Rechtsmedizin -> Zugriffsrechte

Polygonreduktion & Standards

• Zoe: Polygonreduktion automatisiert über Blender
  • Annotationen bei Kompakkt möglich (wie in einem GoogleDoc)
  • Basiert das Datenmodell auf Standards?
• Marleen: Datenmodell wurde selbst ausgelotet, in stetiger Absprache mit der Anthropologie (Hinsichtlich einer Ontologie)
• Zoe: NFDI4Culture: Standards entwickeln für Annotationsformate
  • mit vorhandenen Formaten arbeiten, das Rad nicht neu erfinden
  • UX: Unterschiede je nach Zielgruppe
  • sieht großes Potenzial hinsichtlich NFDI4Culture (Vernetzung)
• Maria: Taskforce Zoe & Marleen zu Annotationsstandards?

• Anmerkung von Maria zur Präsentation: Bei Gyrolog wurde auch mit Knete gearbeitet, um Realteile zu fixieren, Improvisation gehört dazu

Nutzung & Austausch

• Maria: Gibt es einen globalen Austausch?
  • Gibt es auch andere Formate als OBJ in dem Bereich?
• Marleen: Austauschformat: Serialisierung bei JSON
  • Modelle: OBJ und PNG
  • Aktuell ist es lokal, die mitgegeben werden kann, Austauschformat kann dann geschickt werden (kleine Austauschbarkeit)
  • Datenbank ist in Entwicklung, weitere Entwicklung steht bevor
  • Wichtiger Punkt: Rechtevergabe
  • Automatisierung: Aktuell Teilautomatisierung:
  • Bilder werden in einen Bereich geschoben, Pipeline wird dadurch ausgelöst
  • Meshroom läuft diese Pipeline durch
  • Ziel ist: Knochen muss nicht mehr speziell ausgerichtet werden
  • Priorität aktuell: Informationssystem
• Maria: Ideen zur Automatisierung?
• Marleen: Andere Bilder (Beispielsweise Fliegen oder Sofas) werden bereits mit KI automatisch annotiert, wäre auch eine Möglichkeit für die Anwendung

Export der Pipeline

• Robert: Ist die Meshroom Pipeline exportierbar?
• Marleen: Ja

• Marleen bietet an bei technischen Fragen auch Studierende mit in eine Sitzung einzuladen.

Offene Runde

Veranstaltung der NFDI4Culture

• Zoe: NFDI4Culture: Veranstaltungen an den Verteiler schicken?
• Robert: Gerne an den Verteiler.

Finanzierung

• Maximilian: Finanzielle Themen: Vorschlag fürs Wiki: Welche Förderungen gibt es aktuell für Digitalisierungsprojekte?
• Martin: Machen wir gerne. Teilweise auch schon hier, aber weniger konkret auf Digitalisierung bezogen: https://wissenschaftliche-sammlungen.de/de/foerdermoeglichkeiten/
• Martin: Zwei Bereiche: Infrastruktur / Forschung
  • Automatisierung kann sehr hilfreich sein bei DFG Anträgen
  • Viele 3D Projekte sind aktuell sehr fachspezifisch, daher nicht universell anwendbar
  • Brückenantrag bei Projekten, die Infrastruktur und Forschung kombinieren (niedrige Erfolgsrate)
• Zoe: NFDI Helpdesk: Unterstützung für Förderungsanträge
• Martin: Sammlungsarbeit:
  • Nachhaltigkeit!
  • Sammlungsdaten sind häufig nur granular vorhanden
• Martin: NFDI4C: Interdisziplinärer Dialog, übergeordneter Bereich muss noch entstehen
• Zoe: Gutes Zeichen: DFG hat dazu aufgerufen, Feedback aus der Wissenschaft zu erhalten für neue Förderlinie
• Maria: Was können wir als AG machen? Zoe leitet Informationen weiter, wir stellen sie auf die Website – weiterer konkreter Handlungsspielraum, was Infos zur Förderung betrifft?
• Martin: Koordinierungsstelle bietet Einzelberatung an, was Antragsstellung etc. angeht. Man kann sich jederzeit an Martin direkt oder die Koordinierungsstelle wenden. https://wissenschaftliche-sammlungen.de/de

Schluss

Nächste Termine

• 11.08. 10:00 Uhr Lose Enden
• 22.09. 10:00 Uhr Makerspace Gießen ? -> Alissa fragt an
• 20.10. David Kühner MUT
• 24.11. Gyrolog(eventuell externer Termin für Gyrolog)
• 15.12. (offen)

Ideen zu interessanten Werkstattberichten/ Themen

• Einblick zu schneller Blenderverwendung: Florian Richter
• Kristall2000
• IIIF
• NFDI4Culture
• Automatisierung

Weitere Termine

• 15.-17.09. Workshop Sammlungstagung: Maria & Robert 2D & 3D Digitalisierung

• Alissa: zur Idee vom letzten Mal: gleiches Objekt digitalisieren und dann vergleichen? Idee ist interessant, was ist daraus geworden?
• Robert: Nicht weiter geführt: Vorschlag für den August: Sammelsitzung von losen Enden?