Blind und sehbehinderte Programmierer hatten es lange Zeit schwer mit 3D-Modellierung. Die meisten Softwarelösungen setzen auf visuelle Steuerung, die für sie nicht funktioniert. Doch jetzt gibt es A11yShape, ein neues Werkzeug, das ihnen hilft, 3D-Modelle unabhängig zu erstellen und zu bearbeiten. Entwickelt von einem Team aus mehreren Universitäten, einschließlich der University of Michigan, verbindet A11yShape die textbasierte Modellierung mit künstlicher Intelligenz.
Was ist A11yShape?
A11yShape kombiniert den 3D-Modellierungseditor OpenSCAD mit GPT-4o, einem intelligenten Sprachmodell. Mit OpenSCAD kannst du 3D-Objekte durch Texteingabe erstellen. Beispielsweise kannst du mit dem Befehl cylinder(h=20, d=5) einen Zylinder mit spezifischen Maßen generieren. Allerdings ist dieses Modell für blinde Nutzer nur ein unverständliches Bild. Sie können zwar die nötigen Befehle schreiben, aber nicht überprüfen, ob ihre Form korrekt ist.
Wie funktioniert es?
A11yShape agiert als „Augen“ für die Nutzer. Jedes Mal, wenn ein blinder oder sehbehinderter Programmierer OpenSCAD-Code eingibt, erhalten sie eine AI-generierte Beschreibung der Form, eine semantische Hierarchie und visuelle Darstellungen. Diese Verknüpfung ermöglicht es ihnen, ihre Designs effektiv anzupassen und zu verstehen.
Erste Tests und Ergebnisse
Das Team testete A11yShape mit vier Programmierern, die noch nie zuvor 3D-Modellierung gemacht hatten. Nach einer Einführung arbeiteten die Teilnehmer in drei Sitzungen an verschiedenen Modellen wie Robotern und einem Raketenmodell. Alle schafften die Aufgaben und bewerteten die Verwendung als sehr positiv mit einer Usability-Score von 80,6—eine hohe Zahl für Benutzerfreundlichkeit. Die Teilnehmer waren begeistert und erkannten, dass sie durchaus in der Lage sind, 3D-Modelle zu erstellen.
Herausforderungen und zukünftige Entwicklungen
Obwohl A11yShape bereits eine große Hilfe ist, gibt es noch herausfordernde Aspekte. Lange AI-Beschreibungen können überfordernd sein, und es fehlt manchmal an haptischem Feedback, um räumliche Beziehungen präzise einschätzen zu können. So kam es gelegentlich zu Fehlplatzierungen, wie zum Beispiel Propeller, die über dem Rumpf eines Helikopters schwebten.
Die Forscher sehen in A11yShape trotzdem einen großen Schritt in die richtige Richtung. Künftige Versionen könnten optimierte AI-Beschreibungen und Auto-Vervollständigungsfunktionen mit einem haptischen Feedback-System kombinieren, um die Nutzung weiter zu verbessern.
Quelle: techxplore.com