Firefox verbessert AI-Funktionen mit neuer C++-Engine
Wenn du dich für technische Innovationen interessierst, könnte der Artikel von Mozilla über die Fortschritte in Firefox für dich spannend sein. Die ursprüngliche Quelle findest du hier. Mozilla hat endlich das Tempo seines Firefox AI Runtime, das Funktionen wie die Smart Tab Groups und die Alt-Text-Generierung antreibt, erheblich verbessert. Die zuvor langsame Performance wurde in den letzten Monaten intensiv bearbeitet.
Neueste Entwicklungen im AI-Bereich
Das Entwicklungsteam stellte fest, dass die WebAssembly (WASM)-Version des ONNX-Runtimes nicht die Geschwindigkeit erreichte, die sie angestrebt hatten. Um das Problem zu lösen, setzten sie auf eine native C++-Implementierung. Diese wird direkt im Code von Firefox integriert und erhöht die Effizienz dramatisch. Erste Tests zeigen eine Geschwindigkeitserhöhung von 2 bis 10 Mal im Vergleich zur vorherigen Version. Ein bedeutender Vorteil der neuen Architektur ist, dass die lästigen Verzögerungen durch das Hin- und Herschalten zwischen JavaScript und WASM nun entfallen.
Messbare Verbesserungen
Die Verbesserungen sind nicht nur theoretischer Natur. Die Alt-Text-Generierung in PDF.js hat sich von 3,5 Sekunden auf 350 Millisekunden verkürzt, was einem beeindruckenden 10-fachen Geschwindigkeitszuwachs entspricht. Auch die Smart Tab Grouping-Funktion, die zuvor anfällig für Verzögerungen war, arbeitet nun deutlich schneller und flüssiger.
Blick in die Zukunft
Trotz der Fortschritte hat das Team darauf hingewiesen, dass noch Optimierungspotenziale bestehen. Geplante Verbesserungen umfassen die Einführung von GPU-Beschleunigung für ML-Aufgaben, mehrfädige Operationen und optimierte Startzeiten für Modelle durch graphisches Caching. Aktuell laufen die AI-Funktionen noch auf der CPU, was bei einigen Nutzern zu erhöhten CPU-Auslastungen geführt hat.
Gradualer Rollout der neuen Funktionen
Wenn du Firefox 142 installiert hast, profitierst du bereits von diesen Geschwindigkeitsverbesserungen, da die Smart Tab Grouping-Funktion die neue native Engine verwendet. Mozilla plant, diesen neuen Backend-Ansatz schrittweise auf weitere Funktionen auszudehnen, sodass die ganze Palette an Möglichkeiten, die auf Transformers.js basieren, davon profitieren kann. Die Diskussion darüber, ob und wie AI-Funktionen in Browsern eingesetzt werden sollten, bleibt dennoch ein separates Thema, zumal on-device Lösungen wichtige Datenschutzvorteile bieten.
Quelle: omgubuntu.co.uk