Orca

Über Orca

Orca ist Microsofts Forschungsprojekt, das zeigt, wie kleinere Modelle von größeren lernen können. Die Idee ist clever: Statt nur die Antworten großer Modelle zu kopieren, lernt Orca auch deren Denkprozess. Microsoft hat GPT-4 gebeten, seine Reasoning-Schritte zu erklären, und Orca auf diesen Erklärungen trainiert. Das Ergebnis ist beeindruckend – Orca erreicht mit 13 Milliarden Parametern Leistungen, die an deutlich größere Modelle heranreichen. Besonders stark ist Orca bei komplexen Reasoning-Aufgaben, wo es nicht nur die richtige Antwort geben, sondern auch erklären muss, wie es dorthin gekommen ist. Die Methodik hat eine Welle ähnlicher Projekte ausgelöst – das Konzept, von den Denkprozessen großer Modelle zu lernen, wird jetzt vielfach genutzt. Orca ist Open Source und zeigt, dass intelligentes Training oft wichtiger ist als pure Modellgröße. Für Forscher, die an Reasoning und Instruction-Following interessiert sind, ist Orca ein wichtiger Meilenstein.