AI – Kryptonews
Das wichtigste in Kürze:
- Huggingface hat das Hallucinations Leaderboard eingeführt, um die Tendenz von Large Language Models (LLMs) zur Generierung von fehlerhaften Inhalten zu bewerten. Das Leaderboard zielt darauf ab, Forschern und Entwicklern dabei zu helfen, zuverlässigere Modelle zu identifizieren und die Entwicklung hin zu genauerer Textgenerierung voranzutreiben.
- LLMs können in zwei Kategorien “halluzinieren”: Faktentreue Halluzinationen, bei denen generierte Inhalte mit realen Fakten in Konflikt stehen, und Treue Halluzinationen, bei denen Inhalte von den expliziten Anweisungen des Benutzers oder vom etablierten Kontext abweichen und potenziell zu Ungenauigkeiten führen können.
- Das Hallucinations Leaderboard verwendet den Language Model Evaluation Harness von EleutherAI, um die Leistung von verschiedenen LLMs in verschiedenen Aufgabenbereichen zu bewerten. Je höher der Durchschnittswert eines Modells im Leaderboard ist, desto geringer ist seine Tendenz zu halluzinieren und desto genauer und zuverlässiger ist es in der Inhaltegenerierung.
- Basierend auf den vorläufigen Ergebnissen des Hallucinations Leaderboards zeigen die Modelle Meow (Based on Solar), Stability AI’s Stable Beluga und Meta’s LlaMA-2 eine geringere Neigung zur Halluzination und gehören daher zu den besten Modellen.
- Es ist jedoch wichtig zu beachten, dass Modelle, die in einigen Aufgabenbereichen gut abschneiden, in anderen Bereichen weniger überzeugend sein können. Die Rangliste basiert auf einem Durchschnittswert aller Tests, die verschiedene Bereiche wie Zusammenfassung, Faktenprüfung, Leseverständnis und Selbstkonsistenz abdecken. Geschlossene Modelle wurden bisher nicht umfassend getestet.
Die Herausforderung der generativen Künstlichen Intelligenz: Halluzinationen in Sprachmodellen
Die Entwicklung von Künstlicher Intelligenz (KI) hat transformative und disruptive Kräfte, aber sie hat auch eine Achillesferse – die Tendenz von generativer KI, Dinge zu erfinden.
Große Sprachmodelle (Large Language Models, LLMs) haben die Neigung zur “Halluzination”, was mit zahlreichen Problemen einhergeht und die Verbreitung von Fehlinformationen begünstigt. Die Gefahr von Natural Language Processing (NLP) besteht darin, dass Menschen oft nicht unterscheiden können, ob ein Text von einem Menschen oder von einer KI generiert wurde.
Um diese Situation besser in den Griff zu bekommen, hat Huggingface, eine Open Source KI-Community, das “Hallucinations Leaderboard” eingeführt. Dieses neue Ranking bewertet Open Source LLMs und deren Tendenz zur Erzeugung halluzinatorischer Inhalte, indem sie durch maßgeschneiderte Benchmarks für kontextbezogenes Lernen laufen.
“Diese Initiative soll Forschern und Entwicklern helfen, zuverlässigere Modelle zu identifizieren und die Entwicklung von LLMs hin zu genauerer und vertrauenswürdigerer Sprachgenerierung voranzutreiben”, erklärten die Entwickler des Leaderboards.
Die Halluzinationen in LLMs lassen sich in zwei Kategorien aufteilen: Faktentreue und Treue. Faktentreue Halluzinationen treten auf, wenn Inhalte verifizierbaren realen Fakten widersprechen. Ein Beispiel dafür könnte sein, dass ein Modell fälschlicherweise behauptet, dass Bitcoin 100 Millionen Token anstatt nur 23 Millionen hat. Treue Halluzinationen hingegen treten auf, wenn generierte Inhalte von den expliziten Anweisungen des Benutzers oder vom etablierten Kontext abweichen, was zu potenziellen Ungenauigkeiten in kritischen Bereichen wie der Zusammenfassung von Nachrichten oder historischen Analysen führt. Hier generiert das Modell falsche Informationen, weil es dem Anschein nach der logischste Weg entsprechend seiner Anweisungen ist.
Das Leaderboard verwendet EleutherAI’s Language Model Evaluation Harness, um eine gründliche Evaluierung von Sprachmodellen in verschiedenen Aufgabenbereichen durchzuführen. Diese Tests sind darauf ausgelegt, das Verhalten eines Modells zu testen. Jeder Test gibt eine Punktzahl basierend auf der Leistung des LLMs ab, anschließend werden diese Ergebnisse gemittelt, so dass jedes Modell basierend auf seiner Gesamtleistung in allen Tests miteinander konkurriert.
Basierend auf den vorläufigen Ergebnissen des Hallucinations Leaderboards gehören zu den Modellen, die weniger Halluzinationen zeigen und daher zu den besten gehören, Meow (auf Solar basierend), Stability AI’s Stable Beluga und Meta’s LlaMA-2. Einige Modelle, die von einer gemeinsamen Basis abweichen (wie diejenigen, die auf Mistral LLMs basieren), übertreffen jedoch ihre Konkurrenten bei bestimmten Tests.
Auf dem Hallucinations Leaderboard deutet eine höhere durchschnittliche Punktzahl für ein Modell darauf hin, dass es weniger zur Halluzination neigt
Quelle:
Zum englischen Artikel auf Decrypt