Entdeckst du noch oder evaluierst du schon? Bewertung von LLMs zur Sicherstellung der Produktqualität

Große Sprachmodelle (LLMs) sind faszinierende KI-Systeme, die die Fähigkeit besitzen, natürliche Sprache zu verstehen und zu erzeugen. Nach einer ersten Hype-Phase in der die Möglichkeiten von LLMs explorativ getestet wurden, finden sie inzwischen Anwendung wie Textgenerierung, Übersetzung, Klassifikation, Zusammenfassung und vielen weiteren Bereichen. Ihre Leistung zeichnet sich durch bemerkenswerte Qualität, Kreativität und Vielseitigkeit aus, wenn es darum geht, unterschiedlichste Aufgaben zu bewältigen. Doch was bedeutet „bemerkenswerte Qualität“ genau und wie kann die Leistung von LLMs bewertet und eine hohe Produktqualität gewährleistet werden?

Dieser Frage gehen unsere [at] Experten Luca Maria Trautmann und Constantin Sanders auf den Grund. In unserem bevorstehenden Webinar werden wir herkömmliche Evaluationsmethoden für Machine Learning-Algorithmen mit denen für LLMs vergleichen. Angesichts der Vielfalt an Aufgaben ergeben sich unter anderem neue Anforderungen an die Bewertung von LLMs. Eine zentrale Frage ist, was genau bewertet werden soll. Soll beispielsweise der Eingabeprompt, die Ausgabe oder sogar die interne Repräsentation der Texte, die für RAG-Systeme genutzt werden können, evaluieret werden?

Wenn Sie an der Beantwortung dieser und weiterer Fragestellungen interessiert sind, laden wir Sie herzlich dazu ein an unserem kostenlosen Webinar am 19. März um 14 Uhr teilzunehmen. Wir freuen uns darauf, mit Ihnen im Anschluss an den Vortrag interessante Diskussionen zu führen!