Data-Driven Digital Innovation Lab

Veranstaltungstyp: Hands-on Workshops
Einrichtung: Fakultät für Mathematik, Informatik und Naturwissenschaften
Förderzeitraum: 01.08.2024 bis 30.09.2025
Kurztitel: D3 Innovation Lab

Ausrichtung des D³ Innovation Lab

Sprachmodelle in Bezug zu generativer KI sind heutzutage ein zentraler Bestandteil der digitalen Landschaft und werden in vielen Bereichen der natürlichen Sprachverarbeitung eingesetzt, wie bei der Textgenerierung, -überarbeitung oder Übersetzung. General Purpose Modelle wie GPT (Generative Pre-trained Transformer) und BERT (Bidirectional Encoder Representations from Transformers) sind besonders vielseitig und können ohne Anpassungen für eine Vielzahl von Aufgaben verwendet werden. Allerdings bieten sie nicht immer die optimale Leistung für spezifische Anwendungsfälle. Durch Anpassungsmethoden wie Fine-Tuning, Prompt Engineering oder die Anbindung von neuen Wissensquellen können diese Modelle gezielt für bestimmte Anforderungen optimiert werden, um ihre Leistungsfähigkeit für bestimmte Anwendungsfälle zu steigern.

Solche angepassten Instanzen ermöglichen es, die Vielseitigkeit von General Purpose Modellen noch effektiver zu nutzen. Durch Feinabstimmung auf spezielle Daten oder Aufgaben können bessere Ergebnisse erzielt und die Modelle an spezifische Bedürfnisse angepasst werden. Dieses Projekt hat das Ziel, einen Leitfaden zu entwickeln, der Nutzer:innen dabei unterstützt, das für ihre individuellen Anforderungen am besten geeignete Sprachmodell auszuwählen und durch Feinabstimmung anzupassen. Auf diese Weise soll das Potenzial generativer KI-Systeme bestmöglich ausgeschöpft werden.

Projektumsetzung

Das Projekt umfasst fünf aufeinanderfolgende Phasen:

Exploration und Analyse der Sprachmodell-Landschaft: In der ersten Phase des Projekts werden verschiedene Arten von Sprachmodellen exploriert, identifiziert und beschrieben. Dabei stehen Eigenschaften wie Größe, Anwendungsgebiete und Feinabstimmungsmöglichkeiten im Fokus. Eine Momentaufnahme der generativen KI-Landschaft wird erstellt, die als Orientierung dient, jedoch nicht vollständig sein wird.
Entwicklung eines Leitfadens zur Auswahl und Feinabstimmung von Sprachmodellen: Auf Basis der Erkenntnisse aus der ersten Phase wird in der zweiten Phase ein konzeptioneller Leitfaden entwickelt. Dieser soll die Auswahl und Feinabstimmung von Sprachmodellen für unterschiedliche Anforderungen beschreiben und dabei auch die nötigen Kompetenzniveaus berücksichtigen.
Workshop zur Evaluierung von General Purpose und feinabgestimmten Modellen: In der dritten Phase wird ein Workshop vorbereitet und durchgeführt, in dem die Teilnehmenden General Purpose Modelle und feinabgestimmte Modelle für spezifische Anwendungsfälle erproben. Die Anwendungsfälle werden auf den Einsatz generativer KI in der Lehre oder für die Lehre abgestimmt sein. Ziel des Workshops ist es, die Nutzung und Ergebnisqualität der beiden Modelltypen zu vergleichen und durch praktische Erfahrungen zu verstehen, in welchen Szenarien sich eine Feinabstimmung lohnt.
Workshop zur Anwendung des Leitfadens: In der vierten Phase wenden die Teilnehmenden den entwickelten Leitfaden selbst an, um Sprachmodelle für ausgewählte Anwendungsfälle auszuwählen und durch Feinabstimmung anzupassen. Diese praktische Erprobung dient dazu, die Verständlichkeit und Praxistauglichkeit des Leitfadens zu überprüfen.
Finalisierung des Leitfadens: Auf Grundlage der Daten und Erfahrungen aus den Workshops wird der Leitfaden in der fünften Phase überarbeitet und finalisiert. Der fertige Leitfaden wird im Anschluss frei zur Verfügung gestellt und soll Anwender:innen als Orientierung und Unterstützung bei der Auswahl und Feinabstimmung von Sprachmodellen dienen. Das Ziel ist es, eine praxisnahe, leicht verständliche Anleitung zu bieten, die sowohl für Einsteiger:innen als auch für fortgeschrittene Nutzer:innen geeignet ist.