Hauptinhalt
Topinformationen
Aktuelle Lehrveranstaltungen
| Seminar Large Language Models |
| Dozent:Prof. Dr. Till Mossakowski |
| Veranstaltungstyp:Seminar (Offizielle Lehrveranstaltungen) |
| Beschreibung:Large Language Models (LLMs) stehen seit dem Erscheinen von ChatGPT und anderen Chatbots im Lichte der Öffentlichkeit. LLMs sind ein wichtiger Meilenstein ein der Entwicklung künstlicher Intelligenz. Sie erreichen eine neue Qualität von Verarbeitung und Generierung von Text, Bildern, Video und Audio, und sie werden inzwischen in vielfältigen Anwendungen produktiv eingesetzt. Das Seminar beginnt mit den Grundlagen von Machine Learning und Deep Learning, einschließlich einer Einführung in Transformers und Reinforcement Learning. Anschließend betrachten wir die Geschichte der LLMs, von den frühen n-Gram-Modellen bis hin zu modernen Architekturen wie BERT und GPT. Hierbei werden auch wichtige Techniken für das Training und Fine-Tuning behandelt, einschließlich der verschiedenen Trainingsmethoden und der Datenaufbereitung. Ein weiteres Thema ist das Prompt Engineering, d.h. Strategien zur effektiven Nutzung von LLMs. Wir werden auch die Evaluierung von LLMs sowie die Grenzen dieser Modelle beleuchten. Ethische Überlegungen, z.B. Gefahren wie Halluzinationen, Bias und Manipulation sowie Sicherheitsaspekte, sind ebenfalls ein wichtiger Bestandteil des Seminars. Zudem widmen wir uns der Multimodalität, die die Integration von Text, Bild und Audio umfasst, sowie der Retrieval-Augmented Generation (RAG). RAG ermöglicht ein Zusammenspiel von LLMs und gesichertem Wissen, das in Datenbanken oder Wissensgraphen vorliegt. Des Weiteren werden wir die Rolle von LLMs in der Softwareentwicklung betrachten, insbesondere in Bezug auf Code-Generierung und -Analyse. Techniken zur Effizienzsteigerung wie Modellkomprimierung und Quantisierung werden ebenfalls thematisiert. Das Seminar schließt mit einem Ausblick auf zukünftige Entwicklungen in der KI, aktuelle Forschungsrichtungen und offene Fragen zur Entwicklung von allgemeiner künstlicher Intelligenz (AGI). Wünschenswerte Vorkenntnisse sind ein Basisniveau in - Mathe (Lineare Algebra, Ableitungen, Wahrscheinlichkeit) - Machine Learning / Deep learning - Python und Python-Bibliotheken |
| Ort:nicht angegeben |
| Semester:WiSe 2025/26 |
| Veranstaltungsnummer:6.700 |
| ECTS-Kreditpunkte:3 |
