Dr. Vera Schmitt <\/strong>(Forschungsgruppenleiterin) und Dr. Nils Feldhus <\/strong>(Postdoktorand) forschen in der XplaiNLP-Gruppe des Quality and Usability Lab an der TU Berlin zu Hochrisiko-KI-Anwendungen und entwickeln KI-gest\u00fctzte Systeme zur intelligenten Entscheidungsunterst\u00fctzung. Ihr Fokus liegt auf leistungsstarken, transparenten und erkl\u00e4rbaren KI-L\u00f6sungen f\u00fcr Anwendungsfelder wie die Erkennung von Desinformation und die Analyse medizinischer Daten. Im Bereich der nat\u00fcrlichen Sprachverarbeitung arbeitet die Gruppe an Schl\u00fcsselthemen wie erkl\u00e4rbarer KI, der Robustheit gro\u00dfer Sprachmodelle (LLMs), der Modellierung von Argumentationsstrukturen sowie der Mensch-Maschine-Interaktion.<\/p>\n\n\n\n Dr. Oliver Eberle<\/strong> ist Postdoktorand in der Machine Learning Group des Berlin Institute for the Foundations of Learning and Data (BIFOLD) an der TU Berlin. In seiner Forschung widmet er sich vor allem der erkl\u00e4rbaren K\u00fcnstlichen Intelligenz sowie Natural Language Processing und deren Anwendungen in den Wissenschaften, wie den Digital Humanities (zum Beispiel der computergest\u00fctzten Textverarbeitung) und der Kognitionswissenschaft. Er fokussiert sich dabei besonders auf die Interpretierbarkeit der Modelle und entwickelt Methoden zum besseren Verst\u00e4ndnis der zugrundeliegenden Mechanismen von Large Language Models (LLM).<\/p>\n\n\n\n 1. Wie unterscheiden sich die Konzepte von DeepSeek und ChatGPT?<\/strong><\/p>\n\n\n\n Schmitt und Feldhus: <\/strong>DeepSeek steht f\u00fcr Open-Source-Transparenz und Effizienz, w\u00e4hrend ChatGPT auf massive Rechenleistung und Skalierung setzt. Ersteres erm\u00f6glicht Anpassung und niedrigere Kosten, letzteres bietet optimierte Performance, bleibt aber propriet\u00e4r und ressourcenintensiv. Man muss allerdings sehen, dass DeepSeek nicht 100 Prozent Open-Source ist, denn zum Beispiel sind nicht alle Trainingsdaten bekannt, die in das Modell hineingeflossen sind. Die Verf\u00fcgbarkeit der Modellparameter hingegen und die deutlich offenere Kommunikation seitens DeepSeek erlaubt es Initiativen der Open-Source-Community wie zum Beispiel \u201eOpen-R1\u201c die Reproduktion des Modells in Angriff zu nehmen und dabei auf viel weniger Ressourcen zur\u00fcckgreifen zu m\u00fcssen im Vergleich zur riesigen und teuren Infrastruktur von OpenAI, Microsoft und anderen.<\/p>\n\n\n\n Eberle: <\/strong>DeepSeek ist integriert in die \u201eHugginface Community\u201c, eine Plattform, die bereits Hunderte von Open-Source-Modellen und Quellcode der Modelle verf\u00fcgbar macht und eine wichtige Rolle in der Verf\u00fcgbarkeit, Zug\u00e4nglichkeit und Transparenz von LLMs sowohl in der Forschung als auch der Industrie spielt. DeepSeek verwendete in der Vergangenheit bereits andere Open-Source-Modelle (zum Beispiel das Llama-Modell von Meta) als Grundlage (zum Beispiel bei \u201eDeepSeek-R1-Distill-Llama-70b\u201c). Dies spart Rechenaufwand, da die Destillation von Modellen deutlich weniger rechenintensiv ist als das Trainieren eines neuen Modells von Grund auf. DeepSeek ver\u00f6ffentlicht detaillierte Beschreibungen und technische Reporte seiner Modelle und beschreibt hierin auch Negativ-Resultate. Dies ist ein hilfreicher Beitrag f\u00fcr die Open-Source-Community, weil so die Verbesserung von k\u00fcnftigen offenen LLM-Systemen vorangebracht wird. ChatGPT ist im Vergleich propriet\u00e4r und nur das Interface ist zug\u00e4nglich, die genaue Spezifikation des Modells und die trainierten Parameter sind nicht im Detail bekannt oder offen zug\u00e4nglich. Der Code zum Trainieren sowie spezifische Datens\u00e4tze werden meines Wissens nach weder von DeepSeek noch ChatGPT ver\u00f6ffentlicht.<\/p>\n\n\n\n 2. Arbeiten Sie bereits mit anderen Open Source Large Language Modellen (LLMs)?<\/strong><\/p>\n\n\n\n Schmitt und Feldhus: <\/strong>Wir arbeiten viel mit unterschiedlichen LLMs wie zum Beispiel LLaMa, Mistral, Qwen, Bloom, Vicuna und haben auch angefangen, mit DeepSeek zu experimentieren. Diese Open-Source-Modelle setzen wir gezielt in verschiedenen Anwendungsbereichen ein. Ein besonderer Fokus liegt auf der Desinformationserkennung, wo wir LLMs nutzen, um Narrative in digitalen Medien zu analysieren, Falschinformationen aufzudecken und Erkl\u00e4rungen f\u00fcr erkannte Fehlinformationen bereitzustellen. Wir setzen LLMs auch f\u00fcr die Anonymisierung und Verarbeitung medizinischer Daten in gemeinsamen Projekten mit der Charit\u00e9 ein.<\/p>\n\n\n\n Eberle: <\/strong>Wir arbeiten mit verschiedenen Modellen, zum Beispiel Llama, Mistral, Gemma, Qwen, Mamba und wir fokussieren uns dabei besonders auf die Interpretierbarkeit und entwickeln Methoden zum besseren Verst\u00e4ndnis der zugrundeliegenden Mechanismen von LLMs.<\/p>\n\n\n\n 3. Wie unterst\u00fctzt der Open-Source-Ansatz bei Large Language Modellen konkret Ihre Forschungen? Wird Deepseek Ihre Forschung noch weiter voranbringen?<\/strong><\/p>\n\n\n\n Schmitt und Feldhus: <\/strong>Ein Open-Source-Ansatz bei LLMs erm\u00f6glicht uns, Modelle gezielt f\u00fcr unsere Forschung anzupassen. Durch offenen Zugang k\u00f6nnen wir Transparenz gew\u00e4hrleisten und spezifische Architekturanpassungen vornehmen. Zudem k\u00f6nnen wir so Modelle evaluieren, sie weiterentwickeln und in Mensch-KI-Prozesse effektiver integrieren. DeepSeek k\u00f6nnte unsere Forschung weiter voranbringen, da es effizientere Modellarchitekturen und neue Trainingsans\u00e4tze bietet und diese auf Rechnern der TU Berlin reproduzierbar macht. Besonders spannend sind potenzielle Verbesserungen bei der Ressourceneffizienz, aber auch in der mehrsprachigen Verarbeitung und der Adaptierbarkeit f\u00fcr spezifische Dom\u00e4nen, die unsere bestehenden Methoden erg\u00e4nzen und optimieren k\u00f6nnten.<\/p>\n\n\n\n Eberle: <\/strong>DeepSeek reiht sich ein in andere Open-Source-Modellfamilien (Llama, Mistral, Qwen und so weiter) und erm\u00f6glicht es uns, Aussagen \u00fcber eine breitere Menge an LLMs zu machen. Die Struktur dieser Modelle ist weitestgehend vergleichbar und unterscheidet sich vor allem durch den Trainingsansatz und die verwendeten Datens\u00e4tze. DeepSeek erm\u00f6glicht uns nun Zugang zu einem Modell mit state-of-the-art F\u00e4higkeiten in logischem Denken (reasoning capabilities), was zu neuen Einblicken in das L\u00f6sen komplexer Aufgaben durch LLMs f\u00fchren k\u00f6nnte.<\/p>\n\n\n\n 4. Warum sind mit dem Erfolg\/Misserfolg von KI auch Chiphersteller wie NVIDIA verkn\u00fcpft?<\/strong><\/p>\n\n\n\n Schmitt und Feldhus: <\/strong>Der Erfolg oder Misserfolg von KI ist eng mit Chipherstellern wie NVIDIA verkn\u00fcpft, weil moderne KI-Modelle enorme Rechenleistung ben\u00f6tigen, die haupts\u00e4chlich durch spezialisierte GPUs (Graphics Processing Units) und KI-Beschleuniger bereitgestellt wird. NVIDIA ist f\u00fchrend in diesem Bereich mit leistungsstarken Chips wie der H100- und A100-Serie, die speziell daf\u00fcr entwickelt wurden, k\u00fcnstliche Intelligenz zu trainieren und ihre Ergebnisse schnell bereitzustellen. Dazu bietet NVIDIA mit CUDA auch die passende Software an, die diese Berechnungen effizient erm\u00f6glicht. Wenn KI-Technologien florieren, steigt nat\u00fcrlich die Nachfrage nach diesen Chips stark an \u2013 Unternehmen, Forschungseinrichtungen und Cloud-Anbieter investieren massiv in GPU-Cluster. Dies treibt den Umsatz und den Aktienkurs von NVIDIA in die H\u00f6he. Umgekehrt w\u00fcrde ein R\u00fcckgang der KI-Nachfrage oder technologische Verschiebungen hin zu alternativen Architekturen (wie wir das jetzt mit DeepSeek R1\/V3 beobachten k\u00f6nnen) die Abh\u00e4ngigkeit von NVIDIA verringern und deren Gesch\u00e4ft zum Teil negativ beeinflussen. Die doppelte Monopolstellung NVIDIAs \u2013 Hardware und Software \u2013 macht es hingegen schwer, die KI-Erfolge von dem Unternehmen zu entkoppeln. Solange auch DeepSeek GPUs von NVIDIA beziehungsweise CUDA benutzt, ist NVIDIA aus dem KI-Diskurs nicht wegzudenken. Kurz gesagt: Die Hardware-Entwicklung und der Erfolg von KI sind symbiotisch \u2013 Fortschritte in KI treiben die Chipindustrie an, w\u00e4hrend leistungsf\u00e4higere Chips neue KI-Modelle erm\u00f6glichen.<\/p>\n\n\n\n 5. Wussten alle in der Community schon von der gro\u00dfen Durchschlagkraft des neuen, chinesischen LLM?<\/strong><\/p>\n\n\n\n Schmitt und Feldhus:<\/strong> Ja, es war absehbar, dass China verst\u00e4rkt in die Entwicklung leistungsf\u00e4higer LLMs investiert. Die Fortschritte von DeepSeek und anderen chinesischen Modellen kamen nicht aus dem Nichts \u2013 bereits in den letzten Jahren gab es enorme Investitionen und strategische Initiativen im KI-Sektor. Daher ist DeepSeek keine gro\u00dfe \u00dcberraschung, sondern eine nat\u00fcrliche Weiterentwicklung, ressourceneffizientere LLMs zu erstellen. Zudem baut DeepSeek stark auf bestehende Open-Source-Modellfamilien wie LLaMA, Mistral und Qwen auf und erweitert unsere M\u00f6glichkeiten, eine breitere Palette an LLMs zu analysieren. Besonders Qwen, ebenfalls ein Produkt chinesischer Forschung, hat f\u00fcr uns schon deutlich gemacht, dass China hier ein entscheidender, nicht zu untersch\u00e4tzender Player ist. Bemerkenswert an DeepSeek R1 ist, dass sich die Argumentationsf\u00e4higkeit deutlich verbessert hat und uns neue Einblicke in die F\u00e4higkeit von LLMs zur L\u00f6sung komplexer Aufgaben er\u00f6ffnet. Das ist vor allem f\u00fcr schwierigere Aufgaben mit einem h\u00f6heren Komplexit\u00e4tsniveau, wie die Desinformationserkennung, interessant.<\/p>\n\n\n\n Eberle: <\/strong>DeepSeek ist durchaus bekannt, und dessen Vorg\u00e4ngermodell DeepSeek-V2 war bereits recht erfolgreich, zum Beispiel in der Generierung von Code. Daher bin ich etwas \u00fcberrascht \u00fcber die starke Reaktion der Medien und M\u00e4rkte. DeepSeek-V3 ist klar eine beeindruckende technische Leistung und kann dazu beitragen, Open-Source-Modelle auf eine Stufe mit den F\u00e4higkeiten von propriet\u00e4ren Modellen wie ChatGPT zu bringen. DeepSeek ist dennoch im Zusammenhang mit der erfolgreichen Entwicklung von anderen Open-Source-LLM zu sehen.<\/p>\n\n\n\n 6. Wie ist die Stellung von Europa auf diesem Gebiet?<\/strong><\/p>\n\n\n\n Schmitt und Feldhus: <\/strong>Aktuell liegt der Fokus innerhalb der EU vor allem auf der Regulierung von KI und es werden nicht gen\u00fcgend Ressourcen geb\u00fcndelt bereitgestellt, um auch nur entfernt ein Gegengewicht zu den USA oder China bilden zu k\u00f6nnen. Vor allem, wenn wir die Investitionspl\u00e4ne wie Stargate ber\u00fccksichtigen, kann die EU aktuell nicht mithalten. Die EU kann derzeit nicht konkurrenzf\u00e4hig bleiben, da vielversprechende KI-Startups oft von US-Unternehmen \u00fcbernommen werden und\/oder ihren Hauptsitz in die USA verlagern. Regulierungen und Steuern beeinflussen die Innovationskraft von NLP-Unternehmen (Natural Language Processing) erheblich innerhalb der EU. Wir sehen an der Innovationsfreudigkeit von kleinen europ\u00e4ischen Labs wie Mistral oder Flux (Bildgenerierung), dass die europ\u00e4ische Forschungsgemeinschaft trotzdem an der globalen KI-Entwicklung teilnehmen m\u00f6chte, auch einen recht gro\u00dfen Einfluss hat und mit mehr Investitionen diese Ambitionen befeuert werden k\u00f6nnen und Europa zu einem echten KI-Player aufsteigen k\u00f6nnte.<\/p>\n\n\n\n Eberle: <\/strong>Europa und Deutschland fokussieren sich auf die Entwicklung von vertrauensw\u00fcrdigen und transparenten KI Methoden. Ich habe auch den Eindruck, dass Europa sich auf spezifische Anwendungen von LLMs spezialisiert, zum Beispiel LLM-Grundlagenmodelle f\u00fcr Anwendungen in der Medizin (z.B. aignostics\u2019 RudolfV-Modell zur Erkennung von Pathologie-Daten), den Rechtswissenschaften (Legal LLMs wie LEGAL-BERT zur Bearbeitung und Erstellung von Rechtstexten) oder KI-Methoden f\u00fcr Quanten-Chemie.<\/p>\n\n\n\n 7. Die Anwendung DeepSeek unterliegt ja der chinesischen Zensur. Inwiefern beeinflussen solche Einschr\u00e4nkungen die Leistungsf\u00e4higkeit von Large Language Modellen?<\/strong><\/p>\n\n\n\n Eberle: <\/strong>Die Einschr\u00e4nkungen werden meist nach dem eigentlichen Modell-Training auferlegt, sind also wie ein Filter zu sehen, der ungewollte Ausgaben unterdr\u00fcckt. Daher w\u00fcrde ich nicht grunds\u00e4tzlich davon ausgehen, dass themenoffene Systeme generell leistungsf\u00e4higer sind. Falls jedoch gr\u00f6\u00dfere Datenmengen bereits vor dem Training gefiltert werden, k\u00f6nnte das Auswirkungen auf die Generalisierungsf\u00e4higkeit dieser Modelle haben. Es ist hierbei ein wichtiger Unterschied, ob das Modell keine Daten \u00fcber sensible Themen bekommt, oder ob das Modell nichts \u00fcber diese sagen soll.<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.sysbus.eu\/wp-content\/uploads\/2025\/02\/TU-Berlin-oeberle_portrait-002-826x1024.webp\")
![\"\"](\"https:\/\/www.sysbus.eu\/wp-content\/uploads\/2025\/02\/TU-Berlin_Vera-Schmitt-1024x798.webp\")