Für den Einsatz von generativer KI für die Textverarbeitung gibt es im operativen Einsatz mit organisationsinternen Daten zwei grundsätzliche Strategien: 

1. Model Fine-Tuning: Ein bestehendes Modell wird auf die eigenen Sprachmuster und Informationen trainiert und gibt Antworten basierend auf dem im Training erlernten Wissen. 
2. Retrieval-Augmented Generation (RAG): Ein Sprachmodell bekommt im Hintergrund relevante Dokumente für eine Anfrage von Nutzer:innen aus einer Datenbank vorgefiltert zugespielt und beantwortet die Frage basierend auf den vorgelegten Dokumenten. 

Obwohl beide Ansätze sich nicht ausschließen, ihre Berechtigungen haben und auch parallel verfolgt werden können, stellt sich in der Praxis doch heraus, dass für die meisten Organisationen der RAG-Ansatz deutlich effektiver und auch kosteneffizienter ist. Durch dieses Setup lassen sich fachspezifische Fragen basierend auf vorhandenen Wissenselementen beantworten und aktualisieren, ohne dass das Modell selbst angepasst werden muss. So hat Cassini Consulting in 70% aller Projekte im Bereich Large Language Models (LLM) in Q1 2024 ein RAG-Setup für Kund:innen erstellt. Auch Unternehmen, die ein eigenes „GPT“ ankündigen, arbeiten in der Regel mit einem RAG-Setup. 

Unser Fazit: RAG ist zurecht eine der Implementierungssäulen für Organisationen und wird auch in vielen öffentlichen Verwaltungseinheiten eine bevorzugte Strategie sein, da die Implementierung einerseits verhältnismäßig einfach ist und Zugriffsbeschränkungen auf Wissen erlaubt, ohne das Modell anpassen zu müssen. Dennoch kommt RAG in der Praxis mit seinen Tücken daher, sodass besonders lange Dokumente nicht ausreichend abgedeckt werden.

Strategien zur Bewältigung können hypothetische Fragen-Indexierung, Zusammenfassungs-Indexierung oder Chunking (Zerlegung großer Mengen von Text- oder Dateninputs in kleinere Segmente zur weiteren Verarbeitung) sein. Darüber hinaus wird häufig mit derselben Metrik zur Auswahl der Dokumente gearbeitet, allerdings zeigen Untersuchungen wie etwa die von Steck, Ekanadham & Kallus, dass die gleiche Metrik nicht immer der optimale Weg ist, um passende Dokumente zu finden. Der optimierte Einsatz von RAG ist in einem komplexeren Arbeitsumfeld also nicht so einfach und direkt, wie es zuerst erscheinen mag. 

Mit dem Aufkommen von ChatGPT wurden regelmäßig neuere, größere Modelle mit mehr Parametern schnell entwickelt und bereitgestellt. Der Trend „je größer desto besser“ ist nicht neu, sondern ließ sich in der Forschung schon weit vor ChatGPT im Deep Learning verfolgen. Zwar haben tiefere und breitere Neuronale Netze für beeindruckende Fortschritte der letzten Jahre gesorgt, jedoch nicht ohne dafür auch Schwächen zu offenbaren. 

1. Große Modelle benötigen beim Training sehr viel Rechenleistung und sind in der Größenordnung von über hundert Milliarden Parametern nur von wenigen Unternehmen realisierbar. 
2. Es gibt einen abnehmenden Grenznutzen für die eingesetzte Menge an Rechenleistung zu den erwarteten Performancesteigerungen. 
3. Large-Language-Model-Architekturen sind ineffizient in ihrer Nutzung. 

Drei wesentliche Trends in Q1 2024 im Bereich Large Language Models (LLMs): 

1. Die Optimierung von Modellen wird leichter zugänglich. 
2. Optimierte Modelle werden im gesamten Ressourcenbedarf kleiner. 
3. Forschungsinitiativen für andere Architekturen starten öffentlichkeitswirksam. 

Unser Fazit: Die hohe Beteiligung der Open-Source-Community ist ein gutes Zeichen für den Mehrwert der Technologie, da sie für viele Menschen auch einen privaten realen Nutzen zu bergen scheint. Darüber hinaus ist der Fokus auf einfacheres Fine-Tuning wie auch eine verbesserte Komprimierung wichtig für die Implementierung und Demokratisierung von generativer KI in Organisationen. So werden technische Hürden abgebaut. 

Die letzten Jahre haben gezeigt, dass immer größere Modelle nicht praktikabel sind und schon bald an die Grenze des Leistbaren stoßen.  

Im Dezember 2023 hat Mistral AI „Mixtral“ (Sparse Mixture of Experts – SMoE) veröffentlicht. Ein Modell mit 8 x 7 Milliarden Parametern (8x7B), das nach eigenen Angaben die meisten 70B Modelle in Benchmarks übertrifft und zusätzlich 6-mal schneller ist, da bei Mixtral nicht alle 56 Milliarden Parameter gleichzeitig aktiviert werden. Auch lässt sich an neueren Modellen ablesen, dass ein Umdenken in der verantwortbaren Größe der Modelle erfolgt, was eine direkte Rückkopplung der öffentlichkeitswirksamen Implementierungsvorhaben von Unternehmen, Organisationen und Privatpersonen ist, die im letzten Jahr mit den Herausforderungen des Deployments zu kämpfen hatten. 

Mit der SMoE-Architektur wurde ein initialer, neuer Ansatz geschaffen, der nun in der Praxis immer mehr Anwendung findet. Es handelt sich um eine effizientere Struktur, die wettbewerbsfähige Ergebnisse bei geringerem Ressourceneinsatz erzielen kann. So findet die Architektur Anwendung in den neusten Veröffentlichungen von Modellen wie GPT-4 oder DBRX von Databricks.

Unser Fazit: Ebenso wie die erhöhte Zugänglichkeit für die Kompression von Sprachmodellen, ist auch der Trend zu kleineren, weniger komplexen Sprachmodellen ein gutes Signal und bestätigt die Annahmen aus der Forschung, dass Performancesteigerungen über die Parameteranzahl nicht die optimale Strategie sein müssen. Damit wird vermutlich auch ein temporäres Plateau in der Leistung von KI-Modellen eintreten und der Fokus mehr auf den operativen Einsatz gelegt werden.