Handbook: How to set up a RAG system
Datenschutzkonform mit den eigenen Dokumenten sprechen
Was kann ein RAG?
Ein RAG-System macht Wissen, das oft über weite Ablagen verteilt ist, einfach zugänglich. Es eignet sich damit hervorragend z. B. für internes Wissensmanagement. Statt Handreichungen, Mails oder Protokolle zu durchsuchen, lassen sich organisationsinterne Daten damit gezielt einbinden und in natürlicher Sprache verfügbar machen.
So können Mitarbeitende Fragen stellen und erhalten Antworten, die direkt aus dem Wissen der Organisation kommen. Das schafft Klarheit, spart Zeit und macht vorhandenes Wissen lebendig und nutzbar, ohne neue Strukturen oder Datensilos aufzubauen.
Was ist ein RAG?
Ein RAG (Retrieval Augmented Generation) ist eine KI-Anwendung (Künstliche Intelligenz), bei der ein Sprachmodell (Large Language Model: LLM) mit einer Wissensquelle verknüpft wird – zum Beispiel einer speziellen Datensammlung einer Organisation.
Vor der Verknüpfung verfügt das Sprachmodell nur über das Wissen, mit dem es ursprünglich trainiert wurde, kennt aber noch keine spezifischen Informationen aus der Organisation. Durch die Anbindung an eine eigene (Vektor)Datenbank kann das Sprachmodell bei einer Anfrage dort nach relevanten Informationen suchen (Retrieval), mit dem eigenen Wissen verbinden (Augment) und daraus dann eine Antwort generieren (Generation).
Aber kostet sowas nicht richtig viel Geld und technisches Wissen? Und wie geht das überhaupt – vor allem wenn es DSGVO-konform sein muss?
Mit unserem Handbuch (s.u.) unterstützen wir gemeinwohlorientierte Organisationen dabei, selber ein solches RAG-System datenschutzkonform aufzubauen. Neben einer kurzen Einführung bietet sie eine Schritt-für-Schritt-Anleitung für den eigenen Einsatz.
Was dieses System im beschriebenen Aufbau DSGVO-konform macht, sind die bewusst gewählten Bausteine. An keiner Stelle ist ein Datentransfer nach außen notwendig - alles kann selber gehostet werden, so dass nur noch der Server an einem entsprechenden Ort stehen muss.
Die Dokumentation ist mit fünf Seiten überschaubar und wir wünschen viel Erfolg bei der Umsetzung!
Wir haben das RAG und die Dokumentation mit Unterstützung von zukunft zwei und N3XTCODER im Rahmen der Civic Coding Initiative erstellt.
Kontakt
Möchtest du dich an der Diskussion über KI in gemeinwohlorientierten Organisationen beteiligen? Dann melde dich gerne bei:
Tobias Gerber
tobias.gerber@iac-berlin.org