RAG

Informationsabruf aus lokalen Dokumenten mit Retrieval Augmented Generation

Wichtigsten Punkte auf einen Blick

  • Retrieval Augmented Generation (RAG) ist eine Methode, um Sprachmodelle (LLMs) an eine lokale Wissensbasis anzubinden
  • Es können Fragen über den Inhalt der zur Verfügung gestellten Dokumente gestellt werden
  • Die vom LLM gewählten Dokumente sind einsehbar, wodurch die Antworten verifiziert werden können
  • Es müssen keine privaten Dokumente weitergegeben werden, da das LLM auf einem lokalen Rechner laufen kann

Kurzbeschreibung

LLMs, wie z.B. ChatGPT, werden inzwischen flächendeckend als KI-Assistenten genutzt. Herkömmliche LLMs verfügen allerdings weiterhin über eine Reihe von Problemen, die ihren Gebrauch in einem professionellen Umfeld einschränkt:

  • Sie können nur auf Informationen zugreifen, die während des Trainingsprozesses erlernt wurden
  • Sie neigen bei Unwissenheit dazu, Antworten zu erfinden und mit Selbsvertrauen zu lügen
  • Bei vielen großen LLM-Anbietern bestehen Datenschutzbedenken

Diese Probleme können inzwischen relativ verlässlich durch RAG gelöst werden.

Bei RAG handelt es sich um eine Methode, die es erlaubt, LLMs an eine lokale Wissensbasis anzubinden, z.B. eine Datenbank oder bloß ein Ordner mit Dokumenten. Basierend auf Anfragen, die an das LLM wie gewohnt in natürlicher Sprache gestellt werden können, werden relevante Dokumente aus der Wissensbasis ausgewählt. Das LLM beantwortet die Fragen dann unter Zuhilfenahme dieser Dokumente. Da die verwendeten Dokumente einsehbar sind, kann die Korrektheit der Antwort leicht verifiziert werden.

Da es in der Regel nicht wünschenswert ist, private Dokumente an LLM-Anbieter weiterzugeben, verwendet der Demonstrator die Software Ollama, mit deren Hilfe frei verfügbare LLMs auf einem lokalen Rechner gehostet werden können.

Der Demonstrator besitzt keinen physischen Aufbau, d.h. es handelt sich um eine reine Software-Demo.

Transfer und Nachnutzbarkeit

Jegliche Büro- oder Recherearbeiten, bei denen Dokumente durchsucht werden müssen, können vereinfacht werden, solange die Dokumente in digitaler Form vorliegen.

Genutzte Hardware

  • Laptop mit Grafikkarte:
  • NVIDIA GeForce RTX 4080 mit 12GB RAM