Automatisierung von Verwaltungsabläufen mithilfe lokaler LLMs
Wichtigsten Punkte auf einen Blick
- Datenerfassung und -pflege im Rahmen von Verwaltungsabläufen ist oft zeitaufwändig und umständlich
- Klassische Software für Workflow-Automatisierung ist bereits weit verbreitet
- Das Einbinden von LLMs schafft eine Brücke zwischen Notizen und Anweisungen in natürlicher Sprache und strukturierten Daten
- Durch lokale LLMs kann Datenschutzkonformität gewährleistet werden
Kurzbeschreibung
Neben interaktiven Anwendungen wie ChatBots können LLMs auch effektiv als eine Brücke zwischen natürlicher Sprache und strukturierten Daten verwendet werden.
Der Demonstrator entstand ursprünglich aus einem internen Anwendungsfall des TZLRs. Dabei ging es um das schnelle Festhalten und Einpflegen von Gesprächsinhalten aus Kontaktaufnahmen und Interaktionen auf Netzwerkveranstaltungen. Das Ziel war es, eine Pipeline zu schaffen, mit der relevante Informationen aus Sprachnotizen direkt in strukturierter Form in Kalender und ein CRM-System eingetragen werden können.
Der Demonstrator wurde mithilfe der Workflow-Automatisierungs-Software n8n umgesetzt und verwendet ein LLM, um Informationen aus den transkribierten Sprachnotizen in einem strukturierten Format zu extrahieren. Die Informationen werden dann im Rest des Workflows verarbeitet und eingetragen.
Das LLM wird dabei lokal mit der Software Ollama gehostet. Dadurch wird sichergestellt, dass keinerlei Informationen an Dritte weitergegeben werden.
Analoge Automatisierungsabläufe können überall dort eingesetzt werden, wo strukturierte Abläufe basierend auf Informationen in natürlicher Sprache, z.B. E-Mails oder Notizen, angestoßen werden.
Transfer und Nachnutzbarkeit
LLM-gestützte Automatisierungsabläufe können ohne umfangreiche Programmierkenntnisse implementiert werden, um zeitaufwändige Verwaltungsabläufe zu beschleunigen.
Vorführung
Genutzte Hardware
- Laptop mit Grafikkarte:
- NVIDIA GeForce RTX 4080 mit 12GB RAM