DSGVO KI Chatbot: On-Premise LLM mit DGX Spark
Ihr Chatbot gibt falsche Antworten — und Ihre Kunden merken es. So ging es auch unserem Kunden: Der Standard-Chatbot von HubSpot lieferte ungenaue, manchmal sogar widersprüchliche Informationen aus der Wissensdatenbank. Für ein Unternehmen, das täglich Kundenanfragen bearbeitet, ein echtes Problem.
Die Lösung? Ein DSGVO-konformer KI-Chatbot, der komplett On-Premise läuft — auf einer NVIDIA DGX Spark. Keine Cloud. Keine Datenübertragung. Volle Kontrolle. In diesem Artikel zeigen wir, wie wir das Projekt umgesetzt haben und warum diese Architektur für deutsche Unternehmen ein Gamechanger ist.
Inhalt
Das Problem: Warum der HubSpot-Chatbot nicht ausreicht
Warum DSGVO-Konformität bei KI-Chatbots entscheidend ist
Die Lösung: On-Premise LLM auf NVIDIA DGX Spark
RAG-Architektur: So greift der Chatbot auf Ihre Wissensdatenbank zu
Schritt für Schritt: So haben wir den Chatbot gebaut
Ergebnisse und Lessons Learned
Ist ein On-Premise KI-Chatbot das Richtige für Ihr Unternehmen?
Das Problem: Warum der HubSpot-Chatbot nicht ausreicht
HubSpot bietet einen integrierten Chatbot, der auf die Wissensdatenbank zugreifen kann. In der Theorie klingt das perfekt — in der Praxis hatte unser Kunde damit drei zentrale Probleme:
Ungenaue Antworten: Der Chatbot fand oft nicht die richtige Information oder kombinierte Inhalte aus verschiedenen Artikeln zu einer falschen Antwort.
Keine Kontrolle über das KI-Modell: Das zugrundeliegende Sprachmodell wird von HubSpot (bzw. deren KI-Partner) betrieben. Welches Modell läuft, wie es trainiert wurde und wo die Daten verarbeitet werden — darauf hat der Kunde keinen Einfluss.
DSGVO-Bedenken: Kundendaten und interne Wissensinhalte werden an externe Server übertragen. Für ein deutsches Unternehmen mit sensiblen Kundendaten ein inakzeptables Risiko.
Der Kunde suchte eine Lösung, die genauere Antworten liefert und gleichzeitig alle Daten im eigenen Haus behält.
Warum DSGVO-Konformität bei KI-Chatbots entscheidend ist
Seit dem Inkrafttreten der DSGVO im Jahr 2018 gelten strenge Regeln für die Verarbeitung personenbezogener Daten. Bei KI-Chatbots wird es besonders heikel:
Kundendaten in Anfragen: Nutzer geben oft persönliche Informationen ein — Namen, Vertragsnummern, E-Mail-Adressen. Diese Daten dürfen nicht unkontrolliert an Dritte fließen.
Wissensdatenbank-Inhalte: Interne Dokumente, Prozessbeschreibungen und Kundeninformationen in der Knowledge Base können sensibel sein.
Cloud-basierte LLMs: Bei Diensten wie ChatGPT oder anderen Cloud-KI-Lösungen werden Anfragen an Server außerhalb Deutschlands gesendet — häufig in die USA. Selbst mit Auftragsverarbeitungsverträgen bleibt ein Restrisiko.
Die sicherste Lösung: Das Sprachmodell läuft lokal auf eigener Hardware. Keine Daten verlassen das Unternehmensnetzwerk. Punkt.
Genau diesen Ansatz haben wir gewählt: Ein On-Premise LLM (Large Language Model), das vollständig auf der Infrastruktur des Kunden betrieben wird.
Die Lösung: On-Premise LLM auf NVIDIA DGX Spark
Für den lokalen Betrieb eines leistungsfähigen Sprachmodells braucht man entsprechende Hardware. Unser Kunde hat sich für die NVIDIA DGX Spark entschieden — ein kompaktes AI-System, das speziell für den Einsatz in Unternehmen entwickelt wurde.
[BILD: DGX Spark Unboxing]
Warum die DGX Spark?
Kompaktes Format: Die DGX Spark ist ein Desktop-Gerät — kein Serverraum nötig. Sie steht bei unserem Kunden direkt im Büro.
Ausreichend Leistung: Mit der integrierten NVIDIA Grace Blackwell Architektur und 128 GB unified Memory kann die DGX Spark Modelle bis zu 200 Milliarden Parameter betreiben.
Enterprise-ready: NVIDIA liefert einen vollständigen Software-Stack (NVIDIA AI Enterprise), der den Betrieb von LLMs vereinfacht.
Energieeffizient: Im Vergleich zu einem vollwertigen DGX-Server-Rack verbraucht die Spark einen Bruchteil der Energie — ideal für KMU.
[BILD: DGX Spark Setup]
Auf der DGX Spark haben wir ein Open-Source-Sprachmodell installiert, das für Deutsch optimiert ist. Das Modell läuft vollständig lokal — keine Internetverbindung für die Inferenz nötig, keine Daten werden nach außen gesendet.
RAG-Architektur: So greift der Chatbot auf Ihre Wissensdatenbank zu
Ein Sprachmodell allein reicht nicht aus. Es muss auf die konkreten Inhalte Ihres Unternehmens zugreifen können — in diesem Fall auf die HubSpot-Wissensdatenbank. Dafür setzen wir auf eine RAG-Architektur (Retrieval Augmented Generation).
Was ist RAG?
RAG kombiniert zwei Komponenten:
Retrieval (Abruf): Das System durchsucht eine Wissensdatenbank nach relevanten Informationen zu einer Nutzeranfrage.
Generation (Erzeugung): Das Sprachmodell formuliert basierend auf den gefundenen Informationen eine präzise Antwort.
Der entscheidende Vorteil: Das LLM erfindet nichts. Es antwortet ausschließlich auf Basis Ihrer eigenen Inhalte. Das reduziert sogenannte "Halluzinationen" (falsche Antworten, die überzeugend klingen) drastisch.
Unsere Architektur im Detail
HubSpot API → Daten-Export: Wir laden alle Artikel aus der HubSpot-Wissensdatenbank regelmäßig über die HubSpot API herunter. Das passiert automatisiert per Cronjob.
Chunking & Embedding: Die Artikel werden in sinnvolle Abschnitte (Chunks) aufgeteilt und in numerische Vektoren umgewandelt (Embeddings). Diese Vektoren repräsentieren die Bedeutung des Textes.
Vektordatenbank: Die Embeddings werden in einer lokalen Vektordatenbank gespeichert. Wir setzen auf eine bewährte Open-Source-Lösung, die ebenfalls auf der DGX Spark läuft.
Chatbot-Interface: Bei einer Nutzeranfrage wird zuerst die Vektordatenbank nach den relevantesten Inhalten durchsucht. Diese Inhalte werden dann zusammen mit der Frage an das LLM übergeben, das eine fundierte Antwort generiert.
Wichtig: Der gesamte Prozess — von der Nutzeranfrage über die Vektordatenbanksuche bis zur LLM-Antwort — läuft auf der DGX Spark. Keine Cloud. Keine externen API-Aufrufe. Die Daten bleiben im Unternehmen.
Schritt für Schritt: So haben wir den Chatbot gebaut
Für IT-Leiter und Geschäftsführer, die ein ähnliches Projekt planen, hier unser Vorgehen:
Phase 1: Analyse & Konzept (1 Woche)
Bewertung der bestehenden HubSpot-Wissensdatenbank (Qualität, Umfang, Struktur)
Definition der Anforderungen: Antwortqualität, Reaktionszeit, Sprachen
Auswahl des passenden LLM-Modells und der Infrastruktur
DSGVO-Bewertung und Datenschutzkonzept
Phase 2: Hardware-Setup (2-3 Tage)
Aufstellung und Einrichtung der NVIDIA DGX Spark
Installation des Betriebssystems und des NVIDIA AI Enterprise Stacks
Netzwerk-Integration (lokales Netzwerk, kein Internet-Zugang für das Gerät)
Phase 3: Datenpipeline & RAG-Setup (1-2 Wochen)
Anbindung an die HubSpot API für den automatischen Datenexport
Implementierung der Chunking- und Embedding-Pipeline
Aufsetzen der Vektordatenbank
Integration des LLM mit der RAG-Architektur
Phase 4: Testing & Optimierung (1 Woche)
Testläufe mit realen Kundenanfragen
Feintuning der Retrieval-Parameter (Chunk-Größe, Top-K-Ergebnisse)
Optimierung der Prompt-Strategien für bessere Antwortqualität
Performance-Tests unter Last
Phase 5: Go-Live & Monitoring
Integration in die bestehende Website / das Kundenportal
Monitoring-Dashboard für Antwortqualität und Nutzungsstatistiken
Regelmäßige Synchronisation der Wissensdatenbank
Gesamtdauer: ca. 4-6 Wochen von der Konzeption bis zum Go-Live.
Ergebnisse und Lessons Learned
Nach dem Go-Live konnten wir folgende Verbesserungen feststellen:
Deutlich höhere Antwortqualität: Durch die RAG-Architektur greift der Chatbot gezielt auf die richtigen Wissensartikel zu. Die Anzahl falscher oder irrelevanter Antworten sank erheblich.
Datenschutzrechtlich freigegeben: Keine Kundendaten verlassen das Unternehmensnetzwerk; der Datenschutzbeauftragte hat die Lösung freigegeben.
Schnelle Reaktionszeiten: Die DGX Spark liefert Antworten in wenigen Sekunden — vergleichbar mit Cloud-basierten Lösungen.
Unabhängigkeit: Der Kunde ist nicht mehr von HubSpots KI-Modell abhängig und kann das System jederzeit anpassen.
Lessons Learned
Datenqualität ist entscheidend: Die Qualität der Chatbot-Antworten hängt direkt von der Qualität der Wissensartikel ab. Schlecht strukturierte oder veraltete Artikel führen zu schlechten Antworten — unabhängig vom KI-Modell.
Chunk-Größe beeinflusst die Präzision: Zu große Chunks verwässern die Antworten, zu kleine Chunks verlieren Kontext. Die optimale Größe muss für jede Wissensdatenbank individuell getestet werden.
Regelmäßige Updates einplanen: Die Synchronisation zwischen HubSpot und der Vektordatenbank muss automatisiert laufen — idealerweise mehrmals täglich.
On-Premise ≠ kompliziert: Dank moderner Hardware wie der DGX Spark und ausgereifter Open-Source-Software ist der Betrieb eines lokalen LLM heute deutlich einfacher als viele denken.
Ist ein On-Premise KI-Chatbot das Richtige für Ihr Unternehmen?
Ein On-Premise KI-Chatbot ist die richtige Lösung, wenn:
Sie sensible Kundendaten verarbeiten und die DSGVO einhalten müssen
Sie eine vorhandene Wissensdatenbank (HubSpot, Confluence, Zendesk etc.) besser nutzen möchten
Ihnen Unabhängigkeit von Cloud-Anbietern wichtig ist
Sie die volle Kontrolle über das KI-Modell und die Datenverarbeitung behalten möchten
Die Investition in Hardware wie die NVIDIA DGX Spark amortisiert sich schnell — insbesondere wenn Sie bedenken, dass Cloud-basierte LLM-APIs bei hohem Nutzungsvolumen schnell teuer werden.
Fazit
Ein DSGVO-konformer KI-Chatbot muss kein Kompromiss sein. Mit der richtigen Hardware (NVIDIA DGX Spark), einer durchdachten RAG-Architektur und einer sauberen Datenpipeline erhalten Sie einen Chatbot, der präziser antwortet als Cloud-Alternativen — und Ihre Daten im eigenen Haus behält.
Die Technologie ist reif. Die Hardware ist verfügbar. Und die Umsetzung ist weniger aufwändig, als viele erwarten.
Sie möchten wissen, ob ein On-Premise KI-Chatbot auch für Ihr Unternehmen sinnvoll ist? Wir beraten Sie gerne — unverbindlich und praxisnah. Kontaktieren Sie uns für ein kostenloses Erstgespräch unter hypescale.com/kontakt.
:quality(80))
:quality(80))
:quality(80))
:quality(80))
:quality(80))
:quality(80))
:quality(80))