19 listopada 202610 min. czytania

Chatbot AI na własnym serwerze. RODO, HubSpot i NVIDIA DGX Spark

Chatbot odpowiadał błędnie i klienci to zauważali. Wbudowany chatbot HubSpot podawał odpowiedzi, które bywały nietrafne lub sprzeczne z bazą wiedzy. Dla firmy obsługującej codziennie pytania klientów był to problem.

Zbudowaliśmy chatbot AI działający w infrastrukturze klienta na urządzeniu NVIDIA DGX Spark. Wyszukiwanie źródeł oraz generowanie odpowiedzi odbywają się lokalnie. Pokazujemy, jak powstało rozwiązanie i jakie decyzje miały znaczenie dla ochrony danych.


Spis treści

  • Problem z odpowiedziami chatbota HubSpot

  • Ochrona danych osobowych w chatbocie

  • Model językowy uruchomiony na NVIDIA DGX Spark

  • Architektura RAG i dostęp do bazy wiedzy

  • Jak zbudowaliśmy chatbot

  • Wyniki i wnioski

  • Kiedy rozważyć lokalny chatbot AI


Problem z odpowiedziami chatbota HubSpot

Wbudowany chatbot HubSpot może korzystać z bazy wiedzy. W zastosowaniu klienta wystąpiły trzy problemy.

  1. Nietrafne odpowiedzi. Chatbot czasem nie znajdował właściwej informacji lub łączył treści kilku artykułów w błędną odpowiedź.

  2. Ograniczona kontrola nad modelem. Model obsługiwał HubSpot lub jego partner. Klient nie wybierał modelu, sposobu jego trenowania ani miejsca przetwarzania.

  3. Wątpliwości dotyczące RODO. Rozwiązanie wymagało przekazywania zapytań i treści źródłowych do zewnętrznej usługi. Klient chciał ograniczyć ten przepływ.

Klient potrzebował trafniejszych odpowiedzi i chciał zachować przetwarzanie zapytań we własnym środowisku.

Ochrona danych osobowych w chatbocie

RODO reguluje przetwarzanie danych osobowych. W projekcie chatbota zwróciliśmy uwagę na trzy obszary.

  • Dane klientów w pytaniach. Użytkownik może wpisać imię, numer umowy lub adres e-mail. Trzeba ustalić, gdzie dane będą przetwarzane i kto może mieć do nich dostęp.

  • Zawartość bazy wiedzy. Dokumenty wewnętrzne, opisy procesów i informacje o klientach mogą wymagać dodatkowej ochrony.

  • Modele działające w chmurze. Lokalizacja i zasady przetwarzania zależą od dostawcy, umowy i konfiguracji. Sprawdź, jakie dane trafiają do usługi i czy są przekazywane poza UE.

W tym projekcie wybraliśmy wariant lokalny. Model językowy działa we własnym środowisku klienta. Kontrolę danych oceniamy na podstawie wszystkich połączeń systemu.

Zastosowaliśmy lokalny duży model językowy (LLM) działający w infrastrukturze klienta.

Model językowy uruchomiony na NVIDIA DGX Spark

Do lokalnego uruchomienia modelu potrzebny jest sprzęt odpowiedni dla obciążenia. Klient wybrał NVIDIA DGX Spark, kompaktowe urządzenie do zadań AI.

Dlaczego DGX Spark?

  • Małe urządzenie biurkowe. DGX Spark mieści się w biurze klienta.

  • Pamięć potrzebna do modelu. Wersja z architekturą NVIDIA Grace Blackwell i 128 GB pamięci zunifikowanej obsługuje według NVIDIA modele do 200 mld parametrów. Przydatność zależy od modelu, jego konfiguracji i wymaganego obciążenia. Specyfikacja NVIDIA.

  • Oprogramowanie do obsługi AI. Środowisko NVIDIA ułatwia wdrażanie i obsługę modeli na urządzeniu.

  • Dopasowanie do lokalnego obciążenia. Sprzęt biurkowy był odpowiedni dla wymagań projektu. W większym wdrożeniu warto osobno sprawdzić pobór energii, przepustowość i koszty.

Na DGX Spark zainstalowaliśmy model językowy z otwartym kodem dobrany do języków potrzebnych klientowi. Samo generowanie odpowiedzi nie wymaga połączenia modelu z internetem.

Architektura RAG i dostęp do bazy wiedzy

Model językowy potrzebuje dostępu do wiedzy konkretnej firmy. W tym przypadku źródłem była baza wiedzy HubSpot. Korzystamy z architektury RAG (Retrieval-Augmented Generation), która łączy wyszukiwanie i generowanie odpowiedzi.

Czym jest RAG?

RAG łączy dwa kroki.

  1. Wyszukiwanie. System szuka w bazie wiedzy fragmentów pasujących do pytania.

  2. Generowanie. Model formułuje odpowiedź na podstawie znalezionych fragmentów.

Podanie źródeł pomaga modelowi oprzeć odpowiedź na treściach firmy. W odpowiednio sprawdzonym rozwiązaniu może to ograniczyć przekonujące odpowiedzi bez pokrycia. Jakość nadal zależy od wyszukiwania i treści źródłowych.

Jak zbudowaliśmy architekturę

  1. Eksport danych z HubSpot. Artykuły pobieramy regularnie przy użyciu API HubSpot. Eksport działa automatycznie.

  2. Podział i reprezentacje wektorowe. Artykuły dzielimy na sensowne fragmenty i zapisujemy ich reprezentacje wektorowe, opisujące znaczenie tekstu.

  3. Baza wektorowa. Wektory zapisujemy w lokalnej bazie działającej na DGX Spark.

  4. Interfejs chatbota. Po otrzymaniu pytania system wyszukuje trafne fragmenty w bazie. Następnie przekazuje je z pytaniem do lokalnego modelu, który tworzy odpowiedź.

Gdzie działają poszczególne kroki. Obsługa pytania, przeszukanie bazy i wygenerowanie odpowiedzi odbywają się na DGX Spark. Połączenie do synchronizacji dokumentów z HubSpot jest osobną ścieżką.

Jak zbudowaliśmy chatbot

Kroki, które wykonaliśmy w tym projekcie.

Etap 1. Analiza i koncepcja (tydzień)

  • Ocena jakości, zakresu i struktury bazy HubSpot

  • Ustalenie wymagań dotyczących jakości, czasu odpowiedzi i języków

  • Wybór modelu i infrastruktury

  • Ocena przepływów danych i koncepcji ochrony danych osobowych

Etap 2. Konfiguracja sprzętu (2–3 dni)

  • Instalacja i konfiguracja NVIDIA DGX Spark

  • Konfiguracja systemu operacyjnego i środowiska NVIDIA

  • Integracja z siecią lokalną i ograniczenie dostępu urządzenia do internetu

Etap 3. Dane i konfiguracja RAG (1–2 tygodnie)

  • Połączenie z API HubSpot do automatycznego eksportu

  • Przygotowanie podziału tekstu i reprezentacji wektorowych

  • Konfiguracja bazy wektorowej

  • Integracja modelu z RAG

Etap 4. Testy i poprawki (tydzień)

  • Testy na rzeczywistych pytaniach klientów

  • Dopasowanie rozmiaru fragmentów i liczby wyników wyszukiwania

  • Poprawa poleceń dla modelu

  • Testy wydajności pod obciążeniem

Etap 5. Uruchomienie i monitoring

  • Integracja ze stroną lub portalem klienta

  • Monitoring jakości odpowiedzi i statystyk użycia

  • Regularna synchronizacja bazy wiedzy

Łącznie około 4–6 tygodni od koncepcji do uruchomienia.

Wyniki i wnioski

Po uruchomieniu zauważyliśmy kilka zmian.

  • Trafniejsze odpowiedzi. Architektura RAG pozwalała dotrzeć do dopasowanych artykułów. Zaobserwowaliśmy mniej błędnych i nieistotnych odpowiedzi.

  • Ochrona danych uwzględniona w projekcie. Zapytania klientów przetwarzano w sieci firmy. Rozwiązanie zaakceptowała osoba odpowiedzialna za ochronę danych po stronie klienta.

  • Odpowiedzi w ciągu sekund. Na tym obciążeniu model zwracał odpowiedzi w ciągu sekund.

  • Samodzielna kontrola modelu. Klient mógł dostosować model i działanie chatbota we własnym środowisku.

Czego się nauczyliśmy

  1. Jakość danych ma znaczenie. Nieaktualne lub nieczytelne artykuły pogarszają odpowiedzi niezależnie od modelu.

  2. Rozmiar fragmentu wpływa na trafność. Zbyt duże fragmenty rozmywają odpowiedź, a zbyt małe gubią kontekst. Dobór sprawdzamy osobno dla konkretnej bazy.

  3. Zaplanuj regularne aktualizacje. Synchronizuj HubSpot i bazę wektorową automatycznie z częstotliwością dobraną do zmian w treści.

  4. Uwzględnij obsługę lokalnego systemu. Kompaktowy sprzęt i dostępne oprogramowanie ułatwiają uruchomienie. Nadal potrzebne są monitoring, aktualizacje i osoba odpowiedzialna.

Kiedy rozważyć lokalny chatbot AI

Warto ocenić takie wdrożenie w kilku sytuacjach.

  • Przetwarzasz wrażliwe dane klientów i chcesz bezpośrednio nadzorować ich przepływ

  • Chcesz lepiej wykorzystać obecną bazę wiedzy z HubSpot, Confluence lub Zendesk

  • Zależy Ci na ograniczeniu zależności od dostawcy chmury

  • Chcesz zachować kontrolę nad modelem i przetwarzaniem danych

Porównaj koszty sprzętu, energii i obsługi z kosztami usługi chmurowej przy oczekiwanym użyciu. Wynik zależy od modelu i obciążenia.


Podsumowanie

Dobrze zaprojektowany lokalny chatbot AI łączy sprzęt, RAG i aktualne dane. W opisanym wdrożeniu pozwolił uzyskać trafniejsze odpowiedzi i zachować przetwarzanie pytań w infrastrukturze klienta.

Przy kolejnym wdrożeniu zacznij od oceny odpowiedzi, przepływu danych i zasobów do utrzymania systemu.

Czy lokalny chatbot AI pasuje do Twojej firmy? Możemy to wspólnie sprawdzić. Umów bezpłatną rozmowę na hypescale.com/pl/kontakt.