Chatbot AI na własnym serwerze. RODO, HubSpot i NVIDIA DGX Spark
Chatbot odpowiadał błędnie i klienci to zauważali. Wbudowany chatbot HubSpot podawał odpowiedzi, które bywały nietrafne lub sprzeczne z bazą wiedzy. Dla firmy obsługującej codziennie pytania klientów był to problem.
Zbudowaliśmy chatbot AI działający w infrastrukturze klienta na urządzeniu NVIDIA DGX Spark. Wyszukiwanie źródeł oraz generowanie odpowiedzi odbywają się lokalnie. Pokazujemy, jak powstało rozwiązanie i jakie decyzje miały znaczenie dla ochrony danych.
Spis treści
Problem z odpowiedziami chatbota HubSpot
Ochrona danych osobowych w chatbocie
Model językowy uruchomiony na NVIDIA DGX Spark
Architektura RAG i dostęp do bazy wiedzy
Jak zbudowaliśmy chatbot
Wyniki i wnioski
Kiedy rozważyć lokalny chatbot AI
Problem z odpowiedziami chatbota HubSpot
Wbudowany chatbot HubSpot może korzystać z bazy wiedzy. W zastosowaniu klienta wystąpiły trzy problemy.
Nietrafne odpowiedzi. Chatbot czasem nie znajdował właściwej informacji lub łączył treści kilku artykułów w błędną odpowiedź.
Ograniczona kontrola nad modelem. Model obsługiwał HubSpot lub jego partner. Klient nie wybierał modelu, sposobu jego trenowania ani miejsca przetwarzania.
Wątpliwości dotyczące RODO. Rozwiązanie wymagało przekazywania zapytań i treści źródłowych do zewnętrznej usługi. Klient chciał ograniczyć ten przepływ.
Klient potrzebował trafniejszych odpowiedzi i chciał zachować przetwarzanie zapytań we własnym środowisku.
Ochrona danych osobowych w chatbocie
RODO reguluje przetwarzanie danych osobowych. W projekcie chatbota zwróciliśmy uwagę na trzy obszary.
Dane klientów w pytaniach. Użytkownik może wpisać imię, numer umowy lub adres e-mail. Trzeba ustalić, gdzie dane będą przetwarzane i kto może mieć do nich dostęp.
Zawartość bazy wiedzy. Dokumenty wewnętrzne, opisy procesów i informacje o klientach mogą wymagać dodatkowej ochrony.
Modele działające w chmurze. Lokalizacja i zasady przetwarzania zależą od dostawcy, umowy i konfiguracji. Sprawdź, jakie dane trafiają do usługi i czy są przekazywane poza UE.
W tym projekcie wybraliśmy wariant lokalny. Model językowy działa we własnym środowisku klienta. Kontrolę danych oceniamy na podstawie wszystkich połączeń systemu.
Zastosowaliśmy lokalny duży model językowy (LLM) działający w infrastrukturze klienta.
Model językowy uruchomiony na NVIDIA DGX Spark
Do lokalnego uruchomienia modelu potrzebny jest sprzęt odpowiedni dla obciążenia. Klient wybrał NVIDIA DGX Spark, kompaktowe urządzenie do zadań AI.
Dlaczego DGX Spark?
Małe urządzenie biurkowe. DGX Spark mieści się w biurze klienta.
Pamięć potrzebna do modelu. Wersja z architekturą NVIDIA Grace Blackwell i 128 GB pamięci zunifikowanej obsługuje według NVIDIA modele do 200 mld parametrów. Przydatność zależy od modelu, jego konfiguracji i wymaganego obciążenia. Specyfikacja NVIDIA.
Oprogramowanie do obsługi AI. Środowisko NVIDIA ułatwia wdrażanie i obsługę modeli na urządzeniu.
Dopasowanie do lokalnego obciążenia. Sprzęt biurkowy był odpowiedni dla wymagań projektu. W większym wdrożeniu warto osobno sprawdzić pobór energii, przepustowość i koszty.
Na DGX Spark zainstalowaliśmy model językowy z otwartym kodem dobrany do języków potrzebnych klientowi. Samo generowanie odpowiedzi nie wymaga połączenia modelu z internetem.
Architektura RAG i dostęp do bazy wiedzy
Model językowy potrzebuje dostępu do wiedzy konkretnej firmy. W tym przypadku źródłem była baza wiedzy HubSpot. Korzystamy z architektury RAG (Retrieval-Augmented Generation), która łączy wyszukiwanie i generowanie odpowiedzi.
Czym jest RAG?
RAG łączy dwa kroki.
Wyszukiwanie. System szuka w bazie wiedzy fragmentów pasujących do pytania.
Generowanie. Model formułuje odpowiedź na podstawie znalezionych fragmentów.
Podanie źródeł pomaga modelowi oprzeć odpowiedź na treściach firmy. W odpowiednio sprawdzonym rozwiązaniu może to ograniczyć przekonujące odpowiedzi bez pokrycia. Jakość nadal zależy od wyszukiwania i treści źródłowych.
Jak zbudowaliśmy architekturę
Eksport danych z HubSpot. Artykuły pobieramy regularnie przy użyciu API HubSpot. Eksport działa automatycznie.
Podział i reprezentacje wektorowe. Artykuły dzielimy na sensowne fragmenty i zapisujemy ich reprezentacje wektorowe, opisujące znaczenie tekstu.
Baza wektorowa. Wektory zapisujemy w lokalnej bazie działającej na DGX Spark.
Interfejs chatbota. Po otrzymaniu pytania system wyszukuje trafne fragmenty w bazie. Następnie przekazuje je z pytaniem do lokalnego modelu, który tworzy odpowiedź.
Gdzie działają poszczególne kroki. Obsługa pytania, przeszukanie bazy i wygenerowanie odpowiedzi odbywają się na DGX Spark. Połączenie do synchronizacji dokumentów z HubSpot jest osobną ścieżką.
Jak zbudowaliśmy chatbot
Kroki, które wykonaliśmy w tym projekcie.
Etap 1. Analiza i koncepcja (tydzień)
Ocena jakości, zakresu i struktury bazy HubSpot
Ustalenie wymagań dotyczących jakości, czasu odpowiedzi i języków
Wybór modelu i infrastruktury
Ocena przepływów danych i koncepcji ochrony danych osobowych
Etap 2. Konfiguracja sprzętu (2–3 dni)
Instalacja i konfiguracja NVIDIA DGX Spark
Konfiguracja systemu operacyjnego i środowiska NVIDIA
Integracja z siecią lokalną i ograniczenie dostępu urządzenia do internetu
Etap 3. Dane i konfiguracja RAG (1–2 tygodnie)
Połączenie z API HubSpot do automatycznego eksportu
Przygotowanie podziału tekstu i reprezentacji wektorowych
Konfiguracja bazy wektorowej
Integracja modelu z RAG
Etap 4. Testy i poprawki (tydzień)
Testy na rzeczywistych pytaniach klientów
Dopasowanie rozmiaru fragmentów i liczby wyników wyszukiwania
Poprawa poleceń dla modelu
Testy wydajności pod obciążeniem
Etap 5. Uruchomienie i monitoring
Integracja ze stroną lub portalem klienta
Monitoring jakości odpowiedzi i statystyk użycia
Regularna synchronizacja bazy wiedzy
Łącznie około 4–6 tygodni od koncepcji do uruchomienia.
Wyniki i wnioski
Po uruchomieniu zauważyliśmy kilka zmian.
Trafniejsze odpowiedzi. Architektura RAG pozwalała dotrzeć do dopasowanych artykułów. Zaobserwowaliśmy mniej błędnych i nieistotnych odpowiedzi.
Ochrona danych uwzględniona w projekcie. Zapytania klientów przetwarzano w sieci firmy. Rozwiązanie zaakceptowała osoba odpowiedzialna za ochronę danych po stronie klienta.
Odpowiedzi w ciągu sekund. Na tym obciążeniu model zwracał odpowiedzi w ciągu sekund.
Samodzielna kontrola modelu. Klient mógł dostosować model i działanie chatbota we własnym środowisku.
Czego się nauczyliśmy
Jakość danych ma znaczenie. Nieaktualne lub nieczytelne artykuły pogarszają odpowiedzi niezależnie od modelu.
Rozmiar fragmentu wpływa na trafność. Zbyt duże fragmenty rozmywają odpowiedź, a zbyt małe gubią kontekst. Dobór sprawdzamy osobno dla konkretnej bazy.
Zaplanuj regularne aktualizacje. Synchronizuj HubSpot i bazę wektorową automatycznie z częstotliwością dobraną do zmian w treści.
Uwzględnij obsługę lokalnego systemu. Kompaktowy sprzęt i dostępne oprogramowanie ułatwiają uruchomienie. Nadal potrzebne są monitoring, aktualizacje i osoba odpowiedzialna.
Kiedy rozważyć lokalny chatbot AI
Warto ocenić takie wdrożenie w kilku sytuacjach.
Przetwarzasz wrażliwe dane klientów i chcesz bezpośrednio nadzorować ich przepływ
Chcesz lepiej wykorzystać obecną bazę wiedzy z HubSpot, Confluence lub Zendesk
Zależy Ci na ograniczeniu zależności od dostawcy chmury
Chcesz zachować kontrolę nad modelem i przetwarzaniem danych
Porównaj koszty sprzętu, energii i obsługi z kosztami usługi chmurowej przy oczekiwanym użyciu. Wynik zależy od modelu i obciążenia.
Podsumowanie
Dobrze zaprojektowany lokalny chatbot AI łączy sprzęt, RAG i aktualne dane. W opisanym wdrożeniu pozwolił uzyskać trafniejsze odpowiedzi i zachować przetwarzanie pytań w infrastrukturze klienta.
Przy kolejnym wdrożeniu zacznij od oceny odpowiedzi, przepływu danych i zasobów do utrzymania systemu.
Czy lokalny chatbot AI pasuje do Twojej firmy? Możemy to wspólnie sprawdzić. Umów bezpłatną rozmowę na hypescale.com/pl/kontakt.
:quality(80))
:quality(80))
:quality(80))
:quality(80))
:quality(80))