Generatywna AI w codziennej pracy
Przewodnik po ocenie generatywnej AI według zadań, danych, jakości i kosztu, niezależnie od technologii.
Szkice
Przygotowuj tekst i inne materiały do sprawdzenia oraz zatwierdzenia przez pracownika.
Wiedza
Szukaj odpowiedzi w zatwierdzonych źródłach i sprawdzaj fragmenty, z których wynikają.
Dane uporządkowane
Klasyfikuj dokumenty w różnych formatach i odczytuj pola, które zespół może zweryfikować.
Wsparcie
Przygotowuj szkice tłumaczeń, lokalizacji i uwag do przeglądu kodu.
Z czego składa się system generatywnej AI?
Modele generatywne tworzą wyniki na podstawie wzorców z treningu i przekazanego kontekstu. Modele językowe uzupełniają tekst, odpowiadają na pytania, wydobywają informacje i sugerują kod. Inne modele generują obrazy, głos, muzykę lub wideo. Wynik tworzy model, a tam, gdzie liczy się dokładność, trzeba sprawdzić go w źródle.
System produkcyjny potrzebuje też innych elementów.
Interfejs, API lub połączenie z istniejącym oprogramowaniem
Instrukcje systemowe i szablony
Weryfikacja tożsamości i uprawnienia
Połączenia z dokumentami, bazami lub narzędziami, jeśli są potrzebne
Filtry, logi i monitoring
Określone kroki weryfikacji, zatwierdzania i eskalacji
Nawet dobry model może dostać nieodpowiednie dane, pobrać niewłaściwe źródło lub przekazać niesprawdzoną odpowiedź. Mniejszy model może działać lepiej w określonym zadaniu, gdy przepływ danych, format i wymagania jakości są jasne.
Unijne przepisy rozróżniają modele ogólnego przeznaczenia i systemy AI, które z nich korzystają. Unijny akt w sprawie AI opisuje różne role w łańcuchu dostaw. Obowiązki zależą m.in. od tego, czy firma używa cudzego systemu, integruje model, czy oferuje własny system.
Gdzie pomaga generatywna AI
Wybierz jasno opisane zadanie z odpowiednim kontekstem, widocznymi błędami i sposobem weryfikacji lub powrotu do innego procesu.
Tworzenie szkiców i redakcja
Przygotuj pierwszą wersję e-maila, opisu produktu, raportu lub instrukcji. Przed zatwierdzeniem pracownik sprawdza styl, fakty i prawa do treści.
Streszczanie i porównywanie
Streszczaj długie dokumenty według określonych pytań. Poproś system o wskazanie użytych fragmentów i porównaj je z oryginałem.
Porządkowanie i odczyt danych
Zamieniaj nieustrukturyzowany tekst na pola, kategorie lub określony schemat. Wymagane pola i walidację obsługuje oprogramowanie wokół modelu.
Odpowiedzi na podstawie zatwierdzonej wiedzy
Pobieraj fragmenty zatwierdzonych źródeł, by uzasadnić odpowiedź. Sprawdzaj, które źródła wybrał system i czy potwierdzają jego twierdzenia.
Wsparcie przy tłumaczeniu i kodzie
Używaj modeli do przygotowywania wersji i szkiców. Przed użyciem pracownik sprawdza dokładność tłumaczenia i przegląda wygenerowany kod.
Kiedy wystarczą prostsze narzędzia
Wybierz najprostsze narzędzie, które niezawodnie spełnia wymagania jakości i utrzymania.
- Dokładne wartości i transakcje. Do sald, cen i oficjalnych statusów użyj zapytań do bazy, obliczeń lub API.
- Decyzje według stałych zasad. Stosuj reguły, formularze i przepływy, gdy całą logikę można zapisać i przetestować.
- Wyszukiwanie dokumentów. Gdy użytkownik potrzebuje oryginału, dobra wyszukiwarka może wystarczyć.
- Standardowe treści. Korzystaj z zatwierdzonych szablonów, gdy zmienia się tylko kilka pól.
- Prognozowanie i klasyfikacja. Klasyczne metody często sprawdzają się przy prognozach liczbowych lub stałych kategoriach.
- Decyzje o poważnych skutkach. Zapewnij skuteczny nadzór człowieka, gdy błędy mogą wpłynąć na prawa, bezpieczeństwo, zatrudnienie lub dostęp do usług.
Porównaj trzy sposoby pracy. Zmierz dzisiejszy proces, najprostszą alternatywę cyfrową i wersję z generatywną AI.
Zdecyduj, gdzie ma działać system
Pojęcia prywatny model językowy i AI dla firm obejmują różne rozwiązania. Sprawdź, kto utrzymuje model i infrastrukturę, gdzie trafiają dane, co jest zapisywane i jakie obowiązują warunki umowy oraz licencji.
Sposób wdrożenia | Typowa korzyść | Co sprawdzić |
|---|---|---|
Oprogramowanie w hostingu lub publiczne API | Szybki dostęp do aktualnych modeli i mało infrastruktury do utrzymania | Dane przekazywane dostawcy, retencja, podwykonawcy, regiony, zmiany umów, limity i możliwość zakończenia współpracy |
Zarządzana instancja prywatna lub dedykowany punkt dostępu | Większa izolacja sieci i klientów przy obsłudze przez dostawcę | Na czym polega wydzielenie? Kto zarządza, zapisuje logi i aktualizuje system? Kto kontroluje model i warstwę zarządzania? |
Model z otwartymi wagami we własnej chmurze | Większa kontrola nad wdrożeniem, dostosowaniem i przepływami danych | Licencja, infrastruktura, aktualizacje bezpieczeństwa, skalowanie, ocena i dostępność pracowników |
Wdrożenie lokalne lub we własnej infrastrukturze | Działanie we własnym środowisku z możliwością użycia offline lub przy źródle danych | Wydajność sprzętu, energia, odporność na awarie, poprawki, monitoring, zmiany modelu oraz zabezpieczenia fizyczne i administracyjne |
Lokalne wdrożenie nadal wymaga oceny prywatności, bezpieczeństwa i kosztów. Dane mogą przepływać przez telemetrię, dostęp wsparcia, narzędzia, kopie i logi. Przy usłudze w hostingu sprawdź konfigurację i umowę, by ustalić, czy dostawca używa danych do treningu i jak je przetwarza.
Otwarte wagi oznaczają dostęp do wytrenowanych wag modelu. Użycie komercyjne, modyfikowanie i udostępnianie zależą od licencji. Definicja AI open source obejmuje także możliwość używania, badania, modyfikowania i udostępniania systemu oraz dostęp do elementów niezbędnych do zmian. Sprawdź konkretną licencję modelu.
Zobacz, jak sprzęt, model i baza wiedzy działają razem w przykładzie lokalnego modelu językowego.
Opisz przepływ danych przed wyborem modelu
Na przykładzie rzeczywistego zapytania sprawdź, jakie dane trafiają do każdego elementu. Pełny przepływ może obejmować następujące dane.
Dane od użytkownika wraz z załącznikami
Instrukcje systemowe, przykłady i historia rozmowy
Pobrane fragmenty dokumentów lub wyniki zapytań
Wyniki narzędzi i API
Przetwarzanie przez model, platformę i podwykonawców
Logi bezpieczeństwa, błędów, użycia i rozliczeń
Wygenerowany wynik, poprawki pracownika i przekazanie do innych systemów
Dla każdego kroku ustal kategorie, cel, podstawę prawną, odbiorców, lokalizację, retencję, usuwanie, dostęp i rejestrację zdarzeń. Ustawienie zerowej retencji może obejmować tylko część przepływu. Sprawdź metadane, zgłoszenia pomocy i kopie w podłączonych systemach.
Zgodnie z tym, co opisują wytyczne niemieckiej Konferencji Ochrony Danych dotyczące AI, prywatność trzeba ocenić przy wyborze, wdrażaniu i używaniu AI. Opinia Europejskiej Rady Ochrony Danych o modelach AI omawia indywidualną ocenę modeli i wdrożeń. Dotyczy to również systemu hostowanego lokalnie.
Gdzie trzeba, nie przekazuj szczególnie wrażliwych danych do modelu. Rozważ minimalizację, pseudonimizację, filtry lub przetwarzanie według reguł. Zobacz przewodnik po kontroli nad danymi.
Mierz jakość na rzeczywistych przypadkach
Modele generatywne mogą tworzyć przekonujące, lecz błędne lub niepotwierdzone twierdzenia. Lepsze dane, wiarygodne źródła, walidacja i jasne granice mogą zmniejszyć liczbę błędów. Aby oszacować ich częstość, określ zadanie, wersję modelu, język, kontekst i metodę pomiaru.
Przed pilotażem przygotuj reprezentatywne testy. Uwzględnij zwykłe zapytania, trudne sprawy, brakujące dane, sprzeczne źródła i dane, które system ma odrzucić. Ustal wymagania wobec dobrego wyniku.
Dokładność i kompletność w danym zadaniu
Poprawne odnośniki do źródeł, gdy są używane
Właściwy format i ton oraz przestrzeganie instrukcji
Odmowa lub przekazanie, gdy brakuje podstaw do odpowiedzi
Ochrona danych poufnych i danych poza uprawnieniami
Spójność w powtórzonych testach i odpowiednich grupach
Łączny czas obsługi wraz z weryfikacją przez pracownika
Koszt skutecznie zakończonego zadania
Porównaj z obecnym procesem lub prostszym narzędziem. Płynna odpowiedź może wymagać więcej kontroli i poprawek niż dotychczasowa praca. Szkic z łatwymi do wykrycia błędami może oszczędzać czas, jeśli całość spełnia próg jakości.
W ocenie pomoże profil NIST dla generatywnej AI. Zaleca ocenę przed wdrożeniem oraz w trakcie pracy i dokumentowanie progów decyzyjnych. Przy generowaniu wspomaganym wyszukiwaniem (RAG) mierz osobno trafność wyszukiwania i jakość odpowiedzi. Po zmianie modelu, poleceń, źródeł lub filtrów powtórz te same testy.
Mierz wyniki w ich kontekście. W badaniu 5 179 pracowników obsługi asystent AI zwiększył średnią liczbę spraw rozwiązanych na godzinę o 14%. Większy wzrost zanotowano u osób o krótszym stażu i niższych kwalifikacjach. Przeczytaj badanie NBER.
Ustal role, reguły i granice
Ustal, kto może używać systemu, w jakim celu i z jakimi danymi. Wyznacz osoby, które sprawdzają wyniki i decydują przy zmianie lub awarii.
Praktyczne zasady nadzoru obejmują następujące elementy.
Właściciele zastosowania, danych i platformy
Zadania dozwolone, ograniczone i niedozwolone
Zatwierdzone systemy, konta i integracje
Reguły dotyczące danych, źródeł, logów i retencji
Kiedy człowiek sprawdza i zatwierdza wynik
Progi jakości i kryteria zatrzymania
Procedury zmian, incydentów i skarg
Szkolenie osób używających systemu lub sprawujących nadzór
Unijny akt w sprawie AI stosuje podejście oparte na ryzyku oraz różne role i obowiązki. Sprawdź wymagania dla konkretnego zastosowania. Znaczenie mogą mieć też prywatność, prawa autorskie, tajemnica przedsiębiorstwa, bezpieczeństwo, prawo pracy i reguły branżowe.
Art. 4 unijnego aktu w sprawie AI dotyczy kompetencji pracowników i osób działających w imieniu organizacji. Zobacz przewodnik po kompetencjach AI w rozumieniu art. 4. Praktyczne szkolenie z generatywnej AI może być częścią działań dopasowanych do uczestników i systemu.
Zaplanuj bezpieczeństwo i utrzymanie poza pilotażem
Zmieniają się modele, dostawcy, ceny i zabezpieczenia. Źródła są aktualizowane, użytkownicy zgłaszają nowe potrzeby, a interfejsy mogą przestać działać. Wyznacz właściciela i zaplanuj utrzymanie, zmiany oraz wycofanie aplikacji.
Ewidencjonuj wersje modeli i poleceń, zarządzaj dostępem, monitoruj koszt oraz jakość, prowadź potrzebne logi i zaplanuj odtworzenie, wyłączenie oraz aktualizacje. Dostęp do logów i okres przechowywania dopasuj do ich zawartości.
Traktuj instrukcje z dokumentów i danych od użytkowników jako niezaufane. Ogranicz uprawnienia podłączonych narzędzi i sprawdź dostawców oprogramowania i modeli. Brytyjskie NCSC i partnerzy opublikowali wytyczne bezpiecznego rozwijania systemów AI, które obejmują projektowanie, budowę, wdrożenie, eksploatację i utrzymanie.
Systemy wywołujące narzędzia lub planujące kroki mogą wykonywać działania w innych aplikacjach. Określ uprawnienia, limity i zatwierdzenie dokładnie tam, gdzie akcja jest wykonywana. Zobacz, czym jest agentowa AI w praktyce.
Policz całkowity koszt i sprawdź licencje
Porównaj warianty według spodziewanego wolumenu oraz pełnego kosztu budowy, utrzymania i wymiany aplikacji.
Opłaty za użycie modelu lub licencję
Interfejs, wyszukiwanie, integracje i zabezpieczenia
Chmura, sieć, przechowywanie lub sprzęt lokalny
Ocena, przeglądy bezpieczeństwa i prace nad prywatnością
Monitoring, wsparcie i obsługa incydentów
Utrzymanie poleceń, źródeł, uprawnień i testów
Szkolenie, wdrożenie i dalsze wsparcie użytkowników
Migracja lub wycofanie przy zmianie dostawcy lub modelu
Przy hostingu sprawdź taryfy, limity użycia, minimalne zobowiązania, transfer danych i zależność od funkcji dostawcy. Modele z otwartymi wagami lub lokalne mogą ograniczyć część opłat za API, ale zwiększyć koszty infrastruktury, utrzymania i pracy.
Sprawdź warunki dotyczące modelu, bibliotek, danych treningowych, wejść, podłączonych źródeł i wyników. Licencje otwartych wag mogą wymagać atrybucji lub ograniczać użycie, dystrybucję i modele pochodne. W umowach hostingu sprawdź użycie danych, gwarancje, odpowiedzialność, prawa do danych wejściowych i wyników, ochronę własności intelektualnej i warunki rezygnacji.
Prawa autorskie mogą zależeć od materiału źródłowego, wkładu człowieka, podobieństwa do chronionych utworów i sposobu użycia wyniku. Badanie EUIPO dotyczące generatywnej AI i praw autorskich przedstawia europejski kontekst oceny konkretnych materiałów.
Na podstawie pilotażu zdecyduj, co dalej
Zaprojektuj pilotaż tak, by odpowiadał na określone pytanie o proces.
Określ zadanie i użytkowników. Wybierz jeden proces, właściciela biznesowego i przykłady typowej pracy.
Zapisz stan wyjściowy. Zmierz bieżącą jakość, czas obsługi, błędy, przekazania i koszty.
Opisz dane i granice. Ustal zatwierdzone dane, źródła, dostęp, logi, kontrolę przez człowieka i wyłączenia.
Sprawdź najprostszą architekturę. Dodawaj agentów, dostrajanie lub lokalną infrastrukturę, gdy służy to konkretnemu zastosowaniu.
Porównaj opcje. Oceń hosting, środowisko prywatne i, jeśli ma to sens, modele z otwartymi wagami lub lokalne na tych samych przypadkach.
Uwzględnij koszty utrzymania. Przed wdrożeniem ustal odpowiedzialność, monitoring, aktualizacje, wsparcie, budżet i plan wycofania.
Zapisz decyzję. Rozszerz zakres, kontynuuj z ograniczeniami, zmień architekturę albo zakończ projekt.
Wybierz wyszukiwarkę, reguły, API lub szablon, jeśli prościej osiągają wymaganą jakość.
Jeśli potrzebujesz planu dla kilku zastosowań, zobacz doradztwo i strategię AI. Podczas bezpłatnej rozmowy omawiamy zadanie, przepływ danych, wdrożenie i sposób pomiaru pilotażu. Kolejnym krokiem może być pilotaż lub prostsze rozwiązanie.
Pytania o generatywną AI
Źródła
Wytyczne niemieckiej Konferencji Ochrony Danych o AI i prywatności (po niemiecku)
Opinia Europejskiej Rady Ochrony Danych nr 28/2024 o modelach AI
Oceń swoje zastosowanie generatywnej AI
Przygotuj krótki opis do decyzji, obejmujący zadanie, stan wyjściowy, przepływ danych, kryteria jakości, hosting i prostszą alternatywę. Umów bezpłatną rozmowę.
Przewodnik dotyczy ogólnych zagadnień technicznych i organizacyjnych. Ocena prawna, prywatności, licencji i bezpieczeństwa zależy od systemu, celu, przepływu danych, umowy, kontekstu i osób, na które wpływa rozwiązanie.
Sprawdź generatywną AI w rzeczywistym procesie
Podczas bezpłatnej rozmowy omówimy zadanie, przepływ danych i wymagania jakości, by dobrać odpowiednie podejście.