Autor: Adam Styrkosz
Opublikowano:
Największy wpływ ma zakres zadania
Asystent przygotowujący szkic na podstawie jednego formularza jest innym projektem niż agent, który pobiera dane z kilku systemów, podejmuje działania i wymaga zatwierdzania wyjątków. Im więcej odpowiedzialności przekazujemy systemowi, tym więcej pracy potrzeba na projekt, testy i zabezpieczenia.
Dlatego ofertę warto porównywać przez opis procesu i rezultatu, a nie przez liczbę ekranów, promptów albo nazw użytych modeli.
Dane i wiedza firmowa
Koszt rośnie, gdy informacje są rozproszone, nieaktualne albo nie mają jasnego właściciela. Samo podłączenie bazy dokumentów nie gwarantuje dobrych odpowiedzi. Potrzebne są zasady dostępu, aktualizacji, wyszukiwania i wskazywania źródła.
- 01Liczba i format źródeł danych.
- 02Jakość, aktualność oraz sposób nadawania uprawnień.
- 03Konieczność anonimizacji lub filtrowania informacji.
- 04Wymaganie cytowania źródeł i śledzenia wersji.
- 05Sposób aktualizowania wiedzy po wdrożeniu.
Integracje i działania agenta
Odczyt odpowiedzi jest prostszy niż bezpieczne wykonanie operacji. Gdy agent ma tworzyć rekord, wysyłać dane albo zmieniać status w systemie, trzeba zaprojektować uprawnienia, walidację, powtórzenia i możliwość cofnięcia błędnej operacji.
Stabilne, dobrze udokumentowane API obniża ryzyko. System bez API może wymagać dodatkowej warstwy pośredniej albo pozostawienia części procesu człowiekowi.
Ewaluacja i kontrola jakości
Demo pokazuje, że model potrafi wykonać przykład. Wdrożenie musi pokazać, jak radzi sobie z różnymi przypadkami i kiedy powinien odmówić działania. Zestaw testów, monitoring i analiza błędów są częścią produktu.
- 01Zbiór reprezentatywnych przypadków poprawnych i trudnych.
- 02Kryteria oceny odpowiedzi lub wykonanej operacji.
- 03Punkty zatwierdzania przez człowieka.
- 04Logi, alerty i możliwość odtworzenia przebiegu.
- 05Proces poprawiania rozwiązania po zmianie danych albo modelu.
Jeśli błąd może wywołać istotną decyzję finansową, prawną lub operacyjną, kontrola człowieka nie jest dodatkiem. Jest częścią zakresu.
Koszt po uruchomieniu
Poza przygotowaniem systemu występują koszty modeli, infrastruktury, przechowywania danych, monitoringu oraz rozwoju. Ich udział zależy od liczby zapytań, długości kontekstu, wybranego modelu i częstotliwości działań.
Warto rozdzielić koszt wdrożenia od kosztu pojedynczego użycia oraz miesięcznego utrzymania. Dopiero wtedy można policzyć, czy rozwiązanie skaluje się wraz z procesem.
Dlaczego warto zacząć od pilota
Wąski pilot ogranicza wydatek i ryzyko, ale przede wszystkim dostarcza danych. Pokazuje jakość na rzeczywistych przypadkach, liczbę interwencji człowieka oraz realny koszt działania.
Po pilocie można podjąć decyzję o rozwoju, zmianie założeń albo zatrzymaniu pomysłu bez finansowania pełnego systemu na podstawie samej prezentacji.
Jak dostać porównywalną wycenę
Dobra wycena powinna mówić, jaki proces obejmuje, jakie dane i integracje są w zakresie, co uznajemy za poprawny wynik oraz co zostaje po pilocie. Sama lista technologii nie pozwala porównać ofert.
- 01Opisz jeden konkretny proces i użytkownika.
- 02Pokaż przykłady wejścia oraz oczekiwanego wyniku.
- 03Wymień systemy, uprawnienia i ograniczenia danych.
- 04Ustal kryterium sukcesu oraz przypadki wymagające zatwierdzenia.
- 05Poproś o oddzielny koszt pilota, działania i dalszego utrzymania.