Dostawca AI zatrzymuje to, co naprawdę zbudowaliście

Zespół obsługi klienta przez rok uczy asystenta AI, jak działa ich firma. Pisze i przepisuje jego instrukcje. Zbiera kilkaset prawdziwych pytań wraz z odpowiedziami, jakich oczekuje, i sprawdza na nich każdą zmianę. Konsultanci codziennie poprawiają szkice asystenta, a te poprawki kształtują jego zachowanie. Potem platforma zmienia cennik, zostaje przejęta albo wycofuje model, pod który zespół wszystko dostroił.

Zespół idzie po eksport i znajduje transkrypcje rozmów — i niewiele więcej. Instrukcje żyją w ekranie konfiguracji. Zestaw testowy siedzi w panelu ewaluacji dostawcy. Poprawki posłużyły do ulepszania „usługi”, w formie, której nikt nie pobierze. Model nigdy nie był ich. Rok pracy okazuje się wkładem do cudzego produktu.

Prawdziwa przyczyna

W klasycznym oprogramowaniu cenną rzeczą tworzoną przez klienta są dane i większość kupujących wie już, że trzeba o nie zapytać. W systemach AI cenne rzeczy są inne i mniej oczywiste: instrukcje, dzięki którym ogólny model staje się użyteczny dla jednej organizacji, przykłady definiujące, co znaczy „dobrze”, i zapis tego, co poszło źle i jak to naprawiono. Ich wytworzenie jest drogie, są specyficzne dla klienta i niewidoczne dla typowej klauzuli o eksporcie danych, bo nie wyglądają jak rekordy.

To również to, co dostawca najchętniej zatrzyma, bo właśnie to sprawia, że zmiana boli. Konkurent może dorównać modelowi. Nie dorówna rokowi Waszych poprawek.

Gdzie utyka wartość

Instrukcje żyją w interfejsie. Prompty systemowe, definicje narzędzi i reguły kierowania edytuje się w przeglądarce, bez historii wersji i bez eksportu. Odtworzenie ich oznacza rekonstruowanie intencji z pamięci.

Zestaw ewaluacyjny należy do narzędzia. Pytania i oczekiwane odpowiedzi, na podstawie których ocenia się jakość, leżą w panelu dostawcy. Bez nich nie da się nawet stwierdzić, czy zamiennik jest równie dobry.

Informacja zwrotna trafia do wspólnej puli. Oceny, poprawki i edycje stroją wspólny system. Ulepszają produkt dla wszystkich i nie zostawiają niczego, co należałoby do Was.

Logi są przechowywane na warunkach dostawcy. Transkrypcje mogą być trzymane przez określony czas, próbkowane albo dostępne tylko na zgłoszenie. A to także historia, której potrzebowalibyście, żeby pokazać audytorowi, co system faktycznie robił.

Zachowanie jest przywiązane do jednej wersji modelu. Wszystko dostrojono pod model, który dostawca może wycofać. Nawet z kompletem plików przeprowadzka oznacza ponowne testy na czymś nowym — możliwe tylko wtedy, gdy testy zostały u Was.

Co robić zamiast tego

Trzymajcie instrukcje we własnym repozytorium. Traktujcie prompty i definicje narzędzi jak kod: wersjonowane, przeglądane i wdrażane do dostawcy, a nie pisane w jego wnętrzu.

Bądźcie właścicielem zestawu ewaluacyjnego. Zwykły plik z danymi wejściowymi, oczekiwanym zachowaniem i zasadami oceny, trzymany u Was. To najbardziej przenoszalny zasób systemu AI, bo pozwala porównać dowolnych dwóch dostawców na własnych warunkach.

Zapytajcie na piśmie, dokąd trafia informacja zwrotna. Czy poprawki trenują wspólny model, czy da się je wyeksportować i w jakim formacie. Jeśli nie da się, zapisujcie je u siebie, zanim trafią do środka.

Sami ustalajcie retencję logów. Wysyłajcie transkrypcje i decyzje do magazynu, który kontrolujecie, przechowywane tak długo, jak zdecydujecie. Unijne przepisy o sztucznej inteligencji coraz wyraźniej oczekują, że systemy używane przy ważnych decyzjach zostawią zapis pozwalający prześledzić ich działanie, więc w niektórych przypadkach przechowywanie logów przestaje być kwestią upodobań. Co obowiązuje, zależy od branży i sposobu użycia — warto to sprawdzić z kimś, kto ją dobrze zna.

Wybierajcie systemy, które mogą działać na innym modelu. Architektura pozwalająca podmienić model bazowy, także na model o otwartych wagach, który dałoby się hostować samodzielnie, utrzymuje dostawcę w uczciwości, nawet jeśli nigdy nie zmienicie dostawcy.

To ten sam argument, który stosujemy do każdego systemu — klient powinien móc odejść — tylko przyłożony tam, gdzie dziś szanuje się go najmniej. Produkty AI, które chcielibyśmy budować albo wspierać, trzymają instrukcje, testy i historię klienta w formatach, które klient może zabrać ze sobą: słowami strony głównej — jego systemy, jego dane i jego droga wyjścia.

Test do zrobienia dziś

Weźcie narzędzie AI, na którym Wasz zespół polega najbardziej, i spróbujcie odbudować je gdzie indziej — na papierze. Wypiszcie:

1. Każdą instrukcję i regułę, na której działa, oraz miejsce, gdzie jest zapisana.
2. Przykłady, na których sprawdzilibyście, czy zamiennik działa.
3. Poprawki, które zespół wprowadził w zeszłym miesiącu, i to, czy macie ich kopię.
4. Jak długo przechowywane są transkrypcje i kto o tym decyduje.

Wszystko, czego nie da się znaleźć albo co widać tylko w ekranach dostawcy, to część systemu, którą wynajmujecie, a nie posiadacie — a lista jest dobrym planem następnej rozmowy z dostawcą. Czy to, co znaleźliście, dałoby się faktycznie wczytać gdzie indziej, to druga połowa testu, opisana w tekście eksport, którego nikt nie odtworzył, nie jest wyjściem.