Harness Warsztaty

W tym roku na BB4IT wróciły warsztaty jednym z tematów był harness enginering. Uznałem, że warto się tam pojawić żeby poszerzyć wiedzę na ten temat. W końcu od maja próbuje coś takiego stworzyć a idzie jak po grudzie.

Krótki opis tego co było na warsztatach

Na wstępie zaliczyłem wpadkę, hm, zapomniałem laptopa ( człowiek idzie na warsztaty i zapomina laptopa- szczyt, szczytów) za to miałem zeszyt, którego kilka stron zostało zapełnionych, dzięki temu powstanie ten wpis i mój kolejny projekt dotyczący harnessa zostanie zapgrejdowany.

Czego nie mam u mnie a co powinno być?

AI jako maszyna do robienia softwaru, czemu nie, taki był jeden z motywów przewodnich tego warsztatu. Coś co stanie się deterministycznym narzędziem umożliwiającym:

• zbudowanie
• testowanie
• kontrolowanie

Problemem LLM-ów jest niedeterministczność, brak powtarzalności, taki hareness może to zmienić poprzez włączenie w proces punktów które nie są ejajowe, są wywołaniem deterministycznych skryptów które umożliwią kontrole wyprodukowanej treści. 

No to było by na tyle.

Co wyniosłem dla siebie (nie był to czyiś laptop, były całkiem nie złe porównując do mojego)? Zrozumiałem, że zbłądziłem, sam warsztat wyznacza cel pokazuje jak do niego dotrzeć poprzez zastosowanie tego co jest w np w moim przypadku w dokumentacji klaudiusza, ale reszta to jest moja praca która włożę w implementacje zdobytej wiedzy.

Tym o to sposobem powstała wersja 0.2.0 mojego chomąta, tak zmieniłem numeracje, zmieniłem wiele rzeczy.

Na początek postanowiłem że odejdę od quality gate w formie mojej osoby, na rzecz automatów, to był temat szeroko omawiany na warsztacie czyli jak zadbać o jakoś, jak sprawdzić czy kolega AI (ajaj) wykonuje zadanie dobrze?

Quality Gates

W moim przypadku jest to i proste i nie co trudniejsze, dlaczego?

Tematem mojego projektu jest refaktoryzacja no i wprowadzenie zmian, stworzenie bram jakościowych jest proste bo jednym z zadań refaktoryzacji jest stworzenie testów czyli mamy gotową bramę typu sprawdz czy testy są zielone.

Trudne, ponieważ ja podzieliłem każdy etap na kroki analiza - implementacja to quality gate do analizy jest dla mnie wyzwaniem, nie implementacja.

Jak sprawdzić że analiza czyli propozycja zmian jest właściwa?

Jeżeli chodzi np  o zaproponowanie testów do istniejacego kodu, to nie jest tak źle, ale np zmiany żeby te testy można było wprowadzić, i jak sprawdzić czy te zmiany są właściwe? owszem to może być sprawdzone po implementacji zmian. Ale jak wspominałem, ja mam podział analiza czyli wytworzenie zmian jako instrukcja oraz implementacja jako wprowadzenie zmian w kodzie, to nie wydaje mi się już takie proste, na razie jest to rozwiązane poprzez sprawdzenie czy posiadam pliki wynikowe czy one składają się z odpowiednich sekcji, sam etap1 i krok poświęcony analizie jest oparty o to co zaproponował Feathers w swojej książce więc mam jakieś oparcie o istniejące infrormacje.

Podział taki daje mi możliwość przełączania między modelami, analiza Opus, implementacja Sonet.

(tak na marginesie poprawiam to kilka dni po tym jak napisałem wersje pierwszą niniejszego tekstu i już mam rozwiązanie jak zrobić quality gate do analizy ;-), opis później, jak przetestuje).

Jak najmniej AI w AI - zdanie które padło podczas warsztatów

Hooki - to coś co motywuje klaudiusza do bezwględnego posłuszeństwa, nie miałem tego, ale już mam (tylko nie przetestowane na chwilę tworzenia posta), dzięki temu mogę wymusić na modelu zachowanie określone np za pomoca eventów np w czasie startu (`SessionStart` ),  czy np w czasie startu agenta (`SubagentStart`) i wiele innych tyle, że hooki nie są przenaszalne między dostawcami, są zależne od modelu na którym pracuje.

Co do samych hook-ów, uczę się jak to zastosować, mam już jeden w moim harnasiu ale jeszcze nie jestem pewny jego.

Za pomniałem dodać, hooki i quality gates można ze sobą powiązać, ale nie trzeba. Najważniejsze to sprawdzenie jakości wypluwanych odpowiedzi.

Agenci

To też ważny aspekt harnessa, to tu odsyłam zadania poprzez orkiestratora, to tu idą zlecenia pracy, dla poszczególnych agentów. Agent ma to do siebie, że działa na swoim kontekście ma swoją pamięć i po zakończeniu działania poprostu jest wyłączony więc nie zabiera kontekstu orkiestratora.

Ja podeszłem źle do moich agentów, zresztą do hook-ów też. Klaudiusz wprowadził mnie w błąd, nie po raz pierwszy zresztą, dlatego od dziś będę dokładniej sprawdzał dokumentacje bo sam LLM lubi błądzić i udowadnia to co chwilę, a ja błądzę razem z nim z powodu mojej nie wiedzy.

 

MCP

O tym nic nie powiem, bo na tę chwilę nic nie wiem, nie korzystam z tego w moim projekcie, chyba że nie wiem że korzystam ale to inna sprawa.

I koniec... no nie zupełnie na koniec posumowanie.

Podsumowanie

HM? Warto było na warsztaty przyjść, (ale z laptopem ehhh), informacje podane na tacy plus kontakt z prowadzącymi i możliwość otrzymania szybkiego fedbacku gdy coś robie dobrze lub źle. Podejście od zera do tematów zaawansowanych też było właściwe jak dla mnie, bo nawet taki ktoś jak ja który już przed warsztatem coś próbował wyskrobać samemu, widział, że mogłem rzeźbić lepiej.

A na koniec, bez własnych prób to i tak wiedza taka nie przetrwa za długo, to jak z programowaniem trzeba próbować implementować zdobytą wiedzę, i to właśnie robię, czy dobrze, czy źle? to jest inna kwestia ale uzyskana wiedza z warsztatów prowadzi do tej drugiej opcji. 

Na koniec linki do mojego nowego harness

• Chomąto do refaktoryzacji - dwie wersje, pierwszą testuje drugą rozwijam
  
•  coś dla masochistów DIY Tutorial - Jak zrobić uprząż? Harness krok po kroku
• nawet jestem na zdjęciach skromnie powiem że ten najprzystojnieszy, najbystrzejszy, najmądrzejszy i najskromniejszy Warsztaty BBDays4It

P.S.
Zapomniałem napisać kto prowadził warsztaty:

• Michał Michaluk
• Artur Dorda