Kiedy ostatni raz rozmawialiśmy z Cezarym Kuikiem o chatbotach, jechaliśmy pociągiem z Krakowa do Warszawy. Minęło kilka lat, a AI zdążyło przejść długą drogę – od prostych botów po zaawansowane modele generatywne, które zmieniają sposób, w jaki robimy zakupy, wyszukujemy informacje i korzystamy z e-commerce.
Cezary Kuik na co dzień pracuje jako Product Manager w Allegro. To właśnie dzięki pracy jego Zespołu wyszukiwarka Allegro jest coraz bardziej precyzyjna, a automatyczne podsumowania opinii pomagają użytkownikom w podejmowaniu decyzji zakupowych.
Kilka kluczowych tematów naszej rozmowy
- Jak AI zmienia Allegro? – Cezary opowiada o wdrożeniach AI na platformie, w tym o systemie podsumowywania opinii generowanym przez sztuczną inteligencję.
- Dlaczego ChatGPT zmienił wszystko? – „Nagle z miesiąca na miesiąc, z dnia na dzień oczekiwania użytkowników co do jakości chatbotów zmieniły się diametralnie” – mówi Cezary.
- Czy AI zabierze nam pracę? – „Not Automate Jobs, Automate Tasks” – Allegro stawia na automatyzację zadań, a nie eliminację miejsc pracy.
- Jak budować skuteczne prompty? – Zaskakujące spostrzeżenia na temat prompt engineeringu, w tym historia prompta, który dzięki jednemu słowu obniżył koszty operacyjne o 400%.
- Czy AI skończy się na ChatGPT? – Jakie są bariery dalszego rozwoju AI i czy rzeczywiście „dotarliśmy do ściany” w kwestii danych?
Cytaty, które warto zapamiętać
„ChatGPT to dla AI to samo, co Lidl i Biedronka dla retailu – sztuczna inteligencja stała się masowa, tania i dostępna.”
„Gdy zadasz ChatGPT pytanie o złamanie Enigmy po polsku, usłyszysz o Rejewskim. Po angielsku – o Turingu. Modele AI nie są wolne od biasów.”
„Dzisiaj prompt engineering to jak nowy Microsoft Word – za kilka lat wszędzie będziemy mieć okna do rozmowy z AI.”
Nasza rozmowa to fascynująca podróż przez świat AI w e-commerce, ale też spojrzenie na przyszłość sztucznej inteligencji i jej wpływ na pracę oraz codzienne życie. Czy AI to narzędzie, które pomoże nam w pracy, czy zagrożenie? Jakie kompetencje będą kluczowe w erze wszechobecnych modeli generatywnych? Na te pytania próbujemy odpowiedzieć w najnowszym odcinku podcastu 99 Twarzy AI.
Zapraszam do słuchania!
—
Masz chwilę? Jeśli podoba Ci się 99 Twarzy AI, zostaw ocenę i recenzję – dzięki temu możemy docierać do jeszcze większej liczby słuchaczy!
Dobrego dnia i niech #AI będzie z Wami wszystkimi!
—
Notatki
Promptopedia – strona Cezarego.
Transkrypcja rozmowy
Disclaimer. Droga Czytelniczko, Drogi Czytelniku – mała uwaga dotycząca transkrypcji rozmowy. Jak się pewnie domyślasz – transkrypcja została przygotowana z wykorzystaniem magii LLM. Proszę o wyrozumiałość, gdyby pojawiły się w niej niewielkie błędy, literówki, etc. Żeby mieć pewność co do wszystkich wypowiedzi – polecam posłuchać, zamiast czytać. Ukłony.
Karol
No. No dobrze, czyli kolejna twarz AI. Witam cię Cezary serdecznie.
Cezary
Cześć.
Karol
Okazało się, że rozmawialiśmy o chatbotach i o conversational AI ładnych parę lat temu, kiedyś w pociągu Intercity jadącym z Krakowa do Warszawy.
Cezary
Tak, a jeszcze ciekawsze było to, że tym pociągiem wracaliśmy z małego wydarzenia, wtedy chyba można jeszcze określić dla geeków, ponieważ to było takie małe wydarzenie na temat chatbotów i asystentów głosowych. No i tak się potoczyło, że wtedy zaczynaliśmy w piwnicy. No a dzisiaj wszyscy widzimy, gdzie ta sztuczna inteligencja na salony wchodzi.
Karol
I wszyscy mówią nie tylko o chatbotach, ale też je wykorzystują. Mało tego, coś co kiedyś wydawało się nam szczytem osiągnięć, czyli asystencik bossowi, tak naprawdę teraz wydaje się być totalnym archaizmem.
Cezary
Ale to jest niesamowite, to jest niesamowite, że chatGPT tak bardzo w ogóle podniósł poprzeczkę dla chatbotów i w ogóle takich asystentów. My w Allegro mamy takiego chatbota Alinę i on przez kilka lat bazował na regułkach. Po prostu mieliśmy na sztywno zapisane intencje i przez kilka lat były całkiem, mógłbyś powiedzieć, nowoczesne chatboty. I nagle z miesiąca na miesiąc, z dnia na dzień, chatGPT tak podniósł te oczekiwania co do tego minimum, jakiego spodziewa się użytkownik rozmawiając z robotem. To głowa mała.
Karol
Wiesz, na czym się sam złapałem? Że zobacz, że smart speaker, który dla mnie wydawał się być szczytem osiągnięć, tak naprawdę stał się dla mnie tylko i wyłącznie urządzeniem, które wykorzystuję do włączenia muzyki, ustawienia alarmu albo włączenia światła. Nic więcej. Koniec, kropka.
Cezary
Kurcze.
Karol
Natomiast multimodalność w połączeniu z modelami językowymi to już zupełnie inna opowieść.
Cezary
No tak, no tak. Chociaż wiesz co, ja tutaj obserwuję pewną bardzo ciekawą rzecz. Jakiś czas temu w firmie ktoś zadał pytanie u mnie w pracy, które mnie bardzo zszokowało, bo ktoś zadał mi pytanie, dlaczego Allegro nie robi sztucznej inteligencji?
Karol
Bo dane macie.
Cezary
Nie, ale miałem coś takiego, jak to nie robimy sztucznej inteligencji, przecież mamy własny model, który stoi za wyszukiwarką, mamy własny model, który tłumaczy całą platformę, mamy własny model, który odpowiada za rekomendacje i mógłbym tak jeszcze dużo wymieniać, ale to, co do mnie dotarło przy tym pytaniu, to było takie, że faktycznie, ja to wiedziałem, bo my jako Allegron ten machine learning kreujemy już od kilku lat, Ale to pytanie mnie uświadomiło, że faktycznie dla wielu osób sztuczna inteligencja się zaczęła kiedy?
Karol
Listopad 2022 roku, chat GPT.
Cezary
Dokładnie tak.
Karol
A ja pamiętam, byłem pod niesamowitym wrażeniem, jak byłem na jednym ze spotkań organizowanym przez Pawła Górez, zresztą u was w siedzibie w Allegro, gdzie opowiadaliście właśnie o tych modelach, które umożliwiają tłumaczenie ogłoszeń na kilka różnych języków i automatyzację sprzedaży na różnych rynkach.
Cezary
Znaczy tak, to chociaż powiem szczerze, że to nie jest tak, że my jakoś bardzo obojętnie przeszliśmy koło tej rewolucji. No ciężko w ogóle koło niej przejść obojętnie. Ale dla mnie to było trochę takie wyjście z bańki. Ja zresztą bardzo często się staram to tłumaczyć, czy to na zewnątrz, czy nawet wewnątrz u nas, moim kolegom i koleżankom. No bo faktycznie było tak przez ostatnie kilka lat. Nawet jakbyś się cofnął w Allegro 2-3 lata do tyłu, no to jak wyglądało tworzenie modeli uczenia maszynowego, czy modeli sztucznej inteligencji, żeby to ułatwić słuchaczom? no to my, mimo tego, że mieliśmy zawsze całkiem spore zasoby, no bo mamy jeden z większych zespołów inżynierów uczenia maszynowego w Polsce, często to są bardzo wybitni badacze, też nie oszukujmy się, mamy zasoby finansowe, mamy też dużo własnych danych, na których możemy trenować modele, ale fakty są takie, że my zawsze mogliśmy trenować tylko, nie wiem, Kilka modeli do roku. I z czego to wynikało? Ja mam takie poczucie, że dużo ludzi, którzy w ogóle zaczynają przygodę ze sztuczną inteligencją, siłą rzeczy nie ma takiego zrozumienia jak bardzo ciężkie było kiedyś trenowanie modeli, cały czas zresztą jest jeśli robisz to samodzielnie, no bo co musisz zrobić? Musisz zebrać duże ilości danych. Często tych danych nie ma.
Karol
Uporządkować je.
Cezary
Uporządkować to jeszcze pół biedy. Czasami to w ogóle nie trzeba stworzyć od zera. Tak jak mówisz, uporządkować, oznaczyć, sprawdzić. To jest w ogóle najciekawsze, że… Często największą część czasu takiego projektu właśnie pochłania praca z danymi. Jak już masz te dane, to masz kolejne osoby, czyli inżynierów uczenia maszynowego, którzy te wszystkie modele trenują. Potem jeszcze jest jakiś inżynier, który musi to budować jakąś aplikację, interfejs, który pozwala w tego korzystać. No i nagle się okazuje, że kończysz projektem, który trwa kilka miesięcy, kosztuje setki tysięcy, czasami miliony złotych, nie mówiąc już o zasobach ludzkich, które musisz poświęcić. I nagle pojawiają się modele generatywne, gdzie my możemy tak naprawdę większość tego procesu przedpowiowo wyrzucić do kosza, bierzesz model z pudełka i jedyne co robisz to co? Musisz mu napisać dobrą instrukcję jak on ma wykonać to zadanie. Oczywiście wiele, to nie jest tak, że taki model zrobi wszystko, ale nawet z naszej perspektywy My mogliśmy przejść ze świata, gdzie mogliśmy robić tylko kilka dużych modeli rocznie, do świata, gdzie możemy na sztuczną inteligencję, na modele generatywne, otworzyć tak naprawdę wiele bardzo małych zespołów, bardzo małych projektów.
Karol
I to są zespoły projektowe, które wdrażają już konkretne rozwiązania, a nie budują modele, tylko co najwyżej je rozwijają.
Cezary
Dokładnie tak. Ja zresztą, wiesz, bo ja to często mówię, Ja lubię widzieć, że czas GPT, modele generatywne czy OpenAI to jest trochę tym czym Lidl i Biedronka były dla retailu, bo sztuczna inteligencja się zrobiła po prostu masowa, tania i dostępna. No i tak.
Karol
A jakbyś miał opisać siebie, swoją rolę, kim jesteś, czym się zajmujesz dla naszych słuchaczy, którzy być może ciebie nie znają?
Cezary
Ja myślę, że pojawienie się w ogóle tej technologii sprawiło, że takie osoby jak ja mogą rozbłysnąć. Bo kim ja jestem? Ja na co dzień pracuję jako product manager w Allegro Machine Learning Research Lab. To jest taki departament, taka jednostka w Allegro, która najprościej rzecz ujmując trenuje własne modele i stara się je aplikować do jakichś problemów biznesowych. Ja jako product manager mam nietrywialne, nieproste zadanie. Ja muszę te problemy zidentyfikować.
Karol
A potem połączyć kropki.
Cezary
Dokładnie tak. Dokładnie tak.
Karol
Mógłbyś opowiedzieć o jakimś takim projekcie, który jest takim twoim oczkiem w głowie?
Cezary
Jest kilka takich projektów.
Karol
Tutaj uwaga dla słuchaczy, teraz pojawił się błysk w oku Cezarego.
Cezary
No tak, trochę tego jest, ale taki jeden szczególny projekt, bo ja bym to podzielił na dwa światy, bo ja żyję trochę na pograniczu dwóch światów. Jeden to są te duże modele, które cały czas Allegro trenuje. No i teraz takim moim oczkiem w głowie jest model do wyszukiwania semantycznego, który stoi za wyszukiwarką. Ale taki inny projekt, i to może żeby też nie było tylko o projektach z Allegro. Takim moim oczkiem w głowie, takim projektem, do którego mam duży sentyment, on nie zmienił świata. Ale Matko Święta ile mnie nauczył. To w ogóle było moje pierwsze w życiu wdrożenie na produkcji z modelem generatywnym. To było bardzo niedługo po premierze czata GPT. To był asystent AI dla jednego z największych biur podróży w Polsce. Bardzo fajna rzecz, mieliśmy stworzyć asystenta, który na stronie oferty hotelu czy wycieczki, na podstawie opinii miał udzielać odpowiedzi na temat oferty.
Karol
To ciekawe w ogóle, na podstawie opinii, bardzo fajne źródło danych i bardzo wiarygodne.
Cezary
Tak, my wcześniej zrobiliśmy taki ground check i okazało się, że to miejsce na stronie internetowej jest niemiłosiernie maltretowany przez użytkowników tego klienta.
Karol
Szczęście mają ci, którzy oferują usługi wysokiej jakości.
Cezary
Dokładnie tak, ale… Dlaczego mnie to dużo nauczyło? No bo też to było takie moje pierwsze podejście do tworzenia rozwiązania, gdzie trzeba programowi powiedzieć, co zrobić, a nie zaprogramować w takim klasycznym stylu, czyli napisać tego prompta, o którym pewnie jeszcze dzisiaj będziemy mówić. I klient bardzo, bardzo się bał halucynacji, czyli tego, że ten nasz asystent będzie mówił nieprawdę na jakiś temat. Więc w instrukcji zawarliśmy wtedy takie bardzo popularne polecenie. Mów prawdę i tylko prawdę.
Karol
O, dobra. I udało się?
Cezary
Proste i genialne, prawda?
Karol
No.
Cezary
Na początku działało, aż do momentu, aż jeden z klientów mnie zapytał, czy w pokojach są lubiniane codziennie ręczniki.
Karol
Nie wiem.
Cezary
Więc asystent zgodnie z prawdą powiedział, że nie. Na dodatek śmierdzą i są pełne grzyba. To jest takie intuicyjne, to znaczy mówienie prawdę w tym sensie. Ale to oczywiście nas doprowadziło do tego, że musieliśmy zmienić te instrukcje i napisać mów prawdę i tylko prawdę, a jednocześnie nie zdychętać się i chętać do oferty.
Karol
Albo wykorzystuj rzeczywiście opinie, które są przeważające.
Cezary
Tam nie było żadnego takiego mechanizmu, który by jakoś lustrował te opinie na, nie wiem, lepsze, gorsze, albo te bardziej pasujące. Tam działał taki klasyczny RAG, czyli mieliśmy po prostu dedykowany model, który na podstawie pytania klienta wyszukiwał 10 opinii, które najbardziej pasują do tego, co napisał klient, a następnie GPT brał to razem z naszą instrukcją i na tej podstawie udzielał odpowiedzi.
Karol
I jakie były losy tego projektu?
Cezary
On chyba został teraz wyłączony na dłuższą chwilę. Dlaczego? Tego niestety nie wiem. Mam nadzieję, że to nie umarło i że to wróci. Ja myślę, że to mogło być trochę za wcześnie, bo to też tutaj chcę zaznaczyć, że my ten projekt realizowaliśmy jeszcze pod koniec 2022 roku. To były trochę inne czasy. Dzisiaj tak naprawdę pisanie instrukcji, pisanie tych promptów jest cały czas bardzo ważne, ale nie wymaga takiego wysiłku jak kiedyś. dla kontekstu. Ja pamiętam, jak pisaliśmy pierwszą wersję tego asystenta, to jakbyś zobaczył prompta, w którym ja muszę wyjaśniać w ogóle sztucznej inteligencji, co to jest opinia. Wiesz, że opinia składa się z czegoś, dotyczy czegoś i ludzie opisują to czym przymiotnikami. Wiesz, dzisiaj się tak nie promptuje. Takie wchodzenie w detale, które dla człowieka byłoby po prostu przytłoczeniem, siłem informacyjnym.
Karol
Model deskryptywny aż do granic możliwości.
Cezary
Super to jest ujęte, dokładnie tak. No i też mi się wydaje, że po prostu w pewnym momencie klient po prostu stwierdził, że chce to potestować. Nie chcę tutaj wchodzić, bo po prostu też już nie mam dostępu do tych informacji. Ale powiem szczerze, ten projekt bardzo leży w moim sercu głęboko i tyle co się na nim nauczyłem, to już potem nie mogę tego porównywać. To było takie naprawdę przetestowanie w boju, no i też Szapowa dla klienta, bo to chyba było jedno z pierwszych takich wdrożeń w Polsce na produkcji i było warto po prostu.
Karol
A możesz opowiedzieć o tych wdrożeniach, które realizujecie teraz w Allegro? O tych ciekawych, o których możesz mówić publicznie?
Cezary
To jest zawsze ta mgiełka tajemnicy, o której możecie mówić publicznie. To co myślę nie zaskoczy nikogo, to teraz jesteśmy na etapie, gdzie organizacja bardzo mocno się uczy. Mimo tego, że wydawać by się mogło, że Allegro ma jednak bardzo mocne korzenie w machine learningu, to ta nauka jest.
Karol
Potrzebna bardziej niż kiedykolwiek wcześniej, bo sam łapię się na tym, że zobacz, nagrywam czasami odcinki, mówimy o funkcjonalnościach, które fajnie, żeby się pojawiły w ciągu pół roku, roku i traktujemy jako taki, wiesz, odległy horyzont. Mijają trzy tygodnie do publikacji odcinka, okazuje się, że dzień dobry, już jest.
Cezary
Ale to, co powiedziałaś, to jest moim zdaniem esencja, bo Coś co chyba jest fajnie pokazuje z takim papierkiem lakmusowym dla nas jako dla organizacji. Od kilku lat mamy w firmie taki program jak AIT, to jest skrót od AI Transformation. i on do momentu powstania chata GPT to był bardzo mały, ekskluzywny program skierowany do inżynierów i do managerów. Bardzo młodka grupa. Nagle jak się pojawił chat GPT to się okazało, że AIT już nie jest tylko potrzebne dla tej małej, wąskiej grupie, ale nagle nieważne co robisz w Allegro Właśnie na jakim poziomie jesteś kariery, na jakim stanowisku. Każdy nagle ma potrzebę, żeby zrozumieć, jak działa sztuczna inteligencja. Pamiętam, tu pozdrawiam serdecznie Asię Bigę i moją koleżankę, z którą prowadzimy ten program. To było… Musieliśmy bardzo szybko łapać te potrzeby, organizować. To pierwsze szkolenie, jakbyś zobaczył pierwsze szkolenie versus szkolenie, które mamy dzisiaj. To się fajnie od siebie różni, bo każde szkolenie było inne, bo co chwila się pojawiały nowe funkcje, nowe potrzeby. I dlaczego o tym mówię, że to wewnętrznie? Bo faktycznie przez to, że jesteśmy w tym procesie nauki, to jak się rozejrzysz na samej platformie Allegro, nie ma dzisiaj za bardzo takich zdrużeń na zewnątrz. I to jest celowe. To wynika po prostu z tego, że dzisiaj bardzo dużo wdrożeń, które mamy są przede wszystkim wdrożeniami wewnętrznymi. Co jest bardzo ozroduniałe, bo to jest środowisko bezpieczne. Testujemy na sobie, nie na klientach i na sprzedawcach. Ale myślę, że takim jednym z ciekawszych, które wydostało się na zewnątrz, możliwe, że o nim słyszałeś, to było podsumowywanie opinii.
Karol
Do mnie nie trafiło, ale ja przyznam, że Allegro jest moją platformą pierwszego wyboru, ale po prostu wchodzę, wpisuję, kupuję.
Cezary
Takich lubimy najbardziej. Nie, ale to bardzo prosta rzecz. Uważam, że w ogóle to jest kierunek innowacji w e-commerce, jeśli chodzi o wykorzystanie tych technologii. Bardzo prosta rzecz. Testowaliśmy całkiem niedawno taką funkcjonalność, gdzie dla określonej grupy produktów, wybranej oczywiście według pewnych kryteriów, testowaliśmy wygenerowaną przez sztuczną inteligencję podsumowanie opinii. Trochę możesz o tym myśleć, Sztuczna inteligencja niech napisze taką jedną super opinię, że jak ją przeczytasz, to jakbyś przeczytał wszystkie opinie. I bardzo prosta rzecz. Ja myślę, że takich implementacji, takich optymalizacji można w wielu miejscach zrobić bardzo dużo. Ale coś, co było na pewno bardzo dla mnie zaskakujące, że nie pamiętam kiedy ostatnio pracowałem przy jakimś, bo sobą trzeba to zaznaczyć, jeszcze eksperymentalnym fitcherze, który by tak szybko wypłynął w mediach. Bo, wiesz, to były małe testy, to nie było tak, że całą platformę to uruchomiliśmy. A i tak wystarczyło, żeby wszyscy w internecie zaczęli na LinkedInie o tym pisać. Jakieś artykuły, jakieś portale zaczęły pisać o tym artykuły. I to mi uświadomiło, jak bardzo duża jest kłumność tego tematu, ale co za tym idzie, że kiedy robisz takie rzeczy, takie wdrożenia, to musisz wziąć, wiesz, tę miarkę, ten filtr dziesięć razy, bo absolutnie wszyscy od razu to zauważą i wszyscy będą o tym mówić. No ale sama funkcjonalność super, bardzo prosta. No i mam nadzieję, że też to z nami zostanie.
Karol
I odnoszę wrażenie, że zobacz, że to AI ma, tak jak w tytule mojego podcastu 99 twarzy, to tak samo 99 obszarów można byłoby znaleźć u was albo więcej. To jest komunikacja, to jest portal, to są tłumaczenia, to jest obsługa klienta, to są dane jeżeli chodzi o sprzedaż itd. Ja myślę, że tu mamy do czynienia.
Cezary
Z problemem bogactwa wyboru. Tak naprawdę ilość projektów, które możesz rozpocząć dzisiaj, po prostu biorąc model generatywny spółki i implementując go do jakichś procesów, które masz, jest tak naprawdę nieograniczona.
Karol
To jak wybierać te projekty, które są najbardziej wartościowe?
Cezary
Ja bym powiedział, że jest kilka kryteriów. Na pewno pierwszym kryterium, które może nie będzie takie oczywiste, jest bezpieczeństwo. Bezpieczeństwo w takim rozumieniu… I dla platformy, i dla użytkowników. Dla wszystkich, tak. No bo dla mnie dzisiaj na przykład projektami wysokiego ryzyka cały czas są na przykład projekty, tutaj podkreślam, to jest moja opinia, nie opinia Allegro. Ja uważam, że projektami wysokiego ryzyka jest na przykład wystawianie na front asystenta, który w całości automatyzuje komunikację obsługi klienta. To jest projekt wysokiego ryzyka, no bo tak naprawdę sam dobrze wiesz, że halucynacje są dziś takim problemem, że nie da się go rozwiązać w 100%. Nie da się go pewnie rozwiązać jeszcze przez kilka lat.
Karol
A media lubią to potem wykorzystywać.
Cezary
Dokładnie, dokładnie tak. Więc myślę, że no taki projekt jest po prostu za wcześnie i tego typu zawsze się kryterium pojawia jako pierwsze. Każdy projekt musi przejść taką ewaluację. I to zarówno z perspektywy użytkownika, jak i z perspektywy firmy, bo też się nie oszukujmy, że takimi modelami jest całkiem łatwo manipulować. Możesz wpłynąć na to, jak one działają, np. stosując prompt hacking, czyli np. wyciągając instrukcję, którą taki model się posługuje i podsuwając swoją. Nawet jeżeli to są głupie żarty, to wiesz, możesz potem zrobić screena, że model coś powiedział. Myślę też, że dość ciekawym kryterium, które może być ciekawe dla słuchaczy, to jest to, czy rozwiązanie jest stosowane online czy offline.
Karol
O, wyjaśnisz?
Cezary
Tak. Przy podsumowywaniu opinii, my nie generowaliśmy tego na żywo. My wygenerowaliśmy te podsumowanie opinii w tle i na stronie było wyświetlany tylko wersja już gotowa, która była przez nas ewaluowana i sprawdzona.
Karol
O, ciekawe. A ewaluacja jest ręczna? Czy też sprawdzają model?
Cezary
To i to. U nas to jest w ogóle bardzo ważna część Może inaczej, bo otworzyłeś bardzo ciekawy wątek. Ja jestem trochę zaskoczony. Wiem, że jesteśmy trochę w bańce, ale właśnie jestem zaskoczony, że nie słyszę tego często w bańce. Jak ważną częścią prompt engineeringu jest ewaluacja. Ja naprawdę nie słyszę o tym zbyt często. I dlaczego się dziwię, bo ta ewaluacja… Dam ci przykład. Robiłem ewaluację bardzo prostego prompta. Ale to była ogromna skala. Mówimy o kilkuset tysiącach zapytań miesięcznie do jednego z modeli generatywnych. Prompty były dwa, oba były praktycznie identyczne, poza jedną rzeczą. W jednym prompcie było jedno słowo więcej. Jedno słowo, tylko dosłownie. Cała reszta prompta była identyczna. i różnice w kosztach operacyjnych były czterokrotnie. Była czterokrotna różnica. Nie jesteś w stanie tego przetestować wysyłając 5-10 razy coś do modelu. Musisz to zobaczyć na bardzo ogromnej skali. To jest taka, nazwijmy to ewaluacja na dużej skali. Ale jest jeszcze bardzo kolejna ciekawa rzecz, którą zauważyłem. Ludzie wpadają często w taki łańcuch przyczynowo-skutkowy. Jak ludzie ewaluują modele generatywne, to najpierw wysyłają prompta i wiesz, jest taka ewaluacja bardzo subiektywna. Fajna odpowiedź, fajna jakość i tak dalej.
Karol
Bo mamy biasy.
Cezary
Dokładnie tak. Potem odkrywają ile to kosztuje. Jak kosztuje mało, to jest super. I coś, co ludzi zaskakuje na końcu, czego nie biorą pod uwagę, to jest czas odpowiedzi. A wiesz, w zależności od tego, jaki model wybierzesz, jak skomplikowane będzie zadanie, które mu dasz, to czasami na tę odpowiedź się czeka nawet kilkadziesiąt sekund. Wyobrażasz sobie w Allegro jakieś rozwiązanie, na przykład szukasz czegoś i czekasz pół minuty na wyniki, to jesteś w stanie otworzyć inny sklep, wyszukać i coś kupić. Ja w ogóle często bardzo mówię, jak mam szkolenia w Allegro dla innych product managerów, Ja bardzo wiem, że to jest trochę oklepane, ale już jest taki złoty trójkąt. Że musimy wziąć pod uwagę, że jak jest szybko, tanio i dobra jakość, to jest święty graal. Ale że tu faktycznie te trzy rzeczy trzeba wziąć pod uwagę, bo też to jest ciekawe paradoksalnie. Najinteligentniejszy model nie zawsze będzie tym najlepszym. Ja to pokazuję na takim fajnym przykładzie. Stworzyłem taką prostą aplikację, gdzie zadaję to samo zadanie i odpalam je na żywo na 20 różnych modela.
Karol
Złoty środek.
Cezary
Trochę tak. Tylko wiesz, te najtańsze modele o dziwo są najlepsze, bo po prostu odpowiadają na pytanie, co jest stolicą Warszawy, podchwytliwe, a te najbardziej inteligentne modele wydawać by się mogły najlepsze. One nie tylko ci podadzą odpowiedź, Ale jeszcze ci podadam cały wykład na temat historii. I to nie jest wcale dobre biznesowo. I taka ewaluacja zarówno jakości czasu, czy kosztów.
Karol
I nie tylko dobre biznesowo, ale też niepotrzebne z punktu widzenia użytkownika, bo użytkownik potrzebuje krótkiej informacji tej, której oczekuje.
Cezary
No dokładnie tak. Z takich jeszcze innych ciekawych wdrożeń, no to też myślę, że to będzie bardziej bliższe wielu firmom. Naszym takim pierwszym ważnym wdrożeniem to oczywiście było stworzenie własnego asystenta.
Karol
Takiego wewnętrznego.
Cezary
Tak, takiego wewnętrznego. My go stworzyliśmy na Slacku. Przy czym tu znowu moja opinia.
Karol
Możesz o nim opowiedzieć?
Cezary
Tak, tak, tak. To jest po prostu asystent na bazie chata GPT, który jest dostępny dla naszych pracowników na Slacku. Oczywiście to jest model w takich warunkach, Nie na zasadzie modelu wziętego z publicznej wersji, tylko na takich warunkach biznesowych. To znaczy, że jest pełny data governance zachowany itd. No ale to przede wszystkim miał być taki projekt, taki asystent, który ma dać ludziom szybko dostęp do sztucznej inteligencji, żeby oni mogli po prostu się z tym zapoznać. Ale powiem tobie szczerze, że jak tylko tego asystenta wypuściliśmy, to moja pierwsza myśl była taka, ja myślę, że to za rok albo może za dwa umrze. Od razu o tym pomyślałem. Dlaczego? Bo byłem świadomy tego, jak szybko my nie będziemy w stanie nadgonić tego rozwoju tych wszystkich narzędzi zewnętrznych. Dlaczego o tym mówię? Czasami jak jestem na jakichś konferencjach to widzę, że teraz bardzo dużo firm wkłada dużo wysiłku w budowanie własnych asystentów, co pewnie w niektórych branżach ma dużo sensu. Wyobrażam sobie, że w bankowości raczej jednak z uwagi na bardzo dużą wrażliwość danych trzeba tego asystenta mieć od A do Z, ale myślę, że w wielu firmach, nawet nie mówię o takich dużych organizacjach Allegro, ale małe, średnie przedsiębiorstwa, tak naprawdę dzisiaj, przy tym co się dzieje, jak jest konkurencja między tymi firmami, to się dużo bardziej opłaca po prostu kupić gotowe rozwiązanie i wdrożyć je, podłączyć swoje dokumenty, dane i zresztą my wszystkie opcje tak naprawdę testujemy. Ja w ogóle też znowu przestrzegam, bo widzę taką tendencję, że firmy bardzo często wpadają w pułapkę takiego pytania, który moder jest najlepszy?
Karol
Trudno na to odpowiedzieć. Nie ma sensu.
Cezary
Nie ma sensu Karol, no przecież jesteśmy w takiej sytuacji, że możemy brać co chcemy, tak?
Karol
A za trzy tygodnie może się okazać, że to jest absolutnie nieaktualne.
Cezary
To jedno, ale wiesz, nawet kosztowe kwestie, ja często powtarzam ludziom, że nawet jeśli teraz coś wyceniacie, to możecie z góry założyć, że za trzy miesiące to będzie dużo niższy koszt. No ale coś co mnie najbardziej chyba w Bieliku faktycznie do mnie trafia osobiście, to nawet gdyby ten model miał małą ilość zastosowań takich biznesowych, co pewnie nie jest prawdą, to uważam, że to co Bielik mówi, co jest bardzo ważne, budowa tych kompetencji, bo naprawdę tych ludzi, którzy dzisiaj potrafią robić takie rzeczy jest bardzo mało. No zresztą jak się trochę wejdzie w to środowisko machine learning, Wiesz, każdy tam każdego zna, bo to nie jest duże środowisko. A nie oszukujmy się, teraz popyt jest bardzo duży i po prostu te kompetencje trzeba stworzyć.
Karol
I będzie jeszcze większy.
Cezary
Dokładnie tak.
Karol
Bo chyba odwrotu nie ma. Wyobrażasz sobie, że to może się zatrzymać na pewnym etapie?
Cezary
Wiesz, nie chcę określić czarnych scenariuszy, ale Jeden z założycieli OpenAI, to jest dosłownie sprzed kilku dni, jest taka konferencja, nie pamiętam nazwy, mam nadzieję, że nie przekłamie, IPS się nazywa, neural chyba. On powiedział, że my już dotarliśmy do ściany związanej z danymi. W sensie, że już bardzo ciężko trenować te modele na znacząco lepsze, bo nie bardzo jest z czego.
Karol
Ja dlatego np. rozmawiałem z Sebastianem Kondrackim, rozmawiałem z nim na temat wykorzystania transkrypcji np. podcastów, bo zobacz, że to jest treść, która w modelach językowych mogłaby być w sposób kapitalny wykorzystana. Bo zobacz, że jest to naturalny język, zapisany w stylu dokładnie takim, w jakim się komunikujemy potem z modelami. Bo z nimi rozmawiamy.
Cezary
Kurczę, wiesz, we mnie w takich momentach się włącza taki duch idealisty. Bo jak słuchałem tego wykładu z konferencji i teraz to co mówisz, to mi się przypomina rozmowa z moim serdecznym przyjacielem Piotrem Rybakiem.
Karol
Pozdrawiamy serdecznie.
Cezary
Tak, bardzo serdecznie. Zresztą dzięki niemu się moja przygoda w machine learningu zaczęła, ale wracając. Wiesz, mnie czasami boli to jak wygląda cię internet. Ja mówię o tym kontencie, który jest masowo produkowany.
Karol
Ale właśnie o tym mówię i wiesz, my też idziemy do takiego ślepego zaułka, gdzie nagle za 3, 5, 6 miesięcy okaże się, że treści, które widzimy, z których korzystamy w 80% będą generowane przez AI. Stąd też moja cicha nadzieja, Taka moja wizja przyszłości, że do łask wrócą z powrotem stare, dobre blogi.
Cezary
Ale w ogóle, że quality content będzie się opłacało.
Karol
I content, który dodatkowo ma pewne połączenie z użytkownikami. Tam gdzie się buduje relacje, tam gdzie wiesz kto co pisze, wiesz jak pisze, dlaczego pisze. Zobaczmy, my którzy korzystamy z modeli językowych, jak widzimy tekst na LinkedIn, który zaczyna się w werze modeli językowych, albo w dzisiejszej, że od razu wiesz, że 90% pewności, że jest to tekst wygenerowany przez AI.
Cezary
Od razu mi dwie rzeczy przyszły do głowy. Pierwsza, trafiłem niedawno na reklamę, która mnie zaintrygowała na Instagramie. Reklamę firmy, która skupuje prace magisterskie od studentów. I wiesz co w mojej głowie się pojawiło? Czy to przypadkiem nie jest kupowanie danych pod… Trening modeli. Ale to tak.
Karol
Słuchaj, swoją drogą i potem ofering, jeżeli chodzi o pisanie prac naukowych, magisterskich, licencjackich i tak dalej.
Cezary
Naprawdę nie byłbym zdziwiony.
Karol
Zobacz, że to samo dotyczyło generowania CV-ek.
Cezary
Ano też. Prawda. Ale w ogóle też powiem coś ciekawego. Postaram się tego nie utrudnić. Używam czasami takiego prompta, który może trochę źle zabrzmieć. Bo w tym prompcie, jak często tworzę jakieś dokumenty biznesowe, to używam takiej frazy unikaj afrykańskiego angielskiego. Ja wiem, ta historia zaczyna się źle.
Karol
Nie, jestem absolutnie ciekawy.
Cezary
Ale dlaczego? To nie chodzi o żadne uprzedzenia. Czytałem w Guardianie kilka miesięcy temu niezwykle fascynujący artykuł, gdzie analizowali publikacje medyczne. I sprawdzali wszystkie publikacje medyczne, które powstały w ostatnich 30 latach. pod kątem kilku bardzo konkretnych słów. To są pewne bardzo charakterystyczne słowa, których używa sztuczna inteligencja. Takie słowa to na przykład leverage, albo delve, robust, tego typu rzeczy. Jak się domyślasz… Tak samo jak z.
Karol
Tą erą, w której żyjemy.
Cezary
Ale dokładnie tak. Jak się domyślasz, przez prawie 30 lat te słowa praktycznie nie występowały w publikacjach. 2023-2024 jest wybuch, ale co to ma wspólnego z afrykańskim i angielskim? Okazało się, że te słowa są bardzo charakterystyczne dla angielskiego, który jest używany w Nigerii, bodajże, albo w innym kraju afrykańskim. Jak się domyślasz, okazało się, że jedna z firm, która trenuje modele sztuczne inteligencji, jeśli nie wszystkie, zatrudniają tam osoby, które trenują te modele, więc te osoby mają bezpośrednio wpływ na to, I teraz zobacz.
Karol
Mogłoby się wydawać, że modele językowe będą pozbawione bajasów, a to nic bardziej mylnego.
Cezary
Nie, absolutnie. To naprawdę, to ja myślę, że to.
Karol
Jest jeszcze… I halucynacje to jedno, a bajasy, uprzedzenia i prezentowanie świata z perspektywy danych, które są wykorzystane do budowy modeli to drugie.
Cezary
Znaczy, ja w ogóle kocham, kocham tę technologię za to, jak bardzo ona uczy człowieka takiej świadomej komunikacji. Ach, czuję jak moje serce w ten prompt engineering ciągnie. Ale mam faktycznie coś takiego, że jednak przez wiele lat, zresztą wymienialiśmy się bardzo często, nawet rozmawiając online, tym przemyśleniem, więc je przywołam. że jednak przez ostatnie lata bardzo mocno wyceniało się te zdolności techniczne, programowanie, liczenie. One oczywiście dalej będą bardzo wysoko wyceniane, ale jednak jak szybko wraca do łask, wróci zaraz, to humanistyczne, prawda?
Karol
Ale teraz powtórzę to, któryś raz już kilka razy w kilku odcinkach to przytaczałem. Wyobrażasz sobie, że jako prompt inżynierów…
Cezary
Stanach, zatrudnia się, uwaga, poetów, Absolutnie mnie to nie dziwi. Absolutnie mnie to nie dziwi. Ja wręcz mam takie podejście, zresztą to też przywołam. Ja bardzo lubię porównywać prąd engineering i czata GPT do nowego Microsoft Worda. Powiem Ci dlaczego Microsoft Worda, bo za tym stoi ciekawa historia. Otóż… Mógłbym oglądać w niedzielę Netflixa, mógłbym coś porobić, ale postanowiłem poczytać gazety z lat 80. Była kiedyś taka, cały czas jest bardzo popularna w Stanach Zjednoczonych gazeta, która się nazywa PC Magazine.
Karol
No legendy jak komputer świat w latach 90.
Cezary
Dokładnie tak. I teraz dlaczego zacząłem to przeglądać?
Karol
Swoją drogą mała historia moja osobista. Kiedyś pamiętam właśnie w komputer świecie wygrałem bardzo fajny komputer w konkursie, który polegał na tym. Popatrzcie, co to są za znaki? I było pokazanych kilka emotikonów, uśmiechów, strzelania oczek i tak dalej. Co one mogą oznaczać? To był etap, kiedy to jeszcze w ogóle nie było znane. Więc ja popatrzyłem na to, zrobiłem sobie zdjęcia ilustrujące dokładnie poszczególne te emocje i okazało się, że wygrałem komputer.
Cezary
Jak o tym myślę, to w ogóle co mnie natknęło do tego PC Magazine? Przez to, że ja mam tę metaforę, w której mówisz, że to jest do Microsoft Office, to zadałem sobie po prostu pytanie. Bo w sumie tego nie wiem. Jak wyglądały pierwsze dni w Microsoft Office? I skupiłem się na Wordzie, bo on chyba był pierwszy. I wiesz, pomnice do kłębka znalazłem, że to był rok 1983. Zapytałem czata GPT. Tak, 1983. Poczekaj, bo teraz dopiero się zaczyna. Zapytałem czata GPT, czy może mi poszukać, kiedy są pierwsze wzmianki i on mnie skierował na PC Magazine. I coś co mnie zafascynowało, słuchaj, to w ogóle w tych gazetach starych, PC Magazine, była osobna sekcja, która się nazywała Word Processing, poświęcona tylko i wyłącznie edytorom tekstu, co więcej. Word to było jedno z wielu i nawet chyba nie kilkunastu, jak nie kilkudziesięciu narzędzi. Co więcej, przeczytałem pierwsze recenzje Microsoft Worda i co w nich było. Przetestowałem, sprawdziłem, ale szczerze powiedziawszy, to zamiast patę wykonywać szybciej, to wykonuję ją wolniej. Czy brzmi znajomo, Karol?
Karol
Ale jaja, genialne.
Cezary
Jak zacząłem to czytać, to zauważyłem, że to wszystko to jest kropka w kropkę to samo. Tak jak dzisiaj masz wszystkie firmy, które się ścigają, robią identyczne interfejsy, identyczne narzędzia. Wtedy dokładnie to samo wszyscy robili z maszynami do pisania. Dokładnie tak.
Karol
Tutaj też, któryś raz to powtarzam. Zobacz ile lat ma układ QWERTY.
Cezary
No tak, tak.
Karol
Strzelisz?
Cezary
40? 50?
Karol
Strzelaj dalej.
Cezary
Jezu więcej?
Karol
Ponad 150.
Cezary
Matko święta. No. Ale dobry. Został z nami.
Karol
Został z nami. I popatrz, jaka jest siła przyzwyczajeń. Mam serdecznego kumpla, który prowadzi kancelarię notarialną. I czasami jak rozmawiamy, on mówi mi, stary, ja nie rozumiem, jak przychodzi do mnie młode pokolenie i oni korzystają z klawiatury zamiast dyktować. No tak, no.
Cezary
Tak. To jest w ogóle ciekawe, że to jest siła przyzwyczajeń, bo w sumie jak o tym pomyślisz, czy zaskoczyłoby Cię dzisiaj, że znasz kogoś, w ogóle zaskoczyłoby Cię, że ktoś nie zna Microsoft Office?
Karol
Tak jak kiedyś w procesach rekrutacyjnych znajomość Microsoft Office. No teraz, no halo.
Cezary
No nie, jakby to jest szokujące. Ktoś tego nie wie, ale też żeby wyszła z tego konkluzja. Mam nadzieję, że nie popłynąłem, ale wydaje mi się, że z prompt engineeringiem będzie dokładnie. Ja w ogóle nie lubię mówić prompt engineering. Wiesz to, to też już usłyszałeś ode mnie. Ja wolę mówić, że to jest umiejętność rozmawiania ze sztuczną inteligencją. Jakkolwiek to banalnie brzmi, Ja wierzę, że za kilka lat standardem będzie, że w każdym zakątku internetu będzie jakieś okno, czy to tekstowe, czy głosowe, gdzie będziesz najprościej rzecz ujmując, musiał, musiała wyjaśnić, czego ty chcesz od tej sztucznej inteligencji.
Karol
I trochę to jest nauka nowego angielskiego.
Cezary
O, bardzo piękne porównanie. Tak, tak, dokładnie tak. Lingwa latina w świecie komputerów. Dokładnie tak. Ja jedyne tylko czego się trochę boję, to Bo już widzę, że robi się dużo takiej czarnej magii dookoła Prompt Engineeringu.
Karol
Ale zobacz też, przepraszam, jeżeli chodzi o średniej długości Prompt. Sprawdziłem badania, wiesz ile wyrazów?
Cezary
Te od Googla, tak?
Karol
Nie pamiętam teraz źródła, ale… Dziewięć? Dziewięć, dokładnie.
Cezary
To te same badania czytaliśmy.
Karol
Dziewięć wyrazów Prompt.
Cezary
No i właśnie o tym mówię, że tak naprawdę wystarczy, że napiszesz bardziej precyzyjną, szczegółową, użyjesz dwa razy więcej słów i już masz drastyczne szanse, żeby działało lepiej.
Karol
I te same badania mówią, że takie minimalne optimum to nie 9, tylko 21.
Cezary
No dokładnie tak, dokładnie tak. Wiesz, bo ja tak celowo trochę z tą czarną magią, bo ja się bardzo czasami jak patrzę w internecie co się dzieje, boję, że Bardzo szybko dookoła Prompt Engineeringu się buduje taką zasłonę, że to jest coś bardzo zaawansowanego. Ja myślę, że to ludzi może trochę zniechęcać.
Karol
Zaawansowane jest to, co jest pod spodem.
Cezary
A to jest w ogóle bardzo dobrze powiedziane. Ja w ogóle bardzo często lubię robić takie ćwiczenie z ludźmi. Jak mam jakieś szkolenie w Aledro. Wiesz, szukałem długo sposobu, jak wyjaśnić ludziom, jak działa czat GPT, ale w taki sposób, żeby zrozumieli jego ograniczenia. Zadam tobie teraz pytanie. Zrobię to na tobie na żywo, bo tego jeszcze na tobie nie robiłem. Tylko muszę jedną rzecz sprawdzić. Jesteś fanem piłki nożnej?
Karol
Absolutnie.
Cezary
Fantastycznie, jesteś idealny. Ćwiczenia. Tylko odpowiedź na to pytanie, nie mów, nie wiem, po prostu spróbuj jakkolwiek odpowiedzieć. Gdybyś miał mi powiedzieć, kto strzelił ostatnią bramkę dla reprezentacji Polski, to kto to by był?
Karol
No pewnie Lewy.
Cezary
To nie jest dobra odpowiedź, ale fantastyczna dla tego ćwiczenia. Poeksplorujmy to, dlaczego powiedziałeś Lewy?
Karol
Bo jest najbardziej znany i jest najbardziej rozpoznawalny. Ma najsilniejszą markę i ludzie są przyzwyczajeni do niego, do jego sukcesów i tak dalej.
Cezary
Generalnie za tym, wszystko dobrze powiedziałeś, za tym stoi taka intuicyjna statystyka, bo twój mózg podpowiedział ci odpowiedź, która ma największą szansę być tą prawdopodobną. I chart GPT czy inne rozwiązania działają dokładnie tak samo. Statystyka. Dokładnie tak. W odpowiedzi na twoje spodziewania generują te najbardziej prawdopodobne. I moim zdaniem jak ludzie to zaczną ją rozumieć, to nagle… Właśnie, jakie to.
Karol
Jest ważne, żeby uświadomić, bo ludzie nie rozumieją tego, że model językowy bazuje swoje odpowiedzi na najbardziej prawdopodobnym układzie słów, tak?
Cezary
Ale nie tylko. Próbowałeś kiedyś zadać to samo pytanie w różnych językach?
Karol
Nie, tego nie. Różnym modelom jak najbardziej, ale nie w różnych językach.
Cezary
Polecam, ja tutaj zdradzę, no bo jesteśmy w formacie głosowym, więc ciężko byłoby to pokazać. Jeżeli zadasz czatowi GPT pytanie, kto był najważniejszą osobą zaangażowaną w złamanie szyfru Enigmy, to usłyszysz, że był to Marian Rejewski. Ale gdy zadasz to samo pytanie po angielsku, to usłyszysz, że to był Alan Turing.
Karol
No i popatrzcie, to są właśnie te biasy.
Cezary
Ale to prawda, tylko wiesz dlaczego ja te przykłady też przywołuję? Bo ludzie nagle rozumieją jak bardzo od ich polecenia będzie zależało to co model im zwróci.
Karol
Ale zobacz i to się przenosi tak samo na… Mało kto to rozumie, ale to jest dokładnie tak samo jak z komunikacją w życiu codziennym. Tylko, że zobacz, w komunikacji mamy 30% to słowa, potem masz jeszcze mowy ciała, emocje i całą resztę. A tutaj 100% komunikacji z modelem językowym leży w tym, co wklikujemy.
Cezary
Tak, ale ja rozumiem, dlaczego dla ludzi to jest trudne.
Karol
Chyba, że mówimy o modelach multimodalnych, gdzie już dyktujemy, a za chwilę będziemy tak samo. Wydaje mi się, że modele będą na tyle multimodalne, że będą analizowały nasz układ twarzy, rozpoznawały nasze emocje itd.
Cezary
Ja zawsze lubię mówić, i to mówię już od lat, to jeszcze mówiłem w czasach, kiedy pierwsze chatboty tworzyłem, że maszyny rozumieją nas coraz lepiej, ale my niekoniecznie w drugą stronę. Ale to, co mówisz w ogóle, wydaje mi się, że nazwijmy to wizja, że nie tylko tekst, że maszyny będą miały coraz większą zdolność wyczytywania kontekstu z danych niekoniecznie podanych wprost, ale myślę, że na koniec dnia i tak jakby zostanie to takie minimalne ten minimalny prog wejścia, gdzie no musisz jakkolwiek wyrazić, czego potrzebujesz. Ale ja ci powiem, takie dwa, trzy przykłady mi w ogóle do głowy przychodzą. Ja mam taki przykład, który w ogóle u mnie w pracy obrósł trochę legendą. Bo jako product manager, jeśli mam jakiś pomysł, to muszę zazwyczaj go sprzedać. Jak to w życiu? I wiadomo, żeby sprzedać taki pomysł, to muszę przygotować jakiś dokument. Ten dokument prezentuję komuś wyżej. I zbudowałem sobie takiego propta, którego skrócę trochę. Brzmi tak. Jesteś prezesem Allegro.
Karol
Tak.
Cezary
Twoje zadanie to oprowadzenie firmy, dbanie o jej dobrą kondycję.
Karol
Reverse engineering.
Cezary
Dokładnie tak. I daję takie dwa zadania. Twoje zadanie to przeanalizowanie mojego pomysłu, a następnie, i to drugi punkt, zadaj mi pięć pytań, które skillują mój pomysł, ale niech będą realistyczne. I to jest super, w ogóle persona jest jedną z najciekawszych zastosowań, ona jest bardzo intuicyjna dla ludzi. Ale mi się bardzo podoba to, że…
Karol
Wejść w rolę.
Cezary
Jeszcze raz?
Karol
Wejść w rolę.
Cezary
Ale tak, dokładnie tak. Ja tu podałem przykład, wydaje mi się nieintuicyjny, bo ludzie zazwyczaj jak słyszą o personim, to mówi się np. wcielcie w prawnika, żeby ten model generował bardziej prawny tekst. Ale ja bardzo lubię ten, co powiedziałaś, reverse engineering, że ja mogę wykorzystać tę zdolność modelu do przyjęcia cudzej perspektywy. Ja na przykład bardzo często kolegom i koleżankom, które pracują w PRze szeroko rozumianym marketingu, mówię, jak tworzycie jakąś komunikację mailową, wrzućcie to I zadajcie pytanie, jakby wasz odbiorca, persona, zareagował. W ogóle niesamowite, jak to nagle wiele narzędzi nabiera na wartości. Tu teraz mogę pójść w coś, co nie będzie dla wszystkich może znane, ale w badaniach, w marketingu jest takie narzędzia jak persona w rozumieniu, że budujemy taką personę, tego naszego idealnego klienta. I nagle się okazuje, że ta praca ma bardzo… Kiedyś się z tego śmiało, że to jest takie ćwiczenie dla ludzi, którzy robią design thinking, jakieś kolorowe karteczki, ale nagle możesz to wykorzystać jako input do modelu generatywnego i zasymulować wywiad ze swoim klientem. To jest po prostu… Albo powiem ci inną bardzo ciekawą rzecz. W jednym z pierwszych POS-y w Allegro związanym z wykorzystaniem modeli generatywnych testowaliśmy testowaliśmy generowanie opisów. Bardzo prosta rzecz. I bardzo długi czas to nie szło.
Karol
Bardzo długi czas. Do czasu kiedy stworzyliście personę w postaci bazującą na waszych informacjach, kto kupuje, skąd jest, skąd pochodzi.
Cezary
Co ty, ale polecałeś. Dodaliśmy jedno zdanie. Jesteś administratorem Allegro. I nagle wszystkie metryki skoczyły. Powiesz, dla modelu to było tak zwane pozycjonowanie kontekstu, że on ma się nie skupiać generalnie o treściach ofert, tylko treściach ofert powiązanych z Allegro. No tutaj to akurat wyszło, no bo dane Allegro są generalnie publiczne, więc na pewno one były w jakikolwiek sposób wykorzystywane do trenowania modeli generatywnych. No ale widzisz, taka drobna rzecz. Tu też trzeba jasno zaznaczyć, persona to nie jest jakaś magiczna instrukcja, że ona zawsze zadziała. Ja myślę, że jakbyś pisał, jesteś marynarzem, to wyniki nie będą tak dobre, bo jest pewnie trochę mniej tekstów, chociaż kto wie. Pewnie to już się pojawiło gdzieś w Twoim odcinku, ale pozwolę sobie to powtórzyć. Generalnie teraz obecnie na świecie jest ponad 60 różnych technik prompt engineeringu, które pozwalają komuś współpracować z modelem, ale ja zawsze trochę przekornie mówię, Taki zwykły użytkownik, moim zdaniem, on nigdy tego nie będzie potrzebował. Bo te techniki to się bardziej przydają, jak robisz bardzo skomplikowane ewaluacje, albo budujesz już takie bardzo poważne rozwiązanie.
Karol
Zaskoczyłeś mnie.
Cezary
Tak, naprawdę? Liczba tych technik się zmniejsza. I to jest mój zakład. Myślę, że za kilka lat, jak już te modele dojdą do jakiejś takiej, nazwijmy to, pewnego optimum, myślę, że tych technik zostanie niewiele. A tak naprawdę z perspektywy przeciętnego użytkownika chyba jest dużo ważniejszy, żeby zrozumiał takie kilka podstawowych bloków. Ja to zawsze uwielbiam Anatomia Prompta.
Karol
I formułował swoje oczekiwania w zrozumiały sposób w Polsce.
Cezary
Tak. Jest taki prosty szablon. Dlaczego o nim mówię? Bo jak się zaczniesz wchodzić w ogóle w techniki, to bardzo szybko się zorientujesz, że kolejne techniki to jest tak naprawdę bawienie się tymi elementami i tylko ich wymianą.
Karol
Elementy składowe i układanie klocków.
Cezary
Tak, dokładnie tak. Jak znasz te sześć, to moim zdaniem większość użytkowników jest w stanie osiągnąć bardzo dobre wyniki i nie muszą w to wchodzić tak głęboko.
Karol
A masz swój ulubiony model językowy?
Cezary
Uff, ważna deklaracja. Szczerze to na co dzień najwięcej pracuję z czatem GPT.
Karol
Bo wiesz, ja na przykład robię czasami eksperymenty i proszę jeden model, żeby ocenił mi pracę drugiego albo wszedł w rolę krytyka i żeby pracował nad wynikami pracy drugiego modelu.
Cezary
Kurczę, powiem ci szczerze, że ja to się zastanawiam teraz po twoim pytaniu, czy jestem dobrym adresatem tego pytania, bo czasami nawet w Allegro, jak prowadzę szkolenia wewnętrzne, ja w ogóle bardzo często prowadzę szkolenia tak, że ja na żywo promptuję.
Karol
Wiem i to jest niezwykle cenne i gratuluję Ci tego, bo sam widzę po tym jak ja prowadzę szkolenia, że tego najbardziej brakuje i tak naprawdę szkolenia z promptowania to powinien być krótki wstęp do technik, a potem słyszałem genialne określenie kiedyś, a potem prompting karaoke.
Cezary
Dobre, dobre. Dobre, bardzo dobre, podoba mi się to. Ja to powiem Ci szczerze, z czego o tym wspominam? Ludzie mi mówią, że ja ludzi bardzo fascynuję w sposób, w jaki piszę. Ja nie myślę, powiem ci szczerze, ja nie mam już czegoś takiego, że siadam i myślę sobie.
Karol
Ale to jest tak samo jak z językiem.
Cezary
Trochę tak, albo jak z graniem może muzyki. Jak już tylko grasz na fortepianie, to nie musisz tak po prostu myśleć jak grasz. Ale dlaczego tym mówię, bo mi jest ciężko porównywać narzędzia, bo powiem tobie szczerze, że w ogóle rzadko mi się zdarza już być niezadowolonym z efektów. to już raczej patrzę konkretnie na zastosowania chat gpt zaspokaja mi większość rzeczy ale są takie specyficzne typy zadań gdzie się przełączam ja myślę że to nikogo nie zaskoczy jak muszę coś zakodować to korzystam z kloda Ba! Nawet do tego stopnia to ciekawie wyszło, że ja na Clodzie zaprogramowałem prototyp aplikacji, którą potem w Allegro wdrożyłem jako wtyczkę do arkuszy kalkulacyjnych, która jak się domyślasz udostępnia GPT, żeby na arkuszy kalkulacyjnych automatyzować operacje, więc wykorzystałem jeden model.
Karol
Powiem Ci, dla mnie to jest, przy całej sile modeli językowych, to jest cały czas dla mnie terra incognita, jeżeli chodzi o programowanie. Ja zatrzymałem się na etapie kilku linii kodów Pascalu i absolutnie nie mam do tego talentu.
Cezary
Ale to ja tak, powiem Ci, że to było coś, co mnie najbardziej zafascynowało. Mój tata mi zawsze mówił, że ja mam trochę pecha w życiu, bo jestem we wszystkim względnie dobry, ale w niczym wybitny.
Karol
I to jest też moja myśl i często się nad tym zastanawiam, czy teraz w dobie, zobacz, rozwoju modeli językowych, wszystkich narzędzi i tak dalej, czy bardziej opłaca się nam być generalistami, którzy mają świadomość, mają umiejętność korzystania z narzędzi, łączenia ludzi, odpowiednio się komunikują, czy lepiej być człowiekiem, specjalistą w bardzo wąskiej określonej dziedzinie? Bo ja mam trochę tak jak ty.
Cezary
Ja myślę, że to i to. To też na pewno nie będzie nic zaskakującego. Teraz bardzo często można usłyszeć taką opinię, że najlepsze połączenie to jest właśnie jakiś model językowy plus jakiś specjalista. Ale ja mam pewien ciekawy przykład, który pokazuje, że nawet jeśli nie jesteś specjalistą i nie jesteś w stanie dobrze zweryfikować tego co wyprodukował model, to i tak jest tobie łatwiej.
Karol
Czyli co, główną umiejętnością teraz najważniejszą będzie ciekawość?
Cezary
Ciekawość i weryfikacja. Dam tobie taki przykład, który jest moim ulubionym. Ja bardzo często pokazuję ludziom, że mogą na podstawie jakiegoś tekstu generować diagramy. To jest w ogóle mój, ja jeszcze to pokazuję takim często hardkorowym rodzaju tekstu, jakim jest tekst prawny. Bo wiesz, tekst sprawny jest w ogóle dla ludzi mówiących nawet natywnie po polsku bardzo trudny.
Karol
I notebooka wykorzystujesz do tego?
Cezary
Co ty, nie. Mam bardzo prostego prompta, w którym po prostu mu podaję kodeks jako źródło. Ale wolę wgrywać to w PDF-ie, bo prawo się bardzo szybko zmienia. Ale bardzo rzecz skracając, wybieram sobie jakiś proces, na przykład proces rejestracji spółki z o.o. I proszę, żeby na podstawie rozdziału kodeksu spółek handlowych, narysował mi diagram sekwencyjny ze wszystkimi aktorami, scenariuszami negatywnymi i żeby jeszcze przy każdym kroku wskazał mi źródło tego paragrafu. I dlaczego to podaje? Bo faktycznie z perspektywy prawnika to jest w ogóle bardzo łatwa rzecz, bo on może szybko zweryfikować czy ten diagram jest w porządku czy nie. Ale jeżeli ktoś by dostał diagram, kto nie jest prawnikiem, to i tak mu to ułatwia pracę, bo nawet jeśli nie jest pewny, czy to jest prawidłowe, to ma podane, gdzie ma sprawdzać, do którego paragraf, wyobrażasz sobie?
Karol
I to nie jest 20 stron tekstu, tylko to jest wyciśnięta esencja, mało tego, ubrana w schemat, który jest czytelny.
Cezary
No dokładnie tak. I to mnie najbardziej fascynuje, że możesz tyle danych w różnych formatach i jeszcze nieustrukturyzowanych zamienić w jakieś kilka i dowolny format i jeszcze to uporządkować. Ja zawsze mówiłem, że sztuczna inteligencja to nie chodzi o to, aby generować nowe rzeczy, tylko żeby uporządkować ten cały bałagan z danymi, które mamy.
Karol
Świetnie powiedziane. A z perspektywy takiej organizacji, w której pracujesz, Dlaczego zadaję to pytanie? Bo jak kiedyś wyszedłem na ulicę Warszawy, młodzi ludzie traktują AI jako narzędzie, które będą wykorzystywali dokładnie tak, jak rozmawialiśmy, jak worda, dla ułatwienia sobie życia. Ludzie po 35, 40 roku życia mówią, kurcze, EIA zabierze nam pracę. A jaka jest perspektywa patrzenia na te rozwiązania w tak dużej organizacji jak wasza?
Cezary
U nas bardzo popularna jest taka maksyma, nie automatyczne pracy automatyczne zadania o świetna I też wynika z pewnej filozofii zresztą, którą się bardzo staramy gdzieś tam mocno promować. Bo wydaje mi się, że marketing teraz dookoła Ejaja obiecuje taką bardzo nierealistyczną rzecz. Generalnie każdą pracę na świecie możesz podsumować w taki sposób. Każde zadanie w pracy. Masz jakiś cel, zadania i masz rezultat, po którym oceniasz, czy dobrze wykonałeś zadanie. I między celem a rezultatem jest zazwyczaj kilka, kilkanaście zadań, które musisz wykonać sam albo we współpracy z innymi.
Karol
Czas, zasoby.
Cezary
Dokładnie.
Karol
Procesy.
Cezary
I marketing do co AI teraz obiecuje, że ty używając narzędzi AI możesz od razu z celu przejść do rezultatu. A ja uważam, że to w ogóle nie tędy droga, tylko że narzędzia AI to co robią to między celem a rezultatem albo ci eliminują część tych zadań, albo skracają drogę z przejścia do jednego, po prostu przyspieszają twoją pracę.
Karol
I wiesz co jeszcze jest kapitalne? Jeżeli potrafisz jeszcze wykorzystać te modele językowe, to kreatywność jest genialna.
Cezary
Tak, tak, tak, tak.
Karol
I te wszystkie procesy mogą być wzbogacone właśnie o kreatywność, bo możesz odbijać pomysły, wcześniej powiedziałeś, od person, które będą krytykami, inspiratorami i twoimi pomagierami, jeżeli chodzi o tworzenie procesów, produktów i całej reszty.
Cezary
Mi się wydaje, że nie powiem nic odkrywczego, ale z narzędziami typu CHAT, GPT czy w ogóle narzędziami opartymi na modelach generatywnych jest tak, że jak już raz z tego skorzystasz i skorzystasz sensownie, to już nie ma powrotu. To już jest zupełnie inny typ pracy.
Karol
Pod warunkiem, że przejdziesz do tych promptów, które mają 21 plus słów.
Cezary
To prawda, ale naprawdę dzisiaj sobie nie wyobrażam powrotu do starego świata, gdzie ja piszę na przykład dokumenty. Ja na przykład dzisiaj z dokumentami pracuję w taki sposób, a to jest w ogóle ciekawe. Jeśli pozwolisz, to szybko opowiem. Ja często pokazuję, że trzeba z AI-em pracować mądrze, inteligentnie, no men, no men. Bo dużo ludzi widzi takie zastosowania, że możesz napisać prompta i zostanie wygenerowany tobie dokument, prawda? No ale nie oszukujmy się, jakby rzadko, to będzie dobre jak chcesz wygenerować, nie wiem, posta, jakiś taki prosty tekst. Ale jak jesteś w takiej firmie na przykład jak Allegro, to rzadko który dokument jest po prostu ot tak prosty. Jakby on często jest de facto zbitkiem wielu różnych dokumentów. Jeden akapit na przykład cytuje jakiś raport w slajdach, inny akapit używa wyliczeń z jakiegoś arkusza kalkulacyjnego. Masz bardzo bogatą bibliografię tego, co tworzyło ten dokument. I ja dużo bardziej lubię pracować akapit po akapicie. Ba, podam ci jeszcze jeden fajny tyk. Dla mnie to co jest bardzo trudne w pracowaniu z dokumentami, czy to pisanymi, czy to slajdami, ja nigdy nie wiem ile czasu mi zajmą. Jestem jak taki malarz co dostaje płótno i po drodze odkrywam co będzie moim ostatecznym dziełem. I coś w czym mi super pomagają modele to zawsze na początek generuje tak zwany outline, czyli zaproponuj mi w prezentacji konkretne slajdy, kluczowe wiadomości albo w dokumentach strukturę dokumentu, a często nawet wrzucam jakiś swój inny dokument, który uważam za dobry, żeby on na tej podstawie wyciągnął mi strukturę. Po co? Bo mam prostą listę, wiesz, kroków, które muszę przejść, żeby przestać pracować, to jedno. Jak już to mam i wiem, że muszę zrobić 10 slajdów albo 5 akapitów, to każdą z tych rzeczy generuję osobno. I fakt, nie używam jednego prompta, tylko kilku, kilkunastu. Ale wbrew pozorom moja praca wcale nie trwa dłużej. Co więcej, na końcu nie mam tego takiego, wiesz, że muszę teraz czytać i analizować, czy to ma dobrą jakość, bo byłem w ciągłym procesie monitorowania tego, co jest tworzone. I to jest po prostu magia. Dla mnie to jest magia, takie ułatwienie życia, że hej.
Karol
A jak ty się uczysz?
Cezary
To jest oj, grząski temat.
Karol
Słuchaj, czy to jest, wiesz, to są doświadczenia? Co czytasz? Kogo śledzisz? Kogo obserwujesz?
Cezary
Nie chciałbym teraz wyjść na kogoś niewiarygodnego, ale powiem ci szczerze, że nie czytam za wiele. Ale zaraz wyjaśnię tę tajemnicę.
Karol
Nie dziwię się, bo nie pytam o książki typu 10 tysięcy promptów. Tylko ciekaw jestem, czy masz jakieś takie źródła, które cię inspirują, albo pokazują ci fajne przykłady.
Cezary
Ja bym podzielił tę edukację na dwie części. Wspominałem na początku o tym moim pierwszym asystencie na bazie modelu GPT. Wtedy to było dla mnie nowym i faktycznie było tak, że szukałem po prostu w angielskojęzycznym internecie wszystkiego. To często, wiesz, nie były jeszcze żadne profesjonalne strony, to były jakieś luźne notebooki, na githubie ludzie się po prostu dzielili jakimiś podstawami i nawet upełniajaj wtedy nie miał w ogóle swojej dokumentacji. I często szukałem w ogóle po jakichś forach na przykład tego typu rzeczy. Mi do tego stopnia było trudno zdobyć tę wiedzę. To jest ten moment na lokowanie. Bardzo długo mi to zajęło, chyba 3-4 miesiące szukałem tych informacji. Ja to wszystko przetłumaczyłem i stworzyłem Promptopedia.
Karol
Załączyłem wszystkie linki, zapraszam was kapitalna strona.
Cezary
Promptopedia, można o niej trochę myśleć jak o Wikipedii dla promptów. Ja nie ukrywam, jej pierwsza wersja to było po prostu kalka tłumaczenia wszystkich źródeł, które uznałem zainteresujące. I tu się kończy ta pierwsza część. W momencie jak się pojawił chat GPT i np. u mnie w organizacji zaczęło być bardzo duży rozwój w tym kontekście. Ta nauka już bardziej wychodziła nie z czytania, tylko z kolejnych projektów, z testowania. I to nawet z prostego powodu, bo ja nie do końca wierzę, powiem tobie szczerze, w jakieś banki promptów.
Karol
To jest taka książka z dziesięcioma tysiącami promptów, o której mówimy.
Cezary
Bo powiem tobie tak, Wierzę, że te prompty mogą zainspirować, ale często jest tak, że nawet jeśli ktoś ma idealny prompt, to na Twoich danych on daje zupełnie inne rezultaty. Często gorsze, nie lepsze. Dużo rzeczy po prostu odkrywałem w boju. Nie ma lepszej nauki niż promptowanie. to samo doświadczenie prompt engineeringu jest tak bardzo zależne od twojego kontekstu, od tego, na czym polega twoje zadanie, w jakich warunkach jest to zadanie generowane. Oczywiście możemy się bawić w jakieś takie tipy typu tippers, że jak lepszy w prompcie, że dasz napiwek, to będzie lepsza skuteczność. Ale wydaje mi się, że to nie jest tędy droga. I po prostu praktyka na własną rękę. I wspominam o Promptopedia, bo z okazji tego odcinka wypuszczam nową wersję, która jest właśnie bardziej oparta na moich doświadczeniach. Myślę, że to będzie czuć, że jest to po prostu takie mocno prawdziwe. I oczywiście to są moje doświadczenia, no ale liczę, że po prostu innych zainspirują. I co?
Karol
Muszę zadać pytanie, a używasz dalej Google?
Cezary
Rzadko.
Karol
Złapałem się na tym, że zmieniłem Google na Perplexity.
Cezary
Ja bym też chętnie zmienił, ale muszę trochę ważyć. Przeraża mnie ile subskrypcji trzeba dzisiaj wykupić, żeby… Nie, ale zobacz, chat GPT 20 dolarów, klot 20 dolarów, nie wiem ile Perpex T kosztuje.
Karol
Wiesz co, nie pamiętam. Gemina i stówa, w sensie 100 zł, bo korzystam też regularnie. No wiesz, jedni mają Netflixa, HBO i całą resztę, inni mają modele językowe. Jak pokazuje nasza rozmowa, można się przy nich bawić równie dobrze, co przy serialu kryminalnym.
Cezary
Ale myślisz, że będą subskrypcje rodzinne? Bo ja ostatnio dostałem smsy od mamy. Kasplokien. Synku. Dramat. Tragedia. Wiesz, ja po prostu spanikowany. Co się dzieje? Nie wiem. Mama trafiła do szpitala. Co się dzieje? I dzwonię. Mamo, co się stało? Co się stało? Nie mogę się zalogować do czata GPT.
Karol
Kurczę, ile lat ma twoja mama?
Cezary
- Wow, 70 i powiem Ci, że dla mnie to jest ogromne poletko.
Karol
Moja mama ma 78, jest na etapie tabletu, YouTube, przestała oglądać telewizję, korzysta z internetu już.
Cezary
A czataGPT pokazałeś?
Karol
Wiesz co, jeszcze nie, ale chyba wykorzystam teraz nadchodzący czas świąteczny, żeby jej to pokazać.
Cezary
Czy ja Tobie powiem szczerze, że z bezbutu wchodzi, bo moja mama sama odkryła czata GPT, ja jej tego nie tłumaczyłem.
Karol
W ogóle wiesz co, to byłby kapitalny pomysł, a gdyby zorganizować warsztaty z promptowania dla Uniwersytetu Trzeciego Wieku?
Cezary
Ja uważam, że to jest super pomysł, zwłaszcza, że tam bardzo by się przydało tych ludzi poprowadzić za rękę. Nie mówię nawet o technikaliach, bo bardzo często się podnosi taki argument wobec starszych ludzi, że to może być remedium na samotność.
Karol
Chociaż, a propos tego, co mówisz, remedium na samotność, moja koleżanka w Stanach prowadziła badania związane ze smartspeakerami. W Stanach i w Holandii, my jednym z kumpel i robili eksperymenty, lokalizowali w domach opieki nad osobami starszymi właśnie smartspeakery. Okazało się, że ludzie przestają czuć się samotni, mają z kim rozmawiać.
Cezary
Wiesz dlaczego ja mam z tym problem? Bo to trochę krąży po internecie jako taka anegdotka, ale że jakaś kobieta podobno żaliła się na swojego faceta. I to co powiedziałeś kilka razy dzisiaj, bias. Modele mają tendencję do mirroringu, czyli odpowiadania w taki sposób, który jest do nas dopasowany. Więc model utwierdza ją w jej przekonaniach, że to wina faceta, że coś.
Karol
Ale czy nie jest tak samo jak dzwoni do swojej najlepszej koleżanki, przyjaciółki, która stara się ją zrozumieć.
Cezary
To inna sprawa.
Karol
To chyba temat na inny odcinek z innym specjalistą. Cezary, to była ogromna przyjemność móc z tobą rozmawiać. Bardzo dziękuję. I co, wiesz co? Chyba nie będę czekał kolejnych parę lat, żeby się złapać gdzieś w pociągu między Krakowem a Wrocławiem. Mam nadzieję, że uda nam się porozmawiać jeszcze za jakiś czas.
Cezary
Nie, musimy, Karol, kontynuować misję, jakkolwiek hucznie to brzmi i trzeba ludziom te podstawy tłumaczyć. I tu też moja, chciałbym tobie podziękować, bo uważam, że ten podcast robi super robotę i dobrze, że jesteś.
Karol
Dziękuję ci serdecznie, to naprawdę dla mnie dużo znaczy. Ja się śmieję, że wiesz, że jestem takim człowiekiem, który sieje to ziarno i mam nadzieję, że trafi na żyzną glebę i przyniesie owoc wspaniały. Super. Niechaj będzie z wami wszystkimi.
Cezary
Dzięki wielkie jeszcze raz.
