W dzisiejszym odcinku 99 Twarzy AI mam przyjemność przedstawić Wam Wiktora Zdzienickiego, z którym zdecydowaliśmy, że porozmawiamy o konkretach. O wdrożeniach. Dajemy przykłady projektów, które okazały się ROI positive, ale również mówimy o tym, co okazało się złym wyborem.
Do tego zastanawiamy się nad 10 przykazaniami – jak wdrażać #AI w organizacjach. Posłuchajcie sami. I napiszcie – co sądzicie o odcinku, o naszej rozmowie, jakie są Wasze takeways.
Kim jest Wiktor?
Wiktor zajmuje się od ponad 10 lat, zaczynał od studiów w tym obszarze (m.in. na UCL w Londynie), kiedy “data scientist” został okrzyknięty “the sexiest job of the 21st century” przez Harvard Business Review.
Zaczynał karierę od data scientista, przez project managera, team leadera, lidera domeny data & #AI, product managera, a teraz prowadzi własną firmę zajmującą się doradztwem #AI i wdrażaniem #AI operacjach biznesowych
Od zawsze widziałem #AI i otaczającą ją technologię jako rozwiązanie do problemów biznesowych, dlatego też stara się komunikować je w jasny sposób i zwracać uwagę czy inwestycja w obszar jest naprawdę warta świeczki, a nie iść tylko za hype.
Prywatnie zagorzały fan piłki nożnej (Arsenalu Londyn) oraz muzyki elektronicznej, które też skądinąd mają lub zaczynają mieć z analityką i #AI coraz więcej wspólnego ;).
—
Tradycyjnie wielka prośba – jeżeli jeszcze nie wystawiłaś lub nie wystawiłeś oceny 99 Twarzom AI na Spotify lub Apple podcast – pomóż mi proszę z dotarciem do nowych słuchaczy. To zabierze Ci tylko 2 minuty. Z góry serdeczne dzięki!
Dobrego dnia i niech #AI będzie z Wami wszystkimi!
Notatki i polecenia od Wiktora
- Książki o data:
- Bardziej o AI:
- https://www.amazon.com/Introduction-Statistical-Learning-Applications-Statistics/dp/1461471370 – biblia klasycznego machine learningu
- https://www.amazon.com/Build-Large-Language-Model-Scratch/dp/1633437167 – LLM-y
- https://www.amazon.com/Business-Case-Strategies-Real-World-Applications-ebook/dp/B09TRS55K8 – fajny wstęp do budowy strategii
- https://www.amazon.pl/Co-Intelligence-Living-Working-Ethan-Mollick/dp/059371671X – to czytam teraz, wydaje się być bardzo ciekawe (llm-y w naszym codziennym życiu)
- Osoby/firmy/profile, które śledzę:
- Andrew Ng – absolutny top autorytet w dziedzinie AI, także dla biznesu
- Yann Le Cun
- Mustafa Suleyman
- Demis Hassabis i cały zespół DeepMind – oni właściwie wymyślili LLM-y
- Goeffrey Hinton
- Anthropic, OpenAI, Mistral, Google, Huggingface
- Gdzie można się uczyć o Data & AI:
- Coursera
- eDX
- Udemy
- DataCamp
- MIT & Harvard online
Transkrypcja rozmowy
Disclaimer. Droga Czytelniczko, Drogi Czytelniku – mała uwaga dotycząca transkrypcji rozmowy. Jak się pewnie domyślasz – transkrypcja została przygotowana z wykorzystaniem magii LLM. Proszę o wyrozumiałość, gdyby pojawiły się w niej niewielkie błędy, literówki, etc. Żeby mieć pewność co do wszystkich wypowiedzi – polecam posłuchać, zamiast czytać. Ukłony.
Karol: Wiktorze, witam cię serdecznie. Kolejna twarz ja i kolejna historia. Powiedz, kim jesteś, czym się zajmujesz, co cię sprowadziło do obszaru sztucznej inteligencji i technologii.
Wiktor: Cześć, bardzo miłe zaproszenie.
Kim ja jestem. Właściwie ja się sztuczną inteligencją zajmuję od roku 2011, kiedy na pierwszym roku studiów napisałem rzeczywiście pierwszy program do zaawansowanej analizy danych. To jeszcze był język R, taki już mniej popularny teraz. Zawodowo prawie, właściwie już ponad 10 lat i rzeczywiście przechodziłem, mogę powiedzieć, wszystkie szczeble tego zawodu i tego obszaru, bo rozpoczynałem od roli data scientista. Wtedy przede wszystkim określenie data science królowało na rynku. Teraz bardziej mówimy AI, ale tak mówiąc pod spodem. To jest to samo. Przechodziłem później przez rolę senior data scientista, project managera, lidera zespołu, lidera domeny, aż do momentu, w którym założyłem już własną firmę, którą prowadzę z wspólnikami, która zajmuje się właśnie doradztwem AI w obszarze strategii, ideacji, adopcji oraz wdrażaniem AI w szeroko pojętych operacjach biznesowych.
Karol: Jak patrzysz z perspektywy tych lat, jakie obszary Cię najbardziej interesowały. Co Cię najbardziej w tych danych kręciło.
Wiktor: Mnie zdecydowanie od zawsze najbardziej interesowała analityka klienta. Może też dlatego, że ja właściwie jak już wychowywałem się w takim duchu, że byłem tym pokoleniem, które już miało właściwie internet i rzeczywiście dużo tych informacji przetwarzało i mnie nigdy nie przerażało to, że moje dane są jakoś tam wykorzystywane. Przeciwnie, ja uważałem to za To znaczy np. od banków oczekiwałem personalnego podejścia na podstawie tego, jak ja się w tym banku zachowuję.
Karol: Banki to jedne z instytucji, które tych informacji mają najwięcej i to usystematyzowanych od lat już.
Wiktor: Otóż to. I właśnie w ten sposób ja oczekiwałem od banku, że on będzie ode mnie coś wiedział. Bardzo mnie irytowało na przykład jak testowałem telefon, czy chcę ubezpieczyć mieszkanie, którego nie miałem i nie planowałem. Wydawało mi się banku, że to powinien wiedzieć i ja później faktycznie trafiłem do bankowości, od tego zaczynałem swoją karierę. I rzeczywiście to jak powiedziałeś, ja zaczynałem karierę w obszarze dostania z banków właściwie w 2015 roku i już wtedy te dane były przetwarzane na wszelkie możliwe sposoby. Więc musimy być w pełni świadomi, że banki wiedzą o nas bardzo dużo, a nie wiem czy można wiedzieć więcej niż na podstawie transakcji kartowych.
Karol: Gdzie następują transakcje, co kupujesz, gdzie kupujesz, od jakich dostawców itd. Tak naprawdę idealny profil kupujących.
Wiktor: Otóż to i wtedy też tworzymy tenże profil, bo nawet tak to się nazywa. Potoczna nazwa na to jest profil 360. Ja takie rzeczy budowałem i też odpowiadając na twoje pytanie, to jest zawsze coś, co mi się najbardziej podobało. Myślę, że każdy data scientist w tamtych czasach to mógł traktować bank jako swoisty plac zabaw, bo rzeczywiście tych danych było bardzo dużo i wszystkie te modele, które data scientisty sobie wymarzyli, miały największą szansę zadziałać właśnie tam.
Karol: A co obejmuje ten model 360.
Wiktor: czego właściwie nie obejmuję. Jak sobie wyobrazimy, co możemy takim Customer 360 pokazać, wyobraźmy sobie taki dashboard, gdzie mamy klienta i mamy opis jego sytuacji życiowej, to począwszy od całej demografii na jego temat, co jest oczywiście dość podstawową daną, Wiemy również o wszystkich jego produktach, o wszystkich transakcjach. Jeżeli jesteśmy w stanie to zabrać, to wiemy również połączenia rodzinne, połączenia firmowe. No i przede wszystkim mamy potężną ilość transakcji kartowych, produktowych.
I to jest, że tak powiem, coś co mamy z definicji. Natomiast co robimy później, to budujemy na tych danych szeroko pojęte modele właśnie Customer Analytics, które są różne. Możemy na przykład starać się przewidzieć na podstawie tychże transakcji czy zachowania w stosunku do banku, kiedy klient odejdzie, czyli tak zwany churn modeling. Chcemy wytypować tych klientów, którzy przestaną używać naszych usług. Chcemy wytypować prawdopodobieństwo kupna jakiegoś produktu. Chcemy określić zainteresowanie klienta. Chcemy określić częstotliwość korzystania z danych placówek. Nawet możemy, wykorzystując aplikacje mobilne, spróbować tego klienta pokazać gdzieś na mapie i zobaczyć gdzie on się najczęściej porusza, czy on na przykład korzysta inaczej, czy nasze placówki bankowe są odpowiednio i optymalnie rozlokowane, bo jeżeli nasi klienci kompletnie tam nie przybywają, to może warto ją wyeliminować. Taką dobrą sprawę, ja też bym to zawsze powtarzał, AI to dane, więc od tego to wszystko się zaczyna i im więcej tych danych mamy, tym więcej możemy przy AI osiągnąć.
Karol: A teraz jak działasz. Czym się dokładnie zajmujesz.
Wiktor: Teraz ja konkretnie, oprócz tego, że dużą część mojego czasu pochłania samo prowadzenie firmy, czyli bym powiedział takie zarządcze tematy, to ja funkcjonalnie rzeczywiście dobrze się czuję w takim doradzaniu w budowie strategiei na przykład, prawda. Przy czym co ja rozumiem przez strategię, bo to też można na to różnie spojrzeć. Dla mnie strategia to nie jest wytypowanie trzech najlepszych use case’ów dla marketingu, bo też takie widziałem kursy, czy też warsztaty.
Być może ktoś się tego postrzega. Dla mnie to jest pojęcie o wiele szersze. Dla mnie strategia AI, jeżeli mówimy faktycznie o wprowadzaniu strategii AI na poczet całego przedsiębiorstwa, to jest zbiór wszelakich działań interpersonalnych, technicznych, na styku często ludzi i technologii, które trzeba przeprowadzić, żeby takie AI na skalę całego przedsiębiorstwa wdrożyć. Jakbym tak miał powiedzieć, takie główne obszary, no to cała strategia wokół danych, jakie przechowujemy, jakie zbieramy, jakie zabezpieczamy, cała strategia wokół infrastruktury, czy udajemy się w środowisko chmurowe, czy jednak stawiamy własne serwery, robimy wszystko kompromisowo. Strategia szkoleń, strategia percepcji i takie właśnie całe kulturowe podejście do tego, że dużo rzeczy może się nie udać, trzeba być cierpliwym, trzeba ryzykować, trzeba testować. Kończąc już na samej budowie zespołów i określeniu w jaki sposób te zespoły mają ze sobą współpracować, bo żeby znowu, AI tak w skali całego przedsiębiorstwa działało poprawnie, no to to jest przedsięwzięcie grupowe właściwie. Bardzo tak wspominam z uśmiechem, że jak cała ta rola data scientist’a powstawała i była tak promowana, to pamiętam do tej pory był taki wykresik, w którym mówiono, że data scientist’i to są osoby, które łączą umiejętności techniczne, matematyczne i jeszcze świetnie rozumieją biznes. To jest absolutny mit. Takich ludzi nie ma, przynajmniej ja nie spotkałem. Myślę, że jest takich bardzo niewielu na świecie. Więc żeby rzeczywiście wykrzesać z tej sztucznej inteligencji najwięcej co się da i najwięcej rozwiązań problemów biznesowych, bo o to nam ostatecznie chodzi, no to to jest po prostu kwestia całych zespołów, w którym muszą sobie odpowiednio współpracować.
Karol: Brzmi jak duże wyzwanie dla organizacji.
Wiktor: Zdecydowanie, dlatego też tak niewiele organizacji rzeczywiście w pełni wykorzystuje AI. Zresztą jestem w stanie to zrozumieć, bo wydaje mi się, że Jest tyle wyzwań, żeby to wprowadzić na skalę całej organizacji, że często okazuje się całkiem słusznie, że pójście w tę ścieżkę AI jest kompletnie nieoptymalne. Może się okazać, że to nie jest najlepsza droga. Jakiś czas temu chyba rozmawiałeś z Jankiem Grzybowskim, którego też pozdrawiam, bo gdzieś tam się przecięliśmy w swojej karierze. I rzeczywiście on mówił o takiej rzeczy, że jest stworzony prototyp jakiejś analizy i okazuje się, że koszt zbudowania tego w ogóle przewyższa przewyższa jakiekolwiek benefity w danym biznesie. No i tak rzeczywiście bardzo często jest, że nie wszystkie zagadnienia, nie wszystkie problemy, nie wszystkie organizacje nadają się do wprowadzania jej w skali. Bardzo często wnioskiem z takiej analizy, czy też jakiegoś prototypu jest to, Tak na dobrą sprawę wydaje się, że lepiej poświęcić czas i pieniądze na zbudowanie dobrej hurtowni danych i raportowania albo kupienie jakiegoś software’u z półki i on rozwiąże trzy czwarte problemów, które wydawało nam się, że są problemami do zadresowania sztuczną inteligencją.
Karol: A ja chciałem Cię zapytać o case’y, które znasz, nad którymi być może pracowałeś, które mógłbyś opisać słowami minimalny nakład, maksymalny zysk.
Wiktor: Minimalny nakład, maksymalny zysk. No dobrze, no to mogę powiedzieć tak z głowy o dwóch. Jeden dotyczy stricte modeli językowych, drugi bardziej takiej tradycyjnej sztucznej inteligencji.
Karol: Powiem Ci dlaczego pytam. Jak zadałem kiedyś pytanie na LinkedIn moim obserwującym, o czym chcieliby słuchać w 99 twarzach, odpowiedź była prosta. Cases, cases, cases. Więc na początku chciałem Cię zapytać właśnie o te, które były najlepsze, ale jednocześnie najbardziej efektywne, jeżeli chodzi o wykorzystanie środków.
Wiktor: Jasne. No to myślę, że tak jak zacząłem, wspomniałem o dwóch ciekawych SKS-ach, które wydaje mi się, że rzeczywiście miały bardzo wyraźny wynik pozytywny w stosunku do poniesionych nakładów. Pierwsze to wykorzystanie faktycznie modeli językowych, ale w skali. To znaczy mam na myśli to, że nie wykorzystywano w tym przypadku modeli językowych w takiej formie, jakiej chyba wszyscy znamy najbardziej, czyli indywidualnej pracy choćby z czatem GPT, tylko pracowaliśmy z firmą e-commerce’ową, która zajmowała się sprzedażą produktów w branży automotive, to znaczy od opon, jakichś filtrów do oleju, no wszelkie możliwe części samochodowe, nie będę wchodził w szczegóły, bo nie do końca merytorycznie się na tym znam.
Karol: Natomiast no te… Umówmy się, produkty, które trudno opisać w atrakcyjny sposób.
Wiktor: Otóż to, dokładnie, bardzo dobrze to ujałeś. I teraz no te produkty oczywiście na tej stronie występowały w setkach tysięcy, o ile nie milionach, prawda. No i teraz rzeczywiście firma zidentyfikowała taki problem. Może nie do końca problem, który jest bardzo palący dla nich, ale problem, który rzeczywiście można zaadresować tymi modelami językowymi. To znaczy oni powiedzieli sobie, no dobrze, teraz jedyne co się dzieje, to wchodzi klient i widzi parametry techniczne tej opony i tak na dobrą sprawę, co ma go przekonać do kupna tejże opony. Oprócz tego, że na przykład zna markę. Więc co oni postanowili zrobić, to rzeczywiście zebrać te wszystkie parametry techniczne tychże produktów, zebrać oprócz tego materiały marketingowe producentów i wykorzystać odpowiednio dostrojone modele językowe, co mam na myśli mówiąc dostrojone, na przykład zapromptowane w taki sposób, opowiadaj o tym w takim tonie albo zwróć uwagę na takie rzeczy.
Karol: Patrząc na segmentację klientów, grupę docelową, samochody, do których są stosowane itd.
Wiktor: Dokładnie tak. To jest właśnie też bardzo dobrze to zauważyłeś, bo to jest też przykład na to, że ten LLM i model językowy był tylko częścią rozwiązania i tak jest zawsze. Ale co oni zrobili, to rzeczywiście wzięli tenże wkład w postaci tychże parametrów materiałów marketingowych e-prom.
panowali te miliony produktów przez te modele językowe. No i teraz wychodząc od tego, co wspomniałem, to znaczy bardzo surowego opisu opon, klient wchodząc na stronę internetową dostawał opis storytelling w postaci, jeżeli zabierasz swoją rodzinę w góry, możesz być pewny, że z naszymi oponami nie wejdziesz z trasy. Oczywiście teraz trochę wymyślam, natomiast to było w takim tonie i teraz… Wtedy ta oferta jest dużo bardziej ludzka i przemawia do wyobraźni. Cała chyba… ideologia, kiedy my mamy coś kupić, to jest skuteczna wtedy, kiedy my na przykład możemy sobie wyobrazić, czy pewnego produktu wykorzystamy, albo jak się będziemy z nim czuli i granie trochę na emocjach, prawda. Więc tutaj modele świetnie zadziałały i faktycznie to rozwiązanie zostało wdrożone produkcyjnie. Trzeba zaznaczyć, że parametry czy KPI związane z wykorzystaniem AI obserwuje się po jakimś czasie, więc na pewno ciężko określić, czy po miesiącu to wpłynęło potężnie na sprzedaż, natomiast myślę, że takim bardzo konkretnym KPI jest na przykład to, w jaki sposób klienci postrzegają markę, to znaczy to też może pokazać, że marka jest innowacyjna, wykorzystuje takie modele, chce jak najbardziej się przypodobać klientom pod kątem oferowanej gamy produktów, więc nawet takie KPI jakościowe na pewno uważam są postrzegane pozytywnie, no chyba, że Rzeczywiście mamy wielkich przeciwników sztucznej inteligencji, co też się zdarza, no to mogą na to patrzeć dwojako. To był taki pierwszy projekt, który pamiętam, który nie kosztował bardzo dużo, a rzeczywiście mógł przynieść dużo. Drugi, myślę, ciekawy projekt, który mogę przywołać, to jeszcze z czasów, kiedy Generative AI w ogóle nie było na świeczniku.
Karol: Przed listopadem 2022. Dokładnie.
Wiktor: Myślę, że było to około 5 lat temu, jak dobrze sobie przypominam. Miałem przyjemność pracować z Etihad Airways, z linią lotniczą. To jest gdzieś tam publicznie dostępne use case, więc mogę oczywiście o tym mówić.
No i tam z kolei wykorzystywaliśmy takie tradycyjne modelowanie machiningowe, uczenie nadzorowane, supervised learning. Pracowaliśmy z działem finansów. I cała rzecz polegała na tym, że dział finansów wraz z działami zakupów i jakimiś tam związanymi jednostkami, no dokonywał codziennie setek, jak nie setek tysięcy płatności, tak. Do wszelkiego rodzaju dystrybutorów, partnerów, czy też nawet klientów. No możemy sobie wyobrazić, że taka duża organizacja robi tego dużo. No i zidentyfikowali bardzo konkretny problem, mianowicie wiele z tych płatności były zdublikowane. Bardzo dużo, bo to był całkowicie manualny proces wsparty jakimiś systemami legacy.
Oczywiście nie chcę wymieniać marek, no bo to nie o to chodzi. Natomiast wiemy, że te systemy dość często z taką historią dwudziestolecką trochę nie domagają w obecnych czasach. I sytuacja była dość nagminna. Rzeczywiście Etihad obserwował duże straty z tego powodu. Często też płatności były po prostu wadliwe. Brakowało jakichś danych, później gdzieś to krążyło po systemie bankowym. I teraz oni stwierdzili, że wykorzystają modele marszeringowe, żeby te płatności rzeczywiście identyfikować, ale… przed samym wyjściem z systemu bankowego. To znaczy nie po fakcie, no bo rzeczywiście jeżeli te płatności zduplikowane, na przykład wysłaliśmy dwa razy płatność do jakiegoś dystrybutora. Jeżeli zidentyfikowaliśmy po fakcie, to możemy sobie wyobrazić, że pewnie kilka miesięcy trwało odzyskiwanie tych pieniędzy. Oni chcieli to robić przed akcją wypuszczania masowego przelewu. Więc my stworzyliśmy taki model, który na podstawie na podstawie historycznych płatności, gdzie wskazaliśmy temu modelowi jak wyglądają zduplikowane płatności, jak wyglądają wadliwe, wybrakowane płatności, byliśmy w stanie nauczyć model, który już mając kolejne zidentyfikowane płatności, mógł z danym prawdopodobieństwem wskazać, słuchaj, to jest duplikat. I tutaj mogę po prostu otwarcie powiedzieć, bo to też jest dano dostępne, że ROI, czyli return on investment, zwrot na inwestycji, wyniósł 10 razy. Czyli rzeczywiście zainwestowaliśmy w rozwiązanie, Etihad zainwestował kwotę X, stwierdził po paru miesiącach dość szybko, że zachował 10 razy X pieniędzy.
Karol: A całe wdrożenie, ile trwał projekt.
Wiktor: Projekt trwał stosunkowo szybko, bo taką dobrą sprawę to było wdrożenie pilotażowe. Trwało niedużej niż 2,5 miesiąca bodajże.
Karol: Ale do tego potrzebna jest świadomość i odpowiedni ludzie, i odpowiednie narzędzia.
Wiktor: Zdecydowanie. Jest bardzo dużo rzeczy potrzebnych, żeby takie rozwiązanie się odbyło.
Karol: Wrócę tutaj do tego, o czym mówiłeś na początku, czyli świadomość po stronie biznesu, odpowiednia analiza danych i odpowiednie działania.
Wiktor: Oczywiście, że tak. Myślę, że w ogóle musimy zacząć od tego, żeby zidentyfikować faktycznie jakiś problem, który da się zaadresować i w którym wierzymy, że sztuczna inteligencja może pomóc, bo Dla organizacji, które zaczynają zabawę ze sztuczną inteligencją, to mogę powiedzieć, że to jest trochę taki złoty strzał. To znaczy ja bardzo często widziałem sytuacje, w której organizacje zaczynały od kompletnie bezsensownego scenariusza użycia, który z definicji nie ma prawa im nic dobrego przynieść. No ale jak to świeża technologia, dużo szumu, dużo hałasu, bardzo dużo oczekiwań. Oczekiwań to po pierwsze, po drugie chętnych, żeby sobie przypisać sukces. No i niestety po paru miesiącach okazywało się to kompletną klapą, bo to do niczego nikomu nie było potrzebne. A dlaczego mówię, że to jest złoty strzał. No bo dość często w sytuacji, w której takie nawet pierwsze drużenie okazuje się porażką, no to chęć i otwartość na kolejne działania spada niemal do zera. Więc to jest bardzo, bardzo ważne, żeby wytypować taki scenariusz, który ma duże prawdopodobieństwo sukcesu i w przemyślany sposób przemyśleć, czy po prostu to będzie w ogóle nam przydatne.
Karol: No właśnie, odnoszę takie wrażenie patrząc na rynek, że wszyscy mówią o sukcesach, o korzyściach, a ja chciałbym Cię zapytać też właśnie o te porażki. Czy mógłbyś się podzielić jakimiś projektami bez podawania nas, firm, instytucji. ale projektami, które nie odniosły skutku i które tak naprawdę okazywały się projektami trochę bez sensu czasami.
Wiktor: Oczywiście.
Myślę, że… Z definicji, to też dużo statystyk tutaj wspiera to co powiem, ale zdecydowana większość projektów w obszarze AI niestety kończy się na etapie pilotażu. Czyli grupa analityków, data scientistów stworzyła model, czy to generative AI, czy to supervised learning, który być może technicznie jest bardzo ciekawy i wydajny, ale nijak nie jest po tym użytkowany. Ja parę takich przykładów widziałem, które z różnych względów skończyły się porażkami. Widziałem kilka wdrożeń, które na przykład były już bardzo dobrze skonstruowane, odnosiły dobre wyniki zarówno techniczne, jak i biznesowe, to znaczy rzeczywiście można było ocenić, że nasze działanie może spowodować, że np. ci klienci z nami zostaną. Wspomniałem na samym początku o tym moderowaniu antyczarnowym, czyli moderowanie tego, czy nasz klient odejdzie. Byliśmy w stanie z dużą, dużą prawdopodobieństwem powiedzieć, że rzeczywiście dany klient odejdzie i byliśmy w stanie ocenić, ile jesteśmy w stanie na tym zaoszczędzić, więc już bardzo dużo. Ale rozwiązanie poległo w gruzach.
Dlaczego. Bo zabrakło odpowiedniego zaadresowania adopcji w organizacji. To znaczy wyobraźmy sobie sytuację, teraz to jest w ogóle nagminne, w której do przeciętnego pracownika specjalisty przychodzimy mówiąc od teraz jest metoda X i jej używaj. To jest niestety strzał w kolano. To nigdy nie zadziała. Więc bardzo wiele przykładów jest takich, które poległy przez niestety brak wiedzy, brak treningów, brak wdrożenia, brak transzymentu. Drugi powód, który bardzo często powoduje to, że modele niestety się roztrzaskują o skały, to jest słaby user experience. Bo na przykład jak mówimy o wdrożeniach na skalę przedsiębiorstwa, to AI jest jedną dziesiątą całego rozwiązania. AI zazwyczaj zasila jakąś aplikację, jest zasilana jakąś bazą danych, zasila jakiś procesor biznesowy. Najlepszym przykładem słabego user experience były wszystkie chatboty przed tym jak pojawił się LLM, jak pojawił się ChatGPT.
Karol: Doskonale pamiętam te czasy.
Wiktor: Niestety. I pomimo tego, że technicznie te modele są całkiem nieźle zaprojektowane, to znaczy oczywiście były o wiele bardziej ograniczone niż LLM-y, bo przede wszystkim operowały na prostych odpowiedziach i pytaniach, troszeczkę było zaawansowanego wyszukiwania tekstu, więc faktycznie było tam trochę tej inteligencji. No ale już w momencie, kiedy ktoś dołożył nakładkę głosową, text to speech, fatalny głos, który był nie dość, że strasznie nijaki, powolny i rzadko kiedy rozumiał nasze faktyczne intencje, no cały model znowu był do wrzucenia.
Więc to jest taka druga najczęstsza rzecz, która się zdarza. A trzecia, to powiedziałbym, wspomniałem o tym wcześniej, no Dane, to znaczy nawet w przypadku tych LLM-ów, te LLM-y o tyle ułatwiły sytuację, że do momentu powstania czy też popularyzacji modeli językowych ogólnie AI było zarezerwowane raczej dla firm, które mają jakiekolwiek dane i to w dużej skali. No bo żeby te modele funkcjonowały, no to musimy je po prostu przysłowiowo móc nakarmić, czyli rzeczywiście zaadresować ten duży zbiór danych, które mu wskażemy. LLM-y troszkę obrzuciły tę grę, no bo jak dostajemy LLM-a w rękę, który jest wytrenowany już na miliardach parametrów, no to on już coś nam wypluje, prawda. Natomiast to wcale nie znaczy, że ta kwestia danych powinna zostać zostawiona na bok. No bo to jest chyba co teraz wiedzę najczęściej. No bo teraz dlaczego firmy, które próbują wdrożyć LLM-a mogą być niezadowolone, że ten LLM nie daje odpowiednich wyników. No bo jak sobie weźmie taką kancelarię prawniczą, przykładowo, czy jakiekolwiek jedną jednostkę, która jest bardzo specyficzna, no to ona potrzebuje, żeby te modery językowe bardzo dobrze znały kontekst tejże organizacji. Ale po to jest fine tuning. Po to jest finetuning.
Otóż to. Z tym, że nieważne czy mówimy o finetuningu, czy mówimy o ragach, no to my musimy jednak te dane przygotować do tego modelu. A jeżeli tych danych odpowiednio nie zbierzemy, nie upewnimy się, że wszystkie dane są rzeczywiście zaadresowane w tym modelu, bo jeżeli damy dane wybrakowane, to będziemy znowu mieli tzw. baja w tych modelach. On nie do końca będzie mówił to, co powinien, prawda. I finalnie, jeżeli to, co chyba teraz najczęściej się spotyka, jeżeli rzeczywiście uda nam się zebrać te dane, no to jeżeli nie zadresujemy odpowiedniego security governance’u, jeżeli nie upewnimy się, że tam nie do końca wpadają takie rzeczy, jakie powinny, no to to jest też recepta na porażkę. Więc myślę, że dane, niezależnie od tego, czy teraz jest o wiele łatwiej już używać gotowego rozwiązania w formie modeli językowych, to dalej jest kluczowa sprawa, I jestem przekonany, że to długo nie zniknie. A mam wrażenie, że wiele organizacji o tym zaczyna zapominać. To znaczy jest tak troszeczkę zwodzony przez jakieś różne slogany marketingowe, przez różne nawet i firmy, które obiecują im, że jak tylko tutaj włączysz przycisk on, to nasz model językowy od razu ci przyniesie ileś tam wzrostów, będzie wiedział wszystko o twojej firmie. No to jest nieprawda, niestety.
Karol: Jakie były moje zaskoczenia jakiś czas temu, kiedy rozmawiałem z jedną relatywnie dużą organizacją pracującą na SAP-ie, generalnie handel, produkty i tak dalej i zauważyłem, że świadomość i znajomość tematów związanych z danymi w całej grupie roboczej, w zespole IT jest niemalże zerowa.
Wiktor: Tak, to muszę przyznać, że to jest zaskakujące co mówisz mimo wszystko. Ja wiem, że to cały czas jest problem, ale ja może żyję w takiej swojej bańce, nie wiem, która jednak ten temat danych już jest od lat w Polsce jakoś tam adresowany. Mówię, że mamy duże zespoły Data Warehousing, Business Intelligence. Wydaje mi się, że na to rzeczywiście poświęcono bardzo dużo czasu i budżetów, żeby to w jakiś tam sposób ustrukturyzować.
Karol: Tak sobie teraz myślę. Czy mógłbyś może polecić dwie, trzy ciekawe książki, źródła, z których korzystasz, jeżeli chodzi właśnie o naukę o danych.
Wiktor: No to zależy, z której strony spojrzeć. Jeżeli mówimy faktycznie o takich technicznych książkach, na pewno się podzielę również gdzieś tam pod odcinkiem. Ja zawsze wychodziłem mimo wszystko od tej strony maszeringowej, które jakoś tam zahaczało te dane. To nie jest tak, że ja zgłębiałem od A do Z struktury hurtowni danych. Oczywiście mogę takie policje polecić, natomiast….
Karol: Wiesz co, mówię wysokopoziomowo, nie mówię teraz tutaj o szczegółach i wchodzeniu głęboko w temat, tylko właśnie po to, żeby edukować i pokazywać pewne modele, pokazywać case’y i tłumaczyć na czym polegają te procesy, które potem są wdrażane. Po to, żeby wybudować świadomość i żeby decyzje mogły być podejmowane na bazie wiedzy, a nie przeczucia.
Wiktor: Tak, jasne. Myślę, że mogę się podzielić jak najbardziej pod odcinkiem. Teraz mogę wspomnieć na przykład całe wydawnictwo O’Reilly, które ma szereg mocnych pozycji, czy to koncepcji data mesh, czy data warehouse. Świetne pozycje, bardzo takie specjalistyczne, ale niektóre są bardziej przystępne językowo, więc rzeczywiście, żeby zbudować sobie takie podstawy, to sięgnąłbym po pozycje z tego wydawnictwa, one nigdy nie zawodzą.
Karol: Zdecydowanie, drodzy słuchacze, polecamy. Jakiś czas temu wspólnie właśnie z wydawnictwem O’Reilly i naszym polskim wydawnictwem Helion, które jest partnerem O’Reilliego, w Polsce wydaliśmy m.in. książkę o projektowaniu interfejsów głosowych Cathy Pearl, która była jednym z pierwszych inżynierów pracujących nad Google Asystentem. Proszę. No dobrze, to Wiktor, a zatem spróbujmy stworzyć, wiesz, 10 przykazań AI dla organizacji. To nie musi być 10 przykazań, ale gdybyśmy mieli to uporządkować od pomysłu do wdrożenia, które ma rzeczywiście ręce i nogi, które jest ROI positive, to jak byś to nazwał.
Wiktor: Wiesz co, ja sobie myślałem nawet o tym trochę faktycznie przed naszym podcastem, więc fajnie, że to poruszyłeś. Żeby w sposób ustrukturyzowany do tego podejść, to ja bym może zaczął od opisania, jakie są faktycznie etapy, żeby to AI zagrało nam dobrze z perspektywy całej organizacji. Trochę już o tym wspomniałem.
Karol: Zdefiniować potrzebę.
Wiktor: Tak, wszystko zaczyna się od problemu biznesowego i nie zapominajmy, że my nigdy nie powinniśmy wychodzić we wdrożeniu sztucznej inteligencji tylko i wyłącznie od hype’u technologicznego.
To jest kompletny bezsens. Niestety bardzo dużo organizacji się na to nabiera i to prowadzi choćby do tych sytuacji, o których wspomniałem, że przestrzelone inwestycje, niezadowolenie, rozczarowanie i wszystkie co najgorsze, co mamy w słowniku. Wszystko zaczyna się od problemu biznesowego, więc to jest myślę naczelne.
Ten problem biznesowy można najprościej mówiąc zidentyfikować w dwa sposoby. Albo dość proaktywnie, to znaczy mamy jakieś zestawy narzędzi, rozmawiamy z jednostkami biznesowymi w jaki sposób potencjalnie moglibyśmy wykorzystać AI. To akurat nie jest trudne, żeby wymyślić takie scenariusze zastosowania, bo tego jest mnóstwo i w sieci, i w wiedzy, i webinarach, konferencjach. Ale grunt to rzeczywiście zastanowić się, czy taki konkretny scenariusz zastosowania jest odpowiedni do naszej organizacji z całą charakterystyką, celami, ograniczeniami itd. Znowu, jeżeli ktoś mówi, że ma model językowy, który zawsze w tym udziału marketingowi oszczędzi pracę o x godzin dziennie, bzdura.
To nie można tak generalizować. Jestem całkowicie przeciwny temu. Więc to jest takie proaktywne podejście. Drugie jest, tak jak bym powiedział, mamy problem zauważony i próbujemy rozczłonkować teże problemy. No nie wiem, długa obsługa klienta. Próbujemy rozczłonkować tenże problem i zastanawiamy się, czy któryś faktycznie da się zaadresować troszkę inteligencją.
Bo może niekoniecznie, może część to jest software, może część to jest dane. Ale tam rzeczywiście możemy próbować taki scenariusz znaleźć. Więc pierwsze naczelne przekazanie zaczynamy od problemu biznesowego. Drugie, również o tym wspomniałem, oczywiście możemy zacząć od czegoś bardzo szybkiego i może niekoniecznie się musimy zastanawiać, czy mamy wszystkie dane w organizacji, chociaż im wcześniej o tym zaczniemy myśleć, tym lepiej. Możemy zacząć na jakimś tam faktycznie wycinku, ale umówmy się, że mówimy o tych wdrożeniach, które rzeczywiście działają w całym biznesie. No to drugie to cała strategia i podejście naszych danych. Czyli zadbajmy o to, żeby one były zebrane w odpowiedni sposób, żeby one były pełne, żeby były przeczyszczone, żeby odpowiednie osoby miały do nich dostęp, a nieodpowiednie nie miały i żeby faktycznie one odwzorowywały nasze działanie w organizacji jak najbardziej jak się da. Bo to jak już wspomniałem, jeżeli na przykład o części zapomnimy, no to te modele nauczą się niepełnej rzeczywistości.
Czy to językowe, czy bardziej… bardziej tradycyjne. Kolejna rzecz, takie przykazanie. Przykazanie trzecie.
Przykazanie faktycznie trzecie. Ja nawet nie chcę mówić o samym tworzeniu modeli, bo ja myślę, że tutaj przykazanie byłoby trochę przestrzelone, bo tworzenie tych modeli jest już bardzo proste i może tutaj przekazanie będzie inaczej. Tutaj przykazanie odnośnie tworzenia samych modeli, jeżeli już mamy ten problem biznesowy i dane, to powiedziałbym Róbmy to z jakąkolwiek wiedzą i rozsądkiem.
Co mam na myśli. Teraz coraz łatwiej jest rzeczywiście zbudować model w pudełku. Są infrastruktury chmurowe, które mają wszystko zautomatyzowane. Jak ja rozpoczynałem, to musiałem każdą jedną rzecz kodować, więc to się bardzo zmieniło. Więc stworzyć model masheringowy trzema kliknięciami to nie jest żaden problem, co nie zmienia faktu, że przy braku wiedzy podejmowanie jakiejkolwiek decyzji biznesowej na tej podstawie jest bardzo niebezpieczne. Więc trzecie przykazanie, jak już rzeczywiście tworzymy nawet modele z pudełka, wyedukujmy się jakkolwiek, w jaki sposób one funkcjonują pod spodem, nawet na wysokim poziomie.
Karol: A gdzie się uczyć. Skąd czerpać wiedzę.
Wiktor: Ja zawsze będę zwolennikiem wiedzy dostępnej na wyciągnięcie ręki, choćby w dużych platformach internetowych typu Coursera, typu MIT, typu Stanford. Oczywiście gro wiedzy takiej bardzo specjalistycznej dalej czerpiemy z uniwersytetów na poziomie doktorskim i to wciąż jest potrzebne do takiego performance’u na najwyższym poziomie, ale żeby jakkolwiek już z tym obcować w taki bezpieczny sposób, naprawdę źródeł jest na wyciągnięcie reki. Ja mogę powiedzieć, że moje wykształcenie, pomimo tego, że rzeczywiście pobierałem nauki, myślę, z dość dobrych jednostek, bo nawet na UCLA w Londynie, czy to w Warszawie, na SGH, w takim kontekście biznesowym, to myślę, że połowa mojej wiedzy pochodzi z otwartych źródeł. Z otwartych i bezpłatnych, dodajmy. Dodajmy, że bezpłatnych. Bardzo użytkowa, naprawdę.
Karol: Ja też zauważyłem taką tendencję, że niezwykle popularne robią się wszystkie płatne kursy, które dają certyfikat zdobycia wiedzy, a wystarczy dobrze poszukać czasami i okazuje się, że te źródła wiedzy są kapitalne.
Wiktor: Zdecydowanie tak, tego jest mnóstwo.
Karol: Być może nie ma dużo tych źródeł w języku polskim, ale jeżeli chodzi o język angielski, pełen przegląd. Byłem w szoku, jak przejrzałem ostatnio zasoby np. IBM-a, jeżeli chodzi o edukację.
Wiktor: Tak, IBM-a, Microsoftu, Google’a, tego jest mnóstwo. Ja nie chcę mówić, że jestem przedsiębiorcą kursów płatnych, bo to wcale nie jest tak, natomiast wydaje mi się, że… Wiesz, to jest zupełnie inna….
Karol: Inna bajka, mobilizacja, praca w grupie. Dokładnie o to chodzi. Usystematyzowanie wiedzy i prowadzenie czasami za rękę, które jest bardzo potrzebne.
Wiktor: Dostosowanie do sytuacji swojej konkretnie. Dlatego, żebyśmy się dobrze rozumieli, ja jak najbardziej też tutaj wspieram tezę.
Karol: Jak najbardziej pełen szacunek dla organizatorów i dla podmiotów, które edukują rynek w ten sposób.
Wiktor: Natomiast wracając do tego przekazania, jeżeli rzeczywiście chcemy mieć na tyle wiedzy, żeby jakakolwiek bezpiecznie samopocułować, to wezwę jest na wyciągnięcie ręki. Kolejne przekazanie, to już będzie czwarte. Nie chcę wchodzić za bardzo tutaj w język technologiczny, ale jest taka koncepcja, która nazywa się MLOps, Machine Learning Operations.
O co w tym pokrótce chodzi. Chodzi o to, że w momencie, kiedy wykorzystamy już model na tak zwanej produkcji, to znaczy rzeczywiście wdrażamy go w jakieś procesy biznesowe, podejmujemy jakieś decyzje na jego podstawie, to my musimy być pewni, że ten model jest monitorowany periodycznie pod kątem jakości wyników, bo na jakość modeli wpływa wiele czynników, przede wszystkim mówiąc pokrótce, zewnętrzne czynniki rynkowe, rozkłady danych, I tak dalej i tak dalej. Więc jeżeli my ten model zostawimy na tej produkcji samopas, nie będziemy go kompletnie monitorować, to zaczniemy podejmować głupie decyzje biznesowe. Najlepszy przykład chyba, który zawsze powtarzam. Wyobraźmy sobie, że tworzymy model predykcji sprzedaży i nadchodzi COVID.
No to jeżeli… Podczas okresu covidowego korzystamy z tychże modeli, które były nauczone na czasach przedcovidowych i na przykład na tej podstawie planujemy produkcję. Bardzo zły pomysł, prawda. Więc myślę, że podobnie będzie z LLM-ami.
Tutaj nawet się wykształca kolejna taka subdziedzina LLM-OPS oparta na tym ML-OPS, na tym pojęciu ML-OPS. Bardzo jest ważne, żeby to monitorować. Bardzo jest ważne, czasem nawet trzeba monitorować, bo wiem, że choćby banki w jakiś sposób są regulowane przez KNF w tej kwestii, jeżeli jakieś modele, choćby scaringowe, nie mają odpowiedniej jakości, muszą zostać wyłączone. Więc to jest absolutnie coś koniecznego. To jest tak, pójdźmy dalej procesem i mamy przykazanie piąte. User Experience, tak jak wspominałem, musimy traktować sztuczne inteligencje jako część większego rozwiązania.
Moim zdaniem tylko wtedy ma sens. I musimy zapewnić, że to rozwiązanie jest również przyjazne użytkownikowi. Czy jest to aplikacja, czy jest to jakiś bot głosowy, czy jest to jakaś rekomendacja w banku. To są takie prozaiczne rzeczy, ale mogę podać przykład. chyba wszystkie banki mają takiego asystenta płatności czy asystenta prowadzenia swoich oszczędności i tak dalej. Jak wejdziemy sobie na aplikację, no to mamy rekomendacje, co powinniśmy zrobić ze swoimi oszczędnościami. To też jest oparte w 100% na sztucznej inteligencji. Ogólnie zamysł jest bardzo dobry tego w istocie. Myślę, że każdemu się przyda taka wiedza, żeby żeby lepiej sporządkować swoje finanse, tylko sytuacja staje się dość trudna do zniesienia, kiedy to powiadomienie wyskakuje na każdym możliwym kroku Twojej operacji. Tutaj znowu nie będę się trzymał konkretnych marek, ale taka sytuacja się jednak minie. Ja chcę po prostu zapłacić blikiem, a w międzyczasie mam trzy powiadomienia, że ja mogę zainwestować w okatę. To jest absolutnie fatalne. Czyli ten user experience jest tutaj bardzo istotny. To mamy piąte. Teraz idźmy do numeru sześć. Zdecydowanie szeroko pojęta adopcja. To znaczy, tak jak już wspomniałem, adopcja w organizacji, to znaczy przeszkolenie, przygotowanie pracowników na to, że takiego narzędzia używać.
Karol: Wiesz co, zauważyłem, że jeżeli chodzi o adopcję, niezwykle ważna jest edukacja, ale ta czasami, Tak jak nam się czasami wydaje, że ważna jest to wysokopoziomowa wizja, wizja przyszłości 3, 5, 6, 7 lat, to bardzo ważne w organizacji jest nauka niskopoziomowa, praktyczne wykorzystanie podstawowe czynności, co z czego wynika, czym są dane i tak naprawdę co z tym wszystkim mamy zrobić.
Wiktor: To chciałem powiedzieć przy przykazaniu siódmym, rzeczywiście edukacja na wielu poziomach, bo ja myślę, że tutaj można rozróżnić takie trzy poziomy tej edukacji, to znaczy edukacja na poziomie executive, To znaczy powiedzenie zarządom firm, co one faktycznie mogą osiągnąć z AI, czym AI jest, czym nie jest. Ironicznie, a może nawet nieironicznie, tutaj trzeba używać o wiele mniej specjalistycznego języka i mówić wartościami biznesowymi, takimi, którymi łatwo można przełożyć na zyski bądź oszczędności. Drugi poziom to jest taki, bym powiedział, medium management, to znaczy rzeczywiście osoby, team leaderzy, zajmujące się prowadzeniem zespołu biznesów również. No i tak jak powiedziałeś, ten trzeci etap to są takie podstawowe pojęcia, masowe szkolenia, żeby wyrobić sobie taki nawyk, rzeczywiście to jajmo nam pomagać, nie powinniśmy się tego bać. I jeszcze podam przykład, wracając tylko do tej adopcji, że najfajniejszym wyzwaniem, jakie miałem w takiej organizacji do tej pory, to jak rzeczywiście Tworzyłem modele machiningowe w bankowości w centrali na przykład do obsługi klienta, o którym o czymś rozmawialiśmy. Wszystko w centrali było fantastyczne, a potem trzeba było pojechać w sieć i pokazać ludziom, jak oni mają tego używać. I to było dopiero wezwanie. To było dopiero wyzwanie, bo przychodzi 25-letni data scientist do człowieka, który zjadł zęby na bankowości detalicznej i mówi mu, że masz tutaj coś używać. Niesamowite ciekawe wyzwanie.
Więc tu mamy 6 i 7. Jeżeli chodzi o 8, niestety… Bądźcie przygotowani na porażki, niezależnie jak dobrze to wszystko co powiedziałem zdefiniujemy.
AI to jest proces niedeterministyczny. Ja nie chcę oczywiście znowu degradować innych obszarów IT, ale raczej jeżeli podejmujemy się migracji baz danych do chmury, możemy się mniej więcej spodziewać co będzie na końcu. W przypadku sztucznej inteligencji niestety tak nie jest, bo to jest ciągle mimo wszystko proces oparty na matematyce. może się okazać, że przy całej naszej chęci rozwiązanie nie będzie tak efektywne, jak byśmy chcieli. I to nie znaczy, że należy się podawać. Więc to jest takie przekazanie ósme. Dziewiąte, o których też rozmawialiśmy, AI to jest gra zespołowa. to nie jest tak, że jesteśmy w stanie zatrudnić innego konsultanta, który nam rozwiąże wszystko A do Z. Jeżeli ktoś poważnie, albo zatrudniona osoba na stałe, jeżeli ktoś poważnie myśli o wdrażaniu sztucznej inteligencji w organizacji, musi myśleć o całych zespołach interdyscyplinarnych. Zespoły zajmujących się danymi.
Karol: Które komunikują się w zrozumiały dla siebie sposób, które współdziałają, które nie traktują siebie jako wzajemnie konkurencja.
Wiktor: Zdecydowanie tak, zdecydowanie tak, a wydaje mi się, że teraz mamy takie trochę nowe rozdanie, jeżeli chodzi o rolę odpowiedzialności w organizacji w obszarze AI, bo to jest taki albo gorący kartofel dla wielu ludzi, to znaczy jednak jest takie spojrzenie, że musimy coś z tym AI zrobić, więc ktoś się tym musi zająć, albo inaczej, jest konkurencja, każdy chce sobie przypiąć jakieś zasługi do tego i Trochę nam ta zdrowa komunikacja i granie do bramki tutaj odpada. Ja widziałem jednokrotnie organizację, która ma aż sześć siedem równoległych zespołów, które robią to samo.
To jest kompletem absurdem, prawda. Ale takie rzeczy się zdarzają. I finalne, bym powiedział, takie, które teraz zresztą pomyślałem, odnośnie jak to wdrażać to jest bym powiedział think big start small, czyli rzeczywiście nie wpadajemy w pułapkę planowania, spróbujmy sprawdzić na własnych danych, na własnym środowisku, własnych uwarunkowaniach jak sztuczna inteligencja się zachowuje, ale jednocześnie jeżeli rzeczywiście mamy do tego takie podejście, że chcemy wprowadzić to AI do naszej codziennej działalności biznesowej. Od samego początku powinniśmy sobie rozpisać, jak ta strategia powinna wyglądać i potem stopniowo, progresywnie te gapy tak zwane, czyli jakieś braki, które mamy adresować. Czy to w kompetencjach ludzkich, czy to w danych, czy to w infrastrukturze, no pewnie jest tego trochę, ale myślę, że to jest niezbędne do tego, żeby nazwać, jak to się ładnie mówi, organizację AI Driven.
Karol: I z tym setem przykazań zostawiamy Was, drodzy słuchacze, życząc udanych wdrożeń i tego, by dane Wam służyły, a nie by Wy, żebyście służyli danym.
Wiktor: Bardzo przepracowane.
Karol: Wiktor, serdecznie dziękuję za spotkanie, dziękuję za rozmowę, dziękuję za to, że podzieliłeś się swoimi doświadczeniami. Co już mogę tylko powiedzieć tradycyjnie i niechaj będzie z Tobą.
