Wyobraź sobie, że stoisz przed hałdą węgla wielkości wieżowca i Twoim zadaniem jest znalezienie w niej jednego, konkretnego diamentu. Tak wyglądała praca dziennikarzy przy aferze Panama Papers. Dziś podobne zadanie można zlecić sztucznej inteligencji. Ale czy wynik jest równie wiarygodny? Vadim Makarenko opowiada, dlaczego pomimo rewolucji AI, kluczowe kompetencje pozostają niezmienne, a nasza czujność staje się cenniejsza niż kiedykolwiek..
Dziennikarstwo danych: Sztuka szukania igły w stogu siana
Zanim świat oszalał na punkcie modeli językowych, praca z danymi była domeną dla cierpliwych. Vadim Makarenko, który tworzył pierwszy w Polsce redakcyjny dział danych, zabiera nas do czasów, gdy wyciągnięcie informacji z pliku PDF było pracochłonnym zadaniem, a analiza ogromnych zbiorów przypominała pracę detektywistyczną. Kulminacją tego podejścia było śledztwo Panama Papers – gigantyczny, nieustrukturyzowany zbiór danych, w którym trzeba było znaleźć polskie wątki. Jak sam wspomina:
„To jest bardzo trafna metafora, że to jest po prostu albo hałda węgla, albo ogromna kupa siana i po prostu z tego siana my musimy coś wyciągnąć. Nieustająco w nim grzebiemy, zanim się czegoś złapiemy”.
Ta opowieść doskonale pokazuje, jak bardzo zmieniły się narzędzia, ale też jak fundamentalne pozostały ciekawość i umiejętność nieszablonowego myślenia.
AI jako (nie)doskonały asystent: Nadzór to nowa waluta
Dziś wiele z tych żmudnych zadań może wykonać za nas sztuczna inteligencja. Jednak ta wygoda ma swoją cenę – ryzyko utraty czujności i bezkrytycznego zaufania do wyników. Vadim, opierając się na swoim doświadczeniu w tworzeniu asystentów AI dla analityków, przestrzega przed pułapkami, jakie niesie automatyzacja.
Mówi o tekstach, które zaczynają brzmieć tak samo, i o „learning bias”, gdy model uczy się w zamkniętym obiegu własnych treści. Dlatego, jego zdaniem, rola człowieka jako ostatecznego weryfikatora jest nie do przecenienia. Jak dosadnie stwierdza:
„Ja się czuję bezpiecznie dopiero wtedy, gdy swoją pieczęć, swój znak jakości stawia na tym człowiek. Uważam, że te dane, które są w 90% poprawne, nie są poprawne wcale, bo w tych 10%, w których są niepoprawne, mogą być dużym problemem przy podejmowaniu decyzji”.
Pytania do Was – Słuchaczy…
- Vadim podkreśla, że bez ludzkiego nadzoru AI może prowadzić do poważnych błędów. Gdzie w Twojej pracy lub codziennym życiu stawiasz granicę zaufania do technologii? Czy zdarzyło Ci się, że AI wprowadziło Cię w błąd?
- Czy zgadzasz się, że w dobie AI głęboka wiedza specjalistyczna staje się ważniejsza niż kiedykolwiek? Czy w Twojej branży widzisz, że lepsi w wykorzystaniu AI są eksperci dziedzinowi, czy raczej technologiczni generaliści?
- Rozmawialiśmy o tym, jak łatwo jest stracić „czujność” i polegać na narzędziach. Czy zauważyłeś u siebie zmianę w sposobie szukania i weryfikowania informacji, odkąd modele językowe stały się powszechnie dostępne?
—
Masz chwilę? Jeśli podoba Ci się 99 Twarzy AI, zostaw ocenę i recenzję – dzięki temu możemy docierać do jeszcze większej liczby słuchaczy!
Dobrego dnia i niech #AI będzie z Wami wszystkimi!
Transkrypcja rozmowy
Disclaimer. Droga Czytelniczko, Drogi Czytelniku – mała uwaga dotycząca transkrypcji rozmowy. Jak się pewnie domyślasz – transkrypcja została przygotowana z wykorzystaniem magii LLM. Proszę o wyrozumiałość, gdyby pojawiły się w niej niewielkie błędy, literówki, etc. Żeby mieć pewność co do wszystkich wypowiedzi – polecam posłuchać, zamiast czytać. Ukłony.
Karol
Vadim, witam cię serdecznie. 99 Twarzy AI, kolejna odsłona, kolejna postać. Pamiętam czasy, kiedy czytywałem twoje artykuły w „Gazecie Wyborczej” i byłem absolutnie zafascynowany tym, w jaki sposób potrafisz opowiadać o danych, o trendach, o biznesie w zrozumiały sposób dla ludzi, którzy niekoniecznie z tym biznesem, technologiami czy danymi byli związani. To ogromna przyjemność móc cię gościć w 99 Twarzach AI.
Vadim
Dziękuję bardzo.
Karol
Dla tych, którzy być może nie kojarzą ciebie z pracy dziennikarskiej, ponieważ jakiś czas temu ją zakończyłeś, czy mógłbyś opowiedzieć o swojej historii? Czasami pytam o „AI story”, ale u ciebie to chyba bardziej „data story”.
Vadim
No tak. To jest historia pracy w dziennikarstwie i w danych, tak się to wszystko splotło. Zacząłem pracę w „Wyborczej”, gdzie byłem dziennikarzem ekonomicznym przez mniej więcej 14 lat, po czym trochę zmieniłem swoją karierę i zająłem się danymi. Zajmowałem się dziennikarstwem danych od mniej więcej 2013 roku do mojego odejścia z „Gazety Wyborczej” w 2021 roku.
Potem wyjechałem z Polski i – jak lubię żartować – zmieniłem kraj, język, zawód, wszystko, co można było zmienić. Zacząłem pracę w firmie Statista w Hamburgu, gdzie byłem w dziale business intelligence, który zajmował się zbieraniem i agregacją danych z dostępnych źródeł na temat sektorów cyfrowych. Prowadziłem tam departament, w którym cztery zespoły zajmowały się agregacją danych, między innymi o rynku AI, o którym będziemy dziś rozmawiać.
Karol
A jak to się stało, że dane cię zaciekawiły? Skąd ten wybór, żeby pisać o danych i liczbach?
Vadim
W 2013 roku byłem na stypendium w Oksfordzie. Miałem to szczęście, że załapałem się na stypendium dziennikarskie w Instytucie Reutera i tam mieliśmy możliwość zapoznania się z bardzo różnymi twarzami dziennikarstwa. Mieliśmy regularne spotkania, seminaria, wykłady. Część z nich była stricte akademicka, a część wygłaszana przez ludzi, którzy aktywnie uprawiają ten zawód. Byli tam różni ludzie: publicyści, dziennikarze śledczy i dziennikarze danych.
Był tam Simon Rogers z „Guardiana”, który już w 2013 roku prowadził coś, co nazywało się wtedy „Data Blog”. To była bardzo popularna i ciekawa sekcja „Guardiana” w internecie, ponieważ okazało się, że można mniej pisać, a więcej pokazywać. Pomyślałem sobie wtedy, że to interesujące, bo obiektywizuje przekaz. To już nie jest „on powiedział, ona powiedziała”, tylko „tutaj są dane, proszę, popatrzcie”. To mnie zainteresowało i po powrocie z Wielkiej Brytanii zająłem się danymi w redakcji „Gazety Wyborczej”. Gazeta postanowiła zaeksperymentować i stworzyliśmy pierwszy w polskich mediach dział danych w redakcji.
Karol
Jak wyglądały początki? Umówmy się, to był czas być może machine learningu, ale na pewno jeszcze nie generatywnej AI.
Vadim
O nie, wtedy to było wszystko robione ręcznie i to było bardzo trudne. To, co dzisiaj robimy jednym klikiem w Chat GPT, na przykład wyciągnięcie danych z PDF-a, wtedy zajmowało pół dnia. Takie zdjęcie danych z PDF-a wcale nie było proste, a polska administracja publiczna, jak wiemy, kocha PDF-y.
Karol
Całe szczęście, że nie faks, tak jak jeszcze w Niemczech w niektórych miejscach.
Vadim
Zdarza się spotkać faksy w Niemczech. Mnie się nie zdarzyło, ale wiem, że istnieją. To była dużo bardziej pracochłonna praca, to całe dziennikarstwo danych w 2013 roku. Cykl produkcyjny był nieprawdopodobnie długi.
Karol
Mógłbyś opowiedzieć o jakimś ciekawym przykładzie?
Vadim
Skrapowanie danych z PDF-ów to jest bardzo dobry przykład. Musieliśmy to robić nieustannie i to ręcznie, bo nie każdy PDF dało się z-OCR-ować. Jednym z narzędzi, które mieliśmy, był, nie wiem, czy jeszcze istniejący, FineReader rosyjskiej firmy ABBYY. Ale, jak powiedziałem, nie każdy PDF da się obrobić. Na przykład Kancelaria Sejmu w PDF-ach umieszcza de facto zdjęcia albo skany dokumentów. Tego się nie da poprawnie z-OCR-ować, bo jest za dużo szumu na stronach. To trzeba było robić ręcznie.
Druga rzecz jest taka, że to, co dzisiaj potrafimy zrobić na przykład z Chatem GPT, czyli szybko wstępnie zwizualizować dane, wtedy było strasznie trudne. Musieliśmy wziąć duży zbiór, rozbić go na podzbiory i powrzucać do pierwszych, wówczas jeszcze mocno ograniczonych, wizualizatorów typu Datawrapper. Flourisha wtedy jeszcze nie było.
Karol
Być może proces był żmudny, ale patrząc z perspektywy czasu, chyba dużo cię nauczył.
Vadim
O tak, rozumiem bardzo dobrze codzienny chleb dziennikarstwa danych. Rozumiem, jakich kompetencji ten zawód potrzebuje, co trzeba umieć. Zbieranie i czyszczenie danych to było na dobrą sprawę 80% pracy.
Karol
To jakie to są kompetencje?
Vadim
Musisz rozumieć, jakie dane są ciekawe, a jakie nie. To jest pierwsza i podstawowa kompetencja dziennikarska. Następnie, jak już masz te dane, musisz rozumieć, jak je obrobić. To już jest kompetencja bardziej analityczna, warsztatowa. Musisz umieć je transformować, rozumieć formaty, w jakich mogą występować, i jak je podpiąć do narzędzia do wizualizacji. Potem oczywiście musisz umieć wyciągać wnioski, ale żeby to zrobić, to jest jeszcze inny warsztat. Musisz rozumieć, jaką analizę robisz, jakie masz zmienne – dyskretne, ciągłe, czy robisz analizę skrajności, czy coś innego. Generalnie jest to trudna sprawa dla dziennikarza.
Karol
A pamiętasz proces, projekt, historię, która szczególnie zapadła ci w pamięć?
Vadim
Było mnóstwo takich rzeczy. Robiliśmy duże opracowanie o formie fizycznej polskich dzieci. Danuta Pawłowska z zespołu Big Data w „Gazecie Wyborczej” pojechała na AWF i scyfryzowała w tamtejszej bibliotece badanie, które robią chyba raz na 10 lat. Zaczęli je robić bodaj w 1979 roku, więc mieliśmy dane z lat 1979, 1989, 1999. To było cykliczne badanie sprawności dzieci w szkołach: z jaką prędkością pokonują stumetrówkę, ile razy potrafią się podciągnąć na drążku itd.
Gdy to wszystko porównaliśmy, okazało się – co teraz mówię jest banałem dla wychowawców WF-u, ale na nas zrobiło wtedy ogromne wrażenie – że dzieci, które w 1979 roku były uważane za „trójkowe”, dzisiaj byłyby absolutnymi gwiazdami, niemal olimpijskimi. Tak bardzo wszystko siadło.
Inny wspaniały materiał był o tym, skąd pochodzą Polacy. Poprosiliśmy największe miasta w Polsce o dane z bazy PESEL – tylko jeden parametr: miasto urodzenia, które jest zapisane w dowodzie osobistym. Dane były w pełni zanonimizowane. Prosiliśmy tylko o to, ilu mieszkańców Warszawy urodziło się na przykład w Bydgoszczy, a ilu w Lublinie. Warszawa to totalny miks, ale ciekawie było też zobaczyć, które miasta przyciągają najbardziej: Wrocław, Kraków. Było też widać spore grupy ludzi, które urodziły się poza granicami Polski, na przykład we Lwowie, co pokazuje repatriację w latach 50. i 60.
Karol
Moja rodzina pochodzi właśnie ze Lwowa i wylądowała na Dolnym Śląsku, we Wrocławiu.
Vadim
No właśnie. To też było widać, ale były też Londyny i różne inne fajne rzeczy. To był przewspaniały projekt, aczkolwiek trwał rok, bo miasta nie chciały udostępniać danych. Szukały pretekstów, na przykład Łódź zażądała pieniędzy, a Toruń, miasto ojca Rydzyka, nigdy nic nie dał. Nawet się do nas nie odezwał. Było mnóstwo fajnych rzeczy, które robiliśmy i bardzo dobrze wspominam ten czas. Wspaniała przygoda.
Karol
Czyli dane możemy traktować jako opowieść?
Vadim
Zdecydowanie. Nawet opowieść możemy traktować jak dane. Są w Polsce językoznawcy i literaturoznawcy, którzy analizują teksty literackie przy pomocy narzędzi statystycznych i zastanawiają się, na ile dany tekst jest podobny do innych tekstów autora. Robiliśmy takie materiały pokazujące, jak blisko Harper Lee jest na przykład do Trumana Capote, bo w kręgach literaturoznawców krążyła plotka, że to Capote napisał „Zabić drozda”. Okazuje się, że nie.
Karol
Właśnie skończyłem nagranie z Maciejem Janickim i rozmawialiśmy o tym, czy naruszeniem praw autorskich jest kopiowanie stylu innego autora. To bardzo ciekawe zagadnienie. Wracając do danych, ja należę do grupy, która totalnie nie potrafi czytać beletrystyki. Nigdy nie potrafiłem siąść do Tolkiena. Natomiast reportaże, wywiady i historie oparte na danych są dla mnie absolutnie interesujące. Mógłbyś opowiedzieć o najciekawszych przypadkach takich opowieści?
Vadim
Zacznijmy od Panama Papers, w którym braliśmy udział. To jest fascynujący projekt. Wiem, że wiele osób uważa polską część za mało interesującą, co jest zrozumiałe na tle kolegów z Islandii, którzy zdetronizowali premiera. Panama Papers to był słynny wyciek z kancelarii prawnej Mossack Fonseca w Panamie, która pomagała ludziom ukrywać kapitał przed opodatkowaniem. Była prawnym przedstawicielem przeróżnych osób. W przypadku osób prywatnych to nic dziwnego, ale w przypadku osób publicznych, które zajmują stanowiska w wyniku wyborów powszechnych, to już problem. Zdarzali się też ludzie z pod ciemnej gwiazdy, handlarze bronią, zwykła mafia. Były też przypadki, kiedy ludzie ukrywali w rajach podatkowych majątek przed rozwodem. Te wszystkie konstrukcje były oparte o funkcjonujące prawo, to nie było działanie kompletnie poza systemem.
W niektórych przypadkach politycy nie powinni tego robić i żadne kancelarie nie powinny ich obsługiwać, a jednak to robiły. Jeśli polityk chowa pieniądze w raju podatkowym, mogą to być uczciwie zarobione pieniądze, ale mogą też pochodzić z łapówek. Dlatego żaden bank nie powinien obsługiwać takiej osoby, która jest tzw. PEP-em (Politically Exposed Person). No więc Mossack Fonseca takie rzeczy robiła.
Osoba znana jako John Doe udostępniła ogromne archiwum z serwerów Mossack Fonseca dziennikarzom „Süddeutsche Zeitung”. Kiedy zobaczyli, ile tego jest, zwrócili się do Międzynarodowego Konsorcjum Dziennikarzy Śledczych (ICIJ).
Karol
Do którego ty też należałeś.
Vadim
„Gazeta Wyborcza” weszła do tego konsorcjum na krótko przed tym przeciekiem. To było przy okazji historii Swiss Leaks, kiedy pracownik banku HSBC w Szwajcarii wyniósł bazę danych i przekazał ją władzom francuskim w zamian za nietykalność. W przypadku Swiss Leaks inicjatorem projektu był „Le Monde”, a w Panama Papers – „Süddeutsche Zeitung”. Mechanizm był podobny, a ICIJ koordynował pracę dziennikarzy na całym świecie. To wielka zasługa kolegów z obu gazet, że rozumieli, iż razem mogą zdziałać więcej, bo baza była globalna, a oni nie fokusowali się tylko na własnych rynkach.
Karol
Jak wyglądała wasza współpraca przy Panama Papers?
Vadim
ICIJ stworzył środowisko pracy – platformę technologiczną. To był zabezpieczony serwer z kodowanym czatem i repozytorium plików. Użyli oprogramowania firmy, która specjalizowała się w pracy z danymi nieustrukturyzowanymi, czyli nie tabelą w Excelu, tylko kompletnym miszmaszem. Tak właśnie wyglądało archiwum kancelarii: pliki graficzne, dźwiękowe, tekstowe, Excele, PDF-y, zdjęcia. I przez to wszystko trzeba było się przekopać.
Karol
Czyli multimodalne śledztwo w niezorganizowanej rzeczywistości. Jak to wyglądało? To było ręczne etykietowanie danych, porządkowanie, szukanie wzorców?
Vadim
Logowało się na serwer, gdzie było mnóstwo plików, i korzystało się z wyszukiwarki. Ta wyszukiwarka była dostarczona przez dostawcę rozwiązań bazodanowych i potrafiła w locie OCR-ować dokumenty graficzne, co było wtedy cudem techniki. Trzeba było mieć pomysły, jak tę bazę przeszukać. To jak szukanie igły w stogu siana. Stoisz przed ogromną kupą siana i musisz coś z niej wyciągnąć, nieustannie w niej grzebiesz, zanim się czegoś złapiesz.
Karol
Bardzo mnie interesuje ten proces. Na ile to jest myślenie „out-of-the-box”, łączenie nieoczywistych faktów?
Vadim
Najprostsze, co każdy dziennikarz robił, to wpisywał nazwiska osób, które były bohaterami afer. Na przykład afera Amber Gold. Bierzemy nazwisko głównego bohatera – zdaje się, że brzmiało Plichta – wpisujemy i patrzymy. Okazuje się, że „plichta” to jakieś słowo po hiszpańsku, więc wyskakuje mnóstwo rekordów po hiszpańsku. Nie do końca dobry pomysł.
Kolega ze Szwajcarii opowiedział, że pewnym problemem jest tam mafia albańska. Postanowił przeszukać bazę pod tym kątem i użył prostego słowa: SWIZRA. To Szwajcaria po albańsku. I okazało się, że wyświetliło mu to wszystkie odpowiednie dokumenty dotyczące Albańczyków w Szwajcarii. Nagle baza z milionów obiektów zamieniła się w dziesiątki tysięcy. To już była ta nitka.
Karol
To idźmy dalej za tą nitką do kłębka.
Vadim
Kolejnym filtrem były IBAN-y i BIC-i z różnych banków. Jak już masz namierzony jakiś content dotyczący interesującego cię tematu, zaczynasz używać innych filtrów, żeby go odsiewać, co znowu zawęża bazę. Potem już ma sens stosowanie nazwisk. Następnie numery paszportów – mają określone konfiguracje i pierwsze sekwencje cyfr mogły wskazywać na grupę polskich paszportów lub dowodów osobistych. To były takie filtry, które stosowali dziennikarze z całego świata.
Karol
A mógłbyś opowiedzieć o polskich wątkach, które pojawiły się w śledztwie?
Vadim
Słabo je już pamiętam. Był Paweł Piskorski, dawny prezydent Warszawy, który był klientem Mossack Fonseca. Kancelaria próbowała zakładać mu różne konta, ale banki nie chciały go obsługiwać. On udowadniał, że jest rolnikiem, a oni pytali, co uprawia. Pamiętam taką wymianę maili, w której banki węszyły trudności, a Mossack Fonseca przekonywała, że nie ma problemu.
Bardzo ciekawym wątkiem były też kancelarie, które obsługiwały tych ludzi w Polsce. Mało kto nawiązuje kontakt z Mossack Fonseca bezpośrednio. Robi to za niego jakaś lokalna firma. Jedna z takich firm miała założyciela, który był specjalistą od trustów rodzinnych. To on prowadził sprawę Pawła Piskorskiego i opowiedział nam, jak funkcjonują trusty na gruncie prawa brytyjskiego. Rozmowa z nim była dla mnie jednym z najciekawszych fragmentów pracy. Wytłumaczył, skąd się wzięły trusty i dlaczego są nie do ruszenia. W Londynie chyba zdecydowana większość nieruchomości jest w trustach, co powoduje kompletną nieprzejrzystość. Nie wiemy, do kogo należy dany budynek. To też strasznie utrudnia spory prawne. Pamiętam jego porównanie: atak na trust to jak atak ołówkiem na rycerza w pełnej zbroi. Da się, ale czy będzie skuteczne? Nie.
Była też poruszająca historia par jednopłciowych, które używały Mossack Fonseca, żeby umożliwić swoim partnerom normalne dziedziczenie, ponieważ w Polsce podatek od spadku dla osoby niespokrewnionej wynosi bodajże 20%.
Karol
Możemy przytoczyć trochę liczb? Ile trwało śledztwo, ile dokumentów przeanalizowano, ile osób było zaangażowanych?
Vadim
Boję się pokręcić. To było ponad 2 terabajty danych, ogromna ilość. Śledztwo trwało około roku. Wszystkie redakcje pracowały nad tym łącznie przez rok. Było kilka spotkań projektowych, które same w sobie były fajnym wydarzeniem, bo przyjeżdżali ludzie z różnych kultur dziennikarskich. Inaczej pracują Brytyjczycy, którzy kochają cytaty, a inaczej Polacy. To zderzenie kultur reporterskich było fascynujące. Byli tam też ludzie o bardzo różnych poziomach kompetencji technologicznych. Wspaniali dziennikarze, którzy potrafili opowiadać historię, ale mieli trudności z obsługą Excela. Musieli się szybko dokształcać, zadawali na pozór bezsensowne pytania, które potem okazywały się bardzo praktyczne. Czasem po prostu nagłaśniali wątpliwości, które mieli wszyscy, ale bali się przyznać.
Karol
A przechodząc do czasów współczesnych, czy myślisz, że w środowisku dziennikarskim funkcjonuje coś takiego jak „AI literacy”?
Vadim
Nie wiem, czy coś takiego istnieje, bo moim zdaniem nie ma jeszcze kanonu AI literacy, tak jak mówimy o data literacy czy visual literacy. Kiedy AI zostało udostępnione szerszej publiczności, pamiętam, jak polskie media ochoczo się z tego nabijały, pisząc, że AI zrobiło beznadziejny wywiad z politykiem. Wtedy na pewno nie było AI literacy, ale dziś już nie ma tych „heheszków”. Myślę, że wszyscy traktują to poważnie. Wiele redakcji traktuje AI jako regularne narzędzie. Ale to jest podobne do dyskusji o umiejętnościach korzystania z internetu.
Karol
Zobacz, że teraz wiele osób zamieniło wyszukiwarkę Google na Perplexity albo coraz częściej używa modeli językowych do wyszukiwania informacji.
Vadim
No właśnie, ale żeby tak robić, trzeba mieć jakieś kompetencje. Okazuje się, że żeby korzystać z internetu w sposób świadomy i wydajny, trzeba mieć ogólnie szersze kompetencje. Ludzie wykształceni używają internetu do pracy, a niewykształceni oglądają te same treści, które oglądali w drukowanych pismach. To samo jest z AI. Żeby użyć go do sensownych rzeczy, trzeba mieć jakiś zestaw kompetencji, albo ciekawość i kreatywność. Ale to tak młoda dziedzina, że wydaje mi się, że za wcześnie jest mówić o AI literacy. Można mówić co najwyżej o „AI basic literacy”.
Karol
Pomyślałem o tym haśle, gdy z Marcinem Sawickim wymyśliliśmy, że „promptowanie to nowy angielski”. W latach 90. znajomość angielskiego była bramą do wiedzy, kontaktów, źródeł. Teraz skuteczne promptowanie, które wykracza poza codzienne słownictwo, daje ci możliwość wykorzystania tej technologii zupełnie inaczej.
Vadim
Tak, ale to wszystko jest tak nowe i tak szybko się zmienia, że mam trudności z określeniem, co jest w tym wszystkim najważniejsze. Myślę, że istotna jest chęć śledzenia tego na bieżąco i próbowania, optymalizowania sobie pracy przy pomocy AI. A czy umiejętność promptowania się szybko nie zdewaluuje? Angielski dewaluował się wolno, a teraz już prawie wszyscy mówią po angielsku, a nawet nie muszą, bo AI wszystko przetłumaczy.
Karol
Co, jeśli nie promptowanie?
Vadim
Myślę, że język naturalny, w sensie takim, że będziesz rozmawiał z AI tak, jak ze mną rozmawiasz.
Karol
A tak nie jest? Z Chatem GPT rozmawiasz dokładnie w ten sposób.
Vadim
Jasne, ale jak mówimy o umiejętności promptowania, to mówimy o pewnym rozumieniu LLM-a, który stoi po drugiej stronie. Jakie komendy mu wydać, żeby się nie pogubił i zwrócił to, czego naprawdę chcemy. Moim zdaniem to nie do końca jest jak komunikacja z drugim człowiekiem, z którym można się „dotrzeć”.
Karol
Ale zawsze możesz poprosić model o doprecyzowanie, zadać mu pytania, kazać wejść w rolę, zweryfikować wyniki w iteracjach.
Vadim
Oczywiście, ale na końcu zawsze musisz mieć ten zamknięty prompt, który robi jakąś robotę. Dojście do niego zajmuje czas. W tym sensie jest to podobne do rozmowy z człowiekiem, ale nie jest to taka sama dyskusja, jaką odbywamy ze współpracownikiem. Weźmy przykład smart speakerów. Wszyscy byli nimi zafascynowani, a po latach doszliśmy do wniosku, że łatwiej jest wcisnąć guzik, żeby zgasić światło, niż wydawać komendę. Czasem, jak chcesz, żeby AI napisało dla ciebie tekst, musisz mu najpierw wyłuszczyć cały research. I okazuje się, że prościej napisać to samemu.
Karol
Zrobiliśmy kiedyś ogólną analizę afery Watergate, porównując ją z obecnymi narzędziami. Okazało się, że pracę, którą wykonywano przez dwa lata, można by skrócić do kilku tygodni.
Vadim
Boję się takich porównań. Watergate w znikomym stopniu opierała się na dokumentach. Była oparta na relacjach ludzi, na przecieku od „Głębokiego Gardła”, którym, jak dziś wiemy, był pracownik FBI. Dokumenty to fascynująca sprawa, ale dziennikarz nie zawsze ma do nich dostęp. Weźmy na przykład nielegalną budowę domu wykrytą przez lokalny portal Sadyba24.pl. Tutaj AI nic nie zdziała. Musi być człowiek w terenie, który to zobaczy, opisze, zadzwoni do dewelopera.
Karol
Dlatego wierzę w renesans lokalnego dziennikarstwa. Tam, gdzie człowiek jest potrzebny w polu, zawód dziennikarza jest bardzo ważny. Wracając do Panama Papers, jak patrzysz na narzędzia, którymi mógłbyś dysponować teraz, to czego brakowało wtedy?
Vadim
Myślę, że LLM potrafiłby uporządkować taką nieustrukturyzowaną bazę dużo szybciej. OCR, analiza maili – to wszystko byłoby radykalnie prostsze i szybsze. Mam jednak wątpliwości co do protokołu bezpieczeństwa. Skoro wtedy ICIJ potrafiło dogadać się z prywatnym dostawcą, który dowiózł produkt i zapewnił poufność, to zakładam, że teraz też potrafiłoby wdrożyć LLM w swoim środowisku pracy, na przykład hostując go on-premise. Tak działają LLM-y korporacyjne, więc dlaczego nie w NGO? Oczywiście, trzeba mieć na to środki i kompetencje.
Karol
A co z obiektywnością danych, na których budowane są LLM-y? Można sobie wyobrazić sytuację, że ludzie będą je traktować jak wyrocznię, a przecież te dane są dobierane i mogą zakrzywiać rzeczywistość.
Vadim
Mam z tym ogromny problem. Nie potrafię się oderwać od koncepcji ludzkiego nadzoru nad AI. Czuję się bezpiecznie dopiero wtedy, gdy człowiek stawia na tym swoją pieczęć jakości. Dane, które są w 90% poprawne, nie są dla mnie poprawne wcale, bo te 10% błędów może być dużym problemem przy podejmowaniu decyzji.
Nie chodzi nawet o błędy, ale o to, na bazie jakich danych modele są tworzone. Istnieje mnóstwo tzw. „research mills”, czyli farm produkujących raporty na danych wątpliwej jakości albo całkowicie zmyślonych, najczęściej w Azji. Mają chwytliwe nazwy, dobry branding i świetny layout, ale nie ufamy im, bo nie wykazują źródeł. I one istnieją w obiegu. Perplexity, które na początku uważałem za wiarygodne, teraz często wskazuje źródła, które nie istnieją, nie mają związku z zapytaniem, albo są to na przykład azjatyckie gazety piszące o europejskich problemach w bardzo zapośredniczony sposób. To ogromny problem, że cały zbiór może być wygenerowany na źródłach, których nie chcemy używać. Modele mogą nie tylko zakrzywiać rzeczywistość, ale generować całkowicie nową. Dlatego tak bardzo jestem przywiązany do nadzoru.
Karol
A jak to zagwarantować?
Vadim
Nie mam koncepcji. Wiem jedno: problemy, które teraz generujemy, używając AI, mogą być niewidoczne i ujawnić się za jakiś czas. W Statista rozwijałem asystenta AI dla analityków do pisania tekstów. Mieliśmy dość zręczny prompt i asystent świetnie sobie radził, radykalnie zwiększając wydajność. Dla ludzi, którzy dobrze pracują z danymi, pisanie jest często problemem i na odwrót.
Asystent był bezpieczny, bo zwracał się tylko do naszej wewnętrznej bazy, do której mieliśmy prawa. Ale po jakimś czasie okazało się, że teksty zaczynają być do siebie podobne. To ten sam efekt, co przy prostym promptowaniu. Kiedy masz rozwiązanie wdrożone fabrycznie, z którego korzystają setki ludzi, zmiana tego nie jest prosta. Musisz regularnie zmieniać prompty.
Drugi sposób to podjęcie ryzyka. Musisz dopuścić zewnętrzne źródła, co tworzy ryzyka prawne. Bo jak maszynka wyjdzie poza ogródek, w którym ją „wypasałeś” i przyniesie ci „jabłuszka”, mogą one być cudze i nie masz prawa ich używać. Musisz je co najmniej sparafrazować. Ale nie możesz dopuścić do tego, że cała twoja biblioteka treści brzmi tak samo, a ty nieustannie zagłębiasz się w te same schematy. Musisz ciągle obserwować narzędzie, bo bardzo łatwo jest stworzyć sobie problemy, których wcześniej nie miałeś i stracić czujność.
Karol
To analogia do korzystania z Google Maps i utraty orientacji w przestrzeni.
Vadim
Tak. A dla firmy, która sprzedaje insighty, to spłyca te insighty. One stają się mniej ważne. Ostatecznie, jak powiedział Grzegorz Piechota z INMA, trzeba inwestować w ludzi. Trzeba inwestować w analityków, którzy to tworzą, żeby oni łączyli kropki.
Karol
W jakie umiejętności? Jak wygląda idealny miks technologii i człowieka?
Vadim
Powiem banał, ale im mądrzejszy człowiek obsługuje asystenta AI, tym lepsze wyniki. W branży konsultingowo-badawczej musisz mieć ludzi, którzy dużo czytają i rozumieją złożone zależności. Na przykład problem aut elektrycznych w Niemczech. Samochód elektryczny ma mniej komponentów, co oznacza mniej poddostawców i większe zwolnienia w gospodarce opartej na motoryzacji. Czy LLM to wie? Moim zdaniem nie. Osoba, która zna ten temat, powinna dzielić się tą wiedzą z innymi zespołami, żeby pokazać im, jak te zależności wpływają na inne obszary, na przykład zieloną transformację. Dopiero wtedy robi się to interesujące. Kształcenie nadzorców AI to dla mnie dbanie o to, żeby patrzyli po bokach i rozmawiali ze sobą.
Karol
I uczyli się nie tylko na bazie odpowiedzi z LLM-ów, ale na bazie sprawdzonych źródeł i ludzi, którzy „zjedli zęby” na określonych branżach.
Vadim
Tak. I tacy ludzie świetnie zapromptują AI. Co do tego nie mam wątpliwości.
Karol
Nie wiem, czy słyszałeś, że w Stanach Zjednoczonych jako prompt inżynierów bardzo często zatrudnia się poetów. Stąd moje odwołanie do zasobu słownictwa.
Vadim
Wydaje mi się, że to jest umiejętność, której na poziomie technicznym można się nauczyć. Ale na poziomie głębokim, merytorycznym, trudno te kompetencje podrobić. Inaczej promptuje w kwestii pojazdów elektrycznych koleżanka, która pracuje z tym tematem od lat, a inaczej ja, który jestem laikiem. Dla mnie to rewelacja, dla niej oczywistość.
Karol
Kontekst, znaczenie, wiedza, umiejętność stania z boku i obserwowania trendów, łączenie nieoczywistych faktów – czasami ludzie potrafią to połączyć lepiej niż AI, na zasadzie intuicji.
Vadim
Mój szef w Statista był bardzo ostrożny, gdy AI weszło do powszechnego użytku. Mówił, że trzeba wprowadzić zasady korzystania z tego. Ja mówiłem: „Co ty, niech ludzie próbują”. A on na to: „To jest twoje podejście eksperta. Jak weźmiesz młodą osobę bez kompetencji, to strach myśleć, co ona tam napromptuje”. Im dłużej to obserwuję, tym bardziej dochodzę do wniosku, że miał rację.
Karol
A jak ty uczyłeś się promptować? Jakie są twoje ulubione metody?
Vadim
Uczyłem się zupełnie intuicyjnie. Była jakaś praca do wykonania i chciałem ją zlecić. Normalnie zleciłbym ją studentowi, który w Niemczech jest traktowany bardzo poważnie. To człowiek-instytucja, jego pracę reguluje prawo. Zamiast studenta miałem LLM. Okazywało się, że rozumie opacznie, więc były to miliony prób i błędów.
Pamiętam, jak w pierwszej wersji OpenAI załadowałem tabelę z danymi o sprzedaży gazet i poprosiłem o obliczenie procentów. Dostałem odpowiedź, że sprzedaż gazet wspaniale rośnie w dwucyfrowym tempie. Spojrzałem na tabelę jeszcze raz i okazało się, że pierwsza wersja czytała dane tylko od lewej do prawej. A ja miałem najnowszy rok po lewej, a starsze po prawej. Odwrócił mi się trend. Oczywiście przeformatowałem tabelę, ale to były tego rodzaju prace.
Kazałem mu też przepisywać gotowe teksty, dodając nowe wątki. Oczywiście, płynął naokoło. Okazywało się, że prościej jest przepisać coś ręcznie. Z drugiej strony, modele AI zawsze były mistrzowskie w strukturyzowaniu tekstu, co mi zawsze sprawiało problem. W tekście dziennikarskim ważna jest zwarta struktura, która logicznie prowadzi od wątku do wątku. LLM-y są w tym znakomite. Jak dasz im biografię i poprosisz o przerobienie na notę biograficzną, wychodzi to świetnie, bo zaczyna się od tego, co dzieje się teraz.
Karol
A eksperymentowałeś z porównaniem not biograficznych z Chata GPT i NotebookLM?
Vadim
Nie, nie robiłem takich porównań.
Karol
Ciekaw jestem, jakby to wyszło, bo NotebookLM ma zerową „temperaturę”, więc powinien bazować tylko na faktach.
Vadim
Patrzyłem, jakie są błędy, co modele robią, gdzie jest ich silna strona. Wiemy, że jest nią struktura. Więc trzeba się zastanowić, do jakich źródeł odesłać, ile szczegółów podać. Zbyt restrykcyjny prompt jest problemem, tak samo jak zbyt liberalny. Pamiętam, że na początku projektu z asystentem to było nieustanne jeżdżenie z jednej skrajności w drugą. Uczyłem się po prostu cały czas, praktykując.
Karol
I to jest chyba najlepsza metoda dla kogoś, kto uczy się przez eksperymentowanie. Tak samo było z podcastami, kiedy zaczynałem w 2017 roku. Po prostu słuchałem, kupiłem rejestrator i zacząłem nagrywać. Z promptowaniem jest chyba tak samo.
Vadim
Moim zdaniem tak. To trochę jak z grą na instrumencie. Są jakieś zasady, nuty, akordy, ale pewnych rzeczy musisz spróbować sam.
Karol
A widzisz różnicę w jakości wyników przy tych samych technikach promptowania, w zależności od modelu?
Vadim
Oczywiście, jest ogromny postęp. Mam wrażenie, że można promptować w mniej precyzyjny sposób, osiągając te same wyniki. Ale z drugiej strony zdarzają się niespodzianki, które to wrażenie burzą. Już ci się wydaje, że dobrze się rozumiesz z asystentem, a on nagle wyrzuca coś, co sprawia, że myślisz: „jednak nie wolno sobie odpuszczać”.
Karol
Ciekawe, w jakim kierunku to będzie szło, na ile modele będą miały rozwiniętą pamięć w interakcji z użytkownikiem. A wyobraźmy sobie, że będą wyposażone w zmysły, na przykład kamerę. Skoro komunikacja międzyludzka opiera się też na mowie ciała, na emocjach, to modele mogłyby je odczytywać.
Vadim
Pewnie coś takiego jest możliwe. Nie wiem, na ile ja bym czegoś takiego chciał. Wolałbym budować te relacje w sposób stricte profesjonalny. Możemy na siebie krzyczeć, ale tylko ja na nich, a nie one na mnie.
Karol
A czy dane można skutecznie prezentować słowem, czy tylko grafiką?
Vadim
Można słowem. Kiedyś do warsztatu dziennikarzy biznesowych przykładano ogromną wagę, uczono ich pracy z liczbami, czytania wyników finansowych. Uczono, że zysk netto to pozycja księgowa, która zwykle mało mówi o firmie, bo podlega wpływom różnych operacji. Pisanie o tym w zrozumiały sposób zawsze było ogromną wartością. Słyszałem kiedyś, że jednym z najlepszych tekstów ekonomicznych był tekst, w którym nie było żadnej liczby. Był tak dobrze napisany, że bronił się sam.
Dziś jednak rzeczywistość się zmieniła. Czytamy nagłówkami, nikt nie czyta tekstów do końca. Rezygnacja z pokazywania danych w postaci wykresu wydaje mi się w naszych czasach niemądra. Dziś znalazłem tekst o wydatkach spółek Skarbu Państwa na reklamę, w którym były dziesiątki liczb i żadnego wykresu. Zrozumiałem trend z leadu, ale żeby zobaczyć, ile Orlen na co wydaje, musiałem się wczytać. Co zrobiłem? Wrzuciłem go do LLM-a i poprosiłem o zwizualizowanie danych.
Tu dotykamy bolesnego obszaru dla branży medialnej. Wydawcy budują zasieki, żeby LLM-y nie brały ich treści do nauki, a my wrzucamy ich teksty do modeli. Wydawcy, którzy inwestują w treści, nic z tego nie mają. Ale wracając do pytania, w naszych czasach trzeba dane pokazywać, wizualizować.
Karol
I można to robić w coraz ciekawszy sposób: plastyczny, interaktywny, multimodalny.
Vadim
Z interaktywnością mam kłopot. Ludzie nie do końca są gotowi eksplorować wykresy. Chcą, żeby wykres coś im powiedział na pierwszy rzut oka. Zdecydowana mniejszość jest gotowa używać filtrów. Chyba że mamy wyjątkowo duży i atrakcyjny z perspektywy personalizacji zbiór danych. Przykładem jest artykuł z „New York Timesa”, który pokazuje, jak coraz bardziej gorąco robi się w mieście, w którym się urodziłeś. Możesz wpisać dowolne miasto i sprawdzić. Wtedy człowiekowi chce się to eksplorować, bo to przemawia do niego bezpośrednio. Ale większość interaktywnych danych nie ma tej cechy.
Karol
Wydajesz mi się człowiekiem, który lubi absorbować wiedzę. Z czego się uczysz? Kogo czytasz, kogo obserwujesz?
Vadim
W dużym uproszczeniu, mądrych ludzi. Nałogowo słucham podcastów o technologiach, jak „Hard Fork” czy „Pivot” ze Scottem Gallowayem i Karą Swisher.
Karol
Przepadam za Scottem Gallowayem. Czasami pękam ze śmiechu, jak proszę AI o napisanie tekstu jego językiem.
Vadim
Jeśli chodzi o media, rozrywkę, marketing, jestem wiernym czytelnikiem „The Wall Street Journal”. To dziennik konserwatywny, ale w tych obszarach moim zdaniem nie ma równych. Z mediów branżowych, „The Information” – wspaniała rzecz, stworzona przez byłą dziennikarkę WSJ. Pokazują niesamowite dane. Poza tym czytam tzw. „legacy media”: Bloomberg, „The Economist”, „The New York Times”.
Karol
A co sądzisz o pomyśle, że stare, dobre blogi pisane przez ludzi wrócą do łask?
Vadim
Tak, pytanie tylko, co trzeba zrobić, żeby chciało się tam wracać. Uważam, że eksperci domenowi są niesłychanie ważni i czytanie ich jest rozwijające. Ale jest ich dużo, piszą nieregularnie. Trzeba to sobie tak skonfigurować, żeby tego nie było za dużo, bo inaczej niczego nie przeczytasz. Dlatego z blogami mam prywatnie pewien kłopot, chociaż wiele z nich czytam. Trochę tę rolę przejęły newslettery.
Karol
Ostatnie pytanie. Kiedyś w świecie podcastingu był gość, James Cridland, który nazywał się „The Radio Futurologist”. Czy masz kogoś, kogo mógłbyś nazwać „journalist futurologist”?
Vadim
Uważam, że takim ośrodkiem dziennikarzy-futurologów jest magazyn „Wired”, to jedna z moich głównych lektur. Co do przyszłości, mam kłopot, bo wydaje mi się, że coraz częściej mówimy o teraźniejszości. Wszystko dzieje się dużo szybciej. Niedawno robiłem odcinek podcastu o tym, że naukowcy w Kanadzie używają AI do identyfikacji posiłków i określania liczby kalorii. Kilka miesięcy później w Polsce wystartowała aplikacja, która całkiem nieźle sobie z tym radzi. Przewidywanie przyszłości jest w tej sytuacji strasznie niewdzięczne. Bardziej szukam czegoś, co rzetelnie oceni obecną sytuację.
Karol
To chyba rada dla naszych słuchaczy: zastanawiać się, czy w przyszłości warto być generalistą, czy specjalistą. Ja uważam, że specjalistą. Narzędzia w połączeniu z twoją głęboką wiedzą pozwolą ci osiągać wiele.
Vadim
Tak, absolutnie. Mogę się pod tym podpisać.
Karol
Amen. Vadim, ogromna przyjemność móc z tobą rozmawiać. Dziękuję ci serdecznie, że odwiedziłeś 99 Twarzy AI. I cóż mogę powiedzieć, niech moc będzie z tobą.
Vadim
Dzięki za zaproszenie.