Zacznijmy od wyznania: myliłem się. Myślałem, że statystyka to nudne tabelki w Excelu. Tymczasem po godzinie rozmowy z Piotrem Szulcem mam wrażenie, że to raczej sztuka walki. Walki z naszym własnym, omylnym mózgiem, który wszędzie szuka wzorów, sensu i przeznaczenia.
Piotr to człowiek, który zawodowo niszczy każdego miłośnika teorii spiskowych. Kiedy wchodzisz do niego z tezą: „Wybory sfałszowano, bo wyniki w tej komisji są dziwne!”, on nie dyskutuje. On wyciąga „hipotezę zerową” i sprawdza, czy to, co widzisz, nie jest po prostu matematyczną koniecznością.
Kiedy intuicja to tylko szybka kalkulacja
Podczas rozmowy próbowałem bronić romantycznej wizji „nosa” do interesów czy życiowej intuicji. Piotr sprowadził mnie na ziemię szybciej niż grawitacja. Według niego (i Magnusa Carlsena, na którego się powołuje), to, co nazywamy „przeczuciem”, to nic innego jak błyskawiczna obróbka danych przez nasz mózg.
To lekcja pokory dla każdego lidera i przedsiębiorcy. Twoja „genialna intuicja” to po prostu Twoje doświadczenie przemielone przez neuronowe algorytmy. Nic magicznego.
Pułapka średniego pacjenta
Rozmawialiśmy o medycynie. Wydaje nam się, że jeśli lek „średnio” nie powoduje tycia, to jesteśmy bezpieczni. Piotr, z właściwą sobie precyzją, wytknął błąd tego myślenia.
Wyobraź sobie lek, po którym praworęczni lekko chudną, a leworęczni mocno tyją. Średnia dla populacji? Waga bez zmian. Wniosek? Statystyka może kłamać w żywe oczy, gdy mowa o Tobie. To przerażająca i fascynująca perspektywa – uśrednionych prawd, które mogą być fałszywe dla jednostki.
Demokracja w liczbach
Najciekawszy wątek dotyczył jednak wyborów. Piotr przeprowadził własną, chłodną analizę nieprawidłowości wyborczych, o których huczał internet. Jego wniosek? Błędne wyniki w komisjach nie mogły wpłynąć na ostateczny wynik wyborów. Hipoteza zerowa, że zostały przeprowadzone uczciwie, pozostaje w mocy.
3 powody, dla których warto odsłuchać ten odcinek do końca:
- Poznasz Piotra Szulca: Gościa, który o skomplikowanych analizach statystycznych opowiada tak, jakby tłumaczył przepis na jajecznicę – prosto, obrazowo i z humorem.
- Zrozumiesz mechanizm fake newsów: Dowiesz się, dlaczego amatorskie analizy danych są groźniejsze niż kłamstwa i jak „problem porównań wielokrotnych” tworzy teorie spiskowe.
- Odzyskasz spokój: Zobaczysz, że to, co bierzemy za chaos lub spisek, często jest przewidywalną matematyką.
Linki od Piotra:
https://danetyka.com/protest-wyborczy-2025/
https://danetyka.com/model-detekcji-anomalii/
https://www.batory.org.pl/publikacja/falszerstwa-czy-falszywe-alarmy-statystyczna-kontrola-wynikow-ii-tury-wyborow-prezydenckich-2025/
—
Masz chwilę? Jeśli podoba Ci się 99 Twarzy AI, zostaw ocenę i recenzję – dzięki temu możemy docierać do jeszcze większej liczby słuchaczy!
Dobrego dnia i niech #AI będzie z Wami wszystkimi!
Transkrypcja rozmowy
Disclaimer. Droga Czytelniczko, Drogi Czytelniku – mała uwaga dotycząca transkrypcji rozmowy. Jak się pewnie domyślasz – transkrypcja została przygotowana z wykorzystaniem magii LLM. Proszę o wyrozumiałość, gdyby pojawiły się w niej niewielkie błędy, literówki, etc. Żeby mieć pewność co do wszystkich wypowiedzi – polecam posłuchać, zamiast czytać. Ukłony.
Karol Stryja
Moim gościem jest Piotr Szulc.
Piotr Szulc
Tak, zgadza się.
Karol Stryja
Piotr, witaj. Jaka jest twoja domena?
Piotr Szulc
Gmail. Nie, nie, nie. Statystyka. Statystyka, no właśnie.
Karol Stryja
Słuchaj, w związku z tym, że już chodzą słuchy na mieście, że w moim podcaście mówi się o skomplikowanych rzeczach prostym językiem, to umówiliśmy się na tę rozmowę, żeby po pierwsze rozróżnić dwa słowa. Jaka jest różnica między brzmiącymi bardzo podobnie dla zwykłego człowieka słowami: statystyka i stochastyka?
Piotr Szulc
Znaczy, swoją drogą, jak napisałeś do mnie, to słowo stochastyka jest obecnie raczej nieużywane jako rzeczownik. Jako przymiotnik już rzeczywiście występuje, na przykład są procesy stochastyczne, ale jako rzeczownik występuje rzadko i zasadniczo to jest po prostu prawdopodobieństwo. Zresztą nie wiem, czy to miałeś na myśli, jeśli chciałeś o tej stochastyce rozmawiać. W każdym razie nawet znalazłem takie fajne wytłumaczenie tego słowa, że to jest sztuka przypuszczania, która rozwinęła się zapewne w rachunek prawdopodobieństwa. No i ogólnie różnica między statystyką a prawdopodobieństwem jest taka, że prawdopodobieństwo to jest w zasadzie takie rozumowanie dedukcyjne. Czyli bierzemy monetę i zastanawiamy się, jakie jest prawdopodobieństwo, że wyrzucisz dziesięć orłów z rzędu. Można to policzyć, zakładając rozsądnie, że prawdopodobieństwo wyrzucenia orła jest jedna druga. Możesz policzyć, że prawdopodobieństwo wyrzucenia dziesięciu orłów z rzędu to jest około jeden na tysiąc, jeden na tysiąc dwadzieścia cztery dokładnie. No i przy pomocy takiego rozumowania probabilistycznego jesteś w stanie powiedzieć coś o danych, jakie możesz zaobserwować. Bo na przykład, jeśli to prawdopodobieństwo dziesięciu orłów z rzędu jest jeden na tysiąc, to rzadko taka sytuacja powinna mieć miejsce.
Karol Stryja
No trochę jak totolotek…
Piotr Szulc
No tak, to zresztą też jest dobry przykład, o tym też sobie coś pewnie powiemy. Także ja nie mam żadnych danych, ale coś o nich mówię, czego oczekuję, jak takie dane będą wyglądały. I zasadniczo to jest matematyka. W pewnym sensie to jest proste, w tym sensie, że tam nie ma żadnego subiektywizmu w tym, czyli powinniśmy dojść do tego samego. To prawdopodobieństwo wynosi 1 na 1024 i koniec. A statystyka jest w drugą stronę. To znaczy najpierw doświadczenie, a potem zliczam wyniki. Czyli masz dane, w pewnym sensie możesz poprzestać na tych danych i tylko jakoś je podsumować. To jest taka prymitywna statystyka, statystyka opisowa. W zasadzie mówi się na to statystyki, czyli jak masz statystyki meczowe. Zresztą takie zdanie kiedyś przeczytałem, że statystyka ma długą prehistorię, ale krótką historię.
Karol Stryja
O, rozwiń?
Piotr Szulc
W zasadzie od dawna ludzie używali statystyki. Spis powszechny dwa tysiące lat przed naszą erą już robiono, bo chciano się na przykład dowiedzieć, ile ludzi powinno płacić podatki, albo ilu mężczyzn się rodzi, żeby później mniej więcej oszacować, jak duża będzie armia. No to jak notujesz takie dane i jakoś je podsumowujesz, to to jest już statystyka, ale bardzo prosta. Nie ma wnioskowania statystycznego żadnego, tylko podsumowujesz dane, żeby jakoś łatwiej je ogarnąć. Ale rzeczywiście takie wyciąganie wniosków głębszych, na przykład: zebrałeś trochę danych, ale interesują cię preferencje wyborcze Polaków. O tym też mam nadzieję, poopowiadam. Nie jesteś w stanie zbadać wszystkich Polaków, no to badasz tam tysiąc osób i coś chcesz powiedzieć o wszystkich. To już jest wnioskowanie statystyczne, to jest trudniejsze i to już ma dosyć krótką historię. Czyli dopiero po jakimś czasie doszliśmy do tego i żeby to robić dobrze, rzeczywiście prawdopodobieństwo musiało się rozwinąć. Bo zasadniczo możemy sobie tak pomyśleć: jest jakiś proces generujący dane.
Karol Stryja
Przyłóżmy to na śmierć. Statystyczny Polak mężczyzna żyje podobno średnio 74 lata. Czy w takim razie przyłóżmy to na statystykę i prawdopodobieństwo, że dożyje do tych 74 lat? To nie jest to samo?
Piotr Szulc
Oczywiście, to nie jest to samo. Jeśli chcesz powiedzieć coś o tym prawdopodobieństwie, to robisz to przy pomocy statystyki. Czyli wyobrażamy sobie, że jest jakieś prawdopodobieństwo, że ty umrzesz w jakimś wieku. Ile ono konkretnie wynosi, nie wiesz, więc używasz statystyki do oszacowania tego parametru. Wydaje mi się, że jeszcze lepszy przykład to jest, jak rodzą się dzieci, dziewczynka albo chłopiec. Ten proces generujący dane, to jest proces generujący dziewczynki albo chłopców i w pewnym sensie jest jakieś konkretne prawdopodobieństwo tego, że urodzi się chłopiec. Ono jest trochę wyższe niż, że urodzi się dziewczynka.
Karol Stryja
Ale to znowu chyba genetyka?
Piotr Szulc
Wydaje się, że to ma sens ewolucyjny, bo z kolei chłopcy częściej umierają, więc po jakimś czasie to się wyrównuje. Wydaje się, że przyroda tak to może wymyśliła, żeby to ostatecznie było mniej więcej po równo. Ile to prawdopodobieństwo wynosi? Nie wiemy ile wynosi, ale jakoś możemy to sobie oszacować, patrząc na to, ile się urodziło chłopców i dziewczynek na przykład dzisiaj. Wiadomo, że to nie będzie jakaś dokładna wartość, poza tym to się jakoś zmienia, zależy od kraju. Więc o tym procesie próbujemy coś powiedzieć przy pomocy statystyki – oszacować te parametry. Chociaż zobacz, że być może da się bez statystyki. No bo jeśli to jest kwestia genetyczna i tak dalej, no to to jakoś wynika, nie wiem, może w DNA to jest jakoś zapisane, więc być może jakoś fizycznie, chemicznie jesteś w stanie to odczytać. Tylko to jest tak skomplikowane, że po prostu nie potrafimy tego zrobić. Być może kiedyś będziemy umieli, ale to jest na tyle skomplikowane, że w takim razie zobaczmy, co mówią dane i na podstawie tych danych to oszacujmy. Ale później możemy wrócić znowu do tego prawdopodobieństwa i powiedzieć: „Aha, no dobra, no to prawdopodobieństwo tam jest nie wiem, 51%, że urodzi się chłopiec, no to ilu będzie chłopców za jakiś czas?”. Więc zaczynamy używać już rachunku prawdopodobieństwa, żeby coś więcej powiedzieć, no ale to już jest ścisłe w tym momencie. Bardzo fajnie widać to połączenie prawdopodobieństwa i statystyki na przykładzie testowania hipotez. Czyli na przykład wymyśliłeś jakiś nowy lek, który ma coś poprawić. Być może bez statystyki dałoby się powiedzieć, czy ten lek rzeczywiście działa. Swoją drogą właśnie nie wiem, na ile to jest powszechna wiedza, że tego typu rzeczy bada się na podstawie statystyki. Że w zasadzie medycyna, jak weźmiesz jakąś publikację z medycyny, to to będzie statystyka po prostu. Znaczy nie wszystko, ale bardzo dużo jest takich publikacji, w których masz jakieś badanie statystyczne. No bo żeby stwierdzić, czy coś działa…
Karol Stryja
Musimy wybrać sobie, wyselekcjonować grupę. No ale…
Piotr Szulc
Ale przecież jeśli projektujesz jakiś lek, to nie jest wcale takie oczywiste. Jakoś zaprojektowałeś ten lek, czyli możesz zejść do poziomu chemii, atomów, że to się powinno jakoś łączyć z twoimi atomami w ciele i wyleczyć cię z tej choroby. Że to może jest fizyka. Pewnie jest ostatecznie, więc tak to się projektuje te wszystkie rzeczy. W ten sposób rzeczywiście można zaproponować na przykład jakiś lek. Wydaje się sensowne, że jeśli w leku będzie coś tam, to to powinno zadziałać jakoś pozytywnie. No dobra, robisz to, ale tak naprawdę to jest tak skomplikowane, że jak ostatecznie wprowadzisz to do ciała człowieka, to może się okazać, że to wejdzie w jakieś interakcje z innymi rzeczami i ostatecznie umrzesz po tym. Ciężko coś takiego przewidzieć, więc musisz sprawdzić na danych swoją teorię. No i sprawdzenie na danych to jest zrobienie jakiegoś eksperymentu. Więc bierzesz jakąś grupę, nie wiem, sto osób. Pięćdziesiąt osób dostaje ten lek, pięćdziesiąt osób dostaje placebo, bo zwykle tak to jest badane, bo sam fakt, że coś dostajesz, to już tam może poprawić twój stan. No i teraz mógłbyś poprzestać na samej statystyce. Bierzesz teraz takie dane i widzisz: ludzie, którzy nie dostawali tego leku, im się nie poprawiło, ewentualnie minimalnie, bo powiedziałeś im, że dostają lek, więc czują się lepiej. Plus jeszcze tam są takie problemy, że na przykład jak jesteś chory, bierzesz jakiś lek i za tydzień jesteś zdrowy. Jak miałeś katar, to za tydzień będziesz zdrowy, ale nie dlatego, że wziąłeś ten lek, po prostu w naturalny sposób. To też czasem ludzie takie błędy robią, że próbują różnych rzeczy, ale to nie działa. Jest już po prostu tak źle, że stwierdzasz: dobra, pójdziesz do jakiegoś znachora albo coś takiego, bo już nic nie działa. Medycyna już nie zadziała, już jest tak źle, że pójdziesz do niego. No i zwykle korzystamy z takich rzeczy, jak już jest naprawdę źle. Czyli jak jest już maksimum złego samopoczucia. No ale jesteś w takim najgorszym stanie. Jeśli to naprawdę jest najgorszy stan, to znaczy, że po jakimś czasie będzie lepiej z definicji najgorszego stanu, więc wydaje ci się, że ci się poprawiło po tym, bo tak to działa. Więc są różne takie efekty, które chcemy jakoś wyeliminować, więc po to jest taka próba kontrolna, żeby się z nią porównać. No i widzisz, że ci, co brali lek, rzeczywiście im się trochę bardziej poprawiło niż tamtym. No dobrze, ale to tam pięćdziesiąt osób zbadałeś czy tam nawet więcej. Pytanie, czy ta poprawa to nie może być właśnie kwestia jakiegoś przypadku, bo na pewno nie będzie identycznie.
Karol Stryja
Im większa grupa, tym mniejsze prawdopodobieństwo?
Piotr Szulc
Tak, prawda. Więc gdybyś zbadał grupę milion osób, to w zasadzie mógłbyś na statystyce samej polegać, bo te różnice, które byś zaobserwował, to mógłbyś stwierdzić, że one po prostu takie są. Ale to jest niemożliwe. Zresztą nawet gdyby było możliwe, to wydaje się, że to jest nieoptymalne, jeśli spojrzymy w ogóle całościowo. Bo fajnie byłoby badać różne rzeczy, a jak milion ludzi już zarekrutujesz do jakiegoś badania, to innego badania nie zrobisz.
Karol Stryja
A po drugie, jeżeli okazałoby się, że lek nie działa?
Piotr Szulc
Tak, albo na przykład, że jest szkodliwy. To też ważne, ta liczba, że zbadałeś pięćdziesiąt albo sto osób. Co to w ogóle jest za grupa sto osób? To się projektuje. Ta grupa jest taka, jaka powinna być. Chodzi o to, że bierzesz taką grupę, jaka powinna wystarczyć, żeby zauważyć jakiś efekt.
Karol Stryja
Czyli zróżnicowana pod kątem płci, wieku?
Piotr Szulc
Tak naprawdę, jeśli chcesz badać, czy lek działa inaczej wśród kobiet i mężczyzn albo inaczej wśród starszych osób i młodszych, no to rzeczywiście wtedy bardziej pod kątem takiego zróżnicowania powinieneś myśleć. Ale jeśli chcesz zbadać, czy po prostu to średnio działa, no to ideał to jest wzięcie jakiejś po prostu losowej próby. Jakbyś miał ponumerowanych ludzi, nie wiem, PESEL-em i po prostu byś ich wybrał losowo, no to nie musisz tam się jakoś bardzo zastanawiać, czy ona jest zróżnicowana, bo to de facto nie chodzi o zróżnicowanie, tylko o to, żeby to była losowo wybrana próba. I sto to jest dużo, dosyć. Chyba fajnie to widać, jak rzucasz monetą i zastanawiasz się, jakie jest prawdopodobieństwo wyrzucenia orła. No to jak sto razy rzucisz monetą, to w miarę dobrze to oszacujesz, wyjdzie ci mniej więcej pięćdziesiąt na pięćdziesiąt. Nie musisz rzucać milion razy, żeby się dowiedzieć czegoś takiego. Jak chcesz się dowiedzieć coś o człowieku, co też jest na takiej zasadzie, czy coś na przykład działa albo nie działa, że masz tylko dwie możliwości i jeśli wziąłeś próbę losową, no to też ci wystarczy sto osób. To jest ten sam problem. Czyli rzucasz badanym i patrzysz, co wypadnie, no to sto to jest wystarczająco. A z kolei, jak nie masz takiej losowej próby, to tak naprawdę to, że…
Karol Stryja
Ja się śmieję czasami, że test korytarzowy jest przykładem tego, że badamy opinię publiczną wśród grupy, która ma bardzo dużo uprzedzeń. To znaczy, znają Cię, znają Twoją domenę i nie pytasz przypadkowo, tylko pytasz kogoś, kto zna kontekst bardzo dobrze Twojego pytania i zakłada odpowiedź, którą chcesz usłyszeć, więc nie jest obiektywny. Więc dlatego mówię, że test korytarzowy nie jest takim losowym pytaniem, jakim byłoby na przykład zahaczanie ludzi na ulicy.
Piotr Szulc
Jasne. No tak, w każdym razie jak nie masz dostępu i nie jesteś w stanie wylosować takich ludzi, to tak naprawdę to, że weźmiesz ich tysiąc, to swoją drogą też za dużo nie da. Bo co z tego, że weźmiesz ich więcej? Jak właśnie będzie taka, to co powiedziałeś, taka obciążona próba. Czyli bierzesz monetę na przykład, która jest oszukana i z niej generujesz te wyniki. Okej, o tej monecie się coś dowiesz, ale nie dostaniesz wiarygodnego oszacowania tego prawdopodobieństwa, więc tam będzie podobnie i zwiększanie tej próby niewiele da. Chyba, że możesz takie specjalne techniki statystyczne zastosować, żeby jakoś skorygować to obciążenie i wtedy rzeczywiście potrzebujesz więcej ludzi, żeby to odpowiednio zrobić. Natomiast jeszcze kończąc ten temat, żeby wrócić do tego prawdopodobieństwa. Czyli zbadałeś te pięćdziesiąt ludzi i ta liczba nie jest z kosmosu, nie tylko dlatego, że po prostu nie stać cię na więcej – chociaż w praktyce często rzeczywiście tak jest, że po prostu trudno jest zbadać więcej osób – ale raczej tak, żeby to zostało zaakceptowane jako badanie, powinieneś wcześniej wykazać, że spodziewasz się takiego efektu tego leku, że na pięćdziesięciu osobach już to będzie widoczne.
Karol Stryja
Ok. Dziękuję. Natomiast właśnie pytanie brzmi: no w ogóle jak zaprojektować te pięćdziesiąt osób? Skąd to w ogóle wytrzasnąłeś? No na podstawie rachunku prawdopodobieństwa to wziąłeś, tak?
Piotr Szulc
Ewentualnie, bo to chyba będzie łatwiej wytłumaczyć: wziąłeś te pięćdziesiąt ludzi, poprawiło im się o ileś tam i teraz musisz się zastanowić. Pomyślmy, zagrajmy takiego adwokata diabła. Czyli tam się mówi w statystyce: załóżmy, że hipoteza zerowa jest prawdziwa. Hipoteza zerowa tutaj brzmi: lek nie działa, poprawa wynosi zero, tak naprawdę poprawa wynosi tyle, ile w placebo. I teraz, jakich danych się spodziewać, jeśli taka hipoteza byłaby prawdziwa? Czyli jeśli lek totalnie nie działa. Takie wyniki możemy otrzymać oczywiście różne: może się trochę poprawić średnio, może się trochę pogorszyć, może mniej więcej być tak samo. No dobra, czyli takich danych się spodziewamy. One nie są nieprawdopodobne, żeby coś takiego otrzymać, że się poprawi o jeden na przykład. No i patrzysz: poprawiło się o pół. Okej, no czyli w takim razie to jest jak najbardziej prawdopodobne, zakładając, że ten lek nie działa, żeby takie wyniki dostać. No nic nie udowodniłeś w takim razie, więc dane, które otrzymałeś, są jak najbardziej zgodne z tezą, że lek nie działa. No to nie ma żadnego dowodu. No ale przeanalizowałeś to właśnie na podstawie rachunku prawdopodobieństwa, że możesz się spodziewać poprawy tak o pół, może o 0,7, ale to już jest mało prawdopodobne. A otrzymałeś poprawę o 1. To nie jest zgodne z tą hipotezą zerową, którą sobie założyłeś. No więc nierozsądnie wierzyć w ogóle w coś takiego, to jest jakby głupie myśleć cały czas, że ten lek nie działa, skoro dane przeczą temu. W sądzie mamy właśnie coś takiego, że masz domniemanie niewinności, to jest hipoteza zerowa. No i zbierasz dowody, żeby odrzucić tę hipotezę zerową. No i jeśli zbierzesz wystarczające dowody, no to ostatecznie naiwnością jest wierzyć, że tam ktoś kogoś nie zabił, jak wszystko na to wskazuje. Ale co ważne, jak ich nie zbierzesz, no to po prostu wierzysz cały czas w tę hipotezę. No nie jesteś w stanie kogoś skazać, bo dowody są niewystarczające. Więc może on naprawdę zabił, ale nikt tego nie widział, więc musimy poprzestać na tej hipotezie zerowej. Wydaje się, że to jest dobre podejście w sądownictwie, bo bardzo nie chcemy skazywać niewinnych ludzi. I w nauce też tak powinniśmy raczej robić, czyli nie możemy ogłaszać, że coś odkryliśmy, jeśli nie mamy wystarczających dowodów. No więc tego typu rzeczy, do tego potrzebujesz prawdopodobieństwa, żeby jakoś ocenić, czy twoje dane są dziwaczne w stosunku do tej hipotezy zerowej, czy nie.
Karol Stryja
Jak to jest możliwe, że… Czasami dane zebrane na garstce ludzi świadczą o zjawiskach, które dotyczą na przykład całej populacji? Wyjaśnisz to?
Piotr Szulc
Tak. Rzut monetą jest moim zdaniem najlepszym przykładem. Zobacz, jaka jest populacja wyników rzutu monetą. Nieskończona. I tak naprawdę prawdopodobieństwo 0,5 to jest jedna z interpretacji prawdopodobieństwa, że jakbyś nieskończenie rzucał, nieskończoną liczbę razy, to w połowie przypadków wypadłby orzeł. Ale to nie jest jedyna interpretacja prawdopodobieństwa. Możesz też pomyśleć, że wcale nie musisz rzucać tą monetą. To jest jakoś stowarzyszone z monetą. Jak jest waga monety, to jest cecha fizyczna, to prawdopodobieństwo w pewnym sensie też jest cechą tej monety. Nieważne, czy ty rzucasz czy nie, ono jest wpisane w monetę. Ale wracając do tego: czyli populacja jest nieskończona. Nie ma większej. Nawet nie porównasz tego z populacją Polaków. To jest niczym w porównaniu do tej nieskończonej. Ale powiedzieliśmy sobie, że nie musisz. No i co? Nieskończone razy będziesz rzucał? No nie. Jak wyrzucisz sto razy i na przykład w stu rzutach wyjdzie ci 90 orłów, no to co? To już wyciągasz wnioski. To znaczy, po pierwsze rozsądnym oszacowaniem, jakie jest prawdopodobieństwo wyrzucenia orła, będzie 90%, skoro tak Ci wypadło. A po drugie nie będziesz wierzył, że z monetą wszystko jest ok. To dokładnie tak samo masz, jak na przykład szacujesz, czy ktoś jest za tą partią, czy nie za tą partią. Powiedzmy, że są dwie możliwości. Oczywiście to jest trudniejsze, ale ta trudność polega na tym, że jak masz monetę, to bez problemu wygenerujesz reprezentatywną próbę rzutów. Czyli losową próbę rzutu, bo po prostu sam będziesz rzucał, więc masz nad tym kontrolę. A w przypadku takiej populacji ludzi, to ty musisz dotrzeć do tych ludzi jakoś i zrobić to dobrze. Jeśli byłbyś w stanie losować z numeru PESEL i do każdego docierać i pytać się go, to w tym momencie to jest ta sama sytuacja, to już nie ma żadnej różnicy. Więc na takiej zasadzie to działa i teraz jest kwestia, że należy dążyć do tego ideału i tutaj są już różne techniki, jak to zrobić. Czyli w pewien sposób naśladujesz coś takiego. Możesz na przykład dzwonić do ludzi, losujesz numery telefonów, dzwonisz do ludzi i tak dalej. No i to jakaś jest imitacja czegoś takiego. Imitacja dlatego, że nie każdy ma telefon, ewentualnie nie każdy odbiera, większość nie odbiera teraz. Chociaż co ciekawe, to jeszcze nie jest problem, no bo powiedzmy, że 90% osób nie odebrało Ci tego numeru. Okej, no ale pytanie, czy to jest jakoś związane z preferencjami wyborczymi? No może tak być, że wyborcy partii A częściej nie odbierają telefonu. O, no to jest problem, bo to będziesz wziął obciążoną próbę. Ale jeśli to w ogóle nie jest związane, to co za różnica. No i tam na przykład robi się badania i patrzy się, jakie to ma znaczenie, że robisz badanie telefoniczne, a nie na przykład takie, że na ulicy pytasz. No i tam wychodzi na to, że niektóre cechy to nie ma znaczenia, że możesz w ten sposób do tego podchodzić. Ale też możesz to później sobie odpowiednio skorygować. To znaczy, jeśli wiesz, że na przykład płeć ma znaczenie, jeśli chodzi o preferencje wyborcze, no i zbadałeś znacznie więcej kobiet, no to korygujesz to. Czyli dostałeś jakąś proporcję, ale ona powinna być trochę mniejsza, bo musisz w pewien sposób sobie wyobrazić, a jakby było, gdyby jednak było tyle samo kobiet, co mężczyzn, bo tak jest rzeczywiście w populacji. Także to są techniki.
Karol Stryja
Mówimy o wyborach. To czego dowiedzieliśmy się ostatnio w wyborach? Zrobiłeś ciekawą analizę, Piotrek. Może opiszmy punkt wyjścia w ogóle. Skąd wziął się Twój pomysł na przeprowadzenie analizy, o której będziemy rozmawiać?
Piotr Szulc
Czy rozumiem, jaka była moja motywacja, żeby się tym zająć? Ogólnie jakoś kilka dni po ogłoszeniu wyników drugiej tury pojawiły się takie analizy, które sugerowały, że w części komisji wyniki są jakieś absurdalne. W sensie w ogóle nie do pogodzenia z wynikami pierwszej tury. Ogólnie ma to sens, to znaczy jak w pierwszej turze wiesz, jak ktoś zagłosował, w sensie jak ludzie zagłosowali…
Karol Stryja
Ma sens kwestionowanie wyników, które są radykalnie inne od tego, co było?
Piotr Szulc
Tak, bo to tak wcale nie musi być. Jeśli masz jakąś komisję wyborczą nie wiem, nad morzem, to tam druga tura jest po dwóch tygodniach. I może być już po sezonie. Tak, ale też o to chodzi, że po prostu nawet nie to, że po sezonie, tylko że inni ludzie już tam są. To wiadomo, że inni ludzie mogą zupełnie inaczej zagłosować. To co z tego, że w drugiej turze wyszło jakoś dziwacznie? Oczywiście mogą być dziwne wyniki na takiej zasadzie, że uprawnionych do głosowania było sto, a masz dwieście głosów, czy coś takiego. Więc ta mała arytmetyka mogła być dziwna, ale nie. To nie o to chodziło. Po prostu na przykład była taka komisja w Krakowie, że w pierwszej turze Trzaskowski otrzymał 2,5 razy więcej głosów od Nawrockiego, a w drugiej turze odwrotnie mniej więcej. Ok, jeszcze nie wiedziałem, że to aż takie były różnice. Był taki artykuł na Onecie, że w sieci wrze, bo jest jakieś kilkanaście komisji, gdzie te wyniki są w ogóle takie absurdalne. Tam jeszcze chodziło o to, że tam był brak symetrii w tym, czyli częściej tracił na tym Trzaskowski. No to tak przeczytałem ten artykuł, myślę sobie, że nie, to jakaś ściema. Jest coś takiego w statystyce, to się nazywa problem porównań wielokrotnych. To polega na tym, że jak testujesz coś bardzo dużo razy, czyli na przykład sprawdzasz – jest około trzydziestu dwóch tysięcy komisji – no to jak w każdej komisji szukasz jakiegoś dziwnego wyniku, no to znajdziesz w końcu jakiś dziwny wynik. To na przykład znowu wracając do rzutu monetą. No wyrzucenie dziesięciu orłów z rzędu jest mało prawdopodobne, tak? Ale jak będziesz próbował tysiąc razy coś takiego zrobić, to wręcz oczekujesz – to jest takie pojęcie wartości oczekiwanej – oczekujesz, że raz tak się wydarzy. No to to nie jest dziwne. Dziwne byłoby, gdyby tak nie było. Lotto jest też dobrym przykładem, bo tam próbujesz nie wiem, wytłumaczyć wujkowi: „Nie graj w to, to jest w ogóle bez sensu, to prawdopodobieństwo jest tak małe”.
Karol Stryja
Wygrać możesz, przegrać musisz.
Piotr Szulc
Tak, ale no właśnie, próbujesz mu wytłumaczyć, a on mówi: „Głupoty mi opowiadasz, że przecież ktoś wygrywa, nie?”. No tak, i dlaczego ktoś wygrywa? No dlatego, że prawdopodobieństwo jest jeden na trzynaście milionów mniej więcej, no to jak trzynaście milionów kuponów zostanie kupionych, no to oczekujesz, że jedna osoba wygra. No i tak mniej więcej właśnie wychodzi, że czasem wygrywa jedna osoba, czasem nikt, czasem więcej i tak dalej. Tam były takie historie, że siedemdziesiąt osób wygrało. Ale Lotto jeszcze nie splajtowało nigdy. Ale nie ma jak splajtować tak naprawdę, bo zresztą tam wygraną masz to wszystko obliczone. To jest dobry przykład, że to działa, w kupie to musi zadziałać. Czyli tak naprawdę dlaczego ktoś wygrywa w Lotto? Dlatego, że wiele osób testuje Lotto. Albo jeszcze inaczej: zupełnie czymś innym jest zdarzenie, że ja wygram w Lotto – to jest nieprawdopodobne kompletnie – a co innego, że to ktoś wygra w Lotto. No okej, no więc myślałem, że o to chodzi z tymi komisjami. No i teraz ja tam publikuję takie artykuły dydaktyczne też na swoim blogu i na LinkedInie. No to mówię sobie: super przykład problemu wielokrotnego testowania. Ja tam o tym już coś pisałem, ale to wiadomo, wielokrotnie musisz coś takiego napisać. No i super, jak to jest taki przykład, że ludzie żyją tym i tak dalej. Więc też nie musisz wprowadzać do tego tematu, bo każdy wie, o co chodzi z wyborami. Możesz mieć fajny przykład, ale musisz tam opowiadać dziesięć minut, żeby ktoś zrozumiał, o co chodzi. No to mówię: no to napiszę o tym. No ale musiałem sprawdzić, czy tak jest. Akurat dane wyborcze znałem dobrze, bo już je tam wykorzystywałem wielokrotnie, więc w miarę szybko mogłem tam zobaczyć te komisje. No i patrzę, że no nie, rzeczywiście to jest… W sensie te wyniki są za bardzo dziwne, bo okej, może być taka sytuacja jak najbardziej, że w drugiej turze będziesz miał jakąś dużą odchyłkę od pierwszej tury, ale nie na przykład ogromną, że to już jest bardzo nieprawdopodobne. I tam rzeczywiście coś takiego było, że tego się nie dało wytłumaczyć tym problemem porównań wielokrotnych. No dobrze, to w takim razie jeszcze pytanie było, czy rzeczywiście tak jak twierdzi Onet, że tam jest brak symetrii w tym wszystkim. No ale zacząłem to tam analizować i wyszło mi, że nie, że to są symetryczne, zarówno na korzyść Trzaskowskiego jak i Nawrockiego. No więc jakby o tym napisałem, nie o tym problemie, ale wciąż raczej dydaktycznie chciałem do tego podejść. Natomiast to się zaczynało… Myślałem, że to tam przycichnie…
Karol Stryja
Opowiedzmy o tym, o całej tej burzy jaka się pojawiła?
Piotr Szulc
Kolejne analizy się pojawiały, tylko to jest ciekawe, bo to były takie amatorskie analizy i zasadniczo to jest spoko. To są ogólnodostępne dane wyborcze, każdy może sobie je wziąć, jakoś przeanalizować, to jest jakieś tam testowanie. Trudniej oszukać, jak każdy sobie może wziąć takie dane i posprawdzać, więc zasadniczo to jest wszystko ok. Jak ktoś amatorsko do tego podchodzi, to może dostać jakieś dziwaczne wyniki. To jest ogólny taki problem, że im bardziej kontrowersyjne wyniki dostaniesz, tym jest większa szansa, że to się przebije. Sporo osób mogło te dane przeanalizować i nie zobaczyło nic tam.
Karol Stryja
Na tym bazują całe deepfake’i. Im bardziej kontrowersyjne, tym większe prawdopodobieństwo.
Piotr Szulc
Więc przypuszczam, że były analizy takie, które pokazywały, że tam wszystko jest okej, ale z tym się nie przebijesz. No więc zaczęły się pojawiać właśnie takie, które też sugerowały, że tych pomyłek, dziwnych wyników jest bardzo dużo. Tak dużo, że mogły mieć wpływ na wynik wyborów. Okej. I tam też nawoływano do składania protestów wyborczych. No i właśnie gdzieś napotkałem taki protest w którymś momencie, myśląc, że to już jest koniec tematu. No i przeglądałem sobie ten protest. No i tam było, żeby tam się podpisać i tak dalej, i tak dalej. No i scrolluję tam sobie dalej. Całe takie analizy statystyczne były doklejone do tego protestu właśnie z jakichś takich różnych źródeł. No to przeglądam te analizy, a dla mnie to było interesujące. No i tak czytam, mówię: no nie, to było tak beznadziejne…
Karol Stryja
A możesz wytłumaczyć, dlaczego było beznadziejne i jakie były błędy popełniane? I gdybyś mógł porównać twoją metodę analizy z tymi, które widziałeś i które uznałeś, że są słabe? Tak, żebyśmy wytłumaczyli, na czym polega różnica między jakością badania.
Piotr Szulc
Tak. Znaczy większość to była taka, że coś zaobserwowałeś w danych. Czyli na przykład w drugiej turze było więcej nieważnych głosów. Tak, w pierwszej turze było ileś tam, a w drugiej turze było nie wiem, trzy razy więcej nieważnych głosów i tak dalej. No dobra, no widzisz coś takiego. Czyli wykonałeś już jakąś analizę statystyczną. To taka prosta obserwacja. No i co? Dalej zbadać, bo samo to dla mnie o niczym nie świadczy. Ok, było w drugiej turze, może to jest normalne, że w drugiej turze jest więcej nieważnych głosów. Zresztą to jest całkiem logiczne, bo w pierwszej turze dużo nieważnych głosów polega na tym, że to jest taki protest twój, że wszyscy kandydaci są beznadziejni, więc chcesz wystąpić w tych wyborach, chcesz mieć głos i dajesz takie rzeczy. No więc można się spodziewać, że w pierwszej turze jeszcze znajdziesz swojego kandydata, a w drugiej turze już nie znajdziesz. No więc ok, jakieś takie rozumowania przeprowadzasz, patrzysz sobie jak było 5 lat temu – tak samo było. 10 lat temu też tak było. Ok, no to oczywiście wciąż to jakoś tam jest interesujące, może coś w tym jest, ale nie możesz poprzestać na takiej statystyce, musisz jakoś to pogłębić. No a tam poprzestano. Po prostu było podane, że w drugiej turze było 3 razy więcej nieważnych głosów i koniec. To jest koniec analizy? To jest początek analizy i jak gdyby dalej się nad tym zastanawiasz.
Karol Stryja
A potem ludzie mówią: „Widziałeś te nieprawidłowości?”. „A gdzie o tym czytałeś?”. „No w internecie”.
Piotr Szulc
No tak, ale to jeszcze, bo wiesz, no to, że tam coś znalazłeś w internecie gdzieś tam, no to jeszcze to okej. Ale z tymi analizami jeszcze było tak, że no okej, były doklejone do jakiegoś protestu wyborczego, ale wciąż stwierdziłem, że no dobra, to jakieś takie są głupie analizy, że nikt poważny w ogóle nie podłapie tego.
Karol Stryja
Tylko już z perspektywy nikt poważny, a niestety, ale statystyczny Kowalski, zwykły człowiek patrzy na to, co widzi w mediach w internecie niestety, ale bezkrytycznie.
Piotr Szulc
Tak, ale to jeszcze musisz to rozreklamować jakoś. No i okazało się, że ten protest wyborczy, link do tego protestu umieścił Cezary Tomczyk, to jest wiceprzewodniczący KO, no i z taką zachętą, żeby składać protesty wyborcze. Plus, że tam Komitet Trzaskowskiego też będzie składał taki protest wyborczy. W takim wpisie na X coś takiego napisał. W tym momencie stwierdziłem, że to jest poważna sprawa, że wyjdzie z tego coś poważnego, bo nie da się odróżnić takiej analizy od profesjonalnej analizy, jeśli nie masz odpowiedniego przygotowania statystycznego. Może nawet w drugą stronę łatwiej w coś takiego uwierzyć, bo to jest takie proste. Jest dużo nieważnych głosów. Podałem jeden przykład najprostszy, ale tam też chodziło o to, że jest więcej nieważnych głosów tam, gdzie wygrywał Trzaskowski. To już brzmi podejrzanie, ale to jest tylko jakaś korelacja i znowu musisz to pogłębić, takie badanie i zastanowić się, czy da się to jakoś wytłumaczyć czymś, że tych nieważnych głosów jest więcej.
Karol Stryja
To tutaj mała pauza. Spróbujmy teraz trochę uporządkować tą dyskusję i gdybyś mógł opowiedzieć dokładnie o tej analizie: co zrobiłeś, dlaczego, po co, w jaki sposób i co z niej wynikało, bo to oczywiście wytniemy. Masz tyle myśli w głowie i tyle wiedzy, że czasami odchodzimy od takiego komunikatu dla zwykłego człowieka, bo mamy jeden wątek, drugi wątek, trzeci wątek. Spróbujmy opowiedzieć o tej całej Twojej analizie od początku do końca w miarę uporządkowany sposób.
Piotr Szulc
Ja teraz tylko przedstawiam, dlaczego się tym zająłem, jak gdyby ten temat.
Karol Stryja
Wiem, tylko właśnie im więcej dygresji, to rozmowa jest ciekawa, tylko potem ludzie będą gubili wątek, bo ja już sam widzę po sobie czasami, ja jestem najlepszym tym, że mówię: „dobra, ale do celu”, myślę.
Piotr Szulc
A, tylko jeszcze teraz musisz mi powiedzieć, na czym skończyliśmy tam.
Karol Stryja
Dobrze. Słuchaj, no i opowiedzmy dokładnie o tej analizie. Czego się dowiedziałeś, jakie były wnioski?
Piotr Szulc
Tak. Znaczy ja po pierwsze próbowałem przeanalizować analizy, które się pojawiły. Tak, czyli no bo to też było istotne, czy one mają sens jakikolwiek. No i okazało się, że no nie mają, tylko, że to jest tak jak…
Karol Stryja
Bo tak jak powiedziałeś, to były albo korelacje…
Piotr Szulc
Tak, jakieś proste korelacje, tak. Powoływanie się na jakieś coś takiego jak rozkład Benforda na przykład. To jest samo w sobie całkiem interesujące, na przykład powołujesz się na to, ale w ogóle nie powinieneś, w sensie bo to w ogóle założenia są spełnione i tak dalej. No ale tam brzmi profesjonalnie, nie?
Karol Stryja
Ale brzmi obco, tak że…
Piotr Szulc
No tak, tak, tak, więc jak przeczytasz coś takiego: „O, ktoś tam pewnie się na tym zna, nie?”. No więc trzeba… Szczerze mówiąc myślałem, że tylko to trzeba zrobić. Czyli obalić jak gdyby tamte rzeczy, no ale oprócz tego jeszcze to jest takie jakby zaprzeczanie, obalanie czegoś, co jest. I zasadniczo to powinno wystarczyć, bo jakby wracając do początku naszej dyskusji, masz domniemanie niewinności, no więc albo zbierzesz wystarczające dowody na tezę, no ale jak nie zbierzesz, no to cały czas wierzysz, że było okej. No to z wyborami zasadniczo powinno być podobnie. No jest domniemanie, że wybory są uczciwe i zbierasz takie dowody i oceniasz, czy one są dobre, czy niedobre. No to, no nie były dobre, no to o czym mamy rozmawiać? Ale wydaje się, że to domniemanie niewinności już przestało jakby obowiązywać. No bo, że tyle się pojawiło tych wątpliwości, nieważne, że wszystkie były bez sensu. Ale no tak dużo, że dla tego przeciętnego Polaka, no to kurczę, no to coś jest jak gdyby nie w porządku.
Karol Stryja
Powiedz, jak zacząłeś analizę i jak sobie ją zorganizowałeś?
Piotr Szulc
Znaczy to głównie chodziło o to, żeby tak naprawdę pogłębić to, od czego kiedyś wcześniej zacząłem, czyli sprawdzić, jak dużo jest takich komisji, w których w drugiej turze coś jest nie w porządku. Bo to w zasadzie do tego się to trochę sprowadzało, że ta druga tura jest jakaś oszukana. Pierwsza też mogła być, tylko pierwszą się nie opłaca fałszować, bo trzy lata więzienia jest za to, a nic z tego nie masz tak naprawdę, to dopiero w drugiej turze musisz coś zrobić. No więc skoro jesteś w stanie w miarę dobrze przewidzieć wynik drugiej tury na podstawie pierwszej, no to sprawdzasz w danych, czy tak rzeczywiście jest. To jest jak gdyby ważne i tak naprawdę, jeśli druga tura świetnie zgadza się z pierwszą turą, w zasadzie to jest częściowo koniec tematu. To znaczy mogą być jakieś odstępstwa od tego, ale to jakieś pojedyncze komisje.
Karol Stryja
Zazwyczaj kandydat, który wygrywa w pierwszej turze, zazwyczaj wygrywa i w drugiej?
Piotr Szulc
Tak i to jest zaskakujące, jak bardzo to jest widoczne w danych. Jak sobie narysujesz taki wykres: jak było w pierwszej turze, jak było w drugiej turze, to masz prawie że linię prostą. Wiadomo, że w pierwszej turze masz jeszcze innych kandydatów, ale to też jak ktoś zagłosował na tego kandydata, to te głosy później przejdą na jakiegoś innego, więc to jest dobrze widoczne. No więc na podstawie takich danych możesz zaproponować model, który powie Ci, jaki wynik powinien być w drugiej turze. No i robisz taki model, sprawdzasz, jak powinno być w drugiej turze. No i w większości komisji jest tak, jak powinno być. No ale są komisje, w których jest inaczej. No to sprawdzasz te komisje, w których jest inaczej. Zobacz, że część komisji powinno być takich, że będzie trochę inaczej, to jest naturalne. To znowu może tak być, że lek troszkę zadziała. Tak przypadkiem będzie, więc ok, te komisje, spodziewasz się iluś takich komisji, to jest wszystko w porządku. Ale są takie, w których ten wynik jest kompletnie niespójny z pierwszą turą. No to wybierasz te komisje i analizujesz co się wydarzyło w tych komisjach, czy to może być właśnie taka komisja gdzieś nad morzem, to też da się łatwo wytłumaczyć. Sprawdzasz jak dużo jest takich rzeczy, co się nie da wytłumaczyć, sprawdzasz, na jaką korzyść były te różnice i wychodzi na to, że po pierwsze tego nie masz tak dużo. Chociaż z moich analiz wynikało, że ze sto komisji takich jest, w których te wyniki są dziwaczne na trzydzieści dwa tysiące. To może brzmi dosyć groźnie, takie sto komisji, ale jeszcze druga sprawa: część błędów będzie na korzyść jednego kandydata, a część na drugiego. Jeśli jest w tym symetria – była prawie idealna symetria – to się znoszą te błędy. Bo to też pewnie warto powiedzieć, że wynik wyborów oficjalnie to nie jest wcale dokładna liczba głosów jaką ktoś otrzymał, tylko takie stwierdzenie kto otrzymał więcej.
Karol Stryja
Tak to jest gdzieś tam zapisane. Masz rację, rzeczywiście, że w sumie liczy się proporcja, a nie ilość głosów.
Piotr Szulc
Tak, a tak naprawdę nawet nie proporcja, bo nawet nie musisz znać dokładnej proporcji. Na przykład jeśli wiesz już, nie wiem, przeliczyłeś większość komisji i już jest taka przewaga, no to w zasadzie nie musisz liczyć, przynajmniej formalnie. No więc masz trochę taki większy bufor, jeśli chodzi o coś takiego, bo jedynie musisz stwierdzić, czy ta proporcja jest większa niż jedna druga. No więc oczywiście, jeśli ci bardzo zależy na tym, żeby dokładny wynik znać, no to jest problem. Tego typu sytuacje… Tylko tego nie da się poznać i wydaje mi się, że być może dla wielu ludzi to było zaskoczenie, że nie da się policzyć, ile głosów ktoś dostał, bo po prostu się nie da. I to w ogóle były takie badania robione z 10 lat temu, że ponownie liczono głosy w jakichś losowych komisjach. No i wychodziło na to, że w wielu komisjach są jakieś różnice między pierwszym liczeniem a tym ponownym liczeniem, bo ludzie się mylą licząc te głosy. Jakieś jeden, dwa głosy to jest normalne.
Karol Stryja
Czyli wniosek z tego, że wybory były uczciwe?
Piotr Szulc
Tak i moim zdaniem nawet możesz taki pozytywny wniosek wyciągnąć, to znaczy to nie jest tylko: „dobra poprzestajemy na tym, jest domniemanie niewinności i tyle”. Natomiast jak już atakujesz tę hipotezę zerową, a ona była atakowana bardzo powszechnie, z wielu różnych stron i nie da się jej obalić w żaden sposób, to wydaje mi się, że możesz wręcz powiedzieć takie pozytywne zdanie, że hipoteza zerowa jest prawdziwa. Tak bym powiedział.
Karol Stryja
Prześlemy i podlinkujemy Twój artykuł i Twoje opracowanie na ten temat, tak żeby nasi słuchacze mogli sobie o tym poczytać. A ja mam jeszcze do Ciebie pytanie, bo prof. Andrzej Dragan mówił o stochastycznej papudze. Wytłumaczmy, kim jest stochastyczna papuga?
Piotr Szulc
Tak, tu muszę taki krótki wstęp zrobić. Ogólnie opinii o sztucznej inteligencji jest sporo. Wiele z nich niekoniecznie wynika z jakiegoś takiego głębokiego zrozumienia tematu. No i ogólnie nie chcę dokładać swoich opinii na ten temat, no bo zasadniczo dużo sztuczną inteligencją się nie zajmuję. Mamy jakąś tam powiedzmy taką statystyczną perspektywę, ale to nie jest moja działka, także jak będziesz pytał o coś, co czuję, że to już wykracza poza moje kompetencje, to postaram się milczeć wtedy. Także z tą stochastyczną papugą, to do końca nie znam tematu, w sensie jak jest zdefiniowane to określenie, tak że musiałbyś coś więcej powiedzieć.
Karol Stryja
Wiesz co, stochastyczna papuga w moim rozumieniu to jest po prostu… mówi o tym, że modele językowe nie są inteligentne, tylko zwracają najbardziej prawdopodobny wynik.
Piotr Szulc
Tak, to jest coś takiego, natomiast to jeszcze nie oznacza, że coś nie jest prawdziwe, co mam na myśli, czy też, że nie jest rozsądne. No bo jak jakieś decyzje w życiu podejmujesz, no to też opierasz się na przykład na prawdopodobieństwie, tak? Nierzadko. Na przykład moja decyzja, że nie chcę grać w Lotto, opiera się jakoś na statystyce.
Karol Stryja
Albo na zdrowym rozsądku?
Piotr Szulc
No tak, ale ten zdrowy rozsądek wynika z tego, że możesz to sobie policzyć i masz bardzo małe prawdopodobieństwo, więc czegoś nie robisz.
Karol Stryja
A czy w życiu statystyka, jakim jesteś, jest miejsce na intuicję?
Piotr Szulc
Znaczy, moim zdaniem intuicja… Z czegoś musimy wymyślić.
Karol Stryja
Bo zobacz, postawmy sobie na dwóch przeciwległych stronach zdrowy rozsądek i intuicję. Zdrowy rozsądek byłby poparty faktami, liczbami, statystyką, a czasami intuicja mówi ci: „idź pod prąd”.
Piotr Szulc
Ok, ja zacznę od tego, że ja nie tak w ogóle rozumiem intuicję. Dla mnie to jest to samo. Co mam na myśli? Kiedyś Magnus Carlsen, szachista, mówił coś takiego, że jak on robi jakieś ruchy, to na podstawie intuicji często. Chodzi o to, że jak jesteś ekspertem w jakiejś dziedzinie, no to właśnie o to chodzi, że pewne rzeczy robisz intuicyjnie już, ale to nie jest nierozsądne. No po prostu zastępujesz, nie liczysz już tego, ale w pewien sposób masz to przeliczone już wcześniej w głowie i dlatego robisz taki ruch, że możesz powiedzieć, że czujesz, że to jest dobry ruch, ale to nie jest takie poczucie, że serce ci podpowiada.
Karol Stryja
Ale jest intuicja zbudowana na bazie miliona ruchów, które wykonałeś wcześniej. Znasz schematy, znasz układy, no wiesz, potrafisz myśleć z dużym wyprzedzeniem. Ja mówię o takiej intuicji, która czasami mówisz, masz taką iskrę w głowie, mówisz: „a wiesz co, chyba tutaj to leży, pies pogrzebany”.
Piotr Szulc
Znaczy, no to mam takie rzeczy, ale mam nadzieję, że to zawsze wynika… W sensie, jeśli ostatecznie tę decyzję podejmę jakby na bazie, że coś mi tam intuicyjnie to podpowiada, no to dlatego, że jakoś próbuję to sobie wytłumaczyć. Wydaje mi się, że to wynika właśnie z tego, że znam ten problem jakoś lepiej, że to jest tego typu intuicja, a nie, że po prostu coś tak sobie czuję i tak dalej.
Karol Stryja
Ale jest też tak, że statystyka potrafi wprowadzać w błąd?
Piotr Szulc
No, jakiś przykład?
Karol Stryja
Nie, ty mi daj przykład.
Piotr Szulc
Znaczy no, oczywiście może wprowadzać błąd, jak się źle to rozumie, tak? W takim sensie, że jak na przykład przeczytasz, że coś jest lepsze od czegoś, a tak naprawdę… Bo to właśnie nie o to chodzi, tak? No bo w ogóle stwierdzenie, że coś jest większe od czegoś. O, weźmy przykład, że mężczyźni są wyżsi od kobiet. Takie zdanie czytasz. Wydaje mi się, że ono nie jest kontrowersyjne w tym sensie, że… Bo możesz powiedzieć: „tak, no jak to, przecież znasz kobietę, która jest wyższa od ciebie”. No ale no wiadomo, o co chodzi, tak? No że średnio są wyżsi. W sensie nie musisz nawet tego dodawać: tego, że są średnio wyżsi. Znaczy moim zdaniem to, że nie musisz tego dodawać też wynika z tego, że ta różnica jest po prostu dosyć duża. Że jak weźmiesz sobie rozkład wzrostu kobiet, rozkład wzrostu mężczyzn, on jest mocno przesunięty. Ale zobacz, że jeśli podsumujesz to w taki sposób, że po prostu są wyżsi, to okej, kogoś może to wprowadzić w błąd, bo będzie myślał, że w takim razie tak jest w każdym przypadku. No i na przykład, że jakiś lek zmniejsza temperaturę. Zwykle chodzi o to, że on średnio zmniejsza temperaturę. Tak nie musi być w każdym przypadku. Statystyka to jest kwestia… To jest cel też, dla którego to robimy, to mamy abstrahować od jakichś jednostek, tylko powiedzieć coś o z lotu ptaka, gdyby na to spojrzeć. No to zobacz, że powiedzenie, że coś średnio jest większe od czegoś, jeśli tak rzeczywiście jest, to może wprowadzić w błąd, jeśli źle to zrozumiałeś, ale ta statystyka w moim mniemaniu nie wprowadziła w błąd, bo taka jest prawda, że coś jest średnio większe od czegoś. Ale no tak, jeśli statystyk nie widać… Średnia jest czymś, to jest taki jakiś konstrukt, jest czymś abstrakcyjnym, więc rzeczywiście nie jest łatwo to odnieść później do swojego życia i stąd może to w błąd wprowadzać. Szczególnie, że jeśli na przykład dany lek, powiedzmy, że przeczytałeś: bierzesz jakiś lek na poprawę samopoczucia i czytasz skutki uboczne tego leku, bo się boisz, że przytyjesz od tego leku, ale tam sprawdzasz, że średnio waga jest taka sama, jak gdyby tam bierzesz ten lek czy nie. No w porządku tak, ale to ostatecznie może się okazać, że było coś takiego, że ten lek inaczej działał na praworęcznych jak na leworęcznych. Praworęcznym zmniejszał wagę – niewiele, ale zmniejszał – a leworęczni tyli od tego leku i to dosyć mocno. Bo to leworęcznych jest mniej niż praworęcznych, więc ostatecznie to się uśredniło, nie? W sensie, no to średnio rzecz biorąc lek no nie wpływa na wagę. A zobacz, że to jest o tyle ciekawy przykład, że jak to źle zrozumiesz, to jest nieprawda dla każdego człowieka, bo każdy jest leworęczny albo praworęczny, więc albo przytyjesz, albo schudniesz od tego leku. Oczywiście mówię, jak tak naprawdę jest, to znaczy, że ktoś raczej to źle zrobił, bo jak się bada takie lekarstwa, to między innymi twoim zadaniem jest zobaczenie, czy na jakichś grupach może to działać inaczej. No ale wiele takich statystyk nie jest w ten sposób robionych. Poza tym, jak sprawdzać ze wszystkimi grupami? Nie da rady.
Karol Stryja
To mam pomysł na koniec jeszcze na takie pytanie. Gdybyś miał sobie wyobrazić taką apteczkę pierwszej pomocy i zasady BHP, jeżeli chodzi o patrzenie i interpretowanie nagłówków związanych z uśrednieniami, statystykami, mówieniem tym, co dominuje, co jest popularne. Wiesz… Co byś powiedział zwykłemu Kowalskiemu, żeby z higieną patrzył na liczby, które widzi w internecie?
Piotr Szulc
To jest trudno moim zdaniem.
Karol Stryja
Żeby zachować taką higienę, jeżeli chodzi o interpretację tych średnich. Bo właśnie mówimy, że statystycznie najbardziej prawdopodobne jest to, że zachowajmy zdrowy rozsądek i chodzi o to, żeby kultywować umiejętność krytycznego myślenia. Kiedy wszyscy mówią ci, że jest tak albo inaczej.
Piotr Szulc
Jasne.
Karol Stryja
A co by powiedział statystyk taki jak ty, który ma swoje własne rozkminy i lubi tak jak w przypadku tych komisji, sięgnąć do źródeł i sprawdzić, czy rzeczywiście tak jest? Jeżeli tak jest, to dlaczego i co sprawia, że mimo to, że to wydaje się być czymś, co wychodzi poza system, poza normę, to jednak jest dowodem utwierdzenia, że wszystko było normalne?
Piotr Szulc
Jasne. To jest trudne dlatego, że… Wydaje mi się, ja nie znajduję sposobu, jak właśnie taka przeciętna osoba, która nie ma jakiejś takiej wiedzy statystycznej, będzie w stanie samemu, patrząc na te liczby, wyciągnąć taki słuszny wniosek. W sensie, że to jest moim zdaniem kwestia zaufania.
Karol Stryja
Idziesz, bo bardzo ciekawy wątek zaufania, pogadajmy o tym, ale pytam o nawet proste i nieskomplikowane rzeczy. Tak jak na przykład dziennikarz słyszy jakiś fakt, mówi: „tak, ciekawe, a jakie jest z tego źródło?”.
Piotr Szulc
No tak, tylko że właśnie źródłem takich statystyk to będzie jakieś badanie naukowe czy coś takiego. To co, masz do tych źródeł iść? Przecież ty w ogóle nie jesteś w stanie tych źródeł ogarnąć bez takiej wiedzy. W sensie, że patrz na źródło w takim sensie, że dobra, kto to opublikował? No to okej. I teraz: czy ufam temu źródłu? No na przykład, jak jakiś polityk ci coś mówi i powołuje się na jakieś statystyki, to po prostu nie ufaj. Ale to też trochę dlatego, że jak gdyby politycy optymalizują, mają inną funkcję celu jak gdyby, tak.
Karol Stryja
Statystyka pod narrację?
Piotr Szulc
Tak, więc to raczej nie chodzi o prawdę, tylko no nie, optymalizują raczej liczbę głosów. Oczywiście, bo nie chcę powiedzieć, że wszyscy tak robią, bo na przykład swoją drogą optymalizacja, maksymalizacja liczby głosów może być poprzez mówienie prawdy jak najbardziej, nie? Więc to jest jakiś sposób, tak? Ale na pewno nie wszyscy go stosują. Nie wiem, czy on jest optymalny. Wierzę, że ostatecznie to jest taki optymalny, ale…
Karol Stryja
Jesteś idealistą.
Piotr Szulc
Tak. No w każdym razie, no więc i tu nieważne jak gdyby, to nie będziesz sięgał teraz do tych źródeł i tak dalej, bo moim zdaniem no nie jesteś w stanie samemu tego zbadać, nie? No więc możesz poprosić, żeby ktoś, komu ufasz, żeby na to spojrzał. I się po prostu powiedział, czy to ma sens, czy nie. I jak gdyby, no na przykład, tak, na YouTubie jest bardzo dużo różnych… Coraz więcej ludzi…
Karol Stryja
Ufał czatowi GPT? Robiłeś takie eksperymenty z tłumaczeniem skomplikowanych zawiłości jakichś statystycznych?
Piotr Szulc
W sensie, żeby zlecić jemu wytłumaczenie tego? Nie, nie patrzyłem, jak on to tłumaczy, ale wydaje mi się, że dobrze to będzie tłumaczył. No bo raczej do tego to się rzeczywiście nadaje, nie?
Karol Stryja
Spróbuj sobie porównać, ciekaw jestem twoich linków, albo może przeprowadźmy taki eksperyment i moglibyśmy go dodać w formie notatki, żeby wytłumaczyć skomplikowany problem statystyczny przez różne modele. Przez na przykład Gemini, czata GPT i któryś z azjatyckich modeli, albo Kimi albo DeepSeek, co byś na to powiedział?
Piotr Szulc
Możemy coś takiego zrobić.
Karol Stryja
Ale spróbujemy mu zadać jakieś takie podchwytliwe pytania.
Piotr Szulc
Tylko wiesz, jak słyszę coś takiego, to trzeba dobrze zrobić takie badania, a nie że sobie coś tam właśnie porobimy. Bo to nie wystarczy, że raz pytasz, czekasz.
Karol Stryja
No tak, masz rację. Statystyk się cholera odezwał.
Piotr Szulc
Także to jest mnóstwo roboty. Możemy to zrobić, ale…
Karol Stryja
Nie, to rzeczywiście, Piotrek, masz rację.
Piotr Szulc
Tak, ale to swoją drogą, ale to właśnie dużo osób w ten sposób będzie to badało i coś tam im wyjdzie.
Karol Stryja
Powiem Ci, skąd przyszedł mi do głowy ten pomysł. Bo Marcin Sawicki, mój wspólnik, ostatnio miał sytuację taką, że zadzwonił do niego oszust, chcąc wyłudzić jego dane osobowe i dostęp do konta. On jako dziennikarz bardzo szybko się zorientował i zaczął nagrywać tę rozmowę. Nagrał tę rozmowę, zrobił jej transkrypcję i poprosił potem trzy różne modele: Kimi, Chat GPT i Gemini, o to, żeby przeanalizowały ją pod kątem właśnie manipulacji. I wynik tego był bardzo ciekawy, bardzo ciekawy artykuł opublikował właśnie na ten temat. Szedłem tym tokiem myślenia, ale rzeczywiście dobrze, że wcisnąłeś tutaj w pedał hamulca i powiedziałeś: „no dobra, ale jak badanie statystyczne, no to próba wielokrotna”.
Piotr Szulc
Tak, ale to też warto powiedzieć, że to nie jest tak: „no dobra, no to nie róbmy badania statystycznego, to zróbmy to inaczej”. Ale no nie da się inaczej. W sensie no tak, no nie dlatego robimy badanie statystyczne… Wydaje mi się, że niektórzy tak o tym myślą, nie, no ale to jest taka perspektywa statystyczna. No ale używamy tej statystyki, żeby dowiedzieć się jak jest w sytuacji, kiedy po prostu nie da się inaczej. A nie dlatego, że: „a, tam sobie zobaczmy, a to są tylko statystyki i tak dalej, życie jest inne”. W sensie, jeśli życie jest inne, to znaczy, że te statystyki są nic niewarte.
Karol Stryja
No właśnie miałem powiedzieć, że dobra statystyka w pewien sposób odzwierciedla nasze życie, tak?
Piotr Szulc
No prawdę tak, ona powinna ci powiedzieć o prawdzie. Czyli tak wracając do początku: no jest ten proces generujący dane, jest jakieś prawdopodobieństwo, tak? I to jest prawdziwe, tak? I to, co dostajesz, jak gdyby te dane, no one mają styk z tą prawdą, bo one z tego procesu jak gdyby wynikają, tak? No i więc wydaje się logiczne, że na podstawie w takim razie czegoś, co wynika z prawdy, no o tej prawdzie coś próbujesz powiedzieć, nie?
Karol Stryja
Statystyka powinna być prawdomówna?
Piotr Szulc
Tak, no znaczy, no na pewno po to jest robiona, tak? Żeby się dowiedzieć, jak jest, tak? Tylko masz pełno szumu, w których jest jakiś sygnał, tak? I no chcesz ten szum odsiać i ten sygnał poznać.
Karol Stryja
A statystyka, skoro mówi, jak jest, może powiedzieć, jak będzie?
Piotr Szulc
No może. To też tak patrząc historycznie, statystyka kiedyś mówiła o historii raczej tylko, nie? Czyli to jest podsumowanie jakichś tam danych, jakie tam było w państwie. To też wynikało z tego, że nie dało się danych tak szybko zbierać, więc ona już miała jakieś takie opóźnienie. No więc raczej mówiła o tym, jak było, dalej zaczęła mówić o tym, jak jest teraz bardziej. Czyli takie badanie statystyczne, jak robisz na jakiejś próbie i wnioskujesz o populacji – czyli robisz badanie preferencji wyborczych dla tysiąca ludzi, no to chcesz powiedzieć coś o tym, jak jest w całej Polsce, czyli uogólniasz to – ale o teraźniejszości mówisz, no bo wiadomo, że tam za rok będzie jakoś tam inaczej, więc o tym nie chcesz powiedzieć. No a dalej masz: budujesz jakiś model prognostyczny, no i próbujesz coś powiedzieć o przyszłości na podstawie danych. No i to się, znaczy to jest super zastosowanie jak gdyby tego. No to czy to będzie działać, czy nie, tam zależy jak gdyby od wielu czynników. Ale no jak idziesz do banku i kredyt chcesz…
Karol Stryja
W oparciu o Twoje dane z przeszłości?
Piotr Szulc
Tak, ale prognozując, czy spłacisz, czy nie spłacisz. Ta prognoza jest całkiem do przodu, więc jak państwo coś robi, czyli decyduje się, żeby zmniejszyć coś albo zwiększyć itd., to przynajmniej powinno dokonać jakiejś takiej analizy, jaki to będzie miało wpływ na ileś lat do przodu. I też robisz to przy pomocy statystyki.
Karol Stryja
A Ty, statystyk, jak wykorzystujesz modele językowe?
Piotr Szulc
Wydaje mi się, że ja w ubogi sposób je wykorzystuję. Dla mnie to jest rozszerzenie wyszukiwarki. I w zasadzie tylko tak je wykorzystuję. W ogóle tak lubię myśleć o modelach językowych, czyli tak jak wcześniej szukałem czegoś w wyszukiwarce, to rzeczywiście to jest dla mnie bardzo wygodne, jak mogę w języku naturalnym znaleźć informację.
Karol Stryja
Nie pytasz co, tylko pytasz jak?
Piotr Szulc
Znaczy, no tak, bo z wyszukiwarką jest taki problem, że próbujesz odpowiedzieć sobie na jakieś pytanie, to pytanie zadajesz w języku naturalnym, no i później musisz to przetłumaczyć na język nienaturalny, tak żeby to wyszukiwarka Cię jakoś zrozumiała, a teraz nie musisz tego robić, więc to jest bardzo fajne. I oczywiście to można zrobić w taki skomplikowany sposób, to znaczy jak pytam, jakiś kod piszę, no to też. Wcześniej musiałem znaleźć jakieś przykłady, ale te przykłady to nie było konkretnie to, co chciałem zrobić. Na teraz w zasadzie mogę znaleźć konkretnie to, co chcę zrobić. Ale też właśnie słowo „znaleźć”… Raczej tak do tego podchodzę, że to jest jakaś wyszukiwarka, że ona mi coś tam wyrzuci i czasem mogę znaleźć złego linka, to nie jest to, co chciałem znaleźć, więc muszę to jakoś rozsądnie przeanalizować te wyniki. Ale to jest rzeczywiście dla mnie bardzo wygodne, także wykorzystuję głównie tak.
Karol Stryja
To ostatnie pytanie być może wzbudzi pewną kontrowersję: kto wygra następne wybory?
Piotr Szulc
No właśnie jest jakiś horyzont prognoz, które możesz zrobić. Czyli jak jakieś zjawisko jest chaotyczne czy coś takiego, wręcz po prostu nie możesz takiej… To jest niemożliwe, żeby zaprognozować jak to będzie. Czyli na przykład nie da się zaprognozować pogody, jaka pogoda będzie.
Karol Stryja
Możemy ją przewidywać, ale w jakimś tamtym…
Piotr Szulc
Bo to jest zjawisko chaotyczne. To tak jest z wyborami. W sensie jest zbyt dużo czynników, które wpływają na to, jakiś polityk się z dnia na dzień może skompromitować.
Karol Stryja
Piotrek, a ja myślę, że po prostu wygra najlepszy kandydat. Dobrze by było, ale najlepszy w…? Najlepszy w politykę?
Piotr Szulc
Najlepszy w politykę wygra pewnie.
Karol Stryja
Dokładnie. Piotrek, dziękuję ci bardzo za spotkanie. Wszystkie materiały będziecie mogli przeczytać i sięgnąć do nich. Będą linki w notatce do odcinka. Dziękuję ci bardzo.
Piotr Szulc
Dzięki, cześć.