Brian Christian a Tom Griffiths

ALGORITMY PRO ŽIVOT

Jak využít počítačové algoritmy při každodenním rozhodování

Copyright © 2016 by Brian Christian and Tom Griffiths.

All rights reserved.

Podle anglického originálu Algorithms to Live By: The Computer Science of Human Decisions vydalo v edici Pod povrchem nakladatelství Jan Melvil Publishing v Brně roku 2017.

Žádná část této knihy nesmí být nijak použita či reprodukována bez písemného svolení, s výjimkou případů krátkých citací jako součásti kritických článků a recenzí.

Překlad Filip Drlík

Odborná spolupráce Petr Koubský

Odpovědná redaktorka Vladimíra Válková

Šéfredaktor Marek Vlha

Redakční spolupráce Tomáš Baránek, Vít Šebor

Grafická úprava David Dvořák

Sazba Petr Klíma

Obálka Pavel Junk

Jazyková korektura Vilém Kmuníček

Ekniha Roman Kříž

Jan Melvil Publishing, s. r. o.

Melvil.cz | Mít vše hotovo.cz

[Ohodnoťte knihu prosím zde: www.melvil.cz/kniha-algoritmy-pro-zivot]

[Pochvaly pište na libisemi@melvil.cz]

[Errata hlaste na melvil.cz/erratum]

Sdílejte s hashtagem #algoritmy

© Jan Melvil Publishing, 2017

ISBN 978-80-7555-038-5

Našim rodinám

ÚVOD

Algoritmy pro život

Představte si, že hledáte byt v San Francisku – ve městě, které je v tomto ohledu pravděpodobně nejtrýznivější. Rostoucí technologický sektor společně s přísně regulovaným územním plánováním způsobily, že ve městě je stejně draho jako v New Yorku, ale poměry na trhu nemovitostí jsou tam snad ještě ostřejší. Nové nabídky se objevují a mizejí i během několika minut, prohlídek domů se účastní hromadně celé davy lidí a klíče často končí v rukou kohokoli, kdo dokáže pronajímateli fyzicky vnutit zálohový šek jako první.

Takto divoký trh neposkytuje žádný prostor pro hledání informací a obezřetnost – teoreticky nejdůležitější vlastnosti racionálně postupujícího spotřebitele. Budoucí Sanfrancisčan se nachází v úplně jiné situaci než například člověk nakupující v supermarketu nebo přes internet. Musí se totiž, ať už chce nebo ne, rozhodnout okamžitě – může vzít byt, který si právě prohlíží, a vzdát se všech ostatních, nebo odejít a nikdy se už nevrátit.

Abychom si příklad zjednodušili, předpokládejme na chvíli, že vaším jediným cílem je maximalizace šance na získání nejlepšího dostupného bytu. Vaším úkolem je zredukovat Skyllu a Charybdu, dvojici výčitek „kvůli tamtomu, co vám utekl“ a „z neprozkoumaných příležitostí“ na absolutní minimum. Hned zkraje narazíte na dilema. Jak bez pevné výchozí hodnoty pro posuzování poznáte, že je byt nejlepší? Jak takovou výchozí hodnotu stanovíte, aniž byste prohlédli (a ztratili) mnoho bytů? Čím více informací shromáždíte, tím lépe poznáte správnou příležitost, až se namane – ale tím pravděpodobnější také bude, že jste ji už propásli.

Co tedy uděláte? Jak se můžete fundovaně rozhodnout, když samotný akt získávání potřebných informací ohrožuje výsledek? Jde o krutou situaci na hranici paradoxu.

Většina lidí při řešení takového problému intuitivně řekne něco ve smyslu: „Je potřeba najít rovnováhu mezi hledáním a akcí.“ Že musíte prohlédnout dostatek bytů, abyste si stanovili standardní hodnotu, a potom vzít první byt splňující váš standard. Nápad s hledáním rovnováhy je skutečně naprosto správný. Většina lidí vám však s jistotou neřekne, o jakou rovnováhu jde. Naštěstí existuje odpověď.

Třicet sedm procent.

Chcete-li si zajistit co nejlepší šanci na získání nejlepšího bytu, věnujte 37 % celkového času na hledání bytu (11 dní, pokud jste si vyhradili měsíc) nezávaznému průzkumu možností. Šekovou knížku nechte doma, zatím jenom kalibrujete. Ale poté buďte připraveni okamžitě jednat – složit zálohu a tak dále – a vzít první místo, které je lepší než všechno, co jste do té doby viděli. Nejde pouze o intuitivně uspokojivý kompromis mezi hledáním a jednáním. Jedná se o prokazatelně optimální řešení.

Jsme si tím jisti, protože hledání bytu spadá do kategorie matematických problémů známých jako problémy „optimálního zastavení“. Pravidlo 37 % definuje jednoduchou řadu kroků – označovaných informatiky slovem „algoritmus“ – vedoucích k řešení takových problémů. A jak se ukazuje, hledání bytu je pouze jednou z domén, v níž se v našem každodenním životě zapojuje problém optimálního zastavení. Přijetí nebo přeskočení řady možností je známá struktura, která se v životě objevuje pořád dokola v mírně odlišných inkarnacích. Kolikrát bych měl obkroužit celý blok, než zaparkuji? Jak dlouho mohu pokoušet štěstí u riskantní investice, než svůj vklad zpeněžím? Jak dlouho mám vyhlížet lepší nabídku domu nebo auta?

Stejná výzva se také objevuje v dokonce ještě problematičtější oblasti života – v seznamování. Optimální zastavení je základem sériové monogamie.

Jednoduché algoritmy neposkytují pouze řešení při hledání bytu, ale ve všech životních situacích, kdy se potýkáme s otázkou optimálního zastavení. Lidé s podobnými problémy zápolí každý den – ačkoli básníci jistě použili víc inkoustu na úskalí dvoření než na obtíže s parkováním – a v některých případech se přitom neskutečně trápí. Takové trápení je však zbytečné. Přinejmenším po matematické stránce se jedná o vyřešené problémy.

Všichni uštvaní nájemci, řidiči a nápadníci, které týden co týden potkáváte, v zásadě znovu vynalézají kolo. Nepotřebují terapeuta; potřebují algoritmus. Terapeut jim poradí, aby našli správný a příjemný poměr mezi spontánností a přehnaným promýšlením.

Algoritmus jim prozradí, že takový poměr je třicet sedm procent.

♦︎

Existuje určitá skupina problémů, jimž čelí všichni lidé. Problémů, které jsou přímým výsledkem faktu, že náš život probíhá v konečném prostoru a čase. Co bychom měli dělat a co nechat být, v rámci jednoho dne nebo desetiletí? Jak velkou míru chaosu bychom měli přijmout? A jaká míra řádu je nadměrná? Jaký poměr mezi novými a upřednostňovanými zkušenostmi vede k nejlépe naplněnému životu?

Může se zdát, že výše zmíněné problémy se týkají pouze lidí. Není to tak. Informatici už více než půl století zápolí s ekvivalenty zmíněných každodenních dilemat a v mnoha případech je i úspěšně řeší. Jak by měl procesor rozdělovat svou „pozornost“, aby splnil vše, o co ho uživatel žádá, s minimálními náklady a v co nejrychlejším čase? Kdy by měl přepínat mezi různými úlohami a především kolik takových úloh by měl vůbec přijmout? Jak lze co nejlépe využít jeho omezené paměťové zdroje? Měl by získat větší objem dat, nebo jednat na základě již shromážděných dat? Optimální využití času během celého dne může pro člověka představovat výzvu, ale počítače všude kolem nás využívají hravě každou milisekundu. Z jejich postupů se můžeme mnoho naučit.

Algoritmy pro lidský život se vám možná jeví jako zvláštní slovní spojení. U mnohých z nás evokuje slovo „algoritmus“ tajemné a nevypočitatelné machinace spojené se zpracováváním „velkých dat“, velkými vládními strukturami a velkými firmami. Čím dál tím běžnější součást infrastruktury dnešního světa, ale stěží zdroj praktických poznatků nebo rad aplikovatelných na záležitosti lidí. Algoritmus je však pouze omezená sekvence kroků k řešení určitého problému. Algoritmy jsou navíc mnohem širší (a mnohem, mnohem starší) než počítače. Lidé algoritmy používali dávno předtím, než je začaly používat stroje.

Slovo „algoritmus“ je odvozené ze jména perského matematika Al-Chorezmího žijícího v 9. století, autora spisu obsahujícího postupy pro ruční výpočty. (Jeho kniha se jmenuje Hisáb al-džabr wa-l-muqábala – ze slova „al-džabr“ v názvu vzniklo dnešní slovo „algebra“.) Nejstarší známé matematické algoritmy však pocházejí dokonce z dob před Al-Chorezmího dílem. Čtyři tisíce let stará sumerská hliněná tabulka nalezená poblíž Bagdádu popisuje schéma nezkráceného dělení.

Algoritmy se však neomezují pouze na samotnou matematiku. Pečete-li chleba podle receptu, postupujete podle algoritmu. Pletete-li svetr podle vzoru, postupujete podle algoritmu. Naostříte-li hranu pazourku pomocí řady přesných úderů kusem parohu, což je zásadní krok při výrobě kamenných nástrojů, postupujete podle algoritmu. Algoritmy jsou součástí lidských technologií už od doby kamenné.

♦︎

V této knize prozkoumáme myšlenku návrhu humánních algoritmů – vynalézání lepších řešení náročných problémů, s nimiž se setkáváme každý den. Následky pozorování každodenního života optikou informatiky se projevují na mnoha úrovních. Především nám poskytují praktické, konkrétní návrhy k řešení specifických problémů. Teorie optimálního zastavení nám prozrazuje, kdy máme hledat a kdy jednat. Rovnovážný poměr hledání/jednání nám říká, jak najít rovnováhu mezi zkoušením nových a užíváním si našich oblíbených věcí. Díky teorii řadicích algoritmů víme, jak (a zdali vůbec) máme poskládat své kanceláře. Teorie cachingu (ukládání dat do mezipaměti) nám říká, jak si máme naplnit skříně. Teorie plánování procesů nám prozrazuje, jak využít svůj čas.

Na další úrovni nám informatika poskytuje slovní zásobu k porozumění hlubším principům na pozadí každé ze zmíněných oblastí. Jak říká Carl Sagan: „Věda je v mnohem větší míře spíše způsobem myšlení než souborem poznatků.“ Dokonce i v případech, kdy je život příliš chaotický na to, abychom mohli očekávat striktní číselnou analýzu nebo okamžitou odpověď, můžeme díky tušením a konceptům vybudovaným na jednodušších formách daných problémů pochopit klíčové otázky a dosáhnout pokroku.

V nejširším slova smyslu nás pohled skrze optiku informatiky může naučit něco o povaze lidské mysli, významu racionálního myšlení a nejstarší otázce ze všech – jak žít. Zkoumání kognice může jako nástroj řešení základních výpočetních problémů spjatých s naším prostředím zásadně změnit způsob našeho uvažování nad lidskou racionalitou.

Řeknu-li, že studium vnitřních pochodů počítačů nám může prozradit, jak uvažovat a jak se rozhodovat, čemu věřit a jak se chovat, mnoho lidí bude takové tvrzení považovat nejen za velice zjednodušující, ale ve skutečnosti i zavádějící. A kdyby nám informatika skutečně mohla prozradit něco o tom, jak máme uvažovat a jednat, chtěli bychom jí vůbec naslouchat? Když vidíme UI a roboty ze science fiction, připadá nám, že jejich život by nikdo z nás žít nechtěl.

Zčásti je to kvůli tomu, že když uvažujeme nad počítači, vnímáme je jako chladné, mechanické, deterministické systémy – stroje, které používají přísnou deduktivní logiku, rozhodují se na základě rozsáhlého výčtu možností a vyplivují naprosto správné odpovědi nehledě na to, jak dlouho musejí uvažovat. Člověk, který si jako první představil počítače, nad nimi v zásadě přemýšlel velmi podobně. Alan Turing definoval samotný pojem komputace prostřednictvím příměru k lidskému matematikovi, který důkladně prochází jeden krok zdlouhavého výpočtu za druhým a nakonec stanoví neomylně správnou odpověď.

Proto pro nás bývá překvapivé, když zjistíme, že dnešní počítače při řešení složitých problémů nepostupují výše uvedeným způsobem. Přímočará aritmetika samozřejmě pro moderní počítač není nijak náročná. V dnešní době patří mezi největší výzvy informatiky úlohy jako konverzace s lidmi, oprava poškozeného souboru nebo vítězství ve hře Go. Takové problémy jsou charakteristické nejasnými pravidly, chybějícími informacemi nebo tím, že správná odpověď by vyžadovala zvážení nezměrného množství možností. Díky algoritmům vyvinutým výzkumníky k řešení nejtěžších tříd problémů se počítače odklonily od extrémního spoléhání na rozsáhlé výpočty. Řešení úloh v reálném světě namísto toho vyžaduje práci s náhodou, využití přibližných, ale rychle dosažitelných řešení a použití aproximací.

Počítače jsou čím dál tím lépe přizpůsobené problémům v reálném světě – poskytují nejen algoritmy, které si lidé mohou vypůjčit a využít v životě, ale také lepší výchozí hodnoty ke srovnávání se samotnou lidskou kognicí. Behaviorální ekonomie posledních zhruba dvacet let o lidech vypráví velice konkrétní příběh – smýšlíme iracionálně a jsme omylní, za což může z největší části chybový, idiosynkratický hardware mozku. Tento sebemrskačský příběh vstupuje čím dál více do povědomí, ale určité otázky nás tíží nadále. Proč jsou čtyřleté děti v mnoha kognitivních úlohách (včetně zraku, jazyka a kauzálního uvažování) stále lepší než superpočítače v hodnotě milionů dolarů?

Řešení každodenních problémů vycházející z informatiky poukazují na jiný příběh o lidské mysli. Život je plný problémů, které jsou prostě složité. Chyby lidí často vypovídají více o vnitřních úskalích problému, než o omylnosti lidského mozku. Pokud o světě smýšlíme algoritmicky, učíme se chápat základní strukturu problémů, jimž čelíme, a náležitosti jejich řešení, můžeme lépe zjistit, jak dobří ve skutečnosti jsme, a lépe pochopit vlastní chyby.

Ve skutečnosti se ukazuje, že lidské bytosti neustále řeší některé z nejtěžších problémů, jimiž se zabývají informatici. Musíme se často rozhodovat, ačkoli se potýkáme s nejistotou, časovými omezeními, neúplnými informacemi a rychle se měnícím světem. V určitých případech zatím nepřinesla dokonce ani nejmodernější informatika účinné a vždy správné algoritmy. Zdá se, že pro určité situace takové algoritmy možná ani neexistují.

Avšak i v případech, pro něž nebyly nalezeny dokonalé algoritmy, přinesla bitva mezi generacemi informatiků a nejnezdolnějšími problémy v reálném světě řadu poznatků. Tato tvrdě vydobytá poučení jsou v rozporu s našimi intuitivními představami o racionalitě a vůbec nezní jako úzce stanovené předpisy matematika snažícího se rozparcelovat svět do úhledných formálních linek. Zní takto: Nezvažujte vždy všechny své možnosti. Nevolte vždy nezbytně výsledek, který se vám jeví nejlepší. Příležitostně udělejte nepořádek. Cestujte nalehko. Nechte věci uležet. Důvěřujte svým instinktům a nepřemýšlejte moc dlouho. Uklidněte se. Hoďte si mincí. Odpouštějte, ale nezapomínejte. Sami sobě buďte vždy věrní.

Žít podle poznatků informatiky nakonec nevypadá tak špatně. Na rozdíl od většiny jiných rad jsou tyto podpořeny důkazy.

♦︎

Navrhování algoritmů pro počítače bylo původně oblastí na pomezí oborů (zvláštním hybridem matematiky a inženýrství) a stejně tak je i navrhování algoritmů pro člověka tématem, které nemá vlastní přirozený domov pod křídly konkrétní disciplíny. Návrh algoritmů dnes nevychází pouze z informatiky, matematiky a inženýrství, ale také ze spřízněných oborů, jako je statistika a operační analýza. Když se zamýšlíme nad tím, jak by se algoritmy navržené pro stroje daly vztáhnout na lidskou mysl, musíme také zapátrat v kognitivní vědě, psychologii, ekonomii a dalších oborech.

My, autoři této knihy, jsme s tímto mezioborovým teritoriem dobře obeznámení. Brian studoval informatiku a filozofii a poté v rámci dalšího vzdělání přešel k angličtině. Jeho kariéra se nachází v průsečíku všech tří oborů. Tom studoval psychologii a statistiku a poté se stal profesorem na Kalifornské univerzitě v Berkeley, kde tráví většinu svého času přemýšlením nad vztahem mezi lidskou kognicí a výpočetními postupy. Nikdo však nemůže být odborníkem ve všech oblastech souvisejících s navrhováním lepších algoritmů pro člověka. Z toho důvodu jsme si na své cestě za algoritmy pro život promluvili s lidmi, kteří vynalezli jedny z nejslavnějších algoritmů za posledních padesát let. Zeptali jsme se tedy jedněch z nejchytřejších lidí na světě, jak jejich výzkum ovlivnil způsob, kterým přistupují k vlastnímu životu – od hledání partnera či partnerky až po třídění ponožek.

Na dalších stránkách začíná náš příběh u největších výzev, kterým čelí mysl počítačů i lidí – jak spravovat konečný prostor, konečný čas, omezenou pozornost, neznámé neznámé, neúplné informace a nepředvídatelnou budoucnost; jak to vše dělat elegantně a sebejistě; a jak to vše dělat ve společenství dalších lidí, kteří ve stejnou chvíli dělají totéž. Přiblížíme si základní matematickou strukturu těchto problémů a také způsob, jakým jsou počítače navrženy (občas úplně jinak, než si představujeme), abychom je využili naplno. Povíme si také, jak funguje mysl a jak se potýká s týmiž problémy za týchž omezení – způsobem na pohled odlišným než stroj, přesto v zásadě podobným. Nakonec můžeme získat nejen sadu konkrétních poznatků týkajících se problémů kolem nás, nejen nový způsob nahlížení na elegantní struktury na pozadí nejobtížnějších lidských dilemat, nejen potvrzení, že obtíže lidí a počítačů jsou silně provázané, ale dokonce ještě něco významnějšího: novou slovní zásobu k popisu okolního světa a příležitost zjistit o nás samotných něco skutečně nového.

01

OPTIMÁLNÍ ZASTAVENÍ

Kdy přestat hledat

Ačkoli všichni křesťané uvozují svatební pozvání slavnostním prohlášením, že jejich sňatek zapříčinil božský úmysl, já bych to jako filozof rád probral do větší hloubky…

Johannes Kepler

Dáváte-li panu Martinovi přednost přede všemi, domníváte-li se, že je to nejsympatičtější muž, jakého jste kdy poznala, proč byste váhala?

Jane Austenová, Emma

Jde o tak běžný jev, že pro něj výchovní poradci na amerických vysokých školách používají slangový výraz „krocaní syndrom“ (turkey drop). Projevuje se takto: Dvojice, které spolu chodí už od střední školy, většinou nastoupí na univerzity v různých koutech USA. V prvním ročníku zajedou domů na Den díkůvzdání a čtyři dny nato se vrátí do kampusu nezadaní.

Úzkostí zmítaný Brian zašel v prvním roce studia za svým výchovným poradcem. Jeho přítelkyně ze střední školy šla na jinou univerzitu vzdálenou několik stovek kilometrů. Oba měli problém takový vztah na dálku udržet. Navíc se potýkali s podivnou, filozofičtější otázkou: jak dobrý vztah vlastně mají? Neměli žádné jiné zkušenosti v podobě jiných vztahů pro srovnání. Brianova poradkyně rozpoznala v jeho případě klasické dilema prváka a poskytla mu překvapivě nonšalantní radu: „Shromáždi data.“

Povaha sériové monogamie je zjednodušeně řečeno taková, že lidé, kteří ji provozují, čelí zásadnímu nevyhnutelnému problému. Kdy potkáme dostatek lidí, abychom poznali, kdo se k nám hodí nejlépe? Co když kvůli shromažďování dat právě o takového člověka přijdete? Jde pravděpodobně o největší „Hlavu XXII“ našeho srdce.

Jak jsme už zmínili, tato Hlava XXII, úzkostlivý prvák s bolavým srdcem, představuje pro matematika problém „optimálního zastavení“ a možná má i řešení: 37 %.

To samozřejmě záleží na domněnkách o lásce, jež jste ochotni přijmout.

Problém se sekretářkou

Dilema všech problémů optimálního zastavení nespočívá ve výběru té či jiné možnosti, ale v otázce, kolik možností máme vlastně zvážit. Ukazuje se, že tyto problémy mají význam nejen pro milenecké páry a nájemníky, ale také pro řidiče, majitele domů, bytové zloděje a další typy lidí.

Pravidlo 37 %1vychází z nejslavnějšího rébusu optimálního zastavení, který vstoupil ve známost pod jménem „problém se sekretářkou“. V zásadě se velice podobá dilematu člověka hledajícího byt, o němž jste se dočetli v úvodu knihy. Představte si, že u pohovorů zpovídáte řadu uchazeček o místo sekretářky a vaším cílem je s co nejvyšší pravděpodobností přijmout nejlepší uchazečku ze všech. Přestože netušíte, jak jednotlivé uchazečky bodově ohodnotit, dokážete snadno posoudit, kterou sami upřednostňujete. (Matematik by řekl, že máte přístup pouze k řadovým číslovkám – pořadí uchazeček, když je mezi sebou porovnáte – ale nikoli k číslovkám základním, tedy k jejich hodnocení na nějaké absolutní škále.) S uchazečkami si promluvíte postupně v náhodném pořadí. V libovolné chvíli se můžete rozhodnout nabídnout místo dané uchazečce, která ho zaručeně přijme, a tak je hledání ukončeno. Když se však po pohovoru rozhodnete libovolnou uchazečku nepřijmout, druhou příležitost už nedostanete.

Běžně se traduje, že problém se sekretářkou se poprvé objevil v tisku (ačkoli bez výslovného zmínění sekretářek) v únorovém čísle magazínu Scientific American v roce 1960 jako jeden z rébusů v populárním sloupku Martina Gardnera pro matematiky. Původ samotného problému je však překvapivě záhadný. Naše počáteční hledání přineslo pouze domněnky a dohady, a proto jsme se rozhodli pro nečekaně fyzický detektivní postup – výlet do archivu Gardnerových prací na Stanfordově univerzitě, kde jsme se prohrabali kartony s jeho korespondencí z poloviny minulého století.

Číst něčí korespondenci je téměř jako poslouchat telefonujícího člověka; slyšíte pouze jednu ze stran zapojených do hovoru a druhou si musíte domyslet. V našem případě jsme měli k dispozici pouze odpovědi na Gardnerovy vlastní pokusy o nalezení původu téhož problému před zhruba padesáti lety. Čím více jsme toho přečetli, tím zamotanější a nejasnější celý příběh byl.

Matematik z Harvardovy univerzity Frederick Mosteller si vzpomněl, že o problému slyšel od svého kolegy Andrewa Gleasona, který se o něm doslechl zase od někoho jiného. Leo Moser z Univerzity v Albertě napsal, že se o problému dočetl v „jakýchsi poznámkách“ R. E. Gaskella z firmy Boeing, jenž autorství problému přisoudil svému kolegovi. Roger Pinkham z Rutgersovy univerzity napsal, že se o problému poprvé doslechl v roce 1955 od J. Shoenfielda, matematika z Dukeovy univerzity, a uvedl: „Věřím, že řekl, že se o problému dozvěděl od někoho z Michiganské.“

Ten „někdo z Michiganské“ byl téměř jistě někdo jménem Merrill Flood. Ačkoli je mimo obor matematiky převážně neznámý, jeho vliv na informatiku je téměř všudypřítomný. Zasadil se o popularizaci problému obchodního cestujícího (kterému se budeme věnovat podrobněji v kapitole osm), vynalezl vězňovo dilema (které probereme v kapitole jedenáct), a dokonce pravděpodobně vymyslel pojem „software“. Byl to právě Flood, kdo oficiálně jako první v roce 1958 objevil pravidlo 37 %. Uvedl, že problém (se sekretářkou) zvažoval už od roku 1949, ale sám odkazuje na několik dalších matematiků před ním.

Stačí tedy říct, že ať už problém se sekretářkou přišel odkudkoli, stal se téměř dokonalým matematickým rébusem – je snadno vysvětlitelný, pekelně těžký na vyřešení, poskytuje stručnou odpověď a nese v sobě zajímavé implikace. Následkem toho se v 50. letech 20. století rozšířil v matematických kruzích jako lesní požár, předával se nejprve ústně a díky Gardnerově sloupku v 60. letech na sebe upoutal pozornost široké veřejnosti. Do konce 80. let samotný problém a jeho různé variace zplodily tolik rozborů, že začal být ve vědeckých pracích nevyhnutelně probírán jako samostatná disciplína.

A co se sekretářek týká – je kouzelné sledovat, jak si různé kultury do formálního systému vkládají vlastní antropologický obsah. S šachem máme například spojené obrazy evropského středověku, ale vznikl v 8. století v Indii; byl „poevropštěn“ v 15. století a z šáhů se stali králové, z vezírů královny a ze slonů střelci. Stejně tak i problémy optimálního zastavení prošly několika inkarnacemi, přičemž každá z nich odrážela soudobé otázky. V 19. století se podobné problémy přibližovaly na příkladech loterie a žen vybírajících si nápadníky; na začátku 20. století na příkladech výletujících motoristů hledajících hotely a nápadníků vybírajících ženy; a ve výrazně byznysovějším, muži ovládaném 20. století na příkladu muže-šéfa, který si vybírá sekretářku. První výslovné pojmenování „problému se sekretářkou“ se podle všeho objevilo v práci z roku 1964 a od té doby se už nezměnilo.

Odkud se vzalo těch 37 %?

Při hledání sekretářky můžete selhat dvěma způsoby – přestanete buď příliš brzy, nebo příliš pozdě. Skončíte-li příliš brzy, neobjevíte nejlepší uchazečku. Zastavíte-li příliš pozdě, budete pořád čekat na lepší uchazečku, která však neexistuje. Optimální strategie bude jistě vyžadovat nalezení správné rovnováhy mezi oběma extrémy, něco na způsob chůze po laně a balancování mezi přílišným a nedostatečným hledáním.

Je-li vaším cílem najít úplně nejlepší uchazečku a nikoho jiného, je samozřejmé, že během pohovorů byste ani neměli zvažovat uchazečky, které nejsou lepší než ty, s nimiž jste se doposud setkali. Nestačí však být dosud nejlepší; například hned první uchazečka bude například „zatím nejlepší“ už z principu. Obecně platí, že „zatím nejlepší“ uchazečku v průběhu pohovorů potkáme stále méně často. Například u druhé uchazečky platí 50% pravděpodobnost, že nám bude připadat zatím nejlepší, ale šance páté uchazečky na prohlášení za doposud nejlepší kandidátku je pouze 1 ku 5, u šesté je to 1 ku 6 a tak dále. Doposud nejlepší uchazečky budou následkem toho pohovor od pohovoru sice stále úchvatnější (opět – jsou už z principu lepší než všechny předcházející), ale zároveň budou čím dál ojedinělejší.

Dobře, víme tedy, že přijetí první „doposud nejlepší“ uchazečky, kterou uvidíme (jinými slovy hned první uchazečky), by bylo uspěchané. Hlásí-li se na místo sto uchazeček, podle všeho by bylo uspěchané přijmout druhou do té doby nejlepší uchazečku jen proto, že byla lepší než její předchůdkyně. Jak tedy postupovat?

Z intuitivního hlediska existuje několik potenciálních strategií. Například přijmout třetí nebo čtvrtou uchazečku, která překoná všechny předcházející. Nebo možná vzít první uchazečku po dlouhém „období sucha“ – dlouhé řadě nevyhovujících uchazeček.

Jak už to však bývá, žádná z těchto relativně rozumných strategií nevychází jako nejlepší. Optimální řešení má místo toho podobu něčeho, co nazýváme pravidlem nejdřív hledej, potom jednej: nejprve si předem určíme dobu, po kterou budeme „hledat“ – to znamená zvažovat možnosti, shromažďovat data – a rozhodně nikoho nepřijmeme, byť nám může připadat sebeoslnivější. Po tomto bodě vstoupíme do fáze „jednání“ a jsme připraveni přijmout kohokoli, kdo nás oslní víc než nejlepší uchazeč odhalený ve fázi hledání.

Pravidlo „nejdřív hledej, potom jednej“, můžememe nelépe pochopit, když si problém se sekretářkou představíme s nejmenšími počty uchazeček. Je-li jenom jedna, problém je vyřešený hned – prostě ji najměte! Pokud se na místo hlásí dvě, máte 50% šanci na úspěch, ať děláte, co děláte. Můžete přijmout první uchazečku (která se ukáže být v polovině případů lepší), nebo ji můžete přeskočit a najmout druhou uchazečku (která je také v polovině případů lepší).

Přidejte třetí uchazečku a najednou vše začne být zajímavější. Šance na náhodné přijetí nejlepší uchazečky je 1 ku 3, tedy 33 %. Při vybírání mezi dvěma uchazečkami můžeme pouze tipovat. Jak je tomu, když jsou tři? Ukazuje se, že můžeme provést určitou rozvahu, a vše závisí na druhém pohovoru. Když se před nás posadí první uchazečka, nemáme žádné informace – vždy se nám bude zdát doposud nejlepší. U třetího pohovoru už sami nijak jednat nemůžeme – musíme přijmout poslední uchazečku, protože ostatní už jsme vyloučili. Když se však setkáme s druhou uchazečkou, máme trochu od obojího: víme, zda je lepší, nebo horší než její předchůdkyně, a můžeme ji svobodně vyloučit, nebo najmout. Co se stane, když ji jednoduše najmeme v případě, kdy je lepší než předchozí uchazečka, a vyloučíme v případě, kdy není? Vybíráme-li ze tří lidí, ukazuje se tato strategie jako nejlepší. Pomocí tohoto přístupu je překvapivě možné uspět v problému se třemi uchazečkami stejně dobře jako v problému se dvěma uchazečkami – nejlepší vybereme přesně v polovině případů.2

Po výčtu stejných scénářů pro čtyři uchazečky zjistíme, že bychom se stále měli rozhodnout už u druhého pohovoru. Vybíráme-li z pěti, neměli bychom se rozhodovat dříve než u třetího pohovoru.

S rostoucím počtem uchazeček se přesné místo na zakreslení dělicí linie mezi hledáním a jednáním ustálí na 37 % z celkového počtu3, a tak vznikne pravidlo 37 %: zhlédněte prvních 37 % uchazeček, žádnou z nich nevyberte a pak buďte připraveni rozhodnout se po jakoukoli další, která bude lepší než všechny dosavadní.

Jak se ukazuje, při zapojení této strategie získáme 37% šanci na najmutí nejlepší uchazečky. Jde o jednu z kuriózních matematických symetrií daného problému – strategii samotnou a její šanci na úspěch popisuje zcela shodné číslo. Výše uvedená tabulka shrnuje optimální strategii k řešení problému se sekretářkou při různém počtu uchazeček a dokazuje, jak se pravděpodobnost úspěchu (stejně jako bod obratu z hledání na jednání) s rostoucím počtem uchazeček přibližuje k 37 %.

Počet uchazeček

Přijmout nejlepší uchazečku po

Šance na získání nejlepší

3

1 (33.33 %)

50 %

4

1 (25 %)

45.83 %

5

2 (40 %)

43.33 %

6

2 (33.33 %)

42.78 %

7

2 (28.57 %)

41.43 %

8

3 (37.5 %)

40.98 %

9

3 (33.33 %)

40.59 %

10

3 (30 %)

39.87 %

20

7 (35 %)

38.42 %

30

11 (36.67 %)

37.86 %

40

15 (37.5 %)

37.57 %

50

18 (36 %)

37.43 %

100

37 (37 %)

37.10 %

1 000

369 (36.9 %)

36.81 %

Jak optimálně vybrat sekretářku.

63% míra neúspěšnosti při zapojení nejlepší možné strategie je zarážejícím faktem. I když v problému se sekretářkou jednáme optimálně, ve většině případů přesto neuspějeme – to znamená, že nakonec nenajmeme nejlepší uchazečku z celkového počtu. Špatná zpráva pro ty z nás, kteří partnerské vztahy vnímají jako „hledání toho pravého / té pravé“. Má to však i světlou stránku. Intuitivně nás napadne, že naše šance na zvolení nejlepší možné uchazečky by se měly s nárůstem celkového počtu uchazeček plynule snižovat. Kdybychom například vybírali zcela náhodně, při počtu sto uchazeček bychom měli 1% pravděpodobnost úspěchu. Kdyby uchazeček bylo milion, naše šance by byla 0,0001 %. Je však pozoruhodné, že matematická stránka problému se sekretářkou se nezmění. Zastavujete-li optimálně, vaše šance na nalezení úplně nejlepší uchazečky ze stovky kandidátek je 37 %. A věřte tomu, nebo ne, při milionu uchazeček je pravděpodobnost výběru té nejlepší stále 37 %. Čím větší je tedy zásoba uchazeček, tím cennější je znát optimální algoritmus. Je pravda, že ve většině případů jehlu v kupce sena nenajdete, ale optimální zastavení pořád představuje nejlepší strategii vzhledem ke kupce sena, nehledě na její velikost.

Jednání milenců

Vášeň mezi pohlavími se ve všech dobách projevovala tak stejně, že ji lze matematicky považovat téměř za konstantu.

Thomas Malthus

Provdala jsem se za prvního muže, kterého jsem kdy políbila. Když to dneska říkám svým dětem, je jim na zvracení.

Barbara Bushová

Než se Michael Trick stal profesorem operační analýzy na Carnegie-Mellonově univerzitě, jako vysokoškolský student hledal lásku. „Docvaklo mi, že jde o probádaný problém – problém se sekretářkou! Měl jsem volné místo a řadu uchazeček a mým cílem bylo vybrat nejlepší uchazečku o místo.“ Provedl tedy výpočet. Nemohl vědět, kolik žen za život potká, ale pravidlo 37 % je v jistém ohledu flexibilní – lze ho aplikovat buď na počet uchazeček, nebo na celkovou dobu hledání. Za předpokladu, že jeho hledání bude probíhat od osmnácti do čtyřiceti let, pravidlo 37 % stanovilo věk 26,1 roku jako bod, kdy by měl přejít od hledání k jednání. Výsledné číslo shodou okolností přesně odpovídalo Trickovu věku v té době. Takže když našel ženu, která mu vyhovovala lépe než všechny ostatní, s nimiž do té doby chodil, věděl přesně, co má udělat. Začal jednat. „Nevím, jestli byla dokonalá (zvolený model mi to neumožňuje stanovit), ale bezpochyby splňovala předpoklady daného kroku algoritmu. Tak jsem ji požádal o ruku,“ napsal Trick.

„A ona mě odmítla.“

Matematikové mají trable s láskou přinejmenším už od 17. století. Legendárního astronoma Johannese Keplera dnes známe tak dobře zejména díky objevu, že oběžné dráhy planet jsou eliptické, a také díky jeho zásadní roli v „koperníkovské revoluci“. Ta zahrnovala i Galilea a Newtona a obrátila představy lidstva o jeho místě ve vesmíru. Keplera však trápily i pozemské záležitosti. Po úmrtí své první ženy v roce 1611 se vydal na dlouhou a nesnadnou výpravu za dalším manželstvím, během níž se nakonec dvořil celkem jedenácti ženám. Z prvních čtyř se Keplerovi nejvíce líbila čtvrtá („pro vysokou a atletickou postavu“), ale své hledání neukončil. „Celá věc by se bývala vyřešila,“ napsal Kepler, „kdyby mě láska a rozum nedotlačily k páté ženě. Ta si mě získala láskou, pokornou oddaností, úsporným vedením domácnosti, pílí a láskou, kterou dávala nevlastním dětem.“

„Ale rozhodl jsem se pokračovat,“ napsal.

Přátelé a známí ho nadále představovali různým ženám a Kepler pokračoval v hledání, ovšem bez nadšení. Myšlenkami setrvával u čísla pět. Po celkem jedenácti námluvách se rozhodl, že hledání ukončí. „Během příprav na cestu do Řezna jsem se vrátil k páté ženě, vyznal jí lásku a ona mé vyznání přijala.“ Kepler a Susanna Reuttingerová byli sezdáni, měli společně šest vlastních dětí a vychovávali také děti z Keplerova prvního manželství. Knihy o životě slavného matematika popisují zbytek jeho domácího života jako obzvláště pokojnou a radostnou dobu.

Jak Kepler, tak Trick – každý opačně – na vlastní kůži pocítili, jak problém se sekretářkou v některých ohledech příliš zjednodušuje hledání lásky. V klasické verzi problému se sekretářkou uchazečky vždy místo přijmou, což neodpovídá Trickovu odmítnutí v reálném světě. Po vyloučení se k nim nedá vrátit, což zase odporuje strategii, kterou použil Kepler.

Během několika desítek let od prvního uveřejnění problému se sekretářkou byla prozkoumána široká škála různých variant scénáře. Strategie optimálního zastavení v dalších verzích zahrnovaly mnoho různých podmínek. Například možnost odmítnutí má přímočaré matematické řešení – žádat o ruku brzy a často. Máte-li 50% šanci na odmítnutí, pak byste podle matematické analýzy vedoucí ke vzniku pravidla 37 % měli rozhodnout už po pouhé čtvrtině hledání. V případě odmítnutí pokračujte v přijímání každé zatím nejlepší osoby, kterou potkáte, dokud některá z nich nabídku nepřijme. Při takové strategii bude vaše šance na úspěch (to znamená na žádost o ruku a její přijetí nejlepším z uchazečů) také 25 %. Možná to nejsou zase tak strašné vyhlídky pro scénář kombinující překážku odmítnutí s obecným problémem nastavení počátečního standardu.

Kepler si byl vědom „neklidu a pochyb“, které ho nutily pokračovat v hledání. V dopise adresovaném důvěrnému příteli napsal: „Cožpak nebyl jiný způsob smíření mého neklidného srdce s osudem než poznáním nemožnosti naplnění tolika různých tužeb?“ I v takovém případě poskytuje teorie optimálního zastavení jistou míru útěchy. Neklid a pochyby nemusíme vnímat jako známky morálního a psychického úpadku, když obojí ve skutečnosti představuje součást nejlepší strategie ve scénářích umožňujících druhou šanci. Vybavíte-li si předchozí uchazečky, optimální algoritmus upravuje povědomé pravidlo „nejdřív hledej a pak jednej“: přidává delší nezávaznou dobu rozvahy a nouzový plán.

Předpokládejme například, že okamžitá žádost o ruku je jistá, ale pozdní žádosti bývají v polovině případů odmítnuty. Z pohledu matematiky byste tedy měli nezávazně hledat, dokud neprojdete 61 % uchazeček, a teprve potom se rozhodnout, pokud se ve zbývajících 39 % objeví někdo doposud nejlepší. Budete-li po zvážení všech možností stále nezadaní (jako v Keplerově případě), vraťte se k nejlepší uchazečce, kterou jste předtím vyloučili. Symetrie mezi strategií a výsledkem se projeví i tentokrát a pravděpodobnost výběru nejlepšího uchazeče či uchazečky při scénáři umožňujícím druhou šanci bude také 61 %.

U Keplera rozdíl mezi realitou a klasickým problémem se sekretářkou vedl ke šťastnému konci. Úprava klasického problému se ve skutečnosti vyplatila i Trickovi. Po odmítnutí dostudoval vysokou školu a přijal práci v Německu. Tam „vešel do baru, zamiloval se do krásné ženy, tři týdny nato spolu začali bydlet a potom se jí zeptal, jestli by s ním ‚chvilku‘ nechtěla žít ve Spojených státech“. Souhlasila – a o šest let později se vzali.

Jak poznáte, že je něco dobré, jakmile to uvidíte: Úplné informace

První sada variant, které jsme zvážili – odmítnutí a druhá šance – upravila původní předpoklady klasického problému se sekretářkou (včasné nabídky jsou vždy přijaty a pozdní nabídky nikdy). U nových verzí nejlepší přístup zůstal stejný – nějakou dobu hledejte nezávazně a potom se připravte jednat.

Můžeme však zpochybnit dokonce ještě podstatnější předpoklad problému se sekretářkou. Konkrétně v dané úloze o uchazečkách nevíme nic – pouze jejich pozici při vzájemném srovnávání. Nemáme žádné objektivní ani předcházející představy o specificích dobré nebo špatné uchazečky. Srovnáváme-li navíc dvě z nich, poznáme, která je lepší, ale ne o kolik. Právě proto je nevyhnutelná fáze hledání, při níž kvůli kalibraci svých očekávání a standardů riskujeme brzké vyloučení vynikající uchazečky. Matematici takové problémy z oblasti optimálního zastavení označují jako „hry s neúplnými informacemi“.

Takové nastavení je pravděpodobně na hony vzdálené od hledání bytu, partnera, a dokonce i sekretářky. Zkuste si namísto toho představit, že máme k dispozici určité objektivní kritérium – například že každá sekretářka složila zkoušku v psaní na počítači hodnocenou percentilem podobně jako v případě testů SAT, GRE, LSAT, Scio nebo TSP. To znamená, že skóre každé z uchazeček nám prozradí, jak si stojí mezi všemi ostatními, které skládaly test. Uchazečka s 51. percentilem je těsně nad průměrem, uchazečka se 75. percentilem je lepší než tři ze čtyř, a tak dále.

Předpokládejme, že celkový vzorek uchazeček zastupuje obecně celou populaci a není nijak zkreslený ani nepodléhá samovýběru. Navíc ještě předpokládejme, že rychlost psaní je jediným kritériem rozhodování o uchazečkách. V takovém případě máme k dispozici „úplnou informaci“, jak říkají matematikové, a celá záležitost se mění. „K nastavení standardu není nutné hromadit zkušenosti,“ jak stojí v ústřední práci napsané o problému v roce 1966, „a výhodnou volbu lze občas provést okamžitě.“ Jinými slovy, hodnotíme-li uchazečku s 95. percentilem hned jako první, dozvíme se danou skutečnost okamžitě a můžeme ji s jistotou najmout na místě – samozřejmě za předpokladu, že se podle nás ve vzorku už nenachází uchazečka s 96. percentilem.

A tady nastává zádrhel. Je-li opět naším cílem dosadit na místo jedinou nejlepší uchazečku, musíme stále zvážit pravděpodobnost existence silnější uchazečky. Samotná skutečnost, že máme k dispozici úplné informace, nám však dává vše potřebné k přímému výpočtu takové pravděpodobnosti. Například šance, že další uchazečka má 96. nebo vyšší percentil, bude vždy 1 ku 20. Rozhodnutí, zda-li zastavit, tedy zcela závisí na počtu zbývajících uchazeček. Máme-li úplnou informaci, znamená to, že před jednáním už nemusíme hledat. Namísto toho můžeme použít pravidlo prahové hodnoty – okamžitě přijmeme uchazečku, nachází-li se nad určitým percentilem. K nastavení takové prahové hodnoty nepotřebujeme zkoumat počáteční skupinu kandidátek – musíme si však být velice dobře vědomi, jak dlouho ještě můžeme hledat.

Matematika dokazuje, že pokud v celkovém vzorku zbývá ještě hodně uchazeček, měli byste vyloučit dokonce i velice dobrou uchazečku v naději, že najdete někoho ještě lepšího – ale jakmile se vaše možnosti ztenčí, měli byste být připraveni najmout kohokoli, kdo je jednoduše lepší než průměr. Jedná se o povědomé, ne-li přímo inspirativní sdělení – jsou-li vaše možnosti výběru omezené, snižte své standardy. Opak je také o to zjevnější – plave-li v moři hodně ryb, své standardy zvyšte. V obou případech nám matematika prozradí, o kolik.

Nejsnáz pochopíte čísla v tomto scénáři tak, že začnete na konci a budete uvažovat zpětně. Dojdete-li k poslední uchazečce, jste samozřejmě nuceni ji vybrat. Když však posuzujete předposlední kandidátku, položíte si jinou otázku: Je nad 50. percentilem? Jestli ano, najměte ji. Jestli ne, vyplatí se namísto toho zariskovat u poslední uchazečky, protože bude nevyhnutelně s 50% pravděpodobností nad 50. percentilem. Podobně byste měli vybrat třetí uchazečku od konce, je-li její percentil vyšší než 69., čtvrtou, pokud je nad 78. percentilem, a tak dále, přičemž čím více uchazeček zbývá, tím jste vybíravější. V žádném případě však nenajímejte nikoho podprůměrného, dokud vám nedojdou úplně všechny možnosti. (A jelikož máte zájem najít pouze tu úplně nejlepší osobu z celého vzorku, nikdy nenajímejte nikoho, kdo není tím nejlepším, koho jste do té doby viděli.)

Šance výběru úplně nejlepší uchazečky ve verzi problému se sekretářkou s úplnou informací vychází na 58 % – což je stále daleko od jakékoli záruky, ale rozhodně více než 37% míra úspěšnosti ve hře bez informací. Máte-li k dispozici všechna fakta, častěji spíše uspějete, dokonce i když se celkový vzorek uchazeček libovolně zvětší.

Hra s úplnou informací tedy nabízí nečekaný a poměrně bizarní poznatek. Zlatokopectví má větší pravděpodobnost úspěchu než honba za láskou. Hodnotíte-li své partnery na základě jakéhokoli objektivního kritéria (dejme tomu podle jejich percentilu příjmu), máte k dispozici mnohem více informací než v případě, kdy se zaměřujete na mlhavou emoční odezvu („lásku“), která ke kalibraci může vyžadovat zkušenosti i srovnávání.

Prahové hodnoty optimálního zastavení v problému se sekretářkou – varianta s úplnou informací

Neexistuje samozřejmě důvod, proč bychom měli nezbytně měřit bohatství – nebo, když je řeč o sekretářkách, rychlost psaní. Jakékoli měřítko poskytující úplnou informaci o postavení uchazečky ve srovnání s širokou populací změní způsob řešení z pravidla nejdřív hledej, potom jednej na pravidlo prahové hodnoty a dramaticky zvýší vaše šance na nalezení úplně nejlepší uchazečky ve skupině.

Existuje mnoho dalších verzí problému se sekretářkou, které upravují další předpoklady a možná ho ještě věrněji přibližují úskalím hledání lásky (nebo sekretářky) ve skutečném světě. Přínosné poznatky optimálního zastavení se však neomezují pouze na intimní vztahy nebo nábor pracovníků. Usilování o nejlepší rozhodnutí v situacích, kdy se možnosti objevují pouze postupně, představuje ve skutečnosti také základní strukturu řešení při prodeji domu, parkování auta a přestávání v tom nejlepším. Ve všech případech se navíc jedná o problémy, které jsou do určité míry již vyřešené.

Kdy prodat

Upravíme-li další dvě vlastnosti klasického problému se sekretářkou, katapultujeme se ze světa vztahů do říše nemovitostí. Výše jsme proces hledání podnájmu popsali jako problém optimálního zastavení, ale optimální zastavení hraje velkou roli také ve vlastnictví domu.

Představte si, že prodáváte dům. Obrátíte se na několik realitních makléřů a pak svou nemovitost uvedete na trh. Zařídíte nové nátěry, pár terénních úprav pozemku a potom už jen čekáte, až se začnou hrnout první nabídky. U každé z nich se obvykle musíte rozhodnout, zda ji přijmete, nebo odmítnete. Odmítnutí nabídky však něco stojí – další týden (nebo měsíc) splátek hypotéky při čekání na další nabídku, která nemusí být zaručeně lepší.

Prodej domu se podobá hře s úplnou informací. Známe objektivní hodnotu nabídek v dolarech či jiné měně a víme tak, které jsou lepší než ostatní, a také o kolik jsou lepší. Navíc máme informace o širší situaci na trhu, což nám umožňuje alespoň zhruba předpovědět škálu pravděpodobných nabídek. (Díky tomu máme stejnou „percentilovou“ informaci jako u již zmíněné zkoušky ze psaní všemi deseti.) Tento případ se však liší – naším cílem není získat jedinou nejlepší nabídku, ale během celého procesu utržit co nejvíce peněz. Jelikož je čekání vyjádřeno náklady v dolarech, dnešní dobrá nabídka vítězí nad mírně lepší nabídkou za pár měsíců.

S výše popsanými informacemi nemusíme nezávazně hledat a poté nastavovat prahovou hodnotu. Namísto toho ji můžeme nastavit hned zkraje, ignorovat všechny nižší nabídky a vzít první možnost, která naši hranici překračuje. V případech, kdy nám mohou dojít omezené úspory, neprodáme-li nemovitost do určitého data, nebo kdy očekáváme pouze omezené množství nabídek a žádné další po nich, bychom měli snížit své standardy, jakmile se takové limity přiblíží. (Je tedy pochopitelné, že kupující hledají „motivované“ prodejce.) Netlačí-li nás však ke zdi žádné překážky, můžeme se jednoduše zaměřit na analýzu nákladů a výnosů „vyčkávací hry“.

Nyní si rozebereme jeden z nejjednodušších případů, kdy bezpečně víme, v jakém rozmezí budou přicházet nabídky, a kdy jsou všechny nabídky v daném rozmezí stejně pravděpodobné. Když se nemusíme trápit tím, zda se vyčerpají nabídky (nebo naše úspory), můžeme nad problémem uvažovat čistě na základě očekávaných zisků či ztrát při čekání na lepší nabídku. Odmítneme-li současnou nabídku, dokáže pravděpodobnost lepší nabídky (znásobené tím, o kolik lepší nabídku čekáme) nejen vykompenzovat, ale i převýšit náklady na čekání? Ukazuje se, že matematika je v tomto případě poměrně jednoznačná a poskytuje nám explicitní vzorec pro optimální cenu jako funkci nákladů na čekání na nabídku.

Konkrétní matematický výsledek ve výše popsané situaci nijak neřeší, zda prodáváte šlechtické sídlo za miliony nebo zchátralou kůlnu. Jediným relevantním faktorem je rozdíl mezi nejvyšší a nejnižší nabídkou, které pravděpodobně obdržíte. Když dosadíme konkrétní hodnoty, uvidíme, jakým způsobem nám tento algoritmus poskytuje výslovnou a významnou nápovědu. Dejme tomu, že můžeme očekávat nabídky v rozmezí od 400 000 do 500 000 dolarů. Nehrají-li náklady na čekání žádnou roli, můžeme vybírat téměř donekonečna. Pokud je cena za čekání na další nabídku pouhý dolar, co nejvyšší zisk si zajistíme čekáním na nabídku činící 499 552,79 dolarů a ani o cent méně. Stojí-li nás čekání 2 000 dolarů za nabídku, měli bychom vyčkávat na rovných 480 000. Na pomalém trhu, kde čekání vychází na 10 000 dolarů za nabídku, bychom měli vzít jakoukoli nabídku převyšující 455 279 dolarů. A pokud náklady na čekání odpovídají polovině nebo větší části nastaveného rozmezí (v našem případě 50 000 dolarů a víc), čekání nám nepřinese žádnou výhodu a nejlépe uděláme, když přijmeme hned první nabídku a okamžitě si plácneme. Když vás okolnosti tlačí ke zdi, nemůžete si vybírat.

Graf zobrazuje prahové hodnoty optimálního zastavení v případě prodeje realit.

U tohoto problému je naprosto nutné podotknout, že naše prahová hodnota závisí pouze na nákladech na hledání. Jelikož šance, že další nabídka bude dobrá, se nikdy nezmění, a náklady na její nalezení také ne, není důvod, aby naše cena zastavení kdykoli během hledání klesala – bez ohledu na to, jaké budeme mít štěstí. Nastavíme ji jednou, ještě než vůbec začneme, a potom jen musíme vydržet.

Odbornice na optimalizaci Laura Albert McLayová z Wisconsinské univerzity v Madisonu si vzpomněla, že se při prodeji vlastního domu rozhodla využít své znalosti o problémech s optimálním zastavením. „První nabídka byla skvělá,“ vysvětlila, „byly s ní ale spojené obrovské náklady, protože nás potřebovali vystěhovat už o měsíc dříve, než jsme měli původně v plánu. Objevila se další konkurenční nabídka…, [ale] my jsme prostě vyčkávali, dokud nepřijde ta nejvhodnější.“ Pro mnoho prodávajících může odmítnutí několika dobrých nabídek představovat nervy drásající představu, zejména v případě, kdy hned po nich přicházejí pouze horší nabídky. McLayová však vytrvala a zachovala rozvahu. „Kdybych neměla na své straně matematiku, bylo by to skutečně těžké,“ přiznala.

Popsaný princip se vztahuje na jakoukoli situaci, kdy obdržíte řadu nabídek a přitom za hledání dalších a čekání na ně platíte. Proto se zcela oprávněně týká i případů zcela mimo prodej domu. Ekonomové například zmíněný algoritmus používají k vytváření modelů znázorňujících postup hledání práce. Takové modely příhodně vysvětlují jinak zdánlivě paradoxní fakt, že zároveň existují nezaměstnaní lidé a volná pracovní místa.

Tyto varianty problému optimálního zastavení mají další, dokonce ještě překvapivější vlastnost. Jak jsme si již ukázali, schopnost „vrátit se“ k minulé příležitosti hrála při Keplerově hledání lásky zásadní roli. V případě prodeje domu a hledání práce byste však něco takového neměli nikdy dělat, ani kdyby bylo opětovné zvážení promarněné nabídky stále možné a ani kdyby tato nabídka byla zaručeně k dispozici. Nepřevyšovala-li vaši prahovou hodnotu předtím, nepřevýší ji ani teď. Náklady investované do hledání jsou nenávratné. Nedělejte kompromisy a nezpochybňujte zpětně svá rozhodnutí. A hlavně se neohlížejte.

Kdy parkovat

Zjistil jsem, že mezi tři hlavní administrativní problémy kampusu patří sex pro studenty, sport pro absolventy a parkování pro zaměstnance.

Clark Kerr, prezident Kalifornské univerzity v Berkeley, 1958–1967

Další oblastí hojných problémů zastavení – kde se ohlížení na minulost také obecně nedoporučuje – je automobilismus. Motoristé figurují v nejranější literatuře o problému se sekretářkou a situace neustálého pohybu vpřed činí téměř z každé jízdy autem rozhodování o problému se zastavením: hledání restaurace, hledání toalet a ze všeho nejožehavější problém pro řidiče ve městě – hledání místa na zaparkování. Pravděpodobně nejpovolanější osobou, na niž jsme se mohli obrátit, byl člověk označený deníkem Los Angeles Times za „rockovou hvězdu parkování“ – Donald Shoup, profesor oboru územního plánování na Kalifornské univerzitě v Los Angeles. Vydali jsme se za ním ze severní Kalifornie a ujistili jsme ho, že vyjedeme s dostatečným předstihem, abychom se nezasekli kvůli neočekávanému provozu. „Co se příprav na ‚neočekávaný provoz‘ týká, myslím, že byste se měli raději připravit na očekávaný provoz,“ odpověděl. Shoup se zřejmě nejvíce proslavil knihou The High Cost of Free Parking (Vysoká cena bezplatného parkování) a už dlouho se zasazuje o rozvíjení diskuse a chápání podstaty toho, co se skutečně děje, když jezdíme autem na požadované místo.

Nebohého řidiče bychom měli litovat. Podle Shoupova modelu ideální místo na parkování optimalizuje přesnou rovnováhu mezi „základní cenou“ parkovacího stání, trváním chůze na místo a jeho dostupností, časem potřebným k nalezení stání (který se radikálně mění podle lokality, denní doby, atd.) a spotřebovaným palivem při celém procesu. Rovnice se mění také v závislosti na počtu pasažérů ve vozidle, na rozdělení nákladů za parkování, ale ne podle doby vynaložené na hledání a chůzi. Řidič zároveň musí vzít v úvahu, že oblasti s největší nabídkou parkovacích stání mohou být také oblastmi s nejvyšší poptávkou; parkování v sobě nese prvky teorie her, jelikož se při něm snažíme vyzrát na ostatní řidiče a oni se přitom snaží vyzrát na nás.4 Nicméně, mnohá úskalí parkování se dají shrnout do jediné hodnoty – míry obsazenosti. Jedná se o poměr všech parkovacích stání, která jsou právě obsazená. Je-li vysoký, najít stání kdekoli ve městě představuje problém.

Shoup podotýká, že potíže při parkování jsou převážně následkem městem prosazených politických opatření vedoucích k extrémně vysoké míře obsazenosti. Je-li cena parkování v určité lokalitě příliš nízká (nebo – nedejbože! – nulová), daná stání silně vybízejí řidiče, aby parkovali na nich a ne o něco dál, odkud by kus cesty museli dojít pěšky. Všichni se tedy pokoušejí zaparkovat v takové oblasti, ale většina zjistí, že stání už jsou plná, a při kroužení ulicemi nakonec promrhají čas a spálí fosilní palivo.

Shoupovo řešení zahrnuje instalaci digitálních parkovacích automatů, které umějí upravovat cenu parkování podle poptávky. (Takový systém byl právě zaveden v centru San Franciska.) Ceny se nastavují se zohledněním cílové míry obsazenosti, která by se podle Shoupa měla pohybovat kolem 85 % – což je radikální propad oproti téměř na 100 % naplněným místům u obrubníků ve většině velkých měst. Jak podotýká Shoup, stoupne-li míra obsazenosti z 90 na 95 %, parkovací stání pojmou o 5 % více vozidel, ale délka hledání se pro všechny řidiče zdvojnásobí.

Klíčový vliv míry obsazenosti na strategii parkování začne být zřejmý, jakmile pochopíme, že parkování je problém optimálního zastavení. Kdykoli při jízdě po ulici zahlédnete volné stání, musíte se rozhodnout: měl bych zaparkovat tady, nebo se ještě trochu přiblížit cíli a zkusit štěstí?

Předpokládejme, že jedete po nekonečně dlouhé cestě s rovnoměrně rozmístěnými parkovacími místy a vaším úkolem je minimalizovat délku cesty pěšky do cíle. Řešením je potom pravidlo nejdřív hledej, potom jednej. Optimálně zastavující řidič by měl vyloučit všechna prázdná stání ve větší než určité vzdálenosti od cíle a potom zaparkovat na prvním volném místě, které se objeví. Vzdálenost, v níž by měl přepnout z hledání na jednání, závisí na poměru míst, která budou pravděpodobně zaplněná – míře obsazenosti. V následující tabulce najdete vzdálenosti pro několik vybraných poměrů.

Míra obsazenosti (%)

Jeďte do vzdálenosti níže uvedeného počtu parkovacích míst od cíle, potom zaparkujte hned na prvním volném stání

0

0

50

1

75

3

80

4

85

5

90

7

95

14

96

17

97

23

98

35

99

69

99,9

693

Jak optimálně najít parkovací stání.

Platí-li na této nekonečné ulici velkoměstská 99% míra obsazenosti s pouhým 1 % prázdných stání, měli byste zaparkovat na prvním místě, které uvidíte ve vzdálenosti téměř 70 míst (více než 400 metrů) od cíle. Kdyby si však Shoup prosadil svou a míra obsazenosti klesla na pouhých 85 %, stačilo by vám začít hledat místo na zaparkování jen několik domů před cílem.

Většina z nás nejezdí po dokonale rovných, nekonečně dlouhých silnicích. Vědci proto stejně jako v případě ostatních problémů optimálního zastavení zvážili různé úpravy popsaného základního scénáře. Prozkoumali například optimální parkovací strategie v případech, kdy se řidič může otočit a jet nazpět, kdy blíže cíli začíná být méně dostupných míst a kdy řidič soupeří s ostatními řidiči směřujícími do stejného cíle. Ale ať už jsou přesné parametry problému jakékoli, větší počet prázdných stání nám vždy usnadní život. Jedná se o určitou formu připomínky pro zastupitele měst: parkování nespočívá pouze v poskytnutí zdrojů (stání) a maximalizaci jejich využití (obsazenosti). Parkování je zároveň proces (problém optimálního zastavení) a jako takový vyžaduje pozornost, čas a palivo a zároveň je zdrojem znečištění a dopravních zácp. Správné politické opatření řeší problém jako celek. Navzdory našim tušením mohou prázdná stání v centru města být znamením, že všechno funguje správně.

Zeptali jsme se Shoupa, jestli pomocí svého výzkumu optimalizuje vlastní dojíždění do práce, provozem na losangeleských ulicích až ke kabinetu v UCLA. Má pravděpodobně největší světový odborník na parkování nějakou tajnou zbraň? Ano, má: „Jezdím na kole.“

Kdy skončit

V roce 1997 označil magazín Forbes Borise Berezovského za nejbohatšího muže v Rusku, jeho majetek činil zhruba 3 miliardy dolarů. Pouhých deset let předtím ještě žil z výplaty matematika pracujícího pro sovětskou Akademii věd. Zmíněné miliardy vydělal využitím kontaktů v průmyslu, které získal při výzkumu před založením firmy zprostředkovávající komunikaci mezi zahraničními výrobci vozidel a sovětským automobilovým závodem AvtoVAZ. Z Berezovského firmy se potom stal široce zastoupený prodejce vozů vyráběných AvtoVAZem. Využíval přitom systém prodeje na splátky těžící z hyperinflace rublu. Pomocí financí získaných z tohoto partnerství si koupil částečný podíl v samotném AvtoVAZu, potom v televizní stanici ORT a nakonec i v ropné společnosti Sibněfť. Stal se příslušníkem nové třídy oligarchů, vstoupil do politiky, podpořil znovuzvolení Borise Jelcina v roce 1996 a volbu Vladimira Putina jako jeho nástupce v roce 1999.

V tom bodě se však štěstí k Berezovskému obrátilo zády. Krátce po Putinově zvolení Berezovskij veřejně vystoupil proti navrhovaným ústavním reformám rozšiřujícím prezidentovu moc. Ve veřejné kritice Putina pokračoval, což vedlo ke zhoršení jejich vztahu. Když se Putin měl v roce 2000 vyjádřit ke kritice ze strany Berezovského, odpověděl: „Stát má v rukou kyj, kterým se dá udeřit pouze jednou, ale do hlavy. Zatím jsme ten kyj nepoužili… Až přijde den, kdy se opravdu rozzlobíme, nebudeme ani chvíli váhat.“ Berezovskij natrvalo opustil Rusko hned měsíc poté a zažádal o exil v Anglii, odkud nadále pokračoval v kritice Putinova režimu.

Jak se Berezovskij rozhodl, že je na čase opustit Rusko? Existuje snad nějaký způsob, jak matematicky zvážit radu „skončit v nejlepším“? Konkrétně Berezovskij se nad stejnou otázkou možná zamyslel, protože se před lety jako matematik zabýval právě optimálním zastavením. Je autorem první (a doposud jediné) knihy věnované výhradně problému se sekretářkou.

Problém přestávání v nejlepším byl rozebrán v několika různých podobách, ale pravděpodobně nejbližší Berezovskému případu – ruští oligarchové prominou – je „problém s bytovým zlodějem“. Zloděj v daném problému má příležitost provést řadu vloupání. Každé vloupání přinese nějaký zisk a při každém platí určitá pravděpodobnost úspěchu. Je-li zloděj polapen, policie ho zatkne a připraví ho o veškerý nahromaděný zisk. Pro jaký algoritmus by se měl rozhodnout, chce-li maximalizovat očekávaný výnos?

Fakt, že tento problém má řešení, představuje špatnou zprávu pro scénáře filmů o velkých loupežích. Když se tým pokouší vylákat starého zloděje v důchodu k poslednímu počinu, ostřílenému zloději stačí jen provést výpočet. Výsledky jsou navíc dost intuitivní – počet vloupání, která by měl podniknout, zhruba odpovídá pravděpodobnosti úspěšného úniku z místa činu, děleno pravděpodobností polapení. Jste-li zkušený zloděj a vaše šance na úspěch každého vloupání je 90 % (a šance, že přijdete o všechno, je 10 %), jděte do důchodu po 90/10 = 9 vloupáních. Co nešikovný amatér s šancí 50/50? Poprvé nemáte co ztratit, ale více než jednou svoje štěstí nepokoušejte.

Příběh Berezovského navzdory jeho specializaci v optimálním zastavení končí smutně. Zemřel v březnu roku 2013. Osobní strážce ho našel v zamčené koupelně domu v Berkshiru se smyčkou kolem krku. Podle oficiálního závěru patologa spáchal sebevraždu – oběsil se po ztrátě velké části svého bohatství během řady velkých soudních bitev, i s jeho nepřáteli v Rusku. Možná měl skončit dříve – nahromadit dejme tomu jen pár desítek milionů dolarů a nevstupovat do politiky. To však bohužel nebyl jeho styl. Jeden z jeho přátel matematiků, Leonid Boguslavskij, vyprávěl příběh o Berezovském z dob, kdy oba byli ještě mladí vědci. Měli v plánu vodní lyžování na jezeře poblíž Moskvy, ale zamluvená loď se porouchala. Dále se dočtete, jak vzpomínku líčí David Hoffman ve své knize The Oligarchs (Oligarchové):

Jejich přátelé šli na pláž a rozdělali oheň, ale Boguslavskij s Berezovským se vydali do doků opravit motor. Během tří hodin ho zcela rozebrali a opět složili. Stále nefungoval. Většinu dýchánku na pláži propásli, ale Berezovskij stále tvrdošíjně pokračoval. „Zkoušeli jsme všechno možné,“ vzpomínal Boguslavskij. Berezovskij by se za žádnou cenu nevzdal.

Nevzdávání se – za žádnou cenu – se překvapivě v literatuře o optimálním zastavení objevuje také. Možná se vám to na základě široké řady výše probraných problémů zdá nepravděpodobné, ale existují sekvenční rozhodovací problémy, pro které žádné pravidlo optimálního zastavení nemáme. Jednoduchým příkladem je hra „trojnásobek, nebo nic“. Představte si, že máte 1 dolar a můžete následující hru hrát, kolikrát chcete – vsadíte všechny peníze a máte 50% šanci na získání trojnásobku částky a 50% šanci, že přijdete o všechno. Kolikrát byste měli hrát? Přestože je tento problém prostý, neexistuje pro něj pravidlo optimálního zastavení, protože při každé hře je průměrný zisk o něco vyšší. Začínáte-li s 1 dolarem, v polovině případů dostanete 3 dolary a v druhé polovině 0 dolarů, takže čekáte, že na konci prvního kola budete mít v kapse v průměru 1,5 dolaru. Poštěstí-li se vám v prvním kole, dvě nastávající možnosti na základě vyhraných 3 dolarů jsou 9, nebo 0 dolarů – průměrný zisk 4,5 dolaru z druhé sázky. Z matematického hlediska byste neměli přestávat hrát nikdy. Pokud však přijmete takovou strategii, nakonec prohrajete všechno. Některé problémy je lepší obejít než řešit.

Zastavujte za každou cenu

Čekám, že tímto světem víckrát než jednou neprojdu. Mohu-li tedy udělat jakýkoli dobrý skutek a projevit jakoukoli laskavost jinému spřízněnému tvorovi, udělám ji hned. Nebudu takové skutky odkládat ani přehlížet, protože touto cestou už nikdy znovu nepůjdu.

Stephen Grellet

Užijte si odpoledne. S sebou si ho nevezmete.

Annie Dillardová

Zabývali jsme se konkrétními případy lidí řešících problémy zastavení v životě a je zřejmé, že většina z nás se s takovými problémy v různých formách setkává každý den. Ať už se jedná o sekretářky, záležitosti srdce nebo byty, život je plný optimálního zastavování. Nabízí se tedy neodolatelná otázka: Využíváme skutečně ty (z hlediska evoluce, vzdělání nebo intuice) nejlepší strategie?

Na první pohled zní odpověď: ne. Ke stejnému závěru dospělo zhruba tucet studií – lidé zpravidla zastavují brzy a upřou sami sobě možnost poznat lepší uchazečku. Chtěli jsme se v těchto poznatcích lépe zorientovat, a proto jsme si promluvili s Amnonem Rapoportem z Kalifornské univerzity v Riversidu, který ve své laboratoři experimentuje s optimálním zastavením už více než čtyřicet let.

Studii, již je klasickému problému se sekretářkou nejblíže, uskutečnil Rapoport se svým kolegou Darrylem Sealem v 90. letech 20. století. Zkoumané osoby procházely mnoha koly problému se sekretářkou a vybíraly vždy buď ze 40, nebo 80 uchazeček. Celkově účastníci experimentu nacházeli nejlepší možnou uchazečku poměrně úspěšně – zhruba ve 31 % případů, což není tak daleko od optimálních 37 %. Většina lidí postupovala intuitivně v souladu s pravidlem nejdřív hledej, potom jednej, ale ve více než čtyřech pětinách případů jednali dříve, než měli.

Rapoport nám prozradil, že tuto skutečnost vždy bere v úvahu, když řeší ve vlastním životě problémy optimálního zastavení. Hledá-li například byt, bojuje s vlastní touhou rozhodnout se rychle. „Ačkoli jsem od přírody velice netrpělivý a chci vzít hned první byt, snažím se ovládnout!“

Netrpělivost však poukazuje na další úvahu, kterou při řešení klasického problému se sekretářkou nebereme v potaz – úlohu času. Po celou dobu, kdy hledáte sekretářku, přece žádnou sekretářku nemáte. Navíc namísto vlastní práce trávíte celý den pohovory.

Tento druh nákladů nabízí potenciální vysvětlení, proč účastníci laboratorního experimentu přestávají při řešení problému se sekretářkou předčasně. Seale a Rapoport dokázali, že pokud jsou náklady na pohovor s každou uchazečkou vnímány ve výši například 1 % hodnoty nalezení nejlepší sekretářky, optimální strategie by dokonale odpovídala bodu, v němž zkoumané osoby během experimentu ve skutečnosti přešly z hledání k jednání.

Záhada spočívá v tom, že v Sealeově a Rapoportově studii náklady na hledání stanovené nebyly. Proč tedy lidé v laboratoři jednali tak, jako kdyby stanovené byly?

Protože pro člověka časové náklady existují vždy. Nevycházejí z návrhu experimentu. Jsou součástí našeho života.

„Endogenní“ časové náklady, které obvykle nebývají zahrnuté do modelů optimálního zastavení, možná vysvětlují, proč se lidské rozhodování zpravidla odchyluje od doporučení zmíněných modelů. Jak tvrdí vědec Neil Bearden, zabývající se optimálním zastavením: „Člověka zpravidla hledání po nějaké době začne nudit. Nástup znuděnosti není nijak iracionální, ale je těžké ho zasadit do přesného modelu.“

To však problémům optimálního zastavení nijak neubírá na významu. Ve skutečnosti jsou ve výsledku ještě důležitější, protože plynutí času mění veškeré rozhodování na optimální zastavení.

„Teorie optimálního zastavení se zabývá problémem volby trvání dané akce,“ stojí na začátku nejvýznamnějšího výukového textu o optimálním zastavení. Je těžké vymyslet stručnější a výstižnější popis lidského počínání. Rozhodujeme o správné chvíli pro nákup a prodej akcií, o tom není pochyb. Zároveň se však rozhodujeme, kdy je vhodné otevřít láhev vína, kterou si schováváme na zvláštní příležitost, kdy se při hovoru hodí někoho přerušit, kdy přesně někoho políbit.

Z tohoto hlediska odpovídá nejzásadnější, a přesto nejneuvěřitelnější předpoklad problému se sekretářkou – jeho striktní sériovost, nevyčerpatelný pochod jedním směrem – samotné povaze času. Explicitní premisou problému optimálního zastavení je tedy implicitní premisa lidské existence. Ta nás nutí k rozhodování na základě možností, jež se nám ještě nenaskytly, k přijetí vysoké pravděpodobnosti neúspěchu i v případě optimálního jednání. Vybíráme pouze jednou. Možná se nám někdy naskytnou možnosti podobné, ale nikdy ne zcela stejné. Váhání – nečinnost – je stejně nevratné jako jednání. Co motorista vězící na jednosměrné silnici představuje pro prostor, my znamenáme pro čtvrtý rozměr – skutečně po této cestě procházíme pouze jednou. Intuitivně si myslíme, že racionální rozhodování spočívá ve výčtu možností, důkladném zvážení každé z nich a výběru té nejlepší. Ale když nám v praxi tikají hodiny – nebo odpočítávadlo –, málokterá ze součástí rozhodování (nebo obecnějšího uvažování) je důležitější než tato: volba doby, kdy máme zastavit.

02

ZKOUMAT/UŽÍVAT

Nejnovější vs. nejlepší

Kručí vám v žaludku. Zajdete do té italské restaurace, kterou už znáte a zbožňujete, nebo do té nedávno otevřené thajské? Vezmete nejlepšího kamaráda, nebo zavoláte nové známé, kterou byste rádi poznali blíže? Těžko rozhodnout – možná prostě zůstanete doma. Uvaříte jídlo podle osvědčeného receptu, co vám zaručeně vyjde, nebo na internetu zkusíte najít novou inspiraci? Dobře, tak nic, co kdybyste si tedy jenom objednali pizzu? Řeknete si o tu, co obvykle, nebo se zeptáte na speciální nabídku? Ještě než se dostanete k prvnímu soustu, jste už vyčerpaní. Myšlenka, že si pustíte hudbu, zhlédnete film nebo přečtete knihu – ale jakou? –, už se vůbec nejeví jako relaxace.

Každý den jsme neustále nuceni rozhodovat se mezi možnostmi lišícími se ve velmi specifickém rozměru – zkusíme nové věci, nebo zůstaneme u svých oblíbených? Intuitivně chápeme, že život je hledáním rovnováhy mezi novostí a tradicí, mezi nejnovějším a nejlepším, mezi riskováním a vychutnáváním si věcí, které známe a zbožňujeme. Vyvstává zde však stejná otázka jako v případě dilematu mezi hledáním a jednáním při honbě za bytem: jaký poměr vlastně hledáme?

Robert Pirsig ve svém klasickém díle z roku 1974, knize Zen a umění údržby motocyklu, zavrhuje konverzační frázi „Co je nového?“. Podotýká, že kdyby takovou otázku „někdo zodpověděl doslovně, odpověď by byla nekonečnou přehlídkou nepodstatných maličkostí a módy, naplavenin zítřka“. Navrhuje alternativu, jež je podle něj mnohem lepší: „Co je nejlepšího?“

Realita však není tak prostá. Máme-li na paměti, že každá „nejlepší“ píseň a restaurace z řad vašich favoritů začala skromně jako něco pro vás „nového“, uvědomíme si, že na světě existují další, zatím nepoznané „nejlepší“. Nové věci si tedy nepochybně zaslouží přinejmenším část naší pozornosti.

Obnošená pořekadla a aforismy toto napětí popisují, ale neřeší. „Získávej nové přátele, ale staré si ponechej, noví jsou stříbro a staří zlato“ a „Není života tak bohatého a vzácného, leč další přítel do něj může vstoupit“ jsou jistě pravdivá úsloví; přinejmenším po stránce rytmu jsou nezpochybnitelná. Nic však neříkají o poměru, dejme tomu, „stříbra“ a „zlata“ zaručujícím nejlepší slitinu naplněného života.

Informatici se hledáním této rovnováhy zabývají již více než padesát let. Mají pro ni dokonce název: explore/exploit tradeoff (kompromis mezi zkoumáním a užíváním).

Zkoumání/užívání

Slova „explore“ (zkoumat) a „exploit“ (využívat) jsou v angličtině spojená se zcela opačnými konotacemi. Pro informatika však nesou mnohem konkrétnější a neutrální významy. Řekneme-li to jednoduše, zkoumání je shromažďování informací a využívání je užívání informací, které máte, k dosažení dobrého výsledku.

Intuice nám poměrně jasně naznačuje, že život bez zkoumání se žít nedá. Hodí se však také zmínit, že život bez jakéhokoli užívání je stejně špatný. Co se týká definice v oboru informatiky, využívání ve skutečnosti vystihuje chvíle, jež považujeme za nejlepší v životě. Rodinné setkání o svátcích je užívání. Totéž představuje knihomol pohodlně usazený v křesle s horkým šálkem kávy a milovaným titulem, kapela hrající své nejlepší hity davu oddaných fanoušků nebo pár, který si po všech těch letech rád zatančí na „tu svou písničku“.

Zkoumání se navíc může stát prokletím.

Například jednou z hezkých vlastností hudby je fakt, že se neustále objevují nové věci k poslechu. Nebo, jste-li hudební publicisté, jednou z nejhorších vlastností hudby je fakt, že se neustále objevují nové věci k poslechu. Při povolání hudebního kritika je nutné nastavit prioritu zkoumání na maximum, takže celou dobu posloucháte jenom nové věci. Milovníci hudby si možná představují, že práce hudebního publicisty je ráj na zemi, ale musíte-li neustále zkoumat novinky, nemůžete si nikdy užít plody svého znalectví – což je hotové peklo na zemi. Málokdo tuto zkušenost zná do takové míry jako Scott Plagenhoef, bývalý šéfredaktor Pitchforku. „Při práci se člověk snaží najít prostor na poslech něčeho, co prostě poslouchat chce,“ popisuje život kritika. Jeho zoufalá touha skončit s procházením doposud neznámých písní nejisté kvality a poslouchat jen hudbu, kterou zbožňuje, byla tak silná, že si Plagenhoef do svého iPodu nahrával pouze novou hudbu. Tak pro něj bylo fyzicky nemožné opustit své povinnosti ve chvílích, kdy opravdu, opravdu, ale opravdu toužil poslouchat The Smiths. Žurnalisté jsou mučedníci. Zkoumají, aby ostatní mohli užívat.

V informatice se napětí mezi zkoumáním a využíváním projevuje nejkonkrétněji ve scénáři zvaném „problém mnohorukého bandity“. Tento podivný název vychází z hovorového označení herního automatu v kasinu, „jednoruký bandita“. Představte si, že vstoupíte do kasina plného různých herních automatů s rozdílnými pravděpodobnostmi výhry. Háček je samozřejmě v tom, že pravděpodobnosti neznáte předem – dokud nezačnete hrát, nebudete tušit, které přístroje jsou nejvýnosnější (které „dávají“, jak říkají milovníci herních automatů) a u kterých budete házet peníze do kanálu.

Pochopitelně vám jde o maximalizaci celkové výhry. Je zřejmé, že k tomu budete muset zapojit určitou kombinaci tahání za páky různých automatů, abyste si je otestovali (průzkum) a upřednostnili nejslibnější nalezené automaty (užívání).

Chcete-li pochopit nejsubtilnější specifika problému, představte si, že se příklad týká pouze dvou automatů. Na jednom z nich jste hráli celkem patnáctkrát, z toho jste devětkrát vyhráli a šestkrát prohráli. Na druhém jste hráli pouze dvakrát a jednou jste vyhráli a podruhé ne. Který automat je slibnější?

Když jednoduše podělíte počet výher celkovým počtem her, získáte „očekávanou hodnotu“ daného automatu. Podle této metody je na tom první automat očividně lépe. Z poměru 9:6 vychází očekávaná hodnota 60 %, přičemž poměr 1:1 u druhého automatu vede k očekávané hodnotě pouhých 50 %. To však není všechno. Pouhé dvě hry nejsou mnoho. V tomto ohledu prostě zatím nevíme, jak dobrý může druhý automat ve skutečnosti být.

Volba restaurace nebo alba ve výsledku představuje záležitost rozhodování, za jakou páku v kasinu života máme zatáhnout. Pochopení kompromisu mezi zkoumáním a využíváním však není pouze způsob zlepšení rozhodnutí, kde jíst a co poslouchat. Přináší také zásadní poznatky osvětlující, jak by se naše cíle měly měnit s věkem a proč nejracionálnější postup nespočívá ve výběru toho nejlepšího. Navíc se ukazuje, že zmíněný princip také leží mimo jiné v srdci webdesignu a klinických testů – dvou oblastí, jež se pospolu v jedné větě zpravidla neobjevují.

Lidé posuzují rozhodnutí spíše izolovaně, aby se pokaždé zaměřili na nalezení výsledku s nejvyšší očekávanou hodnotou. Rozhodnutí však nejsou izolovaná téměř nikdy a očekávanou hodnotou příběh nekončí. Přemýšlíte-li nejen o dalším rozhodnutí, ale o všech rozhodnutích, která v rámci stejných možností učiníte v budoucnosti, kompromis mezi zkoumáním a užíváním je pro celý proces naprosto zásadní. Matematik Peter Whittle píše, že tímto způsobem problém mnohorukého bandity „esenciální formou ztělesňuje konflikt patrný ve veškerém lidském počínání“.

Za kterou ze dvou pák byste tedy měli zatáhnout? Je to záludná otázka. A zcela závisí na něčem, co jsme zatím nezmínili – jak dlouho plánujete v kasinu zůstat.

Užívej intervalu

„Carpe diem,“ prohlašuje Robin Williams v jedné z nejpamátnějších scén ve filmu Společnost mrtvých básníků z roku 1989. „Užívejte dne, hoši. Učiňte své životy mimořádnými.“

Taková rada je neuvěřitelně důležitá. Zároveň je také určitým způsobem paradoxní. Užívat dne a užívat celého života jsou dvě zcela odlišné snahy. V angličtině existuje rčení: „Jezme, pijme a veselme se, neboť zítra zemřeme,“ ale možná by k němu mělo existovat i opačné rčení: „Začněte se učit nový jazyk nebo hrát na hudební nástroj a zapředejte hovor s cizími lidmi, protože život je dlouhý a kdovíjaké radosti v něm mohou v průběhu mnoha let vykvést.“ Když hledáme rovnováhu mezi oblíbenými a novými zážitky, ze všeho nejdůležitější je interval, v jakém si je hodláme vychutnat.

„Nové restaurace budu zkoušet s větší pravděpodobností potom, co se nastěhuji do města, než předtím, než ho budu opouštět,“ vysvětluje datový vědec a blogger Chris Stucchio, ostřílený veterán ze soubojů s kompromisem mezi zkoumáním a užíváním v práci i v životě. „Teď chodím nejčastěji do restaurací, které znám a zbožňuju, protože vím, že New York můžu brzy opustit. Ale když jsem se před pár lety přestěhoval do Puné v Indii, jedl jsem kdekoli, kde to nevypadalo životu nebezpečně. Když jsem pak město opouštěl, navštívil jsem spíše znovu všechna oblíbená místa, než abych zkoušel nová… I kdybych našel nějaký o trochu lepší podnik, proč riskovat, když bych do něj mohl zajít už jen jednou nebo dvakrát?“

Zkoušení nových věcí má jednu důležitou vlastnost – hodnota zkoumání neboli hledání nových oblíbenců se může postupem času pouze snižovat, jelikož nám ubývá příležitostí, kdy si je můžeme vychutnat. Objevíte-li během poslední noci ve městě kouzelnou kavárnu, nezískáte příležitost se do ní vrátit.

Na druhou stranu, hodnota užívání může postupem času pouze narůstat. Nejhezčí kavárna, kterou znáte dnes, je už z principu přinejmenším stejně hezká jako nejhezčí kavárna, o níž jste věděli před měsícem. (A jestli jste si od té doby našli další oblíbený podnik, možná vám bude připadat ještě hezčí.) Takže zkoumejte, budete-li mít čas na využití výsledných poznatků, užívejte, dokud to nebudete muset zabalit. Strategie spočívá v intervalu.

Je zajímavé, že když strategie spočívá v intervalu, můžeme také interval odvodit sledováním strategie. Vezměte si například Hollywood: mezi deseti nejvýdělečnějšími filmy roku 1981 byla pouze dvě pokračování. V roce 1991 mezi nimi byla tři. V roce 2001 pět. A v roce 2011 bylo osm z deseti nejvýdělečnějších filmů pokračováním. Ve skutečnosti v roce 2011 dosáhl poměr pokračování v produkci největších studií rekordní hodnoty. Tu hned nato překonal rok 2012. Totéž se stalo další rok. Žurnalista Nick Allen v prosinci roku 2012 uvedl s hmatatelnou únavou tituly plánované na příští rok:

Diváci dostanou šestou porci X-menů a k tomu Rychle a zběsile 6, Smrtonosnou past 5, Scary Movie 5 a Paranormal Activity 5. Mimo jiné vyjde Iron Man 3, třetí pokračování Pařby a druhá pokračování Mupetů, Šmoulů, G. I. Joe a filmu Santa je úchyl.

Z pohledu filmového studia pokračování představuje film se zaručenou fanouškovskou základnou – dojnou krávu, jistotu, užívání. Přílišné množství takových jistot poukazuje na krátkodobý přístup, jako v případě Stucchia před odjezdem z města. Je pravděpodobnější, že letos se stanou hity spíše z pokračování, než ze zcela nových filmů, ale odkud se vezmou milované série v budoucnosti? Taková záplava pokračování je nejen politováníhodná (kritici jsou o tom přesvědčeni), ale i jistým způsobem dojemná. Filmový průmysl vstoupil do fáze zaměřené téměř výhradně na užívání, čímž podle všeho signalizuje, že se blíží konec jeho intervalu.

Podíváme-li se na ekonomiku Hollywoodu, naše tušení se potvrdí. Výdělky největších filmových studií se mezi lety 2007 a 2011 snížily o 40 % a výtěžek z prodeje lístků klesl v sedmi z posledních deseti let. Jak stojí v magazínu The Economist: „Velká studia se tísní mezi vzrůstajícími náklady a klesajícími tržbami, a proto reagují vytvářením převahy filmů, které považují za potenciální hity: zpravidla sequely (pokračování), prequely (předcházející snímky) nebo cokoli jiného, kde hrají známé postavy.“ Jinými slovy – tahají za páky nejlepších hracích automatů, které mají, dokud je nevyhodí z kasina.

Win-Stay

Hledání optimálních algoritmů, které by nám přesně prozradily, jak přistupovat k problému mnohorukého bandity, se ukázalo být neuvěřitelně náročné. Peter Whittle vzpomíná na takové pokusy během druhé světové války: „Otázka natolik vysála energii a mysl spojeneckých analytiků … že nakonec padl návrh přehodit problém na Německo jako definitivní nástroj intelektuální sabotáže.“

První kroky k řešení byly podniknuty v poválečných letech, kdy matematik Herbert Robbins z Kolumbijské univerzity dokázal existenci jednoduché strategie přinášející navzdory své nedokonalosti alespoň nějaké příjemné záruky.

Robbins se konkrétně zaměřil na případ s přesně dvěma hracími automaty a navrhl řešení zvané algoritmus Win-Stay, Lose-Shift (vyhraješ-li, zůstaň, prohraješ-li, vyměň): vyberete si náhodně jednu z pák a budete za ni tahat, dokud se vám to bude vyplácet. Pokud se po určitém zatažení páka nevyplatí, přejděte ke druhé. Ačkoli je tato jednoduchá strategie na hony vzdálená od úplného řešení, Robbins v roce 1952 dokázal, že funguje lépe než náhoda.

V návaznosti na Robbinse řada prací hlouběji probádala princip „zůstávání u vítěze“. Pokud byste už byli ochotní zatáhnout za páku a hra by se vyplatila, z intuitivního hlediska by se tak měl zvýšit odhad ceny takové páky a znovu byste za ni zatáhli ještě ochotněji. A skutečně – ukazuje se, že Win-Stay je prvkem optimální strategie k vyvážení zkoumání a užívání při široké řadě podmínek.

Lose-Shift je však úplně jiný příběh. Změna páky po každé prohře znamená dost unáhlený krok. Představte si, že stokrát zajdete do restaurace a pokaždé dostanete úžasné jídlo. Stačilo by jedno zklamání k úplnému zavržení takové restaurace? Dobré možnosti by neměly být tak přísně penalizované v případě chyby.

Ještě důležitější však je, že Win-Stay, Lose-Shift nijak nezohledňuje interval, v němž optimalizujete. Zklamala-li vás při poslední návštěvě vaše oblíbená restaurace, podle tohoto algoritmu byste bezvýhradně měli jít jinam – i když se jedná o vaši poslední noc ve městě.

Robbinsova původní práce však i přesto zahájila vznik podstatného množství literatury a vědci v následujících několika letech učinili výrazný pokrok. Richard Bellman, matematik z RAND Corporation, nalezl dokonalé řešení problému v případech, kdy předem přesně víme, kolik možností a příležitostí celkem budeme mít. Stejně jako u problému se sekretářkou s úplnou informací spočíval i Bellmanův trik ve zpětném postupu – začal tím, že si představil poslední zatažení za páku, a zvážil, který hrací automat si vybrat při všech možných výsledcích předchozích rozhodnutí. Po vyřešení této otázky byste se potom přesunuli k předposlední příležitosti, potom k té před ní, k další předcházející, a tak dále až na začátek.

Odpovědi vyvstávající z Bellmanovy metody jsou neprůstřelné, ale při mnoha možnostech a dlouhé návštěvě kasina mohou vyžadovat závratné – a dokonce nemožné – množství práce. I kdybychom navíc dokázali vypočítat všechny možné budoucnosti, samozřejmě nikdy přesně nevíme, kolik příležitostí (a dokonce ani kolik možností) budeme mít. Z těchto důvodů zůstal problém mnohorukého bandity ve výsledku nevyřešený. Slovy Whittlea: „Rychle se z něj stal klasický problém a synonymum nekompromisnosti.“

Gittinsův index

Jak tomu však v matematice často bývá, konkrétní je branou k univerzálnímu. V 70. letech 20. století požádala společnost Unilever mladého matematika Johna Gittinse, aby jim pomohl optimalizovat některé z jejich testů léčiv. Nečekaně obdrželi odpověď na matematickou hádanku zůstávající po celou generaci bez řešení.

Gittins, dnes profesor statistiky na Oxfordu, se zahloubal nad otázkou předloženou Unileverem. Máme-li k dispozici několik různých chemických sloučenin, jak nejrychleji určíme, která sloučenina bude pravděpodobně účinkovat proti nemoci? Gittins se pokusil problém zasadit do co nejobecnější možné formy – několik možností k ozkoušení, různá pravděpodobnost odměny u každé z nich a určitá míra úsilí (nebo peněz, nebo času) k rozdělení mezi možnostmi. Samozřejmě se jednalo o další inkarnaci problému mnohorukého bandity.

Farmaceutické firmy zaměřené na zisk i samotná lékařská profese jsou neustále vystaveny protichůdným požadavkům kompromisu mezi zkoumáním a užíváním. Firmy chtějí investovat peníze vyhrazené na výzkum a vývoj do objevování nových léků, ale zároveň chtějí zajistit, aby jejich současné ziskové produktové řady vzkvétaly. Lékaři chtějí předepisovat nejlepší existující léčby, aby pacienti obdrželi potřebnou péči, ale zároveň chtějí podporovat experimentální studie s příslibem vzniku ještě lepších procedur.

Je důležité zmínit, že v obou případech není zcela jasné, jaký by měl být relevantní interval. Farmaceutické firmy i lékaři se v určitém ohledu zajímají o neurčitou budoucnost. Firmy chtějí existovat teoreticky navždy a průlom na zdravotnickém poli by mohl v budoucnu pomáhat lidem, kteří se ještě nenarodili. Přítomnost má tak či onak vyšší prioritu: pacient vyléčený dnes je považován za hodnotnějšího než pacient vyléčený za týden nebo rok a totéž jistě platí pro zisk. Ekonomové tuto myšlenku hodnotového nadřazování přítomnosti vůči budoucnosti označují jako „diskontování“.

Gittins na rozdíl od předcházejících vědců přistoupil k problému mnohorukého bandity z tohoto úhlu pohledu. Zvážil cíl jako maximalizaci výplat nikoli v pevně daném časovém intervalu, ale pro nekonečnou, leč diskontovanou budoucnost.

Takové diskontování nám může být povědomé díky příkladům z vlastního života. Navštívíte-li totiž určité město na desetidenní dovolenou, potom byste měli svá rozhodnutí týkající se restaurací provádět s fixním intervalem na paměti; pokud však v určitém městě žijete, stejný postup by nedával smysl. Namísto toho si můžete představit, jak hodnota odměn klesá, čím dále do budoucnosti pokročíte – více vám záleží na jídle, které sníte dnes večer, než na jídle naplánovaném na zítra nebo za rok, přičemž „o kolik“ závisí na vaší konkrétní „diskontní funkci“. Gittins sám přišel s domněnkou, že hodnota přiřazená odměnám se snižuje geometricky – to znamená, že každá návštěva restaurace odpovídá konstantnímu podílu předcházející návštěvy. Věříte-li například, že existuje 1% pravděpodobnost, že vás v libovolný den srazí autobus, potom byste měli zítřejší večeři přiřadit 99 % hodnoty té dnešní už jen proto, že byste se jí nemuseli dožít.

Gittins na základě předpokladu diskontování geometrickou řadou prozkoumal strategii, kterou považoval „za přinejmenším dost dobrou aproximaci“. Napadlo ho zamyslet se nad každou pákou mnohorukého bandity izolovaně od ostatních a pokusit se určit hodnotu každé páky zvlášť. K tomuto účelu si představil něco poměrně geniálního – úplatek.

V populární televizní hře Deal or No Deal (Plácneme si, nebo ne) si soutěžící vybírá jeden z 26 kufříků obsahujících ceny v hodnotě od jedné pence po milion dolarů. V průběhu hry se pravidelně objevuje záhadná postava Bankéře, který soutěžícím nabízí různé částky peněz za to, že vybraný kufřík neotevřou. Soutěžící se pak sám musí rozhodnout, jestli upřednostní jistotu nabídky nad nejistotou ceny v kufříku.

Gittins (ačkoli mnoho let předtím, než se v televizi objevil první díl Deal or No Deal) si uvědomil, že problém mnohorukého bandity je úplně stejný. O každém hracím automatu víme málo nebo vůbec nic a každý má určitou zaručenou výši výplaty. Kdyby nám namísto hry na daném automatu nabídl jeho potenciální odměnu, bez váhání bychom za jeho páku už nezatáhli. Tuto hodnotu (Gittinsem pojmenovanou jako „index dynamického přiřazení“) dnes zná svět pod názvem Gittinsův index. Poukazuje na očividnou strategii v kasinu – vždy hrajte na automatu s nejvyšším indexem.5

Ve skutečnosti se ukázalo, že indexová strategie je víc než dobrá aproximace. Zcela řeší problém mnohorukého bandity s geometricky diskontovanými výplatami. Napětí mezi zkoumáním a využíváním je nakonec zastoupeno jednodušší úlohou – maximalizací jediného množství platného pro zkoumání i využívání. Gittins o svém počinu hovoří skromně: „Není to zrovna Velká Fermatova věta.“ Je to však věta, která dořešila velkou skupinu otázek v dilematu mezi zkoumáním a využíváním.

Samotný výpočet Gittinsova indexu pro konkrétní stroj na základě jeho dosavadních výsledků a naší míry diskontování je i v této strategii zásadní. Jakmile se však dozvíme Gittinsův index pro určitou sadu předpokladů, můžeme ho využít pro jakýkoli problém ve stejné formě. Nejpodstatnější je, že ani nezáleží na tom, kolik pák je ve hře, protože pro každý automat provádíme výpočet zvlášť.

V tabulce o pár odstavců dále uvádíme hodnoty Gittinsova indexu pro celkem až devět úspěchů a selhání, za předpokladu, že výhru v následující hře na stejném automatu ceníme stejně vysoko jako 90 % výhry v této hře. Tyto hodnoty lze použít k vyřešení řady každodenních problémů mnohorukého bandity. Za takových předpokladů byste například měli upřednostnit hrací automat s dosavadním výsledkem 1-1 (a očekávanou hodnotou 50 %) před automatem s výsledkem 9-6 (a očekávanou hodnotou 60 %). Vyhledáte-li si odpovídající souřadnice v tabulce, uvidíte, že méně prozkoumaný automat má index 0,6346 a častěji hraný automat dosahuje pouze 0,6300. Problém je vyřešen: tentokrát zkuste své štěstí a zkoumejte.

Když si prohlédnete hodnoty Gittinsova indexu v tabulce, dospějete k několika dalším zajímavým zjištěním. Za prvé můžete dobře vidět zapojení principu Win-Stay – jdeme-li po libovolné řadě zleva doprava, hodnoty indexu se vždy zvyšují. Pokud tedy někdy narazíme na správnou páku a po jejím zatažení vyhrajeme, potom (když se posouváme v tabulce doprava) je naprosto logické zatáhnout za ni znovu. Za druhé je patrné, v jakých situacích by vás postup lose-shift dostal do potíží. Po devíti prvotních vítězstvích následovaných prohrou dostanete index 0,8695, což je pořád více než většina ostatních hodnot v tabulce – takže byste pravděpodobně měli zůstat u stejného automatu přinejmenším na další hru.

Pravděpodobně nejzajímavější částí tabulky je však pole v levém horním rohu. Výsledek 0-0 (zcela neznámá páka) má očekávanou hodnotu 0,5000, ale Gittinsův index 0,7029. Jinými slovy, něco, s čím nemáte vůbec žádné zkušenosti, je téměř stejně poutavé jako automat, který se ověřeně vyplácí v sedmi z deseti případů. Při sestupu po úhlopříčce si povšimněte, že výsledek 1-1 přináší index 0,6346, výsledek 2-2 odpovídá 0,6010, a tak dále. Přetrvává-li takováto 50% úspěšnost, index se skutečně nakonec ustálí na hodnotě 0,5000, jak vyplývá ze zkušenosti potvrzující, že takový automat není nic extra a připravuje nás o „bonus“ podněcující k dalšímu zkoumání. Tato konvergence probíhá poměrně pozvolna; bonus za zkoumání představuje mocnou sílu. Skutečně je to tak – povšimněte si, že dokonce i selhání při první hře s výsledkem 0-1 stále vede ke Gittinsovu indexu vyššímu než 50 %.

Vítězství

Prohry

0

1

2

3

4

5

6

7

8

9

0

,7029

,8001

,8452

,8723

,8905

,9039

,9141

,9221

,9287

,9342

1

,5001

,6346

,7072

,7539

,7869

,8115

,8307

,8461

,8588

,8695

2

,3796

,5163

,6010

,6579

,6996

,7318

,7573

,7782

,7956

,8103

3

,3021

,4342

,5184

,5809

,6276

,6642

,6940

,7187

,7396

,7573

4

,2488

,3720

,4561

,5179

,5676

,6071

,6395

,6666

,6899

,7101

5

,2103

,3245

,4058

,4677

,5168

,5581

,5923

,6212

,6461

,6677

6

,1815

,2871

,3647

,4257

,4748

,5156

,5510

,5811

,6071

,6300

7

,1591

,2569

,3308

,3900

,4387

,4795

,5144

,5454

,5723

,5960

8

,1413

,2323

,3025

,3595

,4073

,4479

,4828

,5134

,5409

,5652

9

,1269

,2116

,2784

,3332

,3799

,4200

,4548

,4853

,5125

,5373

Hodnoty Gittinsova indexu jako funkce vítězství a proher za předpokladu, že příští výhru oceníme na 90 % aktuální výhry.

Můžeme také vidět, jak se kompromis mezi zkoumáním a využíváním mění, když měníme způsob diskontování budoucnosti. Následující tabulka uvádí stejné informace jako ta předcházející, ale předpokládá, že výhra v příští hře pro nás neodpovídá 90, ale 99 % aktuální výhry. Má-li budoucnost téměř stejnou váhu jako přítomnost, hodnota náhodného objevu se oproti přijetí jisté nabídky ještě zvýší. V takovém případě má nijak netestovaný automat subjektivní hodnotu odpovídající 86,99% šanci na výhru!

Vítězství

Prohry

0

1

2

3

4

5

6

7

8

9

0

,8699

,9102

,9285

,9395

,9470

,9525

,9568

,9603

,9631

,9655

1

,7005

,7844

,8268

,8533

,8719

,8857

,8964

,9051

,9122

,9183

2

,5671

,6726

,7308

,7696

,7973

,8184

,8350

,8485

,8598

,8693

3

,4701

,5806

,6490

,6952

,7295

,7561

,7773

,7949

,8097

,8222

4

,3969

,5093

,5798

,6311

,6697

,6998

,7249

,7456

,7631

,7782

5

,3415

,4509

,5225

,5756

,6172

,6504

,6776

,7004

,7203

,7374

6

,2979

,4029

,4747

,5277

,5710

,6061

,6352

,6599

,6811

,6998

7

,2632

,3633

,4337

,4876

,5300

,5665

,5970

,6230

,6456

,6654

8

,2350

,3303

,3986

,4520

,4952

,5308

,5625

,5895

,6130

,6338

9

,2117

,3020

,3679

,4208

,4640

,5002

,5310

,5589

,5831

,6045

Hodnoty Gittinsova indexu jako funkce vítězství a proher za předpokladu, že příští výplata se rovná 99 % aktuální výhry.

Gittinsův index tedy poskytuje formální, vědou podpořené ospravedlnění preference neznámého za předpokladu, že máme příležitost využít výsledky zjištěné při zkoumání. Staré pořekadlo praví, že „na druhé straně plotu je tráva vždycky zelenější“, ale matematika vysvětluje proč – neznámé je pravděpodobně lepší, i když čekáme stejnou hodnotu, nebo bude-li se stejnou pravděpodobností horší. Neotestovaný zelenáč je hodnotnější (na začátku sezóny každopádně) než veterán se zdánlivě vyrovnanou schopností právě proto, že o něm víme méně. Zkoumání samo o sobě je hodnotné, jelikož zkoušení nových věcí zvyšuje naše šance na nalezení těch nejlepších. Zohledňování budoucnosti namísto soustředění výhradně na přítomnost nás tedy pohání směrem k novosti.

Gittinsův index z toho důvodu poskytuje úchvatně přímočaré řešení problému mnohorukého bandity. Tím však daný rébus definitivně neuzavírá, ani nám automaticky nepomáhá zorientovat se ve všech kompromisech mezi zkoumáním a užíváním v každodenním životě. Je důležité zmínit, že Gittinsův index je optimální pouze za určitých podmínek. Závisí na geometrickém diskontování budoucí odměny s ohodnocením každé další hry konstantním podílem předchozí, což podle řady experimentů v oblasti behaviorální ekonomie a psychologie lidé běžně nedělají. Gittinsova strategie navíc přestává být optimální i v případech, kdy je přechod od jedné možnosti k jiné spojen s náklady. (Tráva na druhé straně plotu je možná na pohled zelenější, to však samo o sobě neospravedlňuje přelezení plotu – natož druhou hypotéku.) Především je však těžké vypočítat Gittinsův index za běhu. Nosíte-li s sebou tabulku s hodnotami indexu, dokážete optimalizovat výběr restaurace, ale vynaložený čas a úsilí za to stát nemusejí. („Počkej, tohle vyřeším. Tahle restaurace byla dobrá ve 29 z 35 návštěv, ale tahle ve 13 ze 16 návštěv, takže Gittinsovy indexy jsou … Kam jste se všichni poděli?“)

Od vynalezení Gittinsova indexu podobné záležitosti přiměly informatiky a statistiky hledat jednodušší a flexibilnější strategie řešení problému mnohorukého bandity. Nové strategie dokáže člověk (i stroj) vztáhnout na řadu situací snáze než při počítání Gittinsova indexu, přičemž stále zaručují poměrně dobré výsledky. Týkají se také jednoho ze čtyř největších strachů v souvislosti s rozhodováním.

Výčitky a optimismus

Výčitky, těch jsem pár měl. Ale přece jen – jen pár, co stojí za zmínku.

Frank Sinatra, překlad úryvku z textu písně My Way

Sám jsem optimistou. Připadá mi, že není moc užitečné být čímkoli jiným.

Winston Churchill

Je-li Gittinsův index příliš složitý nebo se nenacházíte v situaci spojené s geometrickým diskontováním, máte jinou možnost – zaměřit se na výčitky. Když se rozhodujeme, kde budeme jíst, s kým strávíme čas nebo v jakém městě budeme bydlet, výčitky bývají obrovské. Pokud před sebou máme skupinu dobrých možností, je snadné mučit sami sebe následky špatné volby. Takové výčitky se často týkají věcí, které jsme nezvládli udělat, a nikdy nevyzkoušených možností. Jak praví památná slova Chestera Barnarda: „Zkusit a neuspět znamená přinejmenším poučit se; nezkusit znamená trápit se nevyčíslitelnou ztrátou toho, co mohlo být.“ Lítost může být také vysoce motivující. Než se Jeff Bezos rozhodl rozjet Amazon.com, měl jisté a dobře placené zaměstnání v investiční firmě D. E. Shaw & Co. v New Yorku. Založení internetového knihkupectví v Seattlu pro něj představovalo obrovský skok – a jeho šéf (tzn. D. E. Shaw) mu poradil, aby si rozhodnutí pečlivě promyslel. Jak tvrdí Bezos:

Našel jsem takový rámec, díky kterému bylo rozhodnutí neuvěřitelně snadné. Nazval jsem ho „rámec pro minimalizaci výčitek“ – takový název by mohl vymyslet nejspíš jen nerd. Chtěl jsem si představit sám sebe v 80 letech a říct si: „Dobře, teď se ohlížím za svým životem. Chci minimalizovat počet výčitek, co mě trápí.“ Věděl jsem, že v 80 nebudu litovat rozhodnutí, že jsem se pokusil pustit do podnikání. Nebudu litovat, že jsem se pokusil podílet na tomhle internetu, který mi připadal jako opravdu velká věc. Věděl jsem, že kdybych neuspěl, ničeho bych nelitoval, ale vyčítal bych si, kdybych se vůbec nepokusil. Věděl jsem, že tyto výčitky by mě sužovaly každý den, a když jsem se nad celým problémem zamyslel takto, následující rozhodnutí bylo neuvěřitelně snadné.

Informatika vám nemůže poskytnout život bez výčitek. Potenciálně vám však může nabídnout právě to, co hledal Bezos – život s minimálními výčitkami.

Lítost je následkem srovnávání toho, co jsme skutečně dělali, s tím, co by zpětně mohlo být. V případě mnohorukého bandity se Barnardova „nevyčíslitelná ztráta“ dá ve skutečnosti vyčíslit přesně a výčitkám lze přiřadit číslo – tím je rozdíl mezi celkovou odměnou získanou postupem podle určité strategie a celkovou odměnou, kterou bychom teoreticky bývali získali, kdybychom pokaždé zatáhli za nejlepší páku (kdybychom tedy od začátku věděli, jaká to je). Zmíněnou hodnotu můžeme vypočítat pro různé strategie a hledat takové, co ji minimalizují.

Herbert Robbins se v roce 1985 podruhé zaměřil na problém mnohorukého bandity – zhruba třicet let po své prvotní práci na algoritmu Win-Stay, Lose-Shift. Společně s kolegou matematikem z Kolumbijské univerzity Tze Leung Laiem dokázal několik klíčových faktů o výčitkách. Za prvé, předpokládáme-li, že nejsme vševědoucí, celková míra lítosti se pravděpodobně nikdy nepřestane zvyšovat, ani když vyberete nejlepší možnou strategii – protože dokonce ani ta nejlepší strategie není vždy úplně dokonalá. Za druhé, vyberete-li si nejlepší strategii a ne žádnou jinou, lítost se bude navyšovat pomaleji; při dobré strategii se výčitky navíc budou postupem času snižovat, když se o daném problému dozvíte víc a budete schopní činit lepší rozhodnutí. Za třetí – nejdůležitější bod – minimální možné výčitky (opět za předpokladu, že nevíme vše) se zvyšují logaritmicky s každým zatažením za páku.

Logaritmicky rostoucími výčitkami se rozumí, že při prvních deseti hrách uděláme stejný počet chyb jako v následujících devadesáti; tedy stejný počet v prvním roce jako ve zbytku desetiletí v součtu. (Počet chyb v prvním desetiletí zase odpovídá počtu chyb ve zbytku století.) Takový pohled přináší určitou útěchu. Obecně nemůžeme realisticky očekávat, že jednou nastane den, kdy nebudeme mít žádné další výčitky. Postupujeme-li však podle algoritmu k minimalizaci výčitek, můžeme čekat, že každý rok budeme mít méně výčitek než vloni.

Počínaje Laiem a Robbinsem vědci v posledních desetiletích hledali algoritmy poskytující záruku minimálních výčitek. Ze všech objevených algoritmů jsou ty nejpopulárnější známy pod názvem algoritmy horní meze spolehlivosti.

Grafická znázornění statistických údajů často zahrnují takzvané vymezení chyby – úsečky sahající nad a pod jakýkoli datový bod, jež představují nejistotu při měření. Vymezení chyby zobrazuje rozsah přijatelných hodnot, které daná veličina může skutečně mít. Tento rozsah je znám pod názvem „interval spolehlivosti“. Čím více dat o dané věci nashromáždíme, tím více se interval spolehlivosti smrští a tak vystihne stále přesnější hodnocení. (Například hrací automat, který se vyplatil při jedné ze dvou her, bude mít širší interval spolehlivosti, ale stejnou očekávanou hodnotu jako automat, u něhož se vyplatilo pět z deseti her.) Algoritmus horní meze spolehlivosti v případě problému mnohorukého bandity jednoduše poukazuje na to, že bychom měli vybrat možnost s nejvyšší horní mezí intervalu spolehlivosti.

Z toho vyplývá, že algoritmy horní meze spolehlivosti přiřazují každé páce mnohorukého bandity vlastní číslo. To na základě dostupných informací vyjadřuje nejvyšší možnou hodnotu, které páka může v rozumné míře dosáhnout. Algoritmus horní meze spolehlivosti tedy nepotřebuje vědět, jaký automat doposud pracoval nejúspěšněji; namísto toho vybírá páku, která by mohla opodstatněně fungovat nejlépe v budoucnosti. Pokud jste například ještě nikdy nebyli v restauraci, pak na základě vašich zkušeností nejspíš bude návštěva restaurace skvělá. I v situaci, kdy jste ji navštívili dvakrát nebo třikrát a vyzkoušeli pár jídel, stále nemusíte mít dostatek informací k vyloučení možnosti, že by podnik mohl být lepší než váš pravidelný favorit. Horní mez spolehlivosti je stejně jako Gittinsův index vždy vyšší než očekávaná hodnota, ale s nárůstem zkušeností u určité možnosti je čím dál nižší. (Restaurace s jednou průměrnou recenzí má stále potenciál skvělosti, jenž restaurace se stovkou takových recenzí postrádá.) Doporučení vyplývající z algoritmu horní meze spolehlivosti budou podobné doporučením Gittinsova indexu, jejich spočtení je však výrazně snazší a nevyžaduje podmínku geometrického diskontování.

Algoritmy horní meze spolehlivosti zapojují princip nazvaný „optimismus navzdory nejistotě“. Ukazují, že optimismus může být dokonale racionální. Zaměřují se na nejlepší podobu možnosti na základě doposud získaných důkazů, a podporují tak možnosti, o nichž nevíme tolik. Následkem toho takové algoritmy vkládají do rozhodovacího procesu dávku zkoumání a umožňují nám nadšeně zkoušet nové možnosti, protože jedna z nich by mohla být příští úplně ze všech nejlepší. Stejný princip používá například Leslie Kaelblingová z MIT, tvůrkyně „optimistických robotů“ zkoumajících okolní prostor prostřednictvím navyšování hodnoty nezmapovaného terénu. Zmíněné algoritmy očividně mají význam i v životě člověka.

Úspěch algoritmů horní meze poskytuje formální ospravedlnění jednání navzdory nedostatku důkazů. Na základě rad vyplývajících z těchto algoritmů byste měli nadšeně poznávat nové lidi a zkoušet nové věci – předpokládat o nich to nejlepší, pokud nemáte k dispozici důkazy o opaku. Z dlouhodobého hlediska představuje optimismus nejlepší prevenci proti výčitkám.

Internetoví banditi

Produktový manažer Googlu Dan Siroker si v roce 2007 vzal služební volno, aby se podílel na prezidentské kampani tehdejšího senátora Baracka Obamy v Chicagu. V čele týmu „Analytiků nových médií“ použil v dané kampani jednu z praktik Googlu na sytě červené tlačítko DAROVAT. Výsledek byl závratný: přímým následkem jeho práce bylo 57 milionů dolarů vybraných na dalších příspěvcích.

Co přesně s tím tlačítkem udělal?

Použil na něj A/B testování.

A/B testování funguje takto: firma připraví několik různých verzí určité webové stránky. Může zkusit různé barvy nebo obrázky, různé titulky k článku nebo různá uspořádání položek na obrazovce. Potom náhodně a vyrovnaně rozdělí různé verze mezi příchozí uživatele. Jeden uživatel uvidí červené tlačítko, jiný zase modré tlačítko; jednomu se může zobrazit nápis DAROVAT a jinému nápis PŘISPĚT. Potom jsou monitorovány relevantní metriky (např. míra prokliků nebo průměrný zisk na návštěvníka). Když po určité době analytici zjistí statisticky významné jevy, „vítězná“ verze se obvykle zobrazuje všem uživatelům – nebo se použije jako kontrolní materiál v dalším kole experimentů.

V případě Obamovy fundraisingové stránky odhalily Sirokerovy A/B testy zásadní informace. Ukázalo se, že pro první návštěvníky nejlépe fungovalo tlačítko DAROVAT A ZÍSKAT DÁREK, dokonce i po započtení nákladů na rozesílání dárků. Pro dlouhodobé odběratele newsletterů, kteří nikdy nic nedarovali, fungovalo nejlépe tlačítko PROSÍME VÁS O DAR, což pravděpodobně oslovilo jejich pocit provinilosti. U návštěvníků, již už v minulosti přispěli, na zajištění návazných darů nejlépe zafungovalo tlačítko PŘISPĚT – člověk sice již „daroval“, ale mohl „přispět“ ještě víc. Tým analytiků zcela užasl, když zjistil, že nad všemi zkoušenými obrázky a videi jednoznačně zvítězila černobílá fotografie rodiny Obamových. Výsledný efekt všech popisovaných optimalizací byl enormní.

Jestli jste v posledních letech vůbec někdy použili internet, stali jste se součástí problému zkoumání/využívání někoho jiného. Firmy chtějí objevovat co nejvýdělečnější věci a zároveň na nich co nejvíce vydělat – zkoumat a využívat. Velké technologické firmy jako Amazon a Google začaly provádět A/B testy naživo na svých uživatelích zhruba někdy v roce 2000 a od té doby se z internetu stal největší řízený experiment na světě. Co tyto firmy zkoumají a využívají? Jednoduše řečeno – vás. Cokoli, co vás přiměje pohnout myší a otevřít peněženku.

Firmy testují systémem A/B navigaci na stránce, texty v předmětu zprávy a načasování e-mailingu a občas dokonce i jejich vlastní produkty a ceny. Namísto jednoho primárního vyhledávacího algoritmu Googlu a jedinečného checkout flow (toku objednávky) Amazonu dnes existují nesčetné a nepředstavitelně subtilní permutace. (Google v roce 2009 provedl nechvalně proslulé testování jednačtyřiceti odstínů modré na jednom ze svých nástrojových panelů.) V některých případech je nepravděpodobné, že by jakákoli dvojice uživatelů měla přesně stejnou zkušenost.

Datový vědec a bývalý manažer datového týmu Facebooku Jeff Hammerbacher jednou sdělil týdeníku Bloomberg Businessweek, že „nejlepší mozky mé generace přemýšlejí nad tím, jak přimět lidi, aby klikali na reklamy“. Považujme je za Kvílení mileniálů – za to, co pro beat generation znamenal nesmrtelný verš Allena Ginsberga: „Viděl jsem nejlepší hlavy své generace zničené šílenstvím.“ Hammerbacher situaci vnímal tak, že současný stav „stojí za prd“. Ale ať už si o tom myslíme cokoli, web dnes umožňuje experimenty, o nichž se marketérům v minulosti ani nesnilo.

Samozřejmě dobře víme, jak u voleb v roce 2008 dopadl Obama. Co se však stalo s jeho ředitelem týmu analytiků Danem Sirokerem? Po prezidentské inauguraci se vrátil na západ do Kalifornie a s kolegou z Googlu Petem Koomenem založil firmu Optimizely, poskytující optimalizaci webových stránek. Na konci prezidentského období v roce 2012 měla jejich firma mezi svými klienty jak kampaň za znovuzvolení Obamy, tak kampaň republikánského vyzyvatele Mitta Romneyho.

Zhruba po deseti letech od prvního provizorního použití přestalo být A/B testování tajnou zbraní. Stalo se tak hluboce zakořeněnou součástí chodu internetového podnikání a politiky, že ho bereme jako naprostou samozřejmost. Až příště otevřete prohlížeč, můžete si být jistí, že barvy, obrázky, text a možná dokonce i ceny, které se vám zobrazí – a samozřejmě také reklamy – vycházejí z algoritmu pro řešení kompromisu mezi zkoumáním a využíváním přizpůsobeného vašemu klikání. V tomto konkrétním problému mnohorukého bandity nefigurujete jako hráči, ale jako jackpot.

Proces A/B testování se postupem času výrazně zdokonalil. Nejkanoničtější nastavení A/B – rozdělení provozu na webové stránce mezi dvě možnosti, průběh testu po pevně nastavenou dobu, a tím pádem předání veškerého provozu vítězi – možná nepředstavuje nejlepší algoritmus k vyřešení problému, jelikož polovina uživatelů během testování setrvává u horší možnosti. Odměny za nalezení lepšího přístupu by mohly být velmi vysoké. Více než 90 % z 50 miliard dolarů ročního příjmu Googlu pochází z placených reklam a z e-komerce plynou stovky miliard dolarů ročně. To znamená, že algoritmy zkoumání/využívání ve výsledku pohánějí ekonomicky i technologicky významný podíl samotného internetu. Nejlepší algoritmy jsou stále předmětem diskuse a soupeřící statistikové, inženýři a blogeři donekonečna svádějí bitvy o optimální způsob vyvážení poměru zkoumání a využívání ve všech možných byznysových scénářích.

Rozebírání přesných rozdílů mezi řešeními problému zkoumání/využívání vám možná připadá určené pouze pro hrstku zasvěcených. Ve skutečnosti se však ukazuje, že takové rozdíly jsou nesmírně důležité – a v sázce nejsou pouze prezidentské volby a internetová ekonomika. Jde také o lidské životy.

Testování klinických testů

Skupina lékařů se v rámci čtyřicetilého experimentu mezi lety 1932 a 1972 rozhodla záměrně neléčit několik set afroamerických mužů nakažených syfilis v Macon County v Alabamě. Tento experiment americké agentury Public Health Service (PHS) je dnes znám pod názvem Tuskegee Syphilis Study. Zaměstnanec PHS Peter Buxtun v roce 1966 podal protest. V roce 1968 podal druhý. Ale americká vláda studii zastavila teprve ve chvíli, kdy příběh odhalil tisku – objevil se v deníku Washington Star 25. července 1972 a hned následující den se dostal na titulní stranu New York Times.

Po veřejném rozhořčení a následném jednání v Kongresu vznikla iniciativa k formalizaci zásad a norem lékařské etiky. Komise svolaná v Belmont Conference Center v Marylandu vedla v roce 1979 ke vzniku dokumentu známého jako Belmontská zpráva. Belmontská zpráva stanoví základy etické praxe lékařských experimentů, aby se experiment v Tuskegee – mimořádné, jednoznačně nepatřičné porušení profesních povinností lékaře vůči pacientovi – nikdy nemohl opakovat. Zohledňuje však také náročnost přesného stanovení dělicí linie.

„Hippokratovo pravidlo ‚neublížíš‘ je již velmi dlouhou dobu základním principem lékařské etiky,“ stojí ve zprávě. „[Lékař] Claude Bernard ho rozšířil i do oblasti výzkumu, když tvrdil, že by nikdo neměl ublížit jedinému člověku nehledě na výhody, které by mohl přinést ostatním. Na druhé straně, chceme-li zabránit újmě, musíme zjistit, co je škodlivé; a při získávání takové informace mohou být lidé vystaveni riziku ublížení.“

Belmontská zpráva tedy přiznává (ale neřeší) napětí mezi jednáním podle vlastního nejlepšího vědomí a získáváním dalších poznatků. Zároveň jasně uvádí, že shromažďování vědomostí může být tak hodnotné, že běžnou lékařskou etiku lze v některých ohledech dočasně odstavit. Ve zprávě stojí, že klinické testování nových léčiv a procedur často vyžaduje riziko újmy některých pacientů, přestože zodpovědní výzkumníci podniknou kroky k minimalizaci takového rizika.

Princip dobra není vždy tak jednoznačný. Stále přetrvává složitý etický problém týkající se výzkumu [dětských onemocnění] představujícího větší než minimální riziko bez vidiny okamžitého užitku pro zapojené děti. Ozvaly se hlasy namítající, že takový výzkum je nepřípustný, zatímco jiní podotkli, že toto omezení by vyřadilo velkou část slibného výzkumu s pravděpodobným budoucím prospěchem pro děti. Zde stejně jako ve všech obtížných případech platí, že může dojít ke konfliktu mezi nároky spadajícími pod princip dobra a k následnému vynucení těžkých rozhodnutí.

Jednou z nejzásadnějších otázek, které vyvstaly v desetiletích po uveřejnění Belmontské zprávy, je otázka, zda standardní přístup k provádění klinických testů skutečně minimalizuje riziko pacientovy újmy. Při klasickém klinickém testování jsou pacienti rozděleni do skupin a každé skupině je přiřazena po celou délku trvání studie jiná léčba. (Testování se předčasně zastavuje pouze ve výjimečných případech.) Procedura je navržená spíše k rozhodnému vyřešení otázky, který z postupů léčby je lepší, než na poskytování nejlepší možné léčby každému z pacientů zahrnutých do testování. V tomto ohledu fungují klinické testy stejně jako A/B testování webových stránek; určití lidé při podstupování testu obdrží zkušenost, která bude nakonec prohlášena za méněcennou či horší. Lékaři však stejně jako technologické společnosti získávají informace o prospěšnosti jednotlivých metod v průběhu testování. Tyto informace mohou být využity k zajištění lepších výsledků nejen u budoucích pacientů po skončení testů, ale také u pacientů, kteří se jich právě účastní.

V experimentech určených ke zjištění optimální konfigurace webové stránky jsou v sázce miliony dolarů, ale při klinických testech má hledání optimálních způsobů léčby přímý dopad na lidské životy. Stále širší společenství lékařů a statistiků se domnívá, že u takových testů postupujeme špatně – že bychom měli k výběru způsobů léčby přistupovat jako k problému mnohorukého bandity a zajistit lepší léčbu lidem dokonce i během experimentu.

Biostatistik Marvin Zelen, dnes působící na Harvardově univerzitě, v roce 1969 navrhl zavedení „adaptivních“ testů. Jednou z předložených myšlenek byl randomizovaný algoritmus pro „setrvání u vítěze“ – určitá verze Win-Stay, Lose-Shift, při které se pravděpodobnost využití dané léčebné procedury zvyšuje s každým vítězstvím a snižuje s každou prohrou. Zelenův postup začíná kloboukem obsahujícím po jednom míčku pro každý ze dvou zkoumaných léčebných postupů. Léčba prvního pacienta je stanovena náhodným tažením míčku z klobouku (míček je poté vrácen nazpět). Je-li vybraná léčba úspěšná, vložíte do klobouku další míček stejného typu – máte tedy tři míčky a dva z nich zastupují úspěšnou léčbu. Pokud vybraný postup selže, vložíte do klobouku míček pro druhý typ léčby, aby se zvýšila pravděpodobnost vytažení opačné alternativy.

Zelenův algoritmus vědci poprvé využili v klinickém testování šestnáct let nato, během studie mimotělního membránového okysličování (ECMO). Jednalo se o odvážný přístup k léčbě respiračního selhání u kojenců. Systém ECMO, vyvinutý v 70. letech 20. století Robertem Bartlettem z Michiganské univerzity, přijímá krev proudící do plic a odvádí ji ven z těla, kde v přístroji dochází k jejímu okysličení a následnému odvodu do srdce. Je to drastické opatření s řadou vlastních rizik (včetně možnosti embolie), ale poskytlo použitelný přístup v situacích, kdy nejsou na výběr žádné jiné možnosti. ECMO v roce 1975 zachránilo život novorozené holčičce v kalifornském Orange County, které ani respirátor nedokázal poskytnout dostatek kyslíku. Tato holčička nedávno oslavila čtyřicáté narozeniny, je vdaná a sama má děti. V počátcích však ECMO a s ním spojený zákrok byly považovány za vysoce experimentální přístup a rané studie na dospělých v porovnání s konvenční léčbou neprokázaly žádné výhody.

Bartlett a jeho kolegové z Michiganské univerzity mezi lety 1982 a 1984 provedli studii na novorozencích s respiračním selháním. Členové týmu se jednoznačně vyjádřili, že chtějí řešit „etický problém zadržování neprokázaného typu léčby, který by však potenciálně mohl zachránit lidské životy“ a že se „zdráhají neposkytovat léčbu rozhodující o životě či smrti pacienta pacientům v ostatních skupinách jen za účelem splnění konvenční techniky náhodného přiřazování“. Proto se rozhodli využít Zelenův algoritmus. Strategie vedla k tomu, že jeden z kojenců po přiřazení „konvenční“ léčby zemřel a jedenáct novorozenců v řadě s léčbou ECMO přežilo. V období od dubna do listopadu roku 1984, po ukončení oficiální studie, se objevilo deset dalších novorozenců splňujících kritéria pro použití léčby ECMO. U osmi z nich byla tato léčba použita a všech osm také přežilo. Dva obdrželi konvenční léčbu a oba zemřeli.

Jde o pozoruhodná čísla, ale krátce po dokončení výše popsané studie ECMO se zvedla vlna kontroverze. Velmi nízkým počtem pacientů léčených konvenčním způsobem během testování se experiment výrazně odchyloval od standardní metodologie a samotná procedura byla vysoce invazivní a potenciálně riskantní. Po uveřejnění práce profesor biostatiky na Harvard School of Public Health se svými zdravotnickými kolegy důkladně přezkoumal veškerá data a došel k závěru, že „bez dalšího testování nemohou ospravedlnit běžné používání ECMO“. Ware a jeho kolegové tedy navrhli druhý klinický test a nadále se pokoušeli vyvážit získávání poznatků s účinnou léčbou pacientů při použití méně radikální podoby testování. Náhodně pacientům přiřazovali buď ECMO, nebo tradiční léčbu, dokud v jedné ze skupin nebylo zaznamenáno předem určené množství úmrtí. V takové chvíli měli všichni pacienti přejít k efektivnější léčbě ze dvou testovaných.

V první fázi Wareovy studie zemřeli čtyři z deseti novorozenců podstupujících klasickou léčbu, a všech devět novorozenců ošetřených ECMO přežilo. Čtyři úmrtí stačila k přechodu do druhé fáze, v níž bylo pomocí ECMO ošetřeno všech dvacet pacientů a devatenáct z nich přežilo. Ware a jeho kolegové byli dostatečně přesvědčení a v závěru uvedli, že „je obtížné z etického hlediska obhajovat další randomizaci“.

Jiní jednotlivci však ke stejnému závěru dospěli ještě před Wareovou studií a dávali svůj názor veřejně najevo. Mezi kritiky patřil Don Berry, jeden z předních světových odborníků na problém mnohorukého bandity. V komentáři uveřejněném hned za Wareovou studií v žurnálu Statistical Science Berry uvedl, že „náhodné přiřazování terapie bez ECMO pacientům, jako tomu bylo ve Wareově studii, je neetické. … Podle mého názoru neměla být Wareova studie nikdy provedena.“

Ale dokonce ani Wareova studie nebyla dostatečně přesvědčivá pro všechny příslušníky lékařské komunity. V 90. letech 20. století byla ve Velké Británii provedena další studie ECMO zahrnující téměř dvě stě novorozenců. Vědci v tomto případě nevyužili adaptivní algoritmy, ale postupovali podle tradičních metod. Rozdělili novorozence náhodně do dvou stejně velkých skupin. Výzkumníci experiment ospravedlňovali tvrzením, že užitečnost ECMO „je kontroverzní kvůli různým interpretacím dostupných důkazů“. Rozdíl mezi dvěma druhy léčby nebyl nakonec tak výrazný jako ve dvou předchozích amerických studiích, výsledky nicméně hovořily jasně: „V souladu s dřívějšími předběžnými poznatky procedura zahrnující ECMO snižuje riziko úmrtí.“ Jakou daň si vybralo takové zjištění? Ve skupině ošetřené konvenční metodou zemřelo o dvacet čtyři novorozenců více než ve skupině ošetřené ECMO.

Rozšířená neschopnost přijmout výsledky adaptivních klinických testů se nám může zdát nepochopitelná. Zvažte však, co zrod statistiky znamenal pro lékařství na začátku 20. století. Zapříčinil přeměnu oboru, kde lékaři museli při výběru léčby následovat nahodile své předchůdce, na oblast, v níž byly jasně stanoveny směrnice určující, jaké důkazy jsou, nebo nejsou přesvědčivé. Změny zavedené standardní statistické praxe by tuto rovnováhu mohly potenciálně narušit, přinejmenším dočasně.

Po odeznění kontroverze kolem ECMO se Don Berry přesunul z ústavu statistiky na Minnesotské univerzitě do Centra pro léčbu rakoviny v Houstonu, kde zapojuje metody objevené během studia mnohorukých banditů do návrhů klinických testů řady terapií proti rakovině. Přestože je stále jedním z nejotevřenějších kritiků randomizovaných klinických studií, není zdaleka jediný. Myšlenky, za něž bojuje, v nedávné době začaly konečně pronikat do středního proudu. Agentura FDA v únoru roku 2010 vydala „předpisový“ dokument „Adaptive Design Clinical Trials for Drugs and Biologics“ (Adaptivně navržené klinické testy léků a biologických přípravků), který uvádí, že navzdory dlouhé historii setrvání u preferované možnosti by lékaři alespoň měli být ochotní zkoumat alternativní řešení.

Neklidný svět

Jakmile se obeznámíte s mnohorukými bandity, můžete je snadno začít vnímat na každém kroku. Jen vzácně podnikáme izolovaná rozhodnutí, kdy nám výsledek neposkytne žádné informace, které bychom využili k dalšímu rozhodování v budoucnosti. Je tedy přirozené se ptát, stejně jako v případě optimálního zastavení, jak dobře lidé obvykle takové problémy řeší. Tuto otázku velice podrobně prozkoumali v laboratořích psychologové a behaviorální ekonomové.

Obecně se zdá, že lidé zpravidla příliš zkoumají, a tedy neúměrně upřednostňují nové nad nejlepším. Amos Tversky a Ward Edwards tento jev jednoduše potvrdili – v roce 1966 provedli řadu experimentů, při nichž účastníkům ukázali krabičku se dvěma světélky a řekli jim, že každé světélko bude svítit po určitou (ale neznámou) část celkové doby. Potom dostali tisíc příležitostí, kdy mohli buď sledovat, které světélko se rozsvítí, nebo si vsadit na výsledek bez sledování. (Na rozdíl od tradičnější podoby problému mnohorukého bandity v tomto případě nešlo „zatáhnout za páku“ a zároveň tak vsadit i pozorovat; účastníci se o úspěšnosti svých sázek dozvěděli až na konci.) Jedná se o příklad čirého zkoumání vs. využívání, kde získávání informací stojí přímo proti jejich využívání. Většina lidí přijala rozumnou strategii – chvíli pozorovali a potom vsadili na možnost, která jim připadala jako nejlepší možný výsledek. Stabilně však trávili zkoumáním více času, než by měli. O kolik více? Při jednom z experimentů se jedno ze světélek rozsvítilo v 60 % z celkové doby a druhé ve 40 %. Takový rozdíl není nijak výrazný, ale není ani nepatrný. V daném případě se lidé rozhodli v průměru sledovat 505krát a sázet 495krát. Z matematického hlediska však měli začít sázet po pouhých 38 pozorováních – a ve zbývajících 962 pokusech riskovat.

K podobným závěrům dospěly i jiné studie. V 90. letech 20. století vedli Whartonští výzkumníci Robert Meyer a Yong Shi studii, při níž měli účastníci na výběr mezi dvěma možnostmi. Jedna z nich zaručovala předem známou výši výplaty a druhá neznámou výši výplaty. Konkrétně se jednalo o rozhodování mezi dvěma leteckými dopravci – mezi zavedeným dopravcem se známou přesností a novou firmou bez dostupných údajů. Usilujeme-li o maximalizaci počtu včasných příletů během určité doby, podle matematicky optimální strategie bychom měli zpočátku létat pouze s novým dopravcem, dokud se neukáže, že jeho zavedený konkurent je očividně lepší. Pokud se kdykoli ukáže, že známý dopravce je lepší (to znamená, že Gittinsův index nové možnosti klesne pod míru dochvilnosti známého dopravce), měli bychom se vrátit ke známému dopravci a nikdy už ho neměnit. (Jelikož u takovéto formy problému o nové firmě už nic nezjistíte, jakmile s ní přestanete létat, nemá žádnou možnost napravit svou reputaci.) Účastníci však během experimentu převážně využívali neozkoušeného dopravce velice málo, když byl dobrý, a přehnaně, když byl špatný. Pokud odešli, pak ne natrvalo, ale nadále přecházeli od jednoho dopravce k druhému, zejména v případech, kdy včas nepřilétal ani jeden z nich. Všechna popsaná zjištění odpovídají tendenci k přílišnému zkoumání.

Psychologové Mark Steyvers, Michael Lee a Eric-Jan Wagenmakers nakonec provedli experiment s čtyřrukým banditou a vyzvali skupinu lidí, aby si v průběhu patnácti příležitostí vybrala, na kterém automatu bude hrát. Potom rozdělili strategie účastníků do různých kategorií. Výsledky naznačily, že 30 % z nich se nejvíce přiblížilo optimální strategii, postup 47 % zúčastněných připomínal algoritmus Win-Stay, Lose-Shift a 22 % zdánlivě náhodně střídalo nový automat s doposud nejlepším nalezeným. Závěry opět poukazují na přílišné zkoumání, jelikož Win-Stay, Lose-Shift i příležitostné zkoušení náhodného automatu vedou účastníky v pozdější fázi hry ke zkoušení jiných věcí než nejlepší zjištěné možnosti, přestože by už měli pouze využívat.

Ačkoli tedy zpravidla vybíráme novou sekretářku příliš brzy, zdá se, že u leteckých dopravců zastavujeme příliš pozdě. S příliš brzkým výběrem konkrétního dopravce jsou však stejně jako v případě nezaplnění místa sekretářky spojené náklady – svět se může měnit.

Standardní problém mnohorukého bandity stojí na předpokladu, že pravděpodobnosti výplaty jednotlivých automatů jsou v průběhu času fixní. To však vůbec nemusí platit v případě aerolinek, restaurací nebo jiných kontextů, v nichž lidé musejí opakovaně činit rozhodnutí. Změní-li se časem pravděpodobnosti výplaty různých automatů (takzvaný „neklidný bandita“), problém začne být mnohem složitější. (Po pravdě o tolik složitější, že k jeho úplnému vyřešení neexistuje žádný aplikovatelný algoritmus a vědci jsou obecně přesvědčení, že ani existovat nebude.) Složitost takové situace zčásti spočívá v tom, že už nejde pouze o zkoumání po nějakou dobu a následné využívání – může-li se svět změnit, setrvání ve zkoumání může představovat dobrou volbu. Najednou začne být výhodné vrátit se do té špatné restaurace, kde jste už pár let nebyli, protože se mezitím třeba změnilo její vedení.

Henry David Thoreau v oslavované eseji Chůze píše, že nejraději cestuje blízko svého domova, že ho okolí nikdy neomrzelo a vždy našel v massachusettské krajině něco nového nebo překvapivého. Napsal: „Mezi možnostmi krajiny v okruhu deseti mil – tedy hranic odpolední procházky – a sedmdesáti lety lidského života se dá vlastně objevit jistá shoda. Nikdy je úplně nepoznáte.“6

Život v neklidném světě vyžaduje určitý neklid v nás samotných. Dokud se věci mění, nesmíte nikdy úplně přestat se zkoumáním.

Algoritmické techniky zdokonalené pro standardní verzi problému mnohorukého bandity jsou však i přesto užitečné i v neklidném světě. Strategie jako Gittinsův index a horní mez spolehlivosti představují dostatečně dobrá přibližná řešení a orientační pravidla, zejména pokud se odměny v průběhu času výrazně nemění. A mnoho odměn na tomto světě je dnes pravděpodobně statičtější než kdykoli předtím. Plody na záhonu mohou být jeden týden zralé a týden nato shnilé, ale jak řekl Andy Warhol: „Coca-Cola je Coca-Cola.“ Instinkty nastavené evolucí na svět v neustálém vývoji v oblasti průmyslové standardizace nemusejí být zrovna užitečné.

Je však možná ještě důležitější podotknout, že uvažování nad verzemi problému mnohorukého bandity s optimálními řešeními nám neposkytují pouze algoritmy, ale také poznatky. Slovník konceptů odvozených z klasické formy problému – napětí mezi zkoumáním a využíváním, významná role intervalu, vysoká hodnota možnosti O-O, minimalizace výčitek – je novým způsobem chápání nejen konkrétních problémů, ale celého lidského života.

Zkoumejte…

Přestože laboratorní studie ledacos odhalují, interval mnoha nejvýznamnějších problémů, jimž čelíme, je příliš dlouhý na to, abychom je studovali v laboratoři. Poznávání struktury světa kolem nás a tvoření trvalých sociálních vztahů je práce na celý život. Proto je poučné sledovat, jak se obecné schéma raného zkoumání a raného užívání objevuje v průběhu života.

Jednou ze zajímavých skutečností o lidských bytostech, již se snaží pochopit a vysvětlit všichni vývojoví psychologové, je fakt, že nám trvá několik let, než se staneme schopnými a nezávislými bytostmi. Sobi a gazely musejí být připravení k útěku před predátorem hned od narození, ale lidem trvá déle než rok, než začnou chodit. Alison Gopniková, profesorka vývojové psychologie na Kalifornské univerzitě v Berkeley a autorka knihy The Scientist in the Crib (Vědec v kolébce), vysvětluje, proč jsou lidské bytosti tak dlouho po narození závislé na ostatních: „Získáte tak vývojové řešení kompromisu mezi zkoumáním a využíváním.“ Jak jste se již dočetli, dobré algoritmy pro hraní na mnohorukých banditech zpravidla spočívají v brzkém zkoumání a pozdějším využívání zjištěných poznatků. Jak však podotýká Gopniková: „Nevýhoda je v tom, že ve fázi zkoumání nedostáváte dobré odměny.“ Proto dětství probíhá takto: „Dětství vám poskytuje období, v němž můžete pouze zkoumat možnosti a nemusíte se trápit odměnami, protože o ty se starají maminky a tatínkové, babičky a chůvy.“

Názor, že děti se jednoduše nacházejí v přechodné zkoumající fázi celoživotního algoritmu, možná některým rodičům dětí předškolního věku poskytne určitou útěchu. (Tom má dvě výrazně zkoumající dcery v předškolním věku a doufá, že postupují podle algoritmu zajišťujícího minimální výčitky.) Takové vidění světa nám však zároveň poskytuje nové poznatky o racionalitě dětí. Gopniková podotýká, že „pokud se podíváte na vnímání dětí v minulosti, lidé obvykle tvrdili, že děti jsou v mnoha ohledech kognitivně nedokonalé – pokud totiž posuzujete jejich schopností užívat, jsou na tom velmi špatně. Nedokážou si zavázat tkaničky, neumějí plánovat dlouhodobě a nejsou schopné soustředěně pracovat. V těchto ohledech jsou jejich schopnosti příšerné.“ Děti však vynikají v náhodném mačkání tlačítek, obrovském zájmu o nové hračky a rychlém přeskakování od jedné věci k druhé. Přesně to by také měly dělat, je-li jejich cílem zkoumání. Pokud jste děti, strkání všech dostupných předmětů do úst odpovídá důkladnému ozkoušení všech hracích automatů v kasinu.

Obecně lze říct, že naše intuitivní vnímání racionality je až příliš často ovlivněné spíše využíváním než zkoumáním. Když mluvíme o rozhodování, obvykle se zaměřujeme pouze na okamžitou odměnu posledního rozhodnutí – a přistupujeme-li ke každému rozhodnutí, jako kdyby bylo naše poslední, využívání skutečně dává smysl. V průběhu celého života však činíme mnoho rozhodnutí. Ve skutečnosti je tedy rozumné zdůrazňovat zkoumání (spíše nové než nejlepší, spíše vzrušující než bezpečné a spíše náhodné než promyšlené) u velké části takového rozhodování – zejména v rané fázi života.

To, co tedy považujeme za dětské rozmary, představuje možná moudřejší postup, než jaký používáme sami.

... a užívejte

Ve svém čtenářském životě jsem dospěla na rozcestí známé všem, kdo se na něm octli: měla bych v tom čase, který mi byl tady na Zemi přidělen, číst pořád víc nových knih, nebo bych měla s tak marným počínáním přestat – marným, protože je nekonečné – a znovu si přečíst ty knihy, které mi v minulosti poskytly největší potěšení?

Lydia Davisová

Opačným extrémem novorozenců jsou senioři. Zamyslíme-li se nad nimi z úhlu pohledu kompromisu mezi zkoumáním a využíváním, získáme určité překvapivé poznatky o změnách, které nás v průběhu života pravděpodobně čekají.

Profesorka psychologie ze Stanfordovy univerzity Laura Carstensenová strávila svou kariéru zpochybňováním našich předsudků týkajících se stárnutí. Zkoumala zejména způsoby a příčiny změn v sociálních vztazích během stárnutí. Základní schéma je zřejmé – velikost sociálních sítí člověka (tj. počet sociálních vztahů, které udržují) se téměř vždy postupem času sníží. Carstensenová však svým výzkumem změnila způsob, jakým bychom o zmíněném jevu měli uvažovat.

Podle tradičního vysvětlení méně početných sociálních sítí seniorů jde pouze o jeden příklad poklesu kvality života spojený se stárnutím – výsledek snížené schopnosti přispívat k sociálním vztahům, větší křehkost a obecné odloučení od společnosti. Carstensenová však namítla, že senioři mají méně sociálních vztahů záměrně. Vysvětluje, že popsané poklesy jsou „následkem celoživotních procesů výběru, při nichž lidé strategicky a adaptivně kultivují své sociální sítě k maximalizaci sociálních a emocionálních výnosů a minimalizaci sociálních a emocionálních rizik.“

Carstensenová a její kolegové zjistili, že sociální sítě se smršťují s věkem primárně následkem „prořezávání“ okrajových vztahů a zaměření se na jádro tvořené blízkými přáteli a členy rodiny. Podle všeho se u tohoto procesu jedná o dobrovolné rozhodnutí – čím blíže jsou lidé konci svého života, tím více se chtějí zaměřit pouze na ty nejsmysluplnější vztahy.

Carstensenová se svou spolupracovnicí Barbarou Fredericksonovou uvedenou hypotézu otestovala pomocí experimentu. Vyzývaly účastníky, aby si vybrali, s kým by strávili raději půl hodiny – s nejbližším rodinným příslušníkem, autorem knihy, kterou nedávno přečetli, nebo někým, koho poznali nedávno a podle všeho s ním sdílejí zájmy. Starší lidé upřednostňovali členy rodiny; mladší lidé se stejně nadšeně chtěli setkat s autorem i novými přáteli. V jedné situaci však nastal zásadní zvrat – když vyzvaly mladé lidi, aby si představili, že se stěhují na tisíce kilometrů vzdálené místo, rovněž upřednostnili člena rodiny. V jiné studii dospěla Carstensenová a její kolegové ke stejnému výsledku i v odlišném směru. Když seniory vyzvali, aby si představili, že jim vědecký pokrok umožní žít o dvacet let déle, jejich preference byly shodné s preferencemi mladších lidí. Jde o to, že rozdíly ve společenských preferencích nespočívají jenom ve věku jako takovém, ale jde o to, v jakém místě časového intervalu se vidí v souvislosti se svým rozhodnutím.

Citlivost vůči množství zbývajícího času je zároveň jedním z poznatků informatiky v otázce kompromisu mezi zkoumáním a využíváním. Mladé lidi optikou našich stereotypů vnímáme jako nestálé; staré zase jako jedince se zaběhnutými návyky. Obě skupiny se ve skutečnosti chovají vhodně vzhledem ke svému intervalu. Záměrné vypilování pouze nejsmyslupnějších vztahů v sociální síti představuje racionální odezvu na menší množství času, kdy si je můžeme užít.

Přiznáme-li, že stáří je doba užívání, získáme nové úhly pohledu na určité klasické jevy spjaté se stárnutím. Například začátek studia na vysoké škole, v novém sociálním prostředí plném doposud neznámých lidí, je zpravidla pozitivní vzrušující období. Oproti tomu odchod do domova s pečovatelskou službou, nového sociálního prostředí plného doposud neznámých lidí, může být bolestivý. Takový rozdíl je zčásti výsledkem naší aktuální pozice na ose mezi zkoumáním a využíváním v daném životním období.

Vážení čtenáři, právě jste dočetli ukázku z knihy Algoritmy pro život.
Pokud se Vám líbila, celou knihu si můžete zakoupit v našem e-shopu.