Menu

OpenAI – organizace specializovaná na vývoj umělé inteligence se zaměřila na výuku AI, uvědomit si chyby a brát je jako důležitou součást k postupu za vytyčeným cílem. Tím má být umělá inteligence o další krok blíže člověku.

Tato výuka používá open source algoritmus zvaný Hindsight Experience Replay (HER). Algoritmus způsobuje, že se roboti dovedou učit ze svých chyb stejně, jako lidské bytosti. HER pomáhá testovaným robotickým subjektům, aby se vracely k dokončenému úkolu a z chyb vytěžily úspěch.

HER funguje na bázi lidského chování založeném na intuici. Pokud uděláme chybu a nedosáhneme požadovaného cíle, uvědomíme si, že jsme dosáhli jiného. Každý i nepodařený pokus bereme, jako cestu k tomuto cíli. Když jste začínali jezdit na kole, také jste prvotně absolvovali několik nezdárných pokusů. Ty byly důležité, díky nim jste se zdokonalili a nakonec cíle dosáhli. A to dovede i AI.

I roboti mají rádi odměny

Důležitý má být také systém odměn. V testech byli dva roboti. Buď testovaný robot dosáhl svého cíle a od druhého robota dostal odměnu v podobě algoritmu “cookies”, nebo ne. Cookies byly rozdávány v závislosti na tom, jak blízko k cíli se AI nacházel. Každá chyba byla brána, jako splněný jiný cíl, pokud se k němu AI vrátila. Za každý takový krok následovala odměna, což zapříčinilo rychlejší a kvalitnější výuku.

“Tímto nahrazením může algoritmus výuky získat učební signál, protože dosáhl nějakého cíle, i když to nebyl ten, kterého chtěl původně dosáhnout. Pokud je tento proces opakován, nakonec se AI naučí, jak dosáhnout různých cílů, včetně cíle, jehož skutečně chtěla dosáhnout”, prohlásili OpenAI.

Učit se z chyb bez frustrace

“Učení skutečných robotů s HER je prozatím velice náročné, protože stále vyžaduje značný počet vzorků”,  řekl Matthias Plappert z OpenAI IEEE Spectrum. Každopádně to nic nemění na tom, že HER je velmi nadějnou metodou, jak rychle a efektivně roboty učit postupovat za svými cíli. I pro nás je důležité uvědomění si našich chyb, a tak z nich vytěžit následný úspěch. AI však neprožívá frustraci při nezdaru, jako slabší druh – lidé.