Blog

Kráľ – muž + žena = …

7. 10. 2021
Tomáš Mikolov

Prečo sme miesto nadpisu zvolili hádanku? Takýto úvod článku je totiž podobne nekonvenčný ako myslenia autora samotnej rovnice. Tomáš Mikolov, vedec v oblasti umelej inteligencie, vymyslel spôsob, ako interpretovať slová pomocou čísiel respektíve vektorov. A dokonca ich dokáže i sčítať a odčítať. Jeho program word2vec pomáha spresniť výsledky internetových služieb, ktoré spracovávajú prirodzený jazyk. Laureáta Ceny Neuron sme s radosťou privítali v ABRA Software, kde študentom technických oborov vyrozprával svoj príbeh.

Ak ste prišli na to, že za znamienkom rovná sa má byť „kráľovná“, určite hneď vyriešite, že Madrid – Španielsko + Francúzsko = Paríž. Slovné rovnice sú však jen čerešničkou na torte. “Bol to skôr vtip,” spomína Tomáš na rok 2013, kedy túto zaujímavosť testoval s Jeffem Deanem, manažérom v Google Research. “Meno vám možná nič nehovorí, ale v Silicon Valley je to celebrita. V rámci pozícií ste teda mohli v Googli vystúpať od prvej až na deviatu priečku. A Jeff mal desiatu,” smeje sa Tomáš. Vtedy tu pracoval vo výskumnej skupine a potreboval svojich šéfov presvedčiť, že word2vec naozaj funguje. A podarilo sa. S kolegami publikoval oficiálny článok a vedenie mu umožnilo dať program k dispozícii ako open source. Každý, kto sa zaoberá strojovým prekladom, tak od roku 2013 môže využívať jeho kód.

A ako vývojár, ktorý už v ôsmych rokoch začínal programovť vlastné hry, na nápad vôbec prišiel? “Časť mojej rodiny pochádza z Poľska, a keď človek vedľa seba vidí tie dva jazyky, tak si uvedomí, že si dokážeme rozumieť, i keď nepoznáme všetky slová. Dôjde nám to z kontextu,” vraví. K interpretácii cez vektory neskôr šumperský rodák dospel pri magisterskom štúdiu na VUT v Brne. “Pomohol mi k tomu predmet o kompresii dát, a keď som následne niekde videl matematický model neurónovej siete, bolo mi jasné, že je to presne to, čo hľadám,” vysvetľuje tridsaťosemročný Mikolov.

Jeho word2vec dokáže predpokladať, aké ďalšie slová sa objavia vo vete na základe vzťahu k tým ostatným. Slova sú definované pomocou faktorov ako je číslo, rod, pád, čas a pod., čo im dáva veľkosť a smer, teda podobu konkrétneho vektora. Z navrhovaných vektorov (slov) sa vyberá to najbližšie. Hlavné výhody oproti iným riešeniam? Okrem prirodzenejšieho prekladu aj vyššia rýchlosť. Program neplytvá svoju kapacitu počítaním vecí, ktoré sa vo výsledku vôbec nemusia využiť. “Niektorí vedci hľadajú perfektné riešenie a preto často strávia všetok čas optimalizáciou niečoho, čo nie je pre výsledok podstatné. Ja zastávam prístup, že je lepší optimalizovať najskôr tie časti, ktoré najviac ovplyvňujú výsledok,” vysvetľuje vedec.

Po skúsenostiach v Microsofte, Googli a Facebooku sa Tomáš Mikolov vrátil na domácu akademickú pôdu. V Českom inštitúte informatiky, robotiky a kybernetiky vedie výskumnú skupinu zamarenú na vývoj tzv. silnej umelej inteligencie. Postupnou evolúciou chce stvoriť komplexný systém so schopnosťou učiť sa podobnou rýchlosťou ako človek. A verí, že Čechy sú tým správnym miestom. „Máme tu množstvo šikovných ľudí, študenti techniky majú minimálne porovnateľné znalosti s americkou konkurenciou. Len sa nevieme toľko predať,“ uzatvára s tým, že i to je len z dôvodov, prečo sú zahraničné skúsenosti k nezaplateniu a určite ich odporúča každému, kto chce preraziť vo svojom obore.

Úvodné foto: CIIRC


Zaujímate sa o systém ABRA Gen? Napíšte nám!

Zeptejte se SK