Nagy-Britanniában a legtöbb tévéműsort feliratozzák, néhány esetében pedig jelnyelvi tolmács segíti a halláskárosultakat a megértésben. Ha egy programot felirattal és jelnyelvi tolmáccsal is ellátnak, az valósága Rosetta-kő a fejlesztőknek – írja a NewScientist.
Ezt használtak ki az Oxfordi Egyetem két kutatója, Patrick Buehler és Andrew Zisserman, valamint a Leedsi Egyetemen dolgozó kollégájuk, Mark Everingham.
Elsőként olyan programot fejlesztettek, amely a képtartalom változásának vizsgálatával térképezte fel a jelelő karmozdulatait. Amikor biztosak voltak abban, hogy a számítógép képes pontosan felismerni a jeleket, tíz órányi televíziós műsort nézettel meg vele, azzal a céllal, hogy 210 jelnyelvi főnevet és melléknevet tanuljon meg.
A szoftver a jelek és a feliratok összevetésével sajátította el a nyelvet, bizonytalanság esetén a többször előforduló esetek összevetésével találva meg a helyes megoldást. Az eredmény: a teljesen tudatlan számítógép a 210 jelnyelvi kifejezés 65 százalékát tanulta meg. Everingham szerint mivel egyes kifejezések a kontextussal változnak, ez az eredmény igen jónak számít.
