În ultimele decenii, cercetătorii au dezvoltat în mod regulat dispozitive menite să traducă Limba de Semne Americană (ASL) în engleză, cu speranța de a ușura comunicarea între persoanele surde, greu de auzit și lumea auditivă. Multe dintre aceste tehnologii folosesc mănuși pentru a surprinde mișcarea de semnare, care poate fi voluminoasă și incomodă.
Acum, un grup de cercetători de la Michigan State University (MSU) a dezvoltat un dispozitiv fără mănuși de dimensiunea unui tub de Chapstick, care speră că va îmbunătăți traducerea ASL-engleză.
Tehnologia, numită DeepASL, folosește un dispozitiv de fotografiat pentru a capta mișcări ale mâinii, apoi alimentează datele printr-un algoritm de învățare profundă, care se potrivește cu semne de ASL. Spre deosebire de multe dispozitive anterioare, DeepASL poate traduce propoziții întregi, mai degrabă decât cuvinte unice și nu necesită utilizatori să se întrerupă între semne.
„Aceasta este o tehnologie cu adevărat non-intruzivă”, spune Mi Zhang, un profesor de inginerie electrică și informatică care conduce cercetarea.
Zhang și echipa sa speră că DeepASL poate ajuta persoanele surde și greu de auzit, servind ca un traducător în timp real. Ar putea fi util în special în situații de urgență, spune Zhang, atunci când așteptați un traducător ar putea costa minute prețioase. Dispozitivul, care ar putea fi integrat cu un telefon, tabletă sau computer, poate ajuta și la predarea ASL, spune Zhang. Întrucât peste 90 la sută dintre copiii surzi se nasc din părinți care aud, există o mare comunitate de adulți care trebuie să învețe rapid ASL. DeepASL ar putea servi ca îndrumător digital, oferind feedback cu privire la semnarea corectă a cursanților.
Zhang a solicitat un brevet și speră să aibă un dispozitiv pe piață în termen de un an. Deoarece se bazează pe o tehnologie accesibilă - sistemul de captare a mișcărilor Leap Motion se ridică la 78 de dolari - ar putea fi mai larg accesibil decât eforturile anterioare.
Cercetătorii Biyi Fang și Mi Zhang demonstrează DeepASL. (Universitatea de Stat din Michigan) Însă Christian Vogler, profesor de studii de comunicare la Universitatea Gallaudet, o universitate pentru persoanele surde sau greu auzite, este sceptic în privința dispozitivelor concepute pentru a traduce ASL, iar scepticismul său este împărtășit de mulți din comunitatea Surzilor.
În general, dispozitivele nu „traduc” ASL, recunosc doar semnele de mână și le transformă într-un cuvânt englezesc pe semn, spune Vogler. Aceasta înseamnă că informațiile cheie gramaticale sunt pierdute, informații despre dacă o frază este o întrebare, o negație, o clauză relativă și așa mai departe. În timp ce DeepASL traduce propoziții complete, unele caracteristici ale gramaticii ASL depășesc semnele mâinii - expresiile faciale sunt adesea folosite ca modificatori, ridicarea sprâncenelor poate transforma o frază într-o întrebare, poziționarea corpului poate indica când utilizatorul ASL citează pe altcineva.
Până în prezent, „niciunul dintre sisteme nu a fost chiar util de la distanță pentru persoanele care semnează”, spune Vogler, adăugând că cercetătorii par adesea „foarte puțini contacte cu comunitatea [Surdă și greu de auzit] și foarte puțină idee despre realul lor are nevoie."
Echipa lui Zhang nu a testat dispozitivul pe persoane care erau surde și greu auzite, ci pe studenții dintr-un program de traducere a limbajelor de semne. Zhang subliniază că DeepASL este conceput pentru a permite doar comunicarea de bază în acest moment și că acesta este doar un loc de pornire. El spune că echipa sa speră să extindă capacitățile DeepASL în viitor pentru a surprinde expresii faciale.
„Aceasta va fi următoarea etapă semnificativă pentru noi de atins”, spune el.
Vogler spune că este pozitiv faptul că tehnologia MSU utilizează metode de învățare profundă, care au avut succes cu limbajul vorbit. Dar, în ciuda faptului că nu este nevoie de o mănușă, dispozitivul are probabil aceleași capcane ale oricărui sistem anterior, deoarece nu surprinde mișcările feței și ale corpului.
Vogler consideră că cercetătorii ar trebui să se îndepărteze de ideea că dispozitivele de recunoaștere a limbajului semnelor pot satisface într-adevăr nevoile de comunicare în persoană.
„Avem multe opțiuni pentru a facilita comunicarea în persoană și până când nu vom avea ceva care respectă de fapt proprietățile lingvistice ale limbilor semnate și comportamentele reale de comunicare ale semnatarilor, aceste eforturi nu vor fi nicăieri aproape de a le înlocui sau înlocui”, spune el. „În schimb, oamenii trebuie să lucreze cu membrii efectivi ai comunității și cu oameni care înțeleg complexitatea limbilor semnate.”
Vogler spune că ar fi util ca tehnologia de recunoaștere a limbajului de semne, cum ar fi MSU, să lucreze cu interfețe vocale precum Alexa. Creșterea acestor interfețe este o provocare de accesibilitate pentru persoanele surde și greu de auzit, spune el, la fel cum internetul - un mediu în mare parte vizual - a prezentat o provocare majoră pentru oamenii care sunt orbi de-a lungul anilor.
„În prezent, nu avem un mod eficient și eficient de a interacționa cu aceste interfețe vocale dacă nu suntem în stare sau nu dorim să ne folosim vocea”, spune el. „Recunoașterea limbajului semnelor este o potrivire perfectă pentru această situație și una care de fapt ar putea ajunge să fie utilă și obișnuită.”
