Odată cu avansările în electronică și neuroștiință, cercetătorii au reușit să realizeze lucruri remarcabile cu ajutorul dispozitivelor de implantare a creierului, cum ar fi restabilirea unui aspect vizual al nevăzătorilor. Pe lângă restabilirea simțurilor fizice, oamenii de știință caută, de asemenea, modalități inovatoare de a facilita comunicarea celor care și-au pierdut capacitatea de a vorbi. Un nou „decodificator” care primește date de la electrozii implantate în craniu, de exemplu, ar putea ajuta pacienții paralizați să vorbească folosind doar mintea lor.
Cercetătorii de la Universitatea din California, San Francisco (UCSF) au dezvoltat o metodă în două etape pentru a transforma semnalele creierului în vorbire sintetizată de computer. Rezultatele lor, publicate săptămâna aceasta în revista științifică Nature, oferă o cale posibilă spre o comunicare mai fluidă pentru persoanele care și-au pierdut capacitatea de a vorbi.
De ani de zile, oamenii de știință au încercat să valorifice aporturile neuronale pentru a da o voce oamenilor ale căror leziuni neurologice îi împiedică să vorbească - precum supraviețuitorii de accident vascular cerebral sau pacienții cu ALS. Până acum, multe dintre aceste interfețe creier-computer au prezentat o abordare scrisoare cu litere, în care pacienții își mișcă ochii sau mușchii faciali pentru a-și exprima gândurile. (Stephen Hawking și-a direcționat faimos sintetizatorul de vorbire prin mișcări mici în obrazul său.)
Dar aceste tipuri de interfețe sunt lente - cele mai multe producând maxim 10 cuvinte pe minut, o fracție din viteza medie de vorbire a omului de 150 de cuvinte pe minut. Pentru o comunicare mai rapidă și mai fluidă, cercetătorii UCSF au folosit algoritmi de învățare profundă pentru a transforma semnale neuronale în propoziții vorbite.
Creierul este intact la acești pacienți, dar neuronii - căile care duc la brațe, la gură sau la picioare - sunt defalcate. Aceste persoane au o funcționare și abilități cognitive ridicate, dar nu pot îndeplini sarcini zilnice, cum ar fi să se deplaseze sau să spună ceva ”, spune Gopala Anumanchipalli, co-autor principal al noului studiu și cercetător asociat specializat în chirurgie neurologică la UCSF. „În principal, ocolim calea care este defalcată.”
Cercetătorii au început cu date de înaltă rezoluție despre activitatea creierului colectate de la cinci voluntari de-a lungul mai multor ani. Acești participanți - toți au avut o funcție normală de vorbire - au fost deja supuși unui proces de monitorizare a tratamentului cu epilepsie care a implicat implantarea electrozilor direct în creierul lor. Echipa lui Chang a folosit acești electrozi pentru a urmări activitatea în zonele legate de vorbire ale creierului, în timp ce pacienții citeau sute de propoziții.
De acolo, echipa UCSF a elaborat un proces în două etape pentru a recrea propozițiile rostite. În primul rând, au creat un decodificator pentru a interpreta modelele de activitate ale creierului înregistrate ca instrucțiuni pentru mișcarea părților unui tract vocal virtual (inclusiv buzele, limba, maxilarul și laringe). Apoi au dezvoltat un sintetizator care a folosit mișcările virtuale pentru a produce limbaj.
Alte cercetări au încercat să decodeze cuvintele și sunetele direct din semnalele neuronale, sărind pasul de mijloc al mișcării de decodare. Cu toate acestea, un studiu pe care cercetătorii UCSF l-au publicat anul trecut sugerează că centrul de vorbire al creierului tău se concentrează asupra modului de a muta tractul vocal pentru a produce sunete, mai degrabă decât asupra sunetelor rezultate.
„Tiparele activității creierului în centrele de vorbire sunt orientate în mod special către coordonarea mișcărilor tractului vocal și sunt legate doar indirect de sunetele vorbirii în sine”, Edward Chang, profesor de chirurgie neurologică la UCSF și coautor al noii lucrări, a spus într-un briefing de presă săptămâna aceasta. „Încercăm explicit să decodăm mișcările pentru a crea sunete, spre deosebire de decodarea directă a sunetelor.”
Un exemplu de implant de creier de electrozi intracranieni de tipul utilizat pentru înregistrarea activității creierului. (UCB) Folosind această metodă, cercetătorii au reușit cuvinte inversate și propoziții din activitatea creierului care s-au potrivit aproximativ cu înregistrările audio ale discursului participanților. Când au cerut voluntarilor de pe o platformă online de crowdsourcing să încerce să identifice cuvintele și să transcrie fraze folosind o bancă de cuvinte, mulți dintre ei au putut înțelege vorbirea simulată, deși exactitatea lor era departe de a fi perfectă. Din 101 propoziții sintetizate, aproximativ 80 la sută au fost perfect transcrise de cel puțin un ascultător folosind o bancă de 25 de cuvinte (această rată a scăzut la aproximativ 60% la dimensiunea băncii cuvântului s-a dublat).
Este greu de spus cum se compară aceste rezultate cu alte teste de vorbire sintetizate, Marc Slutzky, neurolog din nord-vestul care nu a fost implicat în noul studiu, spune într-un e-mail. Slutzky a lucrat recent la un studiu similar care a produs cuvinte sintetizate direct din semnalele cortexului cerebral, fără a decoda mișcările tractului vocal, și consideră că calitatea de vorbire rezultată a fost similară, deși diferențele de metrică a performanței fac dificilă compararea directă.
Un aspect interesant al studiului UCSF este, însă, faptul că decodificatorul poate generaliza unele rezultate la participanți, spune Slutzky. O provocare majoră pentru acest tip de cercetare este aceea că formarea algoritmilor decodificatorului necesită, de obicei, participanții să vorbească, dar tehnologia este destinată pacienților care nu mai pot vorbi. Posibilitatea de a generaliza o parte din pregătirea algoritmului ar putea permite lucrul în continuare cu pacienții paralizați.
Pentru a rezolva această provocare, cercetătorii au testat dispozitivul și cu un participant care a tăcut în tăcere frazele în loc să le rostească cu voce tare. Deși propozițiile rezultate nu erau la fel de exacte, autorii spun că sinteza a fost posibilă chiar și fără vorbirea vocalizată are implicații captivante.
„A fost într-adevăr remarcabil să aflăm că am putea totuși genera un semnal audio dintr-un act care nu a generat deloc audio”, a spus Josh Chartier, un co-autor al studiului și studenților absolvenți în bioinginerie la UCSF, a declarat în briefingul de presă .
Imaginea autorului studiului Gopala Anumanchipalli, doctorand, care deține un exemplu de serie de electrozi intracranieni de tipul folosit pentru înregistrarea activității creierului în studiul curent. (UCB) Anumanchipalli spune că un alt obiectiv pentru cercetările viitoare este să urmărească demonstrații în timp real ale decodificatorului. Studiul actual a fost conceput ca o dovadă a conceptului - decodificatorul a fost dezvoltat separat de procesul de colectare a datelor, iar echipa nu a testat viteza în timp real a transpunerii activității creierului în vorbirea sintetizată, deși acesta ar fi scopul final al un dispozitiv clinic.
Această sinteză în timp real este ceva care are nevoie de îmbunătățiri pentru ca un astfel de dispozitiv să fie util în viitor, spune Jaimie Henderson, un neurochirurg Stanford care nu a fost implicat în studiu. Cu toate acestea, el spune că metoda în două etape a autorilor este o abordare nouă și interesantă, iar utilizarea tehnologiei de învățare profundă poate oferi noi perspective asupra modului în care vorbirea funcționează cu adevărat.
„Pentru mine, ideea de a începe să investighez baza de bază a modului în care vorbirea este produsă în oameni este foarte interesantă”, spune Henderson. „[Acest studiu] începe să exploreze una dintre cele mai umane capacități ale noastre la nivel fundamental.”
