Неурознанственици уче рачунаре да читају речи директно из мозга људи.
Келли Сервицк, писање за Сциенце, пријавила се ове недеље о три рада објављена на серверу за штампање биоРкив на којима су три различита тима истраживача показала да могу декодирати говор из снимака испаљивања неурона. У свакој студији, електроде постављене директно на мозак бележиле су неуронске активности док су пацијенти са операцијама на мозгу слушали говор или читали речи наглас. Затим су истраживачи покушали установити шта пацијенти чују или говоре. У сваком случају, истраживачи су били у стању да претворе електричне активности мозга у барем донекле разумљиве звучне датотеке.
Први рад, објављен на биоРкив 10. октобра 2018. године, описује експеримент у којем су истраживачи играли снимке говора пацијентима са епилепсијом који су били усред операције мозга. (Неурални снимци узети у експерименту морали су бити врло детаљни да би се интерпретирали. А та разина детаља је доступна само у ретким околностима када је мозак изложен ваздуху и електроде су директно постављене на њега, као на пример у операцији мозга .)
Док су пацијенти слушали звучне датотеке, истраживачи су снимали пуцање неурона у деловима пацијентовог мозга који обрађују звук. Научници су испробали бројне различите методе за претварање података неуронских метала у говор и открили су да "дубоко учење" - у коме рачунар покушава да реши проблем мање или више без надзора - најбоље делује. Када су репродуцирали резултате путем воцодера, који синтетише људске гласове, за групу од 11 слушалаца, ти су појединци могли да тачно протумаче речи 75 одсто времена.
Овде можете слушати аудио из овог експеримента.
Други рад, објављен 27. новембра 2018., ослањао се на неуронске снимке људи који су били оперирани због уклањања тумора мозга. Док су пацијенти гласно читали једноструке речи, истраживачи су снимали и звукове који излазе из уста учесника, као и неуроне који пуцају у регионима мозга који производе говор. Уместо да подучавају рачунаре дубоко на сваком пацијенту, ови истраживачи су подучавали вештачку неуронску мрежу да конвертује неуронске снимке у аудио, показујући да су резултати барем разумљиво разумљиви и слични снимцима које су направили микрофони. (Аудио из овог експеримента је овде, али мора бити преузет у зип датотеци.)
Трећи рад, објављен 9. августа 2018., ослањао се на снимање дела мозга који претвара одређене речи за које особа одлучи да изговара у мишићне покрете. Иако снимање из овог експеримента није доступно на мрежи, истраживачи су известили да су могли да реконструишу читаве реченице (такође снимљене током операције мозга код пацијената са епилепсијом) и да су људи који су преслушали реченице могли да их исправно протумаче на вишеструком избору тест (од 10 избора) 83 одсто времена. Метода тог експеримента ослањала се на идентификацију образаца укључених у производњу појединачних слоговара, а не целих речи.
Циљ свих ових експеримената је да један дан омогући људима који су изгубили способност говора (услед амиотрофичне латералне склерозе или сличних стања) да разговарају преко интерфејса рачунар-мозак. Међутим, науке за ту апликацију још нема.
Тумачење неуронских образаца особе која само замишља говор сложеније је од тумачења образаца некога ко слуша или производи говор, известила је Сциенце. (Међутим, аутори другог рада рекли су да је могућа интерпретација мождане активности некога ко замишља говор.)
Такође је важно имати на уму да су то мале студије. Први се рад ослањао на податке узете од само пет пацијената, док је други проучавао шест пацијената, а трећи само троје пацијената. А ниједно од неуролошких снимака није трајало више од сат времена.
Ипак, наука иде напред, а уређаји за вештачки говор спојени директно у мозак изгледају као реална могућност у неком тренутку низ пут.
