Et hjerneimplantat som omsetter tanker til tale i samtid

Det er en artikkel i Nature som beretter om denne prestasjonen¹.

Å snakke er en essensiell menneskelig evne, og det å miste evnen til å snakke er ødeleggende for mennesker som lever med en nevrologisk sykdom eller skade. Hjerne-datamaskin-grensesnitt (brain-computer interfaces, BCI-er) er en lovende terapi for å gjenopprette tale ved å omgå de skadede delene av nervesystemet ved å dekode nevral aktivitet². Systemet bruker kunstig intelligens i dekodingen av pasientens elektriske hjerneaktivitet når vedkommende forsøker å snakke.

BCI-er har blitt brukt til å oversette de nevrale korrelatene fra forsøk på tale til tekst³. Tekstkommunikasjon klarer imidlertid ikke å fange opp nyansene i menneskelig tale, som rytme og intonasjon (prosodi), og det å umiddelbart høre sin egen stemme.

I denne studien har forskerne utviklet en hjerne-til-stemme-nevroprotese som umiddelbart syntetiserer stemme ved å dekode nevral aktivitet fra 256 mikroelektroder implantert i den ventrale presentrale gyrusen til en mann med amyotrofisk lateral sklerose og alvorlig dysartri.

Forskerne var i stand til å syntetisere stemmen hans nøyaktig. Sammen med fonemisk innhold var de også i stand til å dekode paralingvistiske trekk fra intrakortikal aktivitet, slik at deltakeren kunne modulere sin BCI-syntetiserte stemme i sanntid for å endre intonasjon når vedkommende stilte spørsmål, ønsket å betone enkeltord eller synge korte melodier. 

Enheten er den første som ikke bare gjengir en persons tiltenkte ord, men også trekk ved naturlig tale som intonasjon, tonehøyde og vektlegging, som bidrar til å uttrykke mening og følelser.

Studien viser at en syntetisk stemme kan etterligne pasientens egne ord innen 10 millisekunder etter den nevrale aktiviteten som signalisererr hans intensjon om å snakke.

Forskerne personifiserte også den syntetiske stemmen slik at den hørtes ut som mannens egen, ved å trene KI-algoritmer på opptak av intervjuer han hadde gjort før sykdommen startet.

Resultatene fra denne studien viser at det går an å gjøre det mulig for personer med paralyse å snakke forståelig og uttrykksfullt gjennom en BCI.