Neurotieteilijät opettavat tietokoneita lukemaan sanoja suoraan ihmisten aivoista.
Tiedettä kirjoittava Kelly Servick kertoi tällä viikolla kolmesta paperista, jotka lähetettiin esipainetuspalvelimelle bioRxiv, jossa kolme eri tutkijaryhmää osoittivat pystyvänsä purkamaan puheen neuronien ampumisen tallenteista. Jokaisessa tutkimuksessa suoraan aivoihin sijoitetut elektrodit rekisteröivät hermoaktiivisuuden, kun taas aivokirurgiapotilaat kuuntelivat puhetta tai lukevat sanoja ääneen. Sitten tutkijat yrittivät selvittää, mitä potilaat kuulivat tai sanoivat. Kummassakin tapauksessa tutkijat pystyivät muuttamaan aivojen sähköisen toiminnan ainakin jonkin verran ymmärrettäviksi äänitiedostoiksi.
Ensimmäisessä lehdessä, joka lähetettiin bioRxiviin 10. lokakuuta 2018, kuvataan kokeilu, jossa tutkijat toistivat puheäänityksiä epilepsiapotilaille, jotka olivat keskellä aivoleikkausta. (Kokeessa otettujen hermojen tallenteiden oli oltava erittäin yksityiskohtaisia tulkittavana. Ja tämä yksityiskohtaisuus on saatavana vain harvinaisissa olosuhteissa, kun aivot altistuvat ilmalle ja elektrodit sijoitetaan siihen suoraan, kuten aivokirurgiassa) .)
Kun potilaat kuuntelivat äänitiedostoja, tutkijat tallensivat neuroneja ampuen potilaan aivojen osiin, jotka prosessoivat ääntä. Tutkijat kokeilivat useita erilaisia menetelmiä muuntaa kyseinen hermostoa aiheuttava data puheeksi ja totesi, että "syvä oppiminen" - jossa tietokone yrittää ratkaista ongelman enemmän tai vähemmän valvomatta - toimi parhaiten. Kun he toistivat tuloksia vokooderilla, joka syntetisoi ihmisen äänet, 11 kuuntelijaryhmälle, nuo yksilöt pystyivät tulkitsemaan sanat oikein 75 prosenttia ajasta.
Voit kuunnella kokeilun ääntä täältä.
Toisessa lehdessä, joka lähetettiin 27. marraskuuta 2018, luotiin hermojen tallennukset ihmisiltä, joille tehdään leikkaus aivokasvainten poistamiseksi. Kun potilaat lukevat yksisilmäisiä sanoja ääneen, tutkijat tallensivat sekä osallistujien suusta tulevat äänet että neuronit, jotka ampuivat heidän aivojensa puhetta tuottavilla alueilla. Sen sijaan, että koulutettaisiin tietokoneita syvästi jokaiselle potilaalle, nämä tutkijat opettivat keinotekoista hermoverkkoa muuntamaan hermoäänitteet ääniksi, mikä osoitti, että tulokset olivat ainakin kohtuullisen ymmärrettäviä ja samanlaisia kuin mikrofonien tekemät tallenteet. (Tämän kokeilun ääni on täällä, mutta se on ladattava zip-tiedostona.)
Kolmas, 9. elokuuta 2018 lähetetty paperi vetoaa aivojen sen osan rekisteröintiin, joka muuntaa tietyt sanat, jotka ihminen päättää puhua lihaksen liikkeiksi. Vaikka tästä kokeesta ei ole saatavilla tallenteita verkossa, tutkijat kertoivat pystyneensä rekonstruoimaan kokonaisia lauseita (tallennettiin myös epilepsiapotilaiden aivoleikkauksen aikana) ja että lauseita kuunnelleet ihmiset pystyivät tulkitsemaan ne oikein monivalinnalla. testi (10 valinnasta) 83 prosenttia ajasta. Kokeen menetelmä perustui yksilöiden tavujen, ei kokonaisten sanojen tuottamiseen liittyvien mallien tunnistamiseen.
Kaikkien näiden kokeiden tavoitteena on yhtenä päivänä antaa ihmisille, jotka ovat menettäneet puhekyvyn (amyotrofisen lateraaliskleroosin tai vastaavien olosuhteiden vuoksi) puhua tietokone-aivo-rajapinnan kautta. Tätä sovellusta koskevaa tiedettä ei kuitenkaan ole vielä olemassa.
Puhetta vain kuvittelevan henkilön hermokuvioiden tulkinta on monimutkaisempaa kuin puhetta kuuntelevan tai tuottavan henkilön kuvioiden tulkinta, Science raportoi. (Toisen artikkelin kirjoittajat kuitenkin sanoivat, että puhetta kuvittelevan henkilön aivojen toiminnan tulkitseminen voi olla mahdollista.)
On myös tärkeää pitää mielessä, että nämä ovat pieniä tutkimuksia. Ensimmäisessä tutkimuksessa luotettiin vain viiden potilaan tietoihin, kun taas toisessa tutkittiin kuutta ja kolmannessa vain kolme potilasta. Ja mikään hermojen tallennuksista ei kesti yli tunnin.
Silti tiede etenee, ja suoraan aivoihin kiinnitetyt keinotekoiset puhelaitteet näyttävät todelliselta mahdolliselta tieltä tien päällä.
