Väi­tös­kir­ja­tut­ki­ja puhe- ja kie­li­tek­no­lo­gian alal­le

Aalto-yliopistossa tiede ja taide kohtaavat tekniikan ja talouden. Rakennamme kestävää tulevaisuutta saavuttamalla läpimurtoja avainalueillamme ja niiden yhtymäkohdissa. Samalla innostamme tulevaisuuden muutoksentekijöitä ja luomme ratkaisuja maailman suuriin haasteisiin. Yliopistoyhteisöömme kuuluu 16 000 opiskelijaa, 446 professoria ja yli 5000 työntekijää, jotka edustavat yhteensä yli 120 kansalaisuutta. Kampuksemme sijaitsee Espoon Otaniemessä. Monimuotoisuus on osa meitä, ja teemme jatkuvaa työtä yhteisömme monimuotoisuuden ja syrjimättömyyden varmistamiseksi. Siksi kannustammekin päteviä hakijoita taustasta riippumatta liittymään yhteisöömme. Tutkimus tehdään Aalto-yliopiston informaatio- ja tietoliikennetekniikan laitoksella, DICEssä. Projektiympäristö tarjoaa erinomaiset puitteet syväoppimisen, puheen ja audion tutkimukseen. Käytettävissä ovat muun muassa Aalto-yliopiston tieteellisen laskennan klusteri, CSC:n kansallinen laskentainfrastruktuuri mukaan lukien LUMI sekä Aallon Akustiikan Laboratorion kaiuttomat huoneet, kuunteluhuoneet ja audiomittauslaitteet. Haemme nyt väitöskirjatutkijaa puhe- ja kieliteknologian alalle Innostavatko sinua puheen ja audion tekoäly, deepfake-tunnistus sekä kysymys siitä, miten tekoälyllä tuotetun sisällön alkuperä voidaan tunnistaa? Haemme väitöskirjatutkijaa mukaan COWAMA: Content-based watermarking for AI-generated audio -projektiin, jota johtaa apulaisprofessori Lauri Juvela. Generatiivisen tekoälyn nopea kehitys on mahdollistanut realistisen puheen ja musiikin tuottamisen, mutta se on samalla luonut riskejä liittyen misinformaatioon, haitallisiin deepfakeihin, tekijänoikeuksiin, omistajuuteen, attribuutioon ja vastuullisuuteen. Projekti vastaa näihin haasteisiin kehittämällä menetelmiä generoidun ja vesileimatun audiodatan alkuperän ja aitouden tunnistamiseen, parantamalla sisältöpohjaista audiovesileimausta sekä arvioimalla robustiutta vesileiman poistamista, väärentämistä, adversariaalisia hyökkäyksiä ja realistista jatkokäsittelyä vastaan. Roolisi Väitöskirjatutkijana otat päävastuun useista lähteistä peräisin olevan tuotetun audiosisällön tunnistamisesta ja työskentelet yhdessä tutkijatohtorin kanssa robustiuden, arvioinnin ja yleistettävyyden parissa. Tehtäviisi kuuluu: Menetelmien kehittäminen useiden eri mallien tuottaman ja erilaisia vesileimausmenetelmiä sisältävän puhe- ja audiosisällön aitouden ja alkuperän tunnistamiseen Monipuolisten todellista ja tuotettua puhetta ja audiota sisältävien aineistojen luominen, mukaan lukien eri generatiivisten mallien ja useiden vesileimausmenetelmien tuottama sisältö Tunnistinmallien kehittäminen moniobjektiivisessa tunnistustehtävässä, johon kuuluvat deepfake-tunnistus, sisällön alkuperän tunnistus ja vesileimojen tunnistus Selitettävien ja paikallistavien tunnistusmenetelmien kehittäminen vesileimojen ja deepfake-sisällön attribuutioon erityisesti tilanteissa, joissa tuotettu sisältö on sekoitettu muihin audiolähteisiin Robustiuden tutkiminen signaalinkäsittelyhyökkäyksiä, generatiivisia uudelleensynteesihyökkäyksiä, adversariaalisia hyökkäyksiä ja realistista jatkokäsittelyä, kuten miksausta, vastaan Tutkimustulosten julkaiseminen korkeatasoisissa konferensseissa ja lehdissä sekä osallistuminen avoimen lähdekoodin ohjelmistojen, avointen mallien ja toistettavien tutkimustuotosten kehittämiseen. Verkostosi ja tiimisi Ohjaajanasi toimii apulaisprofessori Lauri Juvela, joka johtaa Aalto-yliopiston Speech Synthesis -tutkimusryhmää. Ryhmä työskentelee syvien generatiivisten puhe- ja audiomallien, puhesynteesin, differentioituvan signaalinkäsittelyn, deepfake-tunnistuksen ja vesileimauksen parissa. Aallon puheryhmien ja projektin tutkijatohtorin lisäksi työskentelet kansainvälisessä yhteistyöverkostossa, johon kuuluvat muun muassa professori Junichi Yamagishi National Institute of Informatics -instituutista Japanista, professori Xavier Serra Universitat Pompeu Fabrasta Espanjasta ja professori Gustav Eje Henter KTH Royal Institute of Technologysta Ruotsista. Yhteistyöverkostolla on vahva tausta puheen ja audion synteesissä, syvissä generatiivisissa malleissa ja deepfake-tunnistuksessa, mikä tekee projektista hyvin asemoituneen vaikuttamaan tekoälyllä tuotetun audion vesileimaukseen ja lähteen jäljittämiseen. Odotamme sinulta Etsimme uteliasta ja motivoitunutta uransa alkuvaiheessa olevaa tutkijaa, joka haluaa kehittää osaamistaan puheen, audion, koneoppimisen ja luotettavan generatiivisen tekoälyn parissa. Tehtävässä onnistuminen edellyttää: Maisterin tutkintoa tai pian valmistuvaa maisterin tutkintoa puheen- tai audionkäsittelyn, koneoppimisen, signaalinkäsittelyn, tietojenkäsittelytieteen, sähkötekniikan tai muun soveltuvan alan parissa Vahvaa kiinnostusta väitöskirjatutkimukseen audion deepfake-tunnistuksesta, vesileimauksesta, lähteen jäljittämisestä ja generatiivisesta tekoälystä Hyviä ohjelmointitaitoja, mukaan lukien Python ja nykyaikaiset koneoppimisen työkalut Perustietoja syväoppimisesta, signaalinkäsittelyst