Daudzvalodu cilvēka-datora komunikācijas modelēšana, izmantojot mākslīgā intelekta metodes

PROJEKTS

Parakstīts līgums ar Centrālo finanšu un līguma aģentūru (CFLA) darbības programmas “Izaugsme un nodarbinātība” 1.1.1.specifiskā atbalsta mērķa “Palielināt Latvijas zinātnisko institūciju pētniecisko un inovatīvo kapacitāti un spēju piesaistīt ārējo finansējumu, ieguldot cilvēkresursos un infrastruktūrā” 1.1.1.1. pasākuma “Praktiskas ievirzes pētījumi” ietvarā, par projekta:

“Daudzvalodu cilvēka-datora komunikācijas modelēšana, izmantojot mākslīgā intelekta metodes” (1.1.1.1/18/A/148) īstenošanu.

Projekts tiks īstenots sadarbībā starp - Sabiedrību Tilde un pētniecības institūciju - Latvijas Universitātes Datorikas fakultāti.

Projekts ilgs no 2019. gada 1. aprīļa līdz 2022. gada 31. martam.
Projekta kopējas attiecināmās izmaksas ir 756 694.09 EUR, t.sk., ERAF atbalsts 519 332.49 EUR.
Projekta īstenošanas vieta – Vienības gatve 75a, Rīga, Latvija un Raiņa bulvāris 19, Rīga, Latvija, LV-1586.

Projekta īstenošanas 4. posmā turpināti pētījumi par dabiskās valodas sapratnes modelēšanu, zināšanu izguvi no daudzvalodu tekstiem, daudzvalodīgas piekļuves nodrošināšanu, cilvēka-datora saziņas emocionālajiem aspektiem un runātās valodas paralingvistisko parametru modelēšanu.

Dabiskās valodas sapratnes uzdevuma pētījumi pārskata periodā saistīti ar BERT un ALBERT modeļu izveidi latviešu valodai un šo modeļu apmācībai nepieciešamo datu sagatavošanu. Turpināta dažādo modeļu piemērotības novērtēšana atbildes atrašanas uzdevumā, izmantojot latviskotu SquAD datu kopu.

Pārskata periodā turpināti pētījumi par zināšanu izvilkšanu no tekstiem. Uzsākta nosaukto entitāšu atpazīšanas (NER) uzdevuma padziļināta izpēte un novērtēšana, izmantojot sagatavotos BERT modeļus. Apzinātas datu kopas latviešu valodai NER risinājuma apmācībai un novērtēšanai. Turpināta zinātniskās literatūras analīze par metodēm automātiskai zināšanu izvilkšanai, īpaši pētot hibrīdās vairāku “sprieduma lēcienu” jautājumu atbildēšanas metodes (hybrid multi-hop QA).

Dabiskās valodas izteikumu automātiskas tulkošanas uzdevumā turpināti pētījumi par mašīntulkošanas sistēmas pielāgošanu negramatisku datu (runas atpazīšanas sistēmas izvada, tērzēšanas valodas u.c.) tulkošanai.

Lietotāja emocionālā stāvokļa noteikšanai un modelēšanai turpināta afekta tezaura izveide un afekta pazīmju kategorizācijas sistēmas izveide. Uzsākta afekta anotēšana audioierakstos, aprobējot izvēlēto kategorizācijas sistēmu un novērtējot mūsdienīgākos anotēšanas rīkus.

Pārskata periodā turpināti pētījumi par cilvēka datora komunikācijas adaptāciju lietotāja emocionālajam stāvoklim. Turpināta datu kopu dialogu modelēšanai apzināšana un izpēte, uzsāks pētījums par empātiskas dialogsistēmas izveidi. Uzsākta dialoga emociju automātiskas analīzes pieejas izstrāde pēc izvēlēto emociju intensitātes.

Turpināti pētījumi par labākajām metodēm izteiksmīgas runas sintēzei un emocionālas runas atpazīšanai datu nepietiekamības apstākļos. Turpināta novērtēšana audiosegmentācijas uzdevumam, salīdzinot Kaldi x-vector diarisation un LIUM SpkDiarization. Sagatavoti nepieciešamie dati atbilstoši DIHARD challenge ieteikumiem. Iegūts novērtējums pēc DER (Diarization error rate): LIUM: 67.55, bet Xvector: 60.80.

Publicēts 31.03.2020.
 

Pārskata periodā turpināti pētījumi par efektīvākajām metodēm pašapmācošu virtuālo sarunu biedru izveidei. Veikta modeļu un metožu analīze dialoga stāvokļa izsekošanas un nākamās darbības prognozēšanas uzdevumiem. Veikta dažādu pētījumam nepieciešamo BERT modeļu izveide un analīze latviešu valodai, veikta bāzlīnijas novērtēšana SquAD uzdevumā latviešu valodā.

Uzsākti pētījumi par zināšanu izvilkšanu no tekstiem. Veikta sākotnējā analīze diviem risinājumiem – komponentēs balstītai zināšanu izguvei (pārskata periodā koncentrējoties uz nosauktajām entitātēm) un pašapmācošamies un pašpapildinošamies modeļiem, analizējot pašreiz labākos rezultātus angļu valodai un pētot to adaptēšanas iespējas.

Dabiskās valodas izteikumu automātiskai tulkošanai uzsākti eksperimenti mašīntulkošanas sistēmas pielāgošanai darbam ar runas atpazīšanas sistēmas izvadu. Mašīntulkošanas sistēmās izmantota “transformer” tipa tīkla arhitektūra, tās apmācītas ar WMT 2017 datu kopu, papildinot to ar mākslīgi sintezētu un atpazītu runāto tekstu avotvalodā un to tulkošanas ekvivalentiem mērķvalodā. Sākotnējie eksperimentu rezultāti ļauj secināt, ka jaukto datu sistēma veiksmīgi pielāgojas darbam ar runas atpazīšanas sistēmas izvadu.

Lietotāja emocionālā stāvokļa noteikšanai un modelēšanai uzsākts pilotpētījums par multimodālu dialogu modelēšanu un anotēšanu. Veikta audiālu dialoga fragmentu analīze, esošo tehnisko palīglīdzekļu novērtēšana. Veikta datu apstrāde, iegūstot transkribētā teksta kvalitātes rādītājus un emociju vārdu parametrus. Sagatavoti scenāriji uzlaboto dialogu struktūru veidošanai. Apzinātas datu kopas dialogu modelēšanai, un izstrādāta saskarne dialoga datu manuālai tulkošanai.

Turpināti pētījumi par labākajām metodēm izteiksmīgas runas sintēzei un emocionālas runas atpazīšanai datu nepietiekamības apstākļos. Uzsākta novērtēšana audio segmentācijas uzdevumam.

Publicēts 31.12.2019.

Projekta īstenošanas 2. posmā (no 2019. gada 1. jūlija līdz 2019. gada 30. septembrim)  turpinājās darbs pie vairākām projekta Rūpnieciskās pētniecības aktivitātēm:

1.1.       Dabiskās valodas saprašana      

1.2.       Dabiskās valodas ģenerēšana    

1.3.       Dialoga scenāriju mācīšanās no datiem  

2.1.       Zināšanu identificēšana tekstu datos      

2.2.       Automātiska daudzvalodu zināšanu bāzes izveide           

3.1.       Mašīntulkošana dabiskās valodas vaicājumiem    

5.1.       Paralingvistisko pazīmju atpazīšana un runātās valodas apstrāde dialogos          

5.2.       Izteiksmīgas runas sintēze dialogiem      

Pārskata posmā tika turpināts darbs atbilstoši sagatavotajam pētījuma plānam, izvērsts darbs pie galvenajiem problēmjautājumiem, un turpinājās pētījumam nepieciešamo datu kopu sagatavošana.

Publicēts 30.09.2019.

Projekta īstenošanas 1. posmā (no 2019. gada 1. aprīļa līdz 2019. gada 30. jūniju) notika darbs pie vairākām projekta Rūpnieciskās pētniecības aktivitātēm:

1.1.       Dabiskās valodas saprašana      

1.2.       Dabiskās valodas ģenerēšana    

1.3.       Dialoga scenāriju mācīšanās no datiem  

2.1.       Zināšanu identificēšana tekstu datos      

2.2.       Automātiska daudzvalodu zināšanu bāzes izveide           

3.1.       Mašīntulkošana dabiskās valodas vaicājumiem    

5.1.       Paralingvistisko pazīmju atpazīšana un runātās valodas apstrāde dialogos          

5.2.       Izteiksmīgas runas sintēze dialogiem      

Pārskata posmā tika sagatavots pētījuma plāns, apzināti galvenie problēmjautājumi, un uzsākta pētījumam nepieciešamo datu kopu un jaunāko literatūras avotu apkopošana un analīze.

Publicēts 30.06.2019.

 

PROJEKTU LĪDZFINANSĒ EIROPAS REĢIONĀLĀS ATTĪSTĪBAS FONDS