Audio Annotation

Kalbos duomenų įrašymas, tikrinimas ir anotavimas

Web sistema, kurioje dalyviai įrašo sakinius savo tarme, tikrina vieni kitų įrašus ir pokalbiuose pažymi, kas ir kada kalba. Patikrinti duomenys naudojami kalbos modeliams mokyti.

Sritis: Kalbos technologijos
Tipas: Web sistema
Ką atlikome: Dizainas, naudotojo sąsajos ir serverio dalies programavimas

Audio Annotation kalbėtojų laiko juosta: pokalbio garso banga, padalyta į spalvotus blokus, po spalvą kiekvienam iš trijų kalbėtojų, ir žymė, rodanti 1 kalbėtoją nuo 0:08 iki 0:12 — Taisyti arba pradėti iš naujo. Įkeliamos ankstesnės anotacijos, todėl dalyvis gali jas pataisyti, o ne pradėti nuo nulio.
Kalbėtojai. Pasirinkite kalbėtoją ir pele pažymėkite garso bangos vietą, kur jis kalba.
Atkarpos. Kiekvienas blokas – viena kalbos atkarpa, nuspalvinta kalbėtojo spalva.
Laikas. Kas kalba, nuo kada iki kada.
Mastelis. Padidinkite garso bangą, kad tiksliai nustatytumėte atkarpos ribas.

01Situacija

Natūraliosios kalbos apdorojimo ir balso atpažinimo srityje dirbanti įmonė kūrė modelius kalbai generuoti ir kalbėtojams atskirti – nustatyti, kas ir kada kalba. Šiems modeliams mokyti reikėjo įvairaus, patikimo ir žmonių patikrinto įrašų rinkinio.

02Sprendimas

Įrašymas ir tikrinimas

Dalyviai garsiai skaito nurodytus sakinius savo tarme, kad modeliai išmoktų, kuo skiriasi skirtingų regionų kalba.

Įrašas iškart nenaudojamas. Kiti dalyviai jį perklauso ir patikrina, ar žodžiai atitinka tekstą. Jie gali:

pataisyti tekstą, kad jis atitiktų tai, kas pasakyta,
arba atmesti įrašą, jei jis per daug nukrypsta nuo teksto ar garso kokybė prasta.

Į mokymo duomenis patenka tik šią patikrą praėję įrašai.

Audio Annotation peržiūros langas: dalyvio perskaitytas sakinys, įrašo garso banga, jo pasirinktas tarmės regionas, čia sulietas, ir mygtukai įrašui priimti arba atmesti — Klausimas. Ar sakinys pasakytas taip, kaip parašyta?
Sakinys. Ką perskaitė dalyvis. Pieštuko mygtuku tikrintojas gali pataisyti tekstą, kad jis atitiktų įrašą.
Įrašas. Garso įrašas, paleidžiamas tikrinant.
Tarmė. Dalyvio nurodytas jo tarmės regionas, čia sulietas.
Sprendimas. Atmesti arba priimti įrašą.

Kalbėtojų žymėjimas

Kalbėtojams atskirti dalyviai klausosi dviejų ar daugiau žmonių pokalbių ir laiko juostoje pažymi atkarpas, kuriose kalba kiekvienas. Jei ankstesnių anotacijų jau yra, jie jas patikrina ir pataiso.

Patikrinti duomenys naudojami dviejų rūšių modeliams mokyti:

Kalbos generavimas: įrašai įvairiomis tarmėmis padeda modeliams kurti natūralią intonaciją ir tarmei būdingas išraiškas.
Kalbėtojų atskyrimas: anotuoti pokalbiai moko modelius atskirti kalbėtojus, pavyzdžiui, transkribuojant ar balso asistentuose.

Ekrano įrašas: dalyvis laiko juostoje žymi, kur kalba kiekvienas kalbėtojas

03Rezultatas

Patikrinti duomenys: Kiekvieną įrašą prieš panaudojant perklauso kitas žmogus, o anotacijos taip pat tikrinamos ir taisomos.
Viena vieta: Įrašymas, peržiūra ir anotavimas vyksta vienoje web sistemoje.
Daug tarmių: Dalyviai nurodo savo tarmės regioną, todėl duomenys atspindi, kaip kalba skiriasi regionuose.

Kitas projektas

Balloon Live

Karšto oro balionų pilotai tikslus deklaruoja ir žymeklius meta telefonu, o pasirašyti skrydžio duomenys pasiekia vertintojus be SD kortelių.

Papasakokite, ko jums reikia.

Pradžiai pakanka kelių eilučių apie problemą. Atsakome el. paštu – su klausimais arba pasiūlymu, kada pasikalbėti.

Aprašykite projektą

arba rašykite info@dracofortis.com