ARLC Asociația Română de Lingvistică Computațională
Articole relevante
Tehnologia modernă ne permite să trimitem mesaje mai rapid direct de pe telefoanele mobile și nu numai. Sistemele de mesagerie sunt formatate în așa fel încât se pot trimite mesaje în toate limbile. De aceea, programatorii români au dezvoltat un serviciu Web de adăugare a diacriticelor specific limbii române.
Aceste sisteme oferă posibilitatea de a înlocui cuvintele greșite cu cele corecte, deoarece de multe ori tastăm în grabă și ratăm câteva litere. De aceea, textul predictiv vine în ajutorul nostru. Sistemul analizează fiecare cuvânt și ne oferă diferite variante ale aceluiași cuvânt pentru a putea scrie un mesaj mai clar în limba selectată în prealabil. Aceste sisteme se bazează pe tehnologii probabilistice care analizează cuvintele introduse în sistem și le asociază diacriticele corespunzătoare, însă nu întotdeauna reușesc să ofere rezultate precise. Aceste tehnologii folosesc un model de limbă bazat pe N-grame pentru a analiza cuvintele cu sens ambiguu sau diverși algoritmi antrenați în prealabil care filtrează cuvintele și le trimit către server pentru a fi procesate. În final, cuvintele sunt trimise către utilizator pentru a putea fi utilizate în text.
În limba română de pildă, sistemul ne înlocuiește cuvintele fără diacritice în cuvinte cu diacritice pentru a le formaliza sau ne sugerează semne de punctuație pentru a nu lăsa mesajul suspendat. Totodată, acestea vin în ajutorul interlocutorului, deoarece acesta trebuie să înțeleagă dacă am terminat fraza, dacă am adresat o întrebare sau dacă i-am dat o sarcină. De asemenea, aceste sisteme pot înregistra mesaje pentru a le transpune ulterior în text, iar această caracteristică este permisă datorită tehnologiei care transpune limbajul vorbit în text scris.
În concluzie, rezultatele sunt destul de surprinzătoare, deoarece aceste servicii au îmbunătățit viața socială a oamenilor, ajutându-i să economisească timp atunci când trimit mesaje scrise. Restaurarea diacriticelor constituie un aspect cu o deosebită importanță în toate domeniile, având în vedere faptul că multe texte sunt scrise fără diacritice. Multe persoane consideră că adăugarea de diacritice este o muncă sisifică, atfel încât renunță să mai acorde atenție diacriticelor.
Referințe bibliografice
https://towardsdatascience.com/next-word-prediction-with-nlp-and-deep-learning-48b9fe0a17bf
https://www.tableau.com/learn/articles/natural-language-processing-examples
Aliprandi, Carlo, Carmignani, Nicola, Deha, Nedjma, Mancarella, Paolo, Rubino, Michele, Advances in NLP applied to WordPrediction, University of Pisa, 2008: https://www.researchgate.net/publication/228822071_Advances_in_NLP_applied_to_Word_Prediction
