Following the creation of Announcing NLLU - No Language Left Unlocked - #5 by pierotofy I’ve generated a model using the workflow of argos-train and the nllu dataset, along with a a few smaller opus corpuses and a wiktionary dataset.
~82% of the training data came from NLLU, the remaining 18% from opus/wiktionary.
The good news is that BLEU evaluation on flores200 increased by 5 points, the bad news is that as a human I can’t detect any noticeable improvements, in fact the translations seem pretty equal to me.
There’s also an annoying issue where basic words such as “hello” (lowercase) return “hello” (unchanged), whereas “Hello” (first letter uppercase) correctly returns “Salve”. Same issue for “hi”, which returns “hi” (unchanged), whereas “Hi” correctly returns “Ciao”.
Super-annoying, given that the wiktionary dataset has explicit entries for “hello” (lowercase). I know the capitalization of letters is an on-going issue with existing models as well (for example, the current model translates “hello” → “pronto” and “Hello” → “Ciao”).
This might be the next issue that I start working on, as people who try LT/argos for the first time do not type full sentences as a first test, but simple ones, and if those fail, it doesn’t look great for a first test/evaluation.
Link to argos model for those that want to try it out: https://nllu.libretranslate.com/data/translate-en_it-1_0_test.argosmodel
Current argos-translate (C) → 46.75
New test (N) → 51.31
flores200id
• input
• human ground truth
• (C) current
• (N) new
• deepl translation
25
• Ovechkin’s first assist of the night was on the game-winning goal by rookie Nicklas Backstrom;
• Il primo assist di Ovechkin della serata è stato quello che ha permesso all’esordiente Nicklas Backstrom di segnare il gol della vittoria;
• (C) Il primo aiuto di Ovechkin della notte è stato sull’obiettivo vincente dal rookie Nicklas Backstrom;
• (N) Il primo assist della notte di Ovechkin fu nell’obiettivo vincitore del gioco dal rookie Nicklas Backstrom;
• Il primo assist di Ovechkin della serata è stato fornito sul gol vittoria del debuttante Nicklas Backstrom;
50
• In the last 3 months, over 80 arrestees were released from the Central Booking facility without being formally charged.
• Negli ultimi 3 mesi, oltre 80 detenuti sono stati rilasciati dal Centro di detenzione senza una formale accusa.
• (C) Negli ultimi 3 mesi, oltre 80 arresti sono stati rilasciati dalla centrale di prenotazione senza essere formalmente accusati.
• (N) Negli ultimi 3 mesi, oltre 80 arresti sono stati rilasciati dalla struttura di prenotazione centrale senza essere formalmente addebitati.
• Negli ultimi 3 mesi, oltre 80 arrestati sono stati rilasciati dal centro di prenotazione senza essere formalmente accusati.
125
• Since its inception, The Onion has become a veritable news parody empire, with a print edition, a website that drew 5,000,000 unique visitors in the month of October, personal ads, a 24 hour news network, podcasts, and a recently launched world atlas called Our Dumb World.
• A partire dal suo debutto, The Onion è diventato un vero impero della parodia dell’informazione, con un’edizione cartacea, un sito web in grado di attirare 5.000.000 di visitatori unici nel mese di ottobre, inserzioni personali, un network di notizie h24, podcast e un atlante mondiale, lanciato recentemente, chiamato Our Dumb World.
• (C) Fin dalla sua nascita, The Onion è diventato un vero e proprio impero di parodia di notizie, con un’edizione di stampa, un sito web che ha attirato 5.000.000 visitatori unici nel mese di ottobre, annunci personali, una rete di notizie 24 ore, podcast, e un atlante mondiale recentemente lanciato chiamato Our Dumb World.
• (N) Fin dalla sua nascita, The Onion è diventato un vero e proprio impero di parodie di notizie, con un’edizione cartacea, un sito web che ha attirato 5.000.000 di visitatori unici nel mese di ottobre, annunci personali, una rete di notizie 24 ore su 24, podcast e un atlante mondiale recentemente lanciato chiamato Our Dumb World.
• Dalla sua nascita, The Onion è diventato un vero e proprio impero della parodia giornalistica, con un’edizione cartacea, un sito web che ha attirato 5.000.000 di visitatori unici nel mese di ottobre, annunci personali, una rete di notizie 24 ore su 24, podcast e un atlante mondiale recentemente lanciato, chiamato Our Dumb World.
250
• The hostel’s guests were mostly citizens of the United Arab Emirates.
• L’ostello ospitava principalmente cittadini provenienti dagli Emirati Arabi Uniti.
• (C) Gli ospiti dell’ostello erano per lo più cittadini degli Emirati Arabi Uniti.
• (N) Gli ospiti dell’ostello erano per lo più cittadini degli Emirati Arabi Uniti.
• Gli ospiti dell’ostello erano per lo più cittadini degli Emirati Arabi Uniti.
500
• It was developed by John Smith in the 1970s to help inexperienced folders or those with limited motor skills.
• Fu ideato da John Smith negli anni '70 per facilitare il lavoro ai piegatori inesperti o a coloro che avevano limitate capacità motorie.
• (C) È stato sviluppato da John Smith negli anni '70 per aiutare cartelle inesperte o quelle con capacità motorie limitate.
• (N) È stato sviluppato da John Smith negli anni '70 per aiutare le cartelle inesperte o quelle con capacità motorie limitate.
• È stato sviluppato da John Smith negli anni '70 per aiutare i piegatori inesperti o con capacità motorie limitate.
800
• When people don’t see moose as potentially dangerous, they may approach too closely and put themselves at risk.
• Se le persone sottovalutano la potenziale pericolosità degli alci, potrebbero avvicinarsi troppo a loro e correre dei rischi.
• (C) Quando le persone non vedono l’alce come potenzialmente pericoloso, possono avvicinarsi troppo da vicino e mettersi a rischio.
• (N) Quando le persone non vedono l’alce come potenzialmente pericolosa, possono avvicinarsi troppo da vicino e mettersi a rischio.
• Quando le persone non vedono gli alci come potenzialmente pericolosi, possono avvicinarsi troppo e mettersi in pericolo.
