Persimmon-8B Apache Licensed LLM

Argos Translate
1

We’re open-sourcing Persimmon-8B, the most powerful fully permissively-licensed language model with <10 billion parameters.

This is the most capable open-source, fully permissive model with fewer than 10 billion parameters. We are releasing it under an Apache license for maximum flexibility.

We’re also releasing fast inference code for this model–with a short prompt, we can sample ~56 tokens per second on one 80GB A100 GPU3. While most optimized inference code is complicated and brittle, we’ve managed to make ours flexible without sacrificing speed. We can define models in PyTorch, run inference with minimal changes, and still be faster than FasterTransformer.

1 Like
2

The bottlenecks of these LLM models are currently inference speed, context size and memory/GPU requirements. It’s nice to see that all of them are being improved almost every other month (this announcement confirming the observation). There’s actually a good use case for machine translation which I’ve been exploring, which is sentence improvement:

Input text:

The Million Second Quiz is an American game show that was hosted by Ryan Seacrest (pictured) and broadcast by NBC from September 9 to September 19, 2013. For one million seconds, contestants attempted to win trivia matches, and the four top scorers competed in a stepladder playoff for a top prize of $2,000,000. Stephen Lambert, Eli Holzman, and David Hurwitz served as executive producers of The Million Second Quiz.

Translation to Italian via argos/LT:

Il Milione Secondo Quiz è uno show americano che è stato ospitato da Ryan Seacrest e trasmesso dalla NBC dal 9 settembre al 19 settembre 2013. Per un milione di secondi, i concorrenti hanno tentato di vincere i fiammiferi di trivia e i quattro migliori scorers hanno partecipato a un playoff di stepladder per un primo premio di 2.000.000 di dollari. Stephen Lambert, Eli Holzman e David Hurwitz sono stati produttori esecutivi di The Million Second Quiz.

Now the prompt:

You are given an INPUT TEXT written in ITALIAN. This text sometimes contains misspellings, awkward sentences, missing words, wrong conjugations and other mistakes that a native speaker wouldn’t do. Your job is to rewrite the text in ITALIAN like a native speaker would. Do NOT change the meaning of the text. Do NOT add anything else to the text. Just rewrite it, but better. In your reply, just write the REWRITTEN TEXT, and nothing else.

INPUT TEXT: Il Milione Secondo Quiz è uno show americano che è stato ospitato da Ryan Seacrest e trasmesso dalla NBC dal 9 settembre al 19 settembre 2013. Per un milione di secondi, i concorrenti hanno tentato di vincere i fiammiferi di trivia e i quattro migliori scorers hanno partecipato a un playoff di stepladder per un primo premio di 2.000.000 di dollari. Stephen Lambert, Eli Holzman e David Hurwitz sono stati produttori esecutivi di The Million Second Quiz.

REWRITTEN TEXT:

Output (GPT-3):

Il Million Second Quiz è uno show americano che è stato condotto da Ryan Seacrest e trasmesso dalla NBC dal 9 settembre al 19 settembre 2013. Per un milione di secondi, i concorrenti hanno cercato di vincere sfide di trivia, e i quattro migliori punteggi hanno partecipato a un torneo a eliminazione diretta per un primo premio di 2.000.000 di dollari. Stephen Lambert, Eli Holzman e David Hurwitz sono stati i produttori esecutivi di The Million Second Quiz.

Which is a big improvement in quality, replacing ospitato (awkward) → condotto (correct), tentato (awkward) → cercato (correct), fiammiferi di trivia (incorrect) → sfide di trivia (correct), scorers (incorrect) → concorrenti (correct), playoff di stepladder (incorrect) → torneo a eliminazione diretta (correct), stati produttori esecutivi (missing i) → stati i produttori esecutivi.

After the improvements, it’s pretty much native translator quality.

1 Like
3

Interesting. can you describe what is you specs that you are current using?