Saltar al contenido principal

El puente de Eval Harness

i18n-rosetta y el MT Eval Harness son dos herramientas separadas que forman un ecosistema. El harness es donde los métodos de traducción son comprobados. Rosetta es donde los métodos comprobados son desplegados. Se conectan a través de un formato de plugin compartido.

El flujo: Investigación → Producción​

1. Construir un método en el harness​

Cualquier clase de Python que implemente async translate(entries, config) → [{id, predicted}] puede integrarse en el harness. Al harness no le importa lo que suceda en su interior: un LLM con prompts, un modelo entrenado a medida, reglas deterministas, cualquier cosa.

2. Realizar un benchmark​

El harness califica su método frente a un corpus estandarizado con métricas reproducibles: chrF++, aceptación FST (para idiomas morfológicamente ricos), precisión morfológica y puntuación semántica.

3. Exportar como plugin​

Cuando su método alcance una calidad aceptable, empaquételo como un plugin de rosetta: un manifiesto method.json con datos de coaching opcionales.

:::info La CLI de exportación está planeada Actualmente, usted crea el manifiesto method.json de forma manual. El comando mt-eval export automatizará esto. Consulte la Interfaz del método para ver el formato completo del plugin. :::

4. Instalar en rosetta​

i18n-rosetta plugin install ./my-method-plugin/

5. Traducir contenido real​

i18n-rosetta sync

Su método sometido a benchmark ahora está produciendo traducciones reales en producción.

El flujo: Producción → Investigación​

Las traducciones desplegadas son revisadas por hablantes bilingües. Sus comentarios identifican errores sistemáticos (patrones de tiempos verbales incorrectos, vocabulario faltante, frases poco naturales). El investigador actualiza el método en el harness, vuelve a realizar el benchmark, lo vuelve a exportar y lo vuelve a desplegar. El sistema aprende del uso.

El formato del plugin​

El manifiesto method.json es el contrato entre las dos herramientas:

{
"name": "crk-coached-v3",
"type": "llm-coached",
"version": "3.0.0",
"description": "Coached LLM translation for Plains Cree",
"locales": ["crk"],
"config": {
"model": "google/gemini-3.5-flash",
"temperature": 0.3
},
"benchmarks": {
"crk": {
"composite_score": 0.67,
"fst_acceptance": 0.82,
"corpus_size": 150
}
}
}

Consulte la Especificación del plugin para ver el formato completo.

Construido vs. Planeado​

ComponenteEstado
Protocolo TranslationProcess✅ Construido
Ejecutor de benchmark del harness✅ Construido
Formato de plugin method.json✅ Construido
rosetta plugin install/remove/list✅ Construido
Carga de datos de coaching✅ Construido
CLI mt-eval export🔲 Planeado
Interfaz de revisión comunitaria🔲 Planeado
Evaluación de conjunto de pruebas criptográficas🔲 Planeado

Lecturas adicionales​