2 benchmarks · 121 variantes puntuadas · hace 21 h
Qué maldito modelo uso
¿Cansado de buscar cuál es el mejor modelo para programar? Tres respuestas, al día.
respuestamodelocalidad$/tareaLo que costó resolver las tareas de los benchmarks, con las tres fuentes puestas en la misma escala. Sirve para comparar modelos entre sí; no es lo que vas a pagar tú, que depende de tu repo, de tu prompt y de tu harness. 01 barato
bajo riesgo41/100$2.81/tarea
03 uno bueno
sin mirar precio55/100$4.11/tarea
calidad de 2 benchmarks nivelados · el $/tarea es un índice, no tu factura cómo se calcula
Con estos filtros solo quedan 2 intercambios distintos, y para tres respuestas hacen falta tres.
calidad ↑ · $/tarea → · 2 variantescalidad ↑ · $/tarea → · 2 variantes · 2 en el frontier, unidas por la línea Otras 6 variantes están medidas por un solo benchmark y no compiten por las tres respuestas. cuáles y por qué
Casi todo lo open weight lo ha medido un solo benchmark. Bajar el mínimo a uno los deja competir, con el precio de que su nota sale de una única medición, la del benchmark que les tocó: entran marcados como confianza baja.