2 benchmarks · 121 variantes puntuadas · hace 18 h
Qué maldito modelo uso
¿Cansado de buscar cuál es el mejor modelo para programar? Tres respuestas, al día.
respuestamodelocalidad$/tareaLo que costó resolver las tareas de los benchmarks, con las tres fuentes puestas en la misma escala. Sirve para comparar modelos entre sí; no es lo que vas a pagar tú, que depende de tu repo, de tu prompt y de tu harness. 01 barato
bajo riesgoGrok 4.5high
1× más barato que el líder, con el 68% de su calidad.
34/100$3.74/tarea
03 uno bueno
sin mirar precioGrok 4.6high
Lo más capaz que hay medido. Y se nota en la factura.
50/100$5.41/tarea
calidad de 2 benchmarks nivelados · el $/tarea es un índice, no tu factura cómo se calcula
Con estos filtros solo quedan 2 intercambios distintos, y para tres respuestas hacen falta tres.
calidad ↑ · $/tarea → · 2 variantescalidad ↑ · $/tarea → · 2 variantes · 2 en el frontier, unidas por la línea Otras 4 variantes están medidas por un solo benchmark y no compiten por las tres respuestas. cuáles y por qué
Casi todo lo open weight lo ha medido un solo benchmark. Bajar el mínimo a uno los deja competir, con el precio de que su nota sale de una única medición, la del benchmark que les tocó: entran marcados como confianza baja.