Cómo se calcula

No recomendamos un modelo, recomendamos un modelo a un nivel de effort. Ahora mismo el caso más caro de ignorarlo es este: en CursorBench 4.0, Claude Sonnet 5.5 en high saca 47.8% a $1.20 por tarea y en max saca 55.5% a $10.78. Son 7.7 puntos por 9.0 veces el precio. Tratar las dos configuraciones como el mismo modelo esconde justo la decisión que más dinero mueve.

Cada benchmark se normaliza contra el mejor y el peor resultado del conjunto completo, no del subconjunto que dejen tus filtros, para que un mismo modelo no cambie de número al mover un control. Después se le quita el desnivel de su fuente y se promedia.

Todos los que entran pesan lo mismo. Nadie sabe si CursorBench vale exactamente 1.2 veces lo que vale DeepSWE, y un número con dos decimales parece medido aunque esté inventado. Lo único que se decide es cuáles entran.

Una fuente puede medir bien y aun así no medir a todos. Cuando eso pasa se dice aquí y se puede apagar desde la página principal, en «más ajustes», que recalcula las tres respuestas sin ella en vez de tacharlas de una lista ya hecha. No es elegir qué benchmark te conviene: es poder ver cuánto de la respuesta lo estaba sosteniendo una fuente con un agujero conocido.

CursorBench 4.0: CursorBench ya no puede medir los modelos de OpenAI, así que pon «no cuenta» si quieres evitar ese sesgo.

Solo cuentan los benchmarks que existen para ese modelo, y los pesos se renormalizan. Para poder ganar una tarjeta hacen falta al menos 2 benchmarks distintos: sin esa regla, un modelo medido por uno solo, el que mejor le venga, sale con calidad 100 y se cuela por delante de otro medido por tres. Los que no llegan no se borran: tienen su nota, su ficha y su lista aquí abajo.

Ese mínimo se puede bajar desde la página principal, en «más ajustes». Bajarlo a 1 no cambia las notas: cambia quién puede ser respuesta. Entran los medidos una sola vez, marcados como confianza baja. Se queda en 2 porque si no, los baratos de un solo benchmark se comen el medio y el día a día se queda sin candidatos.

Reescalar cada benchmark contra su propio peor y su propio mejor resultado da por hecho que los tres miden al mismo grupo de modelos, y no es verdad: cada uno mide a quien puede. Hoy DeepSWE v1.1 llega a 28 modelos y CursorBench 4.0 a 18. Quien mide también a los flojos tiene el suelo más abajo, y eso empuja hacia arriba a todos los que mide. El resultado es que un 70 de un benchmark y un 70 de otro no valían lo mismo, y al promediarlos la nota acababa diciendo quién te midió en vez de cómo rendiste.

Así que antes de promediar se mide cuánto puntúa de más o de menos cada benchmark sobre los modelos que comparte con otro, y se le resta. No es un peso disfrazado: es una resta, la misma para todos los modelos que mide esa fuente, y no cambia cuánto manda un benchmark en la nota. El ancla es la fuente de mayor cobertura, así que lo que se mueve es lo que mide a menos gente.

Esto corrige el nivel, no la anchura: si dos benchmarks reparten a sus modelos en rangos distintos, restarles un número no los cuadra del todo. El peor caso de hoy es CursorBench 4.0 contra Terminal-Bench 4.0, que solo comparten 21 variantes y siguen separados por 4 puntos después de nivelar. Se dice aquí en vez de esconderlo: cuantos menos modelos comparten dos fuentes, menos fiable es el desnivel que las une.

Una media de dos mediciones se mueve más que una de tres. Sin corregirlo, los extremos de la tabla se llenan de modelos con poca evidencia: no porque sean mejores ni peores, sino porque con menos mediciones es más fácil quedar arriba del todo o abajo del todo.

Por eso cada nota se acerca al centro del conjunto —hoy en 58— según cuántos benchmarks la sostienen. Cuánto se acerca no lo elegimos nosotros: sale de dividir cuánto se contradicen los benchmarks entre sí por cuánto se diferencian los modelos. Si los benchmarks coincidieran siempre no habría nada que corregir y dos mediciones bastarían; cuanto más se contradicen, menos se puede fiar uno de una media hecha con pocas.

El divisor de hoy es 0.34. Con los datos de hoy, la calidad media sube con la evidencia: con 1 58 · con 2 56 · con 3 61. Antes de todo esto bajaba, que era exactamente el problema.

Los benchmarks que publican intervalos de confianza los publican anchos. La banda más ancha que hay hoy es la de GPT-5.5 en xhigh: calidad 64.4 con un intervalo que va de 57.7 a 71.1. Ordenar por el número central y presumir de décimas sería fingir una precisión que la medición no tiene.

Por eso cuando dos intervalos se solapan, el desempate es el costo. Es lo que hace que la tarjeta de “necesito uno bueno” a veces recomiende algo más barato que el primero de la tabla: son indistinguibles, y uno cuesta menos.

Cuando un benchmark mide cuánto costó de verdad resolver sus tareas, usamos ese número, y cuando hay más de uno mostramos el rango.

No todo “$ por tarea” es comparable: hace falta que el harness sea el mismo y que las tareas se parezcan. Un costo reportado por cada equipo con su propio montaje sobre tareas más fáciles hace aparecer modelos “de siete centavos” que no lo son, así que no entra en el eje de costo aunque lo guardemos.

Y las tareas de un benchmark no son las de otro. Unas son más largas que otras, así que el mismo modelo cuesta distinto según quién lo haya costeado, y sacar la mediana entre fuentes sin más hacía que un modelo pareciera caro solo por quién se molestó en medirlo. Se corrige igual que en la calidad, midiendo la diferencia sobre los modelos que las fuentes comparten, salvo que aquí la diferencia es multiplicativa: una fuente no cuesta dos dólares más, cuesta tantas veces más.

Para lo que nadie ha costeado, estimamos a partir del precio de lista con una mezcla de tokens agéntica: 70% lecturas de caché, 20% entrada fresca y 10% salida. No es una suposición: sale del desglose de tokens que publica DeepSWE por run. El clásico 3:1 entrada:salida se equivoca casi por un orden de magnitud en este tipo de carga. Todo lo estimado va marcado como tal.

El factor que lleva de un precio de lista a un costo por tarea sale de los modelos que tienen las dos cosas, y se toma la razón típica y no la que mejor ajusta la suma de cuadrados. Con precios que van de céntimos a decenas de dólares, minimizar cuadrados deja que media docena de modelos caros pongan ellos solos el factor de todos los demás.

Después de todo eso, el número que sale ya no es “lo que cobró un benchmark”: es el nivel de costo de un modelo puesto en una escala común, la de las tareas de la fuente que mide a más gente. Por eso es un índice de eficiencia y hay que leerlo como tal.

Sirve para lo que se usa aquí: ordenar modelos entre sí y ver cuánto más caro es uno que otro. No predice lo que vas a pagar tú. Tus tareas no son las de estos benchmarks, tu repo es más grande o más pequeño, tu harness reintenta más o menos veces y tu prompt arrastra más o menos contexto. Cualquiera de esas cosas mueve la factura varias veces; lo que se conserva entre un sitio y otro es el orden, no la cifra.

Se enseña en dólares y no como un número sin unidades a propósito: un “índice 72” no deja ver que un modelo cuesta veinte veces lo que otro, y esa es la única cosa que esta página quiere que se vea. El precio de tener unidades legibles es esta advertencia, y por eso está también debajo de la tabla de la página principal y no escondida aquí.

Primero se descarta lo dominado: si otro modelo es mejor y más barato, ninguna respuesta puede ser este. Lo que queda es el frontier, donde cada paso es un intercambio real.

• Barato: el de mayor calidad dentro del 33% más económico, siempre que conserve al menos el 60% de la calidad del líder. El piso existe porque un modelo que se equivoca sale más caro en revisiones de lo que ahorra en tokens.
• Día a día: se traza una línea entre el extremo barato y el mejor, con el costo en escala logarítmica porque la diferencia entre $1 y $2 se siente como la de $8 a $16, y gana el punto del frontier que más se aleja hacia arriba de esa línea, sin bajar del 75% de la calidad del líder.
• Necesito uno bueno: el de más calidad; entre los que empatan dentro del margen de error, el más barato.

Las tres salen siempre en orden de precio, y casi siempre son tres modelos distintos. Cuando el codo cae exactamente en el barato o en el mejor, la tarjeta del día a día repite ese modelo y lo dice en la propia fila. Aquí hubo una regla que lo prohibía, y estaba mal: lo que hacía era borrar la tarjeta y dejar a la página diciendo que faltaban datos cuando lo que pasaba era otra cosa. «El barato es también el que dejarías puesto» es una respuesta, y de las útiles.

Es la única de las tres que se define en relación con las otras dos: el mejor es el mejor y el barato es el mejor de los baratos, pero el del día a día tiene que caer entre ambos. Cuando los filtros recortan mucho el conjunto, a veces no queda sitio. Pasa por tres motivos, y la página principal dice cuál de los tres en vez de contarlos todos como falta de datos:

• No hay tres intercambios. Después de descartar lo dominado quedan uno o dos modelos. No es que falte un dato: es que con ese filtro no hay tres decisiones distintas que tomar.
• No hay codo. Todo lo intermedio rinde peor que interpolar entre el barato y el mejor, así que ningún escalón de en medio compensa. La curva sube pareja y lo razonable es quedarse en un extremo.
• Lo de en medio no llega al piso. Hay un modelo en el hueco pero no alcanza el 75% de la calidad del líder. La página dice por cuánto se queda. El piso no se mueve para que salga la respuesta que uno quería, que es el mismo argumento por el que aquí no hay perfiles de tarea; pero el número se enseña para poder discutirlo.

Hoy, sin filtros, las tres respuestas son tres modelos distintos.

Estas 70 variantes, de 30 modelos, tienen nota pero no compiten por las tres respuestas: solo las ha medido un benchmark. No es un juicio sobre el modelo, es una cuenta de cuánta evidencia hay. Aquí están compitiendo, por si prefieres verlo así.

El sesgo salta a la vista al contar cuántos modelos mide cada benchmark y cuántos de ellos son open weight. Mientras esto siga así, casi todo lo abierto se queda en esta lista por falta de una segunda fuente, no por rendir peor.

No es una medición propia: no corremos ningún benchmark, cruzamos los de otros. Si una fuente se equivoca, nosotros nos equivocamos con ella. Y un modelo recién salido tarda en aparecer, porque hasta que alguien lo mide no tenemos nada que decir de él.

6 fuentes activas · 121 variantes puntuadas