Por qué la factura sorprende a todo el mundo
Durante el desarrollo haces unos cientos de peticiones y el coste ni se nota. Luego la funcionalidad sale a producción, mil personas la usan cada día, cada sesión vuelve a enviar al modelo todo el historial de la conversación y la factura se convierte en una partida real del presupuesto. Técnicamente no ha fallado nada. El error fue no calcular nunca la economía unitaria desde el principio.
La única fórmula que necesitas
El coste por usuario al mes es igual a las peticiones por usuario, multiplicadas por los tokens por petición y por el precio por token. Todo lo demás son detalles. Lo que la gente subestima es el término del medio: los tokens por petición crecen sin hacer ruido a medida que añades instrucciones de sistema, documentos recuperados e historial de conversación.
- Tokens de entrada: tus instrucciones, el mensaje del usuario y todo lo que adjuntas
- Tokens de salida: normalmente más caros, y dependen directamente de lo largas que permitas que sean las respuestas
- Reintentos y llamadas fallidas: también cuestan dinero
- Tareas en segundo plano: resúmenes, indexación, moderación, ejecuciones de evaluación
Si no puedes decir cuánto cuesta la sesión típica de un usuario, no tienes un modelo de precios: tienes una esperanza.
Las palancas que de verdad reducen la factura
- Usa un modelo más pequeño para el 80% de peticiones fáciles y uno potente solo donde importa
- Cachea la parte estable del prompt en lugar de reenviarla cada vez
- Cachea respuestas completas para preguntas repetidas: las consultas de soporte se repiten mucho más de lo que crees
- Recorta el historial de la conversación en vez de reenviarlo todo desde el principio
- Recupera menos fragmentos de documentos, pero mejores, en lugar de llenar el contexto hasta arriba
- Limita la longitud de la respuesta: la mayoría de las respuestas útiles son más cortas que las que el modelo da por defecto
En la práctica, la mayor parte del ahorro está en el enrutado entre modelos y el cacheo. Es habitual reducir la factura a menos de la mitad sin que el usuario note ninguna pérdida de calidad.
La pregunta de negocio detrás de la técnica
El coste por petición solo importa en relación con el valor de esa petición. Una funcionalidad de IA que le ahorra diez minutos a un agente de soporte vale mucho. Una que reescribe un titular para un usuario del plan gratuito no vale casi nada, y se usará constantemente. Antes de optimizar la tecnología, decide qué peticiones merecen ser caras.
Las protecciones que todo producto debería tener
- Límites de uso por usuario y por cuenta desde el primer día
- Un tope de gasto mensual estricto, con una alerta bastante antes de alcanzarlo
- El coste registrado por petición, para ver qué funcionalidad sale cara
- Una alternativa más barata cuando se alcanzan los límites, en lugar de una caída del servicio
- Protección contra abusos: el tráfico automatizado encuentra muy rápido un endpoint de IA gratuito
Conclusión
Los precios de los modelos no dejan de bajar, y eso es un viento a favor real. Pero el uso crece más rápido de lo que bajan los precios, y una funcionalidad con una economía unitaria rota no se vuelve rentable por esperar. Trata la IA como un coste variable de lo que vendes: modélalo antes del lanzamiento y mídelo después. Esa es la diferencia entre una funcionalidad de IA que escala y una que se come el margen sin hacer ruido.