El costo operativo de ChatGPT

Para los usuarios es muy simple y sencillo hacer una serie de peticiones a la famosa IA; sin embargo, no siempre estamos conscientes del enorme costo que puede implicar su operación y mantenimiento.

31 de agosto, 2023 El costo operativo de ChatGPT

La revolución tecnológica impulsada por los Modelos de Lenguaje de Gran Tamaño (LLMs, por sus siglas en inglés) ha tenido un impacto significativo en diversas industrias. Uno de los aspectos más notables es su potencial para transformar la búsqueda en línea. 

Hoy en día, para los usuarios es muy simple y sencillo hacer una serie de peticiones a la quizás más famosa IA que tenemos disponible: chatGPT, la cual tiene una versión gratuita que es sumamente funcional.

Por tener una modalidad gratuita al igual que otros servicios como Bard de Google, podemos pensar que esto no tiene un costo significativo y que la modalidad de paga es un exceso, pero estamos muy equivocados.

COSTOS DE ChatGPT

Estimar los costos de ChatGPT es complicado debido a varias variables desconocidas. Un modelo de costos que indica que ChatGPT cuesta $694,444 por día para operar en costos de hardware informático. 

Y a qué se debe este costo diario, sencilla respuesta, OpenAI requiere al menos 3,500 servidores HGX A100 (un total de 28,936 GPU) para ofrecer Chat GPT. Los procesadores gráficos son el motor de esta tecnología. Un servidor GPU es un servidor de alto rendimiento que utiliza unidades de procesamiento gráfico (GPU) para realizar tareas computacionales intensivas.

Se estima que el costo por consulta es de $0,36 USD. Este estimado se alinea con el tweet de Sam Altman y una entrevista que realizó recientemente. 

Esto cambiará solo cuando OpenAI produzca sus propios chips, de lo contrario, esto seguirá siendo caro.

Otro dato interesante, si el modelo ChatGPT se implementara en los motores y servidores de búsqueda existentes de Google, el impacto sería devastador. Habría una reducción de 36 mil millones de dólares en los ingresos operativos de Google.

CONCLUSIONES

Sin duda, usar una aplicación que sea útil y que esta no tenga costo para nosotros es una ventaja… pero no nos debemos confiar, este modo gratuito o freemium tiene sus desventajas. Estas desventajas pueden estar en tiempos de respuesta, calidad de la respuesta, capacidad de atender preguntas complejas, etc… 

No nos extrañe que las respuestas de las IA gratuitas sean rebasadas por mucho por la IA en modo suscripción. Esto evidentemente provocará que el servicio evolucione como lo conocemos y tenga un modelo de monetización tipo Google con anuncios para poder hacer frente al gigantesco costo que tiene esta operación.

¿Y tú, estimad@ lector(a)… qué piensas?

REFERENCIAS

The Inference Cost Of Search Disruption – Large Language Model Cost Analysis – https://www.semianalysis.com/p/the-inference-cost-of-search-disruption?utm_source=www.joinsuperhuman.ai&utm_medium=newsletter&utm_campaign=a-250-million-dollar-hole-in-the-pocket

Te puede interesar:

De Frente Y Claro | DANTE DELGADO: BUENO PARA DIVIDIR, MALO PARA SUMAR

Comentarios


La Inteligencia Artificial tiene el Potencial de Ahorrar un Mes de Trabajo

La Inteligencia Artificial tiene el Potencial de Ahorrar tiempo de Trabajo

Aunque existen temores sobre su impacto en el empleo y la necesidad de supervisión humana, las ventajas que ofrece la IA en...

julio 18, 2024
como cambia la IA nuestra realidad

Singularidad: ¿se saldrá la inteligencia artificial de nuestro control?

Autor: Aitor Moreno Fdz. de Leceta Profesor de Computación Cuántica, Inteligencia Artificial, Universidad de Deusto En física, una singularidad es un punto en el...

julio 12, 2024




Más de categoría
La Inteligencia Artificial tiene el Potencial de Ahorrar un Mes de Trabajo

La Inteligencia Artificial tiene el Potencial de Ahorrar tiempo de Trabajo

Aunque existen temores sobre su impacto en el empleo y la necesidad de supervisión humana, las ventajas que ofrece...

julio 18, 2024

Los Microplásticos, inhibidores de la erección

Es importante reducir el uso y abuso de los materiales plásticos así como encontrar las tecnologías o los métodos...

julio 18, 2024
Entre el martes 9 y  jueves 11 de julio, en el Centro de Convenciones Siglo XXI en Mérida, Yucatán, dio inicio el foro “Ciudades inteligentes y sustentables”

Ciudades inteligentes y sustentables

Las ciudades inteligentes descansan en 8 pilares: telecomunicaciones, salud, transporte, seguridad, educación, turismo, servicios públicos y las edificaciones privadas...

julio 17, 2024
Informe de Madurez Digital 2024: Impulsando el Futuro con IA Generativa

Informe de Madurez Digital 2024: Impulsando el Futuro con IA Generativa

México ha mostrado una evolución notable en su madurez digital, aunque sigue enfrentando desafíos significativos en comparación con otros...

julio 15, 2024