El sábado 21 de noviembre, entre la 1:48 p. m. y las 5:21 p. m. (hora del Pacífico), una gran parte de las peticiones a la API de OpenAI y a ChatGPT falló. En el peor momento, la tasa de error llegó al 75%, tanto en ChatGPT gratis como en el de pago, según el informe que OpenAI publicó el mismo día en su página oficial de estado. Tres horas y media después, el servicio volvió a funcionar con normalidad.
No fue un ataque ni un fallo exótico: fue un mantenimiento rutinario de una base de datos que salió mal y tumbó la autenticación de todo OpenAI.
Un mantenimiento rutinario tumbó la autenticación de todo OpenAI
Según el informe de OpenAI, la caída la provocó el mantenimiento de un servicio de base de datos PostgresDB que usa su Primary API service, el sistema que se encarga de la autenticación. Durante ese mantenimiento, las dos réplicas de lectura de esa base de datos fallaron al mismo tiempo.
Una réplica es una copia de la base de datos que atiende peticiones para que la base principal no se sobrecargue. El problema es que estas dos copias eran “load-bearing”, es decir, soportaban carga real: el Primary API service proporciona la autenticación de usuarios y la autenticación entre servicios en toda la pila de OpenAI. Cuando las dos réplicas cayeron, la puerta de entrada de todos los productos de OpenAI se cerró con ellas.
Qué dejó de funcionar
En la API, el fallo alcanzó a Chat Completions, Fine-tuning, Embeddings, Images, Batch, Audio, Moderations, Realtime y al endpoint de Files. En ChatGPT quedaron afectadas las conversaciones, el inicio de sesión, la búsqueda, la subida de archivos y el modo de voz.
En la práctica, tres de cada cuatro peticiones no se completaban en el peor momento de la tarde del sábado, cuando millones de personas usan ChatGPT y miles de empresas dependen de su API.
Cómo lo arreglaron y qué van a cambiar
OpenAI intentó revivir las réplicas caídas y también levantar reemplazos en otras regiones, sin éxito. La solución llegó trabajando con su proveedor de servicios para poner en marcha dos réplicas nuevas en la misma región.
Como respuesta inmediata, la empresa ya aplicó cuatro medidas:
Moratoria en mantenimientos similares hasta nuevo aviso; ajustes de configuración para reducir el churn de conexiones a la base de datos; un “feature flag” que permite desviar el tráfico fuera de las réplicas de forma gradual, por porcentaje; y una prueba dirigiendo el 100% de las consultas a la instancia principal para verificar su hipótesis de por qué falló.
A más largo plazo, OpenAI promete un proceso de revisión previa a cada mantenimiento, con un plan de recuperación rápida; capacidad de reserva “en caliente” durante las ventanas de mantenimiento; y estrategias y cambios de arquitectura para recuperarse rápido del retraso de las réplicas y eliminarlo como factor de riesgo. También dice que revisará toda su infraestructura para añadir más redundancia y mecanismos de seguridad.
La empresa reconoce el daño: “Sabemos que las caídas prolongadas de la API afectan los productos y el negocio de nuestros clientes, y las caídas de esta magnitud son particularmente dañinas”, escribió en su informe. “Nos quedamos cortos aquí”.
A esta mañana, la página de estado de OpenAI muestra todos los sistemas operativos. La lección que deja el incidente es incómoda para la empresa que quiere ser infraestructura de la IA: un trabajo de mantenimiento programado, de los que se hacen todas las semanas, fue suficiente para dejar fuera de servicio a ChatGPT y a su API durante una tarde entera de sábado.
¿Te afectó la caída de ChatGPT ayer? Cuéntanos en los comentarios.
