[Napbue] Informe contingencia domingo 29/09

Mie Oct 1 16:29:44 -03 2025

Reitero nuestra reclamo de fecha 29/10/2025, aguardando vuestra respuesta

Muchas gracias
Jorge Di Lorenzo
Gerente
CITARELLA SA

De: napbue-bounces en listas.cabase.org.ar [mailto:napbue-bounces en listas.cabase.org.ar] En nombre de carolina en cabase.org.ar
Enviado el: miércoles, 1 de octubre de 2025 16:19
Para: napbue en listas.cabase.org.ar
Asunto: [Napbue] Informe contingencia domingo 29/09

Estimados Socios,

Luego de la contingencia registrada este fin de semana en el NAP 1 (IXP BUE), queremos compartirles el resumen de lo ocurrido y cómo se resolvió la situación.

El hecho estuvo vinculado a una obra programada por Edesur para instalar una nueva alimentación de transformadores de media tensión, destinada a ampliar la capacidad de energía en el edificio. Tarea que se había comunicado en la minuta de la última reunión del IXP BUE. La interrupción del suministro eléctrico se extendió por más de 14 horas, mucho más de lo que originalmente se tenía previsto.

Durante ese período entró en funcionamiento la infraestructura de respaldo: tres generadores - compuesta por 3 generadores. 2 de 550 KvA + 1 de 270 KvA. Para un consumo total del edificio de 500 KvA - los generadores se venían usando a diario para suplir la falta de energía que tenía el edificio y están bajo un plan de mantenimiento preventivo certificado. A pesar de esto, se produjeron fallas sucesivas en 2 de los 3 grupos electrógenos, lo que generó la interrupción de los servicios y la necesidad de desplegar acciones conjuntas de contingencia entre el proveedor de infraestructura y CABASE.

A continuación, detallamos la cronología del 28/09/2025

* *09:30 hs* - Corte de Edesur, la carga pasa a generadores (Gen1, Gen2 y Gen3).
* *10:50 hs* - Falla en Gen3 (dedicado a CABASE). Se transfiere la carga al Gen1.
* *12:09 hs* - Falla en Gen2, equipos quedan en UPS sin refrigeración.
* *12:40 hs* - Corte total de servicio en NAP1 (IXP BUE).
* *14:11 hs* - Se restablece Gen3, comienza encendido progresivo de racks.
* *17:40 hs* - Se reinicia Gen2 y se consigue potencia para poder levantar servicios de Nap1 progresivamente.
* *19:28 hs* - Nueva caída de Gen3, afectación total del NAP1.
* *20:08 hs* - CABASE vuelve a energizarse desde Gen1 y se inicia recuperación gradual.
* *00:32 hs (29/09)* - Edesur finaliza tareas, se restablece el servicio eléctrico general.

Es importante remarcar que, desde hace más de 1 mes, estamos todos los días funcionando con el soporte de esta estructura de grupos, ya que el consumo de los cachés, incorporados en la Sala de Carrier, llevó el consumo del edificio casi al límite. Es por esto que todos los días, en forma preventiva, cuando se alcanza un valor de umbral preestablecido solo se inicia el encendido de los grupos para respaldo.

Asimismo, las veces que hubo corto masivo de energía en la ciudad, la infraestructura de respaldo respondió adecuadamente, sin afectar servicios. El último incidente con impacto databa de enero 2021.

Durante el incidente, el NOC de CABASE recibió las primeras alertas por la caída total de los equipos en el IXP BUE. Desde ese momento se coordinaron acciones con el operador de guardia y se inició un encendido progresivo de racks para controlar el consumo sobre los generadores. Con el correr de las horas, se identificaron fallas en el orquestador y en servidores que alojaban servicios de administración de red, lo que motivó la presencia de personal de Ingeniería en sitio para reforzar el proceso de recuperación.

Ante nuevos traspasos de energía a UPS, se procedió al apagado manual de servidores para evitar daños en hardware crítico. Tras una nueva caída masiva, el equipo de CABASE trabajó durante la noche junto a SyT en la restauración progresiva de energía y en la recuperación de los equipos de los asociados. Se logró levantar el Route Server secundario de IPv4 y acompañar a los socios en la reactivación de sus servicios.

El lunes, los esfuerzos continuaron con la recuperación completa de los Route Servers: primero el principal de IPv4, luego el primario de IPv6. Se detectaron daños en los discos del RAID del RS secundario de IPv6, lo que obligó a desplegar una nueva máquina virtual para reponerlo. Finalmente, el martes al mediodía quedó restablecido el último servicio pendiente de los Route Servers.

En la actualidad, únicamente permanecen pendientes los caches de Akamai y Apple, que se encuentran a la espera de la reinyección de tráfico por parte de las CDNs.

Afortunadamente, la obra de Edesur quedó finalizada y, a partir de ahora, el edificio cuenta con un suministro eléctrico estable y de mayor capacidad, lo que resuelve un problema crítico de larga data y refuerza las condiciones de continuidad de los servicios.

Agradecemos la comprensión frente a esta situación excepcional y quedamos a disposición para cualquier consulta adicional. En caso de requerir el detalle del RFO, pueden solicitarlo a  soporte en cabase.org.ar<mailto:soporte en cabase.org.ar>

Saludos cordiales,
Equipo CABASE

[Logo CABASE]<https://www.cabase.org.ar/>

Lic. Carolina Arrate
Gerente Relaciones Institucionales
Asistente de Dirección
Suipacha 128 - 3 "F"<https://goo.gl/maps/bpkHRVuKDzj> - Tel:  (+5411) 5263-7456
                                    Cel: (+54911) 6913-2238
www.cabase.org.ar<https://www.cabase.org.ar/>

[Linkedin]<https://www.linkedin.com/company/cabase> [Facebook] <https://www.facebook.com/CabaseAr/>  [Twitter] <https://twitter.com/CabaseAr>  [Youtube] <https://www.youtube.com/channel/UCFv0lo1ybgvDesRoFr1ZTTw>

------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/4723dedb/attachment-0001.html>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: image001.png
Type: image/png
Size: 11291 bytes
Desc: image001.png
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/4723dedb/attachment-0005.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: image006.png
Type: image/png
Size: 1553 bytes
Desc: image006.png
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/4723dedb/attachment-0006.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: image007.png
Type: image/png
Size: 1462 bytes
Desc: image007.png
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/4723dedb/attachment-0007.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: image008.png
Type: image/png
Size: 1716 bytes
Desc: image008.png
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/4723dedb/attachment-0008.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: image009.png
Type: image/png
Size: 1523 bytes
Desc: image009.png
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/4723dedb/attachment-0009.png>
------------ próxima parte ------------
An embedded message was scrubbed...
From: Jorge Di Lorenzo <jadl en citarella.com.ar>
Subject: RE: Aviso de tarea de emergencia
Date: Mon, 29 Sep 2025 13:08:52 +0000
Size: 15794
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/4723dedb/attachment-0001.mht>