[Napbue] Informe contingencia domingo 29/09

Mie Oct 1 16:19:08 -03 2025

Estimados Socios,

Luego de la contingencia registrada este fin de semana en el NAP 1 (IXP
BUE), queremos compartirles el resumen de lo ocurrido y cómo se resolvió la
situación.

El hecho estuvo vinculado a una obra programada por Edesur para instalar una
nueva alimentación de transformadores de media tensión, destinada a ampliar
la capacidad de energía en el edificio. Tarea que se había comunicado en la
minuta de la última reunión del IXP BUE. La interrupción del suministro
eléctrico se extendió por más de 14 horas, mucho más de lo que originalmente
se tenía previsto.

Durante ese período entró en funcionamiento la infraestructura de respaldo:
tres generadores – compuesta por 3 generadores. 2 de 550 KvA + 1 de 270 KvA.
Para un consumo total del edificio de 500 KvA - los generadores se venían
usando a diario para suplir la falta de energía que tenía el edificio y
están bajo un plan de mantenimiento preventivo certificado. A pesar de esto,
se produjeron fallas sucesivas en 2 de los 3 grupos electrógenos, lo que
generó la interrupción de los servicios y la necesidad de desplegar acciones
conjuntas de contingencia entre el proveedor de infraestructura y CABASE.

A continuación, detallamos la cronología del 28/09/2025

* *09:30 hs* – Corte de Edesur, la carga pasa a generadores (Gen1, Gen2 y
Gen3).

* *10:50 hs* – Falla en Gen3 (dedicado a CABASE). Se transfiere la carga al
Gen1.

* *12:09 hs* – Falla en Gen2, equipos quedan en UPS sin refrigeración.

* *12:40 hs* – Corte total de servicio en NAP1 (IXP BUE).

* *14:11 hs* – Se restablece Gen3, comienza encendido progresivo de racks.

* *17:40 hs* – Se reinicia Gen2 y se consigue potencia para poder levantar
servicios de Nap1 progresivamente.

* *19:28 hs* – Nueva caída de Gen3, afectación total del NAP1.

* *20:08 hs* – CABASE vuelve a energizarse desde Gen1 y se inicia
recuperación gradual.

* *00:32 hs (29/09)* – Edesur finaliza tareas, se restablece el servicio
eléctrico general.

Es importante remarcar que, desde hace más de 1 mes, estamos todos los días
funcionando con el soporte de esta estructura de grupos, ya que el consumo
de los cachés, incorporados en la Sala de Carrier, llevó el consumo del
edificio casi al límite. Es por esto que todos los días, en forma
preventiva, cuando se alcanza un valor de umbral preestablecido solo se
inicia el encendido de los grupos para respaldo.

Asimismo, las veces que hubo corto masivo de energía en la ciudad, la
infraestructura de respaldo respondió adecuadamente, sin afectar servicios.
El último incidente con impacto databa de enero 2021.

Durante el incidente, el NOC de CABASE recibió las primeras alertas por la
caída total de los equipos en el IXP BUE. Desde ese momento se coordinaron
acciones con el operador de guardia y se inició un encendido progresivo de
racks para controlar el consumo sobre los generadores. Con el correr de las
horas, se identificaron fallas en el orquestador y en servidores que
alojaban servicios de administración de red, lo que motivó la presencia de
personal de Ingeniería en sitio para reforzar el proceso de recuperación. 

Ante nuevos traspasos de energía a UPS, se procedió al apagado manual de
servidores para evitar daños en hardware crítico. Tras una nueva caída
masiva, el equipo de CABASE trabajó durante la noche junto a SyT en la
restauración progresiva de energía y en la recuperación de los equipos de
los asociados. Se logró levantar el Route Server secundario de IPv4 y
acompañar a los socios en la reactivación de sus servicios.

El lunes, los esfuerzos continuaron con la recuperación completa de los
Route Servers: primero el principal de IPv4, luego el primario de IPv6. Se
detectaron daños en los discos del RAID del RS secundario de IPv6, lo que
obligó a desplegar una nueva máquina virtual para reponerlo. Finalmente, el
martes al mediodía quedó restablecido el último servicio pendiente de los
Route Servers.

En la actualidad, únicamente permanecen pendientes los caches de Akamai y
Apple, que se encuentran a la espera de la reinyección de tráfico por parte
de las CDNs.

Afortunadamente, la obra de Edesur quedó finalizada y, a partir de ahora, el
edificio cuenta con un suministro eléctrico estable y de mayor capacidad, lo
que resuelve un problema crítico de larga data y refuerza las condiciones de
continuidad de los servicios.

Agradecemos la comprensión frente a esta situación excepcional y quedamos a
disposición para cualquier consulta adicional. En caso de requerir el
detalle del RFO, pueden solicitarlo a  soporte en cabase.org.ar
<mailto:soporte en cabase.org.ar> 

Saludos cordiales,

Equipo CABASE

 <https://www.cabase.org.ar/> 

Lic. Carolina Arrate 

Gerente Relaciones Institucionales

Asistente de Dirección
 <https://goo.gl/maps/bpkHRVuKDzj> Suipacha 128 - 3 "F" - Tel:  (+5411)
5263-7456

                                    Cel: (+54911) 6913-2238
 <https://www.cabase.org.ar/> www.cabase.org.ar

 <https://www.linkedin.com/company/cabase>
<https://www.facebook.com/CabaseAr/>   <https://twitter.com/CabaseAr>
<https://www.youtube.com/channel/UCFv0lo1ybgvDesRoFr1ZTTw> 

------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/87ecf8ed/attachment-0001.html>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: image001.png
Type: image/png
Size: 11291 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/87ecf8ed/attachment-0005.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: image002.png
Type: image/png
Size: 3013 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/87ecf8ed/attachment-0006.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: image003.png
Type: image/png
Size: 2872 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/87ecf8ed/attachment-0007.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: image004.png
Type: image/png
Size: 3316 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/87ecf8ed/attachment-0008.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: image005.png
Type: image/png
Size: 6450 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/napbue/attachments/20251001/87ecf8ed/attachment-0009.png>