[Lista ArNOG] Mikrotik CCR1072 - Mala experiencia
Ivan Chapero
info en ivanchapero.com.ar
Mar Nov 29 13:32:23 ART 2016
Pablo, tal vez por el uso de connection-tracking se ve una carga mas pareja
de los cores producto del firewall. Es correcta tu observacion del uso de
cpu extraño en nuestro caso.
El 26 de noviembre de 2016, 19:46, Pablo Fernández - Cooperativa Eléctrica
de Luján <pablof en cooperativadelujan.com.ar> escribió:
> Iván, tenemos 3 CCR1072 en producción, uno principal en borde con tráfico
> de 1.7gb, 5 peers, reglas de firewall, etc. El comportamiento es como lo
> describe Eduardo, es muy extraño el uso de CPU que mostras. Lo que si se
> nota es que uno de los CPUs por lo general suma mucho más uso que el resto
> al igual que los IRQs del mismo.
>
> Saludos
>
> Enviado desde mi Google Nexus 6p
>
> El 26 nov. 2016 6:23 p. m., Eduardo Tealdi Saad <eduardots en amc.com.ar>
> escribió:
>
> Ivan:
>
> Nosotros reemplazamos nuestro router de borde, pasando de CCR1036 a
> CCR1072.
> Pero no tuvimos ningún inconveniente.
> Por lo que comentas es un uso parecido aunque tenemos algunas cosas mas y
> mas trafico.
>
> No es necesario aclarate que cualquier consulta estoy a tu disposicion,
> por medio de la lista o mano a mano si te facilita las cosas.
>
>
>
> 2 Carrier solo default + *CABASE con sus 11k rutas*
> *F**irewall 120 reglas*
> *Mangle unas 30 reglas para ruteo x origen*
> No se brinda ningún servicio a la red (DNS, DHCP, NAT, etc) desde el
> router.
> Sin reglas de Mangle, sin reglas de NAT, *"connection-tracking=Auto"
> (ACTIVO)*.
> Sin QOS o queues de algun tipo.
> *SNMP **activo*
>
> Nuestro trafico supera los 3Gb
>
> Profile Uso CPU Total
> Firewall 30%
> Networking 10%
> Management 1.2% Pico
> unclassified 0.1 a 0.4%
> El resto de los procesos no superan el 1%
>
> De los 72 nucleos todo estan con carga, ninguno dormido.
>
> # CPU LOAD IRQ
> DISK
> 0 cpu0 1%
> 1% 0%
> 1 cpu1 49%
> 49% 0%
> 2 cpu2 50%
> 50% 0%
> 3 cpu3 11%
> 11% 0%
> 4 cpu4 0%
> 0% 0%
> 5 cpu5 62%
> 62% 0%
> 6 cpu6 17%
> 17% 0%
> 7 cpu7 34%
> 34% 0%
> 8 cpu8 77%
> 77% 0%
> 9 cpu9 49%
> 49% 0%
> 10 cpu10 19%
> 19% 0%
> 11 cpu11 55%
> 55% 0%
> 12 cpu12 38%
> 38% 0%
> 13 cpu13 5%
> 5% 0%
> 14 cpu14 4%
> 4% 0%
> 15 cpu15 78%
> 78% 0%
> 16 cpu16 47%
> 47% 0%
> 17 cpu17 53%
> 53% 0%
> 18 cpu18 63%
> 63% 0%
> 19 cpu19 13%
> 12% 0%
> 20 cpu20 4%
> 4% 0%
> 21 cpu21 0%
> 0% 0%
> 22 cpu22 27%
> 27% 0%
> 23 cpu23 53%
> 53% 0%
> 24 cpu24 69%
> 69% 0%
> 25 cpu25 61%
> 61% 0%
> 26 cpu26 69%
> 69% 0%
> 27 cpu27 28%
> 27% 0%
> 28 cpu28 23%
> 23% 0%
> 29 cpu29 0%
> 0% 0%
> 30 cpu30 44%
> 44% 0%
> 31 cpu31 8%
> 7% 0%
> 32 cpu32 55%
> 52% 0%
> 33 cpu33 58%
> 57% 0%
> 34 cpu34 49%
> 49% 0%
> 35 cpu35 40%
> 40% 0%
> 36 cpu36 37%
> 36% 0%
> 37 cpu37 28%
> 28% 0%
> 38 cpu38 13%
> 13% 0%
> 39 cpu39 25%
> 25% 0%
> 40 cpu40 60%
> 60% 0%
> 41 cpu41 51%
> 51% 0%
> 42 cpu42 61%
> 61% 0%
> 43 cpu43 30%
> 30% 0%
> 44 cpu44 48%
> 48% 0%
> 45 cpu45 21%
> 21% 0%
> 46 cpu46 71%
> 71% 0%
> 47 cpu47 40%
> 40% 0%
> 48 cpu48 72%
> 72% 0%
> 49 cpu49 64%
> 64% 0%
> 50 cpu50 68%
> 68% 0%
> 51 cpu51 46%
> 46% 0%
> 52 cpu52 54%
> 54% 0%
> 53 cpu53 60%
> 60% 0%
> 54 cpu54 20%
> 20% 0%
> 55 cpu55 71%
> 71% 0%
> 56 cpu56 100%
> 53% 0%
> 57 cpu57 70%
> 70% 0%
> 58 cpu58 52%
> 52% 0%
> 59 cpu59 58%
> 58% 0%
> 60 cpu60 32%
> 32% 0%
> 61 cpu61 55%
> 55% 0%
> 62 cpu62 31%
> 31% 0%
> 63 cpu63 43%
> 41% 0%
> 64 cpu64 67%
> 67% 0%
> 65 cpu65 37%
> 37% 0%
> 66 cpu66 77%
> 77% 0%
> 67 cpu67 50%
> 49% 0%
> 68 cpu68 27%
> 27% 0%
> 69 cpu69 57%
> 57% 0%
> 70 cpu70 69%
> 69% 0%
> 71 cpu71 65%
> 65% 0%
>
> --
> Eduardo Tealdi Saad
> Administrador de Red
> Cooperativa Mariano Acosta
> Superi 660, Mariano Acosta (CP 1723)
> Cel: 221 643-4291eduardots en amc.com.ar
>
>
>
>
> El 26/11/2016 a las 5:25 p. m., Ivan Chapero escribió:
>
>
> Buenas,
> comparto una mala experiencia que tuvimos con el primer despliegue de un
> CCR1072 como edge-router. La intención es evaluar con otros operadores si
> es reversible, así como también que sirva de antecedente para otros
> tentados por los 72 cores o la cantidad de SFP+.
>
> Como RouterOS es un all-in-one es muy difícil comparar experiencias de
> otros dado que la combinatoria de features / protocolos que pueden estar
> activos es enorme. Por esto aclaro primero que nada el entorno de uso del
> equipo (y me atrevo a decir que seria el recomendado para todo router -y
> solo router- de frontera):
>
> - Router de "borde" de un ISP.
> - IPv4-only (ni siquiera el package ipv6 enabled).
> - eBGP hacia dos carriers, aceptando e instalando solo default-gw.
> - iBGP a un segundo borde para redundancia active:active.
> - routing estático hacia adentro (no IGP, se podría decir que el único
> protocolo de routing activo es BGP).
> - Firewalling: sin estado (ninguna regla tiene connection-state como
> matcheo), sin reglas de Mangle, sin reglas de NAT, "connection-tracking=no".
> - No se brinda ningún servicio a la red (DNS, DHCP, NAT, etc) desde el
> router.
> - QoS: nada de nada, vacío de config el apartado queue.
> - Desactivado temporal por típica "a ver si es esto" en RouterOS: SNMP,
> todos los ip services menos winbox y ssh, logging.
>
>
> ## Maniobras realizadas a pedido del soporte Mikrotik que no
> tuvieron éxito (a pesar de que algunas rompen la necesidad o la idea de un
> equipo en producción original):
> - pasar por todas las last-version de cada rama de RouterOS (bugfix,
> current, RC).
> - disable de todas la reglas de firewall (que no hacían uso de
> connection-tracking).
> - usar varias interfaces SFP+ físicas individuales en vez de trunkear todo
> en vlans en unas pocas (ej 10G-WANs , 10G-CORE).
> - actualizar el firmware del RouterBoard.
>
> ## Detalle *MUY IMPORTANTE:*
> - El CCR1072 se desplegó como remplazo natural del CCR1036 que estaba (y
> dado esto, sigue) en producción, pensando mayormente en eliminar los LAGs
> Nx1G y simplificar la conexión física a los carriers que se supera el Gbps
> de trafico contratado.
> - Por esta razón, en *cuanto a config el CCR1072 es un export/import
> literal de la config del CCR1036. Si hacemos un diff entre uno y otro
> solo varían las lineas referidas a las interfaces físicas* (incluso
> tratamos de imitar el uso de un LAG innecesario en el CCR1072 apostando a
> un tema de interrupciones).
> - Con esto quiero remarcar que a exactamente igual config y mismo tráfico
> agregado (equipo de remplazo) que el CCR1036, *el uso de CPU es horrible
> en el CCR1072*. Mal distribuido principalmente (haciendo uso de no mas de
> 4 o 5 cores) y generando peaks en cores individuales, combo que reduce
> enormemente la escalabilidad del equipo.
>
>
>
>
>
>
>
>
>
>
> ### Analizando con profile tool, en muchas ocasiones *"unclassified"*
> proccess es el que se lleva gran parte de los cores que se pican
> intercaladamente a valores altos con respecto a la carga de tráfico:
>
>
> CCR1072-BORDE] > tool profile cpu=2
> NAME CPU USAGE
> firewall 2 0%
> networking 2 1%
> management 2 0%
> routing 2 0%
> idle 2 82%
> profiling 2 1%
> *unclassified 2 16% **<<< WTF!*
>
>
> CCR1072-BORDE] > tool profile cpu=2
> NAME CPU USAGE
> firewall 2 1%
> networking 2 0%
> management 2 0%
> routing 2 0%
> idle 2 65%
> profiling 2 0%
> *unclassified 2 34% <<< WTF!*
>
>
> ### Incluso en horarios de poco trafico:
>
> CCR1072-BORDE] > interface monitor-traffic sfp-sfpplus5
> name: sfp-sfpplus5
> rx-packets-per-second: 40 490
> rx-bits-per-second: 387.9Mbps
> fp-rx-packets-per-second: 40 490
> *fp-rx-bits-per-second: 387.9Mbps*
> rx-drops-per-second: 0
> rx-errors-per-second: 0
> tx-packets-per-second: 40 259
> tx-bits-per-second: 387.6Mbps
> fp-tx-packets-per-second: 40 259
> *fp-tx-bits-per-second: 387.6Mbps*
> tx-drops-per-second: 0
> tx-errors-per-second: 0
>
> ### Como se puede ver 60 o mas cores duermen la siesta mientras un par
> hacen todo el trabajo, en los 1072 reina el sindicalismo :P
>
>
> CCR1072-BORDE] > system resource cpu print
> # CPU
> LOAD
> IRQ DISK
> 0 cpu0
> 0%
> 0% 0%
> 1 cpu1
> 0%
> 0% 0%
> 2 cpu2
> 0%
> 0% 0%
> 3 cpu3
> 0%
> 0% 0%
> 4 cpu4
> *
> 0% 0% 0%*
> * 5 cpu5
> 37%
> 1% 0%*
> 6 cpu6
> 0%
> 0% 0%
> 7 cpu7
> 0%
> 0% 0%
> 8 cpu8
> 0%
> 0% 0%
> 9 cpu9
> 0%
> 0% 0%
> 10 cpu10
> 0%
> 0% 0%
> 11 cpu11
> 0%
> 0% 0%
> 12 cpu12
> 0%
> 0% 0%
> 13 cpu13
> 0%
> 0% 0%
> 14 cpu14
> 0%
> 0% 0%
> 15 cpu15
> 0%
> 0% 0%
> 16 cpu16
> 0%
> 0% 0%
> 17 cpu17
> 6%
> 6% 0%
> 18 cpu18
> 0%
> 0% 0%
> 19 cpu19
> 0%
> 0% 0%
> 20 cpu20
> 0%
> 0% 0%
> 21 cpu21
> 0%
> 0% 0%
> 22 cpu22
> 0%
> 0% 0%
> 23 cpu23
> 0%
> 0% 0%
> 24 cpu24
> 0%
> 0% 0%
> 25 cpu25
> 0%
> 0% 0%
> 26 cpu26
> 0%
> 0% 0%
> 27 cpu27
> 0%
> 0% 0%
> 28 cpu28
> 0%
> 0% 0%
> 29 cpu29
> 0%
> 0% 0%
> 30 cpu30
> 0%
> 0% 0%
> 31 cpu31
> 0%
> 0% 0%
> 32 cpu32
> 0%
> 0% 0%
> 33 cpu33
> 0%
> 0% 0%
> 34 cpu34
> 0%
> 0% 0%
> 35 cpu35
> 2%
> 2% 0%
> 36 cpu36
> 0%
> 0% 0%
> *37 cpu37
> 34%
> 33% 0%*
> 38 cpu38
> 0%
> 0% 0%
> 39 cpu39
> 2%
> 2% 0%
> 40 cpu40
> 0%
> 0% 0%
> 41 cpu41
> 0%
> 0% 0%
> 42 cpu42
> 0%
> 0% 0%
> 43 cpu43
> 0%
> 0% 0%
> 44 cpu44
> 0%
> 0% 0%
> 45 cpu45
> 0%
> 0% 0%
> 46 cpu46
> 0%
> 0% 0%
> 47 cpu47
> 1%
> 1% 0%
> 48 cpu48
> 0%
> 0% 0%
> 49 cpu49
> 0%
> 0% 0%
> 50 cpu50
> 0%
> 0% 0%
> 51 cpu51
> 0%
> 0% 0%
> 52 cpu52
> 0%
> 0% 0%
> 53 cpu53
> 0%
> 0% 0%
> 54 cpu54
> 0%
> 0% 0%
> 55 cpu55
> 0%
> 0% 0%
> 56 cpu56
> 0%
> 0% 0%
> 57 cpu57
> 0%
> 0% 0%
> 58 cpu58
> 0%
> 0% 0%
> 59 cpu59
> 0%
> 0% 0%
> 60 cpu60
> 0%
> 0% 0%
> 61 cpu61
> 0%
> 0% 0%
> 62 cpu62
> 0%
> 0% 0%
> 63 cpu63
> 0%
> 0% 0%
> 64 cpu64
> 3%
> 2% 0%
> 65 cpu65
> 0%
> 0% 0%
> 66 cpu66
> 1%
> 0% 0%
> 67 cpu67
> 0%
> 0% 0%
> 68 cpu68
> 0%
> 0% 0%
> 69 cpu69
> 0%
> 0% 0%
> 70 cpu70
> 0%
> 0% 0%
> 71 cpu71
> 0%
> 0% 0%
>
>
> --
>
> *Ivan Chapero Área Técnica y Soporte*
> Fijo: 03464-470280 (interno 535) | Móvil: 03464-155-20282 | Skype ID:
> ivanchapero
> --
> GoDATA Banda Ancha - CABLETEL S.A. | Av. 9 de Julio 1163 - 2183 - Arequito
> - Santa Fe - Argentina
>
>
>
>
>
>
>
>
>
> _______________________________________________
> Lista mailing listLista en arnog.com.arhttp://mailmancabase.interdotnet.com.ar/mailman/listinfo/lista
>
>
>
>
> _______________________________________________
> Lista mailing list
> Lista en arnog.com.ar
> http://mailmancabase.interdotnet.com.ar/mailman/listinfo/lista
>
>
--
*Ivan ChaperoÁrea Técnica y Soporte*
Fijo: 03464-470280 (interno 535) | Móvil: 03464-155-20282 | Skype ID:
ivanchapero
--
GoDATA Banda Ancha - CABLETEL S.A. | Av. 9 de Julio 1163 - 2183 - Arequito
- Santa Fe - Argentina
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161129/8cc92ad2/attachment-0001.html>
Más información sobre la lista de distribución Lista