[Lista ArNOG] Mikrotik CCR1072 - Mala experiencia

Ivan Chapero info en ivanchapero.com.ar
Mar Nov 29 13:46:21 ART 2016


*​El 26 de noviembre de 2016, 22:06, Eduardo Tealdi
Saad <eduardots en amc.com.ar <eduardots en amc.com.ar>> escribió:*
>
>
> *El trafico lo menciona como un parametro mas de comparacion. Apuntaba a
> que con muchas caracteristicas en uso, algunas conocidas gran consumidoras
> de procesamiento como firewall y conn tracking. no se observan tan mala
> distribucion, ni nucleos saturados sin utilizacion. es cierto que tal vez
> con pocas tareas no se aprovechen tantos cpus.*
>

Es justamente mi conclusión, si se tiene un CCR1036 en un escenario muy de
router puro (con casi todo OFF salvo el ip forwarding) no van a notar una
mejora o mayor margen de tráfico agregado al migrar a un CCR1072. En mi
caso, incluso una regresión del load-balance de CPUs.

Distinto debe ser el que utiliza el equipo por ej como un UTM (muy cargado
de reglas de uso intensivo del connection-tracking) o concentrador PPPoE
que va a agradecer los 32 cores extras.

Abrazo!

El 26/11/2016 a las 9:26 p. m., Ivan Chapero escribió:
>
> Eduardo, gracias por compartir tu experiencia.
>
> Ojo, el trafico HOY no presenta problemas (no hay TX/RX drops/errors).
>
> Lo que remarco como mala experiencia en un load individual por core mucho
> peor e impredecible de un equipo superior (CCR1072) con respecto al
> anterior de menor escala (CCR1036) en un escenario exactamente igual de
> trabajo.  Esta diferencia es clara en la gráfica de CPUs de ambos
> enfrentados, fuimos para atrás con el 1072.
>
> En tu escenario, es casi seguro que hay otra config/feature de fondo
> encendida porque, al margen que hay mas trafico, tenes una carga promedio
> por core muy superior. El tracking de conexiones tal vez esta forzando a
> laburar el multi-hilo.
>
> Igualmente, por 3Gbps trafico IMIX no me parece una buena foto de
> rendimiento. Pensando en la carga que supera el 50%-70% en muchos cores no
> vas a llegar a mucho más tráfico sin empezar a tener problemas en algunos
> procesos casados en ciertos cores.
>
> En tu caso seguramente presenciaron una mejora del 1036 al 1072 porque se
> esta haciendo un uso de algún proceso mas intensivo del multithreading y
> por ende beneficiado del doble de cores (firewalling tal vez?).
>
>
> Una duda: ¿cuantas interfaces fisicas / SFP+ ocupaste?
>
> El 26 de noviembre de 2016, 18:23, Eduardo Tealdi Saad <
> eduardots en amc.com.ar> escribió:
>
>> Ivan:
>>
>> Nosotros reemplazamos nuestro router de borde, pasando de CCR1036 a
>> CCR1072.
>> Pero no tuvimos ningún inconveniente.
>> Por lo que comentas es un uso parecido aunque tenemos algunas cosas mas y
>> mas trafico.
>>
>> No es necesario aclarate que cualquier consulta estoy a tu disposicion,
>> por medio de la lista o mano a mano si te facilita las cosas.
>>
>>
>>
>> 2 Carrier solo default + *CABASE con sus 11k rutas*
>> *F**irewall 120 reglas*
>> *Mangle unas 30 reglas para ruteo x origen*
>> No se brinda ningún servicio a la red (DNS, DHCP, NAT, etc) desde el
>> router.
>> Sin reglas de Mangle, sin reglas de NAT, *"connection-tracking=Auto"
>> (ACTIVO)*.
>> Sin QOS o queues de algun tipo.
>> *SNMP **activo*
>>
>> Nuestro trafico supera los 3Gb
>>
>> Profile Uso CPU Total
>> Firewall 30%
>> Networking 10%
>> Management 1.2% Pico
>> unclassified 0.1 a 0.4%
>> El resto de los procesos no superan el 1%
>>
>> De los 72 nucleos todo estan con carga, ninguno dormido.
>>
>> # CPU                                             LOAD
>> IRQ        DISK
>>  0 cpu0                                              1%
>> 1%          0%
>>  1 cpu1                                             49%
>> 49%          0%
>>  2 cpu2                                             50%
>> 50%          0%
>>  3 cpu3                                             11%
>> 11%          0%
>>  4 cpu4                                              0%
>> 0%          0%
>>  5 cpu5                                             62%
>> 62%          0%
>>  6 cpu6                                             17%
>> 17%          0%
>>  7 cpu7                                             34%
>> 34%          0%
>>  8 cpu8                                             77%
>> 77%          0%
>>  9 cpu9                                             49%
>> 49%          0%
>> 10 cpu10                                            19%
>> 19%          0%
>> 11 cpu11                                            55%
>> 55%          0%
>> 12 cpu12                                            38%
>> 38%          0%
>> 13 cpu13                                             5%
>> 5%          0%
>> 14 cpu14                                             4%
>> 4%          0%
>> 15 cpu15                                            78%
>> 78%          0%
>> 16 cpu16                                            47%
>> 47%          0%
>> 17 cpu17                                            53%
>> 53%          0%
>> 18 cpu18                                            63%
>> 63%          0%
>> 19 cpu19                                            13%
>> 12%          0%
>> 20 cpu20                                             4%
>> 4%          0%
>> 21 cpu21                                             0%
>> 0%          0%
>> 22 cpu22                                            27%
>> 27%          0%
>> 23 cpu23                                            53%
>> 53%          0%
>> 24 cpu24                                            69%
>> 69%          0%
>> 25 cpu25                                            61%
>> 61%          0%
>> 26 cpu26                                            69%
>> 69%          0%
>> 27 cpu27                                            28%
>> 27%          0%
>> 28 cpu28                                            23%
>> 23%          0%
>> 29 cpu29                                             0%
>> 0%          0%
>> 30 cpu30                                            44%
>> 44%          0%
>> 31 cpu31                                             8%
>> 7%          0%
>> 32 cpu32                                            55%
>> 52%          0%
>> 33 cpu33                                            58%
>> 57%          0%
>> 34 cpu34                                            49%
>> 49%          0%
>> 35 cpu35                                            40%
>> 40%          0%
>> 36 cpu36                                            37%
>> 36%          0%
>> 37 cpu37                                            28%
>> 28%          0%
>> 38 cpu38                                            13%
>> 13%          0%
>> 39 cpu39                                            25%
>> 25%          0%
>> 40 cpu40                                            60%
>> 60%          0%
>> 41 cpu41                                            51%
>> 51%          0%
>> 42 cpu42                                            61%
>> 61%          0%
>> 43 cpu43                                            30%
>> 30%          0%
>> 44 cpu44                                            48%
>> 48%          0%
>> 45 cpu45                                            21%
>> 21%          0%
>> 46 cpu46                                            71%
>> 71%          0%
>> 47 cpu47                                            40%
>> 40%          0%
>> 48 cpu48                                            72%
>> 72%          0%
>> 49 cpu49                                            64%
>> 64%          0%
>> 50 cpu50                                            68%
>> 68%          0%
>> 51 cpu51                                            46%
>> 46%          0%
>> 52 cpu52                                            54%
>> 54%          0%
>> 53 cpu53                                            60%
>> 60%          0%
>> 54 cpu54                                            20%
>> 20%          0%
>> 55 cpu55                                            71%
>> 71%          0%
>> 56 cpu56                                           100%
>> 53%          0%
>> 57 cpu57                                            70%
>> 70%          0%
>> 58 cpu58                                            52%
>> 52%          0%
>> 59 cpu59                                            58%
>> 58%          0%
>> 60 cpu60                                            32%
>> 32%          0%
>> 61 cpu61                                            55%
>> 55%          0%
>> 62 cpu62                                            31%
>> 31%          0%
>> 63 cpu63                                            43%
>> 41%          0%
>> 64 cpu64                                            67%
>> 67%          0%
>> 65 cpu65                                            37%
>> 37%          0%
>> 66 cpu66                                            77%
>> 77%          0%
>> 67 cpu67                                            50%
>> 49%          0%
>> 68 cpu68                                            27%
>> 27%          0%
>> 69 cpu69                                            57%
>> 57%          0%
>> 70 cpu70                                            69%
>> 69%          0%
>> 71 cpu71                                            65%
>> 65%          0%
>>
>> --
>> Eduardo Tealdi Saad
>> Administrador de Red
>> Cooperativa Mariano Acosta
>> Superi 660, Mariano Acosta (CP 1723)
>> Cel: 221 643-4291eduardots en amc.com.ar
>>
>>
>>
>>
>> El 26/11/2016 a las 5:25 p. m., Ivan Chapero escribió:
>>
>> ​​
>> Buenas,
>> comparto una mala experiencia que tuvimos con el primer despliegue de un
>> CCR1072 como edge-router. La intención es evaluar con otros operadores si
>> es reversible, así como también que sirva de antecedente para otros
>> tentados por los 72 cores o la cantidad de SFP+.
>>
>> Como RouterOS es un all-in-one es muy difícil comparar experiencias de
>> otros dado que la combinatoria de features / protocolos que pueden estar
>> activos es enorme. Por esto aclaro primero que nada el entorno de uso del
>> equipo (y me atrevo a decir que seria el recomendado para todo router -y
>> solo router- de frontera):
>>
>> - Router de "borde" de un ISP.
>> - IPv4-only (ni siquiera el package ipv6 enabled).
>> - eBGP hacia dos carriers, aceptando e instalando solo default-gw.
>> - iBGP a un segundo borde para redundancia active:active.
>> - routing estático hacia adentro (no IGP, se podría decir que el único
>> protocolo de routing activo es BGP).
>> - Firewalling: sin estado (ninguna regla tiene connection-state como
>> matcheo), sin reglas de Mangle, sin reglas de NAT, "connection-tracking=no".
>> - No se brinda ningún servicio a la red (DNS, DHCP, NAT, etc) desde el
>> router.
>> - QoS: nada de nada, vacío de config el apartado queue.
>> - Desactivado temporal por típica "a ver si es esto" en RouterOS: SNMP,
>> todos los ip services menos winbox y ssh, logging.
>>
>>
>> ## Maniobras realizadas a pedido del soporte Mikrotik que no
>> tuvieron éxito (a pesar de que algunas rompen la necesidad o la idea de un
>> equipo en producción original):
>> - pasar por todas las last-version de cada rama de RouterOS (bugfix,
>> current, RC).
>> - disable de todas la reglas de firewall (que no hacían uso de
>> connection-tracking).
>> - usar varias interfaces SFP+ físicas individuales en vez de trunkear
>> todo en vlans en unas pocas (ej 10G-WANs , 10G-CORE).
>> - actualizar el firmware del RouterBoard.
>>
>> ## Detalle *MUY IMPORTANTE:*
>> - El CCR1072 se desplegó como remplazo natural del CCR1036 que estaba (y
>> dado esto, sigue) en producción, pensando mayormente en eliminar los LAGs
>> Nx1G y simplificar la conexión física a los carriers que se supera el Gbps
>> de trafico contratado.
>> - Por esta razón, en *cuanto a config el CCR1072 es un export/import
>> literal de la config del CCR1036. Si hacemos un diff entre uno y otro
>> solo varían las lineas referidas a las interfaces físicas* (incluso
>> tratamos de imitar el uso de un LAG innecesario en el CCR1072 apostando a
>> un tema de interrupciones).
>> - Con esto quiero remarcar que a exactamente igual config y mismo tráfico
>> agregado (equipo de remplazo) que el CCR1036, *el uso de CPU es horrible
>> en el CCR1072*. Mal distribuido principalmente (haciendo uso de no mas
>> de 4 o 5 cores) y generando peaks en cores individuales, combo que reduce
>> enormemente la escalabilidad del equipo.
>>
>>
>>
>>
>>
>>>>
>>
>>
>>
>> ### Analizando con profile tool, en muchas ocasiones *"unclassified"*
>> proccess es el que se lleva gran parte de los cores que se pican
>> intercaladamente a valores altos con respecto a la carga de tráfico:
>>
>>
>> CCR1072-BORDE] > tool profile cpu=2
>> NAME                    CPU        USAGE
>> firewall                  2           0%
>> networking                2           1%
>> management                2           0%
>> routing                   2           0%
>> idle                      2          82%
>> profiling                 2           1%
>> *unclassified              2          16% **<<< WTF!*
>>
>>
>> CCR1072-BORDE] > tool profile cpu=2
>> NAME                    CPU        USAGE
>> firewall                  2           1%
>> networking                2           0%
>> management                2           0%
>> routing                   2           0%
>> idle                      2          65%
>> profiling                 2           0%
>> *unclassified              2          34% <<< WTF!*
>>
>>
>> ### Incluso en horarios de poco trafico:
>>
>> CCR1072-BORDE] > interface monitor-traffic sfp-sfpplus5
>>                         name:  sfp-sfpplus5
>>        rx-packets-per-second:        40 490
>>           rx-bits-per-second:     387.9Mbps
>>     fp-rx-packets-per-second:        40 490
>>        *fp-rx-bits-per-second:     387.9Mbps*
>>          rx-drops-per-second:             0
>>         rx-errors-per-second:             0
>>        tx-packets-per-second:        40 259
>>           tx-bits-per-second:     387.6Mbps
>>     fp-tx-packets-per-second:        40 259
>>        *fp-tx-bits-per-second:     387.6Mbps*
>>          tx-drops-per-second:             0
>>         tx-errors-per-second:             0
>>
>> ### Como se puede ver 60 o mas cores duermen la siesta mientras un par
>> hacen todo el trabajo, en los 1072 reina el sindicalismo :P
>>
>>
>> CCR1072-BORDE] > system resource cpu print
>>  # CPU
>>                                                                        LOAD
>>         IRQ        DISK
>>  0 cpu0
>>                                                                         0%
>>          0%          0%
>>  1 cpu1
>>                                                                         0%
>>          0%          0%
>>  2 cpu2
>>                                                                         0%
>>          0%          0%
>>  3 cpu3
>>                                                                         0%
>>          0%          0%
>>  4 cpu4
>>                                                            *
>> 0%          0%          0%*
>> * 5 cpu5
>>
>>  37%          1%          0%*
>>  6 cpu6
>>                                                                         0%
>>          0%          0%
>>  7 cpu7
>>                                                                         0%
>>          0%          0%
>>  8 cpu8
>>                                                                         0%
>>          0%          0%
>>  9 cpu9
>>                                                                         0%
>>          0%          0%
>> 10 cpu10
>>                                                                          0%
>>          0%          0%
>> 11 cpu11
>>                                                                          0%
>>          0%          0%
>> 12 cpu12
>>                                                                          0%
>>          0%          0%
>> 13 cpu13
>>                                                                          0%
>>          0%          0%
>> 14 cpu14
>>                                                                          0%
>>          0%          0%
>> 15 cpu15
>>                                                                          0%
>>          0%          0%
>> 16 cpu16
>>                                                                          0%
>>          0%          0%
>> 17 cpu17
>>                                                                          6%
>>          6%          0%
>> 18 cpu18
>>                                                                          0%
>>          0%          0%
>> 19 cpu19
>>                                                                          0%
>>          0%          0%
>> 20 cpu20
>>                                                                          0%
>>          0%          0%
>> 21 cpu21
>>                                                                          0%
>>          0%          0%
>> 22 cpu22
>>                                                                          0%
>>          0%          0%
>> 23 cpu23
>>                                                                          0%
>>          0%          0%
>> 24 cpu24
>>                                                                          0%
>>          0%          0%
>> 25 cpu25
>>                                                                          0%
>>          0%          0%
>> 26 cpu26
>>                                                                          0%
>>          0%          0%
>> 27 cpu27
>>                                                                          0%
>>          0%          0%
>> 28 cpu28
>>                                                                          0%
>>          0%          0%
>> 29 cpu29
>>                                                                          0%
>>          0%          0%
>> 30 cpu30
>>                                                                          0%
>>          0%          0%
>> 31 cpu31
>>                                                                          0%
>>          0%          0%
>> 32 cpu32
>>                                                                          0%
>>          0%          0%
>> 33 cpu33
>>                                                                          0%
>>          0%          0%
>> 34 cpu34
>>                                                                          0%
>>          0%          0%
>> 35 cpu35
>>                                                                          2%
>>          2%          0%
>> 36 cpu36
>>                                                                          0%
>>          0%          0%
>> *37 cpu37
>>                                                                         34%
>>         33%          0%*
>> 38 cpu38
>>                                                                          0%
>>          0%          0%
>> 39 cpu39
>>                                                                          2%
>>          2%          0%
>> 40 cpu40
>>                                                                          0%
>>          0%          0%
>> 41 cpu41
>>                                                                          0%
>>          0%          0%
>> 42 cpu42
>>                                                                          0%
>>          0%          0%
>> 43 cpu43
>>                                                                          0%
>>          0%          0%
>> 44 cpu44
>>                                                                          0%
>>          0%          0%
>> 45 cpu45
>>                                                                          0%
>>          0%          0%
>> 46 cpu46
>>                                                                          0%
>>          0%          0%
>> 47 cpu47
>>                                                                          1%
>>          1%          0%
>> 48 cpu48
>>                                                                          0%
>>          0%          0%
>> 49 cpu49
>>                                                                          0%
>>          0%          0%
>> 50 cpu50
>>                                                                          0%
>>          0%          0%
>> 51 cpu51
>>                                                                          0%
>>          0%          0%
>> 52 cpu52
>>                                                                          0%
>>          0%          0%
>> 53 cpu53
>>                                                                          0%
>>          0%          0%
>> 54 cpu54
>>                                                                          0%
>>          0%          0%
>> 55 cpu55
>>                                                                          0%
>>          0%          0%
>> 56 cpu56
>>                                                                          0%
>>          0%          0%
>> 57 cpu57
>>                                                                          0%
>>          0%          0%
>> 58 cpu58
>>                                                                          0%
>>          0%          0%
>> 59 cpu59
>>                                                                          0%
>>          0%          0%
>> 60 cpu60
>>                                                                          0%
>>          0%          0%
>> 61 cpu61
>>                                                                          0%
>>          0%          0%
>> 62 cpu62
>>                                                                          0%
>>          0%          0%
>> 63 cpu63
>>                                                                          0%
>>          0%          0%
>> 64 cpu64
>>                                                                          3%
>>          2%          0%
>> 65 cpu65
>>                                                                          0%
>>          0%          0%
>> 66 cpu66
>>                                                                          1%
>>          0%          0%
>> 67 cpu67
>>                                                                          0%
>>          0%          0%
>> 68 cpu68
>>                                                                          0%
>>          0%          0%
>> 69 cpu69
>>                                                                          0%
>>          0%          0%
>> 70 cpu70
>>                                                                          0%
>>          0%          0%
>> 71 cpu71
>>                                                                          0%
>>          0%          0%
>>
>>
>> --
>>
>> *Ivan Chapero Área Técnica y Soporte*
>> Fijo: 03464-470280 (interno 535) | Móvil:  03464-155-20282  | Skype ID:
>> ivanchapero
>> --
>> GoDATA Banda Ancha - CABLETEL S.A. | Av. 9 de Julio 1163 - 2183 -
>> Arequito - Santa Fe - Argentina
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> _______________________________________________
>> Lista mailing listLista en arnog.com.arhttp://mailmancabase.interdotnet.com.ar/mailman/listinfo/lista
>>
>> _______________________________________________ Lista mailing list
>> Lista en arnog.com.ar http://mailmancabase.interdotn
>> et.com.ar/mailman/listinfo/lista
>
> --
> *Ivan Chapero Área Técnica y Soporte* Fijo: 03464-470280 (interno 535) | Móvil:
> 03464-155-20282  | Skype ID: ivanchapero
> --
> GoDATA Banda Ancha - CABLETEL S.A. | Av. 9 de Julio 1163 - 2183 - Arequito
> - Santa Fe - Argentina
>
> _______________________________________________
> Lista mailing listLista en arnog.com.arhttp://mailmancabase.interdotnet.com.ar/mailman/listinfo/lista
>
> --
> Eduardo Tealdi Saad
> Administrador de Red
> Cooperativa Mariano Acosta
> Superi 660, Mariano Acosta (CP 1723)
> Cel: 221 643-4291eduardots en amc.com.ar
>
>
> _______________________________________________
> Lista mailing list
> Lista en arnog.com.ar
> http://mailmancabase.interdotnet.com.ar/mailman/listinfo/lista
>
>


-- 

*Ivan ChaperoÁrea Técnica y Soporte*
Fijo: 03464-470280 (interno 535) | Móvil:  03464-155-20282  | Skype ID:
ivanchapero
--
GoDATA Banda Ancha - CABLETEL S.A. | Av. 9 de Julio 1163 - 2183 - Arequito
- Santa Fe - Argentina
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161129/7b671d0f/attachment-0001.html>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: no disponible
Type: image/png
Size: 23445 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161129/7b671d0f/attachment-0004.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: no disponible
Type: image/png
Size: 69129 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161129/7b671d0f/attachment-0005.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: no disponible
Type: image/png
Size: 23426 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161129/7b671d0f/attachment-0006.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: no disponible
Type: image/png
Size: 52127 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161129/7b671d0f/attachment-0007.png>


Más información sobre la lista de distribución Lista