[Lista ArNOG] Mikrotik CCR1072 - Mala experiencia

Juan Pablo Orsi juanpablo en internetlocal.com.ar
Sab Nov 26 18:38:35 ART 2016


Ivan, Gracias por detallar esa experiencia, que desastre che... en lo
personal Mikrotik funciona muy bien, pero nunca llegue a utilizarlo en el
nivel que ustedes lo usan. Por lo que veo en foros, muchos tienen el mismo
problema con el CCR1072 desde hace un tiempo, pareciera ser algún problema
a nivel hardware con el CPU, lo extraño es que la plataforma de CPU es la
misma que en el 1036... Veo en foros de hace más de 1 año ese problema,
parece que Mikrotik no lo ha podido solucionar con actualización de
software solamente.


El 26 de noviembre de 2016, 17:25, Ivan Chapero <info en ivanchapero.com.ar>
escribió:

> ​​
> Buenas,
> comparto una mala experiencia que tuvimos con el primer despliegue de un
> CCR1072 como edge-router. La intención es evaluar con otros operadores si
> es reversible, así como también que sirva de antecedente para otros
> tentados por los 72 cores o la cantidad de SFP+.
>
> Como RouterOS es un all-in-one es muy difícil comparar experiencias de
> otros dado que la combinatoria de features / protocolos que pueden estar
> activos es enorme. Por esto aclaro primero que nada el entorno de uso del
> equipo (y me atrevo a decir que seria el recomendado para todo router -y
> solo router- de frontera):
>
> - Router de "borde" de un ISP.
> - IPv4-only (ni siquiera el package ipv6 enabled).
> - eBGP hacia dos carriers, aceptando e instalando solo default-gw.
> - iBGP a un segundo borde para redundancia active:active.
> - routing estático hacia adentro (no IGP, se podría decir que el único
> protocolo de routing activo es BGP).
> - Firewalling: sin estado (ninguna regla tiene connection-state como
> matcheo), sin reglas de Mangle, sin reglas de NAT, "connection-tracking=no".
> - No se brinda ningún servicio a la red (DNS, DHCP, NAT, etc) desde el
> router.
> - QoS: nada de nada, vacío de config el apartado queue.
> - Desactivado temporal por típica "a ver si es esto" en RouterOS: SNMP,
> todos los ip services menos winbox y ssh, logging.
>
>
> ## Maniobras realizadas a pedido del soporte Mikrotik que no
> tuvieron éxito (a pesar de que algunas rompen la necesidad o la idea de un
> equipo en producción original):
> - pasar por todas las last-version de cada rama de RouterOS (bugfix,
> current, RC).
> - disable de todas la reglas de firewall (que no hacían uso de
> connection-tracking).
> - usar varias interfaces SFP+ físicas individuales en vez de trunkear todo
> en vlans en unas pocas (ej 10G-WANs , 10G-CORE).
> - actualizar el firmware del RouterBoard.
>
> ## Detalle *MUY IMPORTANTE:*
> - El CCR1072 se desplegó como remplazo natural del CCR1036 que estaba (y
> dado esto, sigue) en producción, pensando mayormente en eliminar los LAGs
> Nx1G y simplificar la conexión física a los carriers que se supera el Gbps
> de trafico contratado.
> - Por esta razón, en *cuanto a config el CCR1072 es un export/import
> literal de la config del CCR1036. Si hacemos un diff entre uno y otro
> solo varían las lineas referidas a las interfaces físicas* (incluso
> tratamos de imitar el uso de un LAG innecesario en el CCR1072 apostando a
> un tema de interrupciones).
> - Con esto quiero remarcar que a exactamente igual config y mismo tráfico
> agregado (equipo de remplazo) que el CCR1036, *el uso de CPU es horrible
> en el CCR1072*. Mal distribuido principalmente (haciendo uso de no mas de
> 4 o 5 cores) y generando peaks en cores individuales, combo que reduce
> enormemente la escalabilidad del equipo.
>
>
>
>
>
>>
>
>
>
> ### Analizando con profile tool, en muchas ocasiones *"unclassified"*
> proccess es el que se lleva gran parte de los cores que se pican
> intercaladamente a valores altos con respecto a la carga de tráfico:
>
>
> CCR1072-BORDE] > tool profile cpu=2
> NAME                    CPU        USAGE
> firewall                  2           0%
> networking                2           1%
> management                2           0%
> routing                   2           0%
> idle                      2          82%
> profiling                 2           1%
> *unclassified              2          16% **<<< WTF!*
>
>
> CCR1072-BORDE] > tool profile cpu=2
> NAME                    CPU        USAGE
> firewall                  2           1%
> networking                2           0%
> management                2           0%
> routing                   2           0%
> idle                      2          65%
> profiling                 2           0%
> *unclassified              2          34% <<< WTF!*
>
>
> ### Incluso en horarios de poco trafico:
>
> CCR1072-BORDE] > interface monitor-traffic sfp-sfpplus5
>                         name:  sfp-sfpplus5
>        rx-packets-per-second:        40 490
>           rx-bits-per-second:     387.9Mbps
>     fp-rx-packets-per-second:        40 490
>        *fp-rx-bits-per-second:     387.9Mbps*
>          rx-drops-per-second:             0
>         rx-errors-per-second:             0
>        tx-packets-per-second:        40 259
>           tx-bits-per-second:     387.6Mbps
>     fp-tx-packets-per-second:        40 259
>        *fp-tx-bits-per-second:     387.6Mbps*
>          tx-drops-per-second:             0
>         tx-errors-per-second:             0
>
> ### Como se puede ver 60 o mas cores duermen la siesta mientras un par
> hacen todo el trabajo, en los 1072 reina el sindicalismo :P
>
>
> CCR1072-BORDE] > system resource cpu print
>  # CPU
>                                                                      LOAD
>       IRQ        DISK
>  0 cpu0
>                                                                         0%
>          0%          0%
>  1 cpu1
>                                                                         0%
>          0%          0%
>  2 cpu2
>                                                                         0%
>          0%          0%
>  3 cpu3
>                                                                         0%
>          0%          0%
>  4 cpu4
>                                                            *
> 0%          0%          0%*
> * 5 cpu5
>                                                                        37%
>          1%          0%*
>  6 cpu6
>                                                                         0%
>          0%          0%
>  7 cpu7
>                                                                         0%
>          0%          0%
>  8 cpu8
>                                                                         0%
>          0%          0%
>  9 cpu9
>                                                                         0%
>          0%          0%
> 10 cpu10
>                                                                        0%
>        0%          0%
> 11 cpu11
>                                                                        0%
>        0%          0%
> 12 cpu12
>                                                                        0%
>        0%          0%
> 13 cpu13
>                                                                        0%
>        0%          0%
> 14 cpu14
>                                                                        0%
>        0%          0%
> 15 cpu15
>                                                                        0%
>        0%          0%
> 16 cpu16
>                                                                        0%
>        0%          0%
> 17 cpu17
>                                                                        6%
>        6%          0%
> 18 cpu18
>                                                                        0%
>        0%          0%
> 19 cpu19
>                                                                        0%
>        0%          0%
> 20 cpu20
>                                                                        0%
>        0%          0%
> 21 cpu21
>                                                                        0%
>        0%          0%
> 22 cpu22
>                                                                        0%
>        0%          0%
> 23 cpu23
>                                                                        0%
>        0%          0%
> 24 cpu24
>                                                                        0%
>        0%          0%
> 25 cpu25
>                                                                        0%
>        0%          0%
> 26 cpu26
>                                                                        0%
>        0%          0%
> 27 cpu27
>                                                                        0%
>        0%          0%
> 28 cpu28
>                                                                        0%
>        0%          0%
> 29 cpu29
>                                                                        0%
>        0%          0%
> 30 cpu30
>                                                                        0%
>        0%          0%
> 31 cpu31
>                                                                        0%
>        0%          0%
> 32 cpu32
>                                                                        0%
>        0%          0%
> 33 cpu33
>                                                                        0%
>        0%          0%
> 34 cpu34
>                                                                        0%
>        0%          0%
> 35 cpu35
>                                                                        2%
>        2%          0%
> 36 cpu36
>                                                                        0%
>        0%          0%
> *37 cpu37
>                                                                         34%
>         33%          0%*
> 38 cpu38
>                                                                        0%
>        0%          0%
> 39 cpu39
>                                                                        2%
>        2%          0%
> 40 cpu40
>                                                                        0%
>        0%          0%
> 41 cpu41
>                                                                        0%
>        0%          0%
> 42 cpu42
>                                                                        0%
>        0%          0%
> 43 cpu43
>                                                                        0%
>        0%          0%
> 44 cpu44
>                                                                        0%
>        0%          0%
> 45 cpu45
>                                                                        0%
>        0%          0%
> 46 cpu46
>                                                                        0%
>        0%          0%
> 47 cpu47
>                                                                        1%
>        1%          0%
> 48 cpu48
>                                                                        0%
>        0%          0%
> 49 cpu49
>                                                                        0%
>        0%          0%
> 50 cpu50
>                                                                        0%
>        0%          0%
> 51 cpu51
>                                                                        0%
>        0%          0%
> 52 cpu52
>                                                                        0%
>        0%          0%
> 53 cpu53
>                                                                        0%
>        0%          0%
> 54 cpu54
>                                                                        0%
>        0%          0%
> 55 cpu55
>                                                                        0%
>        0%          0%
> 56 cpu56
>                                                                        0%
>        0%          0%
> 57 cpu57
>                                                                        0%
>        0%          0%
> 58 cpu58
>                                                                        0%
>        0%          0%
> 59 cpu59
>                                                                        0%
>        0%          0%
> 60 cpu60
>                                                                        0%
>        0%          0%
> 61 cpu61
>                                                                        0%
>        0%          0%
> 62 cpu62
>                                                                        0%
>        0%          0%
> 63 cpu63
>                                                                        0%
>        0%          0%
> 64 cpu64
>                                                                        3%
>        2%          0%
> 65 cpu65
>                                                                        0%
>        0%          0%
> 66 cpu66
>                                                                        1%
>        0%          0%
> 67 cpu67
>                                                                        0%
>        0%          0%
> 68 cpu68
>                                                                        0%
>        0%          0%
> 69 cpu69
>                                                                        0%
>        0%          0%
> 70 cpu70
>                                                                        0%
>        0%          0%
> 71 cpu71
>                                                                        0%
>        0%          0%
>
>
> --
>
> *Ivan ChaperoÁrea Técnica y Soporte*
> Fijo: 03464-470280 (interno 535) | Móvil:  03464-155-20282  | Skype ID:
> ivanchapero
> --
> GoDATA Banda Ancha - CABLETEL S.A. | Av. 9 de Julio 1163 - 2183 - Arequito
> - Santa Fe - Argentina
>
>
>
>
>
>
>
>
> _______________________________________________
> Lista mailing list
> Lista en arnog.com.ar
> http://mailmancabase.interdotnet.com.ar/mailman/listinfo/lista
>
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161126/3f9062ab/attachment-0001.html>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: 7D_CCR1072_trafico.png
Type: image/png
Size: 52127 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161126/3f9062ab/attachment-0004.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: 7D_CCR1036_trafico.png
Type: image/png
Size: 55269 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161126/3f9062ab/attachment-0005.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: 1D_CCR1072.png
Type: image/png
Size: 23426 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161126/3f9062ab/attachment-0006.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: 71_CCR1036.png
Type: image/png
Size: 23445 bytes
Desc: no disponible
URL: <http://mailmancabase.interdotnet.com.ar/pipermail/lista/attachments/20161126/3f9062ab/attachment-0007.png>


Más información sobre la lista de distribución Lista