Monitoreo y alertas
¿Qué métricas monitoreamos?
Ofrecemos un monitoreo completo de servidores y clusters de Kubernetes con nuestros frameworks de operaciones de código abierto, LinuxAid y KubeAid, basados en Prometheus.
1. Monitoreo de servidores (LinuxAid)
En los servidores, todas las métricas y reglas de alerta están definidas en nuestro stack LinuxAid aquí:
Incluyen:
- Métricas de host y hardware
- CPU, RAM, E/S y salud de los discos
- Monitoreo de sistemas de archivos y almacenamiento
- Rendimiento de red
Estas reglas se mantienen como código abierto, se actualizan con regularidad y además escribimos un conjunto de pruebas para ellas.
2. Monitoreo de Kubernetes (KubeAid)
En los entornos de Kubernetes usamos Kube Prometheus como base y lo ampliamos con reglas y mixins adicionales.
Reglas de alerta base:
Alertas y mixins adicionales:
Nuestras alertas de Kubernetes incluyen:
- Métricas de nodos, pods y contenedores
- Salud del plano de control y del API server
- Rendimiento y disponibilidad de etcd
- Señales del scheduler y del controller-manager
- Salud de Ingress, servicios y red
- Alertas a nivel de aplicación para componentes de código abierto seleccionados
- Paquetes opcionales de alertas basados en mixins, que se pueden activar o desactivar por cluster
Este enfoque por capas garantiza visibilidad en toda la plataforma, con la flexibilidad necesaria para adaptarse al stack de cada cliente.
Cómo gestionamos las alertas y el escalamiento de incidentes
Prometheus envía las alertas a nuestro endpoint central de ingesta de alertas (con la opción de excluir hosts o componentes si lo solicita).
Después, nuestra plataforma interna de operaciones procesa las alertas y:
- Crea o actualiza automáticamente los tickets de alerta
- Avisa a nuestro equipo de operaciones 24/7
- Aplica su SLA para priorizar correctamente y fijar plazos
- Sigue en tiempo real el avance del reconocimiento y la resolución
- Hace escalamientos automáticos, primero al ingeniero de guardia y, si hace falta, a la dirección
- Algunas de nuestras alertas son preventivas, es decir, se disparan antes de que algo llegue a fallar o caerse.
Siempre priorizamos restablecer el servicio lo antes posible y después nos enfocamos en resolver la causa raíz para evitar que vuelva a ocurrir.