sábado, octubre 25, 2014

Como borrar la cola de exim cuando tiene muchos emails

En el último tiempo estoy 'jugando' con un servidor con cpanel y muchas cuentas de email. Hay algunos dominios que tienen usuarios que envían spam (dentro de los límites de envío de cada servidor).


Estoy realizando la migración de cuentas de cpanel 11.32 a 11.44, de una máquina física a una máquina virtual con mejores prestaciones.



La cola de exim siempre da problemas, principalmente porque es complicado y poco claro que parámetros impactarán directamente en el performance del servidor de email, el tamaño de la cola de mensajes, entre otros.



Usando exim tuve el siguiente problema: cientos de miles de mensajes estaban en la cola y esto ocurrió dado el siguiente escenario:



1) Migré un dominio con algunas cientos de cuentas de email, algunas que envían spam. (Eso lo voy a arreglar en el siguiente paso del proyecto).

2) En el periodo en que migré del servidor origen al servidor destino (al parecer) una de las cuentas llego a un peak de envío de spam.
3) Mientras los registros DNS actualizaba las IPs del dominio migrado, miles de emails rebotaron hacia la cuenta del spammer (unos 280.000).


4) Dado el tamaño de la cola al intentar usar el comando exigrep (con parámetros -x o -z) no retornaba, al menos no en un tiempo razonable, esperé a lo menos 15 minutos sin resultados.



Lo que necesitaba hacer era borrar por lo menos los mensajes congelados (frozen), para esto es necesario listar los ids de los emails, lo que quería hacer era:


Borrar mensajes congelados desde la cola de exim
  exiqgrep -z -i| xargs -t -n1 exim -Mrm 
Pero como dije antes, dada la gran cantidad de mensajes, no retornó dentro de un tiempo razonable. Al parecer exiqgrep hace una búsqueda secuencial en todos los mensajes. La alternativa que encontré fue usar el siguiente comando, al parecer exim despliega la información de cada email a medida que lo va encontrando. Borrar mensajes congelados de la cola.
exim -bp |grep 1X |grep frozen | awk '{ print $3 }' |xargs -t -n1 exim -Mrm
El primer comando exim -bp  retorna todos los emails de la cola, con varios atributos, pero nos interesa filtrar el id del mensaje. Esto realiza grep 1X, dado que todos los ids de mensajes comienzan con 1X (podría ser diferente eventualmente), lueg con grep frozen filtras los mensajes congelados, en seguida, con  awk '{ print $3 }' obtienes la tercera columna, que es el id del mensaje, el cual pasaremos como parámetro al siguiente comando: xargs -t -n1 exim -Mr, lo que hace es decir que el comando que ejecutará xargs, recibirá un parametro (opción -n1) y luego exim -Mr borra al mensaje 


Salida del comando


En mi caso, eran alrededor de 150.000 mensajes congelados en la cola y demoró un par de horas en borrarlos todos.  Puedes reducir el tiempo que esto toma si ejecutas varios procesos paralelos, no hay problema con la concurrencia, porque exim hace lock de cada mensaje cuando está procesándolo.

Ejecutar el comando en segundo plano (redireccionar la salida estándar a /dev/null, si no tu terminal va quedar inutilizable)
  exim -bp |grep 1X |grep frozen | awk '{ print $3 }' |xargs -t -n1 exim -Mr  > /dev/null 2>&1

La cantidad de procesos simultáneos que puedes ejecutar va a depender de la capacidad de tu sistema, especialmente de I/O del disco duro. 


Adicionalmente, si quieres enviar los mensajes que están en la cola pero que no están congelados (estado queued), debes usar el siguiente comando:
exim -bp |grep 1X  |awk '{ print $3 }' |xargs -t -n1 exim -M


















1 comentario:

  1. Very great post. I simply stumbled upon your blog and wanted to say that I have really enjoyed browsing your weblog posts. After all I’ll be subscribing on your feed and I am hoping you write again very soon!

    ResponderBorrar

¡Comenta!