También se pueden retirar módulos de memoria. El comando es rmmod y es similar al insmod en lo que respecta a comprobaciones en el árbol de dependencias.
Un módulo puede estar siendo utilizado por otro módulo, pero también puede estar siendo utilizado por un programa de usuario. En este caso el usuario va a tener que liberar el dispositivo/recurso antes de poder retirar el módulo de memoria.