В официальных зеркалах CentOS расположены пакеты только для последних версий, устаревшие удаляются.
Однако, их можно найти здесь.
Чтобы установить старое ядро, например 2.6.32-220 от версии CentOS 6.2, выполняем команду:

rpm -ivh --oldpackage http://vault.centos.org/6.2/os/x86_64/Packages/kernel-2.6.32-220.el6.x86_64.rpm

Удалить ещё проще:

rpm -e kernel-2.6.32-220.el6.x86_64