Ако питаш мен, забраняваш логването с пароли, оставяш само ключове. Може и да забраниш root логин въобще през ssh и само със su/sudo, така имаш още един слой на защита. Гледаш да ти е винаги обновен сървъра. Ако пък те дразнят многото brute force опити, аз ползвам някаква готова програмка fail2ban, има я като пакет в Debian, предполагам и другите дистрибуции.
Ако няма да изстрелваш ядрени ракети,това ми се вижда достатъчно

. И да поглеждаш в логовете от време на време за съмнителна дейност де.