В мае 1803 года капитан Албанский был назначен командующим Лейб-эскадроном Нижегородского драгунского полка.
    В мае 1804 года Албанский участвовал в экспедиции в Кабарду. За Кабардинский поход 9-15 марта 1805 года, ставший к этому времени уже маиором, Албанский был награжден орденом Св. Анны 3-й степени. Возвратившись после похода в Георгиевск, полк был встречен потрясающим известием о появлении чумы в городе. Чума скоро появилась и в Нижегородском полку и первой пришла в лейб-эскадрон. Шеф полка генерал Глазенап приказал вывести лейб-эскадрон в поле, и там совершенно прекратить все сообщения между нижними чинами, устроив для каждого из них отдельный балаган. Через две недели карантина чума прекратилась, тогда как в соседнем Казанском полку она свирепствовала с ужасающей силой. Деятельность маиора Албанского в карантине без преувеличения могла быть названа самоотверженною.
    4 февраля 1808 года командир полка полковник фон Сталь становится шефом Нижегородского драгунского полка, а маиор Албанский командиром полка. 30 августа он официально вступает в должность. Однако все управление полком сосредоточено было в руках одного только фон Сталя. Андрей Иванович Албанский командовал при нем не долго и 16 февраля 1810 года вышел в отставку.