Побочный сын Ф.А. Рылеева (ум.1814). Родился в 1773 году. В военную службу вступил в лейб-гвардии Измайловский полк, у котором прошла вся его служба. Был так же шефом этого полка.
1796 - Императором Павлом Первым подарена мыза Грязно под Сиверской, произведен в полковники
1798 - произведен в генерал-лейтенанты
22.01.1800 - получил чин генерал-лейтенанта

Оставаясь в должности  полкового командира в 1805 году бвл назначен командиром пехоты в сводном гвардейском корпусе, выступившем в Австрию против французов. За отличие под Аустерлицем получил высочайшее благоволение.

В 1806-07 годах командовал 2-м сводным гвардейским отрядом и 20 мая 1808 года был награжден св.Георгием III степени (№179 по кавалерийским спискам).

28 января 1808 года вышел в отставку.

Был женат на Екатерине Ивановне Израель (1783-1869), дочери немецкого купца. 
Имел троих сыновей и четырех дочерей. Старший  - Михаил (1803-?), был участником Восстания декабристов на Сенатской площади.
Брат (сводный) - Рылеев Кондратий Федорович (1795-1826)
Сестра (?) - Анна Федоровна Крылова (ум.1858)