Алексей Николаевич Брусилов был потомственным дворянином Орловской губернии. Больших военных чинов ни дед Алексея Брусилова, Иван Иевлевич, ни его отец Николай Иванович не достигли, но верой и правдой служили Отечеству. Но уже он, стал генералом.
    Алексей Николаевич Брусилов родился в 1789 году и начал службу в коллегии иностранных дел в 1802 году. Чин штаб-ротмистра Лубенского гусарского полка он получил через пять лет, а к началу Отечественной войны 1812 года достиг чина майора. Войну он встретил в составе Кирасирского Военного Ордена полка. В 1812 году майор Брусилов командир 1-го эскадрона Орденского кирасирского полка. При Шевардино 24 августа 1812 года был ранен и передал командование эскадроном ротмистру Мейеру Ф.И.
    Вернувшись в строй, он участвовал в заграничных походах и в 1813 году был произведен в подполковники с переводом в Литовский уланский полк. С 1821 года Алексей Николаевич Брусилов начал служить в Ямбургском уланском полку в чине полковника. Через три года он оставил военную службу почти на 10 лет. За это время он занимал различные гражданские должности, в том числе и пост московского вице-губернатора. На военную службу Алексей Николаевич вернулся в 1839 году и спустя шесть лет был произведен в генерал-майоры.
   Женился он поздно на Марии-Луизе Нестоемской, которая была значительно моложе супруга. К моменту рождения их первенца – Алексея – ей исполнилось 28 лет, а Алексею Николаевичу было уже 64. Семья проживала в Тифлисе, где служил Алексей Николаевич в должности председателя полевого аудиториата Отдельного Кавказского корпуса. В 1856 году он был произведен в чин генерал-лейтенанта. Кроме Алексея в семье было еще три брата – Борис, Александр (скончался в младенчестве) и Лев.