Территория, на которой расположен комплекс, входила в пределы Малого острога, фортификационного сооружения средневекового Нижнего Новгорода. Предположительно, цепь дерево-земляных укреплений острога возводилась с 60-х годов XIV века и, по некоторым данным, на месте усадьбы располагалась одна из деревянных башен (Георгиевская), к воротам которой поднимались два крутых съезда от берега реки Волги. С другой стороны в башню упиралась улица Егорьевская, шедшая вдоль линии укреплений под углом от Происхожденческого (Крестовоздвиженского) монастыря, располагавшегося в районе памятника В. П. Чкалова. Деревянные укрепления Малого острога были разобраны к началу XVIII века, но земляной вал сохранился. Территория долгое время была окраиной города. Бровка высокого берега Волги, перерезанная оврагами, была неудобной для строительства.

Планы Нижнего Новгорода времён классицизма второй половины XVIII — начала XIX веков, не затрагивали данный участок: вплоть до 1830-х годов откос и склоны были заняты огородами, банями и служебными зданиями усадеб, расположенных на улице Жуковской (Минина). На фиксационном плане 1792 года на участке указана незначительная деревянная застройка, расположенная вдоль средневекового вала. Большая часть земли была не застроена. С востока к участку примыкал двор с огородом подканцеляриста Ивана Житенина. За валом был построен каменно-деревянный дом с огородом секунд-майора Фёдора Бухвалова. По плану 1799 года на месте современного комплекса располагалась усадьба, строения которой группировались на углу проложенной по линии бывших укреплений Малой Печёрской улицы и ещё только формирующейся Жуковской улицы. Выход усадьбы к волжскому откосу пустовал.

Красная линия будущей Верхневолжской набережной была определена в 1830-х годах, что стало результатом масштабной строительной программы «высочайше повеленных работ». Первый приезд в Нижний Новгород императора Николая I в октябре 1834 года дал старт проекту. Проект набережной, выполненной губернским архитектором И. Е. Ефимовым и инженером П. Д. Готманом, был высочайше утверждён в 1835 году. Надзор за работами осуществлял инженер А. И. Поднозов. К осени 1839 года было выравнено и покрыто булыжником полотно набережной.

Каменное строительство на набережной началось в 40-х годах XIX века и шло медленно из-за невыгодности возведения каменных зданий на окраинной территории города. К середине века были возведены корпуса Мартыновской больницы и Мариинского института благородных девиц, а также несколько частных домовладений, в числе которых и дом нижегородского купца третьей гильдии Серапиона Везломцева, который занимал часть территории будущего ансамбля усадьбы Рукавишникова. Главный дом усадьбы Везломцева представлял собой образцовый проект в стиле позднего классицизма. В 1868 году усадьбу Везломцева с торгов приобрёл купец первой гильдии, мануфактур-советник Михаил Григорьевич Рукавишников. Согласно описной книге 1871 года каменный двухэтажный дом с надворным строением был оценен в 4 тыс. рублей.

В 1874 году М. Г. Рукавишников умирает, процесс передачи наследства растягивается до конца 1875 года. В 1886 году владельцем усадьбы значился Сергей Михайлович Рукавишников, в 1890-х годах — Иван, Сергей, Митрофан, Николай и Евгения Ивановна Рукавишниковы. В июне 1891 года единственным владельцем снова стал С. М. Рукавишников.