Великолепный образец древнерусского каменного жилого зодчества. Дом построен самым богатым купцом Гороховца Семеном Ершовым, входившим в сотню богатейших купцов России. Расположен у подножья Пужаловой горы.

Его монументальный объем возвышается среди деревянной застройки. Фасадный декор характерен для русского узорочья конца XVII в. Этому же периоду соответствуют интерьеры: сводчатые стены и лестницы внутри стен. Первоначально дом, как и сейчас, имел три этажа, включая подвальный (подклет), но верхний был деревянным, как и у большинства подобных посадских домов Гороховца. В конце XVIII в. деревянный этаж из-за ветхости был заменен существующим каменным, выполнена входная пристройка в три этажа. От древней ограды участка сохранились ворота – пример древнерусской архитектуры малых форм; единственный во Владимирской области памятник деревянного зодчества XVII в.