Построен у Белого пруда взамен монастырских хозяйственных служб, занимавших обширную территорию за оврагами, против Каличьей башни. Квадратный двор был образован сплошной линией одноэтажных построек, где размещались конюшни, каретные и фуражные сараи, закрепленные по углам круглыми башнями. В XIX и XX вв. двор расширялся пристройками с востока и запада, надстраивался вторым этажом.
В настоящее время в отреставрированных помещениях Конного двора размещается выставочный зал, где музеем организуются выставки местных художников, выставки, посвященные городу, проводятся концерты и другие культурные мероприятия.