В 1880 году на месте устаревшей водолечебницы, построенной по инициативе Героя Отечественной войны 1812 года главнокомандующего Кавказского края генерала А.П Ермолова и названной в его честь, состоялось открытие новых Ермоловских ванн. Проект разработал архитектор В. Грозмани. В этом году Ермоловским ваннам в Пятигорске исполняется 140 лет.
Одноэтажное здание в эклектическом «кирпичном» стиле романского направления включает в себя 2 смежных флигеля крестово-купольной схемы, типичной для храмовых построек. Фасады украшены искусно выполненным декором — низ стен обрамляет кирпичная рустовка, кладка разноцветных кирпичей рельефная. Окна — парные, с наличниками, торцы фасадов флигелей имеют 3 арочных окна и одно круглое. Замысловатый входной портал с высокой лестницей призван скрыть некоторые недочёты внешнего вида из-за кривизны выделенного под стройку участка.
Ермоловские ванны снабжались из недавно пробитой штольни Александровского источника и были предназначены ограниченному контингенту — военнослужащим со специальным разрешением от начальника области. В них находились 16 ванн, несколько больших бассейнов и 2 раздевалки. Немного позже было решено добавить 2 грязевые кабины.
Спустя 15 лет здание водолечебницы прошло капремонт, в результате которого было открыто 10 грязевых кабин с двумя ваннами и 7 кабин обычных. Ермоловские ванны стали полностью грязевыми с 1902 г., а когда в Пятигорске открылась главная грязелечебница, их было решено закрыть.
Несмотря на то, что в наше время Ермоловские ванны не функционируют как лечебница — помещение сдаётся в аренду — здание это по праву считается архитектурным и историческим памятником Пятигорска конца XIX века.