Каспийская улица начиналась от Петровской Набережной и завершалась на Нижне-Бульварной улице (ул. Бакиханова) в северной части города.
В соответствии с планом 1864 года 19,5 га приходилось на «новые кварталы», окружающие полувеером крепость и разбитые на территории эспланады.
Новые кварталы по протяженности превышали существующие, но по ширине повторяли старые размеры, механически продолжив направление и профиль улиц.
«Новая часть города охватывает земли, лежавшие между Красноводской (Самеда Вургуна) и Каспийской (Лейтенанта Шмидта) улицами с востока и между Нижне-Приютской и Кани-Тапинской с севера». Интересно то, что кварталы новой восточной части к береговой линии не развивались. Этому была естественная причина - заболоченность восточной прибрежной полосы.
Формирование началось с 1890-ых г.г., но окончательного решения ни в планировочном, ни в архитектурном плане в те годы не получило.
В головной части улицы, в районе набережной на пересечении Каспийской и Меркурьевской, в 1913г. появилось здание Коммерческого училища, построенное гражд. инж. Г. М. Термикеловым.
Напротив него в 1910-1912 годах гражд. инж. И.К. Плошко был построен Польский костел, разрушенный в 30-е годы. В дальнейшем, в 40-х годах на его месте построен клуб МВД им. Дзержинского.
В 1930-е годы напротив Коммерческого училища был построен дворец Спорта "Динамо" (арх. К.И.Сенчихин).
Таким образом, этот участок стал определенным общественным и культурным центром города.
Так же как на многих других улицах, в центральных кварталах строились трех-четырехэтажные монументальные здания, а ближе в верхней ее части, располагалась малоценная одноэтажная застройка.
Первичное название этой улицы Каспийская, в начале 1910-х годов было изменено на Будаговскую, что имеет весьма характерную для тех времен историю. Некто Еновка Будагов, один из представителей местной армянской знати, изъявивший желание построить в Баку армянский собор, получает от городских властей разрешение на постройку собора на Каспийской улице.
Объявляется конкурс на проект собора, который был построен и по имени своего "заказчика", получает название "Будаговский собор", а улица, где он был расположен, переименовывается в Будаговскую, или Еновка Будаговскую. Там же располагаются Будаговский рынок и несколько Будаговских доходных домов в том числе для малоимущих слоев населения.
Дом №12 – угол Торговой – здание бывшей Еврейской синагоги, построенное в 1901 году.
Дом №25 – жилой дом Муртузы Мухтарова. Построен гражд. инж. И.К.Плошко в 1910 году.
В работе использованы материалы книги Ш.Фатуллаева "Архитектурная энциклопедия".