При спуске к реке Уралу обращают на себя внимание так называемые Елизаветинские (исторические) ворота, перенесенные сюда по срытии крепостного вала с Водяной улицы и сохраняющиеся как исторический памятник.
Сооружение ворот очень замысловатое, так что в свое время, когда они стояли гораздо выше над почвой, представляли собою нечто внушительное.
История этих ворот по преданию следующая. В 1755 году по прекращении башкирского бунта под предводительством башкирца Алеева губернатор И. И. Неплюев отправил в Петербург сына своего Николая Ивановича с изложением всего хода дела во время бунта. Императрица Елизавета Петровна, выслушав доклад от Неплюева лично во время аудиенции, между прочим пожелала, чтобы в Оренбурге были выстроены лицом на киргиз-кайсацкую степь каменные ворота с арматурою в виде Высочайшего подарка Ив. Ив. Неплюеву и городу Оренбургу. И вот благодаря этой то Высочайшей воле Неплюев и распорядился построить в Оренбурге в 1755 году каменные ворота, поставить их на Водяных воротах городского вала лицом на киргиз-кайсацкую степь или к меновому двору. Потом ворота эти были перенесены на Сакмарские ворота и наконец попали на настоящее место. Ворота эти каменные, шести аршин ширины, трех с половиной высоты, сложены из кирпича и оштукатурены, перекладина над воротами деревянная, сверх ворот на перекладине, между маленькими четырехскатными крышами над столбами, утвержден ребром плоский белый камень, на котором высечены арматурные изображения, состоящие из знамен, ружей, секиры, ядр, барабанов, сигнальных рожков, задних частей орудий, которые окружают государственный герб. В средине герба снизу поставлены переплетенные инициалы И. Р. Е. и под ними год 1755. Инициалы означают: Императрица Российская Елизавета. Кроме этих украшений в углублениях-нишах столбов с лицевой стороны поставлены два ангела, держащих по щиту, копью и пальмовой ветви. Ангелы высечены из белого камня и скорее похожи на каменных баб (таково прежнее искусство ваятелей), находимых в степи, чем на ангелов. Ворота требуют ремонта.
Елизаветинские ворота по террасираванной каменной лестнице, размером около трех аршин ширины, ведут вниз к реке Уралу. Здесь на берегу устроены: ресторан с разными напитками, станция общества спасения на водах и речная пристань с причаленными к ней разнокалиберными лодками, предлагаемыми желающим прокатиться по реке. Здесь же под яром находится городская водокачка.
Для сообщения с противоположным берегом здесь же в летнее время устраивается пешеходный мост, носящий название «живого мостика» с подмостками для входа в купальни.
Летний зной с одной стороны, а с другой манящий к себе вид на реку Урал и зауральную рощу, дышащие прохладой, привлекают к этому спуску массу публики. Одни спешат вниз, другие как бы нехотя поднимаются вверх, так что эта городская окраина в летнее время бывает оживлена не менее, чем Николаевская улица.
По этому же спуску в известные праздники совершаются крестные ходы из городских церквей для водоосвящения.
В недавнее время с городского бульвара устроен второй спуск на реку Урал.