Печальная история с его постройкой легла в основу народной песни «Караван-сарай», замечательной по своей мелодии, глубине мысли и непревзойденному поэтическому мастерству.
Качает и крушит, плечи расправив,
хай, плечи расправив,
Ломает камни для дворца,
хай, в горах.
Майор сказал – здание для нас,
хай, здание для нас,
Так как героями были в войне,
хай, на полях сражений… .
Так начинается песня, а звучащее дальше глубокое разочарование народа, обманутого царизмом, имеет свою историю.
С Караван-сараем, возводившимся по проекту архитектора Александр Павлович Брюллова, связывалась надежды народа на учреждение в Оренбурге культурного центра.
(Во дворце должны были разместиться гостиница для приезжих башкир, а также школа для башкирских детей). Расходы по строительству Караван-сарая целиком были возложены на плечи народа. Были собраны крупные пожертвования, в сооружении дворца приняли участие десятки тысяч башкир. Но мечта народа не сбылась: в 1841 году, после окончания строительства, Караван-сарай был занят под канцелярию командующего башкирскими войсками и частично под казармы…