Одно из первых письменных свидетельств о местах, где позже была построена крепость Усть-Каменогорская, оставил боярин Федор Байков. Путь, указанный им, быстро стал известен торговым людям. А в 1714 году Петру I стало известно от сибирского губернатора М. Гагарина о том, что где-то на реке Иркеть в изобилии водится "песочное золото".

В начале ХVIII века Россия расширяла свои сибирские территории в южном направлении, для чего на границах возводились военные оборонительные укрепления. 12 августа 1720 года военный отряд Российской армии прибыл к месту слияния рек Иртыш и Ульба, где начались работы по строительству крепости.