Місто Кам'янець-Подільський згадується вперше в літописах XII століття. На той час Поділля входило до складу Галицько-Волинського князівства. Основне населення міста від часу його заснування було місцеве, українське. Згодом до міста стали прибувати вірменські ремісники і купці.
У XIV - XVII століттях повз місто пролягав шлях татар. На той час вони кочували в причорноморських степах і робили набіги на міста України. Для посилення оборони міст будували нові і відроджували старі замки і фортеці.
В цілому Старий замок побудували так, що річка Смотрич (тече в глибокому яру з крутими скелястими берегами) охоплює чималу ділянку еліптичної форми (там, де побудованеСтаре місто). Із заходу, де русло річки майже змикається, до міста примикає замок, розташований на високому плато.
Між замком і Старим містом побудували міст, що в першій половині XVI століття був дерев'яним і стояв на кам'яних стовпах. Зміцнення Старого замку, можливо, будувалися на місцях давнішніх укріплень (відомості майже не збереглися).
Перша згадка (датовану 1374 роком) про Кам'янецький замок знаходимо в грамоті князя Юрія Корятовича (володів тоді Поділлям). Замок мав два в'їзди: один - з боку міста, а другий - поля, чого і називався Польними воротами. На території замку побудували будинки для стражників, а також кухню, склади провізії та військових припасів, церкву.
Уже в XV столітті місто стає потужним торгово-промисловим центром, отже починається його інтенсивна забудова. Але в середині цього століття татарські набіги частішають, тому дерев'яні укріплення (хоча деякі з них одразу були кам'яними) замінено на кам'яні.
Фортеця мала форму багатокутника витягнутої форми, яка була пообнесена високими стінами з вежами на кутах. З правого боку від східних воріт замку була розташована п'ятигранна Чорна башта з криницею, яка мала глибину 36, а ширину - 6 метрів. Біля річки була расположена Водяна вежа, саме вона була пристосована для подачі води в замок. Денна триярусна башта мала отвори, призначені для викочування гармат на стіни укріплень та на верхню площадку. З південно-західного боку над яром, на відстані 30 метрів одна від одної "виросли" три триярусних вежі, форма яких нагадує форму неправильного циліндра, їх називають Лядська, Тенченська, Ковпак. А також одна чотириярусна башта - Барська або Кармелюкова (в ній був двічі ув'язнений ватажок визвольного селянського повстання на Поділлі Устим Кармелюк).
Оскільки замок постійно треба було відбудовувати, то в XVI столітті було обладнане спеціальне приміщення для каменярських робіт, де працювало багато місцевих майстрів. І вже в XVII побудували комплекс оборонних споруд, який зберігся до цього часу, і має назву Новий замок.
Зміцнення складається з ровів, валів та підземних приміщень, які побудовані з каменю і перекриті склепіннями. У центрі споруди був великий двір, обнесений земляними валами. Зі Старим замком він був з'єднаний підйомним мостом.
Середина XVI століття відзначається напливом польської земельної аристократії. Створюються магістрати - російський, вірменський та польський.
У 1672 році правобережний гетьман Петро Дорошенко підписав угоду з Магометом IV (Дорошенко хотів гетьманства над усією Україною). Тому нові укріплення нещодавно збудованого Нового замку не змогли вберегти його від турків.
У 1672 році султан Магомет з своїм військом захопив замок, вигнавши звідти вояків. (Це було другим випадком, коли вдалося прорвати надійні стіни фортеці. Вперше це сталося в 1393 році, коли в результаті чвар всередині гарнізону литовський князь Вітовт захопив замок).
Турки відновили укріплення, які були знищені в результаті військових дій. В цілому нічого нового не побудували. 27 років турки володіли Поділлям. У Кам'янецькому замку був розташований турецький гарнізон, внаслідок чого фортецю і міст стали називати "турецькою".
У 1711 році в замку побував цар Російської імперії Петро I. З 1793 року Поділля перебуває під Російською імперією. Однак у той час до неї була приєднана Бессарабія, а це означало, що Кам'янець перестає бути прикордонною зоною, а отже втрачає своє стратегічно фортифікаційне значення.
