Вперше Олеський замок згадується в письмових джерелах, датованих 1327 роком. Розташування замку на кордоні Литви і Польщі зумовило постійну боротьбу за нього та часті зміни власників. У XV–XVІ ст. Олеський замок кілька разів ставав жертвою руйнівних набігів татар. У другій половині ХV століття замок перестав бути оборонною спорудою і перетворився у резиденцію магнатських родів: Даниловичів, згодом Собєських, Жувуських.
Олеський замок відомий у польській історії тим, що 1629 року тут народився онук Даниловича, майбутній король Польщі Ян ІІІ Собєський, за часів правління якого замок отримав статус королівської резиденції. Згідно легенди про народження цього одного з найвизначніших польських королів і полководців, майбутній король народився під час грози, окрім того, на замок тоді напали татари; і в той момент, коли бабка повитуха поклала немовля на мармуровий стіл, вдарив дуже сильний грім, і стіл розколовся навпіл, після цього одразу ж з'явилося пророцтво про те, що новонароджений буде незвичайною людиною.
У своїй подальшій історії замок багато разів потерпав від руйнацій: декілька пожеж і сильний землетрус 1838 р. спричинили руйнування мурів замку. Не менше пошкодили його і самі власники – після того, як в одній з кімнат знайшли замурований скарб, почалися гарячкові пошуки інших коштовностей: розбивалися стіни з розписами, руйнувалися каміни, знімалися підлоги. На кінець XIX ст. Олеський замок перетворився практично на руїну. За зібрані в 1882 р. львів'янами кошти замок викупили, і він перейшрв у власність держави. До 1939 р. замок використовувався як сільськогосподарська жіноча школа. Коли Галичина була приєднана до СРСР, у замку організували табір польських військовополонених, у роки Другої світової війни тут розміщувалися військові склади.
Лише з 70-х років минулого століття розпочалося активне відновлення Олеського замку. Нині це відділ Львівської галереї мистецтв. У музеї представлено: галицько-волинський іконописний живопис ХV–XVIII ст., український портретний живопис XVI–XVIII ст., європейське малярство XVII–XVIII ст., львівську скульптурну школу XV–XVIII ст., різноманітні європейські інтер'єри, а також унікальна колекція творів одного з найталановитіших європейських скульпторів ХVIII століття – Йогана Георга Пінзеля.
