Парк загальною площею 62.668 км2 створений в 1994 р. у межах Арбузинського, Вознесенського, Доманівського і Первомайського районів. Тут на півночі області проходить кордон між Причорноморською низовиною, заповненою потужним шаром осадових утворень, і Придніпровською височиною, що стала такою завдяки дуже щільним кристалічним породам Українського щита. Близько 5 млн. років тому ці породи (граніти, гнейси, сланці) стали непереборною перешкодою на шляху Чорного моря, води якого просувалися на північ, тим самим відзначивши межу останнього в геологічній історії широкомасштабного його проникнення на сушу. За останній мільйон років р. Південний Буг та його ліві притоки — Мертвовід, Арбузинка і Гнилий Єланець прорізали глибокі долини в древніх (близько 2 млрд років) кристалічних породах Українського щита, створивши величні мальовничі ландшафти. Величні скелі, ефектність яких інший раз підкреслюється водами локальних водоймищ, глибокі каньйони, як рани на тілі Землі, кам’яні потоки і річкові перекати ділянок парку не можуть нікого залишити байдужим. Те, що останні сотні років самі мистецькі землевпорядники і майстри паркової справи ліпили в ландшафтних парках заможних панів, у “Гранітно-степовому Побужжі” презентує неперевершений і ніколи не повторюваний зодчий — матінка-природа.