Музей был создан в 1967 году как музей истории войск Одесского военного округа по приказу командующего округом Амазаспа Хачатуровича Бабаджаняна. В 1985 году музей был значительно расширен, обрел новые этажи и экспозиционные площади.

Сегодня экспозиция музея насчитывает более 7 тыс. экспонатов, которые рассказывают об истории Одесского военного округа и оперативного командования «Юг». Формирование фондов музея осуществлялось силами военнослужащих, что в значительной мере отразилось на специфике работы учреждения. В музее хранятся редкие виды оружия, награды и личные вещи известных исторических личностей, таких как Г.К. Жуков и Р.Я. Малиновский. Музей хранит и прекрасную коллекцию редких воинских знамен и штандартов.

Начало экспозиции музея повествует о предыстории формирования Одесского военного округа, периоде русско-турецкого соперничества в Северном Причерноморье. В этой части экспозиции посетители музея могут ознакомиться с трофейным турецким оружием конца XVIII века, с казацким оружием XVIII-XIX вв.

В музее сохранилось значительное количество экспонатов рассказывающих об истории 20-30х гг. прошлого века, о революциях 1905 и 1917 гг., о национально-освободительном движении украинского народа, о репрессиях 30-х гг. В фондовом и экспозиционном хранении находятся предметы личного оружия участников гражданской войны, редкие документы, фотографии и их копии. Книги Татьяны Фрунзы, оригинальные фотографии и документы, подписанные Г.И. Котовским. Собрание документов может похвастаться автографами Анри Фармана, Г.И. Котовского, М.В. Захарова, Д.М. Карбышевого, Р.Я. Малиновского, Л. Свободы и рядом других.

В музее широко освещены события Второй мировой войны. Помимо экспонирования различных видов оружия, наград и формы одежды в музее можно увидеть документы и письменные источники военных лет. Среди них потрясающее редкости: карточки на воду времен обороны Одессы 1941 года, символичные записки, залитые кровью, последние солдатские письма и записи, боевые грамоты и многое другое. В музее сохранились вещи из немецких концлагерей, орудия пыток времен нацисткой оккупации городов и сел Бессарабии, личные вещи партизан юга Украины, предметы быта, найденные в Одесских и Аджимушкайских катакомбах.

Совсем недавно, благодаря активистам военно-исторического поискового клуба «Варяг» экспозиция музея обогатилась новой выставкой, которая продолжает пополняться и исследоваться сотрудниками музея. Данная выставка посвящена самодельному оружию осажденной Одессы 1941 года. Это корпуса самодельных одесских гранат и мин, зажигательных устройств и инженерных приспособлений, модель знаменитого танка «НИ», жемчужина коллекции – одесский станковый траншейный огнемет полной комплектации!

Также значительная часть экспозиции музея рассказывает о вкладе украинского народа в Победу над фашизмом в Европе, о признании этого вклада мировым сообществом. Отдельная выставка рассказывает о Ленд-лизе и американо-украинских контактах периода Второй мировой войны.

В 2014 году к 25-й годовщине вывода войск из Афганистана и ко Дню чествования участников боевых действий на территории других стран в музее открылся новый зал, посвященный военно-политической спецоперации в ДРА в 1979-1989 гг.

В зале экспонируются личные вещи и документы участников тех событий, элементы снаряжения и боеприпасов, представлена коллекция трофейных предметов, среди которых даже боевые документы афганской оппозиции. Стенды зала демонстрируют более 350 фотографий и уникальную восьмиметровую панорамную фотографию с расположением частей 40-й армии в районе Кабула.

Жизнь в музее не стоит на месте. Сегодня в учреждении ведется масштабная реконструкция экспозиции. Происходит новое формирование зала посвященного истории войск Одесского военного округа в 1945-1991 гг., где посетители музея смогут увидеть как уже ставшие знаменитые экспонаты, вроде рабочего стола Г.К. Жукова, так и новые выставки, которые несколько приоткрывают тайны специальных операций времен «холодной войны».

Значительной частью новой экспозиции станет зал новейшей истории войск оперативного командования «Юг», в котором посетители узнают о трудном периоде реформирования вооруженных сил, о самоотверженности украинских миротворцев в разнообразных локальных военных конфликтах, познакомятся с историей развития современной военной техники.

Наиболее важной частью новой экспозиции музея станет зал посвященный участию Вооруженных Сил Украины и войск оперативного командования «Юг» в антитеррористической операции. Пока еще не раскрыты все секреты содержания новой экспозиции, однако, сотрудники музея уверяют, что новая экспозиция не оставит равнодушными своих посетителей. Окончание данных преобразований ожидается осенью-зимой 2016 года.

Фотоальбом