Одеський музей західного та східного мистецтва створений на основі приватних колекцій, зібраних міським Комітетом охорони пам’яток мистецтва та старовини, а також надходжень з музею красних митців і кабінету історії мистецтв Новоросійського університету.

Музей розташований у будівлі архітектури середини ХІХ ст..., побудований у1858 році за проектом архітектора Людвіга Оттона. Це ім’я  знайоме усім шанувальникам творчості О.С.Пушкіна, який увічнив прізвище Оттона у десятому розділі поеми «Євгеній Онєгін», згадавши його батька, відомого одеського ресторатора. Яскраво описано славетні бали у «будинку Абази» на Італійській 9 (так спочатку називались вулиця Пушкінська) і у книзі Олександра Дерібаса «Стара Одеса».

Новий розділ в історії споруди розпочався у 1924 році. Тут було відкрито Галерею старовинного живопису Народного художнього музею, створеного у місті після революції. Пізніше галерея відділилася від Народного художнього музею і, так би мовити, отримала власне обличчя. Його визначили твори західноєвропейських художників ХVІ-ХІХ сторіч. З роками й історичні межі збірки розширилися: відкрилася зала античних зліпків згодом – відділ східного мистецтва.

Одеський музей західного і східного мистецтва – невід’ємна частка культурної історії Одеси. Про це нагадують портрети людей, що лишили по собі добру пам'ять у нашому місті: Рішельє, Дерібаса, Воронцова, Олени Толстої.