Ивангородский художественный музей открылся 30 мая 1980 г. История его создания связана с именем М.Н. Потоцкого (1916-1998), сына известной художницы А.В. Щекатихиной-Потоцкой и воспитанника выдающегося художника-графика И.Я. Билибина.

В 1980 г. М.Н. Потоцкий подарил жителям Ивангорода коллекцию произведений живописи, графики, декоративно-прикладного искусства, созданных И.Я. Билибиным и А.В. Щекатихиной-Потоцкой, а также работы художников объединения "Мир искусства". Этот поистине бесценный дар и стал основой художественной части фондов музея, расположенного в центре Ивангорода, в бывшем особняке купца Ф.Я. Пантелеева (сер. ХIХ в.).

Рядом с Ивангородской крепостью находится еще одно здание музея, где в середине XIX в. размещалась контора купца Орлова.

В 2000 году для Ивангородского музея была создана мультимедийная программа "Виртуальная крепость".