Müzenin tarihi, ER grubundan bir grup radikal sanatçının, dönemin en önemli sanatçılarının eserlerini müzeye dönüştürmek amacıyla toplamaya başladığı 1920'li ve 1930'lu yılların başlarına kadar uzanıyor. Bu çalışma Avrupalı avangardın büyük ilgisini çekti ve Fernand Léger, Max Ernst, Hans Arp ve Kurt Schweitzer gibi birçok büyük sanatçının eserlerini hediye olarak bağışlamasına yol açtı. Uluslararası Modern Sanat Koleksiyonu 1931'de halka açıldı. Bu sayede Sanat Müzesi, şu anda Polonya'da 20. ve 21. yüzyıla ait zengin bir dünya sanatı koleksiyonuna ev sahipliği yapan tek müzedir.