Sejarah museum dimulai pada awal tahun 1920-an dan 1930-an, ketika sekelompok seniman radikal dari kelompok ER mulai mengumpulkan karya-karya seniman terpenting pada masa itu dengan tujuan menjadikannya museum. Karya ini mendapat minat yang besar dari para avant-garde Eropa, sehingga mendorong banyak seniman besar, seperti (Fernand Léger, Max Ernst, Hans Arp, dan Kurt Schweitzer) untuk menyumbangkan karyanya sebagai hadiah. Koleksi Seni Modern Internasional tersedia untuk umum pada tahun 1931. Berkat ini, Museum Seni saat ini menjadi satu-satunya museum di Polandia yang menyimpan banyak koleksi seni dunia abad ke-20 dan ke-21.