L'histoire du musée remonte au début des années 1920 et 1930, lorsqu'un groupe d'artistes radicaux du groupe ER a commencé à collectionner les œuvres des artistes les plus importants de l'époque dans le but d'en faire un musée. Ce travail a rencontré un grand intérêt de la part de l'avant-garde européenne, ce qui a incité de nombreux grands artistes, tels que (Fernand Leger, Max Ernst, Hans Arp et Kurt Schweitzer) à faire don de leurs œuvres. La Collection internationale d'art moderne a été mise à la disposition du public en 1931. Grâce à cela, le musée d'art est actuellement le seul musée en Pologne qui abrite une riche collection d'art mondial des XXe et XXIe siècles.