استوحي تصميم مسجد الرملي موصوفا الذي يهيمن عليه اللون الأبيض من ضريح تاج محل المذهل في الهند مع قبة مركزية وأبراج جميلة، إلى جانب بعض اللمسات المعماريّة المميّزة من الجزيرة العربيّة والصين وإندونيسيا، كما وتم تجهيزه بمنبر مصنوع من الرخام المستورد من تركيا وإيطاليا، ويقع على الجانب الآخر من بحيرة سونتير شمال جاكرتا.