بدأ بناء مسجد ابن طولون فى رمضان من سنة 263هـ/877م وقد بناه أحمد بن طولون بمدينته الجديدة القطائع ليصبح ثالث مسجد جامع بنى فى عاصمة مصر الإسلامية بعد جامع عمرو بن العاص الذي بنى فى الفسطاط، وجامع العسكر الذى بنى في مدينة العسكر ورغم أن مسجد عمرو بن العاص لا يزال موجودًا إلا أن المسجد الطولوني يعد أقدم مساجد مصر القائمة حتى الآن لاحتفاظه بحالته الأصلية بالمقارنة مع مسجد عمرو بن العاص الذي توالت عليه الإصلاحات التي غيرت معالمه.
واستعان أحمد بن طولون بالمهندس سعيد بن كاتب الفرغانى، وهو مهندس قبطى ماهر فى العمارة، تولى عمارة مقياس النيل فى جزيرة الروضة سنة 864 م بعد أن أمر بعمارته الخليفة العباسى المتوكل، وفى عصر أحمد بن طولون عهد إليه ببناء أهم منشآته، فبنى له أولاً قناطر بن طولون وبئر عند بركة حبش لتوصيل الماء إلى مدينة القطائع.
وكما جاء فى مسجد السيرة الطولونية "أراد أحمد بن طولون بناء المسجد فقدر له 300 عمود فقيل له ما تجدها أو تنفذ إلى الكنائس فى الأرياف والضياع الخراب فتحمل ذلك، فأنكره ولم يختره وتعذب قلبه بالفكر فى أمره، وبلغ النصرانى وهو فى المطبق الخبر، فكتب إليه: أنا أبنيه لك كما تحب وتختار بلا عمد إلا عمودى القبلة فأحضره وقد طال شعره حتى تدلى على وجهه، فبناه وحسن البناء فى عينى أحمد بن طولون".
وقد جاء في سيرة ابن طولون عن السبب في بناء ابن طولون لجامعه، أنه كان يصلى الجمعة في المسجد القديم الملاصق للشرطة فلما ضاق عليه بنى الجامع الجديد فيما أفاء الله عليه من المال الذى وجده فوق الجبل في الموضع المعروف بتنور فرعون.
وقد تعددت الروايات والقصص التي قيلت عن المال أو الكنز الذى عثر عليه ابن طولون، ومكنه من إقامه مثل هذا الجامع الكبير وباقى منشآته العظيمة كالقصر والبيمارستان، فقد جاء في كتاب "مساجد مصر وأولياؤها الصالحون"، أن قصة المال هذه إنما هي من قبيل الأساطير التي يميل جمهور مؤرخى العصور الوسطى إلى تكرارها في مثل هذه المجالات بقصد التنويه إلى أن مثل هذه النفقة البالغة لا يستطيع الخليفة أو السلطان تدبيرها إلا إذا امده الله سبحانه وتعالى برزق غيبى غير معلوم، وذلك لا يكون إلا في الكنوز المخبأة.
