بنى المسجد فى الموضع الذى خطب فيه الرسول صلى الله عليه وسلم، حجة الوداع، وذلك أول عهد الخلافة العباسية، في منتصف القرن الثاني الهجرى، وهو يقع إلى الغرب من المشعر، وجزء من غرب المسجد فى وادى عرنة، وهو وادى من أودية مكة المكرمة الذى الرسول صلى الله عليه وسلم عن الوقوف فيه، حيث قال المصطفى صلى الله عليه وسلم : "... وقفت ها هنا وعرفات كلها موقف إلا بطن عرنة .. " ، وبطن وادي عرنة ليس من عرفة، ولكنه قريب منه.
مر مسجد نمرة بتوسعات تمت على مرِّ التاريخ، وبعد اتساعه أصبحت مقدمة المسجد خارج عرفات، ومؤخرة المسجد فى عرفات، وهناك لوحات إرشادية تشير إلى ذلك لكى يعرف الحجاج مواقفهم .
وشهد مسجد نمرة أكبر توسعة له فى التاريخ فى العهد السعودى بتكلفة 237 مليون ريال، وأصبح طوله من الشرق إلى الغرب 340 مترًا ، وعرضه من الشمال إلى الجنوب 240 متراً ، ومساحته أكثر من 110 آلاف متر مربع ، وتوجد خلف المسجد مساحة مظللة تقدَّر مساحتها بـ 8000 متر مربع ، ويستوعب المسجد نحو 350 ألف مصل ، وله ست مآذن ، وارتفاع كل مئذنة منها 60 متراً ، وله ثلاث قباب ، و10 مداخل رئيسية تحتوي على 64 بابًا، وفيه غرفة للإذاعة الخارجية مجهزة لنقل الخطبة وصلاتي الظهر والعصر ليوم عرفة مباشرة بواسطة الأقمار الصناعية.
