يتكون ضريح الخلفاء العباسيين الذى يقع خلف جامع السيدة نفيسة، من مبنى مربع الشكل يبلع 90 مترًا مربعًا، وارتفاعه 5 أمتار ونصف المتر، وفى أركان المربع توجد مثلثات مملوءة بالدلايات، ثم تعلو ذلك قبة، ويوجد المدخل الرئيسى للضريح فى الجهة المقابلة للقبلة أى فى الجهة الشمالية الغربية، والواجهة مزخرفة بباب معقود على شكل زاوية منكسرة، وعلى جانبى الباب جلسة رخامية.
كما يوجد فى الجهة الشمالية الشرقية باب ثان حول الآن إلى نافذة، ومن المرجح وجود باب ثالث فى الجهة الجنوبية الغربية وإن كان من المتعذر الآن التأكد من هذا لأن مسجد السيدة نفيسة قد بنى ملاصقًا لهذه الجهة، وعلى جانبى باب المدخل توجد حنيتان مجوفتان تشبه المحراب، كما حليت الواجهتان الشرقية والغربية بحنيات ولكنها مسطحة والضريح من الداخل مكسو بطبقة من الجص البدسع الزخرفة وبجدار القبلة يوجد عقد منكسر بداخلة تجويف المحراب تحيط به مجموعة من الدلايات والأشرطة الكتابية من الجص، ويعلو المحراب وكذا العقد المنكسر افريز خشبى عليه كتابة نسخية مرسومة بطلاء زيتى، حسب ما ذكر كتاب "مساجد مصر وأولياؤها الصالحون"، للدكتورة سعاد ماهر محمد.
ويوجد بالضريح مجموعة من النوافذ، تشغل المناطق المحصورة بين مثلثات الأركان المملوءة بالدلايات، وتتكون النوافد من ثلاث فتحات، وكلها مملوءة بالجص والزجاج المتعدد الألوان، ويخلو هذا الضريح من الكتابات التى تبين تاريخ الإنشاء ولكنه يحتوى على ثمانية توابيت "تركيبات" عليها كتابات تبين أسماء أصحابها وتاريخ الوفاة، ويتكون التابوت الأول من قاعدة رخامية مغطاة بكسوة خشبية، وقد نقشت على الكسوة الخشبية كتابات كلها عبارات دعائية، كما احتوت اسم الذى أرسله المتوفى وتاريخ الوفاة، كذلك يوجد بالضريح 17 شاهد قبر ملتصقة ببناء أرضية الضريح، منها اثنان لخلفاء العباسيين فى مصر، وستة لأبناء الخلفاء العباسيين وباقى الشواهد التسعة فهى لأحفاد الخلفاء.
ويوجد على التابوت الخامس اسم "اناس باى" ابن السطان بيبرس المتوفى سنة 664 هـ وتابوت آخر عليه اسم ابن ثان للظاهر بيبرس المتوفى سنة 668هـ، وشخص مجهول متوفى سنة 710 هـ، كما يوجد تابوت عليه اسم "خوندقمار" المتوفى سنة 826 هـ أما باقى التوابيت وهى الثالث والرابع والسادس فهى بدون أسماء وتاريخ.
