فلما تلقى عمر بن عبد العزيز خبر توليته (للخلافة)، انصدع قلبه من البكاء، وهو في الصف الأول، فأقامه العلماء على المنبر وهو يرتجف، ويرتعد، وأوقفوه أمام الناس، فأتى ليتحدث فما استطاع أن يتكلم من البكاء، قال لهم: بيعتكم بأعناقكم، لا أريد خلافتكم، فبكى الناس وقالوا: لا نريد إلا أنت، فاندفع يتحدث، فذكر الموت، وذكر لقاء الله، وذكر مصارع الغابرين، حتى بكى من بالمسجد.

يقول رجاء بن حيوة: والله لقد كنت أنظر إلى جدران مسجد بني أمية ونحن نبكي، هل تبكي معنا !! ثم نزل، فقربوا له المَراكب والموكب كما كان يفعل بسلفه، قال: لا، إنما أنا رجل من المسلمين، غير أني أكثر المسلمين حِملاً وعبئاً ومسئولية أمام الله، قربوا لي بغلتي فحسب، فركب بغلته، وانطلق إلى البيت، فنزل من قصره، وتصدق بأثاثه ومتاعه على فقراء المسلمين.

نزل عمر بن عبد العزيز في غرفة في دمشق أمام الناس؛ ليكون قريبًا من المساكين والفقراء والأرامل، ثم استدعى زوجته فاطمة، بنت الخلفاء، أخت الخلفاء، زوجة الخليفة، فقال لها: يا فاطمة، إني قد وليت أمر أمة محمد عليه الصلاة والسلام - وتعلمون أن الخارطة التي كان يحكمها عمر، تمتد من السند شرقًا إلى الرباط غربًا، ومن تركستان شمالاً، إلى جنوب أفريقيا جنوبًا - قال: فإن كنت تريدين الله والدار الآخرة، فسلّمي حُليّك وذهبك إلى بيت المال، وإن كنت تريدين الدنيا، فتعالي أمتعك متاعاً حسنًا، واذهبي إلى بيت أبيك، قالت: لا والله، الحياة حياتُك، والموت موتُك، وسلّمت متاعها وحليّها وذهبها، فرفَعَه إلى ميزانية المسلمين.

ونام القيلولة في اليوم الأول، فأتاه ابنه الصالح عبد الملك بن عمر بن عبد العزيز، فقال: يا أبتاه، تنام وقد وليت أمر أمة محمد، فيهم الفقير والجائع والمسكين والأرملة، كلهم يسألونك يوم القيامة، فبكى عمر واستيقظ. وتوفي ابنه هذا قبل أن يكمل العشرين.

عاش عمر - رضي الله عنه - عيشة الفقراء، كان يأتدم خبز الشعير في الزيت، وربما أفطر في الصباح بحفنة من الزبيب، ويقول لأطفاله: هذا خير من نار جهنم.

أتى إلى بيت المال يزوره، فشم رائحة طيب، فسدّ أنفه، قالوا: مالك؟ قال: أخشى أن يسألني الله - عز وجل - يوم القيامة لم شممت طيب المسلمين في بيت المال. إلى هذه الدرجة، إلى هذا المستوى، إلى هذا العُمق.

دخل عليه أضياف في الليل، فانطفأ السراج في غرفته، فقام يصلحه، فقالوا: يا أمير المؤمنين: اجلس قال: لا، فأصلح السراج، وعاد مكانه، وقال: قمت وأنا عمر بن عبد العزيز، وجلست وأنا عمر بن عبد العزيز.

قالوا لامرأته فاطمة بعد أن توفي: نسألك بالله، أن تصِفي عمر؟ قالت: والله ما كان ينام الليل، والله لقد اقتربت منه ليلة فوجدته يبكي وينتفض، كما ينتفض العصفور بلَّله القطْر، قلت: مالك يا أمير المؤمنين؟ قال: مالي !! توليت أمر أمة محمد، وفيهم الضعيف المجهد، والفقير المنكوب، والمسكين الجائع، والأرملة، ثم لا أبكي، سوف يسألني الله يوم القيامة عنهم جميعاً، فكيف أُجيب؟!