وجعل للمسجد ثلاثة أبواب: ثم سد باب الجنوب منها حين حولت القبلة، وبقي المسجد على حياة رسول الله صلى الله عليه وسلم تسليماً، وحياة أبي بكر رضي الله عنه. فلما كانت أيام عمر بن الخطاب رضي الله عنه زاد في مسجد رسول الله صلى الله عليه وسلم. وقال: لولا أني سمعت رسول الله صلى الله عليه وسلم يقول ينبغي أن نزيد في المسجد ما زدت فيه. فأنزل أساطين الخشب، وجعل مكانها أساطين اللبن، وجعل الأساس حجارة إلى القامة، وجعل الأبواب ستة، منها في كل جهة ما عدا القبلة بابان، وقال: في باب منها ينبغي أن يترك هذا للنساء فما رئي فيه. حتى لقي الله عز وجل، وقال: زدنا في هذا المسجد حتى يبلغ الجبانة، لم يزل مسجد رسول الله صلى الله عليه وسلم وأراد عمر أن يدخل في المسجد موضعاً للعباس عم رسول الله صلى الله عليه وسلم ورضي عنهما، فمنعه منه. وكان فيه ميزاب يصب في المسجد، فنزعه عمر. وقال: إنه يؤذي الناس، فنازعه العباس، وحكما بينهما أبي بن كعب رضي الله عنهما، فأتيا داره فلم يأذن لهما إلا بعد ساعة، ثم دخلا إليه، فقال: كانت جاريتي تغسل رأسي، فذهب عمر ليتكلم، فقال له أبي: دع أبا الفضل يتكلم لمكانه من رسول الله صلى الله عليه وسلم، فقال العباس، خطة خطها لي رسول الله صلى الله عليه وسلم، وبنيتها معه، وما وضعت الميزاب إلا ورجلاي على عاتقي رسول الله فجاء عمر فطرحه وأراد إدخالها في المسجد. فقال أبي: إن عندي من هذا علماً. سمعت رسول الله صلى الله عليه وسلم يقول: أراد داود عليه السلام أن يبني بيت الله المقدس. وكان فيه بيت ليتيمين فراودهما على البيع فأبيا. ثم راودهما فباعاه. ثم قاما بالغين فردا البيع، واشتراه منهما. ثم رداه كذلك. فاستعظم داود الثمن. فأوحى الله إليه إن كنت تعطي من شيء فهو لك؛ فأنت أعلم. وإن كنت تعطيهما نم رزقنا فأعطهما حتى يرضيا. وإن أغنى البيوت عن مظلمة بيت هو لي، وقد حرمت عليك بناءه.
قال: يا رب فأعطه سليمان. فأعطاه سليمان ليه السلام. فقال عمر: من لي بأن رسول الله صلى الله عليه وسلم قاله ؟ فخرج أبي إلى قوم من الأنصار، فأثبتوا له ذالك. فقال عمر رضي الله عنه أما إني لو لم أجد غيرك أخذت قولك، ولكنني أحببت أن أثبت. ثم قال للعباس رضي الله عنه: والله لا ترد الميزاب إلا وقدماك على عاتقي. ففعل العباس ذلك. ثم قال: أما إذا أثبتت لي، فهي صدقة لله، فهدمها عمر، وأدخلها في المسجد. ثم زاد فيه عثمان رضي الله عنه، وبناه بقوة وباشره بنفسه، فكان يظل فيه نهاره، وبيضه وأتقن محله بالحجارة المنقوشة، ووسعه من جهاته إلى جهة الشرق منها، وجعل له سواري حجارة مثبتة بأعمدة الحديد والرصاص، وسقفه بالساج، وصنع له محراباً.
وقيل: إن مروان هو أول من بنى المحراب. وقيل: عمر بن عبد العزيز في خلافة الوليد - ثم زاد فيه الوليد بن عبد الملك. تولى ذلك عمر بن عبد العزيز، فوسعه وحسنه وبالغ في إتقانه، وعمله بالرخام والساج المذهب. وكان الوليد بعث إلى ملك الروم: أريد أن أبني مسجد نبينا صلى الله عليه وسلم، فأعني فيه. فبعث إليه الفعلة، وثمانين ألف مثقال من الذهب. وأمر الوليد بإدخال حجر أزواج النبي صلى الله عليه وسلم فيه، فاشترى عمر من الدور ما زاد في ثلاث جهات من المسجد. فلما صار إلى القبلة، امتنع عبيد الله بن عبد الله بن عمر من بيع دار حفصة، ودار بينهما الكلام، حتى ابتاعها عمر، على أن له ما بقي منها، وعلى أن يخرجوا من باقيها طريقاً إلى السجد، وهي الخوخة التي في المسجد، وجعل عمر للمسجد أربع صوامع في أربعة أركانه، وكانت إحداها مطلة على دار مروان. فلما حج سليمان بن عبد الملك نزل بها، فأطل عليه المؤذن حين الأذان. فأمر بهدمها، وجعل عمر للمسجد محراباً.