Sahih al-Bukhari, Book 25, Hadith 71 (In-Book) ⓘ

Narrated `Aisha: Allah's Messenger said to me, "Were your people not close to the Pre-Islamic period of ignorance, I would have demolished the Ka`ba and would have rebuilt it on its original foundations laid by Abraham (for Quraish had curtailed its building), and I would have built a back door (too)."

حَدَّثَنَا عُبَيْدُ بْنُ إِسْمَاعِيلَ، حَدَّثَنَا أَبُو أُسَامَةَ، عَنْ هِشَامٍ، عَنْ أَبِيهِ، عَنْ عَائِشَةَ ـ رضى الله عنها ـ قَالَتْ قَالَ لِي رَسُولُ اللَّهِ صلى الله عليه وسلم ‏ "‏ لَوْلاَ حَدَاثَةُ قَوْمِكِ بِالْكُفْرِ لَنَقَضْتُ الْبَيْتَ ثُمَّ لَبَنَيْتُهُ عَلَى أَسَاسِ إِبْرَاهِيمَ ـ عَلَيْهِ السَّلاَمُ ـ فَإِنَّ قُرَيْشًا اسْتَقْصَرَتْ بِنَاءَهُ ـ وَجَعَلْتُ لَهُ خَلْفًا ‏" ‏‏.‏ قَالَ أَبُو مُعَاوِيَةَ حَدَّثَنَا هِشَامٌ خَلْفًا يَعْنِي بَابًا‏.‏