Al-Adab Al-Mufrad, Book 43, Hadith 1057 (English)

Regarding the ayat, "Those you own as slaves should ask your permission to enter" (24: 56), Ibn 'Umar said, "That applies to men rather than women."

حَدَّثَنَا عُثْمَانُ بْنُ مُحَمَّدٍ، قَالَ‏:‏ حَدَّثَنَا يَحْيَى بْنُ الْيَمَانِ، عَنْ شَيْبَانَ، عَنْ لَيْثٍ، عَنْ نَافِعٍ، عَنِ ابْنِ عُمَرَ‏:‏ ‏{‏لِيَسْتَأْذِنْكُمُ الَّذِينَ مَلَكَتْ أَيْمَانُكُمْ‏}‏، قَالَ‏:‏ هِيَ لِلرِّجَالِ دُونَ النِّسَاءِ‏.‏

sunnah.com