Meskipun ibu yang berhak atas hak asuh anaknya, tetapi hal tersebut bisa hilang dengan beberapa alasan. Berikut di antaranya;
Meskipun hal ini sangat jarang terjadi di zaman modern, ibu yang berstatus sebagai budak tidak berhak untuk mengasuh anaknya. Hal ini disebabkan ibu harus melayani penuh tuannya.
Anak adalah titipan dari Allah Azza wa Jalla, sehingga harus dididik sesuai dengan aturan agama. Tetapi jika wanita atau ibu tersebut fasiq, tidak taat kepada Allah dan rasul-Nya, maka hak asuh anak akan diberikan kepada ayahnya.
Hak asuk anak akan hilang dari ibunya, jika ia dengan jelas menjadi seorang kafir atau berpindah agama. Ini akan lebih bahaya bagi masa depan anaknya kelak, karena akan menanamkan keimanan dari agama lain yang jelas-jelas tidak percaya kepada Allah Azza wa Jalla dan Rasul-Nya.