离婚时爸爸可以不要抚养权，放弃抚养权就是失去抚养权。失去抚养权的女方将失去与子女共同生活的权利。只要男女双方可以就女方放弃抚养权力达成一致，法律会尊重当事人意思自治。失去抚养权的女方仍然会享有探视权，可以在约定或裁判的时间内定期探视子女，与子女进行相对短暂的相处。

法律依据

《民法典》第二十六条 父母对未成年子女负有抚养、教育和保护的义务。成年子女对父母负有赡养、扶助和保护的义务。 第一千零六十七条 父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利。 成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。