离婚时，如果双方办理结婚登记手续但确未共同生活；或是男方婚前给付彩礼导致自己在离婚后生活困难。那么女方就应该在离婚后退还男方之前给付的彩礼，女方拒不退还的，男方可以向法院起诉要求女方退还。

法律依据

《最高人民法院关于适用<中华人民共和国民法典>婚姻家庭编的解释（一）》第五条 当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持： （一）双方未办理结婚登记手续； （二）双方办理结婚登记手续但确未共同生活； （三）婚前给付并导致给付人生活困难。 适用前款第二项、第三项的规定，应当以双方离婚为条件。