退休返聘人员可以随时解除合同。但是退休返聘人员需要与用人单位协商一致，来解除合同，或者在用人单位具有不按约定提供劳动保护条件、不支付工资等损害其利益的情形时，可依法解除合同。

法律依据

《《中华人民共和国劳动合同法》》第三十八条   【劳动者单方解除劳动合同】用人单位有下列情形之一的，劳动者可以解除劳动合同：   （一）未按照劳动合同约定提供劳动保护或者劳动条件的；   （二）未及时足额支付劳动报酬的；   （三）未依法为劳动者缴纳社会保险费的；   （四）用人单位的规章制度违反法律、法规的规定，损害劳动者权益的；   （五）因本法第二十六条第一款规定的情形致使劳动合同无效的；   （六）法律、行政法规规定劳动者可以解除劳动合同的其他情形。   用人单位以暴力、威胁或者非法限制人身自由的手段强迫劳动者劳动的，或者用人单位违章指挥、强令冒险作业危及劳动者人身安全的，劳动者可以立即解除劳动合同，不需事先告知用人单位。