遗弃罪最轻的可以判处管制。根据《刑法》的相关规定，对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。

法律依据

《《中华人民共和国刑法》》第三条   【罪刑法定】法律明文规定为犯罪行为的，依照法律定罪处刑；法律没有明文规定为犯罪行为的，不得定罪处刑。

《《中华人民共和国刑法》》第二百六十一条   【遗弃罪】对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。