农村自留地是不能随意建房的。农村自留地也是属于集体所有的土地，村民只是有土地的使用权，所有权属于农村集体经济组织。每个村民只能有一处宅基地，并且只能在宅基地上建房。

法律依据

《《中华人民共和国土地管理法》》第十一条   农民集体所有的土地依法属于村农民集体所有的，由村集体经济组织或者村民委员会经营、管理；已经分别属于村内两个以上农村集体经济组织的农民集体所有的，由村内各该农村集体经济组织或者村民小组经营、管理；已经属于乡（镇）农民集体所有的，由乡（镇）农村集体经济组织经营、管理。