什么情况下由土地使用人来交土地使用税

土地使用税的纳税主体

根据《关于土地使用税若干具体问题的解释和暂行规定》第四条规定，土地使用税的纳税主体为拥有土地使用权的单位或个人。若土地使用权的拥有者不在土地所在地，则由代管人或实际使用人负责缴纳土地使用税。若土地使用权尚未确定或存在权属纠纷，由实际使用人负责缴纳土地使用税。

土地使用权共有情况下的纳税责任

根据国税地[1988]15号文件规定，当土地使用权共有时，各共有方应分别负责纳税。

免税单位与纳税单位之间土地使用税的征收

根据国税地[1989]140号文件规定，对于免税单位无偿使用纳税单位的土地（例如公安、海关等单位使用铁路、民航等单位的土地），免征土地使用税。而对于纳税单位无偿使用免税单位的土地，纳税单位应按规定缴纳土地使用税。

综上所述，若纳税人不在土地所在地，土地使用权尚未确定或存在权属纠纷，或者纳税单位无偿使用免税单位的土地，应由土地使用人负责缴纳土地使用税。