我父亲因工伤去世 然后赔了一点赔偿款

根据《中华人民共和国继承法》的规定，配偶、子女和父母是第一顺序的继承人。在您父亲去世后，他的遗产将按照法定继承顺序进行分配。

首先，您父亲的赔偿款中的养老费4万属于他的财产，可以作为遗产分配。其次，如果您父亲没有留下遗嘱，那么这部分财产将按照法定继承顺序进行分配。也就是说，您的爷爷奶奶有权分得一部分遗产。

然而，如果您不想将遗产分配给他们，您可以选择不参与诉讼或者在诉讼中提出异议。但是需要注意的是，如果您的爷爷奶奶坚持要分得遗产，并且法院判决支持他们的主张，那么您可能需要支付一定的费用。