公司不认可我的家族签证655456h

本人持3年企业内转勤签证来日本，本来2016年6月结束就要回国了，15年6月份小孩在国内出生，老婆一个人带孩子太不方便，在国内一个人坚持了3个月，我不放心，考虑到我在日本的时间也快结束，15年9月份索性我就把老婆孩子接到日本来了。给他们办签证的时候没有搞好，办理的是短期签证，后来来这边申请了家族再留签证，12月份的时候，签证批下来了。本来我以为是自己私人的事务，抱着平衡工作和家庭的心态来办这件事的。后来日本这边的公司知道了，公司意思是不认同家属的家族再留资格，要我把老婆孩子送回国去。我就不服了，日本国外务省批得资格，公司不认同，我也没有任何违法违规，公司这么做，有什么依据吗，我现在改怎么做才好。