长期打压PUA我的前任部门领导想挖我墙角，我要不要拒绝？怎么拒绝才不得罪他？

我毕业后就在一家国企总部业务部门，前任部门领导对我大概有1年多的打压、嘲讽、PUA，心理控制，几度心理崩溃，严重不自信，经常性流泪（具体辛酸史就不说了） 在2年前他被调到我们集团下属子公司当领导，因为一些原因和我们部门现任领导关系非常不好，现在他逐渐站稳脚跟，上周等电梯的时候再次当着众人的面说我某件事干得不好（这对他自己人肯定是不会这样的），等我回到工位，被叫去他办公室，问我考不考虑去他公司，一是他们也缺人才，二是问我你在集团这两年你学到了什么（认为我什么也没学会），而在他公司有很多东西可学。让我好好考虑了找他。 我的情感是百分之百拒绝的，一是下去了就完全受他管了，再次回到被PUA、不认可、打压的状态（而我是好学生思维的受害者，所以很痛苦），现在在集团已经感觉内心有点抑郁了，如果再下去估计会加重。二是他的公司是高度卷的公司，加班很严重，狼性文化，经常性加班到10点以后很正常，会完全没有自己生活。三是我从集团的员工到下属子公司的员工有种降级的感觉，直接和子公司签署，而且马上就要晋升为高级经理，至上先把职级提上来。不然直接下去就是一个有集团工作经验的最普通员工。四是现在在总部，虽然也事情多也心累，但是基本的休息还是可以保证，领导不会刻意卷。 但是理智上，我又开始有点担心这是不是一个机会：（1）据了解，现在集团年轻干部都往下属子公司走的趋势，因为我们属于市场化国企，业绩压力也比较大 ，现在集团领导更喜欢把集团人放到子公司，我怕现在不去，将来可能没有机会去下面了。（2）拒绝他可能会被记恨（他亲自来说了我拒绝了大概率被记恨）（3）以后可能很难晋升，我们晋升的路径一般是在总部一定时间获得一定的职级后（比如高级）可以择机安排到下属子公司做部门副职。据我对他的了解，拒绝意味着得罪了，以后是肯定不能去他那里了。（另外三个子集团，2个都不太行，另外一个子集团的领导也是他的阵营，所以意味着我晋升之路彻底断了 所以现在很痛苦的点在于，一方面我内心极度不愿意去，身体心理都觉得承受不住，另一方面我又很为我以后担心。 不知道该怎么办？如果可以找到更好的工作，真想马上走。