碰到个知道我家住址的奇怪邻居没有安全感怎么办

上半年搬家到新环境，因为装修的原因认识了个邻居，上我家来了一次，是女的，说和我挺说得来的可以一起聚聚运动啥的就加了wx，结果wx上聊了两天，双方都提及了些个人情况，知道我家就我和我妈住后忽然要把她弟介绍给我，我委婉和直接多次拒绝后就不回她消息，我也默认双方不联系了。 结果今天莫名收到好友申请，是个男的通过女邻居推送的名片加的，通过IP判断应该就是她弟，现在我把她俩都拉黑删除了，但对方手机里还有聊天记录里面有我具体家庭地址。 现在我担心的是对方可以不告知我就让她弟加我，会不会也告诉我家地址上门来…虽然届时也可以报警啥的，但总觉得毛毛的有种不安全感。