我与一未婚男人发生了一段感情,现在不想再错下去想与他分手,可他知道我家地址还知道我老公的电话号码,老是拿这些来威胁我说如果我不和他好,他就会给我老公打电话吧这些都告诉我老公,让我的家庭破裂,为这事我都哭了好多回了,我现在该怎么办啊?谢谢那位能帮助我!