我和他在一起三年,他和她老婆关系一直不好,当时我又特别喜欢他,他告诉我,他会离婚,叫我等他..就在这样的情况下,等了他三年,她老婆也希望离婚,可他不签字..我不知道什么原因,我不想等了,我想和他分手,但他不同意,还威胁我一直纠缠我..他又不离婚,我该怎么办?