我爱上了一个有家庭的男人,他说我也是他最爱的人,但他有家庭,更放不下他的家庭,必须对家庭负责任,但又舍不下我。我真的想过放弃,但看见他难受,又放不下。但看见他夹在中间又很为难。我真的不知该怎么办了?心里好难受啊?