我29岁没结婚,父母给我在城里买了一套房,但不经常住一直空着,我和弟弟父母都住在老家。去年冬天我交了个28岁的女朋友,经常在我那套房子约会,可是我22岁的弟弟放假后回来不知道怎么弄到了我女朋友的手机号和QQ号偷偷加上了,没有跟我说。有一次去城里参加喜事,我妈和我弟弟先到了,我弟弟就给我女朋友打电话说让她出来想见见她,我女朋友说上午没空等下午。等我到了后在宴席上我弟弟跟我说他想见见我女朋友,我说没必要。我吃完后先走了,到了下午我弟弟向我妈要了我房子的钥匙去了我房子,然后约我女朋友在我房里见了一面,就他们两人。过了几天我约女朋友的时候她才和我说的,说我弟弟对她说让她多包容我之类的话。他们未经我同意就私自在我房子约会,完全没把我放在眼里,我一直没多想这件事,现在越想越憋屈,请问我该怎么办啊?