怎么办？离开他吗？

一场愁梦酒醒时

我一直也没想到自己竞会有情人。他是一个帅气的男人，但也只是一时的好奇才在一起。当时没有往后想，他提出要做情人。只是感觉他还比较诚实，不矫情，也有点喜欢了。可是每次在一起都有很深的负疚感。怎么办啊？虽然喜欢他，但家庭对我来说是非常重要的。甚至希望他快快离开这个城市，他家不在这个城市，过几年会离开的。我怎么办？不再理他了吗?