这样的诱惑，我该怎么办？

我现在遇到了一个问题，给大家说一下，大家不要拍砖啊。
我今年28岁，已经结婚了。去年初我的一个同学和我联系上了，这个同学从高中就开始追我，很痴情，也很热情，但是我不喜欢，拒绝了好几次他都没有放弃，后来随着毕业，我们都上了大学，他仍然是死追不放，其实有一段时间我都动心了，但是已经来不及了，他和一个我们高中同学好了，07年，他们结婚了。
去年得知了我的电话号码，我想着人家都结婚了，再说很久没有联系，应该也没啥，我们就联系起来了，有时候还QQ，没想到慢慢的他就透漏出暧昧的话语，说这几年心里忘不了我什么的，没想到他还大老远坐飞机过来看我，走的时候还流泪了。 他这样，我有时候会精神小出轨一下，不过没啥，我问他爱她老婆不，他说爱，但是更加爱我。因为我也有老公了，不想把事情弄的复杂，就说你放弃吧，我们不可能的，都成家了，你也有孩子了，我们要负责任。 但是他是个负责任的人，但是感情这东西是不可控制的，无法自拔。
呵呵，朋友们，我该怎么和他说啊，我说了不可能的，但是他老是说那样的话，一个人真的会同时喜欢两个人吗？