気になってる人を振ってしまった

気になっている人がいます。その人とは2ヶ月前位に出会って、ワンナイトをしてしまいました。でもその後も彼は何度かご飯に誘ってくれて(体の関係はありません)、5回目会った時に気持ちを伝えてくれました。私としてもとても優しい人だと思うので惹かれていたのですが、怖くて踏み出せず、振ってしまいました。
怖いと思っている理由は、元彼に浮気されたからだと思っています。元彼とは海外駐在を理由に振られたのですが、フタをあけたら浮気をしていて、私と別れた直後に浮気相手と結婚しました。
自分が信じていた直感や価値観が崩れて、周りも自分も信じられず、次の恋愛に進めないです。
何がアドバイスがあれば宜しくお願いします。