彼からの返事に戸惑っています

とりあえず返事があるまで待つしかないのでは？相手がそう言っているわけですから。
二つ返事がもらえなかった居心地の悪さ、モヤモヤする気持ちに耐えられないから、彼が不誠実な気持ちで言ったということと自己説得したいのかな？と勘繰ってしまいますけどね。
それで断られるぐらいなら、こっちから断ろうと。
あなたの想像は、そうかもしれないし、違うかもしれないんですね。つまり分からないんです。
そうかもしれないという邪推はできるんですけどね。
まあ、辛いとは思うのですが、断られることもあるなあという想定ぐらいはあってもいいと思いますが、断られたからといって、それは恥でもなんでもないので、モヤモヤを打ち消そうと、先走るようなことをお考えなら、そらは待てと思いますね。