遠征する側ですが併せを断りたいです

類似の投稿がなかった為質問させていただきます。

私は関西在住なのですが、Twitterで以前から仲良くしていた関東の友人と、今度2人で併せをしようということになりました。
最初は向こうが「日が決まったら速攻バス予約する！」と言っていたのですが、「私が行くよ〜！」と言ったら、何の話し合いもなく「オッケー！」という返事が帰ってきたので、すぐ私が東京へ行くことになりました。
この時点では「意外とあっさり決まったな〜」としか思ってなかったのですが、詳細を決めていくうちに向こうが「1回会うだけじゃ足りないから次は真ん中の名古屋辺りでもいいよね！」と言いだしました。

私はまだコス活動を始めたばかりなので、遠征をする場合はどちらかがよく知る土地で会うものなのかなと思っていました。
なので今回も東京か関西しか選択肢がないと思っていました。
え？じゃあなんで今回は名古屋じゃないの？と思ったのですが、まぁ久しぶりに東京行けるしいっか、とこの時点ではあまり気にしていませんでした。

実は、2月頃に「5月に会おうね」と言った後、私の方から仕事の予定が決まり次第連絡することになっていたのですが、私の仕事の勤務日がなかなか決まらずずっと連絡していない状態でした。(シフト制なのですが、GW期間全く出勤できない人が同じ部署に2人もいて調整が大変だった)。
そして4月初めに向こうが「結局私いつ休みとればいいんだろ〜」とTwitterで呟いていたのを見て、「私のことかもしれない！」と思い、まだ日程は決められない状態だったのですがとりあえず連絡しました。聞いてみると私のことじゃなかったそうなのですが、事情も話さず連絡もないままで申し訳なかったと反省しました。
そして、それから私がなんとか勤務日を調整して日程を決めた、という経緯があったので、この時点で私が向こうに迷惑をかけていることになります。

しかし、私が新幹線の時間を調べて、段取りを決めようと連絡をしていたのですが、向こうの返事がやたらとスローペースなんです。
忙しいのかなと思ったのですが、Twitterでやたら呟いたりタグをしたり、他の共通フォロワーさんと他愛もない話をしたりしているのを見かけるので、忙しくて携帯を触れないとかではないと思われます。
まだ時間もあるし、考えて返事するのがめんどくさい時もあるよな〜と思ってあまり気にしないことにしたのですが、
数日返事が帰ってこなかったときに「併せ当日はすごく楽しいけどそれまでの準備がめんどくさい」という呟きを見たとき、確実ではないのですが私のことかな？と思いました。

向こうも私も休みを調整して会うので
お互い楽しみにしていると思っていたのですが、
返事がスローペースな上に
テンションは高いけど話を進める気が伺えない(私の言ってることを繰り返すだけで具体的な案は全く言ってこない)ので、
本当は乗り気じゃないのかな？と思うようになりました。
向こうからしたら地元で会うのと変わらないかもしれないけど、私にとって遠征は一大事なので、もう少しきちんと話をしてくれてもいいんじゃないのかと思います。(事情があったとはいえギリギリまで連絡できなかった私も悪いのですが…)

新幹線も予約し、念の為次の日も休みを取っていますが、向こうのいい加減な態度を見ていると正直行きたくありません。
遠征する身ですが、向こうも自分と会うためにシフトを調整してくれていると思うと断りにくいです。
こういう場合に私から併せを断るのは非常識でしょうか。
ご意見を聞かせていただければ幸いです。