先の方に確定のお返事はしてしまったのでしょうか？

もしすでにお願い＝約束したなら今回はその方を優先すべきかと思います。
どんな理由でも、先約していたのに会場で他の方とされているのを見るのは気持ちの良い事ではないでしょうし、現時点で約束を一方的に反故にできる程のマナー違反があるようにも見えません。(ご連絡〜の下りは前後の文にもよるので何とも言えませんが、翌日返信はまったく遅いと感じません。)

まだお願いしておらず、お互い自己紹介などしあっているような段階でしたら、ここは嘘も方便で穏便にお断りしましょう。

例えば『折角ご連絡頂いたにも関わらず大変申し訳ないのですが先にご連絡頂いた方に決まってしまいました。大変残念ですが機会がございましたら〜。また、会場でお会いしましたら是非〜。』と言う感じでしょうか。
またこれまでの断り方系スレもご参考になると思いますよ。


それでは何れにしても楽しい合わせになると良いですね！