お相手様に通じるかわかりませんが...
何度も誘って来るようなら、最近忙しくてあまり頻繁には合わせ出来そうにない、イベントでも自分はゆっくり行動する方で、この前もそうだったがペースに合わせられなくて迷惑をかけてしまうと思う。
考え方が違うとお互い楽しめないし申し訳ないから、あなたとは相方にならない方がいい。と言ってみるのはどうでしょうか。
反論されたらまず謝ってしまうのがいいかと思います。
コス友程度なら構わないのでしたら、もしイベントで会った時は写真を撮らせて欲しいとか、仲良くしたいと言えると思います。

難しいですが、嘘を追及されると大変なので「合わない」から「相方にはなれない」という点をはっきり伝えるのが後々いいかもしれません。