私はあまり人数の多い合わせや数あつめだけの合わせが好きではないので合わせの申し出をお断りすることがあります。

その際には
『○○さんと二人で行く約束なので。』
『今回は○○というコンセプトの合わせだから今回はごめんなさい』
『まったりしたいので人数をあまり増やしたくない。また今度ゆっくり合わせて欲しい』
などと理由を伝えています。

スレ主様がどのような理由でその方を合わせに参加させたくないのかわかりませんが、納得できる理由と共に『今回は無理だからごめんね』とどうしても参加できないのだと伝えた方が(言い方は悪いですが)しつこく食い下がられずいいかと思います。