言い方は良くないかもしれませんが、｢ジャンルも合うし別にいい｣というお相手様の発言を逆に利用したらどうでしょうか。
例えば、他に相方希望の方がおり、そちらの方はジャンルが合うだけでなく私自身の性格を気に入ってくれたようで、私(トピ主様)だからこそ相方を組みたいと言って下さっているので、などです。
うまくお断りできるといいですね。