ただ単に聞き流せばいいと思いますよ。この人はこう捕らえてるんだな〜くらいに流さないと、苛々しっぱなしになるだけです。

あるいは正直に、そういう考え方は苦手だからと伝えたらいいかと。多分あなたが何も言わないから、相手も捕らえ方も同種なんだと思い込んでるんでしょうし。
一つ注意すべきは「ありえない」という事は言わない事です。それは相手の思考を全否定する事になり、確実に関係にヒビが入ります。同人は好き勝手思考なものなので、それを否定したら相手もあなたのその部分を否定してきたりで、互いに苛々する事になりますので。