それは本当に気にしすぎだと思います。
よく冗談で「おっ！今日の服●●っぽいね！コスに使ったら？」といった感じで友達に言ったりしますし。(もちろんそのままではまったく使えないような恰好ですが)
何も「その私服は●●のコスのつもり？」という意味で言っているわけではなく、ただの会話の一環です。
コスをしない同人だけの方々でも言っていたりするので、特にレイヤー独特の会話でもないですし、オタにはよくある会話です。
スレ主様も笑って会話に乗る位でよいと思いますよ。