私服に一々文句つけてくる人(見知らぬ人ならなおさら)は、単に他人を叩いてストレス発散して気分よくなりたいだけですから、全く気にする必要はないですよ。(最近のコス界は、他人を叩いて優越感に浸りたがる人が本当に増えました…)
着ていたものがメンズだから言われたのでしょうが、誰がどんなアイテムを使用してもそれはその人の自由です。規則違反や非常識な服装をしていない限り、あなたには何の非もありませんよ。