非常に難しい問題だと思いますが、逆に『言わない方が良い』と思われる方は、身近に男性の女装レイヤーが居ないから、安直に言えるんだと思うのですね。
私自身男性ですが、もし身内に女装レイヤーがいて、明らかに似合わなかったら、流石に注意します。
仮に物凄く似合っていても、イベントの主催自体が女装禁止の所が有るので、男性の女装は比較的偏見される旨をやんわりと言います。

個人的な意見となりますが、私自身は、スレ主様が、その男性としっかりとした友達なら、きっちりと注意(しかしながら注意の仕方は気を付けて)するべきだと思いますし、単なる『知り合い』レベルなら、皆様の言う通り無視をした方が良いのでは無いでしょうか？
確かに、『似合わない』って言われたら、落ち込むのは解りますから、先程書いた『女装は偏見を持たれる』『本当に申し訳無いけど、女装よりは●●の方が似合う！』や言い方で注意すると如何でしょうか？
あくまでも、個人的な意見で申し訳有りません。