こういう考え方も良くないですが、それだけ他人を攻撃している人なら、スレ主さんのいない所ではスレ主さんへの不平不満タラタラかも知れませんね。
世の中他人の悪口が趣味という人もいますし、そう簡単に治るようなものでもないと思います。他人の悪口を言う時と場所を選ぶ配慮すら無いなんて、どういう家庭に育ったのかな？と思います。
上の方たちがおっしゃるように改善できるようにアタックしてみて、それでもダメなら、同類にみられないうちに離れた方がいいと思いますよ。