募金は個人の善意の上に成り立つものです。
強制されることはもちろんありません。
というか募金に限らず、個人の資産の使い道を他人に強制する権利はどこにもありません。

ただの知人とは違い、職場の人間では無下にすることも出来ず辛いですね…。

私も余程のことが無い限り一切募金はしないのですが、これは最近募金詐欺が横行しており、きちんとした目的に使われるか分からないためです。
きちんとこれまでの募金額を明示し寄贈した証明をされている団体であれば、１円でも寄付します。

どうしても断り辛い場合は、１円だけ入れてみてはどうでしょう？
もしくは上記のようにこういうポリシーでしていません、というように何となくではなく、きちんと説明してはいかがでしょうか？