私もよくアニメ声と言われます。
でも、一度も不快な思いはしたことはありません。
私は接客業が好きで、レストランのウェイトレスなどたくさんやりました。
ミスをおこしてしまい、謝る事もたくさんありましたが、一度も声の事でお客さまや周りの方にバカにされるような事はありませんでした。
逆に、カワイイ声だね。とか、癒し系の声がいい。とか、みなさんとても誉めてくれます。
でも、スレ主様のような体験を聞くとやはり心が痛みます。
人間それぞれだから、考え方も違えば声のとらえかたも違うので、中には不快に思う方も居て当然だと思います。
スレ主さん、くじけずに自分だけの声を大切にしていってくださいね。
声も一つの個性ですから。