そういう男性は、黙っている＝イエスと捉えます。何かあった時拒んでも照れているとか、母を気にして遠慮していると考えて絶対止めません。
まだ彼氏の段階ですから、父親になるという自覚もなく貴方を異性として見て、あわよくば母から若い娘の方に乗り換えようと考えているのかもしれません。

必ず周りに相談し、当事者のお母様にも報告してください。それによってお母様が嫉妬してどうしようもない状態になりそうなら、家を出た方が良いでしょう。貴方に彼氏がいるなら、彼氏には逐一相談した方が良いです。同棲出来れば、母の彼氏が貴方の住まいに来る事もないでしょう。

それにしても…本当にお母様を愛しているのか、疑わしい方ですね。