想像の域ですが、相手の方は、単に不要になったから、こじつけでキャンセルをしているのではないでしょうか。
相手の方は恐らく104に電話をして調べたのだと思いますが、届出がない場合は登録されていない、と応対されることをご存じなかった、とか…。
気になるのでしたら、ご自分で104に電話して、自宅の電話番号が届けを出しているかどうか、本当に相手の方の言い分が正しいのかを一度確認してみるのも良いと思います。

高額お取引の場合、家電や携帯から買い手の方の携帯にワンギリＯＫ、と伝えると、不安要素も減ると思います。