相手のサイトがリンクフリーなら貼るも剥がすも自由ですよ。報告はしなくて構いませんし、全く失礼じゃありません。
相手のサイトがリンクフリーではないならメールで一言断れば大丈夫です。