А объяснить свою позицию при отказе? Не пробовали?
Если человек неадекватно воспринимает - значит правильно его в друзья не добавили.