Vous avez de bonnes raisons pour le faire, il faut donc le faire, d’une façon professionnelle et réfléchie. Sans paraître trop détaché, comme n’étant pas concerné, sans réagir trop fort, sans agressivité surtout, et sans crainte non plus.

Vous devez vous montrer calme, correct et aimable.
Votre interlocuteur peut comprendre votre refus, même s’il n’est pas satisfait de votre réponse.

Il faut justifier ce non. Vous développerez votre réponse. Vous aimeriez bien répondre favorablement, mais cela n’est pas possible. Si vous le pouvez, vous proposez une autre solution avant de décliner celle de votre interlocuteur.

Montrez que vous comprenez la réaction de votre interlocuteur face à votre refus. Expliquez que vous ne pouvez pas faire mieux.

Ne vous précipitez pas et soyez patient. Il faut plus de temps pour dire non que pour dire oui.
Ne vous confondez pas pour autant en excuses. Simplement, dites que vous êtes désolé, ne mentez pas, ne cherchez pas de prétexte.

Ne cédez pas à la pression, soyez objectif,  insistez sur ce que vous pouvez faire, puis redites ce que vous ne pouvez pas faire. Montrez que vous n’êtes pas « l’ennemi » de votre interlocuteur, mais que vous êtes du même côté que lui. Utilisez le « nous »  de préférence au « vous » et au « je » dès que possible.