Au 85mm en DX, portrait tête-épaules, tu es à env. 2 mètres du sujet.
Ce n'est pas ce que j’appellerais "beaucoup de recul".
Au 50mm, et avec le même cadrage tête-épaules, tu es à environ 1,20m, ce qui peut être ressenti comme intrusif pour le modèle.
D'autre part, au 50mm et à une si courte distance, tu vois déjà apparaître des distorsions de perspective.
Edit : wufai, tu peux déjà vérifier sur la base de ton utilisation au 35-70, si tu es plutôt à 50mm ou plutôt à 70mm ; ou plutôt à 105mm.