Les deux sont très bons et il s'agit juste d'une question de cadrage.
Si tu as un zoom sous la main, teste la focale avec laquelle tu es le plus à l'aise pour les cadrages que tu aimes. Portrait, ça ne veut rien dire car ça couvre du portrait serré (visage) au portrait en pied. On ne choisit pas forcément la même focale pour les deux.
Pour du serré, le 50 mm sera court et tu devras te tenir très proche de ton sujet.
Pour du portrait en pide, le 85 sera long et du devras avoir beaucoup de recul.
Donc tout dépend de ton usage.
Après, même si tu dis que la MAP manuelle ne te dérange pas, tu verras que le 85 à f/1.4 ou f/1.8, c'est une vraie plaie à utiliser en manuel. Pas un hasard si on trouve régulièrement des Samyang tous neufs à vendre d'occas
Le nikon 85 f/1.8 est une vrai bombe pour pas plus cher (ou presque) et au moins tu as l'AF. Maintenant, peut-être que tu ne travailles pas à très grande ouverture et qu'une mise au point approximative suffit ...