C'est surtout car je lorgne aussi sur le 70-200 f/4 et qu'on me rétorque souvent que f/4, ça ne suffit pas pour les portraits.
Tout dépend du cadrage envisagé.
Sur un cadrage serré, f/4 est souvent un minimum en deça duquel on aura du mal à aller. Pour avoir un visage net, on préférera même souvent f/5.6 voire f/8 si le plan est très serré. Comme les longues focales sont souvent utilisées pour réaliser des plans serrés (en évitant de se tenir trop près du modèle), on aura souvent assez d'ouverture à f/4. Maintenant, les très grandes ouvertures permettent aussi d'obtenir une douceur intéressante avec un passage progressif du net au flou, et si le portrait est pris de face, cela donne de joies choses (mais on aime ou on aime pas, ça ne se discute pas).
En revanche, sur un plan plus large comme un portrait en pied ou un plan américain, il sera souvent intéressant de pouvoir ouvrir à f/2.8 ou même f/1.8 pour obtenir un arrière-plan flou.
Deux exemples : le premier serré (f/2.5), si j'avais voulu avoir tout net comme tu aimes, on voit bien qu'il aurait fallu fermer beaucoup plus (au minimum f/5.6). Donc pour cette utilisation, un zoom ouvrant à f/4 sera largement suffisant pour toi qui veut avoir le visage entièrement net.
Le second cadrage est beaucoup plus large et on s'aperçoit que la très grande ouverture (f/1.4) convient bien. Ici, une optique fermée à f/4 ne m'aurait pas permis d'obtenir ce que je voulais : détacher la personne sur un fond flou. et cette photo aurait été nettement moins bonne.
Donc on ne peut pas affirmer de manière générale que f/4 "ne suffit pas", tout dépend des cadrages envisagés !