Perso je suis allé faire de la rando avec mon reflex (D7100, plus lourd que D5500), avec un sac à dos déjà pas mal chargé, et mon appareil + 2 optiques pas les plus légères (nikon 18-140 et sigma 18-35, je sais c'est un peu stupide) dans un sac en bandoulière.
C'est forcément plus contraignant qu'un compact dans la poche mais franchement ça se fait bien.
Ma copine avait le sien dans un trek de plusieurs jours (D90 avec un 18-105) dans un sac bandoulière avec sac à dos ultra chargé, je l'ai pas entendu se plaindre (enfin, pas de l'appareil en tout cas
).
Un peu différent : trois semaines de moto à se prendre des grosses rincées, du chaud, du froid etc... avec nos deux reflex. Pas de problème, ils l'ont très bien vécu. Faut pas oublier qu'un des soucis des fabricants c'est la solidité de leur boîtiers, et que de nos jours ils font ça plutôt bien. Evidemment j'évite au maximum qu'il se prenne la flotte et met du dessicant dans la housse mais c'est pas trois gouttes qui vont le tuer. Ma copine a son D90 depuis des années, l'emporte partout et il fonctionne toujours aussi bien.
Par contre je te conseil la gamme au dessus du D5500 si c'est possible (D7100 ou D7200) pour une raison d'étanchéité supérieure et une meilleure résistance. J'ai eu le D5500 dans les mains, il est effectivement beaucoup plus léger mais semble aussi beaucoup moins solide (un retour d'un possesseur?).
Pour l'escalade je peux pas dire, je pratique pas.