L’environnement direct du Château a été véritablement « façonné » lors de sa construction : sauvage et encaissé, côté nord, où s'entend presque toute l'année une cascade, construite en même temps que le château, et alimentée par le ruisseau du Malbuisson. Vers le Sud, le Château offre une vue magnifique, le relief environnant dessinant un véritable amphithéâtre naturel.

​

Contrairement au château fortifié, construit au XIIème siècle, qui avait brûlé et qu'il a remplacé, le château de la Rivoire a de grandes pièces et de grands volumes intérieurs. Les pièces de vie ouvertes sur le Sud offrent une grande luminosité. De la grande salle de compagnie, on voit aussi bien la cascade au nord que la grande terrasse qui surplombe l'orangerie, le jardin et la campagne environnante.

​

Les prairies qui entourent le château sont protégées : elles offrent une diversité florale sauvage extrêmement belle au printemps.

​

Au Sud, le Château de La Rivoire offre une vue imprenable sur le magnifique hameau de Pouillas (Vanosc), et ses maisons en pierre de taille. À l’horizon, les monts du Vivarais et le mont Feletin.