Situé au centre du chef-lieu, c'est le plus ancien château de la commune de Perloz qui date vraisemblablement du XIIème siècle selon un document de 1195 évoquant une "salle domaines" à Perloz.
De nos jours encore, on l'appelle l' "Ohtal" (du latin "hospitalis" et du vieux français "ostel"), c'est-à-dire une demeure fonctionnelle dotée de tous les services.
La construction est imposante avec cinq étages et ses dimensions avaient certainement une signification politique : le caractère imposant de la maison forte se devait d'attirer le regard de tous ceux qui remontaient la vallée du Lys pour prouver la puissance de la famille Vallaise. Une série de fenêtres jumelées, de fenêtres trilobées, en demi-cercle et à meneaux, bordées de pierre grise. Elle était dotée d'un puits où l'on pouvait puiser de l'eau fraîche.
On peut encore voir deux cheminées monumentales : l'une d'elles est décorée des armoiries des Vallaise, sculptées dans la pierre grise. Le château a été incendié au cours du "nettoyage" fasciste du 30 juin 1944 : le toit a été refait, mais il a été impossible de refaire les deux étages de lambris.