On accédait à la haute cour par un châtelet d’entrée campé de deux autres tours. Le donjon principal monte encore sur trois niveaux. D’apparence tronconique, on sait que sa base présente un diamètre de onze mètres. Ses murs à ce niveau sont épais de plus de deux mètres. La porte ancienne est obturée, mais il reste quelques baies et même trois archères qui rappellent le caractère militaire des bâtiments. Un escalier intramural, comme à
Moriensart, relie le rez au premier niveau. Au-delà, l’escalier était en bois. Du côté des élévations, on remarquera qu’elles sont construites en grès ferrugineux et parfois on trouve du schiste. Du châtelet, on ne conserve que la base et le premier niveau d’une des tours rondes. L’entrée était jadis défendue par un pont-levis qui faisait face à un pont de bois comme le montre la gravure d’Harrewijn datant de la fin du XVIIe siècle (1696). Il ne reste du corps de logis qu’un soubassement bien peu épais. Enfin, un long bâtiment rectangulaire bordait un des fossés, mais il n’en reste presque rien sinon des pans de murs de ce qui était le logis des maîtres de céans. Il s’agissait des marquis de Berghes.
Au XIVe siècle, Walhain échut par mariage aux Looz, seigneurs d’Agimont. Jean III de Looz avait épousé Mathilde, dame de Walhain et de Hemricourt. En 1435, signale Jean Bataille, le domaine fut acheté par les Glymes, futurs marquis de Berghes et comtes de Walhain. L’héritière des Berghes, Marie-Marguerite de Merode, épousa en 1577 Jean de Witthem. Leurs deux filles aînées épousèrent deux frères, les comtes de Berg. La troisième fille, Ernestine, donna la main à Claude-François de Cusance, baron de Belvoir. Ils eurent cinq enfants (deux fils et trois filles) dont: Béatrice qui épousa d’abord le prince de Cantecroix puis Charles IV de Lorraine et sa sœur qui devint comtesse de Champlitte (Beersel). À cette époque, Walhain avait comme fief secondaire le château de Beaurieux à Court-Saint-Etienne dont on garde la ferme.
Francis Dugardyn nous apprend pour la suite que la comtesse de Marsan, décédée à Linz en 1803, « avait légué ce bien à sa nièce la princesse Armande-Victoire-Josèphe de Rohan-Soubise, épouse de Henri de Rohan, prince de Guéménée ».
« Maîtresse des enfans de France » à Versailles, résidant aux Tuileries dont le Louvre conserve le pavillon à son nom le long de la Seine vers le parc, la comtesse de Marsan tenait Walhain de son ascendance Witthem et non des terres
« flamandes » de son mari. Ce dernier les tenait de son aïeul Charles-Henri de Lorraine, comte de Vaudémont, fils du duc Charles IV et de Béatrice de Cusance. Charles les avait reçues en guise (forcément) de payement de la part du roi Philippe IV d’Espagne. On y trouvait Flobecq, Lessinnes, Ellezelles (300 hectares) et Ninove.
Dès 1804, l’héritière (Armande) se défaisait des ruines en faveur de la maison de commerce tournaisienne de Piat Lefebvre et fils, associés aux Boucher (Vieusart). Wauters signale pour sa part que Mme de Marsan vendit juste avant de rendre l’âme tous ses biens pour 2 millions de livres au sieur Lefebvre sauf son domaine de Grammont. En 1808, François-Joseph Lefebvre-Boucher était devenu seul propriétaire de Walhain. Sa fille allait épouser un sieur Crombez, de Tournai. À leur suite, vinrent de multiples proriétaires jusqu’au fermier de Walhain, M. Hautbruge. En 1989, les actuels propriétaires lui achetèrent le domaine. Depuis 1998, l’Université Catholique de Louvain et l’Université de l’Illinois à Chicago (USA) fouillent le site. La haute cour a été partiellement dégagée en cet été 2005 pour la première fois. On y a découvert les bases de deux édifices. De plus, il est désormais avéré que les terres ont été apportées pour ériger sur un lieu stable le futur château posé sur des marais.
Visites parfois autorisées. Les ruines se voient de la route. Les ruines sont à plaire.