Les érudits et les textes rapportent les hauts faits des familles qui ont été propriétaires du domaine de Clères. Il semble que des personnages célèbres y aient séjourné. Si pour Jeanne d’Arc aucun document ne le confirme, Henri IV quant à lui fait allusion à sa présence sur place en 1590, ou à proximité, dans plusieurs correspondances. Dans ces récits, les hauts faits des uns et des autres ne semblent cependant laisser aucune place aux descriptions des châteaux ou du site. On a cependant quelques idées des jardins par des baux du XVIIIe siècle. Le premier plan connu date du début du XIXe siècle. C’est le plan cadastral de 1826. On y retrouve la motte féodale, avec la trace de l’ancien château, et l’ensemble des bâtiments existants, organisés autour d’une cour presque carrée

On a la confirmation de cette disposition par un cahier manuscrit existant dans le chartrier du domaine de Clères intitulé « Considérations générales sur le domaine de Clères ». Il a été rédigé en octobre 1837 lorsque la famille de Béarn prend possession de la propriété. On y apprend que le château est au centre d’un domaine de 1020 hectares. Il s’étend alors sur neuf communes, outre celle de Clères : le Bocasse, Grugny, la Houssaye, Varneville, Bretteville, Frichemesnil, les Authieux-Ratiéville, Sévis et Bellencombre. Le domaine de Clères est alors jugé comme le plus considérable des environs. Un plan situant ces possessions accompagne le document.

Lorsque la famille de Béarn prend possession du domaine en 1837, est dressé un état des lieux général, accompagné d’un dessin représentant très précisément les bâtiments disposés autour d’une cour carrée. Leur situation est semblable à celle de nos jours. À côté du quadrilatère des bâtiments se dressent encore les vestiges du premier château détruit, dont la taille était vraisemblablement identique à celle du château d’Arques la Bataille.
Les transformations de l’ensemble ne commencent qu’avec le comte Louis Hector de Béarn, en 1864. En l’absence de document plus précis, on peut supposer que les bâtiments à usage agricole, partie en « L », sont démolis avant les travaux au château Renaissance et que le fossé, qui les entoure, est comblé pour le tracé du parc. L’ensemble des bâtiments est restauré sous la direction d’Henri Parent, architecte parisien.

Une rénovation générale du château Renaissance est entreprise, tant extérieure qu’intérieure. Pour l’intérieur, on y installe toutes les installations modernes nécessaires à l’époque : salles de bains, calorifères, distribution d’eau à tous les étages. L’ensemble des aménagements et leur décoration ont disparu avec l’incendie de 1939.

L’extérieur est largement repris par le sculpteur Jean-Baptiste Foucher. Il dote en particulier la porte de l’escalier sur la cour intérieure d’un décor dans le goût de l’époque : un tympan surmonte un auvent où se détache en haut-relief une tête de portier. Ce rajout a été détruit par Jean Delacour à qui il ne convenait pas.