Il s'adresse d'abord à un architecte neuchâtelois, Antoine Favre, qui élabore plusieurs projets de reconstruction sur le même emplacement. Ceux-ci ne contentent pas les propriétaires qui font finalement appel à l'architecte du roi Louis XIV, Jules Hardouin-Mansart, qui livre ses plans en 1694. Les travaux de construction seront exécutés sous la direction d'Antoine Favre, avec l'aide d'artisans neuchâtelois et terminés en 1696. Suivent les aménagements extérieurs, avec la création d'un jardin à la française formé d'une terrasse, de parterres agrémentés de bassins et de deux allées d'arbres. Au bas de la propriété, on utilise les eaux de la Venoge pour établir un vaste plan d'eau avec un jet d'eau placé dans l'axe de la demeure.

Le château reste aux mains de la famille de Chandieu jusqu'à la fin du XVIIIe siècle. En 1810 il est vendu à François-Louis Roulet de Neuchâtel, puis passe, par mariage, aux Cornaz de Montet-Cudrefin.

Le 20 janvier 1877, le château est vendu à la commune de L'Isle pour170'000Fr., qui le restaure afin d'y installer des classes d'école, deux logements et des locaux communaux. L'édifice est classé monument historique en 1941. Les restaurations récentes (1951-54, 19647 et 1987) lui donne son aspect actuel. La Commune de L'Isle doit une grande par de ses richesses aux forêts qu'elle possède. Peut-être même est-ce grâce au commerce du bois qu'elle put acquérir le château en 1876 puis le restaurer.

Architecture
Le château de L'Isle dessine un plan en U, entre cour et jardin, avec un corps de logis principal, où se situent les pièces de réception et les appartements des maîtres et les deux ailes renfermant les services (cuisine, office, chambres des domestiques) et les locaux secondaires (archives, bibliothèque, grenier) Quant aux communs, ils étaient disposés de part et d'autre d'une cour précédant, au nord, celle proprement dite du château.
Le bâtiment d'habitation, coiffé d'une toiture à la Mansard, offre deux façades principales, côté cour et côté jardin, avec un avant-corps central surmonté d'un fronton orné des armoiries du propriétaire. Le parement extérieur, exécuté en pierre de taille (molasse et calcaire), est agrémenté de tables rectangulaires et de refends. Les baies sont toutes de forme rectangulaire, sauf dans les avants-corps, où une décoration légèrement plus riche (impostes, clés saillantes, refends) met en valeur la partie centrale, comprenant l'entrée.
Le plan intérieur présente une composition régulière et symétrique, le vestibule et le salon formant l'axe de part et d'autre duquel sont disposés l'escalier, la salle à manger et les chambres é coucher et d'apparat. A noter que les deux salles donnant sur la façade sud étaient subdivisées en trois pièces à l'origine: la chambre proprement dite, le cabinet où l'on pouvait coucher un domestique et la garde-robe où l'on rangeait les habits.

Le mobilier d'origine a entièrement disparu, mais l'édifice a conservé un bel ensemble de boiseries, notamment dans le salon et la salle à manger, de toiles peintes et de cheminées, le tout dans le style de XVIIe siècle.

Jules Hardouin-Mansart
Né à Beauvais en 1646, Jules Hardouin-Mansart est le petit neveu de l'architecte François Mansart, chez qui il débute sa formation. Il se fait remarquer par Louis XIV qui lui commande un pavillon de chasse à St-Germain-en Laye. A partir de 1678, il dirige les travaux d'agrandissement du château de Versailles, dont il dessine les écuries, l'orangerie, le Grand Trianon et la Chapelle. En 1682 il est anobli et nommé Premier architecte du roi, puis reçoit le titre de comte de Sagonne et meurt en 1708 à Marly. A Paris, il a donné les plans des Invalides, de la place des Victoires, de la Place Vendôme, et en province on lui doit l'hôtel de ville de Lyon et la place des Etats de Dijon.

Anecdotes
L'épouse de Charles de Chandieu, Catherine de Gaudicher, de noblesse angevine, se serait exclamée en arrivant pour la première fois à L'Isle et en voyant l'ancienne demeure seigneuriale:"Ce n'est que ça?": Elle faillit tourner bride, ce qui décida son mari à faire reconstruire le château. Elle eut raison de rester: son ménage fut exemplaire. Elle récompensa son mari en lui donnant 11 enfants.

En aménageant le parc du château, Charles de Chandieu voulait aller jusqu'à la Venoge. Mais un chemin public, qui longeait la rivière, le gênait considérablement. Il obtint, "des nobles bourgeois dudit lieu de L'Isle", que le chemin passât de l'autre côté, et construisit le pont qui limite aujourd'hui la pièce d'eau à l'est. A l'autre extrémité de l'étang existait déjà un pont en dos d'âne qui fut démoli en 1902 et remplacé par le pont actuel.