Sur les bords de l’Yonne, aux limites de la commune de Pazy se dresse le château de La Chaise. Au bout d’une allée de frênes, on franchit le haut portail en fer forgé orné d’un majestueux P. Au milieu d’un vaste parc, le château nous fait face.
La maison forte aurait été construite au début du XVème siècle par le seigneur Guillaume Dufour. Elle comprend notamment la chambre du roi et de la reine, à tenir disponible en cas de visite des souverains.
La partie centrale date du XVIème siècle. Elle porte la marque du Moyen-Age, avec ses fenêtres et sa porte d’entrée surmontée d’un assommoir, pour jeter des projectiles sur d’éventuels intrus.
Le château, jusque là passé de famille en famille par le jeu des mariages et des descendances, est vendu à Pagan de Pagany au début du XVIIème siècle. Il restera dans cette famille jusqu’en 1851 à la mort de Claude de Pagany. Ce condisciple de Bonaparte à l’Ecole Militaire de Brienne a notamment été maire de Pazy de 1829 et 1831. Le château a été fortement agrandit sur la droite.