L’histoire de ce lieu commence en 1196 en remplacement d’un édifice plus ancien dans le but de renforcer le système défensif de la ville sur la rive droite de la Seine et de protéger le pont situé juste à côté. Entre 1760 et 1765, il subit une restauration remarquable par sa qualité. Une fois la restauration terminée, le château est vendu à un entrepreneur en meunerie et l’édifice devient une minoterie. Le bâtiment est alors modifié et transformé pour notamment, pouvoir entreposer le blé. Ces transformations vont sérieusement dénaturer l’harmonie d’ensemble de l’édifice. Sous la Révolution, le château sert de prison puis de caserne de 1841 à 1849. En 1854, il est à nouveau acheté par un industriel qui va, à nouveau, apporter des modifications pour le transformer en tannerie. Durant la Seconde Guerre mondiale, il subit des destructions, d’abord en 1940 par les bombardements de la Luftwaffe qui détruisent la toiture puis en août 1944 par une bombe alliée qui réduit à néant la tourelle ouest qui sera reconstruite. D’autres travaux de reconstructions suivront en 1984 et 1997 et jusqu’à la fin de la campagne de restauration achevée en 2019.