Alors qu'il était à la chasse, un gentilhomme fut brutalement surpris par un sanglier. Le cheval, apeuré, s'emballa, renversa le cavalier et le traîna alors qu'il avait le pied coincé dans l'étrier. Il promit de construire une chapelle à la Vierge si il sortait sain et sauf de cet accident. Le pied se détacha aussitôt de l'étrier. Quelques temps plus tard, la chapelle s'élevait.
Le château serait le lieu d’une célèbre légende du Cotentin. On raconte que, assiégé par les Normands, le Seigneur du château demanda, pour échapper aux assaillants, de l’aide à l’enchanteur du village pour lui et sa famille.
Celui-ci les métamorphosa en oies à l’aide d’une formule inscrite dans un grimoire. Ils seront ainsi sauvés alors que les Normands incendient le château.
Un an plus tard les oies reviennent au château et retournent voir l’enchanteur pour lire la formule magique à l’envers et retrouver forme humaine mais le grimoire a brûlé dans l’incendie. On raconte que c’est depuis cette mésaventure que la migration des oies sauvages a lieu tous les ans au mois de mars dans le Cotentin.