Cette chapelle demeure toujours un lieu de pèlerinage mais pour des raisons biens différentes. À l’origine, les gens venaient autour de la chapelle nouer les branches de houx ou de noisetiers pour guérir du rachitisme, une maladie touchant les os. Si le nœud était toujours existant un an après, cela signait l’accomplissement de la demande. 
Depuis, les arbres de la chapelle font toujours l’objet de pèlerinage mais pour les amoureux qui y viennent toujours nouer les petites branches. Si le nœud tient, leur amour durera toujours.

Avant même que s’élève aujourd’hui le grand phare, on raconte qu’un sapin était disposé de telle manière que, vu de la Seine, il semblait d’un côté appeler le marin à lui ; et de l’autre, lui indiquer la route à suivre sur le fleuve. Le feuillage figurait un chapeau de marin couronnant une forte tête.
On l’appelait dans le pays l’homme de bois. Pour les pilotes de la Seine c’était un amer, un point de repère et l’état accordait même une somme spéciale pour son entretien. À cet arbre s’attache une histoire touchante liée au récit d’une vie de dévouement et d’abnégation.
Il y a bien longtemps, le lit de la Seine vacillait d’un bord à l’autre, les navigateurs ne savaient plus quelle route suivre pour se tenir au milieu du chenal et éviter les bancs de sable souvent acteurs de plusieurs sinistres, dans lesquels les bateaux s’engageaient et périssaient corps et biens.
Un jour, à l’heure de la marée, un homme, au teint bronzé, au front sillonné de rides, à la chevelure grisonnante et vêtu du costume de marin, se tenait sur le point le plus avancé de la falaise, suivant d’un regard anxieux les mouvements d’un bateau qui, voiles déployées, semblait vouloir, mais en vain, luttait contre un obstacle invisible du marin. Lui même ancien pilote de Seine, il pensait à ce jour où le fleuve avait faillit emporter son fils, lui aussi marin.
- "Mon Dieu" s’écria-t-il. "Mon Dieu, en reconnaissance de votre divine protection, en échange de la vie de mon fils que votre inépuisable bonté a bien voulu protéger des flots, je veux désormais être le guide du marin sur ce fleuve perfide, lui indiquer les écueils à éviter, la route à suivre. Je vous promets de consacrer le reste de mes jours à ce saint labeur".
Le vieux pilote tint parole, il allait au devant des navires et leur indiquait la route à suivre, souvent même il prenait le commandement et dirigeait les matelots. Lorsque, affaibli par l’âge, il ne put continuer à exercer sa pieuse mission, il ne voulut pas manquer à la promesse faite à Dieu. Il continua chaque jour à se rendre dès l’aube sur un monticule des bords de Seine, et de ce poste élevé, joignant la parole au geste, il continuait à remplir le saint engagement qu’il avait contracté.
Avec le temps, la vieillesse devenait de plus en plus lourde pour le digne pilote ; ses capacités qui diminuaient chaque jour, le faisaient songer à sa fin prochaine. Mais il ne craignait pas la mort, il avait toujours craint et honoré Dieu, c’était pour lui l’heure. Il songea à ces hommes pour lesquels son existence était si précieuse, à ces âmes qu’il guidait au milieu des obstacles et du danger. Il se prit à regretter le bien qui lui restait à faire.
Il pria Dieu de lui venir en aide ; et Dieu, ne fut pas sourd à sa voix. Tout à coup, le vieux bâton desséché sur lequel le vieillard s’appuyait d’ordinaire, s’attache au sol, grandit subitement, se couvre de feuillage ; et l’arbre, peu à peu, prend la forme du vieux marin ; sa taille légèrement voûtée, sa grosse tête disparaissant sous son chapeau à larges bords. Une des branches principales semble s’étendre comme un long bras pour indiquer un point éloigné ; une autre est presque attachée au tronc et semble engager à se rapprocher ; c’est dans cette posture que se tenait le vieux pilote lorsqu’il donnait des signaux aux navires.
Avant de mourir, il a pu être témoin de ce prodige. Immobile, palpitant d’émotion, il murmura une dernière prière de remerciement au Seigneur. Peu à peu, les mots qu’il prononçait devinrent moins distincts, ses yeux se fermaient ; puis le dernier souffle s’exhala de ses lèvres.
Les marins reconnaissants ont donné à l’arbre le nom sous lequel il désignait leur ancien camarade, il se rappelle du bonhomme des bords de Seine, et bien des fois en apercevant le nouvel amer, leurs poitrines se sont oppressées, et des larmes sont venues mouiller leurs paupières.
Plus tard, on construisit un magnifique phare, mais le souvenir du vieux pilote restera longtemps gravé dans l’esprit des habitants du pays et des marins de Seine.