De 1100 à 1348, le manoir était entre les mains d'un monastère normand dont l'huissier ou locataire occupé probablement la maison. En 1440, le manoir est devenu officiellement un «manoir», qui appartenait à la famille Woodville, période pendant laquelle le village était connu comme Grafton Woodville. Le manoir a été le berceau d'Elizabeth Woodville, reine consort du roi Edouard IV.