Se dice que la primera torre de este castillo fue construida durante los siglos IX o X por un miembro de la nobleza que buscaba protección contra los ataques normandos. Los señores de Harze añadieron más tarde a esa torre inicial, convirtiéndola en un castillo en toda regla. En el siglo XVII, el castillo fue reestructurado tal y como se conserva en la actualidad.