Die Burg entstand um ca. 1000 und diente dem Kreuzritter Heinrich von Ulmen als Hauptwohnsitz. Später wurden die Burgherren zu Ulmen zu Raubrittern. Ludwig XIV. zerstörte sie zweimal und beide Male wurde sie wieder errichtet.
Nachdem der letzte Burgherr im 19. Jahrhundert fortzog, verfiel das Gebäude und die Burg wurde als Steinbruch genutzt. Erst im 20. Jahrhundert wurde dem endgültig Einhalt geboten und die Reste der einstigen imposanten Festung restauriert.
Heute findet hier jedes Jahr am zweiten Wochenende im Juli ein Open-Air Festival statt, das viele Besucher anzieht.
Ganzjährig zugänglich.