La commune d'Esnes se situait jusqu'en 1678 sur le tracé de la frontière entre la France et l'Empire Germanique, ce qui explique la présence d'un tel château fort.
De la forteresse médiévale, il reste une tour crénelée, la base de trois tours et une partie du chemin de ronde.
De la demeure seigneuriale des comtes de Beaufremetz, du XVIIème siècle, il subsiste des dépendances et surtout le logement principal, avec sa façade de briques et de pierres ornée de blasons.
Le château est occupé par les Autrichiens en 1793 puis il est transformé en exploitation agricole au XIXème siècle.
Il est classé Monument Historique en 1971.
A voir à proximité : la grange dîmière (XVIIème siècle); le quartiche (abritant des sépultures de l'époque mérovingienne); ou encore l'église Saint-Pierre du XVIème siècle.




