Von 1959 bis 1972 war das Dorfmuseum Holzburg von Pfarrer Heinz Metz geleitet worden und befand sich in der Trägerschaft der Pfarrgemeinde. 1972 übergab Heinz Metz den gesammelten Bestand in die Obhut des Schwälmer Heimatbundes.

Von 1972 bis 2008 war der Schwälmer Heimatbund Träger des Museums. Ehrenamtliche Leiter führten vor Ort das Museum: ab 1977 Hildegard Falk, dann Andreas Diehl, Herbert Stein und von 2004 bis 2010 Günther Schaub. Er veranlasste die Renovierung der Innenräume in der Pfarrscheune. Von 2010 bis 2016 war Dr. Anton Merk Museumsleiter, seit 2017 ist Heidrun Merk M.A. Museumsleiterin.

2008 konstituierte sich der Verein Schwälmer Dorfmuseum Holzburg. Erster Vorsitzender ist Klaus Hahn. Der Schwälmer Heimatbund übereignete die Sammlungen dem neuen Museumsverein, der von da an die Trägerschaft des Museums innehat.

In den letzten  Jahren hat das Schwälmer Dorfmuseum einen großen Aufschwung erlebt. 2008 konntees wesentlich erweitert werden. Durch die Schenkung des ehemaligen Gasthofes Wahl an die Gemeinde Schrecksbach war es dem Verein möglich ein neues Gebäude zu nutzen, das ihm von der Gemeinde überlassen wurde. Damit konnten vier neue Ausstellungsräume, Räume für Depot und Verwaltung und vor allem ein gemütliches Museumscafé, eine urige Gaststube und eine funktionierende Backstube dazu gewonnen werden.

Das Schwälmer Dorfmuseum Holzburg ist heute eine Museumsanlage bestehend aus drei Häusern im Bereich des Alten Pfarrhofes Holzburg und des Unterdorfes. Es ist aufgrund seiner Größe und der Qualität seiner Sammlungen ein Regionalmuseum für die Kultur der Schwalm.