Ähnlich wie die Steinbergs zu Wispenstein hatten sich auch andere Ritter des Stifts große Besitzungen gesammelt. Aber, was auf der einen Seite zukam, fehlte auf der anderen: Der Landesherr, der Bischof, verlor bei dem Handel. Und da zeigte sich die Kehrseite der weisen Verordnung Ottos des Großen, der vor 600 Jahren geistlichen Herren weltliche Besitzungen übertragen hatte. Was vorher die Herzöge und Gaugrafen zuviel für die eigene Dynastie gesorgt hatten, nahmen die Bischöfe, die keine Familienerben besaßen, allzu sehr auf die leichte Schulter. Sie lebten herrlich und in Freuden, verpfändeten ihre besten Schlösser Stück für Stück an den reichen Stiftsadel, kamen aber trotzdem immer mehr in Geldverlegenheit. Schließlich, als Johann von Lauenburg zu Beginn des 16. Jahrhunderts Bischof von Hildesheim wurde, hatte die Schuldenlast der Diözese hoffnungslose Ausmaße angenommen. Johann IV. entschloss sich zu drastischen Sparmaßnahmen, erregte damit aber den Unwillen der verwöhnten Stiftsjunker, die sich zum größten Teil von ihrem abgewirtschafteten Landesherrn ab- und dem jungen, tatkräftigen Herzog Heinrich dem Jüngeren von Wolfenbüttel zuwandten. Der Welfe sah das nicht ungern denn das Bistum inmitten der welfischen Herzogtümer war ihm ein steter Dorn im Auge. Wie er dachte auch sein Oheim, der Herzog von Calenberg, während ihr Vetter von Celle-Lüneburg aus persönlicher Sympathie auf die Seite des bedrängten Bischofs trat. Bald vertieften sich die Gegensätze, und schon 1517 war ganz Nordwestdeutschland in zwei Lager gespalten. 

Die Steinbergs, als mächtigste Familie im Stift, standen in verschiedenen Lagern. Der Bodenburger Schlossherr, Konrad, machte als Sprecher der unzufriedenen Ritterschaft von sich reden, während Hans von Steinberg aus der Almstedter Linie als Bannerherr des Bischofs hervortrat. 

Wie Siegfried von Steinberg auf Wispenstein sich verhielt, ist nicht mehr bekannt. Vielleicht hielt er sich aus Sorge um seine großen Güter - sein Bruder Hilmar war 1514 in Italien umgekommen - ganz au dem Streit heraus, der 1519 zum offenen Kriege führte und als "Hildesheimische Stiftsfehde" in die Geschichte eingegangen ist. Da die Entwicklung dieses Krieges aber auch für Wispenstein bedeutungsvoll wurde, wollen wir Verlauf und Ausgang kurz verfolgen: 

Zwei Jahre hindurch zogen beide Heere belagernd und brennend in Stiftsgebiet umher, bis es 1519, am 28. Juni, in der Heide bei Soltau zu einer großen Schlacht kam. Der Bischof und der Herzog von Lüneburg-Celle gewannen sie. Doch am gleichen Tage war etwas anderes geschehen das den Streit gerade für die Verlierer entschied: In Frankreich war Karl V. von Habsburg, der Freund und Gönner des Wolfenbüttler Herzogs, zum deutschen Kaiser gewählt worden. Er trat sofort offen gegen Bischof Johann IV. und seine Bundesgenossen auf. Da wurde es letzteren um ihre eigenen Besitztümer bange, und sie fielen einer nach dem anderen von Johann ab. Schließlich musste dieser sich in einem Vertrag der 1523 zu Quedlinburg geschlossen wurde, bequemen, sein ganzes Bistum, mit Ausnahme der Stadt Hildesheim selbst und der frei umliegenden Ämter Steuerwald, Peine und Marienburg, an die Gegner abzutreten. Den Rest teilten sich Erich von Calenberg und Heinrich der Jüngere von Wolfenbüttel. Dabei fiel das Gebiet um Alfeld mit Wispenstein an das Herzogtum Braunschweig-Wolfenbüttel. 

In wieweit Wispenstein von der Stiftsfehde sonst berührt wurde, ist nicht bekannt. Lediglich eine Urkunde gibt darüber Auskunft, dass am 29. November 1522 Banden aus Greene in das Gericht Wispenstein einbrachen, den Landknick zerstörten und den Wassergraben um das Herrenhaus "dämpften". Welchen Schaden sie anrichteten, wissen wir nicht. 

Herzog Heinrich, der neue Landesherr, war nicht nur ein unruhiger Geist und Kriegsmann, sondern auch erzkatholisch gesinnt. Gegen das Luthertum, das sich in der ersten Hälfte des Jahrhunderts unheimlich schnell in Nord- und Mitteldeutschland verbreitete, ging er mit aller Strenge vor. Trotzdem trat ein Teil des Landadels in unserem Gebiet heimlich zu dem neuen Glauben über. Es ist jedoch unwahrscheinlich, dass auch in Wispenstein damals schon die Reformation Eingang fand, denn Siegfried von Steinberg war viel am Hof zu Wolfenbüttel und muss mit Herzog Heinrich in gutem Einvernehmen gelebt haben. 

1542 kam es wieder zum Krieg. Der Schmalkaldische Bund, eine Vereinigung aller protestantischen deutschen Fürsten, drang in das Herzogtum Wolfenbüttel ein und verjagte den völlig unvorbereiteten Herzog. Sogleich errichtete der Bund seine Herrschaft im Land. Wo vorher der Protestantismus nicht geduldet, würde er nun den Bewohnern diktiert. 

Dazu nutzten die Söldner des Bundes das eroberte Land weidlich aus. Es war keine glückliche Zeit, und die Leute sehnten sich den Tag der Rückkehr des Herzogs herbei. Doch dieser irrt vorerst in Deutschland herum, nachdem er in Süddeutschland und beim Kaiser vergeblich um tatkräftigen Beistand gebeten hat. Für einige Jahre kann er nichts für sein Land tun. Plötzlich jedoch im Spätsommer 1545, taucht er mit einem großen Heer im Norden auf und erobert binnen kurzem sein ganzes Land zurück. In seinem Heer steht als Oberst Adrian von Steinberg, der dritte Sohn Siegfrieds. Es war 1516 auf dem Wispensteiner

Stammhaus geboren, hatte als Page am Hofe Erich von Calenberg gedient, war 1534 in dänische Dienste getreten, bei der Belagerung Kopenhagens in Gefangenschaft geraten und hatte sich schließlich zu Heinrich dem Jüngeren gesellt, um mit ihm zusammen die Heimat zu befreien. 

Doch die Freude über Heinrichs Rückkehr war verfrüht. Kaum war der Herzog wieder im Besitz seines Herzogtums, da zogen die Schmalkaldener unter sächsischer und hessischer Führung aufs neue heran. Bevor es bei Höckelheim, unweit der Stadt Northeim, am 21. Oktober zur Schlacht kam, geriet der Herzog mit seinem Sohn durch Verrat in die Gefangenschaft Philipps von Hessen und wurde auf die Feste Ziegenhain gebracht. Die braunschweigischen Reisigen mussten unter Adrian von Steinbergs Führung mit abgerissenen Fähnlein rottenweise abziehen und versprechen, innerhalb der nächsten Monate nicht wieder gegen die Protestanten zu kämpfen. 

Der Schmalkaldische Bund aber errichtete seine drückende Herrschaft zum zweiten Male im Braunschweiger Land, bis Kaiser Karl V. dem ein Ende bereitete, indem er 1547 den Schmalkaldischen Bund in der Schlacht von Mühlberg besiegte und damit zerschlug. 

Das ganze Land atmete auf, als bald danach, im September 1547 Heinrich der Jüngere wieder in sein Herzogtum einzog. Über Wispenstein selbst ist aus dieser Zeit kaum etwas bekannt. Unter Siegfried von Steinberg hatte es, wie wir sahen, viermal den Landesherrn gewechselt, um schließlich. doch für die nächsten Jahrzehnte beim Herzogtum Wolfenbüttel zu verbleiben. Der älteste Sohn des Ritters, Hilmar, hatte dafür in der Schlacht bei Drakenburg gegen die Protestanten sein Leben lassen müssen. Fünf Brüder überlebten ihn, alle gehörten sie zu den angesehensten Männern des Herzogtums. 

Wahrscheinlich wurde noch zu Lebzeiten des Vaters ein Umbau des Herrenhauses zu Wispenstein vorgenommen. Das einfache Holzgebäude wurde durch eine neue, ein Meter dicke Grundmauer aus Bruchstein verstärkt. Die Bauweise in spätgotischem Stil lässt darauf schließen, dass dieser Umbau um die Mitte des 16. Jahrhunderts stattfand. Etwas später, gegen Ende des Jahrhunderts, vergrößerte man das Haus noch durch ein Obergeschoss aus Eichenfachwerk. Auch drei Befestigungstürme, von denen der Stumpf des einen noch heute erhalten ist, stammen aus dieser Zeit, wenn sie nicht schon vorher an das alte Gebäude angebaut worden waren. Genaue Daten hierüber fehlen leider. 

1551 starb zu Wispenstein der Ritter Siegfried von Steinberg. Er wurde in der Klosterkirche von Lamspringe beigesetzt, wo sein Grabstein noch heute zu sehen ist. 

Von seinen Söhnen, unter denen die Linie Steinberg-Wispenstein ihre Glanzzeit erlebte, war der schon erwähnte Landsknechtsführer Adrian der berühmteste. Er trat, als in der Heimat wieder Frieden war, in kursächsische Dienste, war 1556 Mitglied einer kaiserlichen Kommission, die über Kriegsanstalten gegen die Türken beraten sollte und wurde hernach von Kurfürst August zum Schlosshauptmann von Wittenberg ernannt. Hier befreundete er sich mit Philipp Melanchthon, der einmal über ihn sagte: Er wisse an dem Manne nichts zu tadeln oder zu strafen, denn dass er im Trunk viel zu gutherzig und freigebig gewesen. 

1562 nahm Adrian von Steinberg an den Krönungsfeierlichkeiten Kaiser Maximilians II. teil. Danach bekam er den hohen Posten eines sächsischen Oberhauptmanns für Thüringen. - Doch bald darauf finden wir ihn wieder im Dienst. des alten Herzogs Heinrich von Wolfenbüttel Als dieser am 11. Juni 1568 stirbt, ist Adrian mit seinem Bruder Burghard unter den Adligen, die den Fürsten an der Spitze eines gewaltigen Leichenzuges zur letzten Ruhe tragen. 

Ebenfalls ist Adrian - diesmal mit seinem vierten Bruder Melchior unter den Edlen, die Herzog Heinrichs Sohn und Nachfolger, den friedliebenden Herzog Julius, mit der Stadt Braunschweig aussöhnen (1569). Diesem Fürsten leistete Adrian dann noch bis zu seinem Tode im Jahre -1582) freundschaftliche Dienste. Er lebte zuletzt teils in Wispenstein, teils in Imshausen, wo er auch begraben wurde. Seine Kinder starben alle ohne Nachkommen. 

Von den Brüdern Adrians fiel der zweite, Achatz, 1550 bei der Belagerung Magdeburgs. Burghard war Hofmarschall zu Wolfenbüttel und starb kinderlos 1183 in Imshausen. Siegfried, der jüngste, lebte zu Wispenstein und verwaltete die Güter sein Sohn Adrian starb ebenfalls ohne weitere Erben. 

Dagegen hatte Melchior, der dritte von den sechs Söhnen Siegfrieds des Älteren, dreizehn Kinder, auf die nach seinem Tode die ganzen Wispensteiner Güter fielen. Melchior war Doktor beider Rechte, ein Freund des kahlenbergischen Reformators Anton Corvinus. Er bekleidete in Braunschweig das Amt eines herzoglichen Statthalters. 

In dieser Generation wurde auch die Reformation in Wispenstein durchgeführt, da der Landesherr, Herzog Julius, im Gegensatz zu seinem Vater ein überzeugter Protestant war.

Aus der Chronik von 1951 von Herrmann Janson