So eilig schienen es die Brüder nicht zu haben. Sechs weitere Jahre vergingen, ehe sich der jüngere, Heinrich, an den Bau der Burg machte. Wie der Bischof vorgeschlagen, wurde sie so errichtet, dass die Wispe im Norden und die Leine im Osten einen natürlichen Schutz boten. An der Gegenseite, im Südwesten, lehnte sich das Haus an eine bewaldete Höhe, den Oberg. Aber es waren kriegerische Zeiten und da genügte den Rittern die natürliche Wehr ihres neuen Stammsitzes nicht; sie ließen also noch einen breiten Wassergraben um das einstöckige Wohngebäude ziehen und waren nun aufs beste gesichert. Der Rittersitz war fertig; nur an einem Namen fehlte es noch, denn an dieser Stelle hatte sich bisher kein Mensch angesiedelt. Nun waren ja die Steinbergs ein weltlich Geschlecht, ihr Haus eine feste Trutzburg. Um das zu bekräftigen, nannte man den Platz Wispenstein. Und schließlich fand sich noch ein findiger Kopf vielleicht war es Herrn Heinrichs Hofnarr den die Jahreszahl der Gründung MCCCCLI (1451) zu einem Vierzeiler anregte, der uns heute noch bekannt ist und mit einiger Phantasie entziffert werden kann:
Ein Ring von einer Tasche,
Darto veer halffe Flaschen,
Ein Speit, darto ein Ein
Gebuwet wart de Wispenstein.
Nun hatten die Steinbergs von der Alfelder Linie jetzt nannte sie sich ,,Wispensteiner" endlich ihre freie Burg. Sie lag genau im Südzipfel der steinbergschen Besitzungen, grenzte dort an die Groß Fredener Feldmark, während jenseits der Leine das Meimerhäuser Gebiet den Rauschenplatts gehörte. Die Gemarken im Westen und Norden Wispensteins waren Imsen, ein altes Dorf im Wispetal, das die Steinbergs schon um l300 in Besitz hatten, Föhrste, um 1400 erworben, und etwas weiter nordöstlich die Dörfer Gerzen und Warzen.
Diese vier Dörfer bildeten fortan zusammen mit dem Burgsitz das Gericht Wispenstein.

Von einem Dorf konnte man damals, als Wispenstein dem größeren Gebiet seinen Namen ab, noch nicht sprechen; bestand der Ort anfangs doch nur aus dem Haus des Edelmannes! Doch das änderte sich bald. Mit Erlaubnis des Gutsherren siedelten sich nämlich im Laufe der Zeit 15 Familien an, die alle den Rittern dienstpflichtig waren. Diese hörigen Land und Forstarbeiter bekamen ihre Wohnstätten auf einem eingehegten Gelände vor dem Burggraben zugewiesen und nannten sich daher die Vorbürger. Leider sind Namen aus dieser ersten Zeit nicht überliefert.
Außer der Burg und den Häusern der Vorbürger soll es dann noch eine alte Mühle gegeben haben dort, wo auch heute noch die

Wispensteiner Mühle steht. Sie soll dem Kloster Lamspringe gehört haben. Ob sie noch bestand, als die Ritter Heinrich und Dietrich ihre Burg bauten, ist nicht gewiss.

Das gespannte Verhältnis zu der Stadt Alfeld hielt auch dann noch eine Weile an, als die Ritter schon nicht mehr dort wohnten. Des öfteren kam es zu Reibereien, wobei einmal Wispensteiner Knechte den Bürger Harmen Brandes erschlugen. Die Städter revanchierten sich, indem sie auf dem Sleberge, der den Steinbergs gehörte, Holz schlugen. Endlich schaltet sich der Landesherr, Bischof Henning, ein. Er bringt einen Vergleich zustande, nach dem beide Teile ihre gegenseitigen Forderungen aufgeben und von dem Tage es war der 8. Januar 1479 sich vertragen wollen, wie es guten Nachbarn zukommt.

Als 1482 Dietrich von Steinberg stirbt, bekräftigen seine Söhne Heinrich und Hilmar und ihr Oheim Heinrich nun der ,,ältere" genannt in einem zweiten Vergleich ihre feste Absicht, auf alle Zeiten mit der Stadt Alfeld Frieden zu halten. Und dabei bleibt es auch.
Kurz vor Martini 1488 folgt der ältere Heinrich seinem Bruder, mit dem er das neue Stammhaus baute, als braver Rittersmann in das Jenseits. Er hinterließ neben vier Töchtern einen Erben: Siegfried. Damit war die Linie Wispenstein wieder doppelt gesichert durch Heinrich, Dietrichs Sohn der Bruder Hilmar war inzwischen gestorben und durch Siegfried, seinen Vetter. Zusammen besaßen sie damals, wie aus einer Urkunde vom Jahre 1487 hervorgeht, folgende Hildesheimische Lehen:

Die Burg zum Wispenstein. Den Zehnten zu Föhrste bei Alfeld, Netze, Klein Freden, Diederichholtensen (= Wrisbergholzen), Dedensen und Langenholtensen. Die Dörfer Gerzen, Warzen und Imsen im Gericht Wispenstein, die Dörfer Harbarnsen und Adenstedt im Gericht Winzenburg. Oldendorpe und die Leinemühle vor Alfeld, dazu 211/2 Hufen Land und den Kiffhof zu Eimsen. Schließlich den Rottzehnten am Hasselhauwe, am Himberge, am Rodenkamp und am Mühlenberg.

Siegfried, des älteren Heinrichs Sohn, starb kinderlos. So blieb gegen Ende des Jahrhunderts als einziger männlicher Erbe Dietrich von Steinbergs Sohn Heinrich auch der ,,jüngere" genannt am Leben. Er vermählte sich mit Katharina von Hardenberg aus der Imshäuser Linie, dieser weitverzweigten Familie. Da Katharinas einziger Bruder, Gerhard von Hardenberg, keine Erben hatte, fiel Imshausen an die Familie von Steinberg. Aus der Ehe ,Katharinas mit Herrn Heinrich gingen zwei Söhne hervor, Siegfried und Hilmar. Sie traten 1505, nach dem Tode ihres Vaters, das gesamte Erbe zu Wispenstein an.

Aus der Chronik von 1951 von Hermann Janson