Anstelle der alten Burg der Familie von Krummensee ließ Freiherr Otto von Schwerin 1657-1662 hier das Altlandsberger Schloss als zweigeschossige Dreiflügelanlage errichten. Um 1670 erfolgte die bauliche Erweiterung durch zweieinhalbgeschossige Kopfbauten mit Turmaufsatz am Ende des Nord- und Südflügels. Seitlich in Verlängerung des Corps de Logis kamen später noch zwei Galerieanbauten hinzu. Die Galerie an der Südseite entstand noch unter den Schwerins, die an der Nordseite erst in der Zeit unter König Friedrich I.. Nach dem Schlossbrand 1757, der die gesamte Dreiflügelanlage fast völlig zerstörte, wurde das Gebäude bis auf die Grundmauern abgetragen, mit Ausnahme der Schlosskirche, die als einziger Teil des ehemaligen Schlosses von 1765-1768 wieder aufgebaut worden ist.
Bei archäologischen Grabungen im Jahr 2019 konnte durch die Freilegung der sämtlich noch vorhandenen Grundmauern der genaue Grundriss des ehemaligen Schlosses dokumentiert werden. Um diesen Schlossgrundriss und zumindest auch Teile der originalen Grundmauern dauerhaft sichtbar zu machen, wurde die gesamte Grundfläche vom Erdgeschoss des Schlosses mit Granitplatten ausgelegt, mit Aussparungen in zwei Bereichen für das freigelegte Originalmauerwerk. Die Granitplattenfläche zeigt die räumliche Situation im Erdgeschoss und entspricht in Lage, Größe und Bezeichnung der einzelnen Räume den Angaben eines Gebäudeinventars aus dem Jahr 1709. Mit den grauen Granitplatten ist die Grundfläche der Räume dargestellt, der schwarze Granit zeigt das aufgehende Mauerwerk der Wände mit den Aussparungen für Fenster und Türen.
