Federzeichnung von Wilhelm Dilich (1629)

Nach Wilhelm Dilichs Federzeichnung von 1629 war die Burg Lauterstein ein stattlicher Bau mit vier Stockwerken, von denen drei aus Stein, das vierte aus Holz mit Schindeldach bestand. Den Kern bildete ein starker runder Turm, heute noch der größte Teil der Ruine, dem sich zwei viereckige Gebäude nach Südwesten und Osten anschlossen.Diese enthielten zahlreiche Gemächer und Keller, eine Kapelle und den Turm mit dem tiefen, in massivem Felsen gehauenen Burgverließ. Erbauer waren die Burggrafen von Leisnig.

Die steinerne Burganlage war Herrschaftsmittelpunkt und diente dem Schutz der mittelalterlichen Handels- und Passstraße von Leipzig über den Erzgebirgskamm nach Prag. Archäologische Untersuchungen belegten in den 1970er Jahren eine Entstehungszeit in der zweiten Hälfte des 12. Jahrhunderts. Die erste urkundliche Erwähnung erfolgte 1304. Nach der Schellenberger Fehde und dem Herrschaftsverlust der Herren von Schellenberg (heute Augustusburg) belehnte Markgraf Friedrich der Freidige von Meißen 1323 den Burggrafen Albrecht von Altenburg und Otto von Leisnig mit der Burg Lauterstein und dem Städtchen Zcobelin (Zöblitz). Verwalter der Burg waren damals die Herren von Schellenberg.

Im Jahre 1434 wurde die Burg mit dem dazugehörigen Feudalbezirk für 4000 Gulden an die Freiberger Patrizierfamilie von Berbisdorf verkauft. Die Nachfahren nannten sich ,,Ritter von Berbisdorf auf Lauterstein". 1497 wurde die Herrschaft Lauterstein in zwei Hälften geteilt. Durch die Burg wurde eine Schiedsmauer gezogen und das Besitztum in Ober- und Niederlauterstein aufgeteilt.

Die Herren von Berbisdorf trugen die Herrschaft Lauterstein 125 Jahre zu Lehen, bis sie 1559 die Besitzungen für 105.091 Gulden, 17 Groschen, elf neuen und einen alten Pfennig an Kurfürst August abtreten mussten. Nach kurfürstlichem Erwerb wurde daraus das Amt Lauterstein gebildet und auf dem Schloß die Amtsexpedition untergebracht. Es wurden sogenannte Amtsschösser angestellt, die als Justizbeamte zugleich dem Rent- und Steuerwesen vorstanden. Als erster Amtsschösser fungierte Johann Heinze aus Chemnitz. Er hatte das Amt von 1559 bis 1583 inne und wurde anschließend Faktor der kurfürstlichen Saigerhütte Grünthal.