Stenbrudsgården, der ligger i udkanten af det nordlige Nexø, blev bygget som inspektørbolig for 'Det kongelige Frederiks Stenbrud'. Det var Frederik V, der lagde navn til det nærliggende stenbrud. I 1754 var der brug for byggematerialer til en hel del byggerier i hovedstaden. Palæerne omkring Amalienborg Slotsplads, Frederikskirken og andre større byggearbejder skulle i gang.

De smukke stengærder når helt ind til bygningerne.	Stenbrudsgården ved Stenbrudsvej i 1910.	Udsnit af Generalstabens kort målt i 1887, 1:10.000.

Stenbrudsgården blev bygget 1759-1760. Den var indrettet med tre boliger til inspektøren, smedemesteren og stenhuggermesteren. Gården er bygget af sandsten. Murene er massive. Gården er hvidkalket, det er et firlænget anlæg. Hovedbygningen ligger lige ud til landevejen. Her ved Stenbrudsgården og mange andre steder i Nexø er der anvendt sandsten fra stenbruddet. For eksempel er Stenbrudsgården omgivet af smukke stengærder. Der har ikke altid været en landevej mellem gården og stenbruddet. Med landevejens udvidelse og udretning er der nu skabt en barriere, som yderligere fjerner enhver synlig sammenhæng mellem gården og stenbruddet. Gården er ualmindelig godt vedligeholdt, og den fremstår intakt og original i det ydre.
I dag anvendes den ene halvdel af gårdens bygninger til forskningscenter, den anden halvdel bruges til udstillinger.

Frederiks Stenbrud har haft en omskiftelig skæbne. Stenbruddet åbnede i 1754, men allerede i 1770 blev arbejdsstyrken reduceret fra 50 til 20. Det var et problem for arbejderne, at der trængte vand ind i bruddet. Pumperne måtte ofte i brug. På landtangen mellem havet og stenbruddet blev der bygget en vindmølle, som skulle drive pumperne. På vindstille dage behøvedes 20-30 mand til pumpning, nemlig otte mand ad gangen døgnet rundt!

Staten havde økonomiske problemer, og stenbruddet udviklede sig til en underskudsforretning. I 1851blev det solgt på auktion. I november 1872 gennembrød en stormflod dæmningen mellem stenbruddet og havet, og herefter lå bruddet hen til 1922, da man gik i gang med at pumpe vandet ud. Den nye produktion gik godt frem til 1957, da stoppede stenbruddet.

I 1999 blev stenbruddet ryddet for tilgroning, og det har fremhævet bruddet i landskabet.