„Guildford Castle“ geht auf eine normannische Motte mit Außenhof zurück, die kurz nach 1066 errichtet wurde. Die ursprüngliche Holzpallisade wurde im 12. Jahrhundert durch Wehranlagen aus Stein ersetzt. Die Motte erhielt eine Ringmauer und später den starken aber nicht sehr hohen Bergfried, der bis heute erhalten ist.
Da Guildford Castle die einzige königliche Burganlage in Surrey war, entwickelte sie sich zum Verwaltungs- und Justizzentrum und der Bergfried wurde zum Gefängnis der Grafschaft umgebaut. Die königlichen Gemächer verlegte man in einen Palast im unterhalb gelegenen Außenhof. Unter Heinrich III. stellte die Burg eine der luxuriösesten Königsresidenzen in England dar.
Nach dem Tod Heinrichs III. im Jahr 1272 verlor die Burg an Bedeutung und die Palastgebäude verfielen. 1611 erstand der Guildforder Kaufmann Francis Carter die Anlage und versuchte, den Bergfried in einen privaten Wohnsitz umwandeln. Dies gelang jedoch nicht. Schließlich erfolgte 1630 der Abriss von Dach und Böden. 1885 kaufte der Gemeinderat Guildford die Ruinen und gestaltete das Grundstück in einen öffentlichen Park um. Durch die spätviktorianische Landschaftsarchitektur erhielt der normannische Burghügel ein außergewöhnliches Aussehen.
Südwestlich der Burg liegt die Quarry Street, in der mit einem Bogenrest des äußeren Burgtors noch ein Teil der Befestigung aus dem 13. Jahrhundert erhalten ist. Das „Guildford Museum“ in der Quarry Street liegt in einem erweiterten Cottage, das 1898 in der äußeren Burganlage errichtet wurde. Heute beherbergt es die größte Sammlung zur Archäologie, Lokalgeschichte und Nadelarbeit in Surrey. Die archäologische Sammlung enthält Kopfbedeckungen römischer Priester, sächsische Münzen, mittelalterliche Fliesen sowie Glas- und Töpfereiarbeiten aus dem 17. Jahrhundert. Die Sammlung zur Nadelarbeit enthält Patchworkarbeiten, Babykleidung und Spitzen. Die lokalgeschichtliche Ausstellung beinhaltet Objekte und Bilder zu lokalem Gewerbe und Industrie, sozialem Leben, Kindheit und lokalen Persönlichkeiten wie Lewis Carroll und Gertrude Jekyll.