Il Castello è un edificio provvisto di quattro torri angolari risalente al XVI secolo. Probabilmente di proprietà di mercanti veneziani, fu inglobato nell’Orto botanico sin dalla sua fondazione. Dalla fondazione dell’Orto fino alla seconda metà degli anni ’30 dello scorso secolo fu sede dell’attività didattica e di ricerca dell’Orto; nei suoi ambienti erano situati, tra l’altro, il laboratorio, il Museo, l’Erbario e la Biblioteca.
Oggi è il centro delle attività tecniche e amministrative dell’Orto e i suoi locali ospitano gli uffici, vari magazzini e il Museo di Paleobotanica ed Etnobotanica.
La Biblioteca (da non confondere con la Biblioteca storica dell’Orto botanico di Napoli) include testi e riviste prevalentemente di argomento agronomico.