Il nome "Valcastagno" fu inventato il secolo scorso dal marchese Alberto Nembrini Gonzaga, proprietario della villa per gran parte del '900, per denominare affettuosamente la dimora ricca di ippocastani, anche nota come "Villa Virginia". Oggigiorno il toponomastico "Valcastagno" viene adottato anche dall'amministrazione comunale per denominare la lunga via che nel Comune di Numana va dagli Svarchi verso il Coppo di Sirolo.

"La villa venne edificata nel primo trentennio del XVIII secolo dalla famiglia Palunci, nobili ragusei inurbatisi in Ancona alla fine del ‘500; con la loro estinzione passò poi, per legami di parentela, alla famiglia Ferretti una cui figlia, Maria, andò in sposa ad un Nembrini Gonzaga, casato che detiene la proprietà da alcuni secoli.
Al pari di altre famiglie “estere” i Nembrini (cittadini di Nembro, nel bergamasco) furono chiamati ad Ancona alla fine del Cinquecento dal Papa per arginare lo strapotere degli israeliti nel campo della seta. Il titolo di Marchese fu loro conferito dal Duca di Mantova per i servigi resi e così l’appellativo di Gonzaga, supportato anche da unioni familiari.

La villa fu anche al centro delle vicende della seconda guerra mondiale,  fornendo rifugio ai numerosi ebrei che fra le sue mura e nei suoi sotterranei trovarono la salvezza per opera di Alberto ed accogliendo le truppe polacche impegnate nella cruenta battaglia di Montefreddo.

Nel 2012 lo stato di Israele riconobbe ed attribuì il titolo di "Giusto fra le nazioni" ad Alberto Nembrini Gonzaga ed a sua moglie Maria Benadduci, proprio per il loro coraggio e valore nel dar rifugio e salvare intere famiglie di origine ebraica.