La costruzione del Castello avvenne ad opera della famiglia di Sigismondo Malatesta nei primi anni del 1300 e fu conteso tra la famiglia dei Malatesta e dei Montefeltro nelle lotte per l’acquisizione del territorio. Fu così perso e riconquistato 5 volte, finchè Federico da Montefeltro conquistò nel 1458 definitivamente Tavoleto. Federico ordinò l’abbattimento del castello per poi ricostruirlo sotto l’opera dell’architetto Francesco di Giorgio Martini che la terminò prima del 1474.

Nel 1631 diventa di dominio diretto del Papato ma successivamente nel 1885, venne donato assieme ai territori circostanti all’Avv Petrangolini contestualmente all’assegnazione del titolo di Conte e l’assogettamento dei territori circostanti.
Fu di seguito venduto ad un privato che negli anni 60 lo trasformò in ristorante e lo ristrutturò secondo i canoni di quegli anni.
Gli attuali proprietari lo acquistarono invece con l’intento di riportarlo alle origini. Si dedicarono quindi alla ristrutturazione della facciata, dei saloni, della corte e del giardino. Vennero scrostati i muri dall’intonaco per riportare in vita le mure originali, vennero ricostruiti alcuni solai, rifatti completamente gli impianti e rifinito con materiali per la maggior parte recuperati dalla struttura originaria come i pavimenti del salone araldico che oggi sono diventati il camminamento di ingresso dal giardino. I nuovi materiali utilizzati sono invece stati scelti e selezionati con grande attenzione perché si fondessero al meglio con la storia.