Il palazzo Marchesale, costruito dalla famiglia Marescallo nel XVII secolo, fu modificato e ampliato nel 1684 dal feudatario Prato. A lui si deve l’attuale fisionomia della struttura. In origine, prima della costruzione del palazzo, esisteva una fortezza della quale resta solo una torre che controllava una delle porte di accesso al centro storico, Porta Rande.
L’edificio ospitò sino al 1802 una preziosa quadreria. Infatti, in seguito a un fenomeno tellurico che causò il crollo di alcune stanze del palazzo, la collezione di dipinti fu in parte distrutta e in parte trasportata a Venezia, Roma e Napoli presso le dimore signorili di amici del marchese Nicolò Prato. Le uniche tele rimaste ad Arnesano sono le quattro presenti nella cappella dell’Asilo Bernardini.