O primitivo edifício remonta aos finais do séc. XVI, data da transferência do assento episcopal de Silves para Faro. Durante o séc. XVII foi construída esta residência de veraneio destinada aos mais altos dignitários da Diocese. Da primitiva construção barroca restam um jardim e uma fonte com oito bicos, “coberta com um formoso alto zimbório, com três janelas rasgadas e nos lados da fonte duas portas para a caixa d’ água”. Durante os sécs. XIX e XX o edifício sofreu várias intervenções, que alteraram completamente a construção inicial. Relativamente às modificações realizadas nos primeiros anos do séc. XX, elas resultaram da necessidade de se criarem novos equipamentos públicos: um barracão para o peixe e um mercado para as hortaliças. Com a implantação da República, em 1910, o palácio foi secularizado passando a servir de escola primária. De momento, funciona aqui um Jardim-de-infância, estando prevista a instalação de equipamentos culturais. Do espólio do antigo palácio episcopal, encontram-se actualmente na capela-mor da Igreja Matriz de S. Brás de Alportel, três telas pintadas representando os grandes doutores da Igreja: Santo Agostinho e Santo Ambrósio e o eremita D. Jerónimo. Pertencia a este conjunto a tela do Papa Santo Gregório Magno, entretanto desaparecida. Aquando da secularização do referido palácio, algumas alfaias foram levadas para Faro.

No mesmo espaço estão enquadradas as piscinas municipais. Contíguo ao edifício está situado o Paço da Paixão que ostenta um frontão setecentista, cujos trabalhos em massa (concheados e enrolamentos vegetalistas, etc.) se integram numa tradição fortemente implantada na região algarvia.