El lloc que ara ocupa el Mirador de l'Arquebisbe Pont i Gol era l'antiga Rectoria del Vilosell, anomenda l'Abadia. L'antiga edificació amenaçava ruïna i va ser enderrocada cap a finals dels anys 60 i començaments dels 70 del segle XX. La Rectoria ocupa un lloc destacat a la història del Vilosell. L’any 1280 els Rectors del Vilosell va ser nomenats a través d’un privilegi del Rei Pere el Gran com a Notaris Públics per autoritat reial. Si bé els rectors de les parròquies atorgaven escriptures notarials des de temps immemorials, en el cas del Vilosell hi havia un privilegi reial exprés de nomenament. Aquest fet tingué molta importància posteriorment. En efecte, l’any 1736 el Rei Felip V va dictar una Reial Provisió per la qual limitava als rectors de Catalunya la facultat de dictar escriptures notarials a les disposicions testamentàries, amb excepció dels notaris per autoritat reial. Per tant, des de 1736 fins a la derogació de la Llei del Notariat a l’any 1862, els rectors del Vilosell van poder continuar atorgant tot tipus d’escriptures notarials. Això va comportat que els habitants de les poblacions veïnes acudissin al Vilosell a atorgar escriptures.