Después de un exilio en Europa por su discutida actuación como Director Supremo, Juan Martín de Pueyrredón volvió a Buenos Aires, a su quinta de San Isidro, con la condición de permanecer ajeno a la política.
Durante la presidencia de Rivadavia se lo acusó de falsear sus declaraciones de bienes, asunto que no pasó a mayores, ya que lo nombraron miembro de la Comisión Militar, encargada de reformar al Ejército.
En 1829, durante la Revolución Decembrista, intentó mediar entre Juan Lavalle y Rosas, sin éxito.
Al iniciarse el segundo gobierno del Restaurador, prefirió guardar distancia y viajar a Brasil y Francia en compañía de su esposa y su único hijo, que estudió pintura e ingeniería durante esos años. Curiosamente, a lo largo de años, a pesar de coincidir con San Martín en Europa y no vivir muy lejos, poco lo frecuentó, porque el general solía recibir al Ministro Sarratea, con quien Pueyrredón mantenía una mala relación desde antes de ser Director Supremo.
A Pueyrredón se le recrimina haber querido imponer una Constitución Unitaria (la de 1819) y su intención de coronar a un monarca francés en el Río de la Plata, circunstancia que lo enemistó con todos los caudillos de interior, y especialmente, con los litoraleños.
Algunos decían que su fortuna se debía al robo de varias sacas de plata durante la evacuación del Potosí, circunstancia que permanece discutida. En 1814 se casó con una rica heredera, María Calixta Tellechea Caviedes, aunque el mismo Pueyrredón había sido quien firmó la orden de ejecución de su padre, un adlátere de Martín de Álzaga.
Su único hijo (en realidad tuvo dos hijos naturales, que no reconoció), Prilidiano, fue un excelente pintor y el responsable de diseñar el túmulo mortuorio que vela el eterno reposo de este “Hacedor de Imposibles”.
