Perdió a su padre cuando tenía dos años y se crió en la casa de su tío, adonde se había trasladado su madre al quedarse viuda. Su padre se llamaba Sully y a este nombre sumó el apellido y pasó a ser conocido como Sully Prudhmme.
En su etapa escolar, estuvo muy interesado por la literatura clásica y las matemáticas-, pero un trastorno ocular grave lo obligó a abandonar sus planes de estudios de ingeniería y pensó seriamente en entrar en la orden de los Dominicos. Después de graduarse en el Liceo Bonaparte, trabajó para la empresa industrial Scheneider-Creuzot. Estudió derecho y en 1860 estuvo un tiempo trabajando en la oficina de un notario. Tras sufrir un desengaño amoroso -hecho quizá por el que se mantuvo soltero toda su vida- se concentró en sus estudios de filosofía y en escribir poesía. En sus primeros intentos poéticos, recibió el apoyo del poeta Leconte de Lisle; aunque bien este poeta tuvo claro que su protegido no era fiel a los ideales de la poesía clásica, sino que prefería expresar sus sentimientos interiores. Publicó su primer libro de poemas a los 26 años obteniendo muy buena acogida por parte del público. Esta primera publicación contenía su poema más conocido, “El jarrón roto”.
En 1866, Sully prudhomme se convirtió en uno de los colaboradores de la antología “Le Parnasse Contemporain”.
En su afán por conseguir la expresión directa y simple, influyó en él profundamente la obra del poeta romano y filósofo Lucrecio ()99-55 a.C.). Sully Prudhomme publicó una traducción del primer volumen de Lucrecio Sobre la naturaleza de las cosas (Rerum Natura), junto con el prefacio. Lucrecio defendía en su poema didáctico las doctrinas epicúreas y afirmaba, entre otras cosas, que se debía guiar la vida por los principios de la verdad. Más tarde, Sully Proudhomme expresó su pensamiento filosófico, a veces difícil de entender, a través de la poesía, bajo la forma de diálogo, en su libro “La justicia” (1878).
Cuando estalló la guerra franco-prusiana, se alistó en el ejército y fruto de este hecho es su libro “Impresiones de la guerra”. En ese mismo año mueren su madre, su tío y su tía y el poeta tuvo un derrame cerebral que casi le paralizó la parte inferior del cuerpo, condición ésta contra la que tendría que luchar el resto de su vida.
A pesar del trasfondo melancólico de su poemas y la mirada epicúrea del mundo, fue considerado el poeta de la vida, de la alegría, de la belleza, la energía y la novedad. Como en 1980, recoge Jean-Albert Béde en Columbia Dictionary of Modern Europena Lietratury, sin autoproclamarse mesías como Víctor Hugo ni nihilista, como Leconte de Lisle, levantó la poesía de la penumbra en que la había sumido el pesimismo durante toda una generación y le insufló la creencia de que el camino hacia la felicidad pasa por el dolor, el autosacrificio y el amor fraternal.
En 1881, Sully Proudhomme fue elegido miembro de la Academia Francesa. Durante sus últimos años de vida se vio apartado de toda actividad debido al recrudecimiento de su parálisis. Donó el dinero obtenido por el premio Nóbel a la asociación de escritores franceses para ayudar a los poetas aspirantes con la publicación de su primer libro.