Nació en la ciudad de Nueva York el 21 de mayo de 1904 con el nombre de Thomas Wright Waller. Era hijo de un sacerdote baptista, Edward Martin, y de Adeline Lockett Waller; Fats Waller se casó dos veces, y del primer matrimonio tuvo un hijo, Thomas Wright, Jr.; contrajo matrimonio con su segunda mujer, Anita Priscilla Rutherford, en 1926, con la que tuvo dos hijos, Maurice y Ronald. Estudió con los pianistas Willie Smith y James P. Johnson; y piano clásico con Leopold Godowsky; además aprendió composición en la Escuela Juilliard con Carl Böhm.
Comenzó tocando el armonio a los seis años y a los diez ya tocaba el órgano en la iglesia de su padre, en Harlem. Su carrera profesional se inició a la edad de quince años tocando como organista en el Teatro Lincoln de Nueva York; abandonó entonces sus estudios escolares.
Su gordura pronto le valió el sobrenombre de Fats. A principios de la década de los años veinte empezó a tocar en diversos cabarés y clubes nocturnos de la ciudad, tanto como acompañante como solista, y llegó a tocar blues acompañando nada menos que a cantantes como Bessie Smith o Alberta Hunter; sus primeras grabaciones datan de 1922, entre otras Got to Cool My Doggies Now. Ese mismo año realizó una grabación como solista, que se plasmó en Muscle Shoals Blues/Birmingham Blues, para la casa Okeh Records.
Realizó su debut en la radio tocando en 1923, en un programa de primera línea; compuso e interpretó numerosas melodías que se hicieron populares y trabajó como músico acompañante y principal en diversos combos de jazz; finalmente, organizó su propia banda que se llamó Fats Waller and His Rhythm, creada en 1934; con una big band propia realizó diversas giras y grabaciones, y también apareció en algunas películas, como Hooray for Love!, una producción de 1935, King of Burlesque, de 1935, y Stormy Weather, filmada en 1943.
Fats Waller es recordado sobre todo por sus canciones cómicas y sus magníficas interpretaciones musicales, pero el legendario músico de jazz supuso una enorme contribución musical que se basa en sus brillantes composiciones para piano, desconocidas por el gran público. Fue introducido a su peculiar lenguaje pianístico por su maestro de Harlem, James P. Johnson. Waller resultó un sabio seguidor del ragtime, donde la mano izquierda lleva el ritmo y la derecha la melodía. Su teclado dinámico y creativo se extendió al órgano y la celesta; él fue, de hecho, el primer organista significativo de jazz, y el swing de su órgano no ha sido superado. Sin embargo, pese a su contribución musical en jazz, Fats Waller se convirtió en un músico internacionalmente conocido gracias a sus canciones populares y satíricas como Ain’t Misbehavin’, Honeysuckle Rose o Your Feet’s Too Big. Con sus movimientos de cabeza y sus chistes hacía reír al público en sus actuaciones, en las que lo que menos se apreciaba era su verdadero virtuosismo.
Además, Waller fue un prolífico letrista, desde que vendiera su primera melodía, Squeeze Me, que data de 1923; a finales de la década de los veinte, sus composiciones comenzaron a ser interpretadas y grabadas por los músicos más populares del momento, como Fletcher Henderson y Cab Calloway.
En 1928 Waller e lyricist Andy Razaf escribieron juntos la mayor parte de los musicales negros de Broadway. Posteriormente las colaboraciones de Waller y Razaf se produjeron en el espectáculo Connie’s Hot Chocolates, en el que se representaba el tema, Ain’t Misbehavin.
Presionado frecuentemente por la necesidad de ganar dinero, el vividor Waller tenía que vender a menudo sus canciones con los derechos de autor por el precio de un taxi o una comida. En muchas ocasiones obtenía dinero por adelantado sobre canciones que luego no terminaba o vendía la misma pieza varias veces a distintas empresas discográficas. Sin embargo, se tomó más en serio sus composiciones de teclado que sus canciones, y escribió algunas series importantes de piano, como Alligator Crawl, Viper’s Drag, Smashing Thirds, Clothes Line Ballet, Numb Fumblin’, Valentine Stomp o Handful of Keys, compuestas entre 1929 y 1934.
Waller grabó también diversos discos como acompañante de grupos de jazz, entre otros para los Morris’s Hot Babes o los McKinney’s Cotton Pickers, así como liderando sus propios grupos. Su Fats Waller’s Buddies fue una de las primeras grabaciones de un grupo interracial.
En 1934 Waller reunió un sexteto denominado Fats Waller and His Rhythm, en el que tocaba la lengüeta Eugene Honey Bear Sedric, la guitarra Al Casey, el bajo Charles Turner, la trompeta Herman Autrey, a veces sustituido por Bill Coleman o por John Bugs Hamilton, y la percusión estaba a cargo de Yank Porter o Harry Dial, alternativamente. Con las humorísticas interpretaciones de Waller y una maestría musical indiscutible, el grupo grabó canciones para la casa Victor durante los siguientes años, produciendo temas como Lulu’s Back in Town, I’m Gonna Sit Right Down and Write Myself a Letter, o Your Feet’s Too Big. Muchas de sus melodías eran composiciones de Fats y éste alcanzó una popularidad que rivalizaba con el afamado trompetista Louis Armstrong. Waller actuaba de manera regular en la radio y realizó giras a lo largo y ancho de los Estados Unidos y en el exterior. Visitó Europa con una gira en 1938, en la que llegó a tocar jazz en el órgano de la catedral de Notre Dame de París.
Waller murió de neumonía a la temprana edad de treinta y nueve años, con la salud completamente arruinada por su incansable y constante trabajo, su gusto por las juergas desmedidas y su pasión por la comida y bebida, de las que abusaba constantemente.
Mientras, muchos pianistas contemporáneos a Fats mantenían viva su fama, de sus casi quinientas canciones, la mayoría cayó rápidamente en el olvido hasta 1978, en que se estrenó el musical Ain’t Misbehavin’ en Broadway. Se trataba de una revisión de treinta antiguas canciones de Waller que le hicieron famoso. Actuaban cinco músicos con Nell Carter al frente; el espectáculo resultó ser un enorme éxito, por lo que fue llevado por todo el país, se adaptó una versión para televisión y se inmortalizó en una grabación en vinilo. El director Richard Maltby, Jr. esperanzado con el éxito de Ain’t Misbehavin’ intentó sacar un revival de las canciones de Waller y grabó otros temas y discos del músico.