Familiarizado desde niño con el sonido del tango en los bares de su barrio, Pichuco convenció a su madre para que le comprara un bandoneón. Lo consiguieron a 140 pesos de entonces, a pagar en 14 cuotas. La leyenda cuenta que después de pagar la cuarta cuota de diez pesos el vendedor desapareció y nunca reclamo el resto del dinero. Fue con ese mismo instrumento que Aníbal tocó casi toda su vida.
La primera actuación en público de Pichuco como instrumentista fue a los 11 años en un bar lindero al mercado de abasto. Poco tiempo después se conoce que integró una orquesta de señoritas, y a los 14 años se animó a formar su propio quinteto. En diciembre de 1930 integró el sexteto conducido por el violinista Elvino Vardaro y el pianista Osvaldo Pugliese, del que lamentablemente no existe ningún registro discográfico.
En marzo de 1938 realiza su primera grabación para el sello Odeón, inmortalizando piezas de Agustín Bardi y Eduardo Arolas. Ese mismo año se casa con Ida Calachi que había conocido un año antes. En 1941 realiza una grabación junto al famoso cantante Francisco Fiorentino para el sello Victor. Hasta el momento de su muerte en 1975 a los 60 años, el compositor contaba con mas de 480 discos en su haber.
Grandes cantantes de la historia del tango pasaron por su orquesta, como Francisco Fiorentino, Alberto Marino, Floreal Ruiz, Edmundo Rivero, Jorge Casal, Raúl Berón, Roberto Rufino, Ángel Cárdenas y Roberto Goyeneche. Sus pianistas se convirtieron sistemáticamente en directores de orquesta: así ocurrió con Orlando Goñi, José Basso, Carlos Figari, Osvaldo Manzi, Osvaldo Berlingieri y José Colángelo.
Como compositor, Troilo creó un extenso número de obras fundamentales. Algunos de sus títulos más notables son “Toda mi vida”, “Barrio de tango”, “Pa’ que bailen los muchachos”, “Garúa”, “María”, “Sur”, “Romance de barrio”, “Che bandoneón”, “Discepolín”, “Patio mío”, “La cantina”, “Desencuentro” y “La última curda”.
En 1951 fallece Homero Manzi uno de sus amigos mas queridos. Pichuco se hunde en una profunda depresión y compone en su honor el tema “Responso”.
El bandoneonista mas querido de Buenos Aires murió el 18 de mayo de 1975 en el Hospital Italiano, a causa de un derrame cerebral y sucesivos paros cardíacos. Sus restos descansan en el Rincón de los Notables del cementerio de la Chacarita.