Compay Segundo nació el 18 de noviembre de 1907 en Siboney, Santiago de Cuba, en la costa oriental de la isla, en una familia de humildes campesinos.

En los años treinta del pasado siglo integró el Cuarteto Cuba-nacán, modesta pero efectiva plataforma de lanzamiento que lo llevó después a trabajar con el quinteto Cuban Stars -que dirigía Ñico Saquito-, con el que en 1934 se fue a La Habana. Estando en la Habana Compay permaneció dos temporadas como clarinetista en la Banda de Bomberos de Regla y en 1938 formó el Cuarteto Hatuey con Lorenzo Hierrezuelo, Marcelino Guerra Rapindey y Evelio Machín, hermano de Antonio Machín.

En 1949 creó, junto con un compañero del Hatuey, su amigo Lorenzo Hierrezuelo, guitarrista de Siboney, el dúo Los Compadres, nacido con el propósito de rescatar la música de «monte adentro», los sones de su tierra oriental. Fue entonces cuando recibió su apodo, ya que a Hierrezuelo se lo conocía como Compay (diminutivo oriental de compadre) Primo (porque hacía la primera voz); él, que tocaba el armónico y hacía la segunda voz, pasó a ser Compay Segundo.

El dúo marcó toda una época de la música cubana, y canciones suyas como Macusa, Mi son oriental, Los barrios de Santiago, Yo canto en el llano, Huellas del pasado, Hey caramba, Vicenta o Sarandonga hallaron entonces el vehículo perfecto para convertirse en éxitos populares y perdurar, casi todas ellas, en el repertorio de Compay hasta sus últimos discos.

Después de muchos años de realizar escasas presentaciones saltó a la fama nuevamente con el proyecto Buena Vista Social Club y recorrió con su música gran parte del mundo.
Lo llamaban el patriarca del son, pero Compay no sólo era la figura cumbre de ese género y uno de los grandes músicos populares de todos los tiempos; era, sobre todo, un personaje fuera de serie, de un optimismo y unas ganas de vivir abiertamente ejemplares.