Compay Segundo naît à Siboney, au bord de la mer, près de Santiago de Cuba où il grandit ensuite. Son père était mécanicien, employé par la compagnie des mines comme conducteur de locomotive.

Il apprend à jouer très jeune du tres et de la guitare avec ses frères. À l'âge de 14 ans, il reçoit des leçons de solfège avant d'être intégré comme clarinettiste dans la fanfare municipale de Santiago de Cuba. Il joue également des bongos.

À quinze ans, Compay Segundo compose sa première chanson Yo vengo aquí. Il devient un chansonnier, musicien et chanteur bien connu des aficionados de son cubain.

À dix-sept ans, il invente l'armónico, une sorte de guitare à sept cordes, dérivé du tres.