Yılmaz Gruda, 14 Temmuz 1930 tarihinde İstanbul’da doğmuştur. Tam adı Ahmet Yılmaz Gruda’dır. İlk Okulu, İstanbul 12. İlkokulu'nda okudu. Anne-babası ayrıldığı için 5.sınıftayken Ankara'ya göç etti, ticaretle uğraşan babasının yanında büyüdü. Ortaokulu Ankara da okudu. Yılmaz Gruda Ankara Ticaret Lisesi'ndeki eğitim sürecini 2. sınıfta yarıda bırakarak Ankara’da banka memurluğu yapmaya başladı, daha sonra İstanbul’da Yeni Sabah gazetesinde muhasebecilik yaptı. 1954 yılında istifa ederek Tiyatro Derneği Cep Tiyatrosu’nda 1955-1956 yıllarında iki sezon sahneye çıktı. Daha sonra da Küçük Sahne, Dormen Tiyatrosu, Ankara Devlet Tiyatrosu, Ankara Meydan Sahnesi, Ulvi Uraz, Nisa Serezli - Tolga Aşkıner gibi topluluklarda oynadı. Muammer Karaca tiyatrosunu yönetti. 1950'li yıllarda yazdığı şiirleri çeşitli dergilerde yayımlandı. Attila İlhan ile beraber mavi hareketini yaratan şairlerdendir. Sinema ve dizi filmlerde rol alan ve tiyatro oyunları da yazıp, çeviriler yaptı.

Üç kere evlenen Gruda'nın 2 çocuğu vardır. İkinci eşi ünlü oyuncu Ayşen Gruda'dır.

Yılmaz Gruda, 13 Mart 2023 tarihinde böbrek yetmezliği nedeniyle İstanbul'da hastaneye kaldırıldı. 25 temmuz 2023 tarihinde 93 yaşında yaşamını yitirdi.