1970 yılında Burdur'a bağlı Gölhisar ilçesinde doğdu. İlk, orta ve liseyi Karadeniz Ereğli'de okuyan Kanyılmaz, 1993 yılında Selçuk Üniversitesi İktisadi ve İdari Bilimler Fakültesi Kamu Yönetimi Bölümü'nden mezun oldu. Mezun olduktan sonra 1996-2000 yılları arasında Kilis Valiliği'nde il planlama ve uzman yardımcısı olarak görev yapan Kanyılmaz, 2000 yılında mülki idare amirliği görevine başladı. 2004 yılında Pülümür ilçesinde kaymakamlık yapan Kanyılmaz, son görev yeri olan Yozgat'ın Şefaatlı ilçesinde 3 yıl görev yaptı. Kanyılmaz evli ve 2 çocuk babası