1970 yılında Ordu’da doğan Yılmaz, ilk ve orta öğrenimini Ordu’da tamamladı. Ordu Lisesi’nden mezun olduktan sonra İstanbul Üniversitesi Hukuk Fakültesi’ni bitirdi. Meslek hayatının ilk döneminde hâkimlik ve serbest avukatlık yaptı.
Siyasi hayatına Ordu ilinde başladı. Fazilet Partisi ve Adalet ve Kalkınma Partisi Kurucu İl Başkanlığı görevlerinde bulundu. 22. ve 23. dönemlerde Ordu, 24. dönemde ise İstanbul Milletvekili olarak Türkiye Büyük Millet Meclisi’nde görev yaptı. Bu süreçte Türkiye Büyük Millet Meclisi Başkanlık Divanı Kâtip Üyeliği, Karadeniz Ekonomik İş Birliği Parlamenter Asamblesi (KEİPA) Başkanlığı, Türkiye Büyük Millet Meclisi Darbe Araştırma Komisyonu üyeliği ile 1960 darbesi ve 1971 muhtırası alt komisyon başkanlığı görevlerini üstlendi. Ayrıca AK Parti Teşkilat ve Yerel Yönetimler Başkan Yardımcılığı görevinde bulundu.
30 Mart 2014 tarihinde Ordu Büyükşehir Belediye Başkanı seçildi ve bu görevle birlikte Ordu Büyükşehir Belediyesi’nin kurucu başkanı oldu.
5.Olağanüstü Kurultay neticesinde geldiği Siyasi İşlerden Sorumlu Genel Başkan Yardımcılığı görevini sürdüren Yılmaz, evli ve iki çocuk babasıdır.