Mehmet Yılmaz, 1964 yılında Erzincan'ın Tercan ilçesinde doğdu. 1986 yılında Sümerbank'a bağlı Tercan Ayakkabı fabrikasında işçi olarak çalışmaya başlayan Yılmaz, iki dönem sendikacılık yaptı. Yılmaz, 2009-2019 yıllarında iki dönem Milliyetçi Hareket Partisinden Tercan İlçesi Belediye Başkanı seçildi. Mehmet Yılmaz, evli ve 3 çocuk babasıdır.