Sejarah Desa Mardiharjo bisa dibilang ketika ada kepal desa yang pertama yaitu Mbah Sumo Harjo sekitar tahun 1940-an. Sejak saat itu desa ini diberi nama Desa P1 Mardiharjo.
Mardiharjo sendiri memiliki makna dalam Bahasa Jawa Mardi yaitu Jalan. Sedangkan Harjo memiliki makna baik. Sehingga makna utuhnya sebagi jalan memperoleh kebaikan. Kata P1 sendiri didapat dari pemberian Belanda ketika membagi blok daerah transmigrasi dengan nama-nama abjad. Mulai dari A sampai Y. Baru kemudian diberi tambahan nama setelah resmi menjadi desa.
P1 Mardiharjo mulai menjadi desa setelah Mbah Sumo Harjo diangkat sebagai kepal desa pertama pada tahun 1942. Meski sebenarnya desa Mardiharjo ini pertama kali dibabat dan ditinggali orang pada tahun 1936 seiring dengan program transmigrasi yang dicanangkan Pemerintah Hindia Belanda. Proses transmigrasi tahap ke dua tahun 1938 diperuntukkan untuk membuka lahan areal persawahan di wilayah Merasi. Meskipun demikian Mardiharjo ketika itu belum disebut sebagai desa, karena baru ditinggali beberapa keluarga yang ditugasi untuk membuka lahan.
Masa pemerintahan Mbah Sumoharjo dimulai pada 1942 hingga 1960. Dalam kurun waktu tersebut jumlah penduduk semakin bertambah. Titik pusat pertama pemukiman berada di blok lapangan dan blok Kaliduren. Baru kemudian meluas ke wilayah Madu Gondo (Dusun 3 sekarang), Maduretno dan blok Kayangan. Proses awal pembukaan lahan sudah ditentukan oleh pemerintah waktu itu, sedangkan Kepala Desa bertugas mengarahkan orang-orang yang baru datang. Satu gaya khas Mbah Sumo yakni melarang penduduk yang membuka lahan di desa untuk pergi merantau. Apabila memaksa merantau otomatis harus pindah membawa semua harta bendanya, sedangkan status tanahnya kembali ke desa. Hal ini untuk meminimalisir kegagalan dalam membentuk sebuah desa.
Estafet kepemimpinan Kepala Desa Mardiharjo berganti kepada Mbah Niti Wiyono selama satu periode di tahun 1975. Pada zaman Mbah Niti ini lapangan desa mulai dibangun dengan diratakan menggunakan buldoser milik PU. Lapangan sendiri dulunya berupa bangunan balai desa dan lahan kosong. Pada tahun 1983 Mardiharjo juga mendapat program AMD atau ABRI Masuk Desa dengan membangun bendungan dan aliran irigasi.
Kemudian pada tahun 1984 Kepala Desa dijabat oleh H Marsudi selama 2 periode masa jabatan. Pada masa H Marsudi jalan desa mulai mendapat program pengerasan jalan yang mana awalnya jalan desa berupa tanah. Sedangkan listik mulai masuk desa Mardiharjo pada tahun 1993 an. H Marsudi selesai masa jabatan 2 periode di tahun 2000 dan tidak ada yang berkenan mencalonkan diri menjadi kepala desa. Akhirnya H Marsudi menjabat sementara selama empat tahun. Baru pada tahun 2004 diadakan pemilihan kepala desa.
Periode selanjutnya melalui pemilihak Kepala Desa Mardiharjo berganti kepada Bapak Waris. Bapak Waris memimpin selama satu periode 2004-2009. Kemudian periode kepemimpinan Desa Mardiharjo dilanjutkan oleh Bapak Warsono selama dua periode dari 2009 sampai 2021. Kemudian selama satu tahun kepala desa ditunjuk bupati melalui Pjs. Asma Paris. Baru pada tahun 2023 diadakan pemilihan kepala desa yang dimenangkan oleh Bapak Sugiyanto. Awal jabatan hanya selama 6 tahun sampai 2029 sampai terjadi perubahan Undang-undang yang menambah masa jabatan selama dua tahun.
Pada tahun 2024 pengukuhan sekaligus penyerahan Keputusan Bupati Musi Rawas mengenai penyesuaian masa jabatan Kepala Desa se-Kabupaten Musi Rawas ini sebagai implementasi Undang-Undang Nomor 3 Tahun 2024 tentang perubahan kedua atas Undang-Undang Nomor 6 Tahun 2014 tentang Desa, bahwa masa jabatan Kepala Desa yang sebelumnya 6 tahun menjadi 8 tahun sehingga perlu dilakukan perpanjangan masa jabatan Kepala Desa 2 tahun. Dengan demikian, masa jabatan Kepala Desa Mardiharjo Sugiyanto. B. diperpanjang sampai dengan 2031.
