ครั้น พ.ศ. ๒๔๔๖ ทรงพระกรุณาโปรดเกล้า ฯ ให้ยุบตำแหน่งข้าหลวงกำกับราชการเมือง โดยทั่วไปแล้วย้ายให้พระพิทักษ์นรากร (อุ่น ภวภูตานนท์ ณ มหาสารคาม) (ซึ่งเดิมดำรงตำแหน่งเจ้าเมืองวาปีปทุมและยุบลงเป็นอำเภอวาปีปทุม เมื่อปี พ.ศ.๒๔๔๔)เป็นผู้ว่าราชการเมืองมหาสารคามในปีนั้น ภายหลังได้ทรงพระกรุณาโปรดเกล้า เลื่อนให้ท่านผู้นี้เป็นพระเจริญราชเดช เมื่อ ปีพ.ศ.๒๔๕๑ ประชาชนชาวเมืองมหาสารคามได้ให้สมญาต่อท่านนี้ว่า “ญาพ่อหลวง” ท่านได้สร้างโฮงเจ้าเมืองขึ้นอยู่เยื้องกับโฮงญาหลวงเฒ่า ลักษณะเป็นอาคารไม้สองชั้นทาสีแดง ด้านหลังมีบันไดเวียน ด้านหน้ามีซุ้มประตูไม้ มีรั้วรอบสูงแตกต่างจากบ้านเรือนทั่วไป ราษฏรเรียกโฮงหลังนี้ว่า “โฮงญาพ่อหลวง”กล่าวกันว่าโฮงญาพ่อหลวงได้แบบมาจากโฮงหม่อมเจียงคำ เมืองอุบลราชธานี