ในต้นรัชกาลที่ ๖ ได้ย้ายไปเป็นผู้บังคับการตำรวจเรือนจำกรุงเทพฯ ซึ่งมีตำรวจอยู่ในบังคับบัญชา ๒ โรงพักคือ โรงพักเรือนจำกองมหันตโทษและลหุโทษ (ที่ริมคลองหลอด สถานที่ตั้งกระทรวงยุติธรรมในปัจจุบัน) ต่อมาได้เป็นผู้บัญชาการกองมหันตโทษ สังกัดกรมราชทัณฑ์อีกตำแหน่งหนึ่ง โปรดเกล้าฯ เลื่อนยศและพระราชทานบรรดาศักดิ์เป็นนายพันตำรวจโท พระพัศดีกลาง และนายพันตำรวจเอกพระยาพัสดีกลาง ตามลำดับ ลาออกรับพระราชทานบำนาญโดยครบเกษียนอายุ ๕๕ ปี เมื่อ พ.ศ. ๒๔๗๕ ได้รับเครื่องราชอิสริยาภรณ์ชั้นสูงสุดคือ ทวิติยาภรณ์มงกุฎไทย ตติยจุลจอมเกล้าวิเศษ และตริตาภรณ์ช้างเผือก

พระยาพัศดีกลาง (โหม่ง บุนนาค) สมรสกับคุณหญิงเนียน ธิดาเจ้าพระยาศรีวิไชยชนินทร (ชม สุนทรารชุน) มีบุตรธิดา ๕ คน บุตรได้แก่ จารุ มีธิดาชื่อ ละม่อม เป็นภรรยาพระนิตินัยประสาน (พงศ์ บุนนาค) ธิดาชื่อ ยุพดี เป็นนางพระกำนัลในรัชกาลที่ ๖ สมรสกับร้อยโทเฉลียว โชติกเสถียร ธิดาชื่อ อุบล เป็นหม่อมในหม่อมเจ้า พรพิพัฒน์ เกษมสันต์ โอรสพระเจ้าบรมวงศ์เธอชั้น ๖ กรมหลวงพรหมวรานุรักษ์

พระยาพัศดีกลาง(โหม่ง บุนนาค)ถึงอนิจกรรม พ.ศ. ๒๔๙๘ อายุ ๗๘ ปี