บุตรหลานพระยาไพบูลย์สมบัติได้ย้ายมาอยู่บ้านที่หัวมุมถนนสุรวงศ์ เรียกว่า "บ้านสุรวงศ์" เป็นตึกแบบฝรั่ง คฤหาสน์ใหญ่ ในตึกมีห้องบิลเลียด ข้างตึกมีสนามเทนนิส และในบริเวณห่างออกไปอีก มีเกาะเล็ก ขุดคลองรอบเกาะ เป็นสระว่ายน้ำแบบธรรมชาติ พี่และน้องสาวของเจ้า พระยาพิชัยญาติ (ดั่น บุนนาค) จะอยู่ในตึกหลังในแยกเป็นส่วนไป สิ่งที่ขาดไม่ได้คือโรงครัวขนาดใหญ่ เพราะพี่น้องสกุลบุนนาคทั้งชายหญิงส่วนใหญ่ จะชำนาญในการทำอาหารคาวหวาน อาหารที่ขึ้นชื่อของบ้านสุรวงศ์ ได้แก่ ข้าวบุหรี่ ขนมทองเอก ฝอยทอง ขนมเต่า ไข่แมงดา บุหลันดั้นเมฆ เป็นต้น

เมื่อถนนสุรวงศ์ และถนนสีลม เปลี่ยนเป็นย่านพาณิชย์ หลายครอบครัวจึงขายบ้านสุรวงศ์มาปลูกสร้างบ้านใหม่ที่ซอยเกษม (สุขุมวิท ๒๔ ปัจจุบัน) และที่สำโรง บุตรหลานพระยาไพบูลย์สมบัติ ส่วนใหญ่จะพำนักอยู่ที่ บ้านซอยเกษม (บริเวณซอยเมธีนิเวศน์ แยกสุขุมวิท ๒๔ ตลอดซอยเล็กจนถึงศูนย์การค้าฯ) และที่บ้านสำโรง (ซอยภานุวงศ์ สุขุมวิท ๑๑๗)

ในปี พ.ศ. ๒๔๓๑ เมื่อพระยาสีหราชเดโชชัย ซึ่งต่อมาเป็นเจ้าพระยาสุรวงศ์วัฒนศักดิ์ (โต บุนนาค) ได้ขอพระบรมราชานุญาตตัดถนนทางฝั่งพระนครขนานกับถนนสีลม ซึ่งในเวลาต่อมาได้รับพระราชทานชื่อว่า ถนนสุรวงศ์ และถนนเดโช ตามชื่อของท่านนั้น บุตรหลานของสมเด็จเจ้าพระยาฯ ได้มาตั้งเคหสถาน ณ ถนนสายนี้ ตั้งแต่บริเวณมุมถนนสุรวงศ์ตัดกับถนนเจริญกรุง เป็น บ้านของพระยาประภากรวงศ์ (ว่อง บุนนาค) กับท่านเรียบ (ซึ่งต่อมาได้สร้างโรงแรมทรอคาเดโรขึ้นในบริเวณนั้น) ถัดลงมาเป็นที่ดินของ พระยาสุริยานุวงศ์ประวัติ (เต็น บุนนาค) กับคุณหญิงนุ่ม พระยาสุรวงศ์วิวัฒน์ (เตี้ยม บุนนาค) เจ้าจอมเลียม พระอดิศักดิ์อภิรัตน์ (เต็มสุริยวงศ์ บุนนาค) ถัดไปทางถนนเดโช เป็นบ้านของศาสตรา-จารย์นายแพทย์เติม บุนนาค ศาสตราจารย์ติดต่อ บุนนาค คุณเดียร์ บุนนาค ภรรยาพระโชติศิลปคุณ (โชติ โชติก-เสถียร) และหม่อมดำริห์ บุนนาค ในหม่อมเจ้าสิทธิยากร วรวรรณ เป็นต้น

จากถนนสุรวงศ์ตัดกับถนนเดโชลงมา จะเป็นบ้าน ของพระยาสุพรรณสมบัติ (ติน บุนนาค) พระยาชัยสุรินทร์ (ตาล) และพระยาสุริยานุวงษ์ประวัติ (เต๋า บุนนาค) ฯลฯ ส่วนพระยาอภิบาลราชไมตรี (ต่อม บุนนาค) มีบ้านอยู่ที่หัวมุมถนนคอนเวนต์ตัดกับถนนสีลม