บริเวณบ้านสวนจัน  เดิมเป็นที่ตั้งของบ้าน ทวดหู - ทวดจัน  (โยมพ่อโยมแม่ ของหลวงปู่ทวด) ตั้งอยู่บริเวณ ใกล้เคียงกับวัดต้นเลียบ ที่ โยมพ่อกับโยมแม่ ของหลวงปู่ทวด ได้นำรกของหลวงปู่ทวด ไปฝังไว้ที่นั่น   บ้านสวนจันนั้นแต่เดิมเป็นที่ดินของเศรษฐีปาน  ซึ่งได้อนุญาตให้สร้างเรือนทาส  ซึ่งก็คือเรือนของทวดหู - ทวดจัน ในบริเวณนี้นั่นเอง   ซึ่งมีต้นจันอยู่ด้วย  จึงเรียกกันว่า  "บ้านสวนจัน"    โดยปัจจบันได้มีการพัฒนาให้เป็น    ตลาดบ้านสวนจัน   บ้านเกิดหลวงปู่ทวด