ตามตำนานได้กล่าวว่า พระวิหารวัดชะแม หรือ เจดีย์ ในโรงเรียนบ้านชะแม สร้างขึ้นในสมัยสุโขทัยตอนต้น มีหลักฐานการเล่าตำนานแม่อยู่หัว เมื่อหลายร้อยปีที่ผ่านมา มีพระหน่อโอรสของเจ้าเมืองใด ได้พลัดพรากจากพระราชาและพระราชินี สันนิษฐานว่า ชื่อพระเจ้ารามสุริยวงศ์ และพระนางปทุมรัตน์ ซึ่งเป็นเจ้าเมืองเมืองหนึ่ง และได้มาอาศัยอยู่กับตายาย ชื่อ ตาพรหม และยายจัน และได้รับการเลี้ยงดูอย่างดี เป็นที่รักใคร่แก่ผู้พบเห็นและบุคคลทั่วไปเองจากเป็นเด็กมีอัธยาศัยดี พูดจาไพเราะอ่อนหวาน บางคนเดือดเนื้อร้อนใจ เจ็บไข้ได้ป่วย มีความทุกข์ มีโอกาสพูดคุยกับพระหน่อตามอัธยาศัย ก็สามารถหายไข้ คลายทุกข์ได้ บางคนปรารถนาสิ่งหนึ่งสิ่งใดได้อธิษฐานบนบานก็ได้สำเร็จผล ทำให้ประชาชนทั่วไปต่างให้ความเคารพ ต่อมาเมื่อทราบถึงพระราชา และพระราชินี ก็ได้มารับพระหน่อกลับพระราชวัง ระหว่างทางได้สร้างพลับพลา โดยพระราชินีก็ได้ทรงขออนุญาตต่อพระเจ้าอยู่หัวสร้างวัดขึ้นเพื่อเป็นกุศล และมอบให้ชาวบ้านละแวกนั้นที่จงรักภักดีต่อพระหน่อ โดยตั้งชื่อว่า วัดเจ้าแม่ ต่อมาเพี้ยนเป็น วัดชะแม และเลื่อนไปทางทิศเหนือ ส่วนวัดเจ้าแม่เก่า ปัจจุบันเป็นที่ตั้งของโรงเรียนบ้านชะแม ตำบลดีหลวง มีต้นโพธิ์เป็นหลักฐาน บางคนมีความเชื่อในความศักดิ์สิทธ์ ก็ได้ไปบนบานศาลกล่าวที่ต้นโพธิ์ ตามหลักฐานในพงศาวดารเมืองพัทลุง ในสมัยออกขุนเทพตำรวจเป็นเจ้าเมืองพัทลุง (อำเภอสทิงพระ ) มีผู้ศรัทธาสร้างเจดีย์วิหารหลายวัด หนึ่งในนั้น พระครูพิชัย ได้สร้างวิหารวัดชะแม หรือ เจดีย์ ในโรงรียนบ้านชะแม ในปัจจุบัน
