มีเรื่องเล่ากันมา เมื่อประมาณ ๑,๐๐๐ ปีล่วงมาแล้ว สมัยทวาราวดี มีหลักศิลาจารึก เรียกว่า เจ้าพ่อหลักหิน ประดิษฐานอยู่ระหว่างบ้านหนองเกสร
เขตอำเภอวัดเพลงในปัจจุบัน กับวัดโขลง ใกล้เคียงกับวัดคูบัว อำเภอเมือง จังหวัดราชบุรี ซึ่งกรมศิลปากรได้ยกเมืองคูบัวขึ้นเป็นเมืองประวัติศาสตร์

เมื่อประมาณ ๖๐–๗๐ ปี มาแล้ว มีชาวนาแถบบริเวณบ้านหนองเกสร หมู่ ๑ ตำบลวัดเกาะศาลพระ ได้ลงแขกนวดข้าว ขณะนั้นได้มีปลาว่ายไล่กวดกัน
ในลำคลองใกล้ที่นวดข้าวอยู่ ชาวนาจึงลงไปงมปลาในลำคลอง น้ำในคลองกับสงบนิ่ง ไม่ปรากฏว่ามีปลาแม้แต่ตัวเดียว คงงมได้หลักศิลาจารึก
ขึ้นจากลำคลองแท่งหนึ่ง ลักษณะท่อนล่างคล้ายดอกบัวตูม ช่วงบนเป็นสี่เหลี่ยมเสมอกัน ยอดเป็นรูปจั่ว มีสีเขียวคล้ำ ยาวประมาณ ๑ เมตรเศษ
เชื่อว่าเป็นสิ่งศักดิ์สิทธิ์ จึงนำหลักศิลาจารึกแท่งนี้ขึ้นเกวียนแล้วร่วมกันแห่แหน เพื่อนำมามอบให้ไว้กับที่ว่าการกิ่งอำเภอวัดเพลง ปรากฏว่าการคมนาคม
สมัยนั้นลำบากมากไม่มีถนนหนทาง จนกระทั่งนำหลักศิลาจารึกแท่งนั้นมาพักไว้ที่วัดเวียงทุน ตำบลเกาะศาลพระ ในที่สุดก็มาถึงที่ว่าการกิ่งอำเภอวัดเพลง
แล้วก็ทำพิธีอัญเชิญหลักหินมาประดิษฐานไว้ ณ ที่หน้าที่ว่าการกิ่งอำเภอวัดเพลงทางด้านริมน้ำของที่ว่าการอำเภอวัดเพลง โดยเชิญชวนให้ประชาชนมาเคารพกราบไหว้ “เสมือนหนึ่งเป็นหลักเมืองของอำเภอวัดเพลง”