หลวงพ่อเฉย เดิมทีหลวงพ่อเฉย เป็นพระพุทธรูปประจำอยู่วัดสมรโกฏ เป็นวัดที่สร้างในยุคเดียวกับวัดใหญ่อินทาราม (พระอารามหลวง) แต่ต่อมาภายหลังวัดสมรโกฏไม่มีพระภิกษุอยู่จำพรรษา และขาดผู้อุปถัมภ์บำรุง จึงกลายเป็นวัดร้าง และวิหารที่ประทับของหลวงพ่อเฉยก็ชำรุดทรุดโทรม ขาดผู้บูรณะซ่อมแซม จึงผุพังไปตามกาลเวลา ทำให้หลวงพ่อเฉย ต้องประดิษฐานประทับนั่งอยู่กลางแจ้ง ท่ามกลางแสงแดดและลมฝนอยู่นานหลายปี เป็นที่สังเวชต่อสายตาของผู้พบเห็นยิ่ง ชาวบ้านจึงได้ขนานนามท่านว่า "หลวงพ่อเฉย" เพราะท่านประทับนั่งเฉยอยู่กลางแจ้ง ฝนตก แดดออก ถูกต้องท่าน ท่านก็ไม่ได้บ่นได้ว่าอะไร ต่อมาชาวบ้านทนดูไม่ได้อีก จึงได้ประกอบพิธีอัญเชิญย้ายท่านจากวัดร้างสมรโกฏมาอยู่ ณ วัดใหญ่อินทาราม