“เป็นที่ประทับของเจ้าฟ้ายุคลทิฆัมพร(กรมหลวงลพบุรีราเมศวร์) เมื่อครั้งมาดำรงตำแหน่งสมเด็จอุปราชมณฑลปักษ์ใต้ และเป็นที่ประทับของพระบาทสมเด็จพระเจ้าอยู่หัวและสมเด็จพระนางเจ้าบรมราชินีนาถฯ ในคราวเสด็จเยี่ยมราษฎรในจังหวัดภาคใต้”
พระตำหนักเขาน้อย สร้างเมื่อ พ.ศ. 2454 เพื่อเป็นที่ประทับของเจ้าฟ้ายุคลทิฆัมพร(กรมหลวงลพบุรีราเมศวร์) เมื่อครั้งมาดำรงตำแหน่งสมเด็จอุปราชมณฑลปักษ์ใต้ เคยใช้เป็นที่ ประทับของพระบาทสมเด็จพระเจ้าอยู่หัวและสมเด็จพระนางเจ้าบรมราชินีนาถฯ ในคราวเสด็จเยี่ยม ราษฎรในจังหวัดภาคใต้ เมื่อเดือนมีนาคม 2502 ปัจจุบันใช้เป็นจวนผู้ว่าราชการจังหวัด