พนม เป็นวัดที่สำคัญมาก ซึ่งกรุงพนมเปญก็มีที่มาจากวัดแห่งนี้ด้วย ดังมีตำนานพื้นบ้านกล่าวว่า เมื่อราวหกร้อยปีก่อน มีเศรษฐีนีชาวเขมรผู้หนึ่งชื่อเพ็ญ ได้ไปพบพระพุทธรูปน้ำพัดมาเกยฝั่งหลายองค์ นางมีศรัทธาแก่กล้าในพระศาสนา จึงได้สร้างวัดขึ้นบนยอดเขาที่อยู่ใกล้ๆ กันเพื่อเป็นที่ประดิษฐานพระพุทธรูปเหล่านั้น แม้เขาลูกนี้จะสูงเพียง 27 เมตร แต่ก็ถือเป็นเขาที่สูงที่สุดในละแวกนี้ จึงเรียกกันเรื่อยมาว่า "พนมเปญ" แปลว่า "เขายายเพ็ญ"

วัดพนมมีประตูทางเข้าหันออกไปทางตะวันออก ทางขึ้นนำเป็นบันไดนาค แต่ไม่สูงนัก วิหารใหญ่นั้นสร้างขึ้นใหม่หลายครั้ง หลังที่เห็นอยู่ในปัจจุบันเป็นของที่สร้างขึ้นในปี 1926 มีภาพจิตรกรรมฝาผนังวาดเป็นเรื่องรามเกียรติ์ ลานวัดทางทิศใต้มีศาลาเล็กๆ หลังหนึ่ง ใช้ตั้งรูปปั้นยายเพ็ญผู้สร้างวัดนี้

วัดพนมเป็นที่รวมของความเชื่ออันหลากหลาย เป็นวัดในพุทธศาสนาสายเถรวาท แต่ก็มีศาลเปรียะโฮ ซึ่งเป็นเทพที่ชาวเวียดนามนับถือกันมากตั้งอยู่ทางตอนบนของวิหาร ขณะที่โต๊ะบูชาด้านหน้ามีรูปปั้นขงจื้อและปราชญ์จีนอีกสองท่าน ด้านซ้ายของแท่นบูชาใหญ่ก็มีเทวรูปพระนารายณ์แปดกร ประดิษฐานอยู่ มองลงมาทางทิศตะวันตกของวิหารจะเห็นเจดีย์ใหญ่อันเป็นที่บรรจุพระอัฐิธาตุของพระเจ้าพงหยัต