相传，观音山是观世音菩萨初抵中华时的停留之地。盛唐时，山顶建有一座观音古寺，取名“观音禅寺”，它与曹溪宝林寺南北呼应，长期以来香火鼎盛，青灯不灭，后因战乱多次被毁，后人为弘扬传统佛教文化，故重修观音寺。