南山踞南海之滨，形似巨鳌，古称鳌山，有观音菩萨坐骑之相。琼州历来就有观音出巡南海之说，观音菩萨在此循声救苦，普度众生之功德事迹，童叟可颂。南山侧望之东瑁、西瑁二岛，相传为观音闻声救难时担土跌落而成。

唐天宝年间，律宗祖师鉴真和尚第五次东度日本时受阻，漂至南山登陆弘法，后得观音菩萨护持，第六次东渡成功。日本遣唐僧空海大师西来求法，亦被台风阻至南山，得观音扶持，至长安求法成就。故佛家历来视南山为因缘殊胜，福泽之地。