今日的青山禪院是座大叢林，有很多建築物，但是最初的青山禪院，衹是一座岩及一間茅屋而已。青山禪院內，有一個「杯渡岩」，那是一個大山岩，岩內有一平石，是杯渡禪師最初到青山居住的地方。現在該岩上的平石，已建成一座小廟，廟額寫「杯渡禪師」四字。這山岩。就是最初的青山寺。岩上的小廟，就是最初的杯渡廟。據說是由杯渡禪師徒弟所建，他的門徒，搭茅屋於岩前，作為寺門。

杯渡禪師，根據高僧傳所載，他是晉代人，但不知是印度人還是中國人，衹知他歡喜坐一隻大木杯雲遊四海，故名杯渡。他因唸咒救了病重的齊諧之妻胡氏，在北方收了齊諧做徒弟，作為俗家弟子。

到了唐末，廣東成立一個小皇朝，名叫南漢。當時南漢帝於大寶十一年（公元九六九年）封青山為瑞應山，並命人雕塑杯渡禪師的神像，在山上供奉，開始建一間杯渡寺，這是青山禪院前身。 《新安縣志》載云：「所謂屯門者，即杯渡山也，舊有軍寨，在北之麓，今捕盜廨之東，有偽劉大寶十二年歲次甲寅，關翊衛副指揮，同知屯門鎮檢點防右靖海都巡陳延，命工鐫杯渡禪師之像，充杯渡山供養。」可見這小廟之外，另有一座九百年前的杯渡大石像。

論本港的古廟，相信這一座杯渡禪師廟是最古一座。南漢距今已九百年，唐朝至今已千餘年，何況在晉代，所以這間小廟，應是全港最古的廟。

東莞陳伯陶有詠杯渡禪師廟詩，最後兩句指此廟建於六朝之際。