登岸之后，往山中走去，在圓寂無人的樹林裏，可以聽到鳥聲此呼彼應。蘇東坡本來就性喜遊歷，現在常常獨自一人漫遊于山中。在高山之頂，在人跡罕到的水源岩石上，信筆題詩。有些寺廟他常去遊歷，因而成了廟中和尚的至交。在蘇東坡去世后，一個老和尚說出蘇東坡的一個故事。他說，他年輕時在壽星院當和尚，常看見蘇東坡在夏天一人赤足走上山去。他向和尚借一個躺椅，搬到附近竹林下選好的處所。他全無做官的架子，脫下袍子和小褂，在下午的時光，赤背在躺椅上睡覺。小和尚不敢走近，由遠處偷看這位一代大儒，他竟而看到別人無法看到的情形。他看見，也許他以為他看見，這位大詩人背上有七顆黑痣，排狀恰似北斗七星一樣。老和尚又說，那就足以證明蘇東坡是天上星象下界，在人間暫時作客而已。

蘇東坡在離開杭州之后，曾寫了一首詩給晁端彥，概括敍述他出外遊歷的習慣，那時晁端彥即將出使杭州，蘇東坡寫詩告訴他當注意的事。詩如下：

西湖天下泉，遊者無愚賢。

深淺隨所得，誰能識其全。

嗟我本狂直，早為世所捐。

獨專山水樂，付與宁非天。

三百六十寺，幽尋送窮年。

所至得其妙，心知口難傳。

至今清夜夢，耳目餘芳鮮。

君持使者節，風采爍雲煙。

清流與碧峨，安背為君妍。

胡不屏騎從，暫借僧榻眠。

讀我壁問詩，清涼洗煩煎。

策杖無道路，直造意所便。

應逢古漁父，葦問自寅緣。

問道若有得，買魚勿論錢。

由文學掌故上看來，蘇東坡在杭州頗與宗教及女人有關，也可以說與和尚和妓女有關，而和尚與妓女關係之深則遠超于吾人想像之上。在蘇東坡的看法上，感官的生活與精神的生活，是一而二，二而一的，在人生的詩歌與哲學的看法上，是並行而不悻的。因為他愛詩歌，他對人生熱愛之強使他不能苦修做和尚；又由于他愛哲學，他的智慧之高，使他不會沉溺而不能自拔。他之不能忘情于女人、詩歌、豬肉、酒，正如他之不能忘情于綠水青山，同時，他的慧根之深，使他不會染上淺薄尖刻、紈絝子弟的習氣。

這個年輕耽于玩樂的詩人之態度，若予以最好說明，那就要看他怎麼樣使一個道行高潔的老僧和一個名妓見面的故事了。大通禪師是一個持法甚嚴，道行甚高的老僧，據說誰要到他的修道處所去見他，必須先依法齋戒。女人當然不能進他的禪堂。有一天，蘇東坡和一群人去逛廟，其中有一個妓女。因為知道那位高僧的習慣，大家就停在外面。蘇東坡與此老僧相交甚厚，在心中一種淘氣的衝動之下，他想把那個妓女帶進去破壞老和尚的清規。等他帶著那個妓女進去向老方丈敬拜之時，老方丈一見此年輕人如此荒唐，顯然是心中不悅。蘇東坡說，倘若老方丈肯把誦經時用來打木魚的木縋借給妓女一用，他就立刻寫一首詩向老方丈謝罪。結果蘇東坡作了下面的小調給那個妓女唱：

師唱誰家曲，宗風嗣阿誰，借君拍板及閘縋，我也逢場作戲莫相疑。