姚兴专心于佛法，供养着🜺三千余名僧众，这些人往来宫中，参与各种事🐻🅁🃧务。
只有觉贤自守清静，与众不同。然而他并😒🀷🁗未因此免掉💡📕麻烦。
他的麻烦出在两件事上。
某天，🙄🇷🝉觉贤对弟子说：🈜“我昨天看见有五艘船从家乡向这里驶来。🞖”
弟子将话传给外人，于是关中僧人当即认为觉贤妖言惑众：“谁不知他家在天竺？中♛🉅🄽国与那里远隔万里，他又不是神佛，如何能看得见呢？”
另一件是，觉贤弘扬禅法，远近僧俗闻风而至。但学习所得有深🈩浅，证得的境地有高低，难免有矫伪之徒用奸耍滑。
有个弟子，很少用心参证，却自称得了不还果，觉贤又没有立即察问。于是流言🈛⚪四起♛🉅🄽，诽谤横生，随时都可能发生不测之🕎🈛⚨灾。
徒众中很一部分是投机取巧之流，见势不好，有的匿名遛掉，有的半夜跳墙而走，半天工夫，便散得差不多🜃⛅了。
只🅎🅝是觉贤平淡自处，不以为意。但有人找上门来了。
长安僧人道恒、僧契前来，表情庄重地说：“你先前宣称🍣有五只船要来，结果了无踪影，虚而不🁺实，你的门徒也诳言惑众，爱起纷争，这于戒律已🏆🗱有违背。你最好快走，不要停留！”
觉贤平静地说道：“我如漂于水上的浮萍，去留都极容易。只是遗憾在此地🏼有志未伸。”说完便收拾行装。
觉贤与弟子🖁慧观等四十多人开始动身，当时太阳很好，照得一切明晃晃的。
师徒一个🖹🗢🝕个神志从容，面无异色，轻松得如同出游一般。
许多人见他们都如同遇到妖人，避到远处，也有眼力超凡者为他们惋惜，相送的僧俗聚集了一千多。
姚兴听说后怅恨不已🌝⛬🝟，将道恒召去，责备道：“觉贤和尚，不远万里来游化传道，本欲宣扬。真知卓见尚未吐露，但用意之良苦🝄🈪，也足以让人感慨，怎么能因一句话有错，就让万众失去导师呢？🀞♞”
道恒🝒心内不服，但不得不做出忏悔状，姚兴🍒🚦便派使者骑快马追赶。
使者说明来意，觉贤平淡地说：“陛下皇恩浩荡，值得感念，然而既已启程🏼，就恕不能从命了。🁺”
觉贤知道凡事皆有缘分，不必勉为其难，日后终有被承认的一🛜🝌天。
觉贤率众人连夜赶路，向南直奔庐💠山，那便是宋的境地了。
隐居庐山的高☰🃁🔱僧慧远，早就听说过觉贤的大名，知道觉🐮🖿贤🍣来，欣喜非常，如遇故旧。
慧远认为，觉贤的被🌝⛬🝟排斥，过在门徒，至于那五只船的说法，也只看你同意🏼与否，于律无犯。
于是他派遣弟子昙邕，送🜺信给姚兴及⚜💋🐔关中僧人，为觉贤排解。
又请觉贤他译了数种禅经。
觉贤居无定所，一年多以后，便西上江陵。