告别了贾至，李白乘着湘江上的船准备到零陵（今湖南零陵）去。那里也是大舜南征有苗而逝的地方，传说此地有帝舜的陵墓，是谓零陵。一路上，他晓行夜宿。到长沙，他凭吊了贾太傅祠；过衡阳，他登了衡山的祝融峰。就这样，他边走边游，走了半个多月，才来到了永州零陵。
在永州（治所在今湖南零陵），李白住在永州司户参军卢象家中。卢象在天宝初年曾任司勋员外郎，与李白过从甚密。老友见面分外高兴。
卢象厅堂正中立着一幅《梦游天姥吟留别》的草书屏风。《梦游天姥吟留别》一诗是李白的名作，以前曾应卢象之请寄给他的，如今却书写成了一幅龙飞凤舞的草书，制成了屏风。李白见此格外高兴，他在草书前面仔细地端详着。
卢象见李白对此草书极感兴趣，说：“这是兄的大作。我请了一位书法高手写了这幅屏风，你看写得如何？”
李白连连夸道：“好，好，此字写得如骤雨狂风、惊蛇走虺，章法多变，变而不乱，堪称书法之精品。我朝自张旭以来，此等之草书尚不多见。”李白又看了看落款，上写着“怀素敬书李太白诗于大唐乾元元年秋”。于是问道：“这个怀素是谁？”
卢象说：“怀素是个和尚，一个二十三四的少年上人。”李白高兴地说：“这个怀素倒是值得一见的人物。”
绿天庵坐落在零陵城东的东山上，又名叫藏真庵。因庵内种有一大片芭蕉林，绿叶蔽天，故附近的百姓都叫它绿天庵，庵的原名反而很少有人知道了。
卢象领着李白到了绿天庵，穿过芭蕉林，来到僧房前。一个年轻的和尚出来迎接。这个和尚骨格清奇，神态闲适。他见是当今大诗人李白到来，高兴万分。听说大诗人李白要欣赏他的书法，更是兴奋异常。他赶紧走进内室，将他书写的李白诗歌的书法作品抱了出来，一幅幅地展开让李白看。
李白打开一幅，书写的是他的《将进酒》；又打开一幅，写的是他的《蜀道难》；又打开一幅，写的是他的《行路难》；又打开一幅，写的是杜甫的《饮中八仙歌》。幅幅写得龙飞凤舞、神采飞扬。李白和卢象连连夸赞：写得好，写得好！
李白问：“还有吗？”怀素把他以前所写的书法都拿了出来，往案子上一堆。他们又看完了，李白又问：“还有吗？”怀素对李白和卢象说：“跟我来！”
三人来到芭蕉林中的一座小屋前。怀素打开了小屋门，让李白和卢象看。原来，屋内装的全是写满字的芭蕉叶。
怀素又领他们到林外的一个墙角附近，见那里有座像坟一样的土堆。土堆前竖着一块木板，上书“笔冢”二字。怀素说：“贫僧自幼父母早亡，只得到寺院为僧。由于身为沙弥，无钱买纸，只好种此芭蕉林，取芭蕉叶当纸练字。”
看着这满屋写满字迹的芭蕉叶和二尺来高的“笔冢”，李白仿佛看到怀素当年在芭蕉叶上苦练书法的情景：屋中的芭蕉叶越积越高，一支支破笔渐集成冢，涮笔的池水越来越黑，怀素仍埋头苦书不止。
李白对怀素苦练书法的事非常感动，说：“我也给你写一幅！”回到室内，怀素研墨铺纸，李白挥起紫毫，文不加点地写道：
少年上人号怀素，
草书天下称独步。
墨池飞出北溟鱼，
笔锋杀尽中山兔。
八月九月天气凉，
酒徒词客满高堂。
笺麻素绢排数箱，
宣州石砚墨色光。
吾师醉后倚绳床，