据宋名臣赵鼎《林灵素传》记载：
先生有一室，两面窗前门后壁乃入靖之处，中有二椅，外常封锁，不许一切人入。虽驾到，亦不引入其室。蔡京疑，遣八厢密探之，有黄罗帐、上销金龙床及朱红椅桌。奏上：林公有僭意，愿陛下亲往，臣当从驾指示。敢有不实，臣当万死。帝即幸通真宫，先生迎驾起居，帝与京径入其室，启封关锁，但见粉壁明窗，椅桌二只，他无一物。蔡京惊惶战惧，叩头请罪。先生请问其因，帝曰：蔡京可诛。先生奏乞赦之。
这段话翻译成白话文，简单地说就是：徽宗皇帝赏赐给林灵素建造居住的通真宫，里面有一间密室，是林灵素修行入静的地方，谁都不准进去，就是往常徽宗皇帝来了都不可以进。
为了扳倒林灵素，蔡京派心腹潜入，发现里面布置有黄罗帐、销金龙床、龙案龙椅，这些都是只有皇帝才能拥有的设施，蔡京告林灵素有谋反之心。
徽宗皇帝宣林灵素，问他有没有。
林灵素说：“我现在就带你们去看，如果真如蔡太师所说这些，臣愿千刀万剐。”
于是徽宗皇帝带着蔡京前去搜查。
进去搜查了一番，什么也没有搜到。事实证明，蔡京诬陷。
徽宗皇帝发怒，要杀蔡京，林灵素却替蔡京求情，让徽宗皇帝饶了蔡京。
林灵素在朝廷可谓红得发紫，肯定会得罪不少人，但他也不是吃素的，搞关系也是一流。
有一天，林灵素请朝廷十几个大臣吃饭，喝酒一直喝到天黑。看看天晚了，他就问诸位大臣：“今夜是如此美好，大人们今夜都有什么安排呀？”
那十几个大臣都不明白林灵素何意，交头接耳一番，面面相觑。
林灵素转而说道：“今天我请客，京城各大青楼的姑娘们随叫随到，安排过来陪伺各位大人，好不好啊？但是，这些妓女们，怎么有资格陪伺诸位大人呢？今天小弟我就露一手，全当给诸位年兄年弟逗个乐子。各位兄台只要说出你们心目中心仪女子的芳名，不论她现在在什么地方，我都能把她召来，今夜陪各位大人安寝。”
那些大臣们哪里会相信这么神奇的事情？可是，大家伙都喝了许多酒，人嘛，都是有从众心理的，有大胆的就说出了自己相好的女人名字。
有人带头，大家纷纷把自己心仪的女人名字都写在纸上，递给了林灵素。
林灵素于是把大家带到了他家后面的一个竹林子里，给每人安排了一间客房。
果然，三更以后，大臣们写出来名字的那些女人，纷纷推开了他们的屋门，来跟自己心爱的男人幽会。
有的是自己的初恋情人，有的是那些大臣垂涎已久的青楼里的花魁。
天亮以后，大家聚拢在吃早饭的餐厅，说起昨夜的经历，均感到不可思议。
林灵素见大家议论纷纷，个个兴奋不已，他呵呵笑着对大家说：“这些于我而言，雕虫小技罢了。不过，各位大人，等会儿你们回到各自房间，问问你的心上人，她们是怎么来的。”
听了林灵素的话，还真有人跑回房间问女人。那女人回答：“昨天夜里，我做梦梦见有一个神仙召唤我，过来侍奉大人。”
从此，这些林灵素宴请的大臣们，无不对他佩服得五体投地。
林灵素在京城的六年时间里，发生了几次与水有关的事件，也正因为此，被蔡京和太子等人抓住了把柄，最后被徽宗贬出了京城，回到他的老家温州。
第一次，天逢大旱，整个汴梁赤地千里，别说庄稼被旱死了，就连人畜都没有水喝。
徽宗皇帝命林灵素作法祈雨。
林灵素说：“这是朝里出现了奸臣，上天在惩罚我大宋呢？玉皇大帝不允许降雨。陛下要想风调雨顺，国泰民安，一定要铲除朝里的奸臣，同时迁都到江南，就可一切顺遂。”
徽宗皇帝把龙眼一瞪：“你别给我整这些没用的，我养着你，所谓养兵千日用兵一时，你必须给我把雨求来。”