旴江南岸面江背山的南山山麓有一天然岩洞，长宽约三米，高约二米，四周绿树成荫，环境幽静，是一个适合读书的好地方。当年曾巩和他的兄弟经常在此攻读诗书。他的哥哥曾晔写过一首七律记叙其事，《春日与弟子固、子进读书岩中飘然感兴》：“岩外雨晴满碧空，岩中人似坐鸿濛。南台高峙沙将拥，方石横流水自通。韫椟且须怀美玉，鸣弦恰好对焦桐。怡怡气味春无限，直欲翱翔万里风。”
明景泰年间，训导汪伦（一作纶）在岩前构筑岩亭，供游人凭吊先贤时憩息。此亭历代迭有兴废。1959年，政府拨款重修，匾额用的是邑人张履春（清末翰林）的墨宝。文革时被毁，1983年基本上按照原貌重建，石柱陶瓦，檐牙飞翘，缲绘彩饰，饶有古趣。题匾的是著名书法家舒同。
南宋朱熹特别崇敬曾巩，特意寻踪至此，亲题“书岩”与“听月石壁”于岩壁（今漶漫无存）。岩亭的石柱上留有前人所撰的四副楹联，建馆之初，专聘当今书坛巨匠书写，以饱游人眼福。此四联分别是“爪迹偶然留我辈，心香常此祝先生”（孙伯翔书）；“半壁石岩千秋胜迹，八家遗墨万古勋名”（王冬龄书）；“亭前树影江边月，岩下书声石上泉”（周永健书）；“几人得其趣，千载有余情”（邱振中书）。岩亭下方立有《重修读书岩记》的石碑，文字简洁明快，值得一读。据记载，书岩顶上有曾巩手植的二株樟树，名书岩樟，历七百年枝叶犹茂（现无存）。民间传说，读书岩内壁上有几个小孔，每天会流出米、油、盐，恰好可供曾氏兄弟一餐生活所需。
