旴江南岸面江背山的南山山麓有一天然岩洞,长宽约三米,高约二米,四周绿树成荫,环境幽静,是一个适合读书的好地方。当年曾巩和他的兄弟经常在此攻读诗书。他的哥哥曾晔写过一首七律记叙其事,《春日与弟子固、子进读书岩中飘然感兴》:“岩外雨晴满碧空,岩中人似坐鸿濛。南台高峙沙将拥,方石横流水自通。韫椟且须怀美玉,鸣弦恰好对焦桐。怡怡气味春无限,直欲翱翔万里风。”
明景泰年间,训导汪伦(一作纶)在岩前构筑岩亭,供游人凭吊先贤时憩息。此亭历代迭有兴废。1959年,政府拨款重修,匾额用的是邑人张履春(清末翰林)的墨宝。文革时被毁,1983年基本上按照原貌重建,石柱陶瓦,檐牙飞翘,缲绘彩饰,饶有古趣。题匾的是著名书法家舒同。
南宋朱熹特别崇敬曾巩,特意寻踪至此,亲题“书岩”与“听月石壁”于岩壁(今漶漫无存)。岩亭的石柱上留有前人所撰的四副楹联,建馆之初,专聘当今书坛巨匠书写,以饱游人眼福。此四联分别是“爪迹偶然留我辈,心香常此祝先生”(孙伯翔书);“半壁石岩千秋胜迹,八家遗墨万古勋名”(王冬龄书);“亭前树影江边月,岩下书声石上泉”(周永健书);“几人得其趣,千载有余情”(邱振中书)。岩亭下方立有《重修读书岩记》的石碑,文字简洁明快,值得一读。据记载,书岩顶上有曾巩手植的二株樟树,名书岩樟,历七百年枝叶犹茂(现无存)。民间传说,读书岩内壁上有几个小孔,每天会流出米、油、盐,恰好可供曾氏兄弟一餐生活所需。