隐居衡阳

徐安贞侍郎，久居中书省，因常弹劾李议右丞，恐其罪累，乃逃隐南岳衡山寺庙，为东林种菜和尚，多年装哑。后逢修建佛殿，在和尚中挑选擅长书法的人题梁，徐安贞站出来，掌事者发怒，用杖在脊背打了几下。徐在地上写道：“我虽不能说话，过去曾学书法，请让我一试。”试时，才写数行，众僧都悦服，因让他书写。当时李邕游岳过寺，看了题的字说：“不知徐公在此。”把他召来，紧握他的手说：“朝廷对于你已不议论了。”就让脱去布褐，穿上官服。曾经杖击他的和尚，无处潜逃。徐对李说：“我害怕死罪，遁迹深山。这些平庸的和尚怎会知道我呢?”于是同车北归，到潭州，按察使水亭相迎。徐侍郎指着李大声说：“和尚在潇湘遇到老朋友，得随归客，不然困顿于山谷，只能作寺中的杂役终其一生了。”