在《游衡岳记》中，他这样写道：“余用不肖之躯，弱冠登仕，不为不通显。然自惟涉世酷非所宜，每值山水会心处，辄忘返焉，盖其性然也。夫物唯自适其性，乃可永年。要欲及今齿壮力健，即不能与汗漫期于九垓。亦当遍游寰中诸名胜，游目骋怀，以极平生之愿。今兹发轫衡岳，遂以告于山灵。”
这篇诗文表面表达了张居正无意功名之意，其实真实心境恰恰相反，这正是他壮志未酬的真实写照。他这是借“景”消愁，在诗酒往还中消磨岁月。“欲骋万里途，中道安可留？各勉日新志，毋贻白首羞!”这样的诗句并不像是单纯地因游美景有感而发。什么是“万里途”“日新志”？当然不会是“遍游寰中诸名胜”之志，而是发自内心地为国家的前途担忧。
其实，在这一时期的作品中，他都或多或少地有些许不得志的情绪隐含其中，表面上已经放下，其实都郁积在胸中，只是还没爆发而已。他已经退出政治生活，一边请告回籍，一边还认定“欲骋万里途，中道安可留”!请病假的是他，自称“齿壮力健”的也是他；号称“闭关不启”的是他，约李义河游山的也是他。这就是这一时期张居正的纠结人生。
