这条路原名“万柏陵”，早年为汾河西岸东社、西流、大东流、小东流等村庄的耕田和荒郊野滩。有人对阎锡山说：太原汾河西畔的西北隅，属阴阳八卦中的“乾”方。此处，背负吕梁山脉的云中山系，后土广袤；面临滚滚北去的汾河之水，财源不竭，是一块极好的阴宅宝地。惟感不足的是地表林木稀疏，不过用人工去种植也绝非难事。

这一席话说得阎氏神感心受，于是便决定在这里广植柏树，必达万棵，以备将来辟建陵园，并先取其名曰“万柏陵”。后阎氏败亡，而居住在这一带地区的父老乡亲们，遂将万柏陵中的“陵”字，以其谐音的“林”字换而代之，更其名为“万柏林”。