『栗林荘記』から読み取れる現状との違いには(1)名前の違い(2)現在は無くなったものがある。
(1) 名前の違い
『栗林荘記』に書かれた園内名所の名前は全体的に漢文調になっている。以前から名前があったところも、漢文調に直されている。
例えば古い絵図で「富士」と書かれていた山は『栗林荘記』では「飛来峰」という名になっている。同様に「新富士」は「芙蓉峰」と名前が変わっている。
(2) 無くなったもの
沢山あるので箇条書きで。江戸時代のうちに無くなったものもあれば、明治の改修で無くなったものもある
・北門を入ってすぐのところ（地図1）に、かつて竹林があった。
「北従りすれば左右は篔簹万竿にして蒼翠衣に落ち 屡 幽谷を歩するが如き者を嶰口と曰ふ」
明治時代に改修され、現在は芝生広場になっている
・西湖近くに「百花園」という花畑があった（地図2）。
「原の西南湖に近きの所、方数十歩、百花畝を為し、奇葩名植、五彩目を奪ひ、絢蒨愛すべきを百花園と曰ふ」
花畑だったのは短期間でその後薬草園になり、平賀源内が薬草園で働いていたこともある。
現在は茶畑・梅林になっている。
・百花園の南にスギ・ヒノキがあった（地図3）
「園旁ひ湖に縁て南すれば、園杉檜に窮まり、皆合抱喬鬱にして茂林を為す」
現在は広葉樹中心？の林になっている
・脩竹岡（地図4）
「舎きて南し、艮則を過ぐれば琅玕数千、楚々として林立す。中に墪の如き者有り以て流憩すべきを脩竹岡と曰ふ」
現在も岡はあるが竹林ではなく林になっている。
・戛玉亭
西湖のほとり（地図5）に戛玉亭という茶室があった。
「岡に循ひ迤めに西南すること十許歩、乃ち戛玉にして、亭の西、湖岸に薄る」
この茶室は後に移設され、さらにその後は移設先で取り壊されたらしい。跡地には現在別の茶室 (日暮亭) がある。
・観音堂
園の南西の隅、小普陀の裏（地図6）に観音堂があった。
「山に隠れて仏祠有り。中に観音の慈容を龕す」
・考槃亭
庭の南東隅、水源の辺り（地図7）に考槃亭という茶室があった。
「隈の南に考槃亭有り」
場所は現在団体食事場になっているあたり。現在西湖のほとりにある「日暮亭」は、この考槃亭が紆余曲折を経て移転したものだという。
・飛来峰（地図8）からの風景
飛来峰は園の南東部にある人工の山 (ここから西向きに撮った写真がパンフレットなどに使われるあの写真）。かつては東の平地を見ることもできた。
「以て東に望めば、麦隴万頃波濤の如し。層巒畳嶂天を擡げて雲に入る。実に荘中の偉観と為す」
現在は目隠しの木があって飛来峰から東は見えない。
・留春閣と桜
南湖の北、現在茶店のあるあたり（地図9）に留春閣と言う建物があり、周囲にはサクラの木が植えられていた。近くには迎春橋という名の橋もあり、この辺りは「春」のエリアだった模様。
「隩の西隅、湖を退くこと二十歩許にして留春閣有り。閣の北 旄丘有り。丘樹尽く桜花なり。橋と閣と因りて号を受く」
現在は留春閣よりやや小さい、小松亭という売店・休憩所がある。
・栖霞亭
多分迎春橋の近くの丘の上（地図10）に栖霞亭というあずまやがあった
「講武シャに至りて止まり、閣に首い進むこと二十歩にして、東のかた澗に臨みて突起して台を為す。脩然と曰ふ。台に亭有り。栖霞と名づく。下、湖中の諸勝を瞰るに、咸な煙水 縹緲の中に在り」
・掬月亭の北（地図11）に、従者の部屋と厨房がつながっていた。
「其の于楼に雁行して西する者は初筵観なり。
観を背にして北なる者は従者の舎なり。舎北逆行して東なるものは庖厨なり」
明治時代に取り壊され、跡は平らな広場状になっている
・愛駿榭とサクラ
どこか（現在の桜の馬場（地図12あたりか））に馬の訓練の様子を見る建物「愛駿榭」があった。
「杠を度りて南すること十余歩 復た茂林の東に出づ 又南すれば 調馬之場有り
場上に愛駿榭有り 榭の東に講射之場有り 故を以て一に講武榭と曰ふ 榭の四面 桜花数千百株なり」
・砂利敷き
当時栗林荘の路には栗の実サイズの砂利が敷かれていた。
「径路皆細石の繭栗の如きを含む。雨後石沢ひ、苔滑にして屐歯に親しまず。是を以て遊ぶ者 常に濘を愁へずして顛仆を憚る」
現在はごく薄くごく細かい砂利が敷かれているところと、土の露出しているところがある。これは車いすやカートの通行のため。
