ただ化粧屋根裏を組み込み、天井高は低くおさえ、長押（なげし）も備えず書院造とはいえ穏やかな広間になっているのも、千家流の侘茶に合致した構えであろう。

残月亭と奥の九畳敷との境に、乱桐透（みだれぎりすかし）の欄間が入っている。桐の文様を少し歪にして切り抜いてある。了々斎好と伝わるが、端正な書院によく納まっている。了々斎はこの乱桐の切り取った形を、そのまま風炉先屏風の腰にはめたのである。こうして乱桐透風炉先屏風ができあがった。 少庵以降何度か建て替えがあり現在に至っている。

露地より残月亭を眺めると、切妻造りの屋根には、樂家五代の宗入（現在は十二代弘入）が焼いた鬼瓦が載り、また清巌宗渭（元伯時代に高桐院、南宗寺に住した）の筆になる「残月亭」の大きな扁額が掲げられている。 露地を渡って沓脱石（くつぬぎいし）から廊下もなく直接入席する残月亭は、広間とはいえ小間の延長のような落ち着いた気持ちにさせてくれる。

秀吉は、利休自刃の年に関白を辞し伏見城に移った。関白を継いだ甥の秀次を聚楽第に住まわせたが、謀反を企てたとして自害させ、ただちに聚楽第をことごとく取りつぶすことになった。 建物の多くは伏見城に移した。大徳寺の唐門や西本願寺の飛雲閣も聚楽第にあったといわれているが確証はないようだ。