耕乐堂现有建筑为二路三进带花园，典型的明清园林前宅后园的布局。一条备弄将住宅区分为南、北两路，南路依次是门厅、堂楼、绣楼，第一进门厅为五开间，六扇墙门对外，庄重朴实。第二进堂楼和第三进绣楼均为五楼五底带南北厢房，楼层高爽明亮，绣楼西山墙内嵌一尊镇宅的狮兽，虽已残缺，仍不失威风凛凛之气，此外绣楼还保存着四只黄榉木柱础，从建筑形制、榉木风化程度来看应是清代仿明建筑特征。北路为门厅、大厅、桂花厅，原为潘氏旧宅，1998年修复耕乐堂时并入。
耕乐堂花园面积约3.5亩，属于中小型园林，园主采用“咫尺之内，再造乾坤”的理念，以鸳鸯厅和曲廊将花园分成南北两部分，南部庭院、北部园林，隔而不断，在有限的面积创造无限的空间，这也是苏州园林常见的造园手法。鸳鸯厅，又称荷花厅，位于园林中部，是园内的主要建筑，坐北朝南，面阔三间，硬山顶纵头脊，厅前设轩廊，厅内前后带船篷轩、内四界梁架扁作，梁枋扁阔粗壮无雕刻，为清中期风格。厅北有一平台临池而建，池中原种有荷花和野菱。初夏时节荷花次第开放，微风拂面，清香四溢，游鱼历历可数，是园中赏荷观鱼绝佳处。鸳鸯厅又是园主人的礼佛场所，同里方面在介绍耕乐堂园史时，将环秀阁认作佛堂，实误。最后一任园主黄仲梁外孙任友谅老先生在回忆录中写道：“1949年，我和姐姐整个暑假一直住在外公家，那年适逢（耕乐堂）建园500周年。记得在园内鸳鸯厅佛堂内进香时，用的是著名的明代宣德香炉，供案上方是鎏金横匾“阴功积德”，据称也是明朝园主留下来的文物。”
鸳鸯厅（顾哲衡提供）
沿着鸳鸯厅往西走数步，进入“藏幽”“流芳”月洞门，内有一方蟹眼天井，东侧有一组黄石假山依鸳鸯厅西山墙堆叠，书带草点缀其间，虽寥寥数块，确给人气势磅礴的感觉，是园内为数不多的明代遗留下来的古迹。天井西侧便是燕翼楼，也称更楼，为打更、瞭望之用。三楼三底，四方歇山顶微有戗角，犹如春燕展翅，凌水欲飞，故名燕翼楼。燕翼楼梁架呈扇形，工艺精湛、结构复杂，具有较高历史研究价值。燕翼楼楼上四面皆设窗，东、西、北面设短窗、南面为月洞窗，旧时向西推窗远望，村坞、竹树、农舍历历在目，天气晴朗时又可见吴中诸山，向北望去满园景色一览无余。出燕翼楼往北原是一座攒尖顶角亭，六十年代因年久失修拆除，今改建为敞轩，依白皮松临水而建，命名为古松轩。
燕翼楼、古松轩（顾哲衡提供）
明代遗迹黄石假山（顾哲衡提供）
环秀阁位于园中最北处，三楼三底，跨水而建、悬挑水面，下面用八根花岗石石柱支起整座建筑，立柱下还有石板作基础，历百年不朽。与鸳鸯厅一高一低形成对景，隔池相望。环秀阁阁底突破常规，不铺青砖，改用可拆卸的活络地板，夏天在此设榻小憩、剖瓜赏荷，暑热瞬时消散，别有一番风趣。环秀阁楼上、楼下皆用落地长窗，殊为少见，为防止人员赏景时意外跌落，楼上落地长窗内从东到西设有八角形、长方形、腰圆形三个窗框，窗框纹饰雕刻精美、富有变化，有卍字纹、夔龙纹等，既美观又实用，堪称一绝。环秀阁东侧有一复廊通往墨香阁，三楼三底，歇山顶大戗角，原为潘氏堂楼，修复耕乐堂时并入，此楼外墙砖细剁头做成腰鼓形，颇为罕见。目前我们所看到的耕乐堂住宅和园林为清中后期留下的规模、形制，解放后为学校、福利院使用，仅拆除第一进墙门和后花园白皮松北面的角亭，其余建筑保存基本完好，连门窗大都是原有保留，这也是耕乐堂能列入全国重点文物保护单位的主要原因。
墨香阁（顾哲衡提供）
建筑、叠山、理水、花木是园林四要素之一，四者相辅相成，缺一不可，倘若在园林里还能见到古树名木，更显弥足珍贵。耕乐堂也不例外，至今存有4棵挂牌古树，白皮松1棵、黄杨1棵、金、银桂各1棵。白皮松斜卧在池西假山洞上，为明末所植，树龄410年，饱经风霜，通体呈乳白色（白皮松树龄越大，主干越发白），老干斑驳、苍劲古朴、树姿优美，形似一条蛟龙盘旋而上，直冲云霄。按时间推算，这棵白皮松很可能是朱祥五世孙或六世孙所植。荷花池三曲桥东有一座桂花厅，坐东朝西，三开间梁架扁作，厅前因植有金桂、银桂两棵百年老树而得名。前两年银桂长势衰弱主干枯死，如今根部萌发多支新芽，延续着老树生命，甚是欣喜。金桂长势良好，每年中秋前后，未入园内，一股清甜就已扑面而来，走进园中，花香四溢，沁人心脾。其实耕乐堂内还有古树未被发现，它是一棵罗汉松，植于第三进绣楼西侧，原生长在地上，修复耕乐堂时在罗汉松四周新砌花坛，目前主干有部分裸露在外，目测足有一人合抱粗，罗汉松生长缓慢，一人合抱粗的罗汉松树龄至少达到百年以上，今后可作为古树名木的后续资源，在罗汉松边还有1棵石榴，丛生多杆，树龄也有七、八十年，以上6棵古树为原物，其他树木都是修复耕乐堂时补种的。这些古树是活着的文物，见证了耕乐堂岁月的洗礼和历史的变迁，是园林生命的延续。
桂花厅（顾哲衡提供）
白皮松、金桂、罗汉松（顾哲衡提供）
耕乐堂建筑古朴典雅、园景迷人，一步一景、移步换景，只有置身园内才能领略其中的诗意和意境。