清廉俭朴 人称“驴车宰相”

沈桂芬虽然官至宰相，处世为人十分低调，始终保持清廉俭朴，“久居政地，自奉若寒素”，于声色货利，一无所好。许多外地官吏到总会向他送礼物，沈桂芬都一一婉言拒绝。他的宰相府第在东厂胡同，那条胡同低洼狭小，门前连马都掉不过头来。据说，那房子还是租借来的。沈桂芬对吃穿也都不讲究，有一次王文韶去见他，他竟以一碗腊八粥招待。

在中国这个社会尤其是封建社会里，官场里很讲究排场格子的，而平时乘坐的车舆是一个重要标志，它是主人身份、地位的象征。京城里的朝廷官员一般都由轿夫抬着轿子出入往来，就像眼下政府官员乘坐轿车一样，十分体面风光。堂堂宰相出入一般都是乘坐8人大轿，然而，沈桂芬宁肯舍弃优渥的待遇，雇一辆黑驴车去上早朝，一次到了东华门，守门者吆喝停车。他没有发一点脾气，从车上走下来，众人见了十分惊讶，因此得了个“驴车宰相”的诨名。《清史稿》评论道：沈桂芬“躬行谨饬，为军机大臣十余年，自奉若寒素，所处极湫隘，而未尝以清节自矜，人以为难云”。

沈桂芬屡掌文衡，先后担任会试阅卷大臣6次，乡试复试阅卷大臣7次，殿试读卷官、拔贡复试阅卷大臣各2次，进士朝考庶吉士散馆阅卷大臣各3次，考试汉教习、汉荫士、汉御史阅卷大臣，武会试较射、武会试复试大臣各1次，为朝廷遴选人才作出了一定的贡献。咸丰十一年（1861年），沈桂芬出任广东乡试主考，当时“岭南人多豪富，俗重科名，科场舞弊……甲于他省”。他依章办事，全力矫正，使这次考试“风清弊绝，内外肃然；岭海英奇，尽收珊网”。放榜那天，恰逢大雨，广东人由此称之为“甘霖榜”。
　　沈桂芬出身于苏州府吴江县同里镇沈氏望族，系明着名文学家、戏曲音律家沈璟之后裔。父辈到北京为官，寄籍顺天府宛平（今北京城西南丰台区），所以沈桂芬进士榜上作“顺天府宛平”籍。沈桂芬对故乡念念不忘，曾辑有《吴江沈氏家传》一册。生前曾立遗嘱，将来逝世后定要归葬故里。其坟墓葬在苏州西南石湖越来溪旁的庄马头村，“文革”时被毁。