你是一名执法人员，有次抓住张某违法，你依法对他进行了处罚。后来张某携带礼品到你家恳求你取消对他的处罚，你婉言相拒。因此张某便在外散布你受贿、执法不公。领导与同事也有所耳闻，并在单位对你议论纷纷，对此你怎么办？