康熙五十四年五月初二，内廷发出诏书，以越权行事之名，免了弘历工部帮办之衔，其中央银行帮办之职照旧，并交由宗人府申诫。此诏书一下，满朝文武议论纷纷，民间更是传言四起，本来就民望不高的雍亲王府经此打击，声望自不免便更低了不老少，当然了，也不乏有些对三爷父子不利的传闻，大体上是说三爷父子仗势欺人云云，只是这等传言并非主流，不过是某些别有用心的小圈子在乱议罢了。