张辅知道自己弟弟打得小九九，虽然皇上对他们兄弟很垂爱，但世袭罔替的公爵只有一个，他两个弟弟张輗和张軏没有爵位可袭，只封了指挥使的虚职。加之父母去得早，他又常年带兵在外，两个弟弟在京中无人管教，都养成无法无天、不务正业的纨绔性格。直到二三十岁，当初分家时得的家产快败光了，两人这才着了急。