特种大队是在龙谦将第五镇司令部迁出广州后成立的，其前身是情报处特别行动队。王之峰兼任队长。规模很小，不过四十来人。王之峰代理情报处长后，根本没有精力抓这支小部队。但龙谦却一直记得它，最终将其从情报处名下剥出来，扩大编制，正式冠以第五镇司令部直辖特种大队的名称。又从第五镇部队里选了一百二十余人充实该大队，任命原特别行动队副队长石纪彭为特种大队大队长，级别为正营级。