1926年10月，北伐军占领武汉，中华全国总工会也迁址武汉。受中共中央委派，刘少奇从广州来到武汉，任中华全国总工会秘书长兼湖北省总工会秘书长。

湖北省总工会成立伊始，刘少奇就着手组织武汉工人武装。他要求各工会都要建立工人纠察队。在刘少奇主持起草的《湖北省总工会第一次代表大会宣言及决议案》中，专门列出“对于工人纠察队决议案”一章，首次将组织工人纠察队正式写入文件，明确提出工人纠察队“应完全统一在湖北全省总工会工人纠察队总部之下”“有严密的、铁的纪律”“应该实行军队化管理，进行有效的组织和训练”，主要任务是“为纠察工贼及防备反革命分子”。

同时，刘少奇千方百计帮助工人纠察队解决人员扩充、武器调配等问题，指示省总工会工人纠察队总部要制订培育计划，举办纠察训练班，重点讲授军事技术课，使学员成为粗通军事的工运骨干。刘少奇等亲自给纠察训练班讲课，提高学员的政治、军事素养。

到1926年11月，武汉工人纠察总队发展到2000余人，总队下设两个大队，大队下设三个分队，分队下设若干支队。刘少奇协调10名共产党员学员从国民革命军中央军事政治学校武汉分校提前毕业，分别担任工人纠察队总队的分队长、支队长。

经刘少奇推荐，共产党员蒋先云、陈赓分别兼任武汉工人纠察总队总队长和工人纠察队队长。蒋、陈积极扩充人员和武器，并按军队要求对纠察队员进行训练。至1927年5月，工人纠察队发展到5000多人、3000多条枪。

在刘少奇等的领导下，武汉工人运动风起云涌。每逢关键时刻，工人纠察队冲锋在前，发挥着不可替代的独特作用。

1927年4月12日，蒋介石在上海发动反革命政变。中共中央领导机关从上海迁到武汉，4月底至5月初，中共第五次全国代表大会在武汉举行，武汉工人纠察队担负起警卫任务，保障了大会的顺利进行。

5月17日，追随蒋介石的军阀夏斗寅乘武汉国民政府大部分部队开赴河南北伐之际，率部叛变，企图乘机占领武汉。在刘少奇等的领导下，工人纠察队不仅担负起卫戍武汉、防止敌人破坏的任务，稳定了武汉三镇的局面，还配合叶挺所率国民革命军击破叛军的进犯。

刘少奇非常珍视这支党掌握的革命武装，“七一五”反革命政变前后，他把大批工人纠察队基干连同较好的枪械，输送到叶挺、贺龙的部队里。1927年8月1日，转移到贺龙、叶挺部队的工人纠察队队员参加了南昌起义。