恽代英回到广州后不久，就发生了蒋介石一手策划的“中山舰事件”。广州的局势顿时紧张起来。
事件发生后，在广州的周恩来、恽代英、毛泽东、陈延年等坚决主张反击，而在上海的中共中央负责人陈独秀则主张让步，并派张国焘到广州来处理中山舰事件。
张国焘开口就把中山舰事件的责任完全归之于李之龙（中共党员、中山舰舰长）。恽代英和周恩来一起，严厉地驳斥了张国焘。4月上旬，蒋介石提出军队中的共产主义分子应暂时退出军队。因中共中央的退让政策，周恩来退出了第一军及黄埔军校；另一方面，经中央同意，陈延年、周恩来决定派恽代英去黄埔军校工作，以加强军校中共产党的力量。
在当时的政治形势下，恽代英首先考虑的是如何加强军校的党务工作。他同政治部副主任熊雄等研究后，成立了中共特别委员会，即中共党团，恽代英任书记，熊雄、聂荣臻、陈赓、饶来杰为委员。恽代英对他要担任的课程也作了细致的研究和充分的准备，特别是配备各门课程的教官。他亲自物色了一些政治教官。
黄埔军校是一个将近7000人的军事学校，校本部有3000人左右，入伍生部将近4000人。黄埔军校的分科，除了一般军校具的步、炮、工、辎四科外，与众不同的是设立了一个十分重要的政治科，完全由中共所掌握，人数比其他科都多。
恽代英作为政治总教官主要负责三方面的工作：首先是政治科，这是他的工作重点。从这个科毕业的学生大部分可以去做党代表，多数是连级的，也有营、团到师一级的党代表、师的政治科，完全由中共所掌握，人数比其他科都多。
恽代英作为政治总教官主要三方面的工作：首先是政治科，这是他的工作重点。从这个科毕业的学生大部分可以去做党代表，多数是连级的，也是有营、团到师一级的党代表、师的政治部主任。步、炮、工、辎四科中除了军知识、军事训练以外的政治课程、政治教育工作也由恽代英负责，另外就是入伍生部两个团将近4000人的政治教育工作。
还没有来黄埔军校时，恽代英就在《黄埔潮》上发表了一篇重要文章《党纪与军纪》，阐述了他的治军观点，核心是党指挥枪。他经常向学生强调革命军队与工农密切合作的必要性，反复介绍孙中山先生说过后“武力与人民结合”和“武力成为人民之武力”的思想。恽代英关于军队政治工作的理论，对于以后革命军队的建设县有深远的影响。
恽代英在黄埔军校先后担任的课程有社会发展史、社会问题、帝国主义侵华史、国际政治、政治常识。他讲的各门课程，不但逻辑严密、条理分明、知识丰富，而且通俗浅显、幽默生动、鼓动性强，学员们非常爱听，在操场上听他讲课，一连数小时，常常忘了炎热和疲劳。
蒋介石看到恽代英是个人才，在学生中又有崇高威信，开始时想拉拢恽代英，但讨了个没趣。
那时，在黄埔军校里，左派和右派的斗争十分激烈。右派组织孙文主义学会和左派组织青年军人联合会虽然被蒋介石解散了，但实际上两派力量还存在，矛盾非常尖锐。以蒋介石、陈赓、徐向前等为首的原青年军人联合会虽然因周恩来离校而缺少了他的指导，但现在又有了恽代英的有力支持，也就有信心了。
恽代英在同孙文主义学会分子的斗争中十分注意策略和艺术。他讲的道理透彻、明了、说服力强，不仅共产党拥护，国民党左派支持，就连国民党右派也觉得讲得道理。蒋介石不但没有空子可钻，反而使自己处处输理，所以对恽代英恨之入骨，但又没有办法，只能在背后咬牙切齿地把恽代英，加上邓演达、高语罕、张治中四人称为“黄埔四凶”。
1926年夏天，广州国民政府在中国共产党的推动、支持和组织下，开始了推翻北洋军阀的北伐战争，黄埔军校的学生进入了战备状态，恽代英奉命留守广州，以支援前线，巩固后方。
北伐军于10月10日攻克武昌，在两湖战场上消灭了吴佩孚军队。
10月15日至28日，恽代英和宋庆龄、吴玉章、毛泽东、邓颖超等参加了国民党中央及各省区代表联席会议。会议对国民政府的组织、人民会议的组织、军队建设、外交政策、党的政纲等提出了新的议案。
这次会议有个重要决定，就是在军队必须设党代表，并在各省增设军校。恽代英十分赞成，并发表文章阐述了军队中政治思想工作的重要性。他认为，为培养党的军事人才，必须在已经克复的各省逐渐设立军事政治学校，以便各省革命分了就近入学，各省的军事领袖就近指导。必要性时还可设一所中央军事政治大学，作为军事最高教育机关。
12月间，恽代英接受了筹备中央军事政治学校武汉分校的任务，离开了广州。