1921年8月，张太雷从苏俄回国，抽空返回常州探亲。母亲、妻子见到深夜回家的张太雷，都喜极而泣。太雷给母亲带来一块雪白柔软的俄国毛毯。他和家人欢聚了两天后，又乘运河小船匆匆奔赴新的工作岗位。
这次党派他给老资格的共产国际驻中国代表马林当助手和翻译。
马林是荷兰人，原名亨德里克斯?斯内夫利特，中国名字叫孙铎。他从容不迫900年开始投身于工人运动，不久就参加了荷兰社会民主工党。1913年，马林被派到荷属东印度群岛组织革命运动，发起建立了东印度社会民主联盟。1920年5月，这个组织改名为印尼共产党，马林作为它的代表参加了共产国际二大。由于他有丰富的殖民地斗争经验，被选为执委、民族殖民地委员会秘书。很快，又被任命为驻中国代表。
1921年4月欧洲取道苏伊士运河，乘意大利的阿奎拉号轮船，于6月30日抵达上海，化名安德列森，住进南京路大东旅社。这精干老练的革命者，千方百计避开了上海法租界工部局与荷兰领事馆的跟踪，和李大钊陈独秀等中国同志取得联系，积极筹备召开中共一大。
在马林的指导和帮助下，中国共产党第一次全国代表大会于7月23日至8月初在上海和嘉兴南湖召开，通过了中共的第一个纲领和决议，选举了中央领导机构，统一的中国共产党从此诞生了！
不久，马林和陈独秀在共产国际和中国共产党的关系问题上出现了分歧。
马林认为中共是第三国际的一个支部，应该在国际的统一领导下工作，因此，要求陈独秀等人事事汇报，并交出计划和预算，以便国际给予援助。而且他要参加中共中央的一切会议，随时加以指导。
陈独秀却认为马林太专横，中共刚刚成立，一切尚未开展，而且中国革命有自己的国情，没有必要事事听共产国际的，也不需要外国的经济援助。
双方多次发生争执，关系闹得很僵。在中共方面，只有张国焘与马林、陈独秀都熟，但他抱有个人野心，不愿去做两人的工作。所以，能够在马、陈之间进行沟通的就只有张太雷了。
有一次在中共中央办公室，张太雷和缓地劝陈独秀说：“仲甫先生，全世界的共产主义运动都在第三国际领导下，我们中国也不能例外……”。
话没讲完，陈独秀就发起火来，拍着桌子道：“不要国际帮助，国有情况，但他是国际派来的代表，是满腔热忱来帮助我们的，对中国共产党的建立他还是作出了很大的贡献，我们总要尊重他才是啊！”
陈独秀仍然气哼哼地把头扭到一边。
张太雷接着又温和地说：“如果中共不同第三国际建立政党关系，难道还能跟随臭名远扬的第二国际搅在一起吗？何况我们正在草创期间，确实需要多方面的支援和指导啊！”
他还希望陈独秀千万不要感情用事，为中国的革命事业，一定要与马林搞好关系。
“算了，算了，你的话同马林的一样，我听不进！”陈独秀恼怒地推开张太雷，拂袖而去。
中国共产党和共产国际的关系是件大事，处理不好，革命工作难以顺利开展，张太雷为此非常忧虑。
不久，法租界巡捕房突然查抄了渔阳里二号陈独秀的住所，逮捕了陈独秀夫妇在内的五个人。
陈独秀是当时赫赫有名的共产主义革命家，时有“南陈（陈独秀）北李（李大钊）”之称。他被捕的消息很快传遍全国，张太雷闻讯后非常焦急，立刻向马林报告，并商计营救的方法。马林批示一定要赶快把陈独秀救出来，并拿出一大笔钱，由张太雷去请著名的法国律师巴和为陈独秀辩护，再到巡捕房上下疏通。
由于“赵公元帅”的作用，加之法租界巡捕房也没有找到什么充分的证据，法庭最后落案的罪名是：《新青年》杂志有过激言论，妨碍租界治安。姑念是初犯，罚款五千元以示警戒。案子于1921年10月27日审结。
忙乱了一阵的党中央、马林和张太雷，这时才松了口气。经过这场虚惊之后，陈独秀感到马林和自己及中国共产党算是共了一次患难，两人之间逐渐消除了隔阂，陈独秀终于接受了共产国际的领导。
马林又提出，在中国进行民主革命，应该和孙中山领导的国民党建立联合战线。这个意见张太雷是很赞成的，他一向拥护列宁关于殖民地民族的策略，认为孙中山一直致力于国民革命，领导人民推翻了满清王朝。现在他在南方积极准备反对北洋军阀，对十月革命、苏俄和中国共产党持同情和欢迎的态度，是可以联合的民主力量。而陈独秀则觉得国民党在而无当，起不了什么作用。
经过协商，特别是张太雷进行了大量说服工作，陈独秀同意由张太雷陪同马林去桂林会见孙中山，研究国共合作及与共产国际、苏俄结盟的事宜。
张太雷这时正领导整顿社会主义青年团的工作，为了早日建立国共合作，推动革命走上高潮，他把整顿工作向团中央其他同志作了交待，于12月10日和马林一起从上海乘岳阳号轮船到武汉。
早已接到电报的包惠僧帮助他们转乘粤汉路火车去长沙，那时这条路线因军阀混战未能全线通车，中间还有相当长的路程需要步行，旅途的艰辛可想而知。
在长沙，张太雷和马林一起访问了毛泽东等人组织的文化书社，出席当地青年团体的会议。马林发表讲话，介绍苏俄革命和现状，最后提到了帝国主义旨在宰割中国的华盛顿会议，和针对它召开的远东人民大会。张太雷为他作翻译。
马林和张太雷刚离开长沙，毛泽东就发动一万多工人、学生、市民召开大会，示威游行，反对华盛顿会议。黄爱担任大会主席，庞人铨是游行总指挥。不久，他们在领导大罢工中被捕，成为中国最早牺牲的社会主义青年团团员。
李大钊、陈独秀、周恩来、毛泽东、张太雷等听到消息后都万分悲愤，陈独秀在给共产国际的报告中特别提出：“因反对太平洋会议，鼓吹承认苏维埃俄罗斯的示威游行及参加纱厂罢工，青年团团员黄爱、庞人铨二人被督军所杀。”张太雷建议青年团隆重纪念两位烈士，把他们作为青年学习的榜样。
在革命斗争中屡遭挫折的孙中山，很重视与共产国际代表和中共代表的会谈，他批示国民党元老张继在广州车站守候，把马林、张太雷接到长堤西濠酒店下榻。还派廖仲恺专程到广州迎接。
在廖忡恺、张继等人的陪同下，马林和张太雷于12月中旬来到了桂林。当晚就住在广西银行，离孙中山的临时司令部――旧桂王府只有数步之遥。
第二天上午，孙中山亲自到大门口迎接马林、张太雷。他中等身材，态度安详，目光热情有神，气质上有那么点像列宁。
他对马林和张太雷表示欢迎，同时谈到中国曾被迫和许多国家订立了不平等条约，只有苏维埃国自动废除了中俄一切不平等条约，交回苏维埃国自动废除了中俄一切不平等条约，交回俄国从前在中国所得的特权，是我们的好朋友。对于十月革命，孙中山大加赞赏，认为自从有了俄国革命，世界人类便生出了一个大希望！一个类似的新制度一定会在东方建立起来。又说由于帝国主义和军阀在中国的统治，阻碍了中国人民和苏俄人民的友好关系。但我一直非常关注你们的事业。希望马林能予以详细介绍。
马林和张太雷都为孙中山鲜明的政治态度，他的爽朗和热情而高兴。马林向孙中山生动在介绍了俄国革命、俄共（布）的纲领、组织，现在苏俄各方面的情况，特别是红军的组成和战绩等等。孙中山听得聚精会神，凡有疑问之处，张太雷便予以详细解释。对某些国民党元老不太友好的提问，也给予巧妙的回答和驳斥，使会谈气氛融洽，进行得十分顺利。
孙中山也向马林和张太雷讲述了国民党的历史、纲领、策略，在国内外的活动。并怀着沉痛的心情反省辛亥革命，认为当时向帝国主义支持的袁世凯妥协是个巨大的政治错误，才造成今天军阀割据的不幸局面。表示决意北伐，统一中国，重建共和。希望得到共产国际、苏俄和中共的大力支持。
马林和张太雷都觉得真没看错人，孙中山确实不愧为中国伟大的革命家。于是，便向孙中山坦率地提出了几点建议：第一，国民党需要改组，它组织涣散，成份复杂，应该加入工农大众；第二，创立军官学校，组成自己的军队；第三，与中共合作，组成反帝反封建军阀的革命联盟。
孙中山听了了很感兴趣，也坦诚地表示，为了防止招来列强的干涉，只好暂与苏俄保持非正式关系，待北伐胜利以后，立即公开建立同盟。还预言“中俄携手将完成亚洲的解放”！
之后，孙中山和马林、张太雷又连续长谈了三次，讨论到群众运动、对工人的宣传等问题。张太雷积极协助马林与孙中山会谈。当看到孙中山左右尚有疑虑时，就以亲身见闻帮助他们了解苏俄和中共，打消其对合作的顾虑，态度诚恳，又富有说服力，很快沟通了双方的思想感情，使彼此都很满意。孙中山对廖仲恺等人表示：我感到非常愉快！
张太雷还单独与孙中山讨论了如何开展青年运动问题。孙中山认为一个社会主义的俄国，能在帝国主义的四面包围和武装干涉中存在下来，而且越战越强，这个事实给了中国人民以希望，要想革命成功，确实应该以俄为师！希望张太雷帮助他发动南方青年起来革命。
张太雷指出应该把青年团结在统一的反帝反封建的革命大旗下，孙中山听了完全赞同。
这次桂林之行，孙中山和他身边的国民党骨干对共产国际、苏俄及中共进一步加深了了解，使以后的合作有了一个良好的开端。
1922年4月，张太雷和刚到中国的青共国际代表达林来到北京，会见了苏俄驻中国的外交使团团长巴意开斯。达林是为了帮助中国社会主义青年团进行整顿并召开一大而来，这时又接受了苏俄政府派他与孙中山联系的委托书。
达林是个地道的俄国人，17岁被任命为俄国共青团中央委员会学生部部长，一直活跃在青年工作的第一线。1921年1月，调节器任青年共产国际驻远东的全权代表，在那里结识了张太雷。远东革命青年大会召开时，他作了《关于远东青年任务》的精彩报告。这次是他第一次来到中国，古老的文化和地下斗争的环境，使他感到既神秘又浪漫。
达林接到委任后，立刻通知正在领导北京青年团开展非常基督教联盟活动的张太雷，赶快回到上海，向陈独秀传达了共产国国际的指示。于是，中共中央局派张太雷作为中共代表和瞿秋白跟达林一块去广州，与孙中山会谈，同时筹备社会主义青年团一大。
四月的江南柳绿花红，林木葱笼。在上海某公园静谧的绿草地上，三个年轻人装成游客，详细研究了如何与孙中山谈判合作，以及起草青年团团纲、团章，落实召开青年团一大的各种具体问题。
他们很快乘船南下，于18日来到孙中山政府控制下的汕头，准备取道貌岸然陆路去广州。这里有市民自己选举的市议会，议员大部分是商人，其中有许多加入了国民党。还有民主的报纸，合法的工会，及他们领导的要求增加工资、改善待遇的罢工斗争。很多工人也是国民党员。社会生活比华中、华北任何一个在反动军阀和帝国主义统治下的大城市都活跃得多。
他们在汕头，拜访了国民党党部的三位委员，双方进行了热情友好在交谈，使三位委员倍感亲切，并为他们开了一张证明，上面写着达林是“中国人民之友”，要求沿途各处予以协助。
当时去广州路很难走，先要从汕头乘小船到三梅村，然后步行四五天才能走到通往广州的铁路上。由于去三梅的船要一周后才开航，张太雷他们利用这段时间，白天调查当地情况，晚上准备团章、纲领和各种决议草案。
虽然还只是四月下旬，汕头已经是酷暑炎炎。到了晚上，闷热得就像蒸笼。蚊子多得像轰炸机队，肆无忌惮地袭击着三个汗流浃背、辛勤工作的年轻人。他们的手、脚和脸上虽然都肿起了大包，但工作进展神速。张太雷起草的团章、纲领的决议几乎没有什么意见分岐就被通过了。这些文件正确地指出，中国革命现阶级的对象是帝国主义和封建军阀，革命的性质是民主主义的。社会主义青年团是信奉马克思主义的团体，以研究马克思主义，实行社会改造及维护青年权利为宗旨……
当张太雷画上最后一个句号时，三个人都激动地轻声唱起了《国际歌》，张太雷用英文，瞿秋白用中文，达林用俄文。张太雷放下文件查看身上说：“看来这讨厌的白蛉子是站在帝国主义一边的，但那也挡不住我们的胜利！”于是，大家都高兴地笑了。
他们还去访问了当地的报社，在群众大会上介绍苏俄的近况，受到热烈欢迎。大会决定邓上在汕头组织社会主义青年团。达林感叹地说：“简直不能相信，在远离莫斯科的地方，在轮船不经常停泊的小城里，青年竟如此关心社会主义！”
由于担任陆军部长的陈炯明反动孙中山，坚持要搞地方割据，并暗中勾结吴佩孚，孙中山把他赶出广州。这一带战火又起，张太雷他们只好分头乘轮船绕道香港去广州。
4月27日，达林、张太雷和瞿秋白在广州总统府会见了刚刚回来的孙中山。
达林向孙中山递交了苏俄政府全权代表的信件，并转达了苏俄工人、农民对敬意，及在工作和斗争中取得成就的良好祝愿。特别强调地尊称孙中山为“总统先生”，以表示和所有帝国主义国家的态度不同。当时外国报纸道时，只简单地称其为“孙博士”。
孙中山也畅述了他对苏俄的友好感情，又详细询问了苏俄的形势、红军的组织和列宁的健康状况。并介绍了华南局势，北伐及其迅速取胜的必然性。
张太雷很快把话题转到与苏俄政府及国共两党的关系上。孙中山坦率地表示，目前战事紧张，等统一全国后将马上和苏俄结盟，现在还是先加强联系。并希望共产党加入到国民党里来帮助他。
张太雷等人便提出共产党加入国民党后要保持自己的独立性，国民党应该支持工人运动，维护工人的权利等问题。孙中山答应以后具体研究，表示了对国共合作的积极态度。
达林、张太雷、瞿秋白都觉得应该乘党的领干部云集广州，准备参加全国劳动大会和青年团一大的机会，召集会议讨论国共合作事宜。他们把会见孙中山的情况想法告诉了陈独秀。
广州会议――党的领导干部会议很快召开了。大约有35人出席了这次会议，占当时党员总数的五分之一。在历史上，这是有关国共合作的党的一次重要会议。
达林首先作报告，他根据远东会议精神，强调了建立工人、农民、小资产阶级、资产阶级搞在一起，会丧失工人阶级的纯洁性。
张太雷、瞿秋白支持达林，张太雷提到了列宁关于民族殖民地问题的理论，认为在中国目前反帝反封建的资产阶级民主革命阶段，与小资产阶级、民族资产阶级结成广泛的统一战线是必要的，与国民党联合及共产党加入国民党都是必要的。又具体分析了孙中山领导的国民党的革命性，使许多代表认为很有道理。
对这个问题的争论持续了好几天。陈独秀开始时摇摆不定，后来终于承认建立统一战线是必要性的。最后，大多数与会者都赞成与孙中山联合的策略，但仍存在许多保留意见，如不加入国民党等。为此，决定以后再开会专门讨论。这是中共对国民党政策转变的开始。
1922年5月1日，全国第一次劳动大会在广州隆重开幕，张太雷社会主义青年团向大会致了热情洋溢的贺词。
紧接着5月5日，社会主义青年团一大也在广州召开，开幕式与纪念马克思诞辰、欢迎劳大代表一起举行。
张太雷精神饱满的走上主席台，用洪亮的声音致了开幕词。又作了关于团章团纲的报告，明确指出青年团是共产主义的组织。在他的主持下，会议开得很紧凑。10日晚上，选出张太雷、俞秀松、高君宇、施存统、蔡和森为团中央执行委员会委员。
会后，中共中央委托张太雷继续与孙中山会谈，同时整顿团组织的工作。
尽管局势越来越紧张，但孙中山仍每周两次与张太雷促膝倾谈，双方的了解日益增加，友谊也更深厚了。
6月16日，陈炯明终于背叛革命，悍然命令炮击总统府。顿时弹片横飞，火光冲天，孙中山临危不惧，在忠诚将士物护卫下，脱险登上军舰，亲率海军讨伐陈炯明。
广州城里陷入一片混乱，当时党团组织领导者陈公博等人，平素得到陈炯明不少好处，反对孙中山。张太雷非常愤怒，跑去制止，却遭到陈公博等人的蛮横拒绝。他心急如焚，立刻向中央报告了广州的形势，指出必须马上纠正陈公博等的错误行为，以免造成对国共合作不可弥补的损失。
7月16日，中共二大在上海召开，张太雷是12位代表之一。会议提出了中国近代史上第一个彻底反帝反封建的民主革命纲领；同时，还通过了《关于民主的联合战线决议案》，决定邀请国民党等革命团体共商具体办法。会后，张太雷被派回广州处理广东党组织反对孙中山的错误。
这时，马林已回俄国述职。共产国际很快正式同意了马林关于在中国实行国共合作的建设，派马林向中共传达这个精神。于是，马林又风风火火从莫斯科返回中国，8月中下旬来到上海。
25日，马林入张太雷来到法租界孙中山的寓所，再度与他会谈。孙中山半生革命经历了一连串挫折，最近又遭亲信的背叛，精神非常沮丧，感到彷徨和绝望。苏俄、共产国际和中国共产党在他危难之时伸出了援助的手，特别听到马林介绍了莫斯科方面的情况，共产国际已经决定中共党员将加入国民党，去推动民主革命的目标尽快实现，苏俄政府也将在各方面给予支持时，孙中山大为感动，更坚定了与苏俄、共产国际更紧密地联系，改组国民党，与中共合作的主张。
在马林的建议下，29日，中共中央在西湖召开全会，陈独秀、李大钊、张太雷、马林等都参加了。经过激励的争论，会议决定在孙中山改组国民党的前提下，共产党员以个人名义加入国民党。
会后，陈独秀、李大钊、张太雷一起拜访了孙中山，阐明中共对国共合作的诚意和原则立场，受到孙中山的欢迎。
为了冲破中共党内一些人为阻力，打开国共合作的大门，李大钊请张继介绍，由孙中山亲自主盟，率先以个人名义加入国民党。随后，陈独秀、张太雷、毛泽东也相继参加了国民党。
在共产党人的帮助下，孙中山决心动手整顿党务。9月4日，他召集国民党各省市负责人开会，讨论改组大事，并特别邀请马林、陈独秀、张太雷参加。
孙中山在会上作了长篇发言，痛心地检讨了国民党近年来组织涣散，党员革命之心消诚，谋求私利之风大长，队伍鱼龙混杂等弊端，表示要下决心整饬！他说俄国革命之所以能成功，全在于党员的团结奋斗，又有兵力帮助。所以，要学习列宁的革命方法，实行联俄容共的新政策，把中国革命进行到底！
会后，陈独秀、张太雷又和孙中山进一步讨论合作的问题。孙中山请陈独秀参加主持国民党党务改进起草委员会的工作；不久，又任命张太雷为国民宣传干事，由衷地表示：你们是我真正的革命同志，你们明确的思想和无畏的勇气是我在斗争中最可靠的支持！
张太雷这一阵更忙了，在国共两党以及孙中山、马林、陈独秀之间不停止地传递信息，交流情况，沟通思想，成为国共合作不可或缺的人物。他对国共党上层人士张继、汪精卫等人多次宣传中共反帝反封建，联合一切革命团体和阶级，进行民族民主革命的主张，解释一些人对中共诚意的误会，并驳斥邓泽如等国民党右派诬蔑中国共产党、反对合作的谬论，收到良好的效果。
在紧张工作的间隙，张太雷于11月中旬回了一趟常州。陆静华又为他生了一女儿，取名西蕾。
在年底召开的青共国际三大上，张太雷被选为执行委员会委员。
1923年1月1日，孙中山发表了《中国国民党宣言》。在张太雷等共产党的帮助下，笼二天又召开了国民党改进大会，公布了新党纲和党章，紧锣密鼓地展开改组工作。1月27日，孙中山与苏维埃社会主义共和国特使飞发表联合宣言，公开表明了联俄的立场。
中共和苏俄也在积极推动国共合作，4月，马林和张太雷在广州又会见了孙中山。马林代表苏联政府通知孙中山，他们选派的政治、军事顾问已经起程来华，军援也已在路上。
孙中山大喜。自从2月21日，发动滇、桂、粤军赶走了陈炯明，回到广州重建革命政府后，就决心以俄为师，建立新型的革命政党和军队，把广东建成一个真正的革命策源地。在实践中，他痛感到：“我国革命，向为各国报不乐闻，故尝助反我者以扑灭吾党。故资本国家，断无表情同情于吾党，所望为同情，只有俄国及受屈之国家受屈之人民耳。”对帝国主义残存的幻想彻底破灭，进一步向苏俄和共产国际靠拢。
张太雷告诉孙中山，中共三大即将召开，要正式通过共产党员加入国民的决议。孙中山对此期盼已久，更是喜形于色。三人会谈相当成功。
1923年6月12日，中共三大在广州恤孤院路举行。陈独秀、李大钊、张太雷、张国焘、毛泽东等30多人代表全国420名党员出席了这次会议。
会上关于国共合作的争议仍然十分激励。
张国焘等人坚决反对加入国民党，认为不能放弃同资产阶级的斗争，断然提出：“也许我们是错误的，但我们宁可保持‘左’，‘左’的错误比右的错误容易改正，希望这次会议通过一个略‘左’一点的决议。”
陈独秀自从二七罢工惨败后，感到现在只有资产阶级有力量，革命应由国民党领导，等将来工人阶级力量大了，再去推翻资产阶级的统治。他拥护共产国际的决议，和马林一样，有“一切工作归国民党”的倾向。
张太雷的发言慷慨激昂，他把列宁关于民族殖民地的理论结合中国实际，指出中共和工人阶级力量太小，面对强大的帝国主义和封建军阀，必须争取同盟军。国民党是个建党多年，影响较大的民族民主革命政党，组织几乎遍布全国，现在还拥有广东。孙中山殷切希望联俄联共，但坚决反对“党外合作”。如果实行“党内合作”，就可以充分利用这些条件，公开或半公开地发动工农运动，壮大革命力量。当然，一定要保持共产党的独立性。
李大钊、瞿秋白、毛泽东等人都支持共产国际的指示，纷纷发表意见。最后，大会批评了张国焘关门主义的“左”的倾向，和放弃无产阶级领导权的右的错误，决定共产党员以个人身份加入国民党，把它改造成民主革命的联盟，并保持共产党在政治、组织、思想上独立性。这个具重大历史意义的决定，为大革命高潮奠定了基础。
1924年1月20日，中国国民党一大在广州召开。它的宣言接受了中共反帝反封建的主张，确立了以联俄联共、扶助农工为核心内容了中共反帝反封建的主张，确立了以联俄联共、扶助农工为核心内容的新三民主义政纲，成为国共合作的政治基础。大会选举李大钊、毛泽东等多位共产党人担任国民党中央及地方组织的重要职务。改组后的国民党成为工人、农民、小资产阶级和民族资产阶级的民主革命联盟。
这次大会的召开，标志着以国共两党合作作为基础的革命统一战线的正式建立，成为中国高涨的起点。