刘海粟是在天马会画展上初识康有为的。
天马会是以上海美专教授为核心的中国第一个民间美术团体。刘海粟是重要的发起人和组织者。1921年8月4日，第四届天马会绘画展览会在美国传教士李佳白新建的尚贤堂开幕。他们提倡创新精神，展品强调新意，吸引了无数观者。康有为也看画展来了。他久久站在刘海粟的油画《雷峰夕照》、《回光》、《埠》的面前细细品味。看完展览，他问谁是刘海粟，想和他谈谈。当刘海粟站在他面前时，他上下打量着他问：“你是刘海公的儿子吧?”他们就这样戏剧性地相识了，而且一见如故。第二天，刘海粟就怀着对领导“戊戌变法”的这位思想家的敬意，按照康给他留下的地址在愚园路找到康宅。康府墙上挂满了唐画、宋画、元画，檀香案上陈列着庄严妙曼的佛像和意大利石雕、稀有动物标本，书橱中满是线装书和外文图籍，康有为边向海粟介绍他的珍藏，边谈起中国历代画家，又把刘海粟引进内室，让他观看提香、伦勃朗、拉斐尔、米开朗基罗、米勒的名作复制品。尽管他们对北宋画院派作品有些分歧，但他们谈得非常投机，很有相识恨晚之感。康有为决定收他为徒，教他书法。几天以后，康有为为收刘海粟作弟子大宴宾客。赴宴道贺的皆系学坛巨擘。他当众为刘海粟讲书，并送他《书镜》一部。
刘海粟每个星期五准时到康府上课，风雨无阻。康有为尊碑不尊帖，他说：“北碑浑涵质朴，庄穆厚重，格调高。学书应该广搜博览，不要独宗一家。”他教海粟用墨：“干研墨，湿着纸，干着纸，宁浓勿淡，过浓肉滞，淡则单薄无力。”又教他“心是主帅，腕为偏裨，锋是先锋，副毫战足，纸墨为器械。”
刘海粟每次去上课，康有为总是先叫人磨好墨，海粟一到就为他示范，边写边给他讲运笔和字的结构要领，走时将范本都送给他，叫他回去反复练习。刘海粟在书法上的成就与那时打下的基础不无关系。刘海粟既重师道尊严，又不附和老师的某些偏颇之见，敢于争论。他们不仅是师生，还一直是相知的诤友。康有为有次当着日本首相的面攻击孙中山先生，刘海粟就指出他说得不对。1926年，孙传芳通缉海粟，他深为海粟的安全担忧，一天要上美专数次，劝刘海粟离开上海。美专新校舍“存天阁”三字就是他所写。刘海粟请他到美专讲学，他仪表庄重，夏日也着长衫。1927年，刘海粟送他离开上海去青岛，27日，广东同乡会在英记酒楼为他接风，他仅饮了一杯橙汁，就七孔流血而死。海粟闻之，悲恸不已，直至耄耋之年而不忘。1984年5月，他为重建恩师墓园，从南京乘火车到青岛，启程的前一天，还为乃师第七女康同环所藏其父94件书法集题写了《康南海先生法书》书名和序言。他在序言中这样写道；
事师奖掖后进，诲人不倦，桃李满园，人才辈出，精励治学，见解独出，于经于史，阐述宏富。尤于书法、诗文。精严纵横，片纸只字，中外同珍。
他协同青岛市政府，亲自到青岛东郊浮山察看为康有为选取的新墓址，商讨墓园设计图，又去福山支路凭吊他恩师的故居，应青岛市政府邀请，给康有为墓撰写了新的碑文。他在《康南海公墓志铭》结束语中写道：
铭曰：公生南海，归之黄海，吾从公兮上海，吾铭公兮沧海，文章功业，彪炳千载。
1985年10月23日，90岁高龄的刘海粟去青岛出席康有为迁葬典礼。他久久伫立墓前，激动得老泪纵横，为历史给予了他恩师以公正而欣慰不已。