刘海粟除却早年在周湘的背景画传习所学习过半年，就从未进过专门艺术学校，他是完全靠自己的勤奋努力自学成为画家的。他很早就萌生了个愿望，要到西画的故乡欧洲去学习研究艺术。1926年9月3日，徐志摩在致他的信中就说他花在非艺术中的时间太多了，“但俗累不是终究，不是艺术家的补剂……你已经跑到了艺术的海边，你得下决心绷紧了腰身往更深处跑，那边你可以找到更伟大的伙伴：凡高、石涛、提香、塞尚。”他自己也知道他的很大精力都花在了美专的管理和教育上去了，他虽然一直没有停止过艺术实践，但毕竟没有去拜过真经。徐志摩的信，再次煽起了他的强烈求学愿望，可美专又离不开他，他为之遗憾过，也苦恼过，但为了培养出更多的新兴美术人才，他不得不暂时放弃自己的宏愿。从日本回来后，他想到法国去考察艺术的意愿更加强烈起来，阻碍他实现这个愿望的最大困难就是经济问题。待复校后的美专走上正规后，他向蔡元培先生倾诉了他的心愿。蔡元培立即表示赞同。说“这个想法很好，欧洲自文艺复兴以来，各种艺术流派像雨后春笋，它们的真迹原作你很少见过，是该去开开眼界，探讨下各种流派形成的环境和奥秘，对你未来的发展很有好处，还可以吸取人家的办学经验。”他又问海粟，费用如何解决。这正是海粟的难题，他被问哑了。蔡元培想了想说，“别急，有个办法，我们大学院拟聘几位特约撰述员，鲁迅、吴稚晖、马叙伦三位先生和你都可以担任，每月汇你一百六十元，在巴黎也可以过节俭的日子，你和夫人、孩子还是可以生活下去的。”并说，“艰苦不损害国家尊严，人要有自信，我相信你一定会取得很好的收获。在考察中不要局限于个人的喜好，要善于兼收并蓄，师法西人之长，但不能忘记自己艺术的传统，切记不要忘了祖宗。”刘海粟感动不已。
在蔡元培先生的关怀和支持下，教育部发布了派遣刘海粟赴欧洲考察美术的决定。海粟委托徐朗西代理美专校长(后为刘穗九接任)。1928年11月16日，他在宁波同乡会举办了去国纪念展览会。《上海画报》为此出版了《刘海粟先生去国纪念展览会特刊》，刊有蔡元培、史量才、徐朗西、经亨颐、陆费逵为画展的题辞，贺天健、刘穗九、郑午昌、倪贻德等的文章。
1929年2月，刘海粟偕夫人张韵士[宁波人，1899年生，1915年在上海与刘海粟结婚，生有四子：刘龙(夭折)、刘虎、刘豹、刘蛟(早夭)。1970年逝世。]和12岁的长子刘虎从上海乘法国邮轮起程赴欧。3月15日抵达法国马赛，16日乘火车到达巴黎。住在巴黎拉丁区莎蓬街18号老伦旅馆。放下行李，就在他的学生张弦、刘抗等的陪同下，立即开始去参观卢森堡宫、卢浮宫、罗丹博物馆、凡尔塞宫诸多艺术名迹，观看各国各种艺术展览。他犹似一个饥饿已久的饿汉，迫不及待地张开大口，扑到餐桌上，投进他渴望已久的艺术之宫，如饥似渴地吮吸着艺术的液汁。在两年多的日子里，他过着小咸菜加开水就面包的清苦生活，力学苦读，最初的半年多里，他每天到卢浮宫临摹大师们的杰作，他临过塞尚的《缢死者屋》、德拉克洛瓦的《但丁与维吉尔》、伦勃朗的《裴西芭的出浴》、柯罗的《珍珠少女》等世界名作。他同傅雷、刘抗、陈人浩一道去过瑞士，住在莱蒙湖畔傅雷朋友白格朗的别墅里，他常常凭窗对月画到天亮，他在那里作了油画《陋室》、引日教堂》、《古堡》、《西陇古堡》、《莱蒙湖畔》、《莱蒙湖之夕照》、《阿尔卑斯山》、《山涧》、《快车》、《农夫》、《卢梭桥》。他还参观了日内瓦美术馆、瑞士历史博物馆，看到了塞尚、德拉克洛瓦、库尔贝、米勒、马奈、莫奈、高更诸法国名家的作品。他的油画《森林》、《夜月》、《圣杨桥而夫之陋室》、《玫瑰村之初春》入选欧洲艺术巨匠贝纳尔、马蒂斯等的蒂勒里沙龙。
1930年6月1日，他又和好友傅雷结伴去了他向往已久的文艺复兴的故乡意大利。在罗马，他参观了罗马新美术馆，观赏了西班牙名作展和日本美展，看到了西班牙艺术大师格列柯、委拉斯开支等60多件杰作。梵蒂冈圣彼德太教堂和西斯廷大教堂给了他极大的震撼，使他激动异常。他观赏到了仰慕已久的米开朗基罗的天顶壁画和神台壁画，他的名雕《摩西像》、《圣母像》，以及拉斐尔的数幅巨型壁画。他还去了米兰、威尼斯和佛罗伦萨。在佛罗伦萨的乌斐济博物馆，他看到了数不清的文艺复兴的艺术珍品。
刘海粟的作品，两次入选秋季沙龙。第一次是他的旧作《北京前门》。第二次是他在比利时作的油画《向日葵》和《休息》。在法国，他创作了数十幅油画，著名的有《巴黎圣母院夕照》、《塞纳河》、《蒙玛特教堂》、《玫瑰村》、《圣心院》、《少女》、《畸形老妪》、《贵妇》、《卢森堡公园》、《卢森堡之雪》、《卢森堡雪霁》、《巴黎之冬》、《卢昂教堂》等等，其中《卢浮宫之雪》为法国政府收藏。
1931年3月，他受德国法兰克福中国学院之请，去讲演中国画学。并在法兰克福美术馆举办了中国现代画展，引起了德国艺术界的广泛关注，井应邀到柏林与德国东方艺术会普鲁士美术院谈判，签署了中国现代画展于1934年2月赴柏林普鲁士美术院展出的协定。
刘海粟旅法期间，还结识了毕加索、贝纳尔、马蒂斯，并应邀去过马蒂斯别墅作客，与其探讨过诸多艺术问题。
1931年夏天，教育部电催其回国。7月，他在巴黎克莱蒙画院举行告别个展，也算是他旅欧成绩的总结，展出了他三年间在法、瑞、比、意、德各国所作油画40余幅，法国政府购买了其中的《卢森堡之雪》，收藏在法国家美术馆。法国著名艺术评论家路易?赖鲁阿以《中国文艺复兴大师》为题为其画展作序，他在序文中说；“刘氏曾于1929年、1930年出品于秋季沙龙，并被邀参加蒂勒里沙龙，可知巴黎已对他致过敬礼了……看他的《静物》十分坚实，看他的《玫瑰村》所观察的风景中，或在《塞纳河畔》的巴黎埠头上，他的果敢而深有颤动的韵味的色彩，看他在比利时所作的《大寺》，在光的变幻之下，不难辨出他的坚劲。看他在卢森堡朔风冻云中所写来的雪景，枯枝盘错，在力的韵律中表白它的无声的诗意……刘海粟确是一位大师，在这字的真意与古义上的大师，因为他有他的信徒。这不但是中国文艺复兴的先锋，即于欧洲艺坛，亦是一支生力军。”傅雷在他所撰的《刘海粟论》一文中慨叹地说：“我们现代中国文艺复兴的大师，还是西方的邻人先认识他的价值，我们怎对得起这位远征异域，以艺者的匠心为我们整个民族争得一线光荣的艺人。”刘海粟此次西行，也正如徐志摩所说，“犹如玄奘之于西土，”是一次朝圣，是他前进艺术道上的一个里程碑，为他漫长的艺术旅途打下了深厚根基，对他未来的事业产生着巨大的影响。