当时的宋耀如也许有很多的不情愿，也尝试着反抗，但当他提出回文昌省亲被无情拒绝后，他似乎明白只有这一条路可走了。
上海没有让他失望，在以后的32年中，宋耀如基本没有离开过这个地方，除了“二次革命”失败后袁世凯疯狂捕杀革命党人的那段时期短暂寓居日本外，宋耀如一直居住在上海，在这里他如鱼得水，游刃有余，走过人生最艰难也是最辉煌的时期。
宋耀如在上海最初的时光最难对付的是他的上司，美国监理会中国教会负责人林乐知博士。林乐知不欣赏查理·宋有很多是出于偏见，但宋耀如却很难有推翻它们的理由。
公正地说不是完全出于歧视，相反，他嫌弃这个中国人汉文化的浅显，包括行为举止，太少了点“中国”的味道和纯粹，他恨这块“中国铁”缺少点“中国钢”。在宋耀如还是美国大学的一个学生时，林乐知就警告他不要丧失中国人的本性，要他学习中文。现在，他要这个下属变成一个地道的“上海人”。
牧师加学者的上司
林乐知
美国传教士巨擘林乐知先生出生于美国佐治亚州，幼孤，由姨父母抚养成人，毕业于佐治亚州埃温里大学。
1859年被派来中国传教。
由于处在美国南北战争时期，这个远离美国的青年传教士在这个遥远陌生甚至是怀有敌意的环境中，经费断绝，生活不保，靠出租、变卖教会产业以及做煤、米、棉花生意生存，凭着对上帝的信仰艰难维持下来，并迅速打开传教局面，以上海为据点，扎根中国，成为一个阅历丰富的“中国通”，对中西文化的发展交流作出巨大贡献并具深邃见解。1864年，林乐知被上海广方言馆聘为英文教习。1868年，创办并主编《教会新报》，后改名《万国公报》，是19世纪介绍西学最集中的期刊。1869年进江南制造局翻译馆任编译十二年之久，翻译了大量的书籍资料。1877年，基督教在上海组成益智书会（即学校教科书委员会），决定编写高级和初级两套教材。高级教材由林乐知负责。1876年，清政府为了表彰他译书和教学的贡献，授予他五品顶戴官衔，后又“钦加四品衔”。1881年，他辞去广方言馆和翻译馆职务，在上海创办中西书院，并任监院（院长）。1895年，辞去监院一职，专事办刊和译书。
为此，1905年5月林乐知受到美国总统西奥多·罗斯福的接见。
在中国四十七年间，林乐知身兼教习、编辑、译书、传教士等职，常常半天授课，半天译书，夜间编辑期刊，礼拜天传教。译著有十多种，最著名的是《中东战事本末》初编八卷。1896年4月出版3000册，很快销售一空。
1897年出续编四卷，1900年出三编四卷。此书不仅是单纯的翻译，间有编者的按语、评论，书中对甲午战争真相的披露，以及对中国存在积习的尖锐批评，于中国知识界影响很大。其所著《印度隶英十二益说》，列举印度成为英国殖民地的种种“益处”，建议中国效法印度的殖民体系，在东南部选择两省“租给”英国，一切由英国人“管理”，五十年后“归还”云云，暴露其殖民主义的本质。
林乐知重视中西文化的贯通，如他所说“闻释耶教，介绍西方，决难囿于讲坛，徒恃口舌，必须利用文字，凭借印刷，方能广布深入，传之久远”。
他意在通过著译广泛传播西学，改变中国人旧的思想体系，输入西方的思想理念和意识信仰。林乐知和他优秀的中国传教士前辈们一样，不是一个教条主义者，而是一个宗教革新者，从其译著和涉世行为等做法中可以看出，其中国文化价值取向和布道本土化意识很强，是一般传教士所不及的。林乐知初到中国时署名“美国林乐知博士”，后不久改为“美国进士林乐知”，所谓进士是中国科举制度下，取得文官出身的特称，非经皇帝钦授不得冒用，与欧美的博士学位是两回事。他将署名由“博士”改为“美国进士”，显然是利用了时人对西方制度的不甚了解，模糊应用“博士”与“进士”的“形而上”概念，赢得中国人的认同，尤其是士大夫阶层的好感与尊敬，提高其在中国人心目中的地位。林乐知还将自己最初的中文名字林约翰改为林乐知，取“一物不知，儒者当为耻”之意，颇能够说明这个西方人对中国文化的尊重与理解。出于同样的考虑，后来他更是效仿中国士大夫阶层的习惯，取字荣章，号爽目子，其他名号还有“林华书院主人”、“林华主人”、“万国公报馆主人”等，撷取中国文人能够得到的一切的光环。
林乐知在介绍西学的翻译过程中，也尽量将西方哲学的名词义理与中国传统名词对应起来，如在传播西方近代科学的同时，给中国传统的“格致”学赋予了时代意义，以“格致”对应西文的“science”。“格致”出自“格物致知”的古语，即“致知在格物，物格而后知至”。在中国传统儒家经典中，其本意是作为修身、齐家、治国、平天下的起点与基础。
林乐知宣传他西方化的所谓“格致之学”，不是中国传统士大夫所理解的“空谈理性”，而是数学、地学、天文、电学等“实学”；他所介绍的西方国家机械制造技术等各种“格致技艺”，也不是某些学人、士大夫们所认为的“鬼工”、“幻法”，而是“随事体验，即物以穷理”、“由理而生法，因法而制器”的实际研究活动。
林乐知指出中西方对于“格致之学”含义的理解“有雾壤云泥之别”，中国所谓格致家“格其外而未能格其内，知其略而不知其详”。
他提倡西方人对格致之学“殚精竭虑，极深研几”的态度，指出这样“用力久而贯通一旦”，才能真正有所成就。
他援引古代经书中的“格致”对应西方科学，而不是另辟新词，这种“旧瓶装新酒”式的译名处理，一方面易于被守旧的中国知识分子接受，另一方面便于他以西方近代科学概念与中国古代经书的传统观念进行对比，影射中国古代科学观念的落后与弊端。
林乐知对西学理论的这种本土化处理的积极作用，是在中国科学没有形成西方那种系统化、理论化科学发展结构的时代，赋予中国传统文化以科学概念，起到引入近代科学研究态度、方法等新内容的作用，以提倡用西方近代科学观待事看物的方法，这在当时不失为一种打破旧观念、启迪新思想的积极主张。
林乐知直到1907年5月31日在上海病逝，几乎把一生的智慧都奉献于对中西文化的了解、诠释和融合，其中国情结由此可见。
无疑，作为一个牧师加学者的上司，林乐知有充分理由瞧不起这个对美国文化虽有一定程度把握，而对自己的母语文化十分欠缺“异化”的华人，因为他认为，这个中国查理如果不能尽快地掌握好自己的母语文化，他甚至不如一个汉文化造诣较高的非中国籍传教士更有用，更有发展前景。
“祸兮福所倚”
从这一点来说，宋耀如是“祸兮福所倚”吧。
因为，在其美国教育与中国教育不平衡的背景下，能碰到这么一个虽专横但学贯中西的上司，从而得以接受母语文化再教育，其重要性不亚于他在美国接受教育的重要性。因为对于一个从少年时代起孤身一人在美国接受教育的华人，传统文化是其民族情感理性回归的根本。
林乐知的“蔑视”无疑迫使宋耀如加快对中国文化的“省悟”。
宋耀如高于一般人悟性的地方是，他站在西方文化的立场理解了林乐知中国本土化教育思想的合理性。尽管林乐知让宋耀如不愉快，但他却是一面不可多得的镜子，宋耀如从林乐知的身上看到一个务实主义和思想严谨的传教士典范。
林乐知对于宋耀如的影响，是客观和辩证的。宋耀如后来作为教育与文化的传播者，更能够扬美国教育之长技，避中国教育之短视，取中学礼仪的精华，弃西学空泛游移的部分，取有用舍无用，针对当时中国的现实情况有选择地实施教育，与林乐知最初的“铁面无情”是分不开的。
尽管他讨厌这个自以为是、咄咄逼人的上司，但还是选择了容忍。
刚开始，林乐知将这个一腔热血、满怀憧憬、在他眼中颇显笨拙的年轻人安排在吴淞口布道，完全是因为尊重美国监理会本部的意见。
当然，深感教会势力单薄的他也需要助手，在中国传教毕竟不是单纯地做学问，他需要有人在前面应付难以“教化”的中国人。
不过对于这个“助手”，他的开价非常低廉。宋耀如每个月报酬还不到15美元。15美元对于当时的一个土生土长的本地职员可能不算少，而对于从美国刚刚回来的查理·宋，这点薪水让他月月捉襟见肘。
布道之外，宋耀如还必须在教会学校当“助教”。
刮目相看
最初的教会学校天主教或基督教（新教）教会所设立和控制的学校。最早出现于中世纪的欧洲。中世纪的大学大都是教会办的。现在某些国家中大量的初等﹑中等和高等学校仍受教会控制。鸦片战争以后，英美等国曾通过教会在中国设立大﹑中﹑小学。中华人民共和国成立后，于1951年接管了外资津贴学校，收回了教育主权。，不过是一个高级“幼稚园”而已。
那时的学生大都是从乡下过来的孩子，没受过什么正规的教育，散漫无拘。
刚开始，孩子们不习惯于西式教育方法，上课时自行其是，对教师指指点点，加之语言障碍，课堂犹如放养场。
而每当查理·宋走上讲台，孩子们看到他那不中不西的打扮和一口蹩脚的英汉夹杂的上海方言，怎么也严肃不起来，起哄、嘻哈成了课堂一景。有调皮的甚至在他背后直呼“假洋鬼子”。
为了哄这些孩子，宋耀如绞尽脑汁，他发现用讲故事来吸引这些学生的注意力是个好办法。宋耀如是一个天生讲故事高手，他用略带洋腔的南方口音和与生俱来的丰富表情，绘声绘色，连说带比划，听起来滑稽有趣，孩子们往往被逗得哈哈大笑，他们的注意力一下子都被吸引住了。
他给他们讲航海去美国时遇见的种种险恶和各种有趣的动物，讲大洋深处的飞鱼划越海面时的惊惧和信天翁蓝天滑翔时的优雅，讲南极边缘逆戟鲸的凶残勇猛和企鹅的憨态可掬。随着他的表情时而紧张，时而放松，并辅之手舞足蹈，孩子们听得如痴如醉。
他们开始对这个貌不惊人的查理刮目相看，由开始的轻视到看重。
宋耀如也拿出他刚到美国时的韧劲，很快从语言到形象都有了很大的突破，教学互长，他在教孩子们英语的同时，向孩子们学习中国语言特别是上海方言。
他的见识多广和好学，以及无微不至的关心爱护，很快博得学生们的信任。时间一长，这些聪明好学的孩子渐渐为宋耀如的智慧和魅力折服，被其精彩的讲课吸引，再也不捣蛋了，从开始的不接受到喜爱和尊敬。来听查理讲课的学生也越来越多，其中包括后来的著名学者胡适。
胡适学贯中西，其启蒙教育的源头，一生的学术纹理，在宋耀如这里，恐怕也能找到一些最初借鉴和启蒙的影子。
宋耀如的教育方法取得空前的成功，第一个学期结束，消息传开，这个班的人数在重新开学以后，由原来的12人，翻了一倍达到24人。这些让同事们心悦诚服，也让林乐知刮目相看。这个查理不可思议！
左右为难
相比教孩子们读书，布道却是一件困难的事。
对付成见很深的老百姓要比对付阅历单纯的学生难得多。
当时的中国老百姓绝大多数还都是穿着黑布长衫，脑袋后面拖着一条大辫子，与西方人的形象反差甚巨。宋耀如初回中国时，一副中式面孔，一身美式打扮，西装革履，头发剪得短短的，左右分开，梳弄十分整齐。
每当装束奇异的这个查理经过时，小孩子们就在后面大叫“赤佬”，大人们则轻蔑地叫他“小矮子”。老百姓眼中的“宋查理”是一个既不像中国人又不像洋人的假洋鬼子；而洋人眼中的“查理宋”是一个本性流失的中国人。
在白人种族主义的潜意识里，查理不能享有他们西方人那样的境遇，至少不能与地道的美国人平起平坐。他们百般刁难宋耀如，甚至在一定的场合限制他说英语，既对他的汉语表达不满意，也对其准确的英语表达能力嫉妒和不快。
被派来教授语言的一个洋名叫查理·马歇尔的中国人，因英语表述问题，常常被以地道美国学院派自居的宋耀如讥为“洋泾浜”洋泾浜，原是上海的一条河浜，位于从前的公共租界和法租界之间，后来被填成一条马路，即今天的延安东路。所谓“洋泾浜英语”，是指那些没有受过正规英语教育的上海人说的蹩脚英语。它的特点一是不讲语法，二是按中国话“字对字”地转成英语……而马歇尔对宋耀如的中文能力看不起，对他的英语表达水平不买账，他们常常为怎样用准确的语言表述争执不休，但获得同情的往往是马歇尔而不是查理。
从不服输
林乐知这个纯粹的美国人对这个颇自以为是的“假老美”越来越不耐烦，他甚至有点讨厌这个家伙。宋耀如那种中国岭南人的直率加之在美国南方养成的豪爽性格和自以为是的做事方法常常使他不快。
包括宋耀如刚回到上海不久，就违反林乐知的“发号施令”，不顾其不准许他春节前回海南探望父母的警告，在1886年夏天的某一时间，擅自回到海南看望了父母乡亲。
宋耀如在1886年10月7日致索斯盖特的信中透露了这个信息：
……自上次给您写信后，我成功地看望了我的家人，家中所有人都很好。他们看到我都非常高兴，尽管没人能认得出我来。我受到他们的热情接待。……上海市孙中山宋庆龄文物管理委员会编：《孙中山宋庆龄文献与研究》第二辑，第272页。原文如下：By the way， I have succeeded in paying my folks a visit since I wrote you. All the members of my family are well. They were very glad to see me though none could recognize my person. I had a warm reception from them。
这既证明了宋耀如回国后确是回了一趟文昌老家，也证实了海南文昌一位亲属在事隔数十年后的回忆：“当年因气候闷热，他（宋耀如）常躺在家中草屋旁边棕榈树下乘凉，用一张芭蕉叶子当扇子。”
宋耀如合乎常理的固执让林乐知不快，但他也找不出发泄的理由。
但随着成见的加深，他不断降低对查理的使用规格，最后干脆把他赶出上海，派到远郊，在昆山当了一名巡回传教士。
林乐知不仅在资金上为难这个查理，同时不留情面地下达了要他自筹经费、在当地建教堂的“硬指标”。在僻陋贫困的乡间，宋耀如压力重重，更加孤独、郁闷。
由于群众对洋教的偏见，加之他那一身不土不洋的装束，他一开始就受到当地人比对一个真正的洋教士更为猛烈的排斥，连布道传教都没有人响应，更不用说筹钱建教堂了。