1927年的8月，胡适还被应聘为私立光华大学教授。但是课程并不重，如他给友人的信中说：“我现在教六点钟书，维持生活费，余力则编书。”
对胡适来说，在上海的日子总的说来是较为轻松的，除了教授很少的课程外，主要从事研究著述。除了在原来《国语文学史》讲义的基础上改写《白话文学史》外，还写了几篇关于禅宗和《红楼梦》的文章，为亚东图书馆标点本《官场现形记》作序，在上海同文书院作《几个反理学的思想家》的演讲，后整理成文。《新月》月刊创刊，此后胡适在《新月》上发表了不少文字。
1928年4月，胡适还带儿子祖望与朋友沈崑三、高梦旦等到庐山游玩一周，回到上海后写有《庐山游记》一文。
但是，这种轻松自在的日子很快被打破了。
1928年春天，胡适的母校中国公学爆发学潮，学校董事会先后推举于右任、蔡元培出任校长，都被学生拒绝。理由是“于、蔡二人道德学问虽好，可惜兼职太多，恐不能专心办学”。
无奈之下，关心公学命运的王云五、朱经农等人找到胡适，请他出山，以解危难。
在朋友劝说下，胡适勉强答应维持两个月，到本学期结束后就辞职。答应后，很快又有点后悔。
他在1928年4月26日的日记中写道：“今天套上一件镣铐，答应了去做中国公学的校长。近来中国公学有风潮，校长何鲁不能回去，校董会中一班旧同学但怒刚、朱经农、丁觳音、刘南陔诸君，与云五等都来逼我。今天云五邀我吃饭，与怒刚诸人劝我，我一时高兴，遂允为维持两个月。此事殊不智，事后思之甚懊悔。”
作为中国公学的校友和校董，看到母校危机，虽不是很情愿，但还是勉为其难。
4月30日，胡适到中国公学正式就任校长之职，与他一同上任的还有新任总务长但懋辛、秘书长丁觳音。
中国公学全体师生召开大会欢迎胡适。
大会由中国公学第一任总教习马君武主持，他在致词中说：“一九○六年胡先生考进中公时，我就认定已替中公取了一位好学生；不但成绩好，品行好，风采也很好。果然，二十年后的今天，这位当年的好学生已经成为国际著名的学者了。现在由他回到母校来做校长，是我们中国公学最光荣的事，也是我感到生平最高兴的事。”
胡适也发表了就职致辞，他回顾了中国公学创办的历史，并特别发挥中国公学“公”字的意义，以此作为品格教育的最高目标。
就职典礼后，胡适仔细考察了中国公学的情况。看到的情况实在是困难重重，此时已经没有退堂鼓可打，胡适越发感到了自己肩上责任的重大。
他在当天的日记中写道：“与但怒刚同到中国公学。虽然受了很热烈的欢迎，但我细看校中情况，很难有办法。最难的是经济方面，熊、但诸君虽任此事，然他们都不是很有手腕的财政家，况在这各方面都穷困的时期呢?”
5月3日，胡适到中国公学办公，发现学校连一本校规都没有，于是决定从组织和法律方面入手，整顿学校。
5月5日，胡适到校召集校务会议，通过了三个议案：(1)校务会议组织大纲；(2)教务会议组织大纲；(3)学校章程起草委员会。
此外，由于之前中国公学校董名额随时增加，没有定额，导致分散在各省的校董总计不下百人，胡适认为这样的后果是“召集既甚困难，组织又不合现行制度”。因此改组校董会也成为当务之急。
在胡适的建议下，中国公学校董会于6月10日在上海开会。会议根据大学院颁布的私立学校校董会规程，通过了校董会章程，决定校董名额为15人，每两年改选三分之一的校董。接着由校董会投票选举蔡元培、于右任、熊克武、胡适、杨铨、王云五、但懋辛、马君武、丁觳音等15人为新校董。校董会还通过了中国公学组织大纲13条。
胡适当初答应接任中国公学校长，主要是为了解决中国公学的风潮，原定任期只维持两个月。因此，会议当天胡适向校董会提出辞职，但未能获准。中国公学的组织大纲中有设副校长的规定，就是为胡适继续担任校长准备的。
当天的会议通过决议，聘请高践四或杨亮功为副校长。高践四，早年留学康奈尔大学，归国后曾任中国公学教授。杨亮功，安徽巢县人，早年毕业于北京大学中文系，后留学美国，先后获斯坦福大学教育硕士，纽约大学教育学院哲学博士学位。
6月17日，胡适与杨亮功商谈，劝他做中国公学的副校长，杨亮功最后答应了。
这一年的暑假，杨亮功到校任事。有了杨亮功替胡适管理日常校务，胡适可以集中精力想大事，办大事，管他这个校长该管的事。他也不必每天都到校了。
6月25日，胡适到中国公学参加校长就职典礼。
胡适在当天的日记中说：“套上这一箍，不知何日能解下。我所以不忍丢就走的缘故有三：(1)熊锦帆、但怒刚、丁觳音诸同学真热心办此事，我不忍丢了他们就走；(2)这个学堂当初确然于我个人的发展曾有大影响；我若不进中公，后来发展的方向当不同；(3)此时我行就职礼，可以表示一种态度，表示我不想北去。”
最后一点是指胡适反对李石曾担任北大校长，有人怀疑胡适自己有北上担任北大校长的打算。
9月12日，中国公学开学，胡适本想辞去一切课程，专心管理学校和从事研究，但中国公学的学生都希望能够亲炙胡适教诲，亲眼目睹胡适讲课的风采，胡适于是选了一门别的教授不愿教的课——中国文化史。这门课对胡适来说也很陌生，只好从头学起，认真备课，现“蒸”现“卖”。
中国公学经费异常困窘，濒于破产的境地，却贪大求全，设有文、商、法、理工4院17学系，而学生仅三百余人。
胡适从1928年暑假开始调整学校的院系设置，最终改为文理学院、商学院、社会科学院等三个学院六个系。此举一方面便于课程的安排和学生的全面培养，另外，有助于节省经费，减轻学校经济上的压力。
在教师的选聘上，胡适继承了蔡元培“兼容并包”的作风，遵循“不分派别，不限资格”的原则，将学术水平和能力作为标准，坚持不拘一格选聘优秀教师。例如沈从文只有小学文凭，胡适也大胆聘用他为大学老师，诚如沈从文所说，“这是胡适校长给予我的难得的机会，是一种很大胆的尝试”。
为了提高教学质量，胡适先后请来一大批著名的学者前来任教，其中有人们熟悉的高一涵、张慰慈、杨亮功、罗隆基、梁实秋、郑振铎、陆侃如、冯沅君、全增嘏、叶公超、饶孟侃、黄白薇等。
对于教授的聘请，胡适非常重视，并且有明确的标准，如中国文学教授，他认为必须旧学有根基而对于新知识也有相当研究者，才算合格。同时胡适又不拘于资格和学历，不分派别。以中国文学系为例，当时聘请王运的学生马宗霍教先秦文学、左派作家白薇教戏剧、后来结为夫妇的陆侃如和冯沅君教古典诗词考释。
前边说到的，青年作家沈从文教小说创作、郑振铎教西洋文学史、梁实秋教文学。其中陆侃如、冯沅君，沈从文都不满30岁，而沈从文只有高小学历。
胡适聘用沈从文是徐志摩的推荐，虽然沈从文第一堂课因为紧张站在讲台上十多分钟说不出话，但后来的事实证明，沈从文以专深的知识和才气得到了学生们的认可。
胡适的名气不仅吸引了许多有真才实学的学者到中国公学任教，也吸引了不少人报考中国公学。
据罗尔纲回忆，当时他所在的班有一位六十岁左右的老学生，比胡适还要大二十多岁。本来已经高等师范毕业，教了多年中学，因为仰慕胡适而放弃工作重新来中国公学求学。
胡适认为“教育的成功，此实系环境所使然”，因此，他开除了一批不注册、不上课、打架斗殴、使用假文凭的学生，整饬了学风，树立了学校威信。与此同时，他积极支持《吴淞月刊》《中公学生》《中国文学季刊》等刊物以及各种学会的创办发展，活跃了学术气氛，给老师和学生提供了提高学术水平和表达思想的平台，为学校建设起了良好的学风。
胡适在自己求学期间积极参加课外活动，非常活跃，对于中国公学学生的各种学术研究会和讲演会也非常支持，有时还亲自担任演讲竞赛的评判员。
胡适自己非常擅长演讲，也很有心得，他告诉学生演讲的要点：第一是口齿要清楚，第二是说话要慢，而演讲稿的好坏则取决于思想组织的能力。
由于胡适的提倡和支持，学生的演讲水平有很大提高。1929年12月，中国公学、复旦大学、持志大学、劳动大学四所淞沪大学在持志大学举行演讲比赛，结果中国公学夺得第一名。
胡适也非常重视学生的体育运动，认为体育运动不仅可以强健体魄，还可以磨练意志，培养坚忍进取的精神和集体荣誉感。在胡适任校长期间，学校每年春秋两季都举办运动会。
1930年4月28日，他亲自作《中国公学运动会歌》：“健儿们，大家上前！只一人第一，要个个争先。胜固然可喜。败也要欣然。健儿们，大家上前！健儿们，大家全体的光荣，要我们担戴。胜，要光荣的胜，败，也要光荣的败，健儿们，大家齐来！”
经过改革，中国公学的教师队伍不断壮大，学生数量和质量普遍提高，学校知名度和招生情况逐渐改观。在胡适掌校的两年时间里，学生数目从300多人增加到1300多人，发展很快，经济情况也有了好转。学校原有的规模已经不能容纳学生现有的数量，为此扩建开设了分校区，新建了校舍。