张伯苓退役回到天津后，适逢天津绅士严修倡导兴办新学。1898年，严修聘张伯苓主持严氏家塾，即“严馆”。张伯苓在严馆任教期间，除教学生学习英文、数学及理化外，还提倡体育教育，让学生学习跳高，在当时属罕见之举。1901年，天津绅商王奎章也聘请张伯苓在王氏家塾，即“王馆”任教，教育其子侄。此后，张伯苓在“严馆”、“王馆”之间奔波，在两馆的教学方法大体相同，附读的学生逐年增多，教法及设备尚不完备。同年，严修与张伯苓商议创办蒙养小学堂，第二年扩充后，改名为天津民立第一小学堂。
1903年，严修被袁世凯任命为直隶学校司督办，在严修、王奎章的支持下，张伯苓乘暑假赴日本考察教育。1904年5月，张伯苓和严修再度赴日本考察，四个月后回国，决定成立中学。他们遂以严馆、王馆为基础，于1904年10月17日在严修家的偏院成立私立中学堂，张伯苓任该学堂监督。该学堂收有原严馆、王馆的学生，并从社会上招收了梅贻琦、金邦正、喻传鉴等学生。1904年底，按照严修的意见，张伯苓将学堂更名为“私立敬业中学堂”，取“肃敬受业”之意。一年之后，因按照清政府的规定，学堂名称必须表明其资金来源及性质，该学堂又更名为“私立第一中学堂”。后来，天津士绅郑菊如将自己在天津城南水闸旁的一块十余亩的土地捐给私立第一中学堂，以扩建校舍。1909年，张伯苓在西沽公理会教堂受洗为基督徒。
1911年，清华学校代理总办范源濂聘请张伯苓到北京出任清华学校教务长，总揽清华学校校务，对清华学校的学生课业进行了改革。由此，张伯苓开始往返于天津、北京两地，兼顾北京的清华学校与天津的私立第一中学堂。对此张伯苓曾说：“我是个保姆，同时抚养两个小孩儿。”在清华学校任职约半年后，张伯苓辞去了清华学校教务长一职。此次在清华学校任职期间，张伯苓对清华学校推行的美国教育方式印象深刻，此后他尝试将美式教育引入私立第一中学堂，并取得了一定的成果。
1911年，直隶提学使傅增湘饬令将天津客籍学堂和长芦中学堂并入私立第一中学堂。由此，原本拨给前两所学堂的经费也一并拨给私立第一中学堂。由于接受公款，私立第一中学堂遂更名为“公立南开中学堂”，一是表明资金来源的改变，二是表明学堂的所在地，“南开”二字最初的含义是天津城西南的开洼地的意思。1915年，张伯苓短期代理直隶女子师范学校校长。