1900年9月9日出生在浙江省金华市武义县汤恩伯村。
1912年入武义县壶山小学读书。
1916年高小毕业，入省立金华第七中学就读。
1917年转入浙江省体育专科学校学习。1918年与永康籍马阿谦结婚。
1919年浙江体专毕业，留校任教。后入援闽浙军讲武堂学习。长子汤恩伯建元出生。
1920年讲武堂毕业，任浙军第1师排长，是陈仪的部下。浙军溃败后回乡，任东皋警察所巡官。
1921年与武义巨富之子童维梓东渡日本。
1922年3月考入日本明治大学法科，主修政治经济学。
1924年5月辍学，回国筹集求学经费。经陈仪保送入日本陆军士官学校第18步兵科学习。
1926年日本陆军士官学校毕业，回国任教陈仪部第一师少校参谋。与王竟白结婚。
1927年任南京国民革命军第19军中校副团长，后任总司令部参谋处中校参谋，嗣后升任作战科科长。
1928年任南京中央陆军军官学校第六期步兵第一大队上校大队长，12月升任该校第七期第一总队教育处少将教育长。在校期间著《步兵中队（连）教练之研究》，博得蒋介石介石赏识。
1929年任军校军官教育连副连长，连长，军官教育团步兵营营长。1930年任中央军校教导第二师第一旅少将旅长，部队改编后任陆军第四师副师长兼第十旅旅长。
1931年任国民革命军第2师中将师长。
1932年任国民革命军第89师师长，后兼第四师师长。
1933年任剿共军第二路军副总指挥。回乡祭祖，巧理纠纷后重修岭下汤恩伯祖坟，蒋介石介石为其墓碑题词中山发祥。
1934年初，率89师由江西进攻福建人民政府，1月13日攻入福州，2月任赣粤闽鄂剿共军东路军第五路军第十纵队总指挥兼第四师师长，夏，接连击败红军，攻克苏区将乐县、泰宁县、建宁县、石城县，11月，汤恩伯部陈大庆旅率先突入中央苏区首都瑞金。
1935年任陆军第十三军军长兼第四师师长，4月8日晋升为陆军中将。
1936年兼任陕北剿共善后办事处主任。率部驻绥远省集宁县，抗击伪蒙勾结日伪进犯。
1937年8月任第七集团军前敌总指挥，指挥所部第13军在南口地区抗击日军进攻，予敌重创。9月任第20军团军团长兼第13军军长。10月在河北漳河南岸阻击日军，掩护河北国军转移。10月底率第13军驰援晋绥第二战区，参加子洪口战役。
