胡宗南1896年5月12日出生,祖籍浙江镇海。1915年中学毕业后,先后受聘于孝丰县立小学和私立王氏小学,任国文、历史和地理教员。
1924年,胡宗南前往浙江湖州参加别动队,与王亚樵结拜为金兰兄弟。
别动队解散后,胡宗南到广东投考黄埔军校,因其身高不足,体格检查时被淘汰,经军校党代表廖仲恺特许参加考试4月被录取。
胡宗南于6月16日正式入学,此间结识了“同乡”蒋校长,11月于黄埔军校毕业后,胡宗南被分配在军校教导第1团第3营第8连任少尉见习。
1923年,教导团奉命参加讨伐陈炯明的东征,胡宗南作战勇敢,表现优异,在激烈的战斗之中不畏枪林弹雨,在战斗最激烈的时刻始终指挥两挺机枪掩护官兵作战,胡宗南第一次在军中崭露头角,并得到了蒋介石的注意和器重,胡宗南因功被晋升为机枪连上尉副连长。当时,对于黄埔军校第1期的毕业生的评价,有这样的说法:文有贺衷寒,武有胡宗南,能文能武李默庵。
在蒋校长提携下,1927年5月胡宗南任第1军第1师少将副师长兼第2团团长,成为国民党黄埔系学生的第1个将军,后来又成为黄埔同学中第一个军长、第一个兵团总指挥、第一个集团军总司令、第一个战区司令长官。
1931年1月13日,胡宗南升任第1师中将师长,开始建立自己的军事体系,形成黄埔系“少壮派集团”。
1932年3月,蒋介石授意其心腹贺衷寒、康泽、胡宗南等人(均为黄埔军校毕业生)成立特务组织“中华民族复兴社”(仿照法西斯特务组织意大利黑衫党、德国褐衫党,又称“蓝衣社”),由蒋介石核定干事十三人为该组织骨干,被称为“十三太保”。胡宗南居蒋介石“十三太保”之首,以黄埔系“太子”自诩。
1932年5月胡宗南参加“围剿”大别山的红4方面军,不久率领第1师进入甘南布防。1935年6月积极参加拦截围攻长征红军,11月22日当选为国民党第5届中央监察委员,标志着黄埔系的势力开始进入中央决策机构。
1936年4月21日胡宗南为第1军军长,兼第一师师长,进攻陕北红军,彭德怀率领红军迎击,大败胡宗南。12月12日“西安事变”爆发,胡宗南正在陕西惠安堡附近,得知蒋介石被扣的消息后,旋即赶到天水,支持戴笠赴西安营救蒋介石。
1937年7月7日抗战爆发,胡宗南率部参加淞沪会战,13日升任第17军团军团长。1939年8月4日任第34集团军总司令,成为黄埔系学生的第1个集团军总司令;12月,胡宗南受蒋介石指使,集结部队准备向延安进攻。
1940年1月,蒋介石掀起第一次反共高潮,胡宗南奉命在空军的配合下,向陕甘宁边区纵深进犯,蚕食5个县,并公开喊出“消灭边区”的口号,严密封锁,构筑了一条长达700余里的由碉堡、工事组成的封锁线。1942年7月23日,胡宗南升任第8战区副司令长官兼第34集团军总司令,掌握第8战区实权,屯兵西北,封锁、侵犯陕甘宁边区,号称“西北王”。
1943年7月,胡宗南曾密谋突袭延安,被胡宗南的机要秘书、地下党员熊向晖暴露而作罢。1945年1月12日就任第1战区代理司令长官,辖45万人;5月当选为国民党第六届中央执行委员;7月31日被正式任命为第1战区司令长官,成为黄埔系学生中唯一的战区司令长官。10月3日特加陆军上将衔,此时第1战区指挥的部队总兵力达50万人,势力分布到陕西、甘肃、宁夏、河南、晋东南地区。
1946年1月1日,胡宗南被任命为郑州绥靖公署副主任,1947年3月4日被任命为西安绥靖公署主任。3月11日,胡宗南在洛川召开军事会议,决定采取钳型攻势,企图包围歼灭陕北解放军,占领延安以及整个边区。3月13日指挥15个旅(14万人)进犯延安,3月19日令整编第1师第1旅进入延安空城,胡宗南组织作战参谋捏造战报,大吹大擂“俘虏敌5万”的“重大胜利”。
1947年5月28日,52岁的胡宗南结婚了,娶了比自己小18岁的娇妻叶霞翟。
1947年3月25日,第31旅在青化砭大部被歼,4月16日第135旅在羊马河被全部歼灭,5月7日第167旅在蟠龙被全歼。8月22日整编第36师在沙家店全军覆没,至12月,陕甘宁边区大部分被解放军收复。1948年3月1日,整编第29军全部被歼灭,胡宗南向南京请罪,被撤职留任。4月21日延安解放。12月25日,新华社公布43名战犯名单,胡宗南列第30位。
1949年5月20日西安解放,7月14日宝鸡解放,胡宗南集团遭到毁灭性打击,胡宗南窜逃汉中。9月8日兼任川陕甘边区绥靖公署主任,12月7日任西南军政长官公署(军政长官顾祝同)副长官兼参谋长,代行军政长官职权,20日胡宗南决定将军政长官部迁西昌,23日私自飞往海南三亚,28日在顾祝同劝说下飞到西昌。
1950年3月26日胡宗南自己悄悄飞逃台湾,5月台湾45名“监察委员”气势汹汹地联名弹劾胡宗南,胡宗南“应负重大之罪责”。1955年9月胡宗南就任“澎湖防守司令部”司令官,晋任陆军二级上将。1959年,胡宗南在澎湖任期四年后正式退休,结束了长达三十五年的军旅生活。
1960年9月任“防务研究院”毕业同学会会长、“防务研究院”院务委员,深居简出,郁郁寡欢。1962年2月6日胡宗南病情恶化,7日蒋经国奉父命探望,10日蒋介石亲自探望,胡宗南激动万分,涕泪交流,14日凌晨因心脏病突发去世,病逝于台北荣民总医院,终年67岁。台湾成立以何应钦、顾祝同为正副主任的治丧委员会,17日公祭,蒋介石亲自参加祭奠,发表纪念讲话,挽“功着旗常”,6月9日安葬于台北阳明山纱帽山麓。