胡惟庸是定远人，与朱元璋、徐达、李善长等人是同乡，是明初淮西勋旧势力中的重要官员。
元至正十五年（公元1355年），朱元璋在和州当总兵官时，胡惟庸前来投奔，被封为元帅府奏差，不久成为宣使。
元至正十七年（公元1357年），朱元璋攻占宁国后，胡惟庸被封为宁国主簿，后来升为宁国知县，正七品。
元至正二十四年（公元1364年），胡惟庸调任吉安通判，正六品。
元至正二十六年（公元1366年），胡惟庸被擢升为湖广佥事，正五品。
吴元年（公元1367年），胡惟庸在李善长的推荐下，调入应天府，被封为太常少卿，正四品，后来升为太常寺卿，正三品。
后来根据李善长家奴卢仲谦等人的揭发，胡惟庸送给李善长三百两黄金作为酬谢。
当时连年战乱，经济凋敝，朱元璋攻入应天后，为缓解资金压力，拨付给文官职田，招佃农耕种，以田租作为文官的俸禄。胡惟庸在地方为官多年，收入微薄，却拿出三百金贿赂上司，他这笔巨款从何而来呢？
明朝洪武三年（公元1370）年，胡惟庸被调入中书省，被封为参知政事，从二品。
明朝洪武四年（公元1371）年正月，朱元璋任命以中书右丞汪广洋为中书右丞相，胡惟庸为中书左丞，正二品。
明朝洪武六年（公元1373）年正月，汪广洋被贬为广东行省参政，朱元璋一时难以找到合适的人选，很久都没有任命丞相，胡惟庸以左丞的身份执掌中书省。
同年七月，胡惟庸被任命为中书省右丞相，正一品。
自从杨宪明朝洪武三年（公元1370）年被诛后，朱元璋认为胡惟庸是个人才，对他宠信有加。胡惟庸也自我勉励，追求上进，小心谨慎地迎合上意，恩宠日盛。
明朝洪武十年（公元1377）年九月，朱元璋提升胡惟庸为中书省左丞相。
胡惟庸独自为相多年，随着权势的扩大，日益擅权跋扈、独断专行，很多涉及生杀罢黜升迁的大事，不经过请示，便自行决定。
各机构上呈的密封奏章，胡惟庸必先打开查阅，对自己不利的便隐匿不报。
急于获得功名的人和失去职位的功臣武将，争相投奔胡惟庸，送给他金帛、名马、玩好，多到数不过来。
为巩固自己的权势，胡惟庸极力拉拢淮西大臣，与李善长结亲，把女儿嫁给李善长的侄子李佑。后来又试图和徐达结交，徐达看不上胡惟庸的为人，没理他，并且向朱元璋说了自己对胡惟庸的看法。胡惟庸胆大妄为，竟然去贿赂徐达的看门人福寿，想害徐达，福寿于是把事情告诉了徐达。徐达听后也没细问，只是时常提醒朱元璋不可对胡惟庸委以重任。
吉安侯陆仲亨从陕西回到京师，擅自乘坐驿站的马车，朱元璋知道后十分生气，说：中原饱受战乱之苦，百姓刚开始恢复生产，生活十分艰苦，假使人人都像你这般，百姓卖了子女，也无力供给。于是罚陆仲亨到代县捉拿盗贼。
朱元璋令平谅侯费聚到苏州安抚军民，却整日耽于酒色，不务正业。朱元璋罚他到西北招降蒙古部落，却又未建功绩，再次遭到朱元璋的严厉斥责。
陆仲亨和费聚心里惴惴不安，胡惟庸趁机暗中以权势威逼利诱二人，二人本就没什么心计，见胡惟庸正掌权，便和他来往密切。有一次，在胡惟庸家喝酒，酒酣饭饱之际，胡惟庸屏退左右，对二人说：“吾等所为多不法，一旦事觉，如何？”（《明太祖实录》）
二人听后惶恐不安，不知如何是好，于是胡惟庸把自己的想法向两人和盘托出，令他们在外面招兵买马，二人从命。
明朝初期，军队册籍由大都督府掌管，其他部门无权调阅，而中书省与大都督府平级，中书省主管行政，大都督府主管军事，两个机构的最高长官都是正一品。
可是，胡惟庸却偷偷取出军队册籍，与御史大夫陈宁在中书省查阅，如果不是想图谋不轨，为何会有这样的举动？
此外，胡惟庸还令都督毛骧把卫士刘遇贤、亡命之徒魏文进收为心腹。
明朝洪武十一年（公元1378）年三月，朱元璋下令官员上奏事情无需告知中书省。
这是否表明朱元璋将要撤销中书省呢？如果中书省被撤销，自己的丞相官职必然保不住，苦心经营多年的权势地位也将丧失，胡惟庸陷入焦虑。
可是，胡惟庸的烦心事一桩接着一桩。
明朝洪武十二年（公元1379）年，胡惟庸的儿子在街上策马疾驰，却意外坠马，死于车下，胡惟庸处死驾车之人。朱元璋大怒，令胡惟庸偿命。胡惟庸请求用钱财了事，朱元璋不准许。
胡惟庸十分害怕，于是和御史大夫陈宁、中丞涂节等人密谋起事，并暗中告诉自己的追随者，做好准备。
同年九月，占城使者前来朝贡，胡惟庸却没有及时上报。宫内宦官见到后上奏给朱元璋。朱元璋大怒，斥责中书省官员。胡惟庸与汪广洋虽然磕头谢罪，却把责任推卸给礼部，而礼部又归咎于中书省。朱元璋更加生气，把相关大臣全部关押起来，下令彻查。
同年十二月，涂杰向朱元璋告发胡惟庸谋反，次年正月，朱元璋下令死胡惟庸、陈宁、涂杰等人。
