隋炀帝修建大运河的工程分4段进行。
公元605年4月14日（隋大业元年三月二十一日）隋炀帝“命尚书右丞皇甫议发河南、淮北诸郡民，前后百余万，开通济渠”。通济渠起于洛阳城，西引榖（即涧水）、洛水入黄河；又从极清（今河南荥阳县把水镇东北周黄河水向东到洋州（今河南开封），再顺汴水经商丘，折向东南，接通蕲水，经皖北至淮阴入淮水。第一段工程沟通了洛水、黄河和淮河。
同年，隋扬帝又征发淮南民十几万开邢沟。
608年2月，再次下“诏发河北诸军百余万穿永济渠，引沁水南达于河，北通深郡”。
611年元月，隋炀帝“敕穿江南河油京日至余杭，800余里”。这段工程的告竣，全长4000多里的大运河贯通，成为中国南北交通的大动脉。