夫差是春秋時期吳國的最後一位國王，他運河開挖起了開創作用。他是大運河“第一鍬”的開挖者。吳王夫差調集民工開鑿邗溝。因途經邗城，故得名“邗溝”。邗溝的開鑿，是有史記載的大運河最早開鑿的河段，被認為是大運河的開端。揚州、淮安兩座歷史文化名城因邗溝的開鑿而誕生。
秦始皇在湘桂之間開鑿靈渠，以通漕運。漢朝開鑿了槽渠，由長安引渭水入渠，沿南山山腳，一直通到黃河。東漢開鑿了陽渠，漕舟可由汴入河，由河溯陽渠入洛陽建春門以輸常滿倉。東漢順帝時期，陳敏修理邗溝，另開新道，由江都經樊良湖改道津湖，再由津湖直接由末口入淮，避免了射陽湖的風濤之險，給漕運帶來了很大的便利。孫權在南方開鑿運河，西連淮水，東接雲陽，號破岡瀆，這條運河是溝通今南京以東的水運網。
隋煬帝修隋朝大運河分為四條：通濟渠、邗溝、永濟渠、江南運河。隋統一以前，中國南北方曾長期處於阻隔的狀態。隋統一之初，江南故陳的強宗大族仍擁有較強的經濟實力與社會影響力，與隋中央之間始終存在著比較尖銳的矛盾。舊陳的中心地帶吳會地區發生過大規模的叛亂，隋高祖文帝經兩年用兵才平定了江南的叛亂，但南方並未因此而平靜，開鑿大運河可以加強政府對江南地區的控制。與此同時，大運河的開鑿也可以解決軍糧運輸問題，便於政府應對北方少數民族的威脅。
隋朝開鑿運河工程，耗時較短、規模空前。公元584年，開鑿了廣通渠。公元587年在古邗溝的基礎上，開鑿了山陽瀆。公元605年，開鑿了通濟渠。通濟渠工程西段自今洛陽西郊引谷、洛二水入黃河，東段自滎陽汜水鎮東北引黃河水，循汴水（原淮河支流）。經商丘、宿縣、泗縣入淮通濟渠，又名汴渠，是漕運的幹道。同年又進一步疏浚了山陽瀆。公元608年，開鑿永濟渠，引黃河支流沁水入今衛河至天津，繼溯永定河通今北京。公元610年，開鑿貫穿江南河，由今鎮江引江水經無錫、蘇州、嘉興至杭州通錢塘江。至此，建成以洛陽為中心，由永濟渠、通濟渠、山陽瀆和江南運河連線而成，西接大興，南通餘杭，北通涿郡。
隋煬帝楊廣徵民為他開鑿大運河過程中，他先用幾百萬人的挖通溝渠，並使溝渠和黃河淮河連線在一起，後來，他又在同一年中，再次徵用了十萬民工疏通溝渠，並和淮河的長江連線在一起，使之構成大運河的下半部分。然後他又在三年之後，再次徵用民工，不過這次徵用的是河北民工再次挖通當時國家的永濟渠，並和當時隋朝的涿郡相連，此次所挖的溝渠構成了大運河的上半部分。在大運河的上下部分都挖好之後，他又讓人在兩年之後疏通江南的河道，直接和餘杭也就是現今的杭州進行相連，直到此大運河徹底被建造好。
隋朝運河四段渠道都以政治中心長安、洛陽為樞紐，而且互相連線，形成一個完整的體系。同時它們的規格又基本一致，都要求可以通航龍舟，所以各自都是一條大運河，而總貫以“大運河”之名。全長2700？多公里，是古今中外最長的運河，運河水面寬30~70？米，而且河道的水深及通航能力也是最大的。
若論大運河的開鑿與隋煬帝的歷史功過，唐代詩人皮日休的《汴河銘》中曾說過“在隋之民不勝其害，在唐之民不勝其利也。”較為客觀公正的評價了隋煬帝的過失，既批評了開鑿運河的繁重的賦役，又肯定了開鑿工程的犧牲與貢獻。唐初，每年經通濟渠調運的糧食約萬石。開元二十一年，京兆尹裴耀卿改革漕運，凡三年，運粟入關中達萬石，平均每年餘萬石。
大運河的開通將北方關中和南方長江連線起來，同時聯通五大水系，運河沿岸形成大片良田，對灌溉和運輸都有重要意義，促進經濟的發展。極大地促進了民族之間的融合和民族間交流，同時加強了中外國際交流。另外，大運河為絲綢之路的建立起了推動作用，一方面把北方的少數民族文化與中原漢族文化連結了起來，促進了中華民族的強大；另一方面，把地中海周邊文化、中亞文化和中國內陸文化聯絡起來。隋代大運河的挖鑿為後代大放異彩的文化大交流奠定了強大的基礎。此外，黃河下游的通濟渠、永濟渠等人工運河和一些天然河流可增加黃河下游宣洩洪水的能力，使沿岸聚落少受黃河氾濫之苦。與此同時，開通大運河耗費大量的財力、人力、物力，導致民眾苦不堪言，造成了尖銳的階級矛盾，為以後隋朝的滅亡埋下了禍根。
隋朝大運河是世界上偉大工程之一。如此浩大的工程，利於千功萬代。大運河的長度在世界上首屈一指，而且河道的水深和寬度及通航能力也是最大的。開通運河是為了加強對東南方的統治、溝通南北經濟、加強華北地區的軍事力量。大運河開鑿，給人民帶來沉重負擔，但成了南北交通的大動脈，加強了南北聯絡，對國家的統一和經濟文化的發展起了很大的作用，至今仍造福人民。運河水利運輸，成為當時社會經濟發展需要。政治上，隋政府為加強對東北和江南地區的控制，需要一條南北向的大運河。
如今，隋朝大運河的經濟功能幾近喪失。航運功能發揮不足，很多河道已不能通航，且難以滿足兩岸農業灌溉和生活用水的需求。通濟渠早在多年前就已經於塞廢棄，後雖又修復部分河道，但卻無法實現全線貫通。2014年6月22號第38屆世界遺產大會宣佈，包括通濟渠段、衛河（永濟渠）段、江南運河段在內的27段河道彙總的中國大運河專案成功入選世界文化遺產名錄，成為中國第46個世界遺產專案。