中國的省級制度可以追溯到元朝，除了中央政府直接管轄的中書省外，還設定了十個行中書省作為一級行政區，江南省隸屬河南江北行省，治所汴梁。

朱元璋建立明朝後定都應天府（南京），囊括應天府、蘇州府、鳳陽府等14個府級單位，成為明朝中央的直隸地區，遷都北京後改稱南直隸。

清朝建立後廢除南京的國都地位，改為江南省，巡撫設定在江寧府（南京）。無論是明朝還是清朝，江南省（南直隸）都是全國最發達的地區，一省的稅賦高達全國的三分之一，科舉的上榜人數佔近一半，儼然就是一個強大的國中之國。

為了維持滿清的統治，順治年間，江南省拆分為江南右和江南左，江南右取江寧府、蘇州府首字稱江蘇，江南左取安慶府、徽州府首字稱安徽，兩省的區劃基本維持至今。以現在的視角來看，發現這個劃分不太合理，如果不是東西拆分，取南北拆分為淮海省與淮南省，兩省都能沿海，豈不美滋滋？

儘管現在看來安徽經濟是不如江蘇，但當時並無不妥之處。江南省南部始終比北部發達，如果南北拆分恐怕當時的人都不會同意。淮海地區古來就是四戰之地，不利於發展經濟，分裂時期南北對立，淮海地區通常會成為戰略緩衝地帶，軍事戰略意義遠遠大於經濟意義。

淮河的不穩定給淮海地區帶來了更多的災難，淮河流域是歷史上水災最多的地區之一，並受到黃河改道帶來的巨大影響，非常不利於發展。也正是因為這一地區災害不斷，湧現出了數量客觀的帝王，項羽、劉邦、韓信、曹操、桓溫、蕭道成、黃巢、朱溫、劉福通、朱元璋等等。淮海地區的開國皇帝數量穩居第一，同時也是農民起義第一的造反大省，這是清朝沒有設定淮海省的根本原因吧。

建立淮海省的提議近百年來爭執不斷，晚清時期張謇提出把蘇北、皖北、魯南、豫東合併為徐州行省，但遭到蘇籍官員和兩江總督的抵制。抗戰時期汪偽政權在蘇北、皖北搞了淮海省，然後就沒有然後了。地理學家傅角今提出建立淮運省，統籌治理淮河、運河，淮運省，感覺哪裡怪怪的。

無論是淮海省還是徐州行省，所轄地區魯南、蘇北、皖北等幾乎都是各省的短板，並且越來越明顯。山東半島城市群、中原城市群、長三角城市群，都巧妙的避開了這一地區。四省雞肋組合起來也只是雞排，分散發展很難被重視，未來的發展堪憂！