大革命失敗后,在黨的八七會議精神指引下,鄂豫皖三省黨組織領導人民從血泊中奮起,高舉土地革命戰爭和武裝斗爭的旗幟,反抗國民黨反動派的屠殺和進攻。1927年11月,黃麻起義打響了鄂豫皖地區武裝反抗國民黨反動派的第一槍,組建了紅11軍第31師(師長吳光浩),創建了鄂豫邊革命根據地。1929年11月,近萬名農民手持大刀、長矛等迅速攻占了六安獨山鎮。此后,霍山的西鎮等地相繼舉行了農民武裝起義。六霍起義組建了紅11軍第33師(師長徐百川)。到1930年4月,以六霍為中心的皖西各地的工農武裝割據斗爭,發展到六安、霍山、霍邱、英山、潛山五縣相毗連的廣闊區域,初步形成了東抵淠河,西接商南,南至金家鋪、水吼嶺,北迄白塔畈、丁家集,南北200余里,東西100余里,人口40多萬的皖西革命根據地,成為鄂豫皖革命根據地的重要組成部分。
隨著革命形勢的蓬勃發展,把三塊蘇區連為一體,實現黨在大別山區域的集中統一領導,匯集三支紅軍的力量,步調一致地開創工農武裝割據的新局面,已勢在必行。因此,根據中共中央指示,中共鄂豫皖邊特別委員會(郭述申任書記)、中國工農紅軍第1軍(許繼慎任軍長)、鄂豫皖邊區蘇維埃政府(甘元景任主席),先后于1930年3月、4月和6月成立。至此,鄂豫皖革命根據地正式形成。
1931年5月,中共中央鄂豫皖分局成立,張國燾任書記兼軍委書記。11月,紅四方面軍成立,徐向前任總指揮,陳昌浩任政委,下轄紅4軍和紅25軍。1932年1月,中共鄂豫皖省委成立,沈澤民任書記。根據地軍民先后粉碎敵人三次大“圍剿”,特別是1932年春取得蘇家埠戰役一舉殲敵3萬多人的空前大捷。至此,皖西革命根據地擴大到東起舒城附近,西抵固始縣郭陸灘,南至太湖、宿松,北瀕淮河南岸。在此廣大區域內擁有六安、霍山、商城、紅山(英山縣)、五星、紅城(今霍邱)、固始、六霍等8個縣級政權,形成了鼎盛時期。
由于張國燾推行王明的“左”傾冒險主義的政策,在戰略上發生嚴重錯誤,致使紅軍未能打破敵人的第四次“圍剿”,根據地大部喪失,紅4方面軍主力被迫于1932年10月戰略轉移,西征川陜。
紅4方面軍主力西征后,中共鄂豫皖省委重組紅25軍,在吳煥先、徐海東等領導下繼續堅持保衛根據地的斗爭。1934年11月,中共鄂豫皖省委率領紅25軍開始長征,于1935年9月勝利到達陜北。
紅25軍轉移北上后,留守的部分武裝重建紅28軍,在高敬亭等領導下,堅持了艱苦卓絕的三年游擊戰爭。抗戰全面爆發后,紅28軍被改編為新四軍第4支隊,踏上了抗日征程。
鄂豫皖革命根據地是全國六大革命根據地中規模較大、堅持時間最長的。根據地中心區域東接江淮平原,西扼平漢鐵路,南瀕長江,北帶黃河,并與湘鄂西、湘鄂贛革命根據地互為犄角,同中央革命根據地南北呼應,戰略地位十分重要。革命紅旗始終在大別山屹立不倒,并在斗爭中積累了豐富的經驗,造就了大批革命干部,對中國革命的勝利作出了重要貢獻。據統計:從1955年至1964年,鄂豫皖三省被授予少將以上軍銜的有570人,占當時全國將軍總數的35.5%,僅皖西籍的將軍就有108人,其中六安縣獨山鎮就走出了16位將軍,被稱為“一鎮十六將,獨秀大別山”;紅安、大悟、新縣、金寨、六安等5個縣被譽為將軍縣,占全國9個將軍縣總數的過半;新中國成立前,僅六安就有30萬人為了國家的解放和人民的幸福,獻出了寶貴的生命。