矮人並非伊露維塔所創造，而是由維拉奧力獨自創造而來。奧力在阿爾達等待伊露維塔的子女醒來，等了太久了，以至於無法忍受，他偷偷創造了七個矮人。但是奧力的能力有限，創造出的矮人只能像傀儡一樣，無法離開自己單獨生活。伊露維塔知悉此事後斥責了奧力的行為，指責他不該做自己能力以外的事情。自責的奧力想毀掉自己的作品，但是又不忍心，而且矮人們也嚇得發抖。伊露維塔見到此情此景，決定原諒奧力，並接受矮人做為自己的養子，但要求他們必須沉睡，直到精靈的甦醒。

雙樹紀時精靈在奎維耶能醒來，不久之後，第一位矮人都林一世在貢達巴德山醒來。奧力在創造矮人時，賦予了他們粗壯的軀體，以及堅忍的性格，同時矮人也像奧力一樣熱衷於挖礦與製造，並且技藝高超。都林一世醒來後，並沒有在貢達巴德山定居，而是南下建造了後來的摩瑞亞，後來發展為長鬚一族。此外，另外的六個矮人也在不久後醒來，他們後來繁衍成矮人的另外六個族群。

火須一族與寬梁一族甦醒地是藍色山脈的多米德山，並在附近建立了兩個矮人城市。其餘的四位矮人在中土大陸的的東部甦醒，具體位置不詳。火須一族與寬梁一族在第一紀元時，與生活在貝烈瑞安德的精靈交往甚多，並多次與他們一起對抗當時的黑暗之王魔苟斯。但是，由於一些矮人過於貪婪，他們殺死了辛達族精靈王庭葛，搶走了珍寶項鍊。（上面鑲嵌著一枚精靈寶鑽）由此引發了精靈與矮人之間的一系列衝突，最終導致了雙方長達幾千年的互相仇視。憤怒之戰後，貝烈瑞安德地區大部分都沉入海底，生活在此處的矮人東遷到了摩瑞亞，投奔他們的同胞—長鬚一族。

第二紀元時，摩瑞亞的矮人與他們的鄰居，諾多族精靈凱勒布理鵬統治的精靈國度伊瑞詹，交往頻繁，雙方都擅長冶煉與製造。並且在索倫進攻伊瑞詹時伸出援助之手，從背後攻擊了半獸人部隊。伊瑞詹陷落後，為了免受索倫的攻擊，矮人們關閉了摩瑞亞的西門—都林之門。第二紀元末期，精靈與人類組成最後聯盟最終打敗了索倫，摩瑞亞的矮人也曾出兵參與。

第三紀元時，摩瑞亞的矮人不斷開採地底深處的秘銀，不小心驚醒了沉睡在迷霧山脈深處的炎魔。甦醒後的炎魔殺死了摩瑞亞的矮人國王，其餘的矮人大多逃到了北方的灰色山脈。摩瑞亞從此被荒廢了，迷霧山脈的半獸人開始聚集在此處。逃到灰色山脈的矮人在經過300年的繁衍生息之後，又受到了北方惡龍的侵擾。他們中的大多數都追隨索恩來到了孤山，少數矮人逃到了鐵丘陵。孤山的矮人最後建立了山下王國，並與河谷鎮和幽暗密林的精靈王國進行貿易往來。但是山下王國日益增多的財富引來了惡龍史矛革，面對史矛革的火焰，山下王國的矮人多數都投奔了鐵丘陵，餘下的矮人追隨索恩定居在迷霧山脈東側的黑蠻地。後來，索恩只帶一名同伴進入了摩瑞亞，被居住在此的半獸人首領阿索格殺害，並砍下了他的頭顱，以警告矮人們不要試圖進入他的領地。索恩之子索爾得知後，將此訊息散播到各地的矮人國度，號召他們聯合起來對抗半獸人。最後，矮人七族組成強大的聯軍從貢達巴德山南下，清掃迷霧山脈中的半獸人巢穴，最終包圍了摩瑞亞。阿索格後來死於鐵足戴因之手，（電影中有所改變），殘餘的半獸人向南逃竄，後來成了洛汗王國的大敵。阿索格雖然被打敗了，但是炎魔仍在摩瑞亞，索爾帶著自己的追隨者來到了藍色山脈定居。

不久之後，索爾失蹤了，他被黑暗魔君索倫抓到了多古爾都。在臨死前，他將通往孤山的地圖與開啟密門的鑰匙交給了前來此處探查的甘道夫。在甘道夫的幫助下，索爾之子索林來到夏爾，招募比爾博-巴金斯為飛賊，帶著自己的遠征團隊前去收復孤山。之後的事情基本上與電影相同，一行人先是在食人妖森林遇險，脫身後來到了瑞文戴爾，在埃爾隆德的幫助下解開了地圖的資訊。然後穿過迷霧山脈時，被半獸人抓住，最後甘道夫殺死了半獸人王，一行人逃出了迷霧山脈。也就是在這裡，比爾博撿到的咕嚕的至尊魔戒。剛出山脈，他們又受到了座狼的攻擊，後來在鷹王的幫助下總算是有驚無險。鷹王將他們送到了卡爾巖，隨後他們闖入了換皮人貝奧恩的家。在穿過幽暗密林時，被居住在此處的精靈抓住。巴金斯藉助魔戒的力量救下了他們，一行人最後經過長湖鎮進入了孤山。索林派比爾博進去打探訊息，比爾博不小心吵醒了惡龍。它衝向眾人想要殺死他們，但是沒有得逞。由於以為索林一行人來自長湖鎮，所以史矛革飛往長湖鎮進行報復，卻被長湖鎮的人類巴德殺死。

很快，史矛革死亡的訊息就傳開了。黑暗密林的國王瑟蘭迪爾帶著自己的軍隊趕往孤山，路上碰到了長湖鎮的難民，於是他們先趕往長湖鎮救濟那裡的居民。然後與巴德一起帶著精靈與人類的聯軍前往孤山，要求索林交出部分財寶。因為史矛革之前將從河谷鎮搶來的財物也放在了孤山，而巴德是河谷鎮領主的後人。索林拒絕了他們的要求，並通知自己的表親鐵丘陵之王鐵足戴因趕來幫忙。雙方劍拔弩張時，甘道夫趕到了。他告訴眾人，有一群半獸人將要到來。原來，迷霧山脈的半獸人為了替阿索格與半獸人王報仇，組建了強大的軍隊，在阿索格之子波爾哥的帶領下正在趕往孤山。面對共同的敵人，眾人暫時放開隔閡，矮人、精靈與人類聯合起來對抗半獸人與座狼的聯軍，五軍之戰爆發了。雖然敵眾我寡，但是在戰鬥的關鍵時刻，鷹王帶領子民趕來幫忙，形勢立即好轉。隨後換皮人貝奧恩也趕到了，他殺死了波爾哥，將其撕成兩半，最終半獸人與座狼敗退了。但是，雙方都傷亡慘重，索林與他的兩個外甥奇力、菲力陣亡。雖然結果一樣，但是電影中略有改動，獸人一方的領導者是阿索格之子阿爾洛，而且他也是死在貝奧恩手上。

索林死後，鐵足戴因成了山下王國國王。後來，巴林帶著部分矮人前往摩瑞亞，成了摩瑞亞之王，但是他們不久後就被半獸人殺死了。魔戒聖戰時，護戒遠征隊曾由摩瑞亞透過迷霧山脈，在那裡見到了巴林的墓葬。另外，護戒遠征隊中的吉姆利是出征孤山的矮人葛羅音之子，他被鐵足戴因派往瑞文戴爾，最後被選為護戒團隊成員，他與萊戈拉斯一起追隨阿拉貢立功無數，同時也與萊戈拉斯之間建立了深厚的友誼。最後，吉姆利與萊戈拉斯一起乘船前往維林諾，成為唯一一個到達維林諾的矮人。魔戒聖戰時，其實北方也是戰場，河谷之戰中，鐵足戴因戰死，山下王國由其子石盔梭林繼承。魔戒聖戰後，中土大陸迎來了和平，矮人應該還是像以往一樣，埋頭開礦，冶煉金屬，打造各式各樣的精美物件。