閻錫山家道中落后，追隨父親流浪，為了生存他給清軍擔(dān)水，喂馬，也曾做過小販，做過民夫，還曾當(dāng)過幫工，挨打受罵，后來他又流浪到太原。
太原在當(dāng)時是一個繁華城市，大商人、大官僚很多都聚集在這里，閻錫山耳聞目睹了一些商人土豪紙醉金迷的生活，這使他眼界大開。當(dāng)小工的生活和官僚的生活形成的反差，使他認(rèn)識到，人必須有錢有權(quán)有勢，才能爭得地位。他羨慕清朝文武官員的權(quán)勢，希望自己也能當(dāng)個官員改變自己的生活。
當(dāng)時的太原
所以，當(dāng)他看到山西武備學(xué)堂招生的廣告后，就毅然報名應(yīng)考，初試時，他寫下了《韓信將兵，多多益善論》，口試時，由于他態(tài)度謙恭，聰明機靈，得到主考官的認(rèn)可，被錄取，從此開始了他人生的一大轉(zhuǎn)折，這時閻錫山20歲。
閻錫山進(jìn)入山西武備學(xué)堂后，學(xué)習(xí)非常努力，對老師也十分尊敬，人際關(guān)系處理的十分恰當(dāng)，學(xué)習(xí)成績也十分不錯，因此學(xué)校讓他當(dāng)了班長。
1904年，清為了加強統(tǒng)治，培養(yǎng)具有近代軍事技能的人才，下令各省武備學(xué)堂，選送青年學(xué)生到日本留學(xué)。山西分得50個名額，其中山西武備學(xué)堂分得20名，閻錫山考中了赴日留學(xué)的資格，與他一起考上的還有姚以價、張瑜、溫壽泉、王寶善等人。閻錫山先去東京振武學(xué)校學(xué)習(xí)日語和近代科學(xué)知識，1906年、1907年到日軍弘前步兵第31標(biāo)實習(xí)。1907年，實習(xí)結(jié)束后正式入日本陸軍士官學(xué)校第六期學(xué)習(xí)，1909年3月畢業(yè)回國。
閻錫山在日本學(xué)習(xí)時期，正是中國資產(chǎn)階級民主革命高漲的時期，而日本的東京是中國留學(xué)生的中心，這里反清的活動十分多，閻錫山也投人到反清革命中。
1905年，中國第一個資產(chǎn)階級革命政黨——同盟會成立。同盟會極力吸收日本的留學(xué)生，尤其注重那些學(xué)軍事的留學(xué)生。閻錫山起初還不想?yún)⒓臃辞甯锩吹皆S多人都加入同盟會，他認(rèn)識到民主革命已是大勢所趨，就于1905年10月參加同盟會，后來又參加了同盟會組織的'鐵血丈夫團(tuán)。。閻錫山聽過孫中山的演講，并結(jié)識了孫中山先生，他的革命熱情一度很高。閻錫山加人同盟會后，介紹了一些山西籍的同學(xué)加人該會，1906年，閻錫山回國探親，在回國期間，他就在其家鄉(xiāng)五臺縣周圍各縣向?qū)W生、教師、商會宣傳革命，他還攜帶了兩枚小炸彈準(zhǔn)備炸死一些反動官員。1908年黃興在廣州欽州發(fā)動起義，閻錫山就準(zhǔn)備回國參加起義，當(dāng)他聞聽清的官員殺害革命同志時，曾和他的同學(xué)給袁世凱寫信'，警告他不要胡作非為，否則將要他的命。
關(guān)于閻錫山在日本留學(xué)生活，的情況。他寫道。在此5年中，我的時間多用于聯(lián)系革命同志，開展革命工作，時常與李烈鈞、唐繼堯、李根源分析時情，研究政情，并曾編著《革命軍操典》與《革命軍戰(zhàn)法》······實際用于功課的時間不及其半，故每逢考試，輒以意為之，尤其算術(shù)一課，多不按公式計算，雖得數(shù)能對，老師亦僅給以及格分?jǐn)?shù)。
李烈鈞
閻錫山在日本期間還結(jié)交了一些后來侵略中國的日本軍人，如岡村寧次曾是他的隊長，后來任侵華戰(zhàn)爭司令官，板垣征四郎當(dāng)時是他的教官，侵華戰(zhàn)爭爆發(fā)后曾任關(guān)東軍參謀長、師團(tuán)長，曾指揮日軍在太原地區(qū)屠殺中國人民，還有土肥原賢二是他的同學(xué)，土肥原后來是侵華戰(zhàn)爭的大特務(wù)，曾策劃成立滿洲國。閻錫山對這些軍國主義分子十分佩服，和他們交往甚密，這些人對閻錫山影響很大，他曾寫了《軍國主義譚》，來闡述他的軍國主義思想。
