投靠李嗣源
劉知遠，即后漢高祖，沙陀部人，繼位之后又改名為劉嵩，有的史書上說他是東漢皇族的后代，估計也是在稱帝后才有的說法，不太可信。劉知遠世代生活在太原，由于家境非常貧寒，所以他的父親和祖父等人的事跡在史書上都沒有什么記載。
在劉知遠小的時候，他性格很內向，平時也是寡言少語，因為體質較弱，所以又經常得病。還有他的眼睛白多黑少，加上臉色紫黑，給人一種很威嚴的感覺。由于生活困難，他不得以只好到一個姓李的大戶人家去當上門的女婿，在封建社會，這種女婿叫做贅婿，社會地位幾乎到了最底層，備受歧視。在一次牧馬時，因為馬踏壞了寺廟屬地的莊稼，被僧人捆綁起來，打了一頓。劉知遠不甘心這樣下去混一輩子，就尋找時機出去干一番事業。
不久劉知遠就投到李嗣源的手下當了兵，由于作戰勇敢，被升為偏將，和石敬瑭一起共事。在李嗣源和后梁軍隊激戰于黃河岸邊的德勝（今河南濮陽）的時候，石敬瑭的馬甲突然斷裂，幾乎就要被后梁軍隊趕上了，這時，劉知遠將自己的馬換給了石敬瑭，自己則騎上石敬瑭的馬，掩護石敬瑭后撤。事后，石敬瑭非常感激他舍命相救，于是在李嗣源繼位稱帝并任命他擔任河東節度使后，石敬瑭就將劉知遠要到自己手下任職，擔任押衙，做了他的親信。
智救石敬瑭
在后唐末年李從珂起兵和后唐愍帝李從厚爭奪帝位時，石敬瑭也領兵趕赴首都，在路上碰到出逃的李從厚，石敬瑭和李從厚到屋內密談，劉知遠為防萬一，就暗地里派勇士石敢前去保護，石敢在袖子里藏了一把鐵錘，站在石敬瑭的背后。最后李從厚的隨從嫌石敬瑭沒有忠心保護李從厚的意思，就抽劍向石敬瑭刺來，石敢掩護著石敬瑭躲進旁邊的一個屋子里，用巨木將門擋住，等劉知遠聞訊領人闖進去時，石敢已經戰死，劉知遠于是將李從厚的所有隨從全部殺死，石敬瑭沒讓殺李從厚，派人將他先囚禁起來，后來，李從厚被李從珂派人殺死。在民間的墻上經常見到“泰山石敢當”的字樣，是避邪用的，故事的本源就是上述事實。
這次，劉知遠憑借他過人的機智，又救了石敬瑭一命，石敬瑭感激他的救命之恩，就重用他，讓他擔任了馬步軍都指揮使，成為兵馬總管。劉知遠治軍非常嚴格，對于將士一視同仁，所以他的部隊軍紀很嚴，戰斗力也很強。在石敬瑭和后唐開戰后，劉知遠就率領僅五千兵將太原城守得滴水不漏，擋住了張敬達五萬軍隊的攻擊。
在石敬瑭為保住自己地盤請求契丹增援的時候，劉知遠和桑維瀚兩個人全力支持石敬瑭，但在許諾的條件上，劉知遠不同意石敬瑭既進貢稱臣又稱子的做法，覺得沒有必要許諾這么屈辱的條件。但石敬瑭一心想做皇帝，擔心條件低了契丹不肯出兵，劉知遠見無法勸解，只好沉默。在這一點上，他比石敬瑭還算有些自尊心。
耶律德光支援石敬瑭打退后唐的進攻后，對石敬瑭推薦劉知遠：“這個大將很勇猛，以后不要隨意舍棄。”石敬瑭對于這個救過他性命的心腹之將也是非常滿意的，在打下后唐首都后，就讓劉知遠擔任了禁軍的總管，將兵權托付給了他。