廬山的形成只能是地質年代地殼構造運動的結果。在遙遠的地質年代，這裏原是一片汪洋，後經造山運動，才使廬山脱離了海洋環境。現今廬山上所裸露的巖山，如大月山粗砂巖，就是元古代震旦紀的古老巖石。那個時代的廬山並不高，在漫長的地質年代裏，它經歷了數次海侵和海退。廬山大幅度上升是在距今約六七千萬年前的中生代白堊紀。當時，地球上又發生了強烈的燕山構造運動，位於淮陽弧形山系頂部的廬山，受向南擠壓的強力和江南古陸的夾持而上升成山。山呈腎形，為東北一西南走向，形成了一座長25千米、寬10千米、周長約70千米，海拔1474米以上的山地。這就是千古名山廬山的形成過程。
最早關於廬山名稱的文字記載出現於《尚書·禹貢》中：“岷山之陽，至於衡山。過九江，至於敷淺原。”其中，“敷淺原”就是廬山別名；此外，廬山還有南彰山、天子彰等別名。而最早以“廬山”之名被寫進史書的則是司馬遷的《史記》：“餘南登廬山，觀禹疏九江。”廬山以雄、奇、險、秀聞名於世，素有“匡廬奇秀甲天下”之譽。
