出身貴族
楊素弘農楊氏之後，先祖世代為官，祖父楊暄，官至北魏輔國將軍、諫議大夫。父親楊敷，為北周汾州刺史。楊素小時候窮困失意，不拘小節，有遠大的志向。時人都不理解他，只有他的堂叔祖、魏朝的尚書僕射楊寬認為他很不一般，常對子孫説：“處道不是一般的人，他日一定出類拔萃，無與倫比，不是你們趕得上的。”楊素後來和安定人牛弘志同道合，他們勤奮好學，研究探討精心專誠，從不感到疲倦，因而很多方面都精通或者涉獵。
後與安定人牛弘（後任隋朝禮部、吏部尚書）同窗共讀，知識淵博，在文學、書法上均有造詣，史書稱其“研精不倦，多所通涉。善屬文，工草隸，頗留意於風角。美鬚髯，有英傑之表”。當時北周大冢宰宇文護把持朝政，引其為中外記室，後轉禮曹，加大都督。
公元572年（北周天和七年）三月，北周武帝宇文邕誅殺宇文護親掌朝政，楊素因曾受到宇文護的重用，所以遭到株連。此時，楊素以其父楊敷死於北齊，但未受朝廷追封，便上表申訴。周武帝不理。楊素再三上表，周武帝大怒，下令殺楊素。
楊素高聲地説：“我給無道的天子做事，死是應該的。”周武帝聞後，對楊素刮目相看，赦其無罪，並追贈其父為大將軍，諡忠壯。拜楊素為車騎大將軍、儀同三司，並逐漸對其有了好感。周武帝又令楊素起草詔書，素下筆成章，文詞華麗，周武帝讚揚道：“好好努力，不愁日後沒有榮華富貴。”而楊素卻回答説：“臣只怕富貴來逼臣，臣卻無心謀取富貴。”
破齊立功
公元575年（北周建德四年）七月，周武帝率軍攻北齊，楊素請求率其父舊部為先鋒，周武帝應允了他，並且賜給他一條竹鞭，説：“我正要驅使天下，所以把這件東西賜給你。”楊素跟隨齊王宇文憲在河陰和齊人交戰，因戰功被封為清河縣子，食邑五百户。同年授司城大夫。
公元576年（北周建德五年）十月，楊素再次隨宇文憲攻北齊，克晉州（治白馬城今山西臨汾境）。宇文憲屯兵棲原，北齊帝高緯率諸軍自晉陽（今山西太原）向晉州進發。宇文憲聞北齊軍主力至，大懼，乘夜而逃，結果為北齊軍追上，北周軍多被擊潰。楊素與驍將十餘人盡力苦戰，宇文憲方得以解圍。此後，楊素更是屢立戰功。北齊滅亡後，楊素加上開府，改封成安縣公，邑千五百户，賜以粟帛、奴婢、雜畜。
公元577年（北周建德六年）十月，陳宣帝陳頊聞北周滅北齊，即乘機爭奪淮北地區，遂派名將吳明徹率軍北伐。吳明徹軍至北周呂梁（今江蘇徐州東南），擊敗徐州總管樑士彥，進圍彭城（今江蘇徐州）。
公元578年（北周建德七年）二月，楊素隨上大將軍王軌前去救援，最終大破陳軍，俘主將吳明徹。楊素遂治東楚州事。其弟楊慎被封為義安侯。陳將樊毅築城於泗口，楊素將其擊走之，並將所築之城全部毀壞。
公元578年（北周宣政元年）六月，周武帝去世，周宣帝繼位。宣帝即位後，楊素襲父爵臨貞縣公，並以其弟楊約為安成公。
公元579年（北周大象元年），楊素隨上柱國韋孝寬攻陳淮南（泛指今淮河以南地區），其中楊素率軍攻克盱眙（今江蘇盱眙東北）、鍾離（今安徽鳳陽東北）。
投靠楊堅
公元580年（北周大象二年）五月十一日，北周宣帝宇文贇病死。周靜帝宇文衍年幼，左丞相楊堅專政。楊素知楊堅甚得眾心，且有稱帝之意，遂主動投到楊堅門下，與其深自結納。楊堅也知楊素之才，對其也非常器重，不久便以楊素為汴州刺史。
楊素在上任途中行至洛陽時，方知相州（治鄴城）總管尉遲迥等舉兵反楊堅。尉遲迥原為北周文帝宇文泰的外甥，位望素重，楊堅恐其有異圖，遂以會葬宣帝為名，詔使其子尉遲敦召尉遲迥入朝；並以韋孝寬為相州總管赴鄴（今河北臨漳西南）取代尉遲迥。六月，尉遲迥恐楊堅專權對北周不利，公開起兵反對楊堅。滎州刺史宇文胄據武牢以應尉遲迥，使楊素無法前行。
七月十日，楊堅調發關中兵，令韋孝寬為行軍元帥，楊素與郕公樑士彥、樂安公元諧、化政公宇文忻、濮陽公宇文述、武鄉公崔弘度、隴西公李詢等皆為行軍總管，率軍討伐尉遲迥。旋拜大將軍，領河內兵攻打宇文胄，破斬之。遷徐州總管，進位柱國，封清河郡公，邑二千户。其弟楊嶽也被封為臨貞公。
公元581年（北周大定元年）二月，大丞相楊堅受禪登基，改元開皇，是為隋文帝，並加楊素上柱國。並參與了隋朝法律的修定。
公元584 年（開皇四年），拜御史大夫。由於其妻鄭氏是個悍婦，楊素一次與其吵架説了一句：“我如果當了天子，你一定不能作皇后。”。結果被其妻告發，楊素因此獲罪，並被免官。此次經歷，險些毀了楊素的前途。好在隋文帝一直準備滅亡陳朝，統一中國，楊素曾數次獻伐陳之策，此次被免官後，楊素並沒有閒著，再次獻伐陳之策。
公元585年（開皇五年）十月，楊素任信州總管，經略長江上游，並賜錢百萬、錦千段、馬二百匹而遣之。
南下滅陳
公元587年（開皇七年），楊素與尚書左僕射高熲、吳州總管賀若弼、光州刺史高勱、虢州刺史崔仲方等人獻平陳之策。楊素在永安，（巴東郡，今重慶市奉節縣東） 建造“五牙”（上起樓五層，高百餘尺；左右前後置六拍竿，並高五十尺，容戰士八百人）、“黃龍”等戰船，加強水師，作滅陳準備。並故意在江中漂下造船廢料，以威懾擅長水戰的陳軍。
公元588年（開皇八年）三月，隋文帝下詔，列舉陳後主罪行又送璽書暴其罪惡20條，並將詔書在江南散發30萬份，以爭取人心。十月，楊堅在壽春（今安徽壽縣）設淮南行台省，以晉王楊廣為行台尚書令，主管滅陳之事。楊素與楊廣、秦王楊俊併為行軍元帥，高熲為晉王元帥長史，右僕射王韶為司馬，集中水陸軍五十一萬八千人，統由楊廣統帥，東至大海，西到巴、蜀，旌旗舟楫，橫亙數千裏。隋軍自長江上游至下游分為8路攻陳，其中楊素指揮水軍主力，出巴東郡，順流東下，負責消滅長江及沿岸陳水陸軍。十一月，楊堅至定城（今陝西華陰東）誓師，準備渡江的各路隋軍進抵長江北岸，完成進攻準備。
十二月上旬，楊素按隋滅陳作戰部署，首先率舟師自巴東郡東下三峽，在長江上游發起攻勢作戰。軍至流頭灘（又名虎頭灘，今湖北宜昌西北），陳將戚昕率青龍戰船百餘艘、戰士數千人堅守前方狼尾灘（今湖北宜昌西北長江中），以遏隋軍。狼尾灘地勢險峭，水流湍急，易守難攻，將領們都憂心忡忡。
楊素認為：“成敗在此一舉。如果我們白天乘船而下，他們就會看見我們，灘險水急，天制不由人力，那麼我們就失去了有利的條件。”。於是決定採用水陸協同，分進合擊的方針，乘夜突襲，將其擊敗。楊素率黃龍戰船數千艘，利用夜暗，令將士銜枚開進，實施正面突破；令開府儀同三司王長襲率步兵由長江南岸攻擊戚昕別柵；令大將軍劉仁恩率甲騎自江陵（今屬湖北）西進，沿長江北岸進擊陳軍白沙（今宜昌東）要點。隋軍水陸配合，於次日拂曉，一舉擊敗戚聽所部。戚聽逃走，部屬全部被俘。楊素對俘虜不殺不辱，慰勞後全部釋放。秋毫不犯，陳國人非常高興。此戰，楊素恰當選擇進攻時機，以水軍突襲與兩岸步、騎兵協同攻擊，速戰速決，取得首戰勝利，為滅陳戰爭發展創造了有利條件。實行優待俘虜政策，有利於爭取更多的陳軍將士。
楊素率領水軍繼續東下，大小戰船鋪滿了整了江面，旌旗盔甲在陽光下鮮豔耀眼。楊素端坐在平乘大船之上，容貌體魄雄健魁偉，陳國人望而生畏，都説：“清河公就是長江之神啊！”
陳荊州刺史陳慧紀派南康內史呂忠肅率軍屯守歧亭（今長江西陵峽口），在兩岸巖石上鑿孔，系三條鐵索橫截江面，阻遏隋軍戰船。為固守峽口，呂忠肅將自己私產全部捐出充軍，所以陳軍鬥志頗高，防禦也很嚴密。
公元589年（開皇九年）正月，楊素分兵一部與大將軍劉仁恩軍相配合，猛攻陳軍岸上柵障營壘，呂忠肅率軍據險抵抗，激戰四十餘次，隋軍傷亡慘重，死五千餘人。陳軍盡割死者之鼻以邀功求賞，激起隋軍憤怒，拚死力戰，多次獲勝。所俘陳軍將士，楊素則全部釋放。在隋軍猛烈攻擊下，呂忠肅被迫放棄營柵，連夜逃走。楊素令士卒毀掉欄江鐵索，繼續沿江而下。
呂忠肅退據荊門之延洲（今湖北枝江附近長江中），依恃荊門山險要地形，再次阻遏隋軍。楊素派善於駕舟的巴延士卒一千人，乘“五牙”戰艦4艘，用艦上拍竿擊碎陳戰船10餘艘，俘二千餘人，再次大破呂忠肅軍，呂忠肅隻身逃走。駐守江南岸安蜀城（今湖北宜都西北長江南岸）的陳信州刺史顧覺，也棄城逃走。屯守公安（今湖北公安西北）的陳慧紀見形勢不利，燒掉儲蓄，率軍3萬、戰船千餘艘，順流東撤，企圖入援建康（今南京市），被秦王楊俊軍阻於漢口（今湖北漢水入長江之處）以西。巴陵以東，無敢守者。陳湘州刺史，岳陽王陳叔慎亦降於楊素。此戰，楊素、劉仁恩以水軍、步兵相配合，先擊破陳軍江岸據點，再以水軍戰船接舷戰，大破敵軍。隋大型戰艦“五牙”及重型拍竿裝備在作戰中顯示了威力。優俘政策對瓦解陳軍、配合軍事進攻，具有積極作用。至此，長江上游為隋軍所控制，阻止了上游陳軍的東援，保障了下游主力的渡江作戰。
隋軍在長江上游作戰獲勝後，楊素一面率主力沿江東下，與秦王楊俊會師於漢口（時下游隋軍已攻佔建康），一面派兵南下略地，擴大戰果。二月初又派薛胄、劉仁恩率軍進擊湘州。隋軍一舉擊敗出城迎戰的陳湘州助防遂興侯陳正理和樊通軍，薛胄等乘勝入城，俘陳叔慎。劉仁思軍再破鄔居業於橫橋（今湖南常德），擒鄔居業等。湘州等地的平定，為隋進軍嶺南準備了前進基地。
還軍，楊素因戰功卓著被進爵郢國公，邑三千户，真食長壽縣千户。以其子楊玄感為儀同，楊玄獎為清河郡公。賜物萬段，粟萬石，加以金寶，又賜陳主妹及女妓十四人。楊素又上言：“鄉里名叫‘勝母’，孝子曾子就不進去；叛逆之人王誼，以前曾分封於郢地，臣不想和他一樣。”於是改封越國公。同年六月，拜納言之職位；公元590年（開皇十年）七月，轉內史令。
江南自東晉以來，世家士族一直欺壓寒門庶族。隋滅陳統一中國後，南方士族豪強因對隋實行的限制政策不滿，便利用民間對隋欲移民關中流言的驚恐心理，乘機煽動叛亂。十年十一月，婺州（治今浙江金華）汪文進、越州（治今浙江紹興）高智慧、蘇州沈玄儈等均舉兵反隋，自稱天子，署置百官。蔣山（今南京鐘山）李忮、樂安（今浙江仙居西）蔡道人、温州沈孝徹、泉州（治今福州）王國慶等，都自稱大都督，起兵攻陷州縣，反亂大抵遍及原陳屬地。其規模大者數萬人，小者數千人，互相呼應，殘殺隋朝官吏。面對如此嚴峻的形式，隋文帝遂命楊素為行軍總管率軍平叛。
楊素率軍由楊子津（今江蘇揚州南）渡江，首先擊破叛軍朱莫問（自稱南徐州刺史）於京口（今江蘇鎮江）。繼而擊敗晉陵（今江蘇常州）顧世興，顧世興率其都督鮑遷等再戰，楊素擊破之，俘鮑遷以下三千餘人。又進擊無錫葉略，平之。時沈玄儈、沈傑等等正圍攻蘇州，刺史皇甫績屢戰不利，楊素軍趕到將其擊敗，沈玄儈逃至南沙人陸孟孫處，楊素進擊陸孟孫於松江，大破之，生擒陸孟孫、沈玄儈。黟、歙叛軍沈雪、沈能據柵自守，又攻拔之。
高智慧（自稱東揚州刺史）率部據守浙江（今錢塘江）東岸營壘，屯據要害，周圍百餘里，船艦千艘，遮蓋江面，鼓譟而進。子總管來護兒建議：“吳人累鋭，利於在舟楫作戰。必死的賊寇，難與爭鋒。您暫且嚴陣以待，切勿與其交鋒，請借我奇兵數千，悄悄渡過江，攻破他們的巢穴，讓他們退無所歸，進不得戰，這是韓信破趙的計策。”楊素納其言，並命其率輕型戰船數百艘，偷渡浙江，以奇兵突襲，並焚燒高智慧後方營壘，使其恐懼不安；楊素則乘概率軍從正面突擊，大敗高智慧軍。爾後，楊素派行軍總管史萬歲率軍二千人進攻婺州，自率主力由海道追擊逃入海中的高智慧，直趨温州。高智慧來戰，楊素將其擊敗，俘數千人。而後又平定蔡道人、汪文進。楊素在温州擊敗沈孝徹後，便由陸路轉向天台、臨海（今屬浙江），繼續追擊反隋散兵，前後戰鬥達一百多次。高智慧退守閩、越。
此時隋文帝考慮到隋軍長時間征戰，便詔令楊素入朝。同時加其子楊玄感為上開府，賜彩物三千段。而楊素則認為：“賊寇的餘部尚未殄滅，恐怕會成為後患。”便上書請求暫緩返京，繼續剿匪。隋文帝對楊素此舉非常讚賞，便下詔説：“朕憂勞百姓，日旰忘食，一物失所，情深納隍。江外狂狡，妄構妖逆，雖經殄除，民未安堵。猶有賊首兇魁，逃亡山洞，恐其聚結，重擾蒼生。內史令、上柱國、越國公素，識達古今，經謀長遠，比曾推轂，舊著威名，宜任以大兵，總為元帥，宣佈朝風，振揚威武，擒剪叛亡，慰勞黎庶。軍民事務，一以委之”。楊素繼續率軍由會稽（今浙江紹興）走海道向泉州追擊。
剿平匪患
當時泉州人王國慶為南安豪族，殺刺史劉弘，據州為亂，各處逃亡的叛軍皆附於他。王國慶自以為海路險阻，而隋軍多為北方人，不習海戰，遂不設防。楊素率水師從海道掩至，王國慶大驚，棄州逃跑，其眾或入海島，或守溪洞。於是楊素分遣諸將，水、陸分進追捕。並派人密勸王國慶：“你的罪狀，累計起來處以死刑還不夠。只有斬送高智慧，才可以抵塞罪責。”王國慶遂抓獲高智慧，送交隋軍，楊素將其斬首，餘眾全部投降，至此，江南全部平定。此戰，楊素辭謝回朝休養詔令，堅持除惡務盡，連續追殲徹底平定江南之亂，對鞏固隋朝統一，發展生產具有積極作用。隋文帝派左領軍將軍獨孤陀迎至浚儀犒勞隋軍，待回京後，問者日至。隋文帝再封楊玄獎為儀同，賜黃金四十斤，加銀瓶，實以金錢，縑三千段，馬二百匹，羊二千口，公田百頃，宅一區。
公元592年（開皇十二年）十二月，楊素代蘇威為尚書右僕射，與尚書左僕射高熲同掌朝政。
楊素性疏而辯，朝臣之中，頗推高熲，尊敬牛弘，厚接薛道衡，蔑視蘇威。其餘的大臣，只要與他有過節的人，楊素肯定會百般為難。其才藝風調，優於高熲，至於治理國家，則遠不及高熲。
公元593年（開皇十三年）二月，隋文帝在岐州之北建仁壽宮，令楊素監造。楊素奏請萊州刺史宇文愷檢校將作大匠，記室封德彝為土木監。楊素為鞏固其政治利益，討好隋文帝，遂“夷山堙谷以立宮殿，崇台累榭，宛轉相屬”。又“役使嚴急，丁夫多死，疲屯顛仆，推填坑坎，覆以土石，因而築為平地。死者以萬數”。
公元595年（開皇十五年）三月，仁壽宮建成，隋文帝至仁壽宮。時值天熱，“役夫死者相次於道，楊素悉焚除之”。其殘暴程度令人髮指。此前隋文帝先派高熲前去視察，高熲據實回報：“頗傷綺麗，大損人丁”，隋文帝心中不悦。待隋文帝至仁壽宮，見宮殿如此奢華，大怒道：“楊素殫民力為離宮，為吾結怨天下。”楊素惶恐無比，擔心受責備，一時束手無策，便向封德彝請教。封德彝為人邪辟，多陰謀，便對楊素説：“公勿憂，俟皇后至，必有恩詔。”楊素即於北門拜見獨孤皇后説：“帝王理當有一些行宮、別墅，現在天下太平，我們僅僅修造了這麼一座宮殿，哪裏就談得上浪費了呢！” 次日，隋文帝果召楊素問之，獨孤皇后則在傍為楊素辨解：“楊公知道我們夫婦年老，沒有地方娛樂，盛飾此宮，難道不是忠孝嗎？”結果楊素不但沒有獲罪，反而被賜錢百萬，錦絹三千段。從此，楊素更得隋文帝的信任。而楊素則恃財凌物，對眾人多有凌侮，唯獨重賞了幫其大忙的封德彝。封德彝從此成為楊素的心腹，楊素常與其議論宰相職務，終日忘倦，還撫其牀説：“封郎必當據吾此座。”封德彝在楊素的推薦下，被隋文帝擢升為內史舍人。
大破突厥
自開皇初年起，隋採納長孫晟之謀，一直對突厥施用離間計，使其內部長期混戰不休。公元597年（開皇十七年），隋文帝允許都蘭可汗之弟突利可汗娶隋安義公主為妻，並故意予以優厚禮遇，藉以離間都蘭可汗。都蘭可汗果被激怒，乃斷絕朝貢，多次騷擾隋邊。
公元599年（開皇十九年，《隋書·楊素列傳》記載為十八年，有誤）二月，突利可汗奏報都蘭可汗製造攻城器械，準備攻擊大同城（在今內蒙烏拉特前旗東北）。隋文帝命漢王楊諒為元帥（實際未親臨前線），以楊素出靈州（治回樂，今寧夏靈武西南），尚書左僕射高熲出朔州（治善陽，今山西朔縣），上柱國燕榮出幽州（治薊縣，今北京城西南），三路進擊突厥。
都蘭可汗得知隋軍來攻，與達頭可汗結盟，合兵掩擊突利可汗。四月，楊素軍在靈州以北地區與達頭可汗部遭遇。在此之前，隋將在與突厥交戰時，因擔心突厥彪悍的騎兵來往衝殺，都採用戰車、騎兵和步兵相互交叉配合的陣法，陣外四周遍設鹿角、蒺藜等物，騎兵留在最裏面。楊素認為：“這只是鞏固防禦的途徑，而不是奪取勝利的方法。”於是拋棄這種自我保守的落後陣法，改變戰術，下令各軍擺開騎兵陣勢。
達頭可汗聞之大喜道：“這是天助我！”並下馬仰天而拜，即率十餘萬精騎直撲隋軍。上儀同三司周羅睺看到突厥求勝心切，陣形不整，乃請令率精騎迎擊，楊素指揮大軍隨後繼進，大敗突厥，達頭可汗帶著重傷逃跑，其眾死傷不可勝數，號哭而去。另一路隋軍在高熲的率領下，也大破突厥，都蘭可汗敗逃，後被其部下所殺。隋軍追過白道（內蒙呼和浩特西北），越過秦山（今內蒙大青山）700餘里，然後還師。十月，隋冊封突利可汗為啟民可汗，並令長孫晟率五萬人在朔州西北築大利城（今內蒙古和林格爾西北土城子）給啟民可汗駐守，令其招撫突厥其它部落，為分化瓦解突厥，促進民族融合起了重要作用。
楊素在此戰中，敢於棄陳舊落後的車、騎、步互相衞護的保守陣法，大膽使用騎兵突擊，取得大勝，再一次顯了其傑出的軍事才能。戰後，隋文帝下詔褒獎，賜楊素縑二萬匹，及萬釘寶帶。加其子楊玄感位大將軍，楊玄獎、楊玄縱、楊積善皆為上儀同。
楊素很有隨機應變的謀略，總是把握好時機去同敵人作戰，他應對情況的變化並不拘泥於一定的方法，而控制軍隊嚴厲有序，如果有誰違犯了軍令，他就立即斬首，沒有寬容的。同時治軍嚴整，其部如有違犯軍令者，立斬不赦，而絕不寬容。每次作戰前都尋找士兵的過失，然後殺之。每次多者百餘人，少也不下十幾人。由於殺人過多，以至“流血盈前”，而楊素卻言笑自若。兩軍對陣時，楊素先令一二百人前去迎敵，若取勝也就罷了，如不勝而敗逃者，無論多少，全部斬首。然後再令二三百人迎敵，不勝則照殺不誤。所以楊素的部下對他極其敬畏，作戰時皆抱必死之心，所以戰無不勝，稱為名將。楊素當時正受寵幸，隋文帝對他言聽計從，所以楊素征戰的將士，都微功必錄。而其他的將領雖有大功，但都被文官譴卻。所以楊素雖嚴厲兇狠，但由於他能夠恩威並施，所以將士皆願隨其征戰。
公元600年（開皇二十年）四月，步迦可汗率兵進犯隋邊。隋文帝命楊素隋晉王楊廣出靈州（治回樂，今寧夏靈武西南），同時又令漢王楊諒、柱國史萬歲出朔州（治善陽，今山西朔縣），合擊步迦可汗。楊廣為培植自己的勢力，親自與楊素結交，楊素也知楊廣有奪位之心，遂投其門下。
公元601年（仁壽初年），楊素取代高熲做了尚書左僕射。隋文帝賞賜給他好馬一百匹、母馬兩百匹、奴婢一百口。這一年，高祖又拜楊素為行軍元帥，前往雲州攻打突厥，連連破敵。突厥逃跑，楊素率領騎兵緊追不捨，到夜裏終於趕上。楊素想再次進攻，又怕敵人分散逃跑，就命令騎兵稍稍跟在後邊。他於是親自帶領兩名騎兵和兩個投降的突厥人潛入敵陣，同敵人一起前行，敵人沒有發覺。等到敵人停下來，止宿屯駐的地方還沒安排好，楊素命令後邊的騎兵突然襲擊，大敗他們。從此，突厥人逃得遠遠的，磧南再沒有他們的蹤跡了。
因為這次的戰功，隋文帝讓楊素的兒子楊玄感進位柱國，玄縱為淮南郡公，並賞賜給他織物兩萬段。
榮寵無比
公元602年（仁壽二年），文獻皇后去世後，墓葬的規模製度，大多出自楊素之手。隋文帝認為很好，下詔書大大表彰他的功勞，封他的一個兒子為義康郡公，食邑一萬户，世代承襲，並賞賜給他良田三十頃，絹一萬段，米一萬石，金缽一個，裝滿了金子，銀缽一個，盛滿了珠寶，外加綾、錦共五百段。
當時楊素一天比一天顯貴榮耀，他的弟弟楊約、叔父楊文思、楊文紀以及族父楊異，都是尚書，位列公卿。諸子雖無汗馬之勞，也都官至柱國、刺史。楊素家童幾千人，後院披羅掛綺的樂妓小妾就以千計。府第華麗奢侈，規模體制摹仿皇宮。當時有一個叫鮑亨的人，很會寫文章，還有一個叫殷胄的，精通草書、隸書，都是江南的讀書人，卻因為高智慧的緣故埋沒為楊素的家奴。楊素的內外親戚和過去屬下的官吏，都位列清靜顯要之職。楊素的顯貴，南北朝以來無人可與他相比。
楊廣剛做太子的時候，非常顧忌蜀王楊秀，就和楊素謀劃陷害他，最後使楊秀被廢黜。朝臣之中如果有違背冒犯他的，即使其非常忠誠地為國事着想，像賀若弼、史萬歲、李綱、柳述等，楊素也在暗地裏中傷他們。如果歸附奉迎他或者是他親戚，即使無才可用，他也一定加以推薦提拔。朝廷內外沒有不怕他、不歸附他的。只有兵部尚書柳述憑着自己駙馬的身份，多次在隋文帝面前説楊素的不是。大理寺卿樑毗上書隋文帝，彈劾楊素作威作福。隋文帝於是逐漸疏遠和猜忌楊素，後來下來力令説：“僕射是朝廷的輔政大臣，不可親自處理那些細小的事務，只須三五天到官署一次，討論一些國家大事就行了。”表面上顯示對他的尊崇、優待，實際上剝奪了他的權力。
直到仁壽末，楊素不再處理事務。隋文帝曾賞賜王公以下的人射箭，楊素名列第一，隋文帝親將外國進貢來的金精盤，價值萬兩，賜給了楊素。
助廣登基
公元604年（仁壽四年），楊素跟隨隋文帝駕臨仁壽宮，隋文帝又多次賞賜宴席。等到隋文帝病重，楊素和兵部尚書柳述、黃門侍郎元巖等人入宮侍候。當時皇太子楊廣住在宮內的大寶殿，怕隋文帝有什麼不好的消息須要預先防備，於是親自寫了一封信，封好送出來問楊素。楊素記下宮外的形勢，來報告太子。宮人卻將回信誤送到了隋文帝的住處，隋文帝見信大怒。這時，隋文帝寵愛的陳貴人又説太子對她無禮。隋文帝於是大發脾氣，要召見已廢的皇子楊勇。
太子與楊素謀劃對策，楊素假傳聖旨派東宮的士兵入宮守衞，出入都由宇文述、郭衍決定，又命令張衡守候隋文帝的病情。隋文帝就在這天晚上駕崩了，因此朝廷內外有很多非議。
公元604年（仁壽四年），隋文帝駕崩後，楊廣登基，派車騎將軍屈突通帶着隋文帝的詔書，召楊諒回朝。楊諒知有異，不聽從遂起兵反叛。楊諒命蠕蠕天保佔領蒲州，燒斷了河橋，又派王耳冉子率領幾萬人與他合力防守。楊素率領五千輕騎前去偷襲，他先隱蔽在渭口，夜間悄悄渡河，黎明時發動進攻，蠕蠕天保大敗而逃，王耳冉子因害怕而開城投降。楊廣下詔書召回楊素。
起初，楊素出發之前就計算過幾天可以打敗敵人，結果不出所料。楊廣又拜楊素為幷州道行軍總管、河北安撫大使，率領幾萬人討伐楊諒。當時晉州、絳州、呂州州城都被楊諒守住，楊素各派兩千人去牽制他們。楊諒命令趙子開擁十餘萬之眾，佔領了所有的道路，盤踞在高壁，擺開五十里的戰陣。楊素命令部將帶兵正面對敵，自己則率領一支隊伍潛入霍山，沿着懸崖深谷前進，直搗叛軍老巢，一舉擊敗了他們，殺死殺傷的數以萬計。楊諒所任命的介州刺史樑修羅駐守在介休，樑修羅聽説楊素來了，非常害怕，棄城而逃。楊素繼續前進，到達清源，離幷州還有三十里。楊諒率領部將王世宗、趙子開、蕭摩訶等將近十萬人馬，前來迎戰，楊素又打敗了他們，活捉了蕭摩訶。楊諒退守幷州，楊素進兵包圍了他，楊諒無計可施，非常窘迫，只好投降，其餘黨羽也都一一剷平。
楊廣派遣楊素的弟弟修武公楊約攜帶親筆詔書慰勞楊素，楊素見詔後也上表陳述了自己的謝意。這個月楊素回到京城，跟隨楊廣抵達洛陽。楊廣任楊素為營建東京的大監。因楊素平定楊諒有功，煬帝拜他的兒子萬石、仁行，侄子玄挺都為儀同三司，並賜給他們織物五萬段、綺羅一千匹，賜楊諒妓妾二十人。
去世
公元605年（大業元年），又升楊素為尚書令，賞賜給他東京上等府第一處，織物兩千段，不久又拜為太子太師，其他職務不變，前後賞賜給他的東西不知有多少。
公元606年（大業二年），楊廣拜楊素為司徒，又改封他為楚公，食邑兩千五百户。這一年，楊素死在任上。諡曰“景武”，楊廣追封他為光祿大夫、太尉公、弘農河東絳郡臨汾文城河內汲郡長平上黨西河十郡太守，賜給他載喪的鍂車、為他執斑劍的儀仗四十人，以及鍂車前後的儀仗隊和樂隊，還賜給穀子小麥五千石、織物五千段，派鴻臚卿專門監督辦理喪事，並且下詔書表示哀悼。
楊素曾經作了一首共七百字的五言詩送給番州刺史薛道衡，氣勢非常宏大，風韻出眾，堪稱一時的上乘之作。寫後沒幾天，楊素就死了。薛道衡歎息説：“人快要死的時候，他的話語也變得很友善了，難道就是像這樣的嗎？”楊素留有文集十卷。楊素雖然有輔佐隋文帝建國立業的謀略，並且有平定楊諒的功績，然而卻深為楊廣所忌。楊廣面顯出對他特殊的禮遇，實際上恩情卻很淡薄。太史官説隋地所屬的分野將有重大的喪事發生，楊廣因而改封楊素為楚公，因為楚地和隋地屬同一分野，楊廣想借楊素來攔擋遭喪的運氣。
楊素卧病在牀的時候，楊廣常派一些有名的醫生前去診治侍候，並且賜他許多上好的藥品，然而卻總在暗地裏問醫生，總怕他不死去。
楊素知道自己的名望和地位已到了極限，不肯吃藥，也不想謹小慎微地活下去了，經常對弟弟楊約説：“我難道還要活下去嗎？”楊素依仗自己富足的錢財，廣求家產，東西二京他的居宅奢侈華麗，早晨拆毀晚上重建，營造修繕從不停止，在各方的大城市，他的旅店、水磨和肥沃的田地、華麗的房子都以千百來計算。當時人們議論紛紛，並且因此而瞧不起他。楊素死後，長子楊玄感繼承了他的爵位。後來楊玄感起兵事敗，遭到誅殺，楊素的家族也因受楊玄感的牽連都被株夷。
破鏡重圓
陳朝太子舍人徐德言的妻子是後主叔寶的妹妹樂昌公主，才貌極為出色。徐德言當太子舍人這個時候，正趕上陳朝衰敗，時局很亂的時期，無法保證國家和個人的安全。徐德言對妻子説："以你的才華和容貌，如果國家滅亡了，你一定會流落到有權有勢的富豪人家，恐怕我們會永遠分離。倘若我們的緣分沒斷，還能相見，應該有一個信物。"於是徐德言折斷一面銅鏡，夫妻兩人各拿一半。他又同妻子約定説："將來你一定要在正月十五那一天將鏡片在街上出售，如果我見到了，就會在當天去找你。"等到陳朝滅亡了，樂昌公主果然流落到越公楊素的家裏，楊素對她非常寵愛。徐德言流離失所，好不容易才來到京城。他於正月十五這天到市場上尋找，果然有一個僕人模樣的老頭出售一片一半的鏡子，而且要價非常高，人們都嘲笑他。徐德言將老人帶到自己的住處，給老頭吃飯，講述了自己的經歷。拿出自己那一半鏡子和老頭賣的那半鏡子合在一起，並在鏡子上題了一首詩："鏡子和人都離我而去，如今鏡子回來人卻未歸，鏡子上已映不出嫦娥的倩影，只能反射出一片月光。"陳朝的樂昌公主陳氏看到題詩以後，哭哭啼啼地不肯吃飯，楊素瞭解情況以後也非常傷感，派人將徐德言找來，決定將妻子還給他，並送給他們許多錢物。聽説這件事的人沒有不讚歎的。楊素設酒宴為徐德言和陳氏餞行，並叫陳氏也作了一首詩："今天是什麼特殊的日子，新丈夫面對舊丈夫，哭也不是笑也不是，這才知道作人的艱難。"然後陳氏和徐德言回到江南，一直到白頭偕老。
成人之美
李德林之子李百藥，少年倜儻，看上了楊素的一個寵妾。竟夜入楊宅，與楊素的寵妾幽會私通。結果東窗事發，被楊素逮個正着。楊素惱羞成怒，欲治李百藥死罪。當李百藥被推上來時，他發現李百藥是個“年未二十，儀神雋秀”的英俊少年郎，不禁惜才之情頓起，動了惻隱之心説：“聞汝善為文，可作詩自敍，稱吾意當免汝死。”李百藥生死關頭，才思忽至，一氣呵成，當即成文。楊素看完，表情欣然，當場把愛妾賜給李百藥為妻，“並資從數十萬”。後來楊素竟又奏請隋文帝，授李百藥為尚書禮部員外郎。李百藥財色兼收，而且還因此當了官，成為一時佳話。
紅拂夜奔
楊素身邊有一位年方二八的佳麗樂伎，名叫紅拂。生得“肌膚儀狀、言詞氣佳，真天人也”。紅拂很有見識，識得英雄。趁李靖再次拜訪楊素之機，相約私奔了。楊素非但不追究此事，反而推薦李靖出任馬邑的郡丞。楊素就這樣又成全造就了一段才子佳人的愛情佳話。後來李靖果然成了唐朝的股肱之臣。
