元老院始于王政時代，為國王的議事機構，由氏族長老組成，成員可能不僅限于貴族，一切重大事項均須經它首先討論。在實際政治生活中，當國王去世后，元老院可代表羅馬人民推舉新王。

這一時期元老院繼續發揮作用，并在中期臻于極盛，享有無上權威，掌管了國家的財權、行政權與外交決策權等核心權力，是共和國的最高行政機構和監督機關。依據“羅馬古風”做出的決議在理論上不具有法律效力，其地位低于正式法律，但在現實生活中通常得到官吏和民眾的遵守。在非常時期，是唯一有資格授權執政官任命獨裁官的行政機構，并可頒布帶有戰時法令性質的最高元老院決議。共和末期，隨著羅馬內戰的愈演愈烈，元老院的實力與聲望不斷遭到削弱，手中的權力名存實亡。奧古斯都建立元首制后，盡管元老身份仍具有重要的社會等級與身份象征意義，但作為國家機構的元老院已淪為元首個人專制的附庸與統治工具。

元老院由卸職的執政官和其他有權勢的貴族組成。共和初年，成員必須擁有貴族血統，但平民在獲準擔任各種主要國家官職之后便獲得了進入元老院的資格。《奧維尼烏斯法案》（Lex Ovinia，頒布于前339～前318）授權監察官按照既定的準入尺度挑選元老院成員，符合條件且無罪過者不得落選。這是元老院發展史上的一個里程碑，元老資格從此成為一種終身性的榮譽頭銜，被元老院開除則是重大恥辱。執政官等主要國家官員卸任后直接進入元老院的傳統也很可能始于此時。鼎盛時期成員可享受多種特權，并承擔相應義務：元老身穿白色長袍和特殊鞋子，可以在宗教儀式、節慶競技等場合保留自己的專座，但不得在未經元老院批準的情況下擅自前往意大利境外。

格拉古兄弟改革時期（約前133～前121）的元老院擁有約300名成員，其中大部分為已卸任的國家官員。共和末年的頻繁內戰一方面導致傳統元老家族元氣大傷，另一方面又導致元老頭銜的貶值，元老人數隨之擴大。蘇拉獨裁時期（約前82～前80）擴充為600人；凱撒獨裁時期（前45～前44）在元老院中安插黨羽，使其人數在前45年增加到900人；后三頭政治時期再度增加到1000人以上。但奧古斯都執政后，于前28年和前18年對元老院進行了兩次重大改革，裁汰了其中財產資格與道德聲望等方面存在缺陷的成員，削減為600人左右。這一格局一直維持到元首制末期。元首制時期的財政、軍事大權集中于元首一人手中，但元老們仍擁有廣泛的參政議政權力，并享受著較高的社會地位。

羅馬帝國時期，皇帝專制統治加強，元老院實權日益削弱。羅馬城的元老院一直延續到西羅馬帝國終結后，于603～630年最終消失；位于君士坦丁堡的元老院則一直維持到14世紀左右。 作為羅馬史上生命力最為持久的政治機構與共和國中期的國家權力核心，元老院在羅馬共和國的政治、經濟、軍事、外交史上扮演過舉足輕重的角色，其興衰浮沉與羅馬貴族共和制度的演變歷程息息相關。羅馬元老院的運作機制也對近現代史上法國、美國、英國等國家的議會制度產生過深遠影響。