設置常平倉的思想（見常平倉思想）淵源可追溯至戰國時期李悝的平糴法，后經西漢桑弘羊繼承和發展形成平準法，其核心主張是政府通過賤收貴賣的方式實現平抑物價、維護市場秩序的效果。

常平倉最早設置于西漢宣帝（前73～前49）時期。宣帝元康（前65年～前61）年間，由于連年豐收，谷價賤至一石五錢，“農人少利”。時任大司農中丞耿壽昌借鑒平準法思想，在一些地區設立糧倉收貯糧食，將收購價格過低的糧食全部入官，以“利百姓”。宣帝五鳳四年（前54），宣帝接受耿壽昌的建議在邊郡筑常平倉，“以谷賤時增其賈而糴，以利農，谷貴時減賈而糶，名曰常平倉，民便之”。

西漢元帝初元二年（前47），因各方反對作罷。東漢明帝永平五年（62）改作常滿倉。西晉武帝泰始四年（268）復設常平倉。東晉南朝因襲。北齊時征“義租”，在州縣設倉存儲。隋文帝開皇三年（583），在陜州置常平倉，并在京師置常平監。唐高祖武德五年（622）廢常平監，高宗永徽元年（650）在京師置常平倉，唐玄宗開元二年（714）詔全國諸州、道遍設常平倉。后經劉晏整頓常平法，頗見成效。唐憲宗元和（806～820）年間，常平倉與民間的義倉合并，稱“常平義倉”。北宋太宗淳化三年（992）復置常平倉，北宋真宗景德三年（1006）在全國普遍建倉。北宋神宗熙寧（1068～1077）年間，王安石推行青苗法，常平倉儲糧成為貸本，失去原本之意。北宋哲宗紹圣元年（1094），除廣南兩路外，重建常平倉。金代常平倉，除州、府以外，還設立縣倉，凡離州較遠之縣，即另置一倉。元代在路、府設立常平倉，元世祖至元六年（1269），始立倉法，豐年米賤，官為增價糴入，歉年米貴，官為減價糶出。以后時行時廢。明世宗嘉靖六年（1527），令布、按二司督責有司設法多積米谷以備救荒，仍仿前代平糴常平之法。春季放贈貧民，秋成抵計還官，不取其息。明萬歷（1573～1620）以后，郡國府庫盡入內帑，常平之名遂廢。清承明制，仍行常平之法，順治十二年（1655），題準各州縣自理贖鍰，春夏積銀，秋冬積谷，悉入常平倉備賑。乾隆五年（1740），諭地方積谷備用，以惠濟窮民。

中國古代的常平倉制度，雖興廢無常，且時有官吏作弊，但其建立，對于平抑糧價、維護糧食市場秩序，以及緩解災民饑荒起到了一定積極作用。此外，常平倉制度及其思想還是人類寶貴的政治文明遺產，對當代農業政策制定具有借鑒和啟示作用。