不久，隋代周立，继承了北周数量庞大的地方行政组织这份遗产，据《隋书·百官志》，隋初州郡县俱分九等，州置刺史、长史、司马、录事参军事，功曹，户、兵等曹参军事等员，上上州合323人，依次递减，至下下州犹有167人；都城所在之雍州地位特别，置牧，属官有别驾、赞务、州都、都正、主簿、录事等员，合共524人之多。郡置太守、丞、尉，正、光初功曹、光初主簿等员，上上郡合146人，减至下下郡为77人；京兆郡特殊，置尹，官吏合共244人。县置令，丞、尉、正、光初功曹、光初主簿等员，上上县官吏合99人，减至下下县为49人。大兴、长安两县特别，各有官吏147人。州郡县三级官府数目若以大象二年计，且皆以下下等为准，则隋初之各州当共有官吏35237人，郡当有39116人，县当有55076人，三级官府共有官吏129429人。这还是一个最低的估计数，若三级机构皆以中中等计，则应有24万名官员之多。

隋初州郡县冗员如此之多，在行政管理上实在是一个很大的负担。不但行政费用巨大，而且到何处去寻求这么多称职的人来任职？所以文帝开皇三年（583年）初，河南道行台、兵部尚书杨尚希上奏说：“当今郡县，倍多于古，或地无百里，数县并置；或户不满千，二郡分领。具僚以众，资费日多，吏卒又倍，租调岁减，清干良才，百分无一，动须数万，如何可觅？所谓民少官多，十羊九牧。”建议并省部分州郡县，使“国家则不亏粟帛，选举则易得贤才”（《隋书·杨尚希传》）。同年十一月，文帝“遂废五百余郡，而以州治人，名则因循，职事同于郡守，无复刺举之任”（《通典·州郡典》）。这是说，将州刺史的责任从监察改为行政，即“以州统县，使刺史之名存而职废”。其实刺史在魏晋南北朝时已是行政长官，但因其下统有郡县二级，不直接亲民，故从一般心理上仍觉得其为监察之官。后来隋炀帝又改州为郡，就是为了使其名实相副。

隋文帝只是罢天下诸郡，以州统县，于州县两级行政组织并无大改变，亦无并省，故州县的数目仍不在少，以是在州之上曾先后有行台尚书省或总管府节制或统领诸州。不过仅省去郡一级机构，至少也已省去冗官1／4以上。平陈统一全国以后，同样将南方郡级政区也省去。直到炀帝大业三年（607年），才并省大量州县，并易州为郡，同时又对地方官员的设置进行一些改革，即每郡置太守，罢长史、司马，于太守下置赞务。不久又在太守之下、赞务之上加置通守一人，通守牵制太守，有似后世宋之通判。赞务后改郡丞，郡丞属勾检系统职官，掌一郡税负大权，分割太守权力。诸郡于年终由太守或上佐到都城述职，称为朝集使。又南北朝时兵民不分，刺史治民且兼领兵事，从隋代开始，地方实行兵民分离之制，“别置都尉以领兵，兵不属郡”（《通典·职官典》）。同时只分郡太守为三等，即“上郡从三品，中郡正四品，下郡从四品”，比原州刺史降一级（《文献通考·国用考》）。