西汉时护卫宫殿者有郎卫和兵卫。光禄勋率郎官为郎卫，卫尉率卫士为兵卫。西汉时卫尉所部称南军。宫内设庐舍以驻扎卫士，卫士昼夜巡警，检察门籍。卫尉主宫门和宫内，与主宫外的中尉(执金吾)相为表里。西汉时皇帝居未央宫，守护未央宫是卫尉的职责，故有时也称未央卫尉。
太后所居为长乐宫，设长乐卫尉。武帝时李广为未央卫尉，程不识为长乐卫尉。长安城外的建章宫﹐距长安较远的甘泉宫，也曾设有建章、甘泉两卫尉。又设卫将军居诸卫尉之上，如文帝时拜宋昌为卫将军，领南北军﹔宣帝时张安世为卫将军，掌管两宫卫尉及城门北军兵。卫尉秩为中二千石，其副职为丞，属官有公车司马、卫士、旅贲三令、丞。吏民若向皇帝上书，由公车司马转达。
东汉时无卫将军，也不再每宫皆设卫尉。卫尉下设北宫、南宫卫士令，以分管南北宫，省去旅贲令。东汉初年，汉光武帝刘秀任命他的亲信李通、铫期为卫尉，后来外戚马廖、马光、窦固、梁淑等人都担任过这个职务。 东汉末年，马腾也担任过这个职务。
魏晋以后，卫尉职掌渐生变化。从隋代起，改掌军器、仪仗、帐幕之事，与汉制截然不同。南宋并入尚书省工部。元代一度恢复卫尉，旋罢。明、清不设。
秦时始置，汉景帝(刘启)初更名为中大夫令，不久即恢复原名，掌管宫门警卫。九卿之一。
建置沿革掌门卫屯兵，北齐改为卫尉寺，隋改为军器仪仗、帐幕之类，明废，清有銮仪卫。 卫尉寺 卿 少卿 丞 主簿各一人。卿掌仪卫兵械、甲胄之政令，少卿为之贰，丞参领之。凡内外作坊输纳兵器，则辨其名数、验其良窳以归于武库，不如式者罚之。时其曝凉而封籍其数，若进御及颁给，则按籍而出之。每季委官检视，岁终上计帐于兵部。掌凡幄帟之事，大礼设帷宫，张大次、小次，陈卤簿仪仗。长贰昼夜巡徼，察其不如仪者，押仗官则前期禀差。凡仗卫，供羽仪、节钺、金鼓、棨戟，朝宴亦如之。
宴享宾客，供幕帟、茵席，视其敝者移少府、军器监修焉。旧制，判寺事一人，以郎官以上充。凡武库、武器归内库，守宫归仪鸾司，本寺无所掌。元丰官制行，始归本寺。分案四，置吏十。元佑三年、诏长贰互置。所隶官司十有三:内弓箭库、南外库、军器弓枪库、军器弩剑箭库，掌藏兵杖、器械、甲胄，以备军国之用。仪鸾司，掌供幕帟供帐之事。军器什物库、宣德楼什物库，掌收贮什物，给用则按籍而颁之。左右金吾街司、左右金吾仗司、六军仪仗司，掌清道、徼巡、排列，奉引仪仗以肃禁卫。凡仪物以时修饬，选募人兵而校其迁补之事。中兴后，卫尉寺废，并入工部。
主要官员卫尉寺一般设有: 卿一人，从三品;少卿二人，从四品上;丞二人，从六品上。掌器械文物，总武库、武器、守宫三署。兵器入者，皆籍其名数。祭祀、朝会，则供羽仪、节钺、金鼓，帷帟、茵席。凡供宫卫者，岁再阅，有敝则修于少府。主簿二人，从七品上。录事一人。龙朔二年，改曰司卫寺。武后光宅元年又改。有府六人，史十一人，亭长四人，掌固六人。 丞，掌判寺事，辨器械出纳之数。大事承制敕，小事则听于尚书省。