尚书仆射为尚书令之副。尚书令阙，仆射便是尚书台（后称省）的长官。

《汉书·百官公卿表》说：“仆射，秦官。自侍中、尚书、博士、郎皆有。古者重武官，有主射以督客之”也就是说，仆射本意就是领事，汉代的侍中、上述、博士、郎都有仆射，被指定为仆射的，就负责本部门的事务。后来其他仆射的名称逐渐不用，变为专官。

仆射初置一人，至汉献帝建安四年（公元199年）始分置左右仆射。自此以后，或二或一，置二人则分左右。左右仆射分领尚书诸曹，左仆射又有纠弹百官之权，权力大于右仆射。尚书令阙，则左右仆射为省主。三国时，魏置尚书仆射二人秩第三品，蜀、吴但称仆射，不分左右。晋至南北朝，仆射设置无定制，置二，则为左右仆射，置一，则称仆射；尚书领缺，则左右仆射主持省事。南朝宋时左仆射领殿中、主客二曹，右仆射与祠部通职，若置右仆射，则无祠部，反之亦同。在此时期，仆射虽为令的副职，但与令的地位不相上下，所以当时令仆并称，令、仆，尚书令称为“朝端”或“端右”，而仆射则号称“端副”。例如东晋谢安、北魏李冲、北齐杨等都是以仆射分掌或专掌朝政。但自魏晋至南北朝，仆射之上还有录尚书事、尚书令，至陈时，因其权重，此二职已基本不置，仆射的权力独重。隋文帝时，废录尚书事，尚书令虽置而常缺。于是尚书左仆射成为朝廷首相。高颎为左仆射达十九年，杨素为右仆射，与高颎共掌朝政。杨素代高颎为左仆射后，隋文帝以其权重，对之疑忌，命他三五日一至尚书省评论大事，表面对他体恤和尊崇，实则削夺他的权力。隋炀帝时，杨素进位尚书令，实不问事；杨素死后，尚书令位阙。大业三年苏威被罢官后，尚书仆射也不再补授。唐初，大抵继承隋文帝时制度，尚书省置令而虚其位，仆射总领省事，与中书令、侍中同掌相权，而左仆射为首相。房玄龄为左仆射前后达二十年，号称贤相。但唐太宗李世民也曾以仆射当求访贤才为理由，命令尚书省细务悉由左右丞处理，有冤滥大故才呈报仆射，这就限制了仆射全面综理政务的权力。贞观二十三年（公元649年）唐高宗李治即位后，李绩为左仆射复加同中书门下三品的称号，自此，仆射入政事堂议事，就例加此号，表明仆射已不是当然宰相。中宗、睿宗时，还有不加同中书门下三品、也不参加议政的仆射，唐玄宗以后，仆射不再加此号。从此仆射就排除于宰相行列之外。