颜思鲁祖籍琅琊临沂（今山东省临沂市），父亲颜之推，曾留居北齐为官，后又出仕隋朝，于是定居于关中，为京兆万年（今陕西省西安市）人。

颜思鲁精于文字和音韵，起家北齐卫府行参军。隋朝时，曾任秘书郎、东宫学士、长宁王侍读，加号逾岷将军。入唐之后，归顺秦王李世民，任为记室参军，不知所终。