颜斐年轻时便展露出才学，曹操征召他做太子洗马，黄初初年转为黄门侍郎，后出任京兆太守。

京兆郡自从马超败退之后，百姓大都不去专心农业和养殖。以前数任郡守，都只顾眼前利益，不替百姓做长远打算。颜斐到任后，下令各县调动百姓整治农田，兴修水利，广种桑树果木。当时百姓大多没有车辆和耕牛，他令百姓在农闲时节准备好做车的材料，派工匠们教他们造车，然后相互传授造车技术。又令没有牛的先养猪狗，等到值钱时卖掉再去买牛。一开始百姓觉得麻烦，但过了一二年，几乎家家都有了大车和壮牛。

颜斐还在关中兴办学校。凡郡中官吏、百姓想要读书的，只要做较轻的劳役就可以了。又在郡府建起菜园，让郡吏在服役时间到菜园里劳作。而百姓则在缴租的时候，用牛车顺便带两捆柴，供读书人在冬季里取暖。经颜斐治理，郡中百姓安居乐业、风化大行，官吏民众不相烦扰，京兆郡成为关中各郡的首富。邻接的冯翊、扶风二郡道路闭塞，田地荒芜，百姓饥寒交迫，而京兆长安周边却井井有条，物产之丰富为雍州十郡之最。颜斐克己奉公，只靠自己的官俸自给，京兆郡的百姓们为有这样一个好官而高兴，同时又怕他被朝廷调走。