相传唐代全真派“北五祖”之一吕洞宾东游洛阳时曾在此处建庙修道，后因朝代更迭、战乱频仍，古迹销毁殆尽。

吕祖庙内存有一通石碑，由其记载可知，现存庙宇的建筑年代为清康熙三十二年(公元1693年)，由当时的洛阳名士任仲芙带头捐款筹建。

如今的洛阳吕祖庙是在历代的不断扩建中逐渐形成规模的。新中国成立后，洛阳市曾多次对其进行修缮。

1996年，市政府拨款重修吕祖庙，恢复了庙内一些殿堂及内部塑像，山门两侧配房增添了八仙彩塑，前院院墙内壁增修了两幅大型青砖浮雕《吕洞宾与黄鹤楼》、《老子出关图》。

2008年6月，吕祖庙入选第五批省级文物保护单位。

2015年，玉皇殿落成，金瓦朱墙，巍峨古朴。