同年重阳节时，宋太宗召集几个儿子在宫苑中饮酒作乐，因元佐病刚好，便未召他预会。傍晚，他弟弟赵元佑（即赵元僖）等人在宴会结束后去看望他，赵元佐知道了太宗设宴的事，对赵元佑等人说：“汝等与至尊宴射，而我不预焉，是为君父所弃也。”于是发怒，到半夜，把侍女、姬妾等关在房内，纵火焚宫，到天亮，烟火仍未停息。太宗猜测火是赵元佐所放，便命令将赵元佐带到中书门下，派御史去调查情况。赵元佐看到放在面前的巨大的木枷，十分害怕，便说出了实情。太宗派入内都知王仁睿对赵元佐说：“汝为亲王，富贵极矣，何凶悖如是！国家典宪，我不敢私，父子之情，于此绝矣。”赵元佐无言以对。陈王赵元佑等太宗的儿子们和宰臣、近臣，都号泣营救，太宗流着眼泪说：“朕每读书，见前代帝王子孙不率教者，未尝不扼腕愤恨，岂知我家亦有此事!朕为宗社计，断不舍之。”遂下制废元佐为庶人，送均州安置。太宗对宰相说：“比者内外安宁，方思自适，而元佐纵火，实挠朕怀。”宰相宋琪等人说：“尧、舜有丹朱、商均，此不足以累圣德。元佐苟无心疾，当不至是，惟陛下开释。”宋琪又率百官三次上表，请求把赵元佐留在京师。太宗同意。赵元佐已上路南下，走到黄山，被召还，幽禁南宫，派使者监护，不通外事。赵元佐的幕僚楚王府谘议赵齐、王通、翊善戴玄以“辅导无状”的罪名请求处罚，太宗却说：“朕教训犹不从，岂汝等所能赞导耶！”释其无罪。