原来是在广州的，广州的黄大仙庙已有百年历史，只因当时广州的政局非常复杂。当时广州由陈炯明所控制，他突然以革命者自居，说要破除迷信，便拆去庙宇筑马路，或拆庙卖地建屋，最主要的是乘机霸占房产。
    当时很多庙宇遭殃，黄大仙庙也在军阀借破除迷信之名，而刮地为实的时代里，自然也受到影响，但幸得香港绅商李亦梅、谭杰生、梁仁庵、郭述亭、张殿臣、陈桂石和唐丽泉等，把黄大仙宝像接来香港，安奉在啬色园内，才使黄大仙宝像才得以保存。
    黄大仙祠在1966年从广州迁到九龙，主要可分成两部份，大殿及从心苑及九龙壁花园，相传祠内所供奉的黄大仙是有求必应的，所以香火十分鼎盛。