胡广出生在天玉山下的大洲，是南宋名臣胡铨的第九世孙。胡广长得一表人材，因为这一点，被建文帝点为状元。殿试的结果，本来也是吉水带源人，叫王艮。王艮个头不高，脸小，皮肤黝黑，外貌与胡广无法相比，建文帝年轻，第一次钦点状元，让一位相貌出众、文章又写得好的人来做状元，也就成了自然之事。
天玉山在明代以前都叫天狱山。为什么叫天狱，这里有一个传说。相传世间的妖魔鬼怪很多，玉皇大帝的法力大，他把那罪孽深、无恶不作的妖魔全收拢起来，选择了一些山头，分别镇压在各个山中。天玉山是青原山一带的名山，这座山的山顶上有一大块数丈见方的大岩石，寸草不生，岩石下是一个空洞，人在岩石上用力踏步，空洞中会传来擂鼓似的咚咚咚声。玉皇大帝把妖魔就镇锁在这里，俗名鬼监。自古以来，这山名就叫天狱山。主峰是芙蓉峰，在芙蓉峰上建了一座道观，历代称天狱名观。唐代吉州刺史阎寀就在此修炼升天的。
自天狱山成为道教名山后，唐宋元历代扩大道观建筑群，到元代时，天狱山被列入国内著名道教圣地，皇帝赐名建观，叫天华观，观中建万寿宫，宫前有玄坛，求子嗣特别灵，香火一直很旺。
胡广大魁天下，就算是名人名臣了。依传统观念，他属天狱山人，这听起来不够雅，甚至妖气太重。他想到老祖宗胡铨，家居芗城山下，自称芗城山人，芗城的名字很好听，雅气。胡广中状元回乡省亲的那一年，他自然要去天狱山走一走，在“天狱名观”门口停住脚，叫人抬砚揎纸，大笔一挥“天玉名观”，吩咐人换成这块牌子。从此，天狱山就改成天玉山了。旧时代说，状元是文曲星下凡，是神，金口玉牙，说了的就算数，不能随便改换。胡广改了“天狱”，从此再没有人用“天狱”二字。