坐北面南的广仁寺规模较小，与罗睺寺一墙之隔，寺中存有非常珍贵的藏文大藏经《甘珠尔》。广仁寺的创建和其他寺庙不同。清康熙年间，罗睺寺由和尚庙（青庙）改成喇嘛庙（黄庙），从甘肃、青海、内蒙等地来五台山朝拜信徒日益增多，罗睺寺辟出一块土地修建房屋接待。
清道光年间，人们把罗睺寺接待处修建成了寺院，这就是广仁寺，也叫“十方堂”。广仁寺挂着光绪皇帝御笔亲书的“十方堂”匾额，“十方”指：东、南、西、北、东南、西南、东北、西北、上方、下方，意指四面八方。
广仁寺一进三院，中轴线上依次是：山门、天王殿、大雄宝殿、弥勒殿、班禅行宫、观音阁。大雄宝殿是寺的主殿，门楣上悬挂光绪御笔”广仁寺“匾。
