小郡饅頭の金子老舗の工場脇に白髭社の小石祠がある。昔は、南に隣接して旧寿座があり、約40坪の境内をもつ社殿があったが、明治41年（1908）いったん中領八幡宮に合祀された。
　大火事の時、金子家が類焼を免れたのは白髭社のお陰だと大切にされている。
　藩政時代には緊急な情報を伝達するため煙火を揚げる狼煙場（のろしば）でもあった。