姫路からのJR播但線と山陰本線とが合う和田山から福知山寄り、山陰線が夜久野トンネルをぬけて但馬にはいった町が朝来郡山東町である。交通の要所で山陰道から多くの道が分岐している。円山川の支流の粟鹿川沿岸のやや広い盆地で、町の南東に粟鹿神社がある。
森林に覆われている境内は、3万4782平方m(1万540坪)と広い。樹木を背景にした鳥居を入ると勅使門・日ノ出門がある。現在の社殿は神功皇后が勅使をだして祈願せられた三韓征伐ご凱旋のご奉賽として建てられたものであるが、応仁(1467~69)の兵火で勅使門を残し、ことごとく焼失した。