Desa Semen terbagi menjadi 4 dusun.
1. Dusun Tegalrejo
Di dusun tegalrejo ini terdiri dari 27 RT dan 6 RW. Sedangkan untuk kepala dusunnya dipimpin oleh Andrias P.M
2. Dusun Semen
Dusun semen mempunyai 10 RT dan 3 RW. Sedangkan kepala dusunnya dipimpin oleh Ari W
3. Dusun Dewi
Dusun dewi mempunyai 6 RT dan 2 RW. Sedangkan kepala dusunnya dipimpin oleh Sutami
4. Dusun Parang
Dusun parang terdiri dari 15 RT dan 3 RW
