Erzincan İl Jandarma Komutanlığı 1923 yılında teşkil edilmiş olup, İl Merkez Jandarma Komutanlığı, Kemah ve Tercan İlçe Jandarma Komutanlıkları 1923 yılında, Kemaliye ve İliç İlçe Jandarma Komutanlıkları 1939 yılında, Çayırlı İlçe Jandarma Komutanlığı 1954 yılında, Refahiye İlçe Jandarma Komutanlığı 1981 yılında, Üzümlü İlçe Jandarma Komutanlığı 1988 yılında, Otlukbeli İlçe Jandarma Komutanlığı ise 1991 yılında kurulmuştur.
İlçe Jandarma Komutanlıkları ilçe merkezlerindeki hizmet binalarında faaliyetlerine devam etmektedir.
İl Jandarma Komutanlığı ve İl Merkez Jandarma Komutanlığı ise 15 Eylül 2001 tarihinden itibaren ERZİNCAN-ERZURUM karayolunun 5’ inci Km.sinde hizmetlerini yürütmektedir.
1992 yılında J.Gn.K.lığının 20.02.1992 gün ve HRK:0610-2-92/Pl.Hrk.Ş.(170) sayılı emri ve TUNCELİ Jandarma Bölge K.lığının 25.02.1992 gün ve HRK:0610-5-92/698 sayılı emri ile ERZİNCAN İl Jandarma Komutanlığı ve bağlıları ERZURUM Jandarma Bölge Komutanlığına bağlanmıştır.