Anadolu’nun M.Ö. 2000 yıllarındaki kuvvetli devleti olan Hititler zamanında Melit (Malatya), Mazaka (Kayseri), Sabestea (Sivas), Kokusun (Göksun), şehirleri arasında bulunan Tegerama (Gürün) ,Darende, Malatya, Samsat üzerinde Urfa’ya vardığı veburadan Halep, Asur ve Babil’e gittiği anlaşılmaktadır.Tohma vadisi üzerinde bulunan Gürün’ün tarih boyunca önemli işlek yollara sahip olduğu bilinmektedir.
Halen belediye binasında karşısında kuzey yönünde kale olarak adlandırılan eski kalıntılara haricen bakıldığında Mağara şeklinde oyukların olduğu görülmektedir. Bunlardan Kaleş (Kültepe-Kayseri)’den başlayan yolun Tegerama (Gürün), Darende, Malatya, Samsat üzerinden Urfa’ya vardığı ve buradan Halep, Asur ve Babil’e gittiği anlaşılmaktadır. Tohma vadisi üzerinde bulunan Gürün’ün tarih boyunca önemli işlek yollara sahip olduğu bilinmektedir. Halen belediye binası karşısında Kuzey yönünde kale olarak adlandırılan eski kanıtlara haricen bakıldığında mağra şeklinde oyukların olduğu görülür. Bu oyuklar Hitit imparatorluğu zamanında kale olarak kullanılmıştır. Bu kalenin 3 km güney batısında bulunan Burç evi kalıntıları ve Harap şatosu ayrıca doğuda Çay boyu (Gübün) mahallesinin hemen kuzeyinde yine kaya oyukları bulunmaktadır. Gerek Gübün’deki kale ,gerekse Gürün’deki kale ile yapıldığı tespit edilmiştir. Yine Şuğul Vadisi’nde (Tohma suyunun Gürün’e girdiği yer) Hititler zamanından kalma kayalar üzerine kazılmış Hitit yazısı (Kitabesi) bulunmaktadır.
Yıldırım Beyazıt- Timur arasındaki mücadelede Yıldırım Beyazıt, Ankara savaşında (1402) Timur’a yenilince, Sivas ve Gürün bir süre Timur hakimiyetinde kalmış fakat, bu dönem kısa sürmüştür. Osmanlı İmparatorluğu tekrar toparlanınca Anadolu Hakimiyeti tamamen Osmanlı yönetimine geçmiş, Gürün’de Osmanlı İmparatorluğu yıkılıncaya kadar, Osmanlı sancağı olarak kalmıştır. Gürün, 1830 yılında Subaşılık olmuş ve idari bakımdan Yozgat’a tabi Pınarbaşı’na bağlanmıştır. 1845 yılında Bucak, 1869 yılında ise ilçe olarak tekrar Sivas’a bağlanmıştır.
Evliya Çelebi seyahatnamesinde “Afşin den kuzeye doğru giderek Gürün kasabasına geldik. Gürün Sivas eyaletinde, Engel toprağında, 150 akçelik nahiye kazasıdır. 1000 haneli olup, camii , mescidi, hanı, hamamı, sultan çarşısı olan şirin bir kasabadır. Türkmenağası hükmündedir. Şehir içinden nehir akar.” demektedir. Evliya Çelebi 17. yy. yaşadığına göre Osmanlıların o döneminde de Gürün’ün önemli bir yer olduğu anlaşılmaktadır.
