Önemli bir geçit yolu üzerinde bulunan bu kale,bazı kaynaklara göre,1155’te yapılmıştır.Burada eskiden de bir kale bulunduğu,yeni kalenin eskisi kısmen tamir edilerek, kısmen genişletilerek yapıldığı sanılır.Karaman Evkaf Dairesi'nde ise kalenin 1087’de yapıldığı kayıtlıdır.

Karaman Kalesi iç,orta,dış olmak üzere üç kısımdır. Hisartepe,diye anılan tepenin üzerine yapılmış olan kalenin iç kısmının çevresi 400-500 metre kadardır.Dörtgene yakın bir biçimde olan kale,sekiz burçla berkitilmiştir.Kalenin orta kısmı başlı başına bir kale durumundadır.Çevresi 1.000 metre kadardır.Çevresi 7.000- 8.000 metre kadar olan dış kale ise bugün yıkıntı halindedir,ancak yer yer izleri görülmektedir.

«Karaman’ın koyunu sonra çıkar oyunu» atasözünün bu kaleyle ilgili bir hikâyesi vardır.Rivayete göre,bir kuşatma sırasında geceleyin kaleden çıkan birkaç savaşçı yakındaki bir sürüyü çevirir,koyunların başlarına birer mum dikerek «Allah,Allah!» haykırışı ile kaleye doğru sürerler.Bunu gören düşman da kaleye takviye geldiğini sanarak kuşatmayı kaldırır...