Bizans imparatorları şehre hakim yüksek ve sarp bir tepe üzerine şato yaptırarak,buraları burçlarla tahkim etmişler ve şatoyu iki kat sur içerisine almışlardır.
Kütahya Kalesi,mavi ve kırmızımsı bir yalçın kaya üzerinde beşgen şekilli,sağlam ve süslü bir yapıdır.Bir tepe üzerinde yüzük gibi duran bir kaledir.Kalenin etrafı yaklaşık üç bin metredir.Dört tarafı yalçın kaya ile çevrilidir,etrafında hendeği yoktur,fakat kale surlarının altı uçurumdur.Kalenin kuzey doğusunda Germiyan eseri olan Kale-i Bâlâ Camii ve bir de çeşme bulunur.
Osmanlı hükümeti zamanında müstahfız tımar askeri muhafazasına ve Dizdar,denilen kale ağasının idaresine verilirdi.Kale arazisi de topçu,lağımcı,cebeci askerlerinin ikâmetine tahsis edilirdi.Kalede 119 tımarlı müstahfiz askeri vardı.Kale muhafazası için bulunan bu askerlerin bir kısmı,savaşların uzaması sebebiyle askere çok fazla ihtiyaç duyulduğu zamanlarda sefere giderler,geri kalan kısmı da kale muhafazasına devam ederdi.Kale dizdarlığı genellikle saray hizmetinde bulunmuş ve emekliliğini hak etmiş kişilere verilirdi.Kale dizdarı,müstahfiz tımardan başka ocaklık adıyla bazı araziye de sahipti.Bu arazi onların evlat ve torunlarına geçerdi.Dizdar,padişah fermanı ile tayin edilirdi.Dizdar,ocaklıktan başka Kütahya cizye mallarından da ayrıca yevmiye alırdı.Altıntaş nahiyesinin Karaağaç ve diğer köylerinden 7,600 akçelik tımar Kütahya kale dizdarlığına aitti.Kalede dizdardan başka kale kethüdası, topçu başı,cebeci başı,zindancı ve kapıcı bulunurdu.
Kalede aynı zamanda hapishande de bulunduğundan gerek, Kütahya ve çevresinden gerekse başka yerlerden fermanla gelen suçlular buraya hapsedilirdi.Başkaldıranlar boğularak halka işaret olmak üzere kaleden bir top atılırdı.Devleti hayli meşgul eden Gediz Voyvodası,Nasuhzâde Nasuh'un oğlu ve kardeşi,Anadolu Valisi Alâaddin Paşa'nın emriyle Kütahya Kalesi'ne hapsedilmiş ve muhafazasına 50 nefer konmuştur.
Kütahya Kalesi'nin iki cephaneliği ve iki top mahali vardı. 1817 senesinde kalede obüs ve havan olmak üzere on yedi top bulunuyordu.Kalenin güneydoğusu ve kuzeydoğusundaki iki adet savaş topu Ramazan aylarında kullanılmaktadır...