VII.yüzyıl ortalarında Bizans saldırılarına karşı koymak amacıyla Emevi Komutanı,Mansur İbn-i Cavana yaptırmıştır.Kaleye,komutan Hısn-ı Mansur ismi verilmiştir.Bu kale sonradan Adıyaman kentinin oluşmasına neden olmuştur.VIII.yüzyılın sonlarına doğru da Harun-ür Reşit tarafından onarılmıştır.Günümüze,oldukça harap ve yıkık bir durumda gelebilmiştir. 

Efsaneye göre;Adıyaman Kalesi'nin orta yerinde mil üzerinde dönen bir köşk varmış.Bu köşkte savaşı seyreden Arap Kumandanı'nın kızı,kaleyi kuşatan Türk Kumandanı'nı görür ve ona aşık olur.Kız,Türk Kumandanı'na haber göndererek kendisini almayı kabul ettiği takdirde kale anahtarını vereceğini söyler.

Bir gece gizlice Türkler'in tarafına kaçan kızı,Türk Kumandanı kabul eder ve kendisiyle görüşür.Bu sırada kız,elbiselerinin içinde bir şeyin kendisini rahatsız ettiğini söyler.

Elbiseleri çıkarıldığında kuru bir yaprağın vücudunu tahriş ettiği görülür.Bu duruma çok sinirlenen Türk Kumandanı “Baban seni kuru bir yapraktan dahi sakınır yetiştirdiği halde kendisine ihanet ettin.Kim bilir bize ne türlü ihanetler yaparsın”,diyerek kızı öldürtür.Kale ve şehri yaptığı hücumlarla ele geçirir...