Gereja Kish terletak di Kish, beberapa kilometer dari bandar Sheki. Pada tahun 550 SM, Atrobats, gabenor Median Empayar Parsi, menamakan tempat itu "Azerbaijan," yang bermaksud "dilindungi oleh api." Pada abad ke-4 Masihi, sebuah suku kaum yang menggelarkan diri mereka Arran menubuhkan Kerajaan Albania, wilayahnya yang merangkumi Pergunungan Caucasus, dan mereka secara beransur-ansur memeluk agama Kristian daripada Zoroastrianisme Parsi. Bermula pada abad ke-7 Masihi, Kerajaan Albania telah ditakluki secara berturut-turut oleh orang Arab, Mongol, Timurid, dan Empayar Uthmaniyyah, akhirnya lenyap sepenuhnya daripada sejarah. Perpecahan antara Parsi, Empayar Uthmaniyyah, dan Rusia dari abad ke-16 hingga ke-18 merupakan sebab penting bagi pembahagian Azerbaijan kepada tiga negara. Kerajaan Albania Kaukasia pernah meliputi sebahagian besar utara Azerbaijan, tetapi terdapat sedikit dokumen sejarah dan lebih sedikit lagi tapak purba yang berkaitan dengan kerajaan Albania Kaukasia, menjadikan gereja ini sangat penting dari segi budaya. Rakyat Azerbaijan telah lama berusaha untuk menghapuskan kesan penempatan Armenia di wilayah mereka, dengan mendakwa bahawa kawasan-kawasan ini telah menjadi "bahagian penting Azerbaijan sejak zaman purba." Gereja ini kini telah diubah menjadi Muzium Caucasus Albania, yang menceritakan kembali masa lalu yang kompleks di wilayah Caucasus. Bahagian dalamnya mempamerkan sejarah yang berkaitan, dan pengunjung dapat melihat tinggalan purba di bawah melalui tingkap kaca di lantai gereja.