Nebukadnezar dari Babilonia merobohkan Masjid Al Aqsha pada tahun 586 sebelum Masehi. Dan sesudah itu Masjid Al Aqsha terabaikan dalam waktu yang lama dalam keadaan runtuh. 

Seiring waktu datanglah bangsa-bangsa lainnya. Dari mulai Persia, Yunani, dan Romawi. Mereka membuat patung dan berhala di komplek Masjid Al Aqsha sesuai dengan keyakinannya masing-masing.

"Setelah bangsa Babilonia, datanglah Persia dan Yunani kemudian Romawi. Masing-masing bangsa tersebut membangun rumah ibadah, patung dan berhala di dalam kompleks Masjid Al Aqsha. Setiap agama membangun sesuai dengan kepercayaannya," (Sejarah dan Keutamaan Masjid Al Aqsha dan Al Quds karya Mahdy Saied Rezk Karisem diterbitkan Pustaka Al Kautsar, 2021)

Kondisi tersebut berlangsung hingga datang penguasa Romawi yang bernama Herodos pada tahun 20 sebelum Masehi. Lalu, ia mendirikan sebuah bangunan besar yang bernama Basilika di dalam kompleks Masjid Al Aqsha. Maknanya adalah tempat untuk pemimpin atau raja.

Orang-orang Yahudi mengatakan bahwa mereka membangunkan sebuah haikal untuk mereka sebagai ganti haikal yang sudah runtuh. Mereka mengatakan bahwa inilah haikal kedua karena mereka menganggap bangunan Sulaiman merupakan haikal pertama.