Karena situs tersebut terdiri atas banyak bangunan yang berongga dan memiliki lorong yang berliku dan gelap seperti gua, maka dikenal pula dengan nama Goa Sunyaragi.

Menurut buku Purwaka Caruban Nagari karya Pangeran Kararangen (bergelar Arya Carbon), Taman Goa Sunyaragi dibangun oleh Pangeran Kararangen, adik Sultan Sepuh II, pada 1703 M. 

Namun, berdasarkan versi Carub Kanda (berita lisan yang dituturkan secara turun-temurun), Goa Sunyaragi didirikan dalam tiga periode. Periode pertama didirikan oleh Pangeran Emas Muhammad Arifin II (bergelar Panembahan Gusti Ratu Pakungwati I), cicit dari Syekh Syarif Hidayatullah, pada pertengahan abad XVI.

Periode kedua dibangun oleh Pangeran Kararangen pada 1703 dan periode ketiga diprakarsai oleh Sultan Sepuh V, Pangeran Amir Sidik (bergelar Pangeran Matangaji), pada abad ke-18.

Eko mengatakan, tidak ada kenaikan tarif masuk Goa Sunyaragi pada masa liburan sekolah ini. Tarif untuk anak sekolah dan mahasiswa masih Rp 10 ribu per orang. Sedangkan masyarakat umum Rp 15 ribu per orang.