Hay 34 cuevas que fueron construidas entre los siglos V y X
Estas estructuras han sido excavadas en un precipicio de los montes Charanandri, siendo su número total 34, de las cuales 12 son budistas, 17 hinduistas y 5 jainistas.
La coexistencia de estas edificaciones demuestra cierto grado de tolerancia interreligiosa en la India hasta la llegada del Islam. Las grutas budistas son las estructuras más antiguas y consisten principalmente en vihāras y monasterios, algunos de estos son verdaderos santuarios exornados por una imagen del Buda.
En este conjunto la joya del lugar es el templo de Kailāsanātha (725-755), se trata de un edificio en forma de templo, completamente excavado en la roca.
