El Casco Antiguo de Albarracín forma parte del Conjunto Histórico que incluye tanto el casco antiguo que se encuentra dentro de las murallas, y también los barrios de Los Palacios y De Jesús.
Dentro del conjunto protegido se incluyen cuatro zonas:
- La parte sur del meandro, que es el trazado que debía tener antiguamente la muralla en esa zona según la documentación y los estudios realizados.
- La parte oeste del Barrio de Los Palacios.
- Por el límite norte se añade el foso de las murallas y la torre del Andador.
- El Barrio de Jesús, su extremo norte se adapta a la zona y a las edificaciones existentes.

Casco Antiguo de Albarracín:
En este conjunto podremos pasear por sus calles estrechas y con pronunciadas pendientes. De las casas podemos apreciar sus muros y entramados de madera y escayola de color rojizo.
El núcleo más antiguo se centraría en la zona de la peña, donde en la actualidad se sitúa la Alcazaba. Alrededor de la cual encontramos un caserío rodeado de casas denominado Santa María de Levante, nombre heredado del antiguo poblado visigodo y de la iglesia que existía en los alrededores.
Este núcleo va creciendo y se forma una Medina, siempre protegida por las murallas que recorrerán el borde superior del meandro del rio, junto con las Torres de la Muela y del Andador (actualmente la Torre de la Muela está en estado ruinoso).

Estas tres construcciones la Muralla junto a las dos torres, formaban una fortaleza impenetrable, y a partir del eje principal donde se encontraban la Alcazaba, la Mezquita y el zoco acabo por expandirse por todo el meandro.

Durante el Siglo XI el recinto amurallado se hace más grande, incluyendo los caminos que salían del zoco y que coincidían con la calle Azagra.
En esta podemos ver las casas colgantes y en la que también encontramos casas señoriales como la Casa de los Dolz de Espejo, La Brigadiera (Convertida en Hotel), el Portal de Molina y el palacio de los Navarro Arzuriaga.
También se añadió un gran terreno usado para pastoreo y como lugar donde encerrar el ganado.
Durante el Siglo XVI:
En el Siglo XVI vuelve a expandirse el pueblo de Albarracín, aparecen barrios fuera de los muros como los Barrios de Palacios o el Arrabal de la Vega.
Mientras tanto dentro de las murallas se construían grandes edificios, la Catedral de Alabarracín, el Palacio Episcopal, el Ayuntamiento, las iglesias de Santa Maria y Santiago, la ermita de San Juan, el Hospital y también el Colegio e iglesia de los escolapios.
En el siglo XIX se construye un túnel en la roca para poder facilitar el paso de vehículos por la carretera que atraviesa todo el núcleo histórico. Esto llevó a la aparición de un nuevo barrio al norte del casco antiguo, el barrio del Jesús.