Smart Document Crawler
Dentro de Smart Document Access, es posible configurar el crawler para la indexación de los contenidos de un sitio web.
El crawler opera en tres fases distintas: una primera fase de navegación de enlaces, que mapea la estructura del sitio, una segunda fase de extracción de contenidos, que identifica los contenidos útiles, y una tercera fase de conversión a PDF, que genera los documentos indexados.
1. Navegación de enlaces
El crawler sigue los enlaces internos del sitio y mapea su estructura, sin extraer contenidos.
2. Extracción de contenidos
Las páginas navegadas se analizan para identificar los contenidos útiles.
3. Conversión a PDF
Los contenidos extraídos se convierten en documentos PDF indexados. Si una página no contiene contenido extraíble, no se genera ningún documento.
Activación y creación de la estructura
Dentro de una subcarpeta ya creada, seleccione la opción Configurar Smart Crawler.
Active la casilla Habilitar en subcarpeta.
Seleccione Añadir configuración.
Asigne un nombre a la configuración y seleccione Guardar.
En esta fase es posible importar configuraciones previamente descargadas o descargar las ya existentes.
Configurar el Crawler
Seleccionando Editar campos se accede a la configuración del Crawler.
General
En la sección General se definen las URLs desde las que parte el crawler.
Introduzca la URL de inicio del sitio en el campo Dirección.
En el campo Páginas adicionales es posible introducir otras URLs de inicio:
- Una sola URL: el crawler parte de esa URL y aplica la configuración de Navegación y Extracción.
- Varias URLs: el crawler parte de cada una de las URLs indicadas y aplica a todas la misma configuración de navegación y extracción.
Cuando las páginas a extraer son pocas y conocidas, puede ser útil introducirlas directamente como URLs de inicio, en lugar de partir del sitemap, de la página de inicio o de páginas contenedoras que las enumeran.
Navegación
En la sección Navegación se indica al crawler qué páginas visitar para recopilar los enlaces que contienen.
El crawler parte de las URLs definidas en la sección General y recopila sus enlaces. Entre los enlaces encontrados, visita solo las páginas que coinciden con las Direcciones a incluir y, a su vez, recopila sus enlaces. El proceso se repite nivel por nivel, hasta la profundidad máxima establecida.
Las URLs de inicio también deben figurar en las Direcciones a incluir: de lo contrario, el crawler se inicia, pero no navega ni siquiera la página de inicio y no recopila ningún enlace.
Por lo tanto, una página solo es accesible si su enlace aparece en una página que el crawler ha navegado. Del mismo modo, una página solo puede convertirse a PDF en la fase de Extracción si su URL se ha recopilado durante la navegación.
Ejemplo — jerarquía de páginas:
ejemplo.com/sitemap ← URL de inicio
└── ejemplo.com/products ← hija: enlazada en el sitemap
└── ejemplo.com/products/algho ← nieta: enlazada solo en /products
Se quiere extraer la página ejemplo.com/products/algho, que no aparece en el sitemap y solo está enlazada en la página ejemplo.com/products:
- Si las Direcciones a incluir contienen solo
https://ejemplo.com/sitemapyhttps://ejemplo.com/products/algho, el crawler nunca llega a la página: desde el sitemap encuentra el enlace a/products, pero no lo navega y, por lo tanto, no recopila sus enlaces. - Si las Direcciones a incluir contienen también
https://ejemplo.com/products, el crawler navega/products, recopila el enlace a/products/alghoy la página queda disponible para la extracción.
Como alternativa, ejemplo.com/products o ejemplo.com/products/algho pueden introducirse directamente en las Páginas adicionales de la sección General, recordando añadirlas también a las Direcciones a incluir.
Active la opción Excluir sitios fuera del dominio para limitar la navegación solo a los enlaces internos del dominio principal.
Active la opción Incluir documentos PDF, doc, docx si también desea navegar por los documentos adjuntos a las páginas web.
En el campo Direcciones a incluir, introduzca la lista de páginas del sitio a navegar.
En el campo Direcciones a excluir, introduzca la lista de páginas del sitio a no navegar.
Ambos campos aceptan expresiones regulares (regex) para definir patrones de URL. Antes de crear regex, es útil analizar la estructura de paths del sitio: los segmentos del path revelan la categorización de las páginas.
Ejemplo — estructura de un sitio:
ejemplo.com/use-cases
ejemplo.com/products/algho
ejemplo.com/products/sda
ejemplo.com/products/booking
ejemplo.com/products/pricing
ejemplo.com/blog/first-post
ejemplo.com/docs/getting-started
ejemplo.com/docs/getting-started-api
ejemplo.com/about
ejemplo.com/contact
Tipos de patrones principales:
| Patrón | Ejemplo | URLs coincidentes |
|---|---|---|
| Coincidencia exacta | https://ejemplo.com/use-cases | https://ejemplo.com/use-cases |
| Alternancia | https://ejemplo.com/products/((algho)|(sda)|(booking)) | ejemplo.com/products/algho, ejemplo.com/products/sda, ejemplo.com/products/booking |
Comodín con .* | https://ejemplo.com/products/.* | ejemplo.com/products/algho, ejemplo.com/products/sda, ejemplo.com/products/booking, ejemplo.com/products/pricing |
| Prefijo compartido | https://ejemplo.com/docs/getting-.* | ejemplo.com/docs/getting-started, ejemplo.com/docs/getting-started-api |
La estructura de cada regex sigue el esquema: https://[dominio]/[segmento1]/[segmento2]/...
| Componente | Significado |
|---|---|
https:// | Protocolo HTTP o HTTPS |
dominio | Nombre de dominio |
.* | Cualquier texto (comodín genérico) |
(a|b|c) | Alternancia: uno de a, b o c |
Una regex debe probarse contra el conjunto total de URLs del sitio, no solo contra las páginas conocidas. Esto revela los falsos positivos: páginas no deseadas que la regex captura de todos modos.
Por ejemplo, https://ejemplo.com/products/.* captura tanto products/algho (deseado) como products/pricing (falso positivo). Si pricing no es deseado, el patrón con alternancia es preferible.
Principios para elegir la mejor regex:
- Preferir la simplicidad: una regex corta y legible es mejor que una compleja.
- Siempre probar contra el crawl completo: una regex que funciona solo en las páginas conocidas no es fiable.
- Evitar regex demasiado genéricas:
https?://.*captura todo el sitio, lo cual no es útil. - Considerar el crecimiento futuro: un comodín en una categoría también capturará las páginas añadidas después de definir la regla.
Establezca la profundidad máxima y el número máximo de páginas a navegar.
Extracción
En la sección Extracción se configuran las reglas que el Crawler seguirá para transformar las páginas web en documentación.
En el campo Filtro de direcciones a incluir, introduzca la lista de páginas a extraer y convertir en documentación.
Ambos campos aceptan las mismas expresiones regulares descritas en la sección Navegación. Las páginas a extraer pueden coincidir con las páginas a navegar o representar un subconjunto específico.
Una página solo puede extraerse si su URL se ha recopilado durante la fase de navegación. Asegúrese de que las Direcciones a incluir de la sección Navegación cubran todas las páginas de interés.
En el campo Filtro de direcciones a excluir, introduzca la lista de páginas a no extraer.
Eliminar elementos de la página
Antes de convertir una página a PDF, el crawler ya realiza una limpieza básica de los contenidos. Sin embargo, cada sitio tiene una estructura diferente y puede contener elementos no útiles para la documentación, como menús, banners, pies de página o avisos de cookies. El campo Eliminar elementos permite una limpieza más precisa: los elementos indicados se eliminan de la página antes de generar el PDF.
El campo propone algunos selectores predefinidos y también acepta selectores introducidos manualmente, en formato CSS, XPATH o compatible con Puppeteer.
Los selectores CSS más utilizados son:
| Tipo | Sintaxis | Ejemplo | Elementos eliminados |
|---|---|---|---|
| Clase | . + nombre de la clase | .cookie-banner | Todos los elementos con class="cookie-banner" |
| ID | # + id | #newsletter | El elemento con id="newsletter" |
| Elemento HTML | nombre del elemento | header, footer, nav | Todos los elementos de ese tipo |
Para identificar las clases y los id a eliminar, abra la página en el navegador, haga clic con el botón derecho sobre el elemento y seleccione Inspeccionar: el código HTML resaltado muestra los atributos class e id del elemento.
Si un elemento tiene varias clases, basta con indicar una sola. Por ejemplo, para un menú con class="sidebar menu-laterale" es suficiente el selector .menu-laterale.
La eliminación se aplica a todas las páginas extraídas por el crawler. Por ello, es buena práctica indicar sobre todo los elementos comunes a todo el sitio: si un menú lateral identificado por la clase .menu-laterale aparece en todas las páginas, basta con introducir el selector una sola vez para eliminarlo en todas partes. Los elementos presentes solo en algunas páginas, en cambio, deben identificarse y añadirse individualmente.
Evite selectores demasiado genéricos como div: un elemento tan común está presente en casi toda la página y su eliminación borraría también los contenidos a extraer.
El crawler ya realiza una limpieza preliminar de la página: introducir manualmente los elementos a eliminar no es obligatorio, pero se recomienda sobre todo para sitios más antiguos o con diseños particulares.
Planificación
Seleccione Habilitar planificación y establezca la frecuencia de ejecución del Crawler (semanal o mensual), configure el día y la hora de inicio; es posible establecer múltiples días de la semana o del mes para la ejecución repetida.
Visualización de documentos
Para verificar los documentos PDF generados por el crawler, vuelva a la subcarpeta en Smart Document Access.
La lista de documentos indexados estará disponible en la sección dedicada a la subcarpeta configurada.
Cada documento tiene asociado como Archivo fuente la URL desde la cual se generó el documento.
