Smart Document Crawler
All’interno di Smart Document Access, è possibile configurare il crawler per l’indicizzazione dei contenuti di un sito web.
Il crawler opera in tre fasi distinte: una prima fase di navigazione dei link, che mappa la struttura del sito, una seconda fase di estrazione dei contenuti, che identifica i contenuti utili, e una terza fase di conversione in PDF, che genera i documenti indicizzati.
1. Navigazione dei link
Il crawler segue i link interni del sito e ne mappa la struttura, senza estrarre contenuti.
2. Estrazione dei contenuti
Le pagine navigate vengono analizzate per identificare i contenuti utili.
3. Conversione in PDF
I contenuti estratti vengono convertiti in documenti PDF indicizzati. Se una pagina non contiene contenuti estraibili, non viene generato alcun documento.
Una pagina può essere estratta solo se è stata visitata durante la fase di navigazione. Assicurarsi che gli Indirizzi da includere nella sezione Navigazione coprano tutte le pagine di interesse.
Attivazione e creazione della struttura
All’interno di una sottocartella già creata, selezionare l’opzione Configura Smart Crawler.
Attivare la spunta Abilita su sottocartella
Selezionare Aggiungi configurazione
Assegnare un nome alla configurazione e selezionare Salva.
In questa fase è possibile importare configurazioni precedentemente scaricate oppure scaricare quelle già presenti.
Impostare il Crawler
Selezionando Modifica campi si accede alla configurazione del Crawler.
Generale
Inserire l’URL di partenza del sito nel campo Indirizzo.
Inserire altri URL in Pagine aggiuntive se necessario.
Navigazione
Abilitare l’opzione Escludi i siti fuori dal dominio per limitare la navigazione ai soli link interni al dominio principale.
Abilitare l’opzione Includi documenti PDF, doc, docx se si vogliono navigare anche i documenti allegati alle pagine web.
Nel campo Indirizzi da includere inserire l’elenco delle pagine del sito da navigare.
Nel campo Indirizzi da escludere inserire l’elenco delle pagine del sito da non navigare.
Entrambi i campi accettano espressioni regolari (regex) per definire pattern di URL. Prima di creare le regex, è utile analizzare la struttura dei path del sito: i segmenti del path rivelano la categorizzazione delle pagine.
Esempio — struttura di un sito:
dominio.com/use-cases
dominio.com/products/algho
dominio.com/products/sda
dominio.com/products/booking
dominio.com/products/pricing
dominio.com/blog/first-post
dominio.com/docs/getting-started
dominio.com/docs/getting-started-api
dominio.com/about
dominio.com/contact
Tipi di pattern principali:
| Pattern | Esempio | URL match |
|---|---|---|
| Corrispondenza esatta | https://dominio.com/use-cases | https://dominio.com/use-cases |
| Alternazione | https://dominio.com/products/((algho)|(sda)|(booking)) | dominio.com/products/algho, dominio.com/products/sda, dominio.com/products/booking |
Wildcard con .* | https://dominio.com/products/.* | dominio.com/products/algho, dominio.com/products/sda, dominio.com/products/booking, dominio.com/products/pricing |
| Prefisso condiviso | https://dominio.com/docs/getting-.* | dominio.com/docs/getting-started, dominio.com/docs/getting-started-api |
La struttura di ogni regex segue lo schema: https://[dominio]/[segmento1]/[segmento2]/...
| Componente | Significato |
|---|---|
https:// | Protocollo HTTP o HTTPS |
dominio | Nome di dominio |
.* | Qualsiasi testo (wildcard generica) |
(a|b|c) | Alternazione: uno tra a, b o c |
Una regex va testata sull'intero insieme delle URL del sito, non solo sulle pagine note. Questo rivela i falsi positivi: pagine non desiderate che la regex cattura comunque.
Ad esempio, https://dominio.com/products/.* cattura sia products/algho (desiderato) sia products/pricing (falso positivo). Se pricing non è desiderato, è preferibile il pattern con alternazione.
Principi per scegliere la regex migliore:
- Preferire la semplicità: una regex breve e leggibile è meglio di una complessa.
- Testare sempre sull'intero crawl: una regex che funziona solo sulle pagine note non è affidabile.
- Evitare regex troppo generiche:
https?://.*cattura tutto il sito, che non è utile. - Considerare la crescita futura: una wildcard su una categoria catturerà anche le pagine aggiunte dopo la definizione della regola.
Impostare la profondità massima e il numero massimo di pagine da navigare.
Estrazione
Nella sezione Estrazione vengono configurate le regole che il Crawler seguirà per trasformare le pagine web in documentazione.
Nel campo Filtro indirizzi da includere inserire l’elenco delle pagine da estrarre e convertire in documentazione.
Entrambi i campi accettano le stesse espressioni regolari descritte nella sezione Navigazione. Le pagine da estrarre possono coincidere con le pagine da navigare oppure rappresentare un sottoinsieme specifico.
Nel campo Filtro indirizzi da escludere inserire l’elenco delle pagine da non estrarre.
Aggiungere gli elementi da rimuovere nel campo Rimuovi elementi.
Gli elementi da rimuovere prima dell’estrazione possono anche essere indicati manualmente, specificando un selettore CSS, XPATH o compatibile con Puppeteer.
Pianificazione
Selezionare Abilita pianificazione e stabilire la frequenza di esecuzione del Crawler (settimanale o mensile) e impostare il giorno e l’ora di partenza; è possibile impostare più giorni della settimana o del mese per l’esecuzione ripetuta.
Visualizzazione dei documenti
Per verificare i documenti PDF generati dal crawler, tornare all’interno della sottocartella in Smart Document Access.
L’elenco dei documenti indicizzati sarà disponibile nella sezione dedicata alla sottocartella configurata.
Ogni documento ha associato come File origine l’URL da cui è stato generato il documento.
