Strumenti per acquisire e convertire il Web

API Web Scraper di GrabzIt, Data as a Service!

Tramite l'API Web Scraper di GrabzIt siamo in grado di fornire alla tua applicazione dati scartati come un servizio web che ti consente di integrate ha recuperato le informazioni into la tua applicazione. Il integrazione dei dati into l'applicazione viene ottenuta tramite un gestore di callback, che è uno script o un'applicazione su un URL accessibile pubblicamente che elabora i dati inviati da GrabzIt's Web Scraper. I file completi vengono inviati in sequenza a questo gestore di callback, quindi ad esempio potrebbe iniziare con una serie di immagini prima di terminare con un JSON file, i dati nel file JSON potrebbero quindi essere facilmente analizzati utilizzando i metodi di supporto nella libreria client. Questa API consente inoltre all'applicazione di controllare automaticamente l'avvio e l'arresto degli scrap, oltre a richiedere l'invio di risultati.

Per iniziare per primo creare una raschiatura quindi scegliere Opzione URL di richiamata dalla scheda Opzioni di esportazione e inserisci l'URL del gestore di callback, ad es http://www.example.com/handler/

In caso di problemi con il gestore di callback, selezionare la modalità Debug dalla scheda Opzioni di raschiatura. Ciò genererà la risposta restituita dal gestore di callback into i registri.

Gestore di richiamata

Per elaborare i dati di scarto all'interno del gestore di callback, selezionare le opzioni JSON o XML nella scheda Esporta in quanto restituiscono i dati in un formato che può essere facilmente letto da qualsiasi linguaggio orientato agli oggetti.

Per i dati che non sono JSON o XML, le opzioni di elaborazione sono limitate in quanto i dati non sono molto leggibili dalla macchina, quindi l'opzione migliore potrebbe essere quella di save il file su disco o in un database.

Per aiutare il intprocesso di egrazione GrabzIt fornisce le seguenti API di raschietto per le lingue seguenti. Tuttavia, poiché il nostro codice è open source e disponibile su GitHub non c'è motivo per cui non puoi crearne uno per un linguaggio di programmazione non elencato qui o puoi chiedercelo crea una libreria per te. Se lo fai, perché non condividerlo con il mondo?

API Scraper ASP.NET API Scraper PHP API Python Scraper

Mentre il gestore di callback è il modo migliore per avvicinarsi integrando il raschietto web di GrabzIt con la tua applicazione puoi anche integrate via Amazon S3, Dropbox, FTP e WebDav.