Strumenti per acquisire e convertire il Web

Creazione di schermate di pagine Web il più velocemente possibile

21 settembre 2015

Recentemente abbiamo completato una serie di miglioramenti ai nostri servizi per rendere la creazione il più veloce possibile screenshot della pagina web, esegui uno scrap o crea una GIF animata, ecc.

Innanzitutto abbiamo analizzato il nostro hardware e apportato diverse modifiche che hanno velocizzato notevolmente i tempi di generazione degli screenshot. Il primo cambiamento è stato il passaggio a MongoDB utilizzando WiredTiger come motore di database, il che ha migliorato notevolmente i tempi di risposta del nostro database.

Successivamente siamo migrati in un nuovo data center, che utilizza dischi rigidi SSD e doppie connessioni di rete che sono 100 volte più veloci dei nostri server precedenti. Ciò significa che i nostri clienti ottengono prestazioni molto migliori e più costanti anche con carichi pesanti.

Infine abbiamo analizzato il nostro software personalizzato e implementato una tecnica di memorizzazione nella cache più rapida che ci consente di memorizzare nella cache i contenuti Web, come immagini e JavaScript senza influire sulla velocità di generazione degli screenshot. Ora blocchiamo automaticamente anche molti servizi di analisi web di terze parti per ridurre il numero di richieste web necessarie per acquisire uno screenshot. Tutto ciò ha ridotto il tempo necessario per generare uno screenshot fino al 50%.

Visualizza gli ultimi post del blog