Strumenti per acquisire e convertire il Web

Creazione di schermate di pagine Web il più velocemente possibile

Lunedì, settembre 21, 2015

Di recente abbiamo terminato una serie di miglioramenti ai nostri servizi per renderlo il più veloce possibile da creare schermate di pagine Web, esegui uno scrap o crea una GIF animata ecc.

Innanzitutto abbiamo analizzato il nostro hardware e apportato diverse modifiche che hanno notevolmente accelerato i tempi di generazione degli screenshot. Il primo cambiamento è stato quello di passare a MongoDB usando WiredTiger come motore di database, che ha migliorato notevolmente i tempi di risposta del database.

Successivamente siamo passati a un nuovo data center, che utilizza dischi rigidi SSD e connessioni a doppia rete che sono 100 volte più veloci dei nostri server precedenti. Ciò significa che i nostri clienti ottengono prestazioni molto migliori e più coerenti anche con carichi pesanti.

Infine, abbiamo analizzato il nostro software personalizzato e implementato una tecnica di memorizzazione nella cache più rapida che ci consente di memorizzare nella cache contenuti Web, come immagini e JavaScript, senza influire sulla velocità di generazione degli screenshot. Ora blocchiamo anche automaticamente molti servizi di analisi web di terze parti per ridurre il numero di richieste Web richieste per acquisire uno screenshot. Tutto ciò, ha ridotto il tempo necessario per generare uno screenshot di 50%.

Visualizza gli ultimi post del blog