Find Jobs
Hire Freelancers

Scrapy, find and fix a bottleneck: low throughput

€6-12 EUR / hour

Dibatalkan
Dibuat lebih dari 4 tahun yang lalu

€6-12 EUR / hour

READ DESCRIPTION: The scraper is based on Scrapy and it's almost complete, we are scraping products from AMZ (Italy at the moment) but we are struggling with overall requests throughout. We are using backconnect rotating proxies from 2 vendors and we have about 150 threads but we are able to scrape only 1/2 URLs per second, in addition we can use more threads/proxies with TOR but the speed is the same.
ID Proyek: 21115494

Tentang proyek

2 proposal
Proyek remot
Aktif 5 tahun yang lalu

Ingin menghasilkan uang?

Keuntungan menawar di Freelancer

Tentukan anggaran dan garis waktu Anda
Dapatkan bayaran atas pekerjaan Anda
Uraikan proposal Anda
Gratis mendaftar dan menawar pekerjaan

Tentang klien

Bendera ITALY
Cagli, Italy
4,9
12
Memverifikasi Metode pembayaran
Anggota sejak Okt 30, 2013

Verifikasi Klien

Terima kasih! Kami telah mengirim Anda email untuk mengklaim kredit gratis Anda.
Anda sesuatu yang salah saat mengirimkan Anda email. Silakan coba lagi.
Pengguna Terdaftar Total Pekerjaan Terpasang
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Memuat pratinjau
Izin diberikan untuk Geolokasi.
Sesi login Anda telah kedaluwarsa dan Anda sudah keluar. Silakan login kembali.