Tương tự như Bước 2*. Tải về từng liên kết trong danh sách sử dụng Windows nhưng sẽ thêm proxy để chạy với luồng crawl khác.
Thêm proxy, Web nguồn (chủ yếu là CloudFlare) sẽ nghĩ là 2 máy khác nhau. Sẽ hạn chế nguy cơ chặn bot.
Việc tạo proxy cho mục đích đơn giản này có thể xem bài tham khảo bên dưới.
Ngoài proxy, lưu ý cần tạo profile chrome mới cho luồng crawl này.
Đây là script hoàn chỉnh: bổ sung proxy, dùng profile chrome khác.
- Đăng nhập để gửi ý kiến
Tham khảo thêm
Tạo proxy trên máy chủ có sẵn bằng Tinyproxy
Nhu cầu: Chỉ cần thêm vài proxy cho mục đích crawl hay vượt qua chống bot; Muốn ổn định, tin cậy, làm chủ hoàn toàn; Nói chung là chu cầu ít, đơn giản thì có thể tham khảo bài này. Nếu cần lượng lớn proxy để spam thì cân nhắc đi thuê, rất rẻ và linh hoạt.
