Phần mềm

A. NGĂN WSL TỰ TẮT

Tham khảo: Giữ WSL luôn khởi động, luôn bật

1. Tailscale hoạt động như một mạng riêng ảo (VPN mesh)

• Khi bạn cài Tailscale, nó gắn mỗi máy một IP 100.x.x.x riêng.

• Tất cả các máy đăng nhập cùng 1 tài khoản / cùng 1 tailnet sẽ:

Quá nhiều thứ khiến chúng ta phụ thuộc vào Linux. Nếu dùng Windows sẽ bị bó tay chân rất nhiều. Docker cũng hay nhưng khá cồng kềnh, và vẫn không thấy thực sự ổn định/nhẹ/âm thầm.

Cách cài rất đơn giản:

🧩 1. Kiểm tra phiên bản Windows

Nhấn Start → gõ “cmd” → mở Command Prompt → chạy:

Tình huống là:

• Máy Windows 10 home
• Trong mạng LAN có IP tĩnh hoặc không
• Mạng LAN kết nối ra bên ngoài có IP tĩnh hoặc không

Đây có lẽ là tình huống khó nhất để tạo proxy. Cũng đắt giá, vì proxy thường là "động" một cách tự nhiên.

Sơ đồ:

Crawl PC (Windows) -Tailscale - PC proxy (Windows) - WSL - Tinyproxy - ra mạng bên ngoài

Do khá nằng nhằng lên tốc độ có thể giảm 2-20%

A. TRÊN MÁY PC PROXY (WINDOWS)

Bước 1. Cài https://tailscale.com

Tải về và cài như bình thường

Chúng ta đã thực hiện xong luồng thứ nhất:

Bước 1. Lấy danh sách

Bước 2. Lấy từng content theo danh sách. Bước 2* là crawl trong Windows.

Với các trang chống bot phức tạp, hay cần đăng nhập thay vì dùng cookies có thể dùng trình duyệt thật trên Windows thay vì dùng Linux.

Bây giờ chúng ta qua luống crawl khác, luồng này mình ưu tiên dùng Windows và dùng proxy. Đây là cách chắc chắn nhất để khi mới tiếp cận, thời gian ít chúng ta có thể vận dụng ngay (Bước 2*).

Nếu thực hiện đúng các hướng dẫn trên, thì gặp các vấn đề sẽ rất ít. Ví dụ chặn bot, cần đăng nhập, cần cookies,...

1. Vấn đề đau đầu nhất là khi crawl lần đầu, danh sách lớn. Và có thể bị dừng hoặc có thể có một vài lỗi khiến một số link không tải được. Và script vượt qua, làm link mới. Hoặc có khi không tải đủ số files, loại files. Việc theo vết thủ công là bất khả thi.

Giải pháp: viết script để:

Thường cần dùng đến nếu site có sử dụng CloudFlare để chống bot (mình là bot mà). Do đó cần:

• Trình duyệt thật
• Ưu tiên windows
• Có thể cần vượt qua captcha được (cần trình duyệt mở lên thật để thao tác)
• Có một lợi thế quan trọng là không cần phải truyền cookies vào do mình dùng trình duyệt thật. Nên chỉ cần dãn cách thời gian crawl thì gần như không có cách nào mà chúng ta bị chặn.

Dưới đây hướng dẫn cả các cài đặt môi trường đến script ví dụ.