Phần mềm
Tạo môi trường ảo venv trên MacOS để chạy python
Việc chạy python trong môi trường ảo giúp cô lập không ảnh hưởng đến MacOS cũng như cho phép tạo nhiều môi trườn cho các mục đích khác nhau.
Dưới đây là ví dụ tạo môi trường để làm việc với python. Dựa theo cách này có thể lưu sẵn nhiều script python cho các công việc hay dùng. Rất tiện.
1. Tạo thư mục làm việc
Hiện mình đang dùng thư mục này:
drvdt@MacBook-Pro PYTHON % pwd/Users/drvdt/DEV/PYTHON
Các dự án/công việc khác có thể để ở thư mục khác, và tạo môi trường phù hợp.
Đây là ví dụ một số script mình hay dùng:
Thêm mật khẩu cho proxy
Do crawl PC có thể bị thay đổi IP nên việc kiểm soát từ máy chủ vào tinyproxy khó khăn nếu chỉ dựa vào IP.
{Nếu không kiểm soát có thể bị lợi dụng}
Do đó nên đặt pass.
1. Cấu hình BasicAuth trong Tinyproxy
Mở file cấu hình:
- Xem thêm bài viết Thêm mật khẩu cho proxy
- Đăng nhập để gửi ý kiến
Lấy danh sách bài viết trong Windows
Linux trỉ phù hợp khi không bị chặn bot bằng Captcha hay Cloudflare.
Nếu bị chặn, bạn cần làm trên windows, chrome thật.
Bước 1. Tạo môi trường ảo myenv
Việc này là cần thiết khi có nhiều luồn crawl và không muốn các luồng ảnh hưởng nhau cũng như ảnh hưởng đến windows gốc.
--> Mỗi dự án/mỗi luồng crawl nên có 1 myenvy riêng để trong chính thư mục luồng crawl đó.
Tham khảo:
Cài đặt môi trường ảo trong windows
Mục đích: tạo môi trường ảo để cài python, các thư viện để chạy crawl.
🧩 1️⃣ Mở Command Prompt
(chạy dưới quyền Administrator cũng được, không bắt buộc)
Rồi gõ từng dòng sau:
Tự động lấy bài - đăng tin
Hoạt động tự động này là hoạt động khá phức tạp. Kiên quan đến nhiều hoạt động.
Cách tiếp cận: hãy bắt đầu bằng đích đến --> mò lại đầu vào!
Có vẻ hơi ngược, nhưng nguyên tắc này rất quan trọng. Hoặc quan trọng với mình.
- Xem thêm bài viết Tự động lấy bài - đăng tin
- Đăng nhập để gửi ý kiến
Ngăn wsl tự tắt và proxy luôn luôn live khi có điện
A. NGĂN WSL TỰ TẮT
Tham khảo: Giữ WSL luôn khởi động, luôn bật
Mức độ bảo mật của phương pháp này Tailscale - WSL - Tinyproxy
1. Tailscale hoạt động như một mạng riêng ảo (VPN mesh)
Khi bạn cài Tailscale, nó gắn mỗi máy một IP 100.x.x.x riêng.
Tất cả các máy đăng nhập cùng 1 tài khoản / cùng 1 tailnet sẽ:
Cài đặt WSL để dùng Linux trong Windows
Quá nhiều thứ khiến chúng ta phụ thuộc vào Linux. Nếu dùng Windows sẽ bị bó tay chân rất nhiều. Docker cũng hay nhưng khá cồng kềnh, và vẫn không thấy thực sự ổn định/nhẹ/âm thầm.
Cách cài rất đơn giản:
🧩 1. Kiểm tra phiên bản Windows
Nhấn Start → gõ “cmd” → mở Command Prompt → chạy:
Tạo proxy trên máy Windows: Tinyproxy trong WSL trong mạng nội bộ không có IP tĩnh (khó nhất)
Tình huống là:
- Máy Windows 10 home
- Trong mạng LAN có IP tĩnh hoặc không
- Mạng LAN kết nối ra bên ngoài có IP tĩnh hoặc không
Đây có lẽ là tình huống khó nhất để tạo proxy. Cũng đắt giá, vì proxy thường là "động" một cách tự nhiên.
Sơ đồ:
Crawl PC (Windows) -Tailscale - PC proxy (Windows) - WSL - Tinyproxy - ra mạng bên ngoài
Do khá nằng nhằng lên tốc độ có thể giảm 2-20%
A. TRÊN MÁY PC PROXY (WINDOWS)
Bước 1. Cài https://tailscale.com
Tải về và cài như bình thường