Detaylar ve Hata yönetimi
Hata Yönetimi Stratejisi
Sistem, scraper dünyasındaki değişkenliklere karşı dirençli olacak şekilde tasarlanmıştır:
| Hata Kodu | Senaryo |
|---|---|
blocked_or_captcha |
Motor engeli veya bot koruması. |
timeout_error |
Yanıt süresinin aşılması (Varsayılan 12s). |
network_error |
Bağlantı problemleri. |
Çözüm Yolları:
- Graceful Degradation: Bir motor hata verse dahi diğerlerinden gelen sonuçlar kullanıcıya iletilir.
- Otomatik Yeniden Deneme: Geçici hatalarda istek tekrarlanır.
- Health Monitoring: Hata veren motorlar sistem tarafından izlenir ve
/statussayfasında raporlanır.
Performans Optimizasyonu
- Önbellek: LRU (Least Recently Used) algoritması ile sık sorulan sorular hızla yanıtlanır.
- Bellek Yönetimi: Node.js stream processing ve çöp toplama (GC) optimizasyonları ile düşük kaynak tüketimi sağlanır.
- Concurrency: Motorlara yapılan istekler, hedef sunucuyu yormayacak şekilde kuyruğa alınır.