Studi kasus — 03
Pengarsip web berbasis Rust yang merayapi URL secara paralel, menulis arsip WARC, dan menandai rahasia serta endpoint API yang bocor.
Mengarsipkan situs untuk audit atau preservasi lebih dari sekadar unduhan rekursif. Situs modern dirender dengan JavaScript, dan hasilnya harus mengikuti standar yang bisa dibaca alat preservasi lain.
Task Tokio berjalan di bawah JoinSet dan Semaphore, sehingga banyak URL diproses sekaligus tanpa membebani mesin.
Halaman menjalankan JavaScript sebelum ditangkap, sehingga aplikasi single-page diarsipkan dengan konten yang benar-benar dilihat pengunjung.
Signature rahasia dan endpoint disimpan di berkas YAML, sehingga bisa diubah tanpa mengompilasi ulang.
Arsip mengikuti ISO 28500 (WARC) agar bisa dipakai bersama alat preservasi lain. Status perayapan disimpan di SQLite, sehingga eksekusi berikutnya berjalan inkremental.