wget ile Web Sitesi Kopyalama

Linux un en sevdigim komutlarından birisi “wget” komutudur. Çok basit anlamda Linux console da dosya çekmek için kullanılan wget ‘in o kadar çok parametresi vardır ki ezberlenemiz mümkün değildir.

En basit kullanımıyla bir tek dosya indirmek için:


# wget http://xxx.com/dosya.zip


Eğer bir sitenin komple kopyasını almak isterseniz, çok sayıda parametre ve seçenekleriniz vardır :


# wget --recursive \
--no-clobber \
--page-requisites \
--html-extension \
--convert-links \
--domains website.org
website.org


Parametrelere kısaca bakarsak:

–recursive : Alt linkleri de kopyalamasını söyler. Böylece bütün siteyi kopyalarsınız

–domains website.org: website.org dışında bağlantıları takip etme
(recursive dediğimiz için alt linkleri takip edecekti )

–page-requisites: css, resimler ve javascript gibi site icin gerekli ne varsa indir
( bütün siteyi indirmek istediğimiz için bu çok önemli )

–html-extension: dosyaları .html uzantili kaydet
(indirdiğiniz site büyük ihtimal php yada asp olabilir. linklerdeki dosya uzantılarını .html olarak değiştiriyoruz ki sitemiz statik olarak açılabilsin.)

–convert-links: linkleri offline yani kendi bilgisayarınızda çalıştırabilmeniz için değiştirir.
(örneğin; http://website.org/test/deneme.php seklinde bir link /test/deneme.html şekline çevrilir. — uzantı html-extension parametresi yüzünden değişti )

–no-clobber: tekrarlayan linkler için aynı dosyayı defalarda almasın diyoruz

Bunun dışında iki önemli parametre vardır, bunlara da gerek duyulabilir :


# wget --recursive \
--no-clobber \
--page-requisites \
--html-extension \
--convert-links \
--restrict-file-names=windows \
--domains website.org \
--no-parent \
www.website.org/tutorials/html/


–no-parent: /tutorials/html/ dizini dışında ki linkleri takip etme. Yani www.website.org/tutorials/ ve kök dizin www.website.org altında yer alan dosyaları indirme diyoruz.

–restrict-file-names=windows : dosya adllarını windows da çalışacak sekilde değiştirir. eğer kopyaladığınız siteye Windows makinaan bakacaksanız bu parametreye gerek olabilir.

Aklınıza yanlış bir kafiye gelmesin, sadece öğrenmek için kullanınız… 🙂