Semalam aku terkejut sebab file yang aku pernah buat dulu hilang begitu sahaja. Secara jujur, aku tak nak tuduh siapa-siapa sebab kan tak elok nak tuduh siapa-siapa tanpa bukti. Tak kan aku nak tuduh Brother ni, memang tak lah sebab brother ni buat cerita pasal sitemap dan aku buat cerita robots.txt. Walaupun ianya dekat-dekat, aku tak fikir dia yang amik dan buat santapan untuk hari raya nanti.
Bagi aku, ada 2 cara untuk buat robots.txt ni. Cara pertama korang boleh buat secara manual dan yang ke-dua korang boleh guna plugin. Yang guna plugin aku tak sarankan sebab kalau korang guna plugin, korang tak tau kemana dan dimana perlu letakanya file tu. Kalau korang guna cara manual, bolehlah korang buka Cpanel korang yang dah bersawang tu disamping korang tahu dimana korang letak file tu.
Untuk cara manual ni, korang perlu ada notepad. Kalau tak de notepad, korang boleh sedekah komputer/laptop korang dekat aku nak korang pergi beli baru yang ada notepad. Dah buka notepad? korang salin dan cetak apa yang aku kongsikan ni dekat notepad korang tu.
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /category Disallow: /tag Disallow: /author Disallow: /trackback Disallow: /*trackback Disallow: /*trackback* Disallow: /*/trackback Disallow: /*?* Disallow: /*.html/$ Disallow: /*feed*
Kalau korang nak buat penambah folder bagi spider/bot search engine tidak crawl isi blog korang, korang boleh je tambah. Contoh :
Disallow: /images/
Dah salin dan cetak semula? sekarang ni step yang paling penting untuk korang lakukan iaitu korang simpan dengan nama robots save as dia text document (.txt). Kalau korang nak simpan dengan nama awek korang atau awek kawan korang pun boleh sebenarnya, tapi meh bagi aku sepak sekali dulu baru korang boleh simpan. hehe. (jangan lupa huruf ‘s’ ye, robots)
Kalau dah simpan tu, apa lagi, gi upload ke root public_html. Tak jumpa web root tu? Kalau tak jumpa tu, ada something wrong la dengan blog korang, hehe. Lepas upload tu, selesai sudah kerja korang. Tinggal tunggu anak-anak search engine buat kerja je. =)
Note :
User-agent = Search Engine.
allow = Anak search engine akan crawl
disallow = Anak search engine akan buat tak tau je.
Korang boleh gak guna Robots Generator untuk buat robots.txt pun boleh dan jangan lupa tekan WordPress untuk pengguna WordPress. Jangan lupa untuk tukar link sitemap tu ye. Selamat mencuba.
P/s : Ada yang kata boleh buat guna Google Webmaster Tools, tapi aku tak jumpa. Kalau korang jumpa, boleh kongsikan tak.
Gambar – PgWebdesign.net
agak sama jugak macam blogspot ye
Man,aku dah masukkan dalam server..cuma aku tak tau satu jer..nk tukar link sitemap kat mana?
lau guna robotsgenerator.com tu, ada dekat bahagian bawah sekali tu.
google webmaster tu utk check google bot leh crawl ke x kat certain direktori..huhu..
die ttp akan fetch robot yg kita buat juga..
Pingback: 10 entri terbaik Denaihati | Sukacuka.com