Beberapa Kesalahan Web Kita Dijauhi Robot Search Engine
Robots.txt adalah suatu file yang di berguna untuk memudahkan suatu search engine mengindex halaman web kita.
Jika search engine crawler datang di web kita, maka dia akan mencari file robots.txt dan memberitahukan search engine spider bahwa halaman web tersebut harus di index atau di abaikan.
Berikut beberapa kesalahan mengapa robot search engine menjauh di web kita :
1. Robots.txt rusak atau berisi parameter yang salah salah
Jika robot google salah membaca isi robots.txt anda, maka google akan mengabaikan halaman web anda.
Anda bisa mempelajari tata cara penulisan robots di http://www.robotstxt.org/
2. Halaman web anda mempunyai code terlalu panjang
Jika halaman web anda berisikan code javascript, CSS, Html dan lainnya yang terlalu banyak dan panjang, maka akan membuat web anda susah di akses ( lambat aksesnya).
Jika itu terjadi maka robot search engine akan kesulitan untuk mengurai isi web anda.
3. Navigasi menu web anda mempunyai masalah
Jika anda membuat menu yang menggunakan javascript,DHTML atau AJAX, maka menu tersebut tidak bisa di index oleh robot search engine.
karena robot search engine hanya bisa mengindex link yang menggunakan HTML.
4. URL website anda terlalu banyak variable
Jika url anda terlalu banyak variable, maka google juga akan mengabaikan halaman web anda.
Contoh URL yang terlalu banyak variable :
http://domain.com/page.php?page=1&id=2&mirror=3&direct=index.html
Pernyataan resmi dari search engine google :
“Google indexes dynamically generated webpages, including .asp pages, .php pages, and pages with question marks in their URLs. However, these pages can cause problems for our crawler and may be ignored.”
5. Menggunakan session ID di web anda
Search engine google tidak mau mengindex suatu URL yang berisikan session ID karena menyebabkan duplicate content.
Penggunaan cookies lebih baik dari pada menggunakan session ID
(2 votes, average: 5.00 out of 5)
Loading ...
December 30th, 2008 at 5:33 pm
untuk yang poin nomor 5 itu, gimana ya mas cara makai cookies? atau mengganti session id ke cookies
April 19th, 2009 at 1:25 am
iya, yang point no.5 saya kurang paham maksudnya, gimana ya?? gak ngerti… mohon diperjelas.
April 19th, 2009 at 3:56 am
contoh dari session ID terdapat pada URL seperti index.php?ID=d82ee98357295795d0ca9d0de0090d06 , jadi session pengunjung dimasukkan juga pada link URL
May 14th, 2009 at 5:47 pm
Gimana ya caranya biar web selalu di ada pengunjungnya????
May 15th, 2009 at 3:19 am
update web dengan rutin, melakukan promosi web, terus yang penting menulis konten yang menarik agar pengunjung betah mengunjungi web kita
July 26th, 2009 at 2:27 pm
nagus artikelnya mas
August 26th, 2009 at 8:12 pm
yup..
thanks mas informasinya
mesti hati-hati juga nih biar blog kita tidak di jauhi robot search engine….
October 17th, 2009 at 2:43 pm
wah mantap informasinya, thanks yaaa
May 10th, 2010 at 10:36 am
ga ngerti. mas tolong uraikan lagi dund?
May 21st, 2010 at 5:21 pm
sob izin kopas
January 19th, 2011 at 1:29 am
Java Script Ngaruh Ya
Klo Code HTML Gimana
January 20th, 2011 at 7:03 pm
“halaman web anda berisikan code javascript, CSS, Html dan lainnya yang terlalu banyak”
berarti waktu menambah widget, javascript harus dipisah-pisah?
BTW, kalo untuk yahoo apakah tips di atas juga berlaku ?
Thanx b4
January 30th, 2011 at 3:23 pm
kebanyakan robot search engine tidak dapat mengcrawler javascript, tetapi baru ini dpt info kl google mulai bisa mengcrawler javascript
June 1st, 2011 at 9:11 am
Aku mo nanya masalah crawl error penyebabnya apa ya ? Kalo aku cek blogku di Google Webmaster ada 14 crawl error. Apakah karena disebabkan ada kesalahan pada robots text ?
June 5th, 2011 at 1:40 pm
penyebab nya sangat banyak, anda kan bisa lihat di google webmaster penyebabnya apa seperti karena halaman “not found” atau lainnya.