[Feri Sulianta] Yuk belajar lagi teknik SEO yang akan melambungkan brand dan visibilitas webste kamu di internet. Hal penting yang tidak boleh kamu sepelekan adalah memberi akses bagi mesin pencari untuk mengindeks website kamu. Dengan demikian, kamu wajib untuk memberikan akses bagi Robot atau Spider web untuk menjelajah ke website.

Umumnya web secara default mengijinkan robot atau spider web untuk melakukan proses jelajah pada website. Pengaturan tersebt dilakukan pada file robot.txt. Misalnya jika menggunakan CMS Wordpress sbb:
MengaksesSEO pada Dashboard
Mengakses Konten pada textbox ‘Robot.txt’

konten pada robot.txt umumnya seperti ini:

User-Agent: *

Allow: /

Sitemap: http://www.ferisulianta.com/sitemap.xml

Crawl-delay: 10


Pengertian dari pernyataan diatas: memperbolehkan spider web apapun untuk melakukan proses jelajah halaman web. Sedangkan pernyataan berikut justru melarang spider web untuk menjelajah halaman web:

User-agent: *

Disallow: /

User-agent: Googlebot

Allow: /

Pengaturan robot ini dapat diakses pula via antarmuka grafis bergantung pada dukungan dan fitur padaCMS (Content Management System), misalnya dipercontohkan pada CMS Blogspot sbb:
Pemilik hak cipta
Selanjutnya tunggu saja saat si robot spider ini menjelajah website kamu, mengindeksnya dan menampilkan konten atau website kamu dalam database pencarian google.