ThaiAdsense

ใช้ text browser เช่น Lynx เพื่อทดสอบเวบคุณ, เพราะพวก Search engine spiders ส่วนใหญ่จะเห็นเวบของคุณ เหมือน ๆ กับที่ Lynx เห็น. ถ้ามีรูปแบบแปลก ๆ เช่น JavaScript, cookies, session IDs, frames, DHTML, หรือ Flash บนเวบ อาจจะเป็นปัญหาในการ crawling (เข้ามาตรวจหน้าเวบ) ของ Search Engine spider ได้

อนุญาติให้ search bots เข้ามาตรวจหน้าเวบคุณได้โดยปราศจาก session IDs หรือ ข้อโต้แย้งใด ๆ , เทคนิคนี้เป็นประโยชน์มากที่จะตรวจดูลักษณะการเข้าเยี่ยมชมของผู้ใช้งานเป็นรายบุคคล.แต่การเข้ามาตรวจของ bots มันแตกต่างกัน. ใช้วิธีนี้อาจเป็นผลให้การ Index web ของคุณไม่สมบูรณ์ได้. เพราะ bot ไม่สามารถจำกัด URLs ที่ดูแตกต่าง แต่จริง ๆ แล้วมันไปยังหน้าเวบเดียวกันได้ (ข้อนี้งง ๆ อ่ะ)

web server ต้อง supports If-Modified-Since HTTP header.ลักษณะนี้ทำให้ web server ของคุณบอก google ได้ว่า เนื้อหาของเวบคุณเปลี่ยนไปจากการมา crawled ครั้งที่แล้วตรงไหนมั่ง
การ Support นี้จะช่วยให้คุณ save bandwidth and overhead.

ใช้ robots.txt file บน web server ของคุณ.file นี้จะบอก crawlers ว่า จะให้ตรวจช่องไหน และไม่ให้ตรวจช่องไหนมั่ง. ยังไงก็ระวังจะไป block Googlebot crawler โดยไม่ได้ตั้งใจด้วย ไปลิงค์นี้http://www.robotstxt.org/wc/faq.html เพื่อเรียนรู้ว่าจะบอก robots ยังไงเมื่อมันมาเยี่ยมเวบคุณ

ถ้าบริษัทคุณซื้อระบบการจัดการเนื้อหาบนเวบ, ต้องดูด้วยว่าจะสามารถ export เนื้อหาเหล่านั้นได้ search engine spiders ถึงจะ crawl เวบคุณได้

ห้ามใช้ "&id=" เป็น parameter ใน URLs ของคุณ, เพราะเราจะไม่รวมหน้านี้เข้าไว้ใน index