การที่เว็บไซต์ของเราจะสามารถติดอันดับบน Google ได้ สิ่งสำคัญอันดับแรกคือการเข้าใจวิธีการทำงานของ Googlebot ซึ่งเป็นระบบที่ Google ใช้ในการ Crawl และนำข้อมูลไปจัดทำดัชนี (Index)
แม้ว่า Googlebot จะมีหลายส่วนที่เกี่ยวข้องกับการจัดอันดับ แต่ในบทความนี้เราจะโฟกัสเฉพาะเรื่อง File Size Limit ของหน้าเว็บไซต์ ซึ่งเป็นปัจจัยเชิงเทคนิคที่หลายคนมองข้าม
การทำงานของ Googlebot ในการอ่านหน้าเว็บ
ในการที่ Google จะสามารถนำหน้าเว็บไซต์ไปแสดงผลในหน้าค้นหาได้นั้น Googlebot จะมีขั้นตอนหลักในการประมวลผลข้อมูลอยู่ 2 ส่วน ได้แก่
- Crawling (การดึงข้อมูล HTML)
- Rendering (การประมวลผล JavaScript และ resource เพิ่มเติม)
ในขั้นตอนแรก Googlebot จะทำการโหลด HTML ของหน้าเว็บเพื่อทำความเข้าใจโครงสร้างและเนื้อหาเบื้องต้น ซึ่งข้อมูลในส่วนนี้จะถูกนำไปใช้ในการจัดทำดัชนี (Index) โดยตรง
ส่วนในขั้นตอนถัดไป (Rendering) Google จะทำการประมวลผล JavaScript และโหลด resource เพิ่มเติม เช่น CSS และ JS เพื่อให้เข้าใจหน้าเว็บในรูปแบบที่ใกล้เคียงกับผู้ใช้งานจริงมากขึ้น
ซึ่งในบทความนี้เราจะพูดถึงขั้นตอน Crawling เนื่องจากเป็นจุดเริ่มต้นที่สำคัญที่สุด หาก Googlebot ไม่สามารถ Crawl หน้าเว็บได้ หรือไม่สามารถเข้าถึงเนื้อหาสำคัญใน HTML ได้อย่างครบถ้วน หน้าเว็บนั้นจะไม่สามารถถูกนำไปจัดทำดัชนี (Index) ได้อย่างสมบูรณ์ และส่งผลโดยตรงต่อการจัดอันดับ (Ranking)
กล่าวอีกนัยหนึ่งคือ Crawling คือ “ประตูด่านแรก” ของ SEO หากผ่านไม่ได้ขั้นตอนถัดไปก็แทบไม่มีความหมาย