The Missing Piece
ตรวจเว็บฟรี

Robots.txt คืออะไร เขียนยังไงไม่ให้บล็อก Google ผิด (+ตัวอย่าง 2026)

Robots.txt คือไฟล์ที่บอก crawler อย่าง Googlebot ว่า URL ไหนเข้าได้ แต่ไม่ได้กันหน้าออกจาก Google บทความนี้อธิบายทุกคำสั่ง วิธีที่ Google เลือกกฎเมื่อกฎชนกัน ตัวอย่างไฟล์ 6 แบบ ความต่างจาก noindex และ X-Robots-Tag วิธีแก้สถานะ Blocked by robots.txt ใน Search Console และข้อมูลจริงจาก robots.txt ของเว็บไทยหน้า 1 Google 56 ไฟล์

ศิริพงษ์ กลิ่นขจร

เผยแพร่ 15 ต.ค. 2026 ·

อัปเดตล่าสุด 15 ต.ค. 2026

ปกบทความ Robots.txt คืออะไร เขียนยังไง พร้อมตัวอย่างและข้อมูลไทย 2026
Robots.txt คืออะไร เขียนยังไง พร้อมตัวอย่างและข้อมูลไทย 2026

สรุปสั้น (TL;DR)

Robots.txt คือไฟล์ข้อความที่วางไว้ที่รากของเว็บ (เช่น example.com/robots.txt) เพื่อบอก crawler อย่าง Googlebot ว่า URL ไหนเข้าได้ URL ไหนไม่ควรเข้า robots.txt คุมการ crawl ไม่ได้คุมการ index ถ้าอยากให้หน้าไม่ขึ้นใน Google ต้องใช้ noindex หรือรหัสผ่าน ไม่ใช่ Disallow

  • Google อ่านกลุ่มเดียว: ถ้ามีกลุ่ม User-agent: Googlebot แยก Googlebot จะใช้แค่กลุ่มนั้นและไม่สนกฎของ User-agent: * เลย ส่วนกฎที่ชนกันในกลุ่มเดียว path ที่ยาวกว่าชนะ ถ้ายาวเท่ากัน Allow ชนะ (สเปกของ Google อัปเดต 31 ส.ค. 2026)
  • ข้อมูลของเรา (ผลสังเกตเบื้องต้น 15 ต.ค. 2026): robots.txt ของเว็บธุรกิจไทยที่ติดหน้า 1 Google 56 ไฟล์ ไม่มีไฟล์ไหนบล็อก Googlebot ทั้งเว็บ แต่ราว 1 ใน 5 ไม่มีบรรทัด Sitemap: (19.6%) และใน 5 ไฟล์ที่ตั้งกลุ่ม Googlebot แยก มี 4 ไฟล์ที่ทำให้กฎของกลุ่ม * หลุด (ฐานเล็ก อ่านเป็นตัวอย่าง ไม่ใช่สัดส่วน)
  • ไฟล์ตอบ 500 อันตรายกว่าไม่มีไฟล์: ถ้า robots.txt ตอบ 404 Google ถือว่า crawl ได้ทุกหน้า แต่ถ้าตอบ 5xx Google จะหยุด crawl ทั้งเว็บ 12 ชั่วโมงแรก แล้วใช้ไฟล์เก่าที่เก็บไว้ต่ออีกได้ถึง 30 วัน

Robots.txt คืออะไร ทำหน้าที่อะไร

Robots.txt (หลายคนพิมพ์ว่า robot.txt) คือไฟล์ข้อความธรรมดาที่วางไว้ที่รากของเว็บ เพื่อบอก crawler (บอทที่ตามลิงก์ไปเก็บหน้าเว็บ เช่น Googlebot) ว่า URL ไหนเข้าได้ และ URL ไหนไม่ควรเข้า ไฟล์นี้เหมาะกับเจ้าของเว็บและคนดูแลเว็บที่อยากกันบอทไม่ให้เสียแรงกับส่วนที่ไม่จำเป็น เช่น หน้าค้นหาในเว็บหรือหน้าตะกร้าสินค้า กติกาของไฟล์มาจาก Robots Exclusion Protocol ซึ่งเป็นมาตรฐาน RFC 9309 (ก.ย. 2022) และ Google อธิบายวิธีอ่านไฟล์ของตัวเองไว้ในเอกสาร crawling ที่อัปเดตล่าสุด 31 ส.ค. 2026

robots.txt คุมการ crawl ไม่ได้คุมการ index ประโยคนี้คือเรื่องที่สำคัญที่สุดของทั้งบทความ เอกสาร Robots.txt Introduction and Guide ของ Google (อัปเดต 10 ธ.ค. 2025, มีฉบับภาษาไทย) เขียนตรงๆ ว่า robots.txt “not a mechanism for keeping a web page out of Google” คือไม่ใช่วิธีกันหน้าออกจาก Google เพราะ URL ที่ถูกบล็อกยังขึ้นผลค้นหาได้ถ้ามีลิงก์จากที่อื่นชี้มา เพียงแต่จะไม่มีคำอธิบายใต้ลิงก์

Google แยกผลของ robots.txt เป็น 3 แบบตามชนิดไฟล์:

  • หน้าเว็บ: ใช้จัดการภาระการ crawl
  • ไฟล์รูป วิดีโอ และเสียง: ใช้กันไม่ให้ขึ้นในผลค้นหาของ Google ได้
  • ไฟล์ประกอบหน้า (resource) อย่าง CSS หรือ JavaScript: บล็อกได้เฉพาะเมื่อหน้ายังแสดงผลถูกโดยไม่ต้องใช้ไฟล์นั้น

The Art of SEO บทที่ 7 วางกรอบเดียวกัน คือแยกเครื่องมือ “คุมการ crawl” (robots.txt) ออกจากเครื่องมือ “คุมการ index” (meta robots, canonical) และ AI SEO For Dummies บทที่ 2 ย้ำว่าไม่ใช่ทุกบอทที่ทำตาม robots.txt

แผนภาพบอทเดินมาที่เว็บ example.com แล้วเปิดไฟล์ robots.txt ก่อน ไฟล์แยกทางเป็นสองฝั่ง ฝั่งซ้ายเขียนว่า Allow เข้าได้ ไปที่หน้าสินค้าและบทความ ฝั่งขวาเขียนว่า Disallow ไม่ควรเข้า ไปที่หน้าค้นหาและตะกร้า ด้านล่างมีแถบเน้นว่า robots.txt คุมการ crawl ไม่ได้คุมการ index
บอทที่ทำตามกติกาจะอ่าน robots.txt ก่อนเข้าเว็บ แล้วเลือกว่าจะ crawl URL ไหน แต่ไฟล์นี้ไม่ได้ตัดสินว่าหน้าไหนจะขึ้นผลค้นหา (ภาพจำลอง ใช้ example.com · ที่มา: Google, Robots.txt Introduction and Guide อัปเดต 10 ธ.ค. 2025)

ถ้ายังไม่แน่ใจว่า crawl กับ index ต่างกันยังไง อ่านภาพรวม 4 ขั้นของ Google ได้ที่ Technical SEO คืออะไร และ Search Engine คืออะไร ทำงานยังไง

เว็บต้องมี robots.txt ไหม ถ้าไม่มีจะเป็นอะไร

เว็บไม่จำเป็นต้องมี robots.txt ถ้าไม่มีอะไรที่อยากกันบอท เพราะเมื่อ Google ขอไฟล์แล้วได้ 404 จะถือว่าไม่มีข้อห้าม และ crawl ได้ทุกหน้า แต่เว็บส่วนใหญ่ควรมี เพื่อใส่บรรทัด Sitemap: และกันส่วนที่สร้าง URL ไม่รู้จบ เช่น หน้าค้นหาภายใน ในข้อมูลของเรา เว็บธุรกิจไทยที่ติดหน้า 1 Google มีไฟล์ robots.txt ที่ตอบ 200 อยู่ 59 จาก 62 เว็บ (95.2%, ช่วงความเชื่อมั่น 95% อยู่ที่ 86.7–98.3%) อีก 3 เว็บตอบ 404 ซึ่งไม่ผิดกติกา

ถ้าใช้ WordPress, Wix หรือ Shopify ส่วนใหญ่มีไฟล์ให้อัตโนมัติแล้ว โดยบางแพลตฟอร์มอย่าง Wix และ Blogger อาจไม่ให้แก้ไฟล์ตรง เอกสาร Google แนะนำให้ไปใช้ช่องตั้งค่าการค้นหาของแพลตฟอร์มแทน

ไฟล์ robots.txt อยู่ที่ไหน และดูของเว็บตัวเองยังไง

ไฟล์ robots.txt ต้องชื่อ robots.txt ตัวพิมพ์เล็ก และอยู่ที่รากของโดเมนเท่านั้น เช่น https://www.example.com/robots.txt ดูของเว็บตัวเองได้ด้วยการพิมพ์ /robots.txt ต่อท้ายโดเมนในเบราว์เซอร์ ถ้าเห็นข้อความหลายบรรทัดขึ้นต้นด้วย User-agent แปลว่ามีไฟล์แล้ว

เอกสาร How to write and submit a robots.txt file (อัปเดต 21 พ.ย. 2025) กำหนดว่าไฟล์หนึ่งใช้ได้กับ protocol, host และ port เดียวที่มันอยู่ ไฟล์ใน www.example.com จึงไม่ครอบคลุม shop.example.com, http:// หรือ port อื่น ไฟล์ต้องเป็น plain text แบบ UTF-8 ห้ามวางในโฟลเดอร์ย่อย และไม่ต้องกดส่งให้ Google เพราะ Google หาเจอเองเมื่อไฟล์อยู่ถูกที่

แผนภาพสี่กล่องเรียงกัน กล่องแรก https://www.example.com/robots.txt มีเครื่องหมายถูกว่าคุมเฉพาะ www.example.com แบบ https กล่องที่สอง shop.example.com ต้องมีไฟล์ของตัวเอง กล่องที่สาม http:// คนละ protocol กล่องที่สี่ www.example.com/blog/robots.txt มีกากบาทว่าอยู่ในโฟลเดอร์ย่อย Google ไม่อ่าน
robots.txt หนึ่งไฟล์คุมได้แค่ protocol, host และ port เดียว ซับโดเมนต้องมีไฟล์ของตัวเอง และไฟล์ในโฟลเดอร์ย่อยไม่มีผล (ภาพจำลอง ใช้ example.com · ที่มา: Google, How to write and submit a robots.txt file อัปเดต 21 พ.ย. 2025)

คำสั่งใน robots.txt: User-agent, Disallow, Allow และ Sitemap

คำสั่งใน robots.txt ที่ Google รองรับมีแค่ 4 ตัว คือ User-agent, Disallow, Allow และ Sitemap ตามสเปก robots.txt ของ Google (อัปเดต 31 ส.ค. 2026) บรรทัดอื่นอย่าง Crawl-delay หรือ Host จะถูกข้าม ไฟล์แบ่งเป็น “กลุ่ม” แต่ละกลุ่มขึ้นต้นด้วย User-agent แล้วตามด้วยกฎ Allow และ Disallow ของบอทกลุ่มนั้น

คำสั่ง / สัญลักษณ์ความหมายตัวอย่างข้อควรรู้
User-agentชื่อบอทที่กลุ่มนี้ใช้ด้วย * = ทุกบอทUser-agent: Googlebotชื่อบอทไม่สนตัวพิมพ์เล็กใหญ่ · * ไม่รวมบอท AdsBot ของ Google ที่ต้องระบุชื่อเอง
Disallowpath ที่ไม่ให้ crawlDisallow: /search/เทียบจากต้น path · Disallow: ว่างๆ = ไม่ห้ามอะไร · Disallow: / = ห้ามทั้งเว็บ
Allowเปิดให้ crawl path ย่อยภายในส่วนที่ห้ามAllow: /search/help/ใช้คู่กับ Disallow เมื่ออยากเปิดบางส่วน
Sitemapบอกที่อยู่ไฟล์ sitemapSitemap: https://www.example.com/sitemap.xmlต้องเป็น URL เต็ม · ไม่ผูกกับกลุ่มไหน · ใส่ได้หลายบรรทัด
* ใน pathแทนตัวอักษรอะไรก็ได้ กี่ตัวก็ได้Disallow: /*?sort=* ท้ายสุดไม่มีผล /fish* เท่ากับ /fish
$จบ URL ตรงนี้Disallow: /*.pdf$/file.pdf?v=2 ไม่โดนกฎนี้ เพราะไม่ได้จบที่ .pdf
#คอมเมนต์ บอทไม่อ่าน# ปิดหน้าค้นหาใช้ # เท่านั้น ไม่ใช่ //
4 คำสั่งที่ Google รองรับ และสัญลักษณ์ 3 ตัวที่ใช้บ่อยใน robots.txt (ที่มา: Google, How Google interprets the robots.txt specification อัปเดต 31 ส.ค. 2026 และ How to write and submit a robots.txt file อัปเดต 21 พ.ย. 2025)

เรื่องตัวพิมพ์เล็กใหญ่ หน้าไทยหลายหน้าเขียนว่า “คำสั่งทุกตัว case-sensitive” ซึ่งไม่ถูกทั้งหมด สเปกของ Google ระบุว่าชื่อคำสั่งและชื่อบอทไม่สนตัวพิมพ์ (disallow กับ Disallow เหมือนกัน) แต่ path สนตัวพิมพ์ กฎ Disallow: /Private/ จึงไม่กัน /private/

อีกเรื่องที่พลาดบ่อยคือการเทียบจากต้น path กฎ Disallow: /blog (ไม่มี / ท้าย) จะกันทั้ง /blog/, /blog-news และ /blogger.html เอกสาร Google จึงแนะนำให้ปิดท้ายด้วย / เมื่อหมายถึงโฟลเดอร์ ส่วนบรรทัด Sitemap ใช้บอกที่อยู่ของ sitemap ที่สร้างไว้แล้ว วิธีหา URL sitemap ของเว็บอยู่ที่ Sitemap คืออะไร สร้างและส่งยังไง

ไฟล์ robots.txt ตัวอย่างของ example.com แปดบรรทัด มีป้ายชี้แต่ละส่วน ป้าย User-agent บอกว่าเริ่มกลุ่มใหม่ ป้าย Disallow บอกว่า path ที่ไม่ให้ crawl ป้าย Allow บอกว่าเปิดเฉพาะส่วนย่อย ป้ายเครื่องหมายดอกจันและดอลลาร์บอกว่าเป็น wildcard และจุดจบ URL ป้าย Sitemap บอกว่าใช้ URL เต็มและไม่ผูกกับกลุ่ม ป้ายเครื่องหมายชาร์ปบอกว่าเป็นคอมเมนต์
กายวิภาคของไฟล์ robots.txt หนึ่งไฟล์ แต่ละบรรทัดทำงานต่างกัน และกลุ่มเริ่มใหม่ทุกครั้งที่เจอ User-agent (ภาพจำลอง ใช้ example.com · ที่มา: Google, robots.txt specification อัปเดต 31 ส.ค. 2026)

Google เลือกกฎไหน เมื่อกฎใน robots.txt ชนกัน

การเลือกกฎของ Google มี 2 ชั้น ชั้นแรกเลือก “กลุ่ม” ที่ตรงกับชื่อบอทมากที่สุดเพียงกลุ่มเดียว ชั้นที่สองเลือก “กฎ” ภายในกลุ่มนั้นด้วย path ที่ยาวที่สุด สองข้อนี้คือที่มาของความผิดพลาดแบบเงียบที่เราเจอในข้อมูลเว็บไทย และใน 8 หน้าภาษาไทยที่ติดอันดับซึ่งเราเปิดอ่าน (15 ต.ค. 2026) ยังไม่มีหน้าไหนอธิบายไว้ ทั้งสองข้อมาจากสเปก robots.txt ของ Google อัปเดต 31 ส.ค. 2026

กลุ่ม User-agent: Google ใช้กลุ่มที่เจาะจงที่สุดกลุ่มเดียว

กลุ่ม User-agent ที่ Google ใช้กับบอทตัวหนึ่งคือกลุ่มที่ระบุชื่อบอทนั้นเจาะจงที่สุด กลุ่มอื่นทั้งหมดถูกข้าม และ กลุ่มเฉพาะชื่อจะไม่ถูกรวมกับกลุ่ม * บอทจะใช้กลุ่ม * ก็ต่อเมื่อไม่มีกลุ่มไหนเรียกชื่อมันเลย ข้อยกเว้นเดียวคือถ้าเขียนกลุ่มชื่อเดียวกันซ้ำหลายที่ในไฟล์ Google จะรวมเป็นกลุ่มเดียว

ตัวอย่างด้านล่างคือรูปแบบที่เจอจริงในเว็บไทย (เขียนใหม่บน example.com) เจ้าของเว็บตั้งใจปิดตะกร้าและหน้าค้นหาจากทุกบอท แล้วเพิ่มกลุ่ม Googlebot เพื่อ “เปิดให้ Google เต็มที่” ผลคือ Googlebot อ่านแค่กลุ่มของตัวเอง และกลับไป crawl ตะกร้ากับหน้าค้นหาได้ทั้งหมด

# ก่อนแก้ (ภาพจำลอง): Googlebot ไม่สนกฎ 2 บรรทัดแรก
User-agent: *
Disallow: /cart/
Disallow: /search/

User-agent: Googlebot
Allow: /

# หลังแก้: ลบกลุ่ม Googlebot ทิ้ง หรือคัดลอกกฎที่ต้องการลงในกลุ่มนั้นด้วย
User-agent: *
Disallow: /cart/
Disallow: /search/

User-agent: Googlebot
Disallow: /cart/
Disallow: /search/
แผนภาพสองแถบก่อนและหลังแก้ แถบก่อนแก้มีกลุ่ม User-agent ดอกจันที่ปิด cart และ search กับกลุ่ม Googlebot ที่มีแค่ Allow ทับทั้งหมด ลูกศรจาก Googlebot ชี้เข้ากลุ่มของตัวเองเท่านั้น และกลุ่มดอกจันมีเส้นประว่าถูกข้าม ป้ายบอกว่า Googlebot crawl cart และ search ได้ แถบหลังแก้กลุ่ม Googlebot มีกฎ Disallow cart และ search ซ้ำอยู่ด้วย
กับดักกลุ่ม User-agent: เมื่อมีกลุ่ม Googlebot แยก กฎในกลุ่ม * จะไม่ถูกนำมาใช้กับ Googlebot เลย ต้องคัดลอกกฎลงไปในกลุ่มนั้นด้วย (ภาพจำลองจากรูปแบบที่พบในข้อมูลของ The Missing Piece 15 ต.ค. 2026 · ที่มา: Google, robots.txt specification อัปเดต 31 ส.ค. 2026)

Allow กับ Disallow ชนกัน: path ที่ยาวกว่าชนะ

กฎ Allow กับ Disallow ที่ชนกันในกลุ่มเดียว Google ตัดสินด้วยความยาวของ path ไม่ใช่ลำดับบรรทัด กฎที่ path ยาวกว่า (เจาะจงกว่า) ชนะ โดยนับ wildcard รวมด้วย ถ้ายาวเท่ากันพอดี Google เลือกกฎที่จำกัดน้อยกว่า คือ Allow ชนะ ตารางนี้ใช้กฎของสเปก Google ล้วน

กฎในกลุ่มURL ที่บอทจะเข้าผลเหตุผล
Disallow: /shop/
Allow: /shop/sale/
/shop/sale/shoescrawl ได้/shop/sale/ ยาวกว่า
Allow: /page
Disallow: /*.html
/page.htmlห้าม crawl/*.html ยาว 7 ตัว มากกว่า /page 5 ตัว
Allow: /folder
Disallow: /folder
/folder/pagecrawl ได้ยาวเท่ากัน Google เลือกกฎที่จำกัดน้อยกว่า
Disallow: /fish/Fish.htmlcrawl ได้path สนตัวพิมพ์ /Fish ไม่ตรงกับ /fish
Disallow: /*.pdf$/guide.pdf?v=2crawl ได้$ แปลว่าต้องจบที่ .pdf พอดี
ตัวอย่างการตัดสินกฎที่ชนกันตามสเปกของ Google: path ยาวกว่าชนะ ถ้าเสมอ Allow ชนะ และ path สนตัวพิมพ์ (ที่มา: Google, How Google interprets the robots.txt specification อัปเดต 31 ส.ค. 2026)

บอทของเจ้าอื่นอาจตีความไม่เหมือน Google ทุกข้อ เอกสาร Google เองเตือนว่า crawler แต่ละตัวอ่านไวยากรณ์ต่างกันได้ ไฟล์ที่ปลอดภัยที่สุดจึงเป็นไฟล์สั้น ไม่มีกฎซ้อนกันเกินจำเป็น ข้อมูลของเราพบว่าไฟล์ของเว็บไทยหน้า 1 ครึ่งหนึ่งยาวไม่เกิน 179 ไบต์ (ค่ามัธยฐาน)

ตัวอย่าง robots.txt 6 แบบ (คัดลอกไปปรับได้)

ตัวอย่าง robots.txt ด้านล่างเขียนบน example.com ให้เปลี่ยนโดเมนและ path เป็นของเว็บคุณก่อนใช้ ทุกแบบใช้กลุ่ม User-agent: * กลุ่มเดียว เพื่อเลี่ยงกับดักกลุ่มที่อธิบายด้านบน ถ้าไม่แน่ใจว่าควรปิดอะไร แบบที่ 1 คือจุดเริ่มต้นที่ปลอดภัยที่สุด รูปแบบอ้างอิงจากหน้า Useful robots.txt rules ของ Google (อัปเดต 12 มิ.ย. 2026)

1. เปิดให้ทุกบอท crawl ทั้งเว็บ + บอกที่อยู่ sitemap

User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap.xml

2. WordPress ทั่วไป

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap_index.xml

แบบนี้คือรูปแบบที่ WordPress และปลั๊กอิน SEO ส่วนใหญ่ใช้ admin-ajax.php ถูกเปิดไว้เพราะธีมบางตัวใช้ไฟล์นี้โหลดเนื้อหา ห้ามเพิ่ม Disallow: /wp-content/ หรือ /wp-includes/ เพราะจะกัน CSS และ JavaScript ที่ Google ต้องใช้ render หน้า (ประกอบหน้าให้เห็นแบบที่คนเห็น)

3. ร้านค้าออนไลน์: ปิดตะกร้า หน้าค้นหา และ URL กรองสินค้า

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search/
Disallow: /*sort=
Disallow: /*filter=

Sitemap: https://www.example.com/sitemap.xml

กฎ /*sort= และ /*filter= ไม่ใส่ ? ไว้หน้า เพื่อให้จับพารามิเตอร์ที่ตามหลัง & ด้วย เช่น ?page=2&sort=price แต่จะจับทุก URL ที่มีคำนี้ จึงต้องเช็กว่าไม่มีหน้าสำคัญที่มีคำนี้ใน path ปิด URL กรองและเรียงสินค้าเมื่อหน้าเหล่านั้นสร้าง URL ได้ไม่รู้จบ และคุณไม่ต้องการให้หน้าไหนติด Google ถ้าบาง URL ที่มีพารามิเตอร์ควรรวมสัญญาณกับหน้าหลัก ให้ใช้ canonical แทน (ดู Canonical vs 301 vs noindex ใช้อันไหนเมื่อไร) เพราะ Google มองไม่เห็น canonical ใน URL ที่ถูกบล็อก

4. กันไฟล์ชนิดเดียวด้วย $

User-agent: *
Disallow: /*.xls$
Disallow: /*.csv$

5. กันรูปในโฟลเดอร์หนึ่งไม่ให้ขึ้น Google Images

User-agent: Googlebot-Image
Disallow: /images/event-private/

User-agent: *
Disallow:

แบบที่ 5 เป็นกรณีเดียวในบทความที่ตั้งกลุ่มเฉพาะชื่อบอท และตั้งใจให้ Googlebot-Image ใช้แค่กฎของกลุ่มตัวเอง ถ้าเว็บมีกฎอื่นในกลุ่ม * ที่อยากให้ Googlebot-Image ทำตามด้วย ต้องคัดลอกลงไปในกลุ่มนี้

6. เว็บทดสอบ (staging): อย่าพึ่ง robots.txt

# staging.example.com/robots.txt
User-agent: *
Disallow: /
# ไฟล์นี้กันบอทที่ทำตามกติกาได้ แต่ไม่กันคนและไม่กัน index
# ใช้รหัสผ่าน (HTTP auth) เป็นหลัก และระวังคัดลอกไฟล์นี้ขึ้นเว็บจริง

เว็บทดสอบควรปิดด้วยรหัสผ่าน เพราะ Google แนะนำรหัสผ่านเป็นวิธีกันหน้าออกจากผลค้นหา ส่วน Disallow: / เป็นแค่ชั้นเสริม ความเสี่ยงที่เจอบ่อยกว่าคือการย้ายไฟล์ staging ขึ้นเว็บจริงพร้อมบรรทัดนี้ ทำให้ Google หยุด crawl ทั้งเว็บ เครื่องมือ robots.txt generator ช่วยพิมพ์ไฟล์ได้ แต่เครื่องมือไม่รู้ว่าเว็บคุณมีส่วนไหนที่ควรปิด จึงต้องตรวจทุกบรรทัดเองก่อนใช้

การ์ดหกช่องของตัวอย่าง robots.txt บน example.com ช่องที่หนึ่งเปิดทั้งเว็บและมี Sitemap ช่องที่สอง WordPress ทั่วไปปิด wp-admin เปิด admin-ajax ช่องที่สาม ร้านค้าปิด cart checkout search และพารามิเตอร์ sort filter ช่องที่สี่ปิดไฟล์ xls และ csv ด้วยดอลลาร์ ช่องที่ห้ากันรูปจาก Googlebot-Image ช่องที่หกเว็บ staging มีป้ายเตือนว่าใช้รหัสผ่านเป็นหลัก
ตัวอย่าง robots.txt 6 แบบตามประเภทเว็บ ทุกแบบสั้นและใช้กลุ่ม * เป็นหลัก เพื่อเลี่ยงกฎซ้อนกัน (ภาพจำลอง ใช้ example.com · ที่มา: Google, Useful robots.txt rules อัปเดต 12 มิ.ย. 2026)

robots.txt vs noindex vs X-Robots-Tag: ใช้อันไหนเมื่อไร

robots.txt, noindex และ X-Robots-Tag เป็นเครื่องมือคนละขั้น robots.txt บอกว่า “อย่าเข้ามาอ่าน” ส่วน noindex กับ X-Robots-Tag บอกว่า “อ่านได้ แต่อย่าเก็บไปแสดงผลค้นหา” การเลือกผิดตัวคือสาเหตุหลักของสถานะแปลกๆ ใน Search Console และเป็นข้อผิดที่หน้าไทย 6 ใน 8 หน้าที่เราเปิดอ่าน (15 ต.ค. 2026) ยังเขียนว่า robots.txt “กันการ index” ได้

  • noindex (meta robots): แท็ก <meta name="robots" content="noindex"> ในส่วน head ของหน้า HTML บอกว่าไม่ให้แสดงหน้านี้ในผลค้นหา
  • X-Robots-Tag: คำสั่งเดียวกับ meta robots แต่ส่งเป็น HTTP header เช่น X-Robots-Tag: noindex ใช้กับไฟล์ที่ไม่ใช่ HTML อย่าง PDF และรูป ที่ใส่ meta tag ไม่ได้
  • robots.txt: คุมว่าบอทเข้า URL ไหนได้ ไม่ได้คุมว่าอะไรขึ้นผลค้นหา

กฎข้อเดียวที่ต้องจำ: อย่า Disallow หน้าที่อยากให้ noindex เอกสาร Robots meta tag, data-nosnippet และ X-Robots-Tag ของ Google (อัปเดต 24 มี.ค. 2026) บอกว่าคำสั่งเหล่านี้จะถูกอ่านก็ต่อเมื่อ Google crawl URL นั้น ถ้า URL ถูกบล็อกใน robots.txt คำสั่ง noindex จะ “not be found and will therefore be ignored” คือไม่ถูกเห็นและถูกเพิกเฉย หน้าที่มีลิงก์จากที่อื่นจึงยังติด index ได้

อยากได้ผลแบบนี้ใช้อะไรไม่ควรใช้เหตุผล
ลดการ crawl ส่วนที่ไม่มีค่า เช่น หน้าค้นหาภายใน ตะกร้าrobots.txt Disallownoindex อย่างเดียวnoindex ยังต้องให้บอทเข้ามาอ่านทุกครั้ง
ไม่ให้หน้า HTML ขึ้นผลค้นหาnoindex (meta robots)robots.txtURL ที่ถูกบล็อกยังติด index ได้จากลิงก์ของหน้าอื่น
ไม่ให้ PDF หรือรูปขึ้นผลค้นหาX-Robots-Tag: noindexmeta tag (ใส่ไม่ได้)ไฟล์ไม่ใช่ HTML ต้องส่งผ่าน HTTP header
ข้อมูลลับ หน้า admin เว็บ stagingรหัสผ่าน / ระบบล็อกอินrobots.txtไฟล์ robots.txt เปิดให้ทุกคนอ่าน และ RFC 9309 ระบุว่าไม่ใช่มาตรการความปลอดภัย
หลาย URL เนื้อหาเดียวกันcanonicalrobots.txtGoogle ต้อง crawl ถึงจะเห็น canonical และรวมสัญญาณได้
ย้ายหน้าไป URL ใหม่ถาวร301 redirectrobots.txtบล็อก URL เก่าทำให้ Google ไม่เห็น redirect
เอาหน้าออกจากผลค้นหาด่วนRemovals ใน Search Console + noindex หรือลบหน้าrobots.txtRemovals ซ่อนชั่วคราว ต้องแก้ที่หน้าจริงด้วย
ตารางเลือกเครื่องมือตามผลที่อยากได้: robots.txt ใช้ลดการ crawl เท่านั้น งานกัน index ความลับ และหน้าซ้ำใช้เครื่องมืออื่น (ที่มา: Google, Robots.txt Introduction อัปเดต 10 ธ.ค. 2025 · Robots meta tag อัปเดต 24 มี.ค. 2026 · RFC 9309 · Google Search Central Blog 2 ก.ค. 2019)
แผนภาพสามขั้น ขั้นแรกหน้า example.com/old-promo มีแท็ก noindex และมีลิงก์จากเว็บอื่นชี้มา ขั้นที่สอง robots.txt Disallow old-promo ทำให้ Googlebot หยุดที่ประตู มองไม่เห็นแท็ก noindex ข้างใน ขั้นที่สามผลค้นหาแสดง URL นี้แบบไม่มีคำอธิบาย ป้ายสรุปว่าให้ลบ Disallow ออก แล้วปล่อยให้ Google เห็น noindex
กับดัก Disallow + noindex: Google อ่าน noindex ไม่ได้เพราะถูกห้ามเข้า หน้าที่มีลิงก์ภายนอกจึงยังโผล่ในผลค้นหาแบบไม่มีคำอธิบาย (ภาพจำลอง ใช้ example.com · ที่มา: Google, Robots meta tag specifications อัปเดต 24 มี.ค. 2026)

เครื่องมือเหล่านี้ยังมีผลต่อ AI Search ของ Google ด้วย เอกสาร robots meta tag ฉบับเดียวกันระบุว่า nosnippet และ max-snippet จำกัดการใช้เนื้อหาเป็นข้อมูลให้ AI Overviews และ AI Mode ด้วย ภาพรวมการใช้ robots.txt, noindex, canonical, redirect และ sitemap ร่วมกันอยู่ที่ robots.txt, noindex, canonical, redirect และ sitemap ใช้อันไหนเมื่อไร และการย้ายหน้าอยู่ที่ 301 Redirect ใช้เมื่อไร

“Blocked by robots.txt” และ “Indexed, though blocked by robots.txt” แก้ยังไง

“Blocked by robots.txt” และ “Indexed, though blocked by robots.txt” คือ 2 สถานะในรายงาน Page indexing ของ Search Console ที่เกิดจาก robots.txt โดยตรง สถานะแรกแปลว่า Google ไม่ได้ crawl หน้านั้นเพราะติดกฎ Disallow สถานะที่สองแปลว่าหน้าถูก index ไปแล้วทั้งที่ถูกบล็อก เพราะ Google รู้จัก URL จากลิงก์ของหน้าอื่น วิธีแก้ขึ้นกับคำถามเดียว คือคุณอยากให้หน้านั้นติด Google หรือไม่

สถานะใน Page indexingแปลว่าถ้าอยากให้หน้าติด Googleถ้าไม่อยากให้ติด
Blocked by robots.txt (ไม่ถูก index)กฎ Disallow ทำให้ Google ไม่ crawl หน้านี้ลบหรือแก้กฎ Disallow ที่ครอบหน้านี้ แล้วกด Request a recrawl ในรายงาน robots.txtถ้าเป็นหน้าที่ตั้งใจปิด เช่น ตะกร้า ปล่อยไว้ได้ ถ้าต้องการแน่ใจว่าไม่ติด index Google แนะนำให้เอา block ออกแล้วใส่ noindex
Indexed, though blocked by robots.txt (คำเตือน)หน้าติด index จากลิงก์ของหน้าอื่น แต่ Google อ่านเนื้อหาไม่ได้ snippet (คำอธิบายใต้ลิงก์) จึงมักไม่สมบูรณ์ปลด block ใน robots.txt เพื่อให้ Google อ่านเนื้อหาจริงปลด block แล้วใส่ noindex (Google เขียนว่า robots.txt ไม่ใช่วิธีกันการ index)
สองสถานะที่เกิดจาก robots.txt ใน Search Console และวิธีแก้ตามสิ่งที่อยากได้ (ที่มา: Search Console Help, Page indexing report ตรวจ 15 ต.ค. 2026)

ลำดับการไล่หน้าไม่ติด index ใน The Art of SEO บทที่ 10 เริ่มจากเช็กว่าหน้าถูกบล็อกหรือติด noindex ก่อนไปดูเรื่องคุณภาพ ใช้ลำดับเดียวกันได้กับสองสถานะนี้ หลังแก้ ให้กด Validate fix ในรายงาน Page indexing ซึ่ง Google บอกว่าการตรวจโดยทั่วไปใช้เวลาราว 2 สัปดาห์ วิธีอ่านรายงานทั้งหมดอยู่ที่ หน้าไม่ถูก index: อ่านรายงาน Page indexing และลำดับตรวจทั้งเว็บอยู่ที่ SEO Audit ขั้น 1: Google เห็นเว็บเราไหม

ผังสองทางเริ่มจากสถานะใน Search Console กล่องซ้าย Blocked by robots.txt กล่องขวา Indexed, though blocked by robots.txt ทั้งสองกล่องต่อไปที่คำถามเดียวกัน อยากให้หน้านี้ติด Google ไหม ทางใช่ไปที่ ปลด Disallow แล้วกด Request a recrawl ทางไม่ไปที่ ปลด Disallow แล้วใส่ noindex หรือปล่อยไว้ถ้าเป็นหน้าที่ตั้งใจปิดและไม่ติด index
ผังแก้สองสถานะที่เกิดจาก robots.txt ตัดสินจากคำถามเดียวว่าอยากให้หน้าติด Google หรือไม่ (ภาพจำลอง ไม่ใช่ภาพหน้าจอจริง · ที่มา: Search Console Help, Page indexing report)

ตรวจ robots.txt ยังไง: robots.txt report, URL Inspection และ validator

การตรวจ robots.txt ที่เชื่อถือได้ที่สุดคือรายงาน robots.txt ใน Google Search Console เพราะแสดงไฟล์ที่ Google ดึงไปจริง ไม่ใช่ไฟล์ที่เราคิดว่าอยู่บนเว็บ รายงานนี้ใช้ได้กับ property แบบ Domain หรือ URL-prefix ระดับโดเมนเท่านั้น และมาแทนเครื่องมือ robots.txt Tester ที่ถูกปลดไปเมื่อปลายปี 2023 (ตามรายงานของ Search Engine Land) (ถ้ายังไม่ได้ตั้ง Search Console ดู วิธีเลือก Domain หรือ URL-prefix)

  1. เปิดไฟล์ในเบราว์เซอร์แบบไม่ระบุตัวตน: พิมพ์ /robots.txt ต่อท้ายโดเมน ต้องเห็นข้อความล้วน ไม่ใช่หน้าเว็บ หน้า login หรือหน้า firewall
  2. เปิดรายงาน robots.txt ใน Search Console (Settings หรือการตั้งค่า → robots.txt): ดูว่าสถานะเป็น Fetched, เวลาที่ Google ตรวจล่าสุด, ขนาดไฟล์ และจำนวนปัญหา คลิกเปิดไฟล์จะเห็นบรรทัดที่เป็น error (กฎถูกข้าม) หรือ warning ไล่ดูประวัติ 30 วันย้อนหลังได้
  3. เช็ก URL สำคัญด้วย URL Inspection: ใส่ URL หน้าทำเงินทีละหน้า ดูว่า Google crawl ได้หรือติด robots.txt
  4. หลังแก้ไฟล์ กด Request a recrawl: ปกติ Google เก็บไฟล์ไว้และรีเฟรชราวทุก 24 ชั่วโมง ปุ่มนี้ใช้เร่งเมื่อปลดบล็อกหน้าสำคัญ แต่ Google บอกว่าไม่รับประกันว่าจะ crawl URL ที่ปลดแล้วทันที
  5. ทดสอบก่อนขึ้นจริง (สำหรับ dev): ใช้ robots.txt library แบบ open source ของ Google หรือเครื่องมือ robots.txt validator ภายนอก โดยจำไว้ว่า validator แต่ละตัวอาจตีความต่างจาก Google

AI SEO For Dummies บทที่ 10 แนะนำให้ crawl เว็บด้วย 2 มุม คือเป็น Googlebot และเป็นบอททั่วไป แล้วเทียบผล ปัญหาที่หนังสือจัดเป็นหมวดเดียวกันคือ robots, noindex และ resource ที่ถูกบล็อก วิธีนี้จับกับดักกลุ่ม User-agent ได้ เพราะบอทสองตัวจะได้ผลต่างกันทันที

การ์ดจำลองรายงาน robots.txt ของ example.com มีแถวไฟล์ https://www.example.com/robots.txt สถานะ Fetched เวลาตรวจล่าสุด ขนาด 179 ไบต์ ปัญหา 0 ด้านขวามีเมนูสามจุดเปิดอยู่ แสดงตัวเลือก Request a recrawl ด้านล่างมีสามขั้นว่า เปิดไฟล์ในเบราว์เซอร์ เช็ก URL สำคัญด้วย URL Inspection และกด Request a recrawl หลังแก้
ข้อมูลที่ควรดูในรายงาน robots.txt ของ Search Console: สถานะ Fetched เวลาตรวจล่าสุด และจำนวนปัญหา (ภาพจำลอง วาดใหม่ ไม่ใช่ภาพหน้าจอจริง · ขนาดไฟล์ใช้ค่ามัธยฐานจากข้อมูลของเรา · ที่มา: Search Console Help, robots.txt report)

robots.txt ตอบ 404 หรือ 500 แล้ว Google ทำอะไร

HTTP status code ที่ไฟล์ robots.txt ตอบกลับ สำคัญไม่แพ้เนื้อหาในไฟล์ เพราะ Google ตัดสินจาก status ก่อนว่าจะ crawl ทั้งเว็บได้แค่ไหน เรื่องนี้กระทบทุกเว็บที่โฮสต์ล่มบ่อยหรือมี firewall คอยกันบอท และใน 8 หน้าภาษาไทยที่ติดอันดับซึ่งเราเปิดอ่าน ยังไม่มีหน้าไหนอธิบายไว้ (15 ต.ค. 2026) ตารางนี้สรุปจากสเปก Google อัปเดต 31 ส.ค. 2026

robots.txt ตอบGoogle ทำอะไรความเสี่ยง
2xx (เช่น 200)อ่านกฎตามไฟล์ปกติ
3xx (redirect)ตาม redirect อย่างน้อย 5 ทอด ถ้าเกินจะถือเหมือน 404 · redirect ด้วย JavaScript หรือ meta refresh ไม่นับต่ำ ถ้า redirect สั้น
4xx (เช่น 404, 403)ถือว่าไม่มีไฟล์ crawl ได้ทุกหน้า ยกเว้น 429 ที่ไม่นับรวมในกลุ่มนี้ต่ำ แต่กฎที่ตั้งใจไว้จะไม่มีผล
5xx (เช่น 500, 503) หรือ DNS/เครือข่ายล้มเหลว12 ชั่วโมงแรก หยุด crawl ทั้งเว็บ แต่ยังลองขอไฟล์ใหม่ · ต่อจากนั้นถึง 30 วัน ใช้ไฟล์ล่าสุดที่เก็บไว้ (ถ้าไม่มี = ไม่มีข้อจำกัด) · เกิน 30 วัน ถ้าเว็บใช้งานได้ปกติ ถือเหมือนไม่มีไฟล์ ถ้าเว็บล่มด้วย หยุด crawlสูง Google อาจไม่ crawl หน้าใหม่ทั้งเว็บ
Google ตีความ status code ของไฟล์ robots.txt ต่างกันมาก 404 แปลว่าเข้าได้ทุกหน้า ส่วน 5xx ทำให้หยุด crawl ทั้งเว็บชั่วคราว (ที่มา: Google, How Google interprets the robots.txt specification อัปเดต 31 ส.ค. 2026)

สเปกเดียวกันกำหนดขนาดไฟล์สูงสุด 500 KiB เนื้อหาที่เกินจะถูกข้าม ซึ่งไกลจากไฟล์จริงของเว็บไทยมาก ไฟล์ใหญ่สุดในข้อมูลของเรามีขนาด 1,626 ไบต์ ในการเก็บข้อมูล 15 ต.ค. 2026 มี 1 เว็บที่ robots.txt ตอบ 500 กลับมา ถ้าเป็นแบบนี้กับ Googlebot ด้วย ตามกติกาข้างบน Google จะหยุด crawl เว็บนั้นในช่วงแรก เราเห็นแค่ครั้งเดียวจากเครื่องมือของเรา จึงบอกไม่ได้ว่าเว็บนั้นเสียหายจริงไหม แต่เป็นเหตุผลที่ควรเปิดรายงาน robots.txt ดูสถานะ Fetched เป็นประจำ ส่วนรหัส 403 ที่เกิดจาก firewall มีรายละเอียดในบริบทของ AI bot ที่ robots.txt สำหรับ AI bots

เส้นเวลาเมื่อ robots.txt ตอบ 5xx ช่วงแรก 0 ถึง 12 ชั่วโมงเป็นแถบเข้ม เขียนว่าหยุด crawl ทั้งเว็บ ช่วงที่สองถึง 30 วันเขียนว่าใช้ไฟล์ล่าสุดที่เก็บไว้ ช่วงที่สามหลัง 30 วันแยกสองทาง เว็บปกติถือเหมือนไม่มีไฟล์ เว็บล่มหยุด crawl ด้านบนมีกล่องเทียบเล็กว่า 404 เท่ากับ crawl ได้ทุกหน้า
ถ้า robots.txt ตอบ 5xx Google หยุด crawl ทั้งเว็บ 12 ชั่วโมงแรก แล้วใช้ไฟล์เก่าต่อได้ถึง 30 วัน ต่างจาก 404 ที่แปลว่าเข้าได้ทุกหน้า (ภาพจำลอง · ที่มา: Google, robots.txt specification อัปเดต 31 ส.ค. 2026)

ข้อมูลไทย: robots.txt ของเว็บหน้า 1 Google 56 ไฟล์ ผิดตรงไหน

robots.txt ของเว็บไทยหน้า 1 ไม่มีไฟล์ไหนปิดทั้งเว็บ แต่ความผิดพลาดแบบเงียบยังมีอยู่จริง ข้อมูลชุดนี้คือ robots.txt ของเว็บธุรกิจไทยที่ติดผล organic หน้า 1 ของ Google ประเทศไทยใน 13 คำค้นธุรกิจ เราตรวจการมีไฟล์และบรรทัด Sitemap ของ 62 เว็บเมื่อ 5 ต.ค. 2026 แล้วขอไฟล์ซ้ำเว็บละ 1 ครั้งเมื่อ 15 ต.ค. 2026 ได้ไฟล์ที่อ่านได้ 56 ไฟล์ จากนั้นอ่านด้วยตัวอ่านที่เราเขียนตามกติกาของ Google (กลุ่มเจาะจงที่สุด, path ยาวสุดชนะ, * และ $)

สิ่งที่ตรวจผลช่วงความเชื่อมั่น 95%
robots.txt ตอบ 200 (5 ต.ค., n = 62)59 จาก 62 = 95.2%86.7–98.3%
บล็อก Googlebot ทั้งเว็บ (Disallow: /)0 จาก 560–6.4%
ไม่มีบรรทัด Sitemap:11 จาก 56 = 19.6%11.3–31.8%
มีกลุ่ม User-agent: Googlebot แยก5 จาก 56 = 8.9%3.9–19.3%
…ในนั้น กลุ่ม Googlebot ทำให้กฎ Disallow ของ * หลุด4 จาก 5ฐานเล็กเกินคิดเป็นอัตรา
Googlebot ถูกกันจาก CSS/JS ของธีมหรือปลั๊กอิน2 จาก 56 = 3.6%1.0–12.1%
ปิดหน้าค้นหาภายในหรือ URL พารามิเตอร์12 จาก 56 = 21.4%12.7–33.8%
ใช้ wildcard * หรือ $14 จาก 56 = 25.0%15.5–37.7%
รูปแบบ WordPress Disallow: /wp-admin/13 จาก 56 = 23.2%14.1–35.8%
ไฟล์เปิดทั้งหมด (มีแค่ Disallow: ว่าง)7 จาก 56 = 12.5%6.2–23.6%
ไฟล์ว่าง 0 ไบต์2 จาก 56 = 3.6%1.0–12.1%
ยังมี Crawl-delay (Google ไม่ใช้)1 จาก 56 = 1.8%0.3–9.4%
มีบรรทัด noindex ใน robots.txt (เลิกรองรับ 2019)0 จาก 560–6.4%
ขนาดไฟล์มัธยฐาน 179 ไบต์ · ใหญ่สุด 1,626 ไบต์–
robots.txt ของเว็บธุรกิจไทยที่ติดหน้า 1 Google ผลสังเกตเบื้องต้น ช่วงความเชื่อมั่นของสัดส่วนใช้วิธี Wilson 95% (ที่มา: ข้อมูลของ The Missing Piece เก็บ 5 และ 15 ต.ค. 2026 · ไม่เปิดเผยชื่อเว็บ)
กราฟแท่งแนวนอนแปดแท่งพร้อมเส้นช่วงความเชื่อมั่น เรียงจากมากไปน้อย ใช้ wildcard 25.0% บล็อก wp-admin 23.2% ปิดหน้าค้นหาหรือพารามิเตอร์ 21.4% ไม่มีบรรทัด Sitemap 19.6% ไฟล์เปิดทั้งหมด 12.5% มีกลุ่ม Googlebot แยก 8.9% กัน CSS หรือ JS ของธีมหรือปลั๊กอิน 3.6% บล็อกทั้งเว็บ 0% มีป้ายผลสังเกตเบื้องต้น n เท่ากับ 56
สิ่งที่พบใน robots.txt 56 ไฟล์ ไม่มีไฟล์ไหนบล็อกทั้งเว็บ แต่ราว 1 ใน 5 ไม่บอกที่อยู่ sitemap (ผลสังเกตเบื้องต้น n = 56 · Wilson 95% CI · ที่มา: ข้อมูลของ The Missing Piece 15 ต.ค. 2026)

อ่านผลได้สามข้อ ข้อแรก ความผิดพลาดแบบที่ทุกคนกลัว คือ Disallow: / ที่ลืมไว้ ไม่เจอในตัวอย่างนี้เลย (0 จาก 56 ช่วงความเชื่อมั่นสูงสุด 6.4%) เว็บที่ติดหน้า 1 ส่วนใหญ่จึงไม่ได้มีปัญหาใหญ่ที่ robots.txt แต่ข้อนี้ยังเป็นเรื่องแรกที่ต้องเช็กหลังย้ายเว็บหรือขึ้นเว็บจาก staging

ข้อสอง ความผิดพลาดที่เจอจริงเป็นแบบเงียบ ราว 1 ใน 5 ไฟล์ไม่มีบรรทัด Sitemap ซึ่งแก้ง่ายที่สุดและสอดคล้องกับผลศึกษา sitemap ของเราใน Sitemap คืออะไร มี 2 ไฟล์ที่กัน CSS หรือ JavaScript ของธีมหรือปลั๊กอินจาก Googlebot ทำให้ Google อาจ render หน้าไม่ครบ และมี 1 ไฟล์ที่ยังมีบรรทัดตัวอย่างจากเอกสาร Google ติดมาด้วย

ข้อสาม กับดักกลุ่ม User-agent เกิดขึ้นจริง ในไฟล์ที่ตั้งกลุ่ม Googlebot แยก 5 ไฟล์ มี 4 ไฟล์ที่ไม่ได้คัดลอกกฎ Disallow ของกลุ่ม * ลงไป Googlebot จึงไม่ทำตามกฎที่เจ้าของเว็บตั้งใจให้ทุกบอททำตาม ฐาน 5 ไฟล์เล็กเกินกว่าจะสรุปเป็นอัตราของเว็บไทย ให้อ่านเป็นตัวอย่างที่เกิดขึ้นจริง ไม่ใช่สัดส่วน

การ์ดสามคู่ก่อนและหลังแก้บน example.com คู่แรกไฟล์ที่ไม่มีบรรทัด Sitemap หลังแก้เพิ่ม Sitemap URL เต็ม คู่ที่สองไฟล์ที่ Disallow wp-content plugins หลังแก้ลบบรรทัดนั้นออก คู่ที่สามไฟล์ที่กลุ่ม Googlebot มีแค่ Allow หลังแก้คัดลอกกฎ Disallow ลงกลุ่ม Googlebot ทุกคู่มีป้ายภาพจำลอง เขียนใหม่ ไม่ใช่ไฟล์จริง
สามความผิดพลาดที่พบบ่อยในข้อมูลของเรา พร้อมวิธีแก้ ตัวอย่างเขียนใหม่บน example.com ไม่ใช่ไฟล์ของเว็บจริง (ภาพจำลอง · ที่มา: ข้อมูลของ The Missing Piece 15 ต.ค. 2026 + สเปก robots.txt ของ Google)

ข้อจำกัดของข้อมูลชุดนี้:

  • เป็นภาพถ่ายครั้งเดียวจากเว็บที่ติดหน้า 1 ใน 13 คำค้นธุรกิจที่เราเลือกเอง ไม่ได้สุ่ม และไม่ใช่ตัวแทนเว็บไทยทั้งหมด
  • เราขอไฟล์ด้วยเครื่องมือของเรา ไม่ใช่ Googlebot จริง เว็บที่มี firewall อาจตอบบอทจริงต่างไป (1 เว็บตอบ 403 กับเครื่องมือของเรา จึงไม่นับเป็นความผิดของเว็บ)
  • เราไม่เห็นข้อมูล Search Console ของเว็บเหล่านี้ จึงบอกไม่ได้ว่ากฎข้อไหนกระทบอันดับจริง เป็นข้อมูลเชิงบรรยายเท่านั้น
  • เราไม่เปิดเผยชื่อเว็บ รายงานแค่ระดับกลุ่ม และตัวอย่างโค้ดในบทความเขียนใหม่ทั้งหมด

แก้ robots.txt บน WordPress (Rank Math, Yoast และไฟล์จริง)

WordPress สร้าง robots.txt แบบเสมือน (virtual) ให้อัตโนมัติ คือไม่มีไฟล์จริงในโฟลเดอร์เว็บ แต่ WordPress สร้างข้อความตอบกลับเมื่อมีคนขอ /robots.txt เจ้าของเว็บ WordPress ทั่วไปจึงแก้ผ่านปลั๊กอิน SEO ได้โดยไม่ต้องเข้า hosting ถ้าไม่มีเหตุผลเฉพาะ ไฟล์เริ่มต้นของ WordPress หรือของปลั๊กอินก็ใช้ได้แล้ว

  • Rank Math: Rank Math SEO → General Settings → Edit robots.txt (ตามคู่มือของ Rank Math)
  • Yoast SEO: Yoast SEO → Tools → File editor
  • มีไฟล์ robots.txt จริงในโฟลเดอร์หลักของเว็บ: โดยทั่วไปเว็บเซิร์ฟเวอร์จะส่งไฟล์จริงก่อน ไฟล์เสมือนของ WordPress และช่องแก้ในปลั๊กอินจึงมักไม่มีผล หลังแก้ให้เปิด /robots.txt ในเบราว์เซอร์ดูว่าตรงกับที่แก้ไหม ต้องแก้ไฟล์ผ่าน File Manager ของ hosting หรือ FTP แทน

ช่อง “Discourage search engines from indexing this site” (ไม่สนับสนุนให้เครื่องมือค้นหาทำดัชนีเว็บไซต์นี้) ใน Settings → Reading ไม่ได้ใส่ Disallow: / แล้ว ตั้งแต่ WordPress 5.3 (ประกาศ 2 ก.ย. 2019) ช่องนี้ใส่ meta robots noindex, nofollow แทน เพราะทีม WordPress เห็นปัญหาเดียวกันว่า Disallow ไม่ได้กันหน้าออกจากผลค้นหา ถ้าเว็บจริงไม่ขึ้น Google เลย ให้เช็กช่องนี้เป็นอย่างแรก

ข้อห้ามบน WordPress มีข้อเดียวที่สำคัญ คืออย่า Disallow /wp-content/, /wp-content/themes/, /wp-content/plugins/ หรือ /wp-includes/ เพราะเป็นที่อยู่ของ CSS, JavaScript และรูป ที่ Google ใช้ render หน้า ในข้อมูลของเรายังเจอ 2 ไฟล์ที่ทำแบบนี้ ส่วนการเพิ่มกฎสำหรับบอท AI บน WordPress มีวิธีละเอียดใน robots.txt สำหรับ AI bots

การ์ดสามช่องสำหรับ WordPress ช่องแรกเส้นทางเมนู Rank Math SEO ไป General Settings ไป Edit robots.txt และ Yoast SEO ไป Tools ไป File editor ช่องที่สองเขียนว่าถ้ามีไฟล์จริงในโฟลเดอร์หลัก ไฟล์จริงมักชนะ แก้ผ่าน hosting ช่องที่สามช่อง Discourage search engines ใน Settings Reading พร้อมป้ายว่าตั้งแต่ WordPress 5.3 ใส่ noindex ไม่ใช่ Disallow ด้านล่างมีแถบเตือนห้าม Disallow wp-content และ wp-includes
สามจุดที่ต้องรู้เมื่อแก้ robots.txt บน WordPress: เมนูของปลั๊กอิน ไฟล์จริงที่มักชนะไฟล์เสมือน และช่อง Discourage ที่ใช้ noindex (ภาพจำลอง ไม่ใช่ภาพหน้าจอจริง · ที่มา: Rank Math KB และ WordPress Core 2 ก.ย. 2019)

ความเชื่อเรื่อง robots.txt ที่ล้าสมัยแล้ว (เช็กวันที่ก่อนเชื่อ)

ความเชื่อเรื่อง robots.txt หลายข้อเคยถูกในอดีต หรือไม่เคยถูกเลยแต่ถูกคัดลอกต่อกันมา บทความไทยที่ติดอันดับหลายหน้ายังสอนข้อเหล่านี้อยู่ (เปิดอ่าน 8 หน้า 15 ต.ค. 2026) หนังสืออ้างอิงที่ออกปี 2023 อย่าง The Art of SEO ฉบับที่ 4 ก็ยังพูดถึง robots.txt Tester ซึ่งตอนนี้ต้องใช้รายงาน robots.txt แทน ตารางนี้ใส่วันที่ของการเปลี่ยนแปลงไว้ให้ตรวจเองได้

ความเชื่อความจริง (ณ ต.ค. 2026)ที่มา
robots.txt กันหน้าไม่ให้ขึ้น Googleไม่ใช่ URL ที่ถูกบล็อกยังติด index ได้ ใช้ noindex หรือรหัสผ่านGoogle robots intro (10 ธ.ค. 2025)
ใช้ robots.txt ซ่อนหน้า admin หรือข้อมูลลับไฟล์เปิดให้ทุกคนอ่าน การเขียน path ลับลงไปยิ่งบอกที่อยู่ ไม่ใช่มาตรการความปลอดภัยRFC 9309 (ก.ย. 2022)
ใส่ Noindex: ใน robots.txt ได้Google เลิกรองรับ noindex, nofollow และ crawl-delay ใน robots.txt ตั้งแต่ 1 ก.ย. 2019Google Search Central Blog (2 ก.ค. 2019)
Crawl-delay ทำให้ Googlebot ช้าลงGoogle ไม่รองรับบรรทัดนี้ บอทเจ้าอื่นบางเจ้าอาจใช้สเปก Google (31 ส.ค. 2026)
ทดสอบด้วย robots.txt Tester ใน Search ConsoleTester ถูกปลดเมื่อปลายปี 2023 ใช้รายงาน robots.txt + URL Inspection แทนSearch Engine Land (พ.ย. 2023, ไม่ใช่เอกสาร Google) · Search Console Help (รายงาน robots.txt)
ติ๊ก Discourage ใน WordPress = Disallow: /ตั้งแต่ WordPress 5.3 ใส่ meta noindex แทนWordPress Core (2 ก.ย. 2019)
ทุกคำสั่งใน robots.txt สนตัวพิมพ์เล็กใหญ่ชื่อคำสั่งและชื่อบอทไม่สน แต่ path สนสเปก Google (31 ส.ค. 2026)
robots.txt ช่วยเพิ่มอันดับไม่มีผลกับอันดับโดยตรง เรื่อง crawl budget สำคัญกับเว็บขนาดใหญ่มากเป็นหลักGoogle: Optimize your crawl budget (ดู Technical SEO)
เอกสาร robots.txt ของ Google อยู่ที่ Search Central ทั้งหมดเอกสาร crawling รวม robots.txt ย้ายไป developers.google.com/crawling/ เมื่อ 20 พ.ย. 2025 (เนื้อหาเดิม เปลี่ยนที่อยู่)Google Crawling changelog
ความเชื่อเรื่อง robots.txt ที่ล้าสมัยหรือไม่เคยถูก พร้อมวันที่ที่ Google หรือมาตรฐานเปลี่ยน (ที่มา: ตามคอลัมน์ขวา ตรวจ 15 ต.ค. 2026)
เส้นเวลาแนวนอนห้าจุด ก.ย. 2019 Google เลิกรองรับ noindex ใน robots.txt และ WordPress 5.3 ใช้ noindex แทน Disallow ก.ย. 2022 RFC 9309 เป็นมาตรฐาน ปลายปี 2023 robots.txt Tester ถูกแทนด้วยรายงาน robots.txt 20 พ.ย. 2025 เอกสาร crawling ย้ายไป developers.google.com/crawling 31 ส.ค. 2026 สเปก robots.txt ของ Google อัปเดตล่าสุด
ไทม์ไลน์การเปลี่ยนแปลงของ robots.txt ที่ทำให้คำแนะนำเก่าหมดอายุ ใช้เช็กวันที่ของบทความที่กำลังอ่าน (ภาพจำลอง · ที่มา: Google Search Central Blog 2019, WordPress Core 2019, RFC 9309, Google Crawling changelog, สเปก robots.txt 31 ส.ค. 2026)

แล้ว AI bot ล่ะ ต้องเขียนกฎแยกไหม

กฎสำหรับบอทของ AI ใช้ไวยากรณ์เดียวกับที่สอนในบทความนี้ทุกข้อ รวมถึงกับดักกลุ่ม User-agent แต่การเลือกว่าจะเปิดหรือปิดบอทตัวไหน ขึ้นกับว่าบอทนั้นใช้ข้อมูลไปค้นหาหรือฝึกโมเดล ในข้อมูลของเรามีแค่ 3 จาก 56 ไฟล์ที่พูดถึงบอท AI และไม่มีไฟล์ไหนปิดบอท AI ทั้งเว็บ AI SEO For Dummies บทที่ 22 มองว่าการบล็อกบอท AI แบบเหมารวมไม่ใช่ทางเลือกที่ฉลาดเสมอ รายชื่อบอท ตัวอย่างไฟล์ และวิธีตัดสินใจอยู่ที่ robots.txt สำหรับ AI bots ส่วนไฟล์อีกตัวที่คนสับสนบ่อยอยู่ที่ llms.txt คืออะไร

ใครต้องแก้ robots.txt และข้อควรระวัง

robots.txt เป็นไฟล์ที่เว็บส่วนใหญ่แก้น้อยครั้ง แต่ผิดครั้งเดียวกระทบทั้งเว็บ จึงควรรู้ว่าตัวเองอยู่กลุ่มไหน

  • ไม่ต้องแตะเพิ่ม: เว็บ WordPress หรือเว็บสำเร็จรูปที่ใช้ไฟล์เริ่มต้น มีบรรทัด Sitemap และสถานะในรายงาน robots.txt เป็น Fetched
  • ควรตั้งเพิ่ม: ร้านค้าออนไลน์ที่มีตัวกรองและหน้าค้นหาสร้าง URL จำนวนมาก เว็บที่มีหลายหมื่นหน้า หรือเว็บที่เห็นสถานะ “Discovered – currently not indexed” เยอะใน Search Console
  • ข้อควรระวัง: แก้ทีละน้อยและจดวันที่แก้ไว้ เช็กไฟล์ทุกครั้งหลังย้ายเว็บ เปลี่ยนธีม หรือขึ้นเว็บจาก staging อย่าใช้ robots.txt แทน noindex รหัสผ่าน หรือ canonical และถ้าตั้งกลุ่มเฉพาะชื่อบอท ให้คัดลอกกฎของกลุ่ม * ที่ต้องการลงไปด้วยทุกครั้ง

ถ้าอยากปูพื้นงานค้นหาทั้งระบบทีละขั้นก่อน เริ่มที่ เรียน SEO ฟรีทีละขั้น

robots.txt เป็นส่วนหนึ่งของ technical SEO ขั้นพื้นฐาน บทความนี้เขียนโดยทีม The Missing Piece นำโดย ไอซ์ ศิริพงษ์ จากสเปกและเอกสารทางการของ Google มาตรฐาน RFC 9309 และข้อมูลที่เราเก็บเองจาก robots.txt ของเว็บไทย 56 เว็บที่ติดหน้า 1

อยากให้การเช็ก robots.txt, สถานะ index และ technical SEO ทำงานต่อเองทุกสัปดาห์ ทั้งบน Google และในคำตอบ AI: คอร์ส Agentic SEO & AI Search สอนสด 2 วันด้วย Claude Code (จ. 21 – อ. 22 ธ.ค. 2026) สร้าง agent ที่วัดว่า ChatGPT กับ Gemini พูดถึงแบรนด์คุณไหม แล้วทำงานกับเว็บของคุณต่อทุกสัปดาห์

คำถามที่พบบ่อย

robots.txt คืออะไร

robots.txt คือไฟล์ข้อความที่วางไว้ที่รากของเว็บ เพื่อบอก crawler อย่าง Googlebot ว่า URL ไหนเข้าได้ URL ไหนไม่ควรเข้า ไฟล์นี้คุมการ crawl ไม่ได้คุมการ index ถ้าไม่อยากให้หน้าขึ้นผลค้นหา ให้ใช้ noindex หรือรหัสผ่าน

ไม่มีไฟล์ robots.txt ได้ไหม

ได้ ถ้า robots.txt ตอบ 404 Google ถือว่าไม่มีข้อห้ามและ crawl ได้ทุกหน้า แต่ควรมีไฟล์เพื่อใส่บรรทัด Sitemap และกันส่วนที่ไม่จำเป็น สิ่งที่อันตรายกว่าไม่มีไฟล์คือไฟล์ที่ตอบ 5xx เพราะ Google จะหยุด crawl ทั้งเว็บชั่วคราว

บล็อกหน้าใน robots.txt แล้ว ทำไมยังขึ้นใน Google

เพราะ robots.txt กันแค่การ crawl ถ้ามีลิงก์จากที่อื่นชี้มา Google ยัง index URL นั้นได้แบบไม่มีคำอธิบาย และขึ้นสถานะ “Indexed, though blocked by robots.txt” ใน Search Console ถ้าไม่อยากให้ติด ให้ปลด Disallow แล้วใส่ noindex ให้ Google เห็น ถ้าอยากให้ติด แค่ปลด Disallow

ใช้ robots.txt ซ่อนหน้า admin หรือข้อมูลลับได้ไหม

ไม่ได้ ไฟล์ robots.txt เปิดให้ทุกคนอ่าน และบอทที่ไม่ทำตามกติกาก็เข้าได้อยู่ดี มาตรฐาน RFC 9309 ระบุว่าไฟล์นี้ไม่ใช่มาตรการความปลอดภัย ข้อมูลลับต้องปิดด้วยรหัสผ่านหรือระบบล็อกอิน

robots.txt กับ noindex ต่างกันยังไง

robots.txt บอกว่าอย่าเข้ามาอ่าน ส่วน noindex บอกว่าอ่านได้แต่อย่าแสดงในผลค้นหา ห้ามใช้คู่กันกับหน้าเดียว เพราะถ้า Disallow ไว้ Google จะมองไม่เห็นแท็ก noindex และเพิกเฉยคำสั่งนั้น

แก้ robots.txt แล้วนานแค่ไหน Google ถึงเห็น

Google เก็บไฟล์ไว้และรีเฟรชราวทุก 24 ชั่วโมง ถ้าต้องการเร็วกว่านั้น ให้กด Request a recrawl ในรายงาน robots.txt ของ Search Console การ crawl หน้าที่เพิ่งปลดบล็อกอาจใช้เวลานานกว่านั้น Google ไม่รับประกันว่าจะ crawl ทันที

แหล่งอ้างอิง

  • Google Search Central, Robots.txt Introduction and Guide (last updated 2025-12-10 ตรวจ 15 ต.ค. 2026: ใช้จัดการการ crawl, “not a mechanism for keeping a web page out of Google”, URL ที่ถูกบล็อกขึ้นผลค้นหาได้แบบไม่มีคำอธิบาย, ผลกับหน้า ไฟล์สื่อ และ resource, ไม่ใช่ทุกบอททำตาม)
  • Google Crawling, How to write and submit a robots.txt file (last updated 2025-11-21 ตรวจ 15 ต.ค. 2026: ชื่อไฟล์ ตำแหน่งที่ราก 1 ไฟล์ต่อ protocol host port, UTF-8, path ขึ้นต้นด้วย /, คอมเมนต์ด้วย #, * ไม่รวม AdsBot, ทดสอบด้วยรายงาน robots.txt และ open-source library, Wix และ Blogger)
  • Google Crawling, How Google interprets the robots.txt specification (last updated 2026-08-31 ตรวจ 15 ต.ค. 2026: 500 KiB, cache ไม่เกิน 24 ชั่วโมงโดยทั่วไป, 2xx/3xx/4xx/5xx, field ที่รองรับ 4 ตัว, crawl-delay ไม่รองรับ, กลุ่มเจาะจงที่สุดกลุ่มเดียวไม่รวมกับ *, กลุ่มชื่อซ้ำรวมกัน, path ยาวสุดชนะ เสมอใช้กฎที่จำกัดน้อยกว่า, path สนตัวพิมพ์, * และ $)
  • Google Crawling, Update your robots.txt file (last updated 2025-11-21: รีเฟรชราวทุก 24 ชั่วโมง, Request a recrawl) · Useful robots.txt rules (last updated 2026-06-12) · Changelog (20 พ.ย. 2025: ย้ายเอกสาร crawling จาก Search Central)
  • Google Search Central, Robots meta tag, data-nosnippet, and X-Robots-Tag specifications (last updated 2026-03-24 ตรวจ 15 ต.ค. 2026: noindex, X-Robots-Tag สำหรับ PDF และรูป, คำสั่งจะถูกเพิกเฉยถ้า URL ถูก Disallow, nosnippet และ max-snippet มีผลกับ AI Overviews และ AI Mode)
  • Google Search Central Blog, A note on unsupported rules in robots.txt (2 ก.ค. 2019 เก่ากว่า 2024 แต่เป็นแหล่งต้นทางของกติกาที่ยังใช้: เลิกรองรับ noindex, nofollow และ crawl-delay ใน robots.txt ตั้งแต่ 1 ก.ย. 2019 พร้อมทางเลือก)
  • Search Console Help: robots.txt report (ตรวจ 15 ต.ค. 2026: 20 host แรก, สถานะ fetch, ประวัติ 30 วัน, Request a recrawl, ใช้กับ Domain หรือ URL-prefix ระดับโดเมน) · Page indexing report (ตรวจ 15 ต.ค. 2026: Blocked by robots.txt, Indexed though blocked by robots.txt, Validate fix ราว 2 สัปดาห์) · ไม่สามารถเข้าถึง robots.txt
  • Search Engine Land, Google Search Console adds robots.txt report (พ.ย. 2023: เปิดรายงาน robots.txt และปลด robots.txt Tester)
  • IETF, RFC 9309 Robots Exclusion Protocol (ก.ย. 2022: มาตรฐานของไฟล์, 4xx = ไม่มีข้อห้าม, ไม่ใช่มาตรการความปลอดภัย)
  • WordPress Core, Changes to prevent search engines indexing sites (2 ก.ย. 2019, WordPress 5.3: Discourage ใส่ meta noindex แทน Disallow) · Rank Math, Add sitemaps to robots.txt (เมนู Edit robots.txt)
  • ข้อมูลของ The Missing Piece: robots.txt ของเว็บธุรกิจที่ติดผล organic หน้า 1 Google ประเทศไทยใน 13 คำค้นธุรกิจ (สถานะไฟล์และบรรทัด Sitemap n = 62 เก็บ 5 ต.ค. 2026 · อ่านกฎ n = 56 เก็บ 15 ต.ค. 2026 ขอไฟล์เว็บละ 1 ครั้ง) · Wilson 95% CI · ผลสังเกตเบื้องต้น ไม่เปิดเผยชื่อเว็บ · การเปิดอ่านบทความไทยที่ติดอันดับ 8 หน้า และสังเกต AI Overview คำ “robots.txt” และ “robots.txt คือ” อย่างละ 1 ครั้ง 15 ต.ค. 2026 · ปริมาณค้นหาจาก Ahrefs ประเทศไทย 15 ต.ค. 2026
  • Nathan Gotch, AI SEO For Dummies (Wiley, 2026), บทที่ 2 (crawl → index → rank และไม่ใช่ทุกบอทที่ทำตาม robots.txt) · บทที่ 10 (crawl สองมุมแบบ Googlebot กับบอททั่วไป และหมวดปัญหา robots, noindex, resource ที่ถูกบล็อก) · บทที่ 22 (บล็อก AI crawler ไม่ใช่ทางเลือกที่ฉลาดเสมอ)
  • Eric Enge, Stephan Spencer, Jessie Stricchiola, The Art of SEO, 4th ed. (O’Reilly, 2023), บทที่ 7 (robots.txt, meta robots และ canonical: แยกการคุม crawl ออกจากการคุม index) · บทที่ 10 (ลำดับไล่หน้าที่ไม่ถูก index) · เครื่องมือในเล่มที่ Google เปลี่ยนแล้ว (robots.txt Tester) เช็กกับเอกสารปัจจุบัน

ตรวจข้อมูลล่าสุด: 15 ต.ค. 2026