Robots. txt is a text file webmasters create to instruct web robots (typically search engine robots) how to crawl pages on their website. The robots. ... txt files indicate whether certain user agents (web-crawling software) can or cannot crawl parts of a website.
This robots.txt authoring tool allows you to restrict access to files or specific bots. When the file is created Please upload it to the root of your website.
robots.txt คือไฟล์ข้อความที่ผู้ดูแลเว็บสร้างขึ้นเพื่อสั่งให้เว็บโรบ็อต (โดยทั่วไปคือโรบ็อตของเครื่องมือค้นหา) วิธีการรวบรวมข้อมูลเพจบนเว็บไซต์ของตน หุ่นยนต์ ... ไฟล์ txt ระบุว่าตัวแทนผู้ใช้ (ซอฟต์แวร์รวบรวมข้อมูลเว็บ) บางส่วนสามารถหรือไม่สามารถรวบรวมข้อมูลบางส่วนของเว็บไซต์ได้
เครื่องมือในการช่วยสร้าง robots.txt นี้ทำให้คุณจำกัดการเข้าถึงไฟล์ หรือจำกัด Bot ที่ต้องการได้ เมื่อสร้างไฟล์เรียบร้อยแล้ว โปรดอัปโหลดไปยัง Root นอกสุดของเว็บไซต์ของคุณ
