แจกของฟรี

มีไฟล์เอกสารบางอย่างบนเว็บ ไม่อยากให้ search engine เก็บไปเลย ทำยังไงดี เราสามารถสั่งให้  Search engine เข้าบางพื้นที่หรือไม่ให้เข้าบางพื้นที่ของ server  เราได้แค่ สร้างไฟล์เพื่อบอกว่าเราอนุญาตให้เข้าตรงไหนบ้าง เป็นการป้องกันไม่ให้ search engine  เข้าไปเก็บข้อมูลแล้วคนนอกสามารถค้นหาข้อมูลของเราได้ครับ

 สร้าง robots.txt เพื่อกันไม่ให้ search engine เข้าโครงสร้างเว็บของเรา วิธีการแค่สร้างไฟล์ robots.txt ขึ้นมาแล้วเอาไปไว้ที่ public_html แค่นี้เองครับ
 แล้วเราจะสั่ง Search Engine อย่างไรว่า ห้ามเก็บข้อมูลของเรานะ
 User-agent: * - บอกว่า search engine ใด ๆ ก็ตามที่มาถึงหน้าเว็บเรานะ ถ้ารู้ชื่อก็ระบุลงไป
 Allow: /wp-admin/admin-ajax.php - อนุญาตให้เข้า Folder หรือ Directory นี้ได้
 Disallow: /wp-admin/ - ไม่อนุญาตให้เข้า Folder นี้นะ
 Disallow : *.pdf - ไม่อนุญาตให้เก็บไฟล์ที่นามสกุลลงท้ายด้วย PDF ทั้งหมด ในกรณีที่เรามีทิ้งไฟล์ PDF ไว้บน server
 Disallow : *.xls - ไม่อนุญาตให้เก็บไฟล์ที่นามสกุลลงท้ายด้วย xls,xlsx ทั้งหมด ในกรณีที่เรามีทิ้งไฟล์ excel ไว้บน server
 Disallow : *.doc - ไม่อนุญาตให้เก็บไฟล์ที่นามสกุลลงท้ายด้วย Doc, Docx ทั้งหมด ในกรณีที่เรามีทิ้งไฟล์ word ไว้บน server


ที่มา: http://blog.webwithwp.com/control-robots-txt-file/