File robots.txt adalah alat yang ampuh saat meningkatkan SEO situs kamu – tetapi kamu harus menanganinya dengan hati-hati. Ini memungkinkan kamu untuk menolak akses mesin pencari ke file dan folder yang berbeda, Nah disini kamu sebagai client webdesignmurah.web.id akan mendapatkan settingan robots.txt yang ampuh untuk meningkatkan SEO web kamu.

berikut isi file robots.txtnya

sitemap: https://webdesignmurah.web.id/sitemap_index.xml
User-agent: *
# disallow all files in these directories
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Disallow: */trackback/
Disallow: /*?*
User-agent:Mediapartners-Google*
Allow:/
User-agent:Googlebot-Image
Allow:/wp-content/uploads/
User-agent:Adsbot-Google
Allow:/
User-agent:Googlebot-Mobile
Allow:/

jangan lupa ganti webdesignmurah.web.id dengan nama domain / web kamu ya

Selamat Mencoba