سلام من مقالاتی رو در مرد سئو و robot.txt خونده بودم ، که در مورد robot.txt بسیار تاکید شده بود که تگها ایندکس نشن ، اما در دو افزونه all in seo و Yoast تگ ها ایندکس می شن . به robot.txt سایت دانلود ها و چندین سایت وردپرسی نگاه کردم که بصورت زیر عمل کرده بودند، همچنین سایت جناب فخار User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://url.com/sitemap.xml.gz روبوت ها رو نگاه کنید http://www.downloadha.com/robots.txt http://www.irangrand.ir/robots.txt http://www.naghola.co