سلام و درود
جهت فایل ربات میتونید از کدهای زیر استفاده کنید:
User-agent: *
Disallow: /cgi-bin/
Disallow: /cdn-cgi/
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-*.php
Sitemap: http://music.ir/sitemap_index.xml
در مورد سوال دوم هم اون دو تا متا که قرار دادید بود و نبودشون توی صفحه فرقی نداره چون تمامی صفحات به صورت پیشفرض index, follow هستند.