Robots.txt generator - oluşturma

Robots.txt nedir, ne işe yarar:

Web sitenizin tamamını ya da belirli kısımlarının botlar tarafından indexlenmemesini, site haritasını otomatik olarak bulmasını sağlayan bir text belgesidir. Arama motorlarının indeksleme robotları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar.

Robots.txt dosyasını ana dizinde olmalıdır. Ör: www.celilsaygin.com/robots.txt