Robots.txt Oluşturucu

Web siteniz için özelleştirilmiş robots.txt dosyası oluşturun. Arama motoru botlarının sitenizi nasıl taraması gerektiğini kontrol edin.

User Agents

Hangi arama motoru botlarının sitenizi taramasını istediğinizi belirtin.

Kurallar

Botların hangi sayfalara erişip erişemeyeceğini belirleyin.

Sitemap URLs

Site haritanızın konumunu arama motorlarına bildirin.

Crawl Delay

Botların sayfalarınızı tarama sıklığını belirleyin.

(opsiyonel)