robots.txt

Arama motoru tarayıcılarına sitenin hangi bölümlerini tarayabileceklerini belirten public dosyadır.

Neden önemli?

Public içerik ile panel ve özel akışların tarama kurallarını ayırır; güvenlik veya erişim kontrolünün yerine geçmez.