robots.txt는 crawl access 메모이지 sensitive page 제거 도구가 아닙니다

robots.txt rule을 crawl load, generated pages, privacy intent 중 어떤 목적으로 쓰는지 구분하자는 질문.

robots.txt rule을 볼 때 path pattern만 보면 의도를 놓치기 쉽습니다. crawl load를 줄이려는 것인지, generated URL을 정리하려는 것인지, 아니면 sensitive page를 숨기려는 잘못된 시도인지 구분해야 합니다. 저는 robots rule마다 expected indexability, owner, review date, safer alternative를 같이 적는 편이 좋다고 봅니다. 여러분은 robots.txt 검토 때 noindex/password protection으로 바꿔야 하는 케이스를 따로 표시하나요?