robots.txt 模板
要從模板生成 robots.txt 文件,請更改 站點設定:
hugo.
enableRobotsTXT: true
enableRobotsTXT = true
{
"enableRobotsTXT": true
}
預設情況下,Hugo 使用 內建模板 生成 robots.txt。
User-agent: *
遵循 Robots 排除協議的搜尋引擎將此解釋為允許抓取站點上的所有內容。
robots.txt 模板查找順序
你可以使用自訂模板來覆蓋內建模板。Hugo 會根據以下查找順序選擇模板:
/layouts/robots.txt
/themes/<THEME>/layouts/robots.txt
robots.txt 模板範例
layouts/robots.txt
User-agent: *
{{ range .Pages }}
Disallow: {{ .RelPermalink }}
{{ end }}
此模板會生成一個 robots.txt 文件,並為站點上的每個頁面添加 Disallow
指令。遵循 Robots 排除協議的搜尋引擎將不會抓取站點上的任何頁面。