robots.txt 文件

robots.txt file

當檢索器到達您的網站時,它們會自動抓取 robots.txt 文件。此文件應包含用於機器人的命令,例如哪些頁面應該或不應該編制索引。它的格式必須正確,以確保搜索引擎可以抓取並且讀取它。

如果您不想對某些內容建立索引,例如私人內容或重複內容的頁面,只需在 robots.txt 文件中使用相對應的規則即可。

有關此類規則的更多資訊,請訪問 robotstxt.org 網站了解更多。

值得注意的是,放置在 robots.txt 文件中的命令更像是建議,而不是機器人遵循的絕對規則。任誰也無法保證某些不聽話的檢索機器人不會檢查您不允許的內容。因此,如果您的網站上有任何秘密或敏感內容,robots.txt 並不是將其與公眾隔離的一種方法。

就算您的網站上有可用的有效 robots.txt 文件,也不能保證搜索引擎將會快速、正確地將其編入索引。

首先,必須正確設置文件本身,以免誤將一些重要內容排除在索引之外。檢查無法建立索引的資源,以查看搜索引擎關閉了您網站上的哪些內容。

接下來,為了確保最重要頁面的快速索引編制,您還應該檢查 xml.sitemap 的可用性。

藍眼知識學院

蘊藏許多助人的知識與智慧。

關注藍眼知識學院