robots.txt 文件快速上手-設定Sitemap路徑

在上一篇文章(robots.txt 文件快速上手)中,我們提到了 robots.txt 的基本設定方法,當中包含了為何要建立 robots.txt 以及 如何設定規則,讓搜尋引擎可以快速、正確的抓取網站的內容。除了這些之外,我們還可以做哪些設定,讓搜尋引擎也可以快速的找到特定文件嗎?其實是可以的,接下來我們將一一為大家解密。

在 robots.txt 文件中,可填入哪些額外的資訊呢?

1. Sitemap 的路徑設定

一般而言,Sitemap 位置都會有其固定的放置規範,通常檔案都會至於網站的跟目錄底下,像是:

http://你的網域名稱/sitemap.xml

但這也只是較為普遍的設定,但凡事總有所謂的例外,當 sitemap 文件的路徑沒有合乎所謂的「既定規範」時,就很容易造成搜尋引擎無法對網站正確索引的情況,這時我們就可以倚靠 robots.txt 文件讓搜尋引擎知道 sitemap 的正確路徑並建立其索引,那麼該如何設定呢?請看以下參考:

一般 robots.txt 的寫法:

User-agent: *

Disallow: /search

Allow: /

這時我們可以在 robots.txt 的內容最下面,修改成下列範本(紅字部分):

User-agent: *

Disallow: /search

Allow: /

Sitemap: sitemap所在路徑

結語

這樣的設定方法, 可以讓搜尋引擎在建立索引時,同時抓取到 sitemap 的正確所在位置,加快網站內容索引的建立,也因為索引的快速建立,讓網站內容有更多的機會可以曝光,提升網站的知名度或是增加網站的收入之類的,然而這也只是眾多技巧的其中一項,優質的網站內容才是最好的曝光度。

發表迴響