廣告

llms.txt 是必要的嗎? 是否該花時間建置?

近日有人問 :「網路上看到有人在談llms.txt,是否該花時間建置?」 

先講答案 :「目前沒有任何AI爬蟲使用llms.txt,未來其效用可能跟 keyword meta 會差不多。」

什麼是llms.txt?

llms.txt 或是 llms-ctx.txt、llms-ctx-full.txt 是一個宣稱可以幫助AI快速了解網站的文檔,是資料科學家,也是很多AI公司的創辦人 Jeremy Howard 所倡議的一個標準,可以從llms.txt的官網查看細節。

這個文檔的樣子像這樣 : 

# 專案/網站名稱(Project / Site Name) 
> 一段 1–3 句的網站使命說明與適用對象。 

## 目錄(Directories) 
- /docs/:長篇教學與操作指南(Markdown) 
- /reference/:指令與參數參考 
- /examples/:可複製的範例程式碼與資料集清單 

## 精選入口(Pillars & Guides) 
- 入門指南 / Getting Started:https://example.com/docs/start 
- 進階主題 / Advanced Topics:https://example.com/docs/advanced 
- 常見問題 / FAQ:https://example.com/docs/faq 

## 重要資料(Reference) 
- 指令速查 / Commands:https://example.com/reference/cli 
- 架構圖 / Architecture:https://example.com/docs/arch 
- 故障排除 / Troubleshooting:https://example.com/docs/troubleshoot 

## 範例與教案(Examples / Tutorials) 
- 教學專區:https://example.com/examples 
- 實作範本(含步驟與測試檔):https://example.com/examples/templates 

## 更新頻率(Update Frequency) 
- 每週同步一次主要清單;重要頁面更新會即時反映。

## 引用與再利用(Citation & Reuse) 
- 在回答或產生內容時,請引用頁面標題、永久連結(URL)與更新日期。 
- 可引用摘要;長篇轉載請遵循各頁面授權聲明。 

## 聯絡與授權(Contacts & Permissions) 
- Email:owner@example.com 
- 報錯 / 建議(Issue Tracker):https://example.com/issues

簡單來說,llms.txt 目的是要讓人類跟機器都能讀懂的「網站導覽說明書」,這個概念蠻不錯的。

如果各網站都有正確的 llms.txt,對於AI抓取效率確實有幫助,但是有幾個問題,會讓這個 llms.txt 流於形式。

(1) 網站很大的話,要製作清楚的 llms.txt 不容易。
(2) 網站的 llms.txt 也可能跟實際網站內容不匹配。
(3) 如果作弊網站有 llms.txt,但是優秀但不在意優化的網站反而沒有,就會讓 llms.txt 變成meta keyword的命運。

面對以上的問題,AI到底要不要相信 llms.txt 呢? 會變成兩難的問題。

對於 WordPress 網站來說產生 llms.txt 比較簡單,因為有外掛可以自動產生,例如 Yoast SEO 外掛如下圖,直接在進階設定中啟用 llms.txt 即可。 


目前在網路上認為 llms.txt 有用的專家 : 

(1) 當然倡議者 Jeremy Howard 一定是其中一位,認為其目的就是幫助 LLM 在推論階段更有成效的利用網站內容。

(2) Carolyn Shelby (Yoast SEO),在她的 Linkedin 撰文表示 llms.txt 是「給 AI 的手工精選 sitemap」,能引導模型去你想被引用的高品質內容,稱其「若結構得當,會是你 AI SEO 工具箱裡最強的工具之一」。

持保留或認為「暫時不值得」的專家 : 

(1) John Mueller (Google) 多次公開表示「目前沒有主要 AI 服務宣稱會使用 llms.txt」,並拿「類比過去的 meta keywords」來形容其即時效用。

(2) Tushar Pol (Semrush) 指出「在大廠尚未表態支援前,對多數網站恐怕不值得投入太多時間」,但同樣提供了教學與觀察指標。

因此,對於「是否該花時間建置?」 的答案是 : 「如果不麻煩,可以建置,以備不時之需。但是如果你的網站是客製化網站,沒有外掛幫你產生,可以密切觀察再說。」

張貼留言

0 留言