TheAIBot

TheAI 的網路爬蟲

TheAIBot 是 TheAI（theai.tw） 的網路爬蟲。TheAI 是台灣的 AI 助理服務，背後的模型代號「阿里山（Alishan）」。為了讓阿里山更懂台灣、用詞更道地，TheAIBot 會收集公開的台灣網路內容作為學習素材，服務台灣使用者。

TheAIBot/1.0 (+https://api.theai.tw/bot)

我們如何抓取

• 遵守 robots.txt：包含 Crawl-delay，你不歡迎的路徑我們不碰。
• 慢速禮貌：同一網站最少間隔數秒才抓一頁，不造成負擔。
• 只收台灣內容：以 .tw 及台灣網站為主，國際內容不在範圍。
• 只讀公開頁面：不登入、不填表、不碰需要授權或個人資料的頁面。

不想被抓取？

在你網站根目錄的 robots.txt 加入以下規則，我們會停止抓取：

User-agent: TheAIBot
Disallow: /

只想擋部分路徑，把 / 換成該路徑即可（例如 Disallow: /members/）。規則生效前正在進行的抓取會在下次讀取 robots.txt 後停止。

聯絡我們

對 TheAIBot 有任何問題、或希望調整抓取行為，請來信 hi@theai.tw。