技術 SEO 2026年9月4日閱讀時間：約 4 分鐘

Cloudflare AI Bot 封鎖功能可能意外阻擋 Googlebot：香港中小企技術 SEO 緊急檢查指南

最新報告指出，Cloudflare 的 AI Bot Blocking 功能可能意外阻止 Googlebot 爬取網站，導致索引和排名問題。本文為香港中小企提供檢查方法和解決方案。

TL;DR：檢查你的 Cloudflare 設定，確保 AI Bot 封鎖沒有誤傷 Googlebot

最新消息：據 Search Engine Journal 2026 年 9 月初報導，越來越多的網站管理員發現——啟用 Cloudflare 的「AI Bot Blocking」（AI 機械人封鎖）功能後，網站在 Google 搜尋中的索引量顯著下降。進一步調查顯示，Cloudflare 的 AI Bot 防護規則可能意外地將 Googlebot 的某些請求也一併阻擋，導致 Google 無法正常爬取已封鎖的頁面。

對於香港中小企來說，這是一個需要立即檢查的問題。如果你的網站使用了 Cloudflare 的 CDN 或安全服務，你很可能在不自覺的情況下，阻擋了 Google 搜尋引擎訪問你的網站。

1）問題是怎麼發生的？

Cloudflare 在 2026 年推出了加強版的「AI Bot Blocking」功能，目的是幫助網站管理員阻擋 AI 公司（如 OpenAI、Anthropic 等）的爬蟲抓取網站內容訓練模型。這個功能的立意是好的——很多網站不希望自己的內容被免費拿去訓練 AI。

然而，問題出在 Cloudflare 的 Bot 檢測機制上。當 AI Bot Blocking 的規則設定得過於嚴格時，可能會：

將 Googlebot 的請求誤判為 AI Bot——因為 Googlebot 的某些行為模式與 AI 爬蟲相似
阻擋 Google 的 Google Storage API 請求——Google 使用這些 API 來檢查網站內容
影響 Google 的渲染爬蟲——Google 的第二波爬蟲（用於渲染 JavaScript 的 Googlebot）可能被視為可疑流量而被阻擋

最危險的是，很多網站管理員並不知道自己開了這個功能——Cloudflare 的 AI Bot Blocking 可能是透過一鍵啟用的「Security Level」或「Bot Fight Mode」自動開啟的。

2）如何檢查你的 Cloudflare 設定？

如果你使用 Cloudflare，請立即按照以下步驟檢查：

步驟一：登入 Cloudflare 後台

前往 Cloudflare Dashboard，選擇你的網站。

步驟二：檢查 Bot Fight Mode

進入 Security → Bots
查看 Bot Fight Mode 是否已啟用
如果啟用了，檢查是否有設置「Block AI Crawlers」或類似的進階規則
建議：如果不需要，關閉 Bot Fight Mode。如果需要保留，確保你添加了 Googlebot 的白名單規則

步驟三：檢查 WAF（Web Application Firewall）規則

進入 Security → WAF
檢查是否有任何規則針對「User-Agent」或「Bot」進行封鎖
特別注意含有「AI」、「GPT」、「crawl」等關鍵字的規則
確保 Googlebot 的 User-Agent（Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)）沒有被任何規則匹配到

步驟四：在 Google Search Console 中驗證

登入 Google Search Console
進入「網址檢查」工具，輸入你的網站頁面 URL
點擊「測試即時網址」
查看 Google 是否能夠成功抓取頁面。如果出現「無法存取」或「禁止訪問」的錯誤，很可能是 Cloudflare 的設定出了問題

3）正確的 AI Bot 封鎖方法：只封鎖 AI 爬蟲，不影響 Googlebot

如果你仍然想封鎖 AI 爬蟲（這是一個合理的選擇），請使用更精確的方法：

方法一：使用 robots.txt 精準封鎖

在網站根目錄的 robots.txt 檔案中，只封鎖特定的 AI 爬蟲，而保留 Googlebot：

User-agent: GPTBot Disallow: / User-agent: Claude-Web Disallow: /

User-agent: Googlebot Allow: /

注意：目前已知的部分 AI 爬蟲包括 GPTBot、Claude-Web、CCBot 等。但這份清單一直在變化，你需要定期更新。

方法二：在 Cloudflare 中使用精確的 WAF 規則

而不是使用 Cloudflare 的自動 Bot 偵測，手動添加 WAF 規則來封鎖已知的 AI Bot User-Agent：

登入 Cloudflare → Security → WAF
創建一個新規則：如果 (User-Agent contains "GPTBot" OR "Claude-Web") 則封鎖
確保規則中明確排除 Googlebot
使用「模擬（Simulate）」模式先測試，確認 Googlebot 不會被誤傷

方法三：使用 .htaccess 或伺服器層級的封鎖

如果你不熟悉 Cloudflare 的操作，你也可以在伺服器層級直接封鎖 AI Bot：

Apache 伺服器：在 .htaccess 中使用 RewriteCond %{HTTP_USER_AGENT} GPTBot [NC] 規則
Nginx 伺服器：在設定檔中添加 if ($http_user_agent ~* GPTBot) { return 403; }
注意：伺服器層級的封鎖不會影響 Cloudflare 的 CDN 設定，是更安全的做法

4）為什麼這個問題對香港中小企特別重要？

香港中小企使用 Cloudflare 的比例相當高，原因包括：

免費方案功能強大：Cloudflare 的免費 CDN 和 SSL 服務對小型網站非常吸引
香港連線速度快：Cloudflare 在香港有節點，可以加速網站載入
安全防護：對香港常見的 DDoS 攻擊有一定的防護能力

然而，正是因為這些優點，很多香港中小企在啟用 Cloudflare 後就「設定了就忘記」。當 Cloudflare 推出新功能（如 AI Bot Blocking）時，可能在不經意間就默認啟用了，導致網站索引出現問題。

香港市場競爭激烈：在香港本地搜尋結果中，你的網站和競爭對手可能只有幾個名次的差距。如果你的網站因為 Cloudflare 設定問題而被 Google 降低索引量，這可能直接影響你的搜尋排名和業務查詢。

總結：立即檢查你的 Cloudflare 設定

這個問題的解決方案很簡單——確認你的 Cloudflare 設定沒有意外阻擋 Googlebot。

登入 Cloudflare，檢查 Bot Fight Mode 和 WAF 規則
在 Google Search Console 中測試網址抓取
如果發現問題，使用精確的規則只封鎖 AI 爬蟲，保留 Googlebot
設定完成後，在 Search Console 中要求重新索引

記住：封鎖 AI 爬蟲是可以的，但不要因此誤傷了 Googlebot。如果你不確定自己的網站設定是否正確，歡迎與我們的團隊聯絡——我們可以幫你檢查 Cloudflare 設定，確保 Google 可以正常爬取你的網站。