你有沒有試過叫 Claude Code 幫你看 IG 上競品發了什麼貼文？或者讓它分析 TikTok 上哪些影片最紅？
結果它回你一句：「我無法存取這個頁面。」
我自己就踩過這個坑。用 Claude Code 做競品研究的時候，叫它去抓 IG、TikTok、Reddit 的資料，每次都碰壁。Web Search 直接報錯，根本看不到網站的內容。
後來才搞清楚，這不是 AI 不夠聰明，而是 Web Search 這個功能本身就有天花板。
今天分享：為什麼 Web Search 會失敗、兩個爬蟲工具怎麼解決、以及怎麼選。
為什麼 AI IDE 的 Web Search 抓不到你要的東西？
三個根本原因：
1. robots.txt 直接擋門
很多網站用 robots.txt 明確禁止 AI 爬蟲進入。Reddit、紐約時報、甚至部分社群平台，門口直接寫著「AI 不准進」。你叫 Claude Code 去讀，人家根本不讓它進。
2. JavaScript 動態載入
社群媒體的內容大多是 JavaScript 動態載入的。你打開 IG，那些貼文是頁面開啟後才跑出來的。AI 的 Web Search 只看得到原始 HTML，動態內容完全看不到。
像你站在餐廳門口，只看到招牌，裡面賣什麼完全不知道。
3. 登入牆
IG、X、TikTok 都要登入才看得到完整內容。Web Search 處理不了需要認證的頁面，所以只能拿到空白或報錯。
解決方法：爬蟲工具的 MCP Server
Firecrawl 跟 Apify 都有官方 MCP Server，裝進 Claude Code 之後，它就不再用受限的 Web Search，而是用專業爬蟲工具去抓網頁。
它們用 headless browser 渲染頁面，像真人一樣打開瀏覽器，等 JavaScript 全部跑完再抓取完整內容。加上代理輪換跟反偵測機制，網站以為是真人在瀏覽。
以前要手動開十幾個網頁一個個看的事，現在一句指令搞定。
Firecrawl vs Apify：定位完全不同
丟一個 URL 進去，自動處理 JS 渲染，回傳乾淨的 Markdown，AI 直接就能讀。用 AI 理解頁面內容，不靠 CSS selector，網站改版也不怕壞。GitHub 8 萬多顆星，覆蓋 96% 的網頁。
15,000 多個現成爬蟲（叫 Actors），想抓 IG profile、TikTok 數據、Google Maps 評價，都有人寫好了，直接用，不用自己寫任何爬蟲邏輯。
讓 AI 讀網頁做研究 → Firecrawl；抓特定平台結構化數據 → Apify。兩個都有 MCP Server，都能直接接 Claude Code 跟 Cursor。
定價跟隱藏成本
免費額度要知道：Firecrawl 免費 500 credits，但那是終身額度不是每月，用完就沒了。Apify 每月 $5 USD credits，夠測試幾次。
穩定使用的話，Firecrawl 最低 $16/月（3,000 credits），Apify 最低 $29/月。
- Firecrawl 的 AI 結構化提取（/extract）另外按 token 收費，不算在 credits 裡
- Apify 有 compute units 加 proxy 費用，帳單可能比預期高
- 兩家的 credits 都不滾存，當月用不完就浪費
但說實話，用它們一定比自己寫爬蟲划算。自己建爬蟲，初期開發 2-4 週，之後每週 5-10 小時維護。有開發者說每週大概 10-15% 的爬蟲會因為網站改版失效。一個團隊自建爬蟲系統每年成本 $80,000-$150,000 USD。
結論：從「手動查資料」升級為「AI 自動抓」
AI 讀不到就自己開網頁手動查，反正也不是天天要用
花 5 分鐘設定一次 MCP，之後所有網頁研究都讓 AI 自動完成
工具越強大，你要做的事就越少。但前提是你知道怎麼把工具串起來。