Report | AI Security, 2026 (Traditional Chinese)

Report | AI Security, 2026 (Traditional Chinese)

Report | AI Security, 2026 (Traditional Chinese)

Check Point 研究

AI SECURITY 報告 2026 年

CHECK POINT AI 報告 • 第 2 版年度版

目錄 01

簡介

02 由人工智慧驅動的 網路攻擊

03 針對人工智慧的攻擊: 人工智慧作為攻擊面

04

數位身分面臨威脅

05 資料外洩與企業人 工智慧暴露

06 專為人工智慧打造的安全性。 由人工智慧提供的安全性。 借助人工智慧提供的安全性。

07

2026 年資安長建議

簡介

簡介 當人工智慧揮別輔助角色並開始自主運作 一年前,我們將人工智慧描述為網路攻擊者的戰力倍增器:其讓現 有的攻擊手法變得更快、成本更低且更易於取得。在過去 12 個月 裡,我們蒐集到的證據則講述了一個更重要的故事。

人工智慧已融入了即時攻擊鏈中。我們記錄了人工智慧自主執行利 用工作流程的入侵事件,在數十個工作階段中生成了數千條命令, 而人類的指導卻微乎其微。我們分析了一款由單一開發人員在不到 一週的時間內製作完成的惡意軟體,其品質水準讓我們的研究人員 起初以為是由多人團隊耗時數月開發而成。我們觀察到犯罪集團大 舉入侵政府機構,並將人工智慧作為主要操作者,而不僅僅是背景 輔助工具。在大多數情況下,揭露人工智慧在攻擊中扮演角色的關 鍵之處,在於攻擊者自身的操作失誤或人工智慧供應商的監控, 而非受害組織偵測或採取的任何防禦措施來捕獲它。

這種轉變至關重要,因為其改變了防禦者需要考量的因素。曾經將 有能力的攻擊者和其他攻擊者區隔開的專業壁壘正在穩步縮減, 而如今人工智慧輔助作業產出的產物,正是這種縮減程度強而有力 的證據。

本報告的另一部分則著重於內部觀察。採用人工智慧的組織正在生 成一個大多數安全團隊仍在努力理解的暴露面。高風險的生成式人 工智慧提示則在過去的一年中增加了一倍。現在,平均每個組織每 月運作 10 個人工智慧應用程序,其中許多應用程式的運作均未經過 任何正式的核准流程。目前採用的模型和基礎設施本身便存在攻擊 面,而圍繞其的安全實踐並沒有跟上採用速度。

接下來的 4 章內容會以 Check Point 研究的事件、遙測資料,以及 過去 12 個月的原創案例研究為基礎。您將閱讀的內容均為已發生事 件的記錄,並為未來預期發展奠定了基礎。

Lotem Finkelstein

副總裁,Check Point 研究

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

04 2026 年 AI SECURITY 報告

由人工智慧驅動的 網路攻擊

由人工智慧驅動的網路攻擊 在過去的 12 個月中,公開報導和實際事件顯示,人工智慧幾乎在 網路攻擊鏈的每個階段都發揮了作用:社交工程、惡意軟體開發、 即時入侵支援、構建攻擊者工具和脆弱性研究。攻擊技術本身大多 是我們熟悉的。有所改變的是,人工智慧目前可於幾分鐘內完成過 去需要經驗豐富的攻擊者歷時數小時,甚至數日才能完成的工作, 且所需成本和專業知識相較過往也大幅降低。

Anthropic 針對濫用情況的分析支持了此模式:攻擊者使用人工智慧 進行初始存取的次數減少,更多地是在入侵後利用人工智慧自行完 成後續操作,尤其是在入侵後活動中。構成最大風險的攻擊者並非 擁有最先進工具的攻擊者,而是那些已掌握如何協調人工智慧串聯 多個攻擊階段而無需親自干預的攻擊者。

為達成上述這些目標,攻擊者首先需要取得可用的人工智慧功能, 並移除其安全控制措施。

攻擊者如何存取人工智慧功能

攻擊者透過三種途徑獲取人工智慧能力,這三種途徑在過去一年中 皆有所成熟,儘管成熟程度不盡相同:

濫用商業模式,無論是透過合法方式存 取,或透過竊取的憑證獲得存取權限, 仍然是實務上最常見的途徑。

部署自託管的開源模型可避免審核和供應商 記錄,但目前仍是理想大於實務。

購買專為惡意服務而打造的存取權限一度達 到高峰,之後隨著地下市場對其品質越來越 抱持懷疑的態度而隨之衰落。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

06 2026 年 AI SECURITY 報告

https://www.anthropic.com/news/AI-enabled-cyber-threats-mitre-attack

濫用商業模式 最簡單的途徑也是最受歡迎的方式:使用 ChatGPT、Gemini 或

Claude 等日常工具,並繞過其安全規則。攻擊者會將惡意請求拆解 為較小、看似無害的步驟,首先會要求人工智慧解釋某種技術,然 後再要求提供實際程式碼,並傾向選擇使用安全規則最薄弱的主流 工具。我們所知的許多資訊多數來自人工智慧公司本身:Google 的 威脅情資團隊已記錄國家支持和犯罪分子濫用 Gemini 進行偵察、誘 騙開發和工具製作的情況,而 Anthropic 和 OpenAI 也通報了對其自 身人工智慧的類似濫用情況。

存取權限也可能被輕易竊取。人工智慧工具的登入憑證如今已成蓄 意竊取的目標,竊取者通常從開發人員意外暴露在外的 .env 設定檔 中批次提取憑證。一項名為「Bissa Scanner」的攻擊活動,便從超 過 3 萬個此類暴露文件中竊取了 Anthropic、OpenAI、Google 和其 他幾家供應商的人工智慧登入資訊,其中人工智慧帳戶是遭竊取憑 證中最常見的類型。同一犯罪集團也利用人工智慧本身來輔助實施 攻擊(請參閱「人工智慧作為即時攻擊操作員」)。遭竊取的登入 憑證最終流入一個名為「LLMjacking」(LLM劫持)的轉售市場, 犯罪分子購買他人的人工智慧帳戶存取權限,既能節省成本,也能 偽裝成合法帳戶持有者,而非他們自己所為。

自託管開源模型 第 2 種途徑是自託管免費的開源人工智慧模型(Qwen、Kimi 等), 並在攻擊者自身的基礎結構上執行,而非透過商業供應商路由請 求。此舉可避開人工智慧公司可能實施的任何安全檢查、帳號封鎖 或活動記錄。在犯罪論壇中,也出現越來越多關於此方法的討論。

在實務上,現實情況與討論並不相符。嘗試過此方法的攻擊者回 報,這些自行運行的模型表現較差、錯誤較多,且需要昂貴的電腦 硬體與微調才能達到可用標準。因此,大多數操作者已回頭使用功 能更強大且易於取得的主流商業工具,而不顧使用這些工具所帶來 的風險。

惡意「DarkGPT」服務的興衰 第 3 種途徑是購買專為犯罪活動打造的人工智慧工具的使用權限, 例如 WormGPT 及其眾多模仿者,此類工具沒有任何限制。在過去 的一年中,此市場經歷了興衰:地下使用者的報告指出,這些 「暗網大型語言模型」(僅供犯罪分子使用)工具的技術薄弱, 主要被低技能犯罪分子而非專業營運商使用。而 WormGPT 本身遭 攻擊,導致超過 19,000 名付費使用者的付款資訊外洩,讓其聲譽跌 至谷底。儘管新的廉價版本仍層出不窮,例如託管於 Tor 網路上的

DIG AI,但大多數真正的犯罪活動已重新轉向前 2 種途徑。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

07 2026 年 AI SECURITY 報告

https://cloud.google.com/blog/topics/threat-intelligence/adversarial-misuse-generative-ai https://www.anthropic.com/news/detecting-countering-misuse-aug-2025 https://cdn.openai.com/threat-intelligence-reports/5f73af09-a3a3-4a55-992e-069237681620/disrupting-malicious-uses-of-ai-june-2025.pdf https://thedfirreport.com/2026/04/22/bissa-scanner-exposed-ai-assisted-mass-exploitation-and-credential-harvesting/ https://socradar.io/blog/wormgpt-the-blueprint-for-malicious-ai/ https://socradar.io/blog/wormgpt-the-blueprint-for-malicious-ai/

案例研究: 「The Gentlemen」— 單一團體,解決所有存取問題

The Gentlemen 是一個以經濟利益為目的的勒索軟體即服務組織,截至 2026 年 5 月,已公布的受害者超過 330 人。Check Point 研究 對該組織通訊內容的分析顯示,用該組織自己的話來說,攻擊者是如何看待人工智慧的:

該使用哪種人工智慧工具:其偏好限制較少的中國商業人工智慧工具(DeepSeek、Kimi、Emi、Qwen)。其中一位成員推薦了一套運 行於「移除所有障礙的 Qwen 3.5…零拒絕。毫無任何限制」的設定。其真正的問題並非使用商業工具還是本機工具,而是哪種商業工 具的安全防護機制最薄弱。

自託管其自身的人工智慧仍處於理論階段: 該組織曾討論在竊取的資料上執行本機模型,但也承認其不知該如何進行。

人工智慧可建立工具,但技能才能駕馭它:該團體的管理員在人工智慧的協助下,僅用 3 天便為其營運打造了「Glocker」管理工具, 同時也提醒了其他成員:「你們仍需了解自己在做什麼。」

此案例之所以值得探討,正是因為它非常普通:一個普通的中等規模犯罪集團,使用了任何人均可存取的相同主流人工智慧工具, 在沒有本機替代方案的情況下,卻取得了實際成果。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

08 2026 年 AI SECURITY 報告

https://research.checkpoint.com/2026/thus-spoke-the-gentlemen/

越獄:從巧妙的提示到永不過期的繞過機制

無論透過何種途徑取得模型,在其執行攻擊者想要的操作前,都必 須先移除其安全規則,此過程被稱為越獄。經典的方法是使用巧妙 的提示,誘使人工智慧忽略自身規則。一種名為「回音室」 (Echo Chamber)的流行技術,透過一系列看似無害的小問題引導 模型輸出被禁止的內容,而非直接要求輸出,其成功率超過 90%, 足以破解多種主流人工智慧工具。但這些單次提示越獄方法越來越 脆弱:人工智慧公司會不斷修復漏洞,且幾乎是立即封鎖遭濫用的 帳戶。

更大且更持久的轉變是結構性的:攻擊者不再費心使用巧妙的提 示。而 Claude Code 和 Cursor 等人工智慧編碼代理程式則會在每次 工作階段開始時,自動讀取特定檔案(例如 CLAUDE.md),並將其 中寫入的內容視為權威指令,在未經審查的情況下於每次工作階段 開始時自動載入。這代表攻擊者僅需在其中一個檔案中植入一次越 獄指令,該人工智慧代理程式在未來的所有工作階段均會自動繼承 此繞過機制,無需新的提示。在墨西哥政府資料外洩事件(將於本 章稍後描述)中,攻擊者正是這麼做的:將駭客指令貼入

CLAUDE.md 一次,之後的每次工作階段均會遵循該惡意行為,無需 進行新的越獄。目前,此類現成的 CLAUDE.md 越獄套件已於犯罪 論壇上販售。

惡意軟體開發中的人工智慧

人工智慧在惡意軟體開發中的角色已從實驗性轉變為實際應用階 段。它具有 2 種截然不同的使用方式。在第 1 種且更常見的模式 中,人工智慧在開發階段建構惡意軟體,負責編寫和精煉程式碼, 但完成後的程式並不包含人工智慧,且在執行期間表現得與其他惡 意軟體無異,因此人工智慧的參與在事後是不可見的。在第 2 種較 罕見的模式中,惡意軟體在受害者的機器上運行時會與人工智慧模 型進行通訊,利用其生成新指令或即時重寫自身的程式碼。

人工智慧建構的惡意軟體已迅速成熟。2024 年底,Check Point 研究 發現一個名為 FunkSec 的勒索軟體即服務組織,很可能利用人工智 慧幫助建構其加密工具,讓經驗相對不足的開發人員可產出超越其 技能水準的作品。到了 2025 年中,OpenAI 下架了「ScopeCreep」 ,這是一個使用 ChatGPT 反覆編寫並除錯 Windows 惡意軟體的俄 語攻擊者。到了 2026 年初,人工智慧建構的惡意軟體已趨於成熟: 最明顯的例子為 VoidLink,這是一個由單一開發人員使用商業人工 智慧開發環境建構的專業級攻擊框架。此模式目前已出現於犯罪組 織和國家級駭客組織之間。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

09 2026 年 AI SECURITY 報告

https://neuraltrust.ai/blog/echo-chamber-context-poisoning-jailbreak https://neuraltrust.ai/blog/echo-chamber-context-poisoning-jailbreak https://gambit.security/blog-posts/a-single-operator-two-ai-platforms-nine-government-agencies-the-full-technical-report https://research.checkpoint.com/2025/funksec-alleged-top-ransomware-group-powered-by-ai/ https://cdn.openai.com/threat-intelligence-reports/5f73af09-a3a3-4a55-992e-069237681620/disrupting-malicious-uses-of-ai-june-2025.pdf https://research.checkpoint.com/2026/voidlink-early-ai-generated-malware-framework/

一名開發人員在 不到 1 週的時 間內,便編寫了 88,000 行功能齊 全的命令和控制 惡意軟體。

這些僅是眾多例子中的其中幾個。與巴基斯坦有聯繫的組織

Transparent Tribe(APT36)在針對印度政府系統的人工智慧 「組裝線」上大規模生產一次性惡意軟體。一個與俄羅斯有關的組 織(追蹤為 GREYVIBE)利用 ChatGPT 和 Gemini 構建了定制惡意軟 體,用於針對烏克蘭的行動,而 Check Point 研究則記錄了朝鮮的 「KONNI」組織使用人工智慧為 Windows 生成 PowerShell 後門。

這種更罕見、更先進的模式,即在受害者的電腦上主動運行時調用 大型語言模型的惡意軟體,目前也已在野外出現。首個已知範例於

2025 年中期通報,為烏克蘭電腦緊急應變小組(CERT-UA)於 2025

年 7 月通報與俄羅斯有關的 LAMEHUG 惡意軟體。LAMEHUG 透過

Hugging Face 應用程式開發介面查詢人工智慧模型「Qwen」,以按 需生成其程式碼。PromptLock 則被稱為首個「人工智慧驅動的勒索 軟體」,其工作原理相同,儘管兩者都相處於概念驗證階段,而非 大規模應用階段。

人工智慧也能建構本身並非惡意軟體的攻擊者工具,例如支援攻擊 的腳本和實用應用程式等功能。這種參與通常在最終產品中是不可 見的,因此分析師目前應該預設人工智慧在某處參與其中,而非等 待找到相關證據。人工智慧可加快技術熟練攻擊者的攻擊速度, 但其無法取代人類有效使用該工具仍需要的判斷力。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

10 2026 年 AI SECURITY 報告

https://businessinsights.bitdefender.com/apt36-nightmare-vibeware https://www.withsecure.com/en/resources-hub/w-labs/greyvibe/ https://research.checkpoint.com/2026/konni-targets-developers-with-ai-malware/ https://cert.gov.ua/article/6284730

案例研究: VoidLink - 人工智慧建構的惡意軟 體跨越了門檻

2026 年 1 月,Check Point 研究發布了VoidLink,這是一個 複雜的模組化 Linux 命令和控制(C2)框架,具備強大的隱 蔽性和持久性,並擁有超過 30 個可於入侵後使用的後利用 擴充功能。其品質最初表明它是由一個多人團隊耗時數月開 發的。然而,開發人員的一次失誤,卻意外暴露了其工作流 程,揭示了另一個真相:它是由一人使用 TRAE SOLO

(一款商業化的人工智慧編碼工具)編寫的,並遵循了嚴格 的流程:先編寫詳細的規範,再讓人工智慧進行實作、測試 和精煉程式碼。最終,在不到 1 週的時間內,便編寫出了大 約 88,000 行可運行的程式碼。

VoidLink 清楚地提出了 2 點。首先,人工智慧輔助開發目前 可生產可用於實際應用的惡意軟體,而不僅僅是粗略的概念 驗證。其次,更重要的是,最終程式碼中並無任何跡象表明 人工智慧參與其中;這僅僅是因為開發人員犯了一個與此無 關的安全錯誤而被發現。

人工智慧作為即時攻擊操作員

人工智慧已從準備攻擊轉變為執行攻擊。2025 年 11 月,Anthropic

揭露了 GTG-1002,這是一項與中國有關的間諜活動,這是一起與中 國有關的間諜活動,據稱其自主研發的 Claude Code 系統處理了該 活動中 80% 至 90% 的戰術工作(包含偵察、利用、憑證蒐集、橫向 移動和資料分類),目標組織大約 30 家。此揭露並未包含任何入侵 跡象,因此難以進行獨立驗證。

在 2026 年 4 月報告的墨西哥政府資料外洩事件中,一名受經濟利益 驅動的攻擊者大規模運行了相同的架構(請參閱下文)。在 Bissa

Scanner 行動中,人工智慧距離實際利用僅一步之遙:Claude Code

和開源的 OpenClaw 助手作為攻擊者的工作環境,用於讀取掃描器 程式碼庫、精煉蒐集管線,並於大規模利用活動中優先取得高價值 存取權限(關於憑證竊取方面,請參閱「攻擊者如何存取人工智 慧」)。

另一個表明人工智慧能即時做出操作決策的跡象為,在一起有記錄 的事件中,一個自主代理在不到 1 小時內便完成了後利用的活動, 並竊取了一個資料庫。此外,人工智慧已用於大規模入侵的多個階 段,攻擊者曾利用 DeepSeek 和 Claude 協同攻擊,在全球範圍內攻 破 FortiGate 裝置。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

11 2026 年 AI SECURITY 報告

https://research.checkpoint.com/2026/voidlink-early-ai-generated-malware-framework/ https://www.anthropic.com/news/disrupting-AI-espionage https://thedfirreport.com/2026/04/22/bissa-scanner-exposed-ai-assisted-mass-exploitation-and-credential-harvesting/ https://www.google.com/search?q=https://www.sysdig.com/blog/ai-agent-at-the-wheel-how-an-attacker-used-llms-to-move-from-a-cve-to-an-internal-database-in-4-pivots%23timeline https://cyberandramen.net/2026/02/21/llms-in-the-kill-chain-inside-a-custom-mcp-targeting-fortigate-devices-across-continents/

這種將人工智慧代理作為操作員的模式也被打包為開源框架,任何 人均可下載和重複使用。其中一款名為 RAPTOR 的工具,則是由一 群合法的安全研究人員於 2025 年底發布的工具,其將 Claude Code

變成了一個自主攻防代理。 RAPTOR 本身為合法的研究工具,能像 利用程式一樣輕鬆地生成補丁,但其將同樣的代理作為操作員的工

案例研究: 墨西哥政府資料外洩事件

自 2025 年 12 月下旬至 2026 年 2 月中旬,一名攻擊者入侵了墨西哥 9 個政府機構,外洩了大約 4 億筆記錄,涵蓋稅務、民事登記、 車輛、病患和選舉資料。研究人員從攻擊者的伺服器上還原了整個攻擊過程:1,088 條輸入指令在 34 個獨立的工作階段中,生產了

5,317 條由人工智慧執行的命令。

攻擊者同時使用了 2 款人工智慧工具:Claude Code 用於主動入侵並探索網路,GPT-4.1 則用於自動分析竊取的資料,隨後將指令回饋 給更多的 Claude 工作階段。當 Claude 最初拒絕協助攻擊時,攻擊者便將一份滲透測試速查表張貼至 CLAUDE.md 檔案中。因此,後 續的每個工作階段均繼承了此繞過機制,無需重複進行越獄。如同本章中的其他案例一樣,本次的人工智慧介入之所以曝光,是因為攻 擊者自身的失誤,而非受害者察覺有異。

作流程打包為公開、授權寬鬆的代碼,此舉便引起了犯罪團伙的注 意。從防禦者的角度來看,其展現了與越獄中類似的設定即控制模 式。該代理的行為幾乎完全由 Markdown 設定定義,而非編譯後的 程式碼。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

12 2026 年 AI SECURITY 報告

https://research.checkpoint.com/2026/ai-threat-landscape-digest-january-february-2026/ https://gambit.security/blog-posts/a-single-operator-two-ai-platforms-nine-government-agencies-the-full-technical-report

人工智慧賦能的犯罪工具市場

上述功能逐漸被打包為現成的產品出售,因此買家無需任何人工智慧技 能。最明顯的例子為 EvilTokens,這是一個商業化的網路釣魚即服務平 台,其將大型語言模型管線直接整合至攻擊工作流程中。虛假的登入網 頁則竊取受害者的訪問憑證,然後 Groq 託管的 Llama 模型會自動掃描 遭竊取的電子郵件帳戶以取得財務信息,並撰寫一封模仿受害者寫作風 格、極具說服力的詐騙郵件,而 GPT-4o-mini 則負責翻譯。越獄功能 已內建於平台中:由平台業者編寫一次,每個付費客戶均會自動繼承。 配套模組會植入虛假的日曆邀請,讓詐騙請求看起來像是事先安排 好的。

這如今已發展為一整類犯罪產品,而不僅僅是一種工具。Bluekit

是另一款網路釣魚工具包,其內建了人工智慧助手,可自動為超過

40 個平台建立虛假登入頁面,並支援繞過多因素身分驗證(MFA)。 在電話詐騙方面,一個名為 ATHR 的平台則銷售全自動的人工智慧語音 代理,用於大規模竊取憑證和一次性密碼,無需人工呼叫。常見的模式 為「越獄即產品」:人工智慧工具、安全繞過程序和交付方式捆綁在一 起,作為單一產品出售,讓技術水準極低的人員也能運行複雜、多步驟 的詐騙程序。

人工智慧在脆弱性研究與壓縮修補視窗中的 應用

人工智慧目前在程式碼推理方面已足夠出色,可加快雙方的進程: 在安全缺陷被利用前發現它們,以及在漏洞被修復前找到利用它們 的方法。從發現缺陷到部署修復之間的時間視窗正在雙向縮短。

在防禦方面,這些收穫是真實存在的。作為內部研究計畫 「Glasswing」的一部分,Anthropic 尚未發布的 Claude Mythos 模 型在運作的第 1 個月內,便自主發現了超過 10,000 個跨主要作業系 統和瀏覽器的高嚴重性和關鍵嚴重性零日脆弱性。然而,攻擊者也 能使用同樣功能:Google 的威脅情資小組通報了首個專為大規模利 用而建構的人工智慧輔助零日漏洞攻擊。其他研究則顯示,當前的 前沿模型能大規模產生有效的零日利用攻擊。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

13 2026 年 AI SECURITY 報告

https://www.google.com/search?q=https://blog.sekoia.io/new-widespread-eviltokens-kit-device-code-phishing-as-a-service-part-1/ https://hackread.com/calphishing-eviltokens-kit-outlook-invites-m365/ https://hackread.com/bluekit-phishing-kit-targets-platforms-mfa-bypass-attack/ https://hackread.com/calphishing-eviltokens-kit-outlook-invites-m365/ https://www.anthropic.com/glasswing https://www.google.com/search?q=https://cloud.google.com/blog/topics/threat-intelligence/ai-vulnerability-exploitation-in-initial-access https://cybersecuritynews.com/new-study-shows-gpt-5-2-can-reliably/

實際的影響體現於速度。由於攻擊者現在可於漏洞揭露後的數小時 內,將其轉化為可用的攻擊手段,也讓脆弱性揭露和利用之間的時間 差正在迅速縮短。為此,美國網路安全暨基礎設施安全局(CISA)發 布了一項具有約束力的指令,要求聯邦民事機構在漏洞揭露後的

3 天內修復部分高風險脆弱性。印度網路安全機構 CERT-In 更進一步 建議各組織在發現漏洞後的 12 小時內,立即隔離並修補其最關鍵、 面向互聯網的系統。一年前,這種時間要求聽起來似乎不切實際。

脆弱性發現變得越來越成本低廉且近乎自動化。真正的瓶頸在於人類 審核和部署修復程序的速度。程式碼品質則加劇了此問題:相當大比 例由人工智慧生成的程式碼均存在安全缺陷(請參閱第 5 章)。

案例研究: Claude Mythos/Project Glasswing (人工智慧與修補視窗的比較)

Anthropic 的 Project Glasswing 使用尚未發布的前沿模型

Claude Mythos Preview 尋找並修復關鍵軟體中的脆弱性。 在第 1 個月內,其便自動識別了超過 10,000 個跨越所有主 要作業系統和瀏覽器的高嚴重性和關鍵嚴重性零日漏洞, 並在大約 83% 的案例中,首次嘗試即成功製作出可運作的 利用程式。

Anthropic 刻意不公開發布此模型,擔心其會遭濫用,但已 開放給少數受信任的組織存取,並承諾提供 1 億美元的使用 額度。當發現這些缺陷變得如此廉價且快速時,誰能更快採 取行動便可率先搶佔先機:是能以機器速度進行修補的防禦 者,還是能取得同樣強大人工智慧的攻擊者。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

14 2026 年 AI SECURITY 報告

https://www.cisa.gov/news-events/directives/bod-26-04-prioritizing-security-updates-based-risk https://cybersecuritynews.com/cert-in-asks-patch-vulnerabilities-12-hours/ https://cybersecuritynews.com/cert-in-asks-patch-vulnerabilities-12-hours/

針對人工智慧的攻擊: 人工智慧作為攻擊面

針對人工智慧的攻擊: 人工智慧作為攻擊面 上一章探討了攻擊者手中的人工智慧。本章則轉向以人工智慧系統作為目標。過去的一年來,各組織將人工智慧嵌入電子郵件、文件、程式 碼、瀏覽器和核心業務工作流程中,讓其得以存取敏感資料,並代表組織採取行動。隨著人工智慧軟體的應用範圍不斷擴大,其本身也成為了 攻擊面,且其擴張速度遠超過了安全防護的速度。針對人工智慧堆疊的攻擊主要有 2 個基本原因。

01 人工智慧獨有 語言模型將其指令和正在處理的資料視為一個連續的文字區 塊,兩者之間並無明顯界限。這代表原本僅作為資料的內容 (例如文件或網頁的文字),最終可能會被當作命令來讀取 和執行。本章中的大多數攻擊均源於此單一弱點:用隱藏指 令欺騙人工智慧(提示注入)、濫用受信任的設定(設定濫 用)以及逐步破壞人工智慧記憶的內容(執行期間投毒)。

02 一般軟體風險 人工智慧工具本質上仍是軟體,因此它們繼承了任何軟體所 具備的所有常見弱點。由於人工智慧的採用速度極快,這些 舊有的弱點現在顯現的速度比以往任何時候都快;而人工智 慧代理會自行運作、持有超出所需的存取權限,並在幾乎沒 有人工預先檢查的情況下安裝及信任新元件,這使得情況變 得更加惡化。這第二個原因正是本章稍後所述針對人工智慧 基礎設施與軟體供應鏈攻擊的背後主因。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

16 2026 年 AI SECURITY 報告

提示注入:操控模型行為

這種情況有 2 種形式。直接注入是指攻擊者直接輸入指令來覆蓋 模型本身的規則,這也是大多數越獄攻擊的原理。間接提示注入 則是將惡意指令隱藏於人工智慧讀取的外部內容中,例如電子郵 件、網頁、日曆邀請或文件。間接注入通常被認為更危險,因為 其針對的是運行於不受信任的外部內容上的代理,且可能僅需較 少的直接互動即可成功。其造成的損害程度完全取決於人工智慧 代理被授予的存取權限和特權。Check Point AI Security 將此歸類 為系統設定方式的問題,而非任何單一人工智慧模型的缺陷。

Check Point AI Security 研究已彙整出反覆出現的技術手法如下:

角色扮演: 讓人工智慧不受任何限制地採用一個虛構角色, 並利用角色扮演完全繞過其安全規則

混淆與詞元走私: 以自動化安全篩選工具無法識別或偵測的方式偽 裝惡意指令

多回合操控: 攻擊是透過多個訊息逐步建構而成,而非直接發 出請求,如此一來便不會有單一提示觸發拒絕

上下文劫持: 重寫人工智慧對話的記憶,逐步引導其行為朝不 同的方向發展

多語言攻擊: 切換至人工智慧安全訓練較不完善的語言,利用 不同語言覆蓋範圍不均的漏洞

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

17 2026 年 AI SECURITY 報告

https://www.lakera.ai/blog/the-year-of-the-agent-what-recent-attacks-revealed-in-q4-2025-and-what-it-means-for-2026 https://www.lakera.ai/blog/indirect-prompt-injection https://www.lakera.ai/blog/guide-to-prompt-injection

Check Point AI Security 研究也發現,在 2025 年底審查的攻擊中, 攻擊者最常見的目標是提取系統提示,以揭示人工智慧的角色定 義、工具描述和政策邊界。

過去一年,這些攻擊已從概念驗證階段逐步發展為例行應用階段。 一項研究掃描了 12 億個網址,並從中發現大約 15,300 個間接注入 有效負載被植入公共網頁,其中大約 70% 隱藏於未渲染的 HTML

中,即使用者通常無法看見的網頁部分,例如標頭、註釋和中繼資 料。這些攻擊的動機各不相同。有些為簡單的破壞行為,旨在利用 人工智慧技術使其故障或產生垃圾資料。另一些則關乎商譽,旨在 操縱工具以更正面的方式描述產品或公司。

而且,幕後黑手並非總是駭客;普通的行銷人員、出版商和網站所 有者也正悄悄地為人工智慧工具留下指令,這些工具目前代表使用 者瀏覽網路。其他研究則證實了 10 起針對詐騙、資料破壞和應用程 式開發介面(密鑰竊取)的實際案例。Check Point AI Security 遙測 資料也印證了這一點:雖然短惡意有效負載的檢測率基本上保持穩 定,但大型有效負載的檢測率卻急劇上升,在 3 月至 5 月間增長了 近 5 倍,並於 5 月份接近了所有檢測量的 1%。由於大型有效負載更 常見於內容型攻擊和代理型攻擊,此模式表明間接提示注入已成為 實際存在的威脅,而不僅僅是理論上的威脅。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

18 2026 年 AI SECURITY 報告

https://www.lakera.ai/blog/the-year-of-the-agent-what-recent-attacks-revealed-in-q4-2025-and-what-it-means-for-2026 https://arxiv.org/abs/2604.27202 https://www.forcepoint.com/blog/x-labs/indirect-prompt-injection-payloads

圖 2.1 — 按負載大小劃分的惡意提示偵測率。

按月統計的中位數提示偵測率 短與長有效負載

1.0%

0.8%

0.6%

0.4%

0.2%

0%

1 月 2 月 3 月 4 月 五月

中 位

數 偵

測 率

( %

短有效負載 長有效負載

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

19 2026 年 AI SECURITY 報告

隨著代理工作流程變得越來越普遍,其處理的提示也越來越多地包 含大量外部內容:網頁、文件和其他工具的輸出。間接注入正隱藏 於此類內容,因此隨著越來越多組織採用這些人工智慧代理,它們 便直接擴大攻擊面。

人工智慧驅動的網路瀏覽器是一種新型產品,其在使用者已登入的 工作階段中運行,因此面臨最大的風險。受毒害網頁或邀請函可利 用使用者的登入憑證進行操作。在一項受控測試中,研究人員使 用一個惡意日曆邀請函誘騙 Perplexity 公司的 Comet 瀏覽器外洩使 用者儲存的密碼。在另一項測試中,同類型的瀏覽器在不到 4 分鐘 的時間內便完成了一整套網路釣魚流程,且無需人工干預。儘管這

2 項測試均為受控測試,但消費者早已掌握這種底層功能。 2026 年 3 月至 5 月期間,偵測 到的長惡意提示 注入有效負載增 加了大約 5 倍。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

20 2026 年 AI SECURITY 報告

https://hackread.com/pleasefix-flaw-hackers-1password-vault-comet-ai-browser/

代理式供應鏈: 模型上下文協定與設定濫用

人工智慧代理透過 2 種它們被設計為自動信任的事物來擴展其觸及 範圍:模型上下文協定(MCP)伺服器,其將代理連接至外部工具 和服務;以及項目設定文件,代理則在打開專案時讀取這些文件。

案例研究: Claude Code 專案檔案作為執行層(Check Point 研究)

Check Point 研究發現,受編碼代理信任的設定檔可能被用作傳播惡意程式碼的途徑。在單一脆弱性(CVE-2025-59536)中,隱藏於 專案檔案(.claude/settings.json)中的設定會在人工智慧開啟專案時,立即執行攻擊者的命令,甚至在開發人員看見該檔案前便已生 效;而相關的路徑(.mcp.json)則可於使用者完全沒有收到任何惡意伺服器的情況下無聲啟動伺服器。在另一個脆弱性(CVE-2026-

21852)中,攻擊者可悄悄地將開發人員的工作階段重新導向至其控制的伺服器,進而捕獲登入權杖和存取金鑰,並於任何人看見任何 安全警告前,攻破整個團隊的共享工作區。

在這 2 種情況下,入侵途徑均為軟體供應鏈:嵌入在拉取請求中的受毒害設定檔、設置陷阱的蜜罐儲存庫,或被攻破的程式碼庫。 雖然這 2 個缺陷均已修復,但其利用的底層設計模式 — 一種自動信任並加載開發人員機器上專案文件的代理,也被其他一些流行的 編碼工具(例如 Cursor、Windsurf 和 GitHub Copilot)採用,導致問題變得更普遍,即使修復也無法徹底解決。數月後,一種在野外 傳播的惡意蠕蟲病毒證實了這種風險並非紙上談兵,而是在機器間傳播的過程中,永久植入了 Claude Code 和其他編碼工具(請參閱 「編碼工具軟體供應鏈」)。

先前我們展示了攻擊者如何利用受信任檔案,將自身的代理從人工 智慧的安全限制中移除。同樣的自動信任機制可能會轉化為攻擊他 人的武器:如果受害者開啟的專案中被植入了受毒害設定檔,便可 能會在受害者毫無察覺的情況下,損害其自身的人工智慧代理。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

21 2026 年 AI SECURITY 報告

https://blog.checkpoint.com/research/check-point-researchers-expose-critical-claude-code-flaws/

這並非僅限於單一供應商的問題:Google 在同一時間修復了 Gemini

CLI 中的一個最高層級的遠端程式碼執行缺陷,Cursor 也出現了類 似問題。

MCP 生態系統目前正引起網路攻擊者的注意。一種名為 GlassWorm

的自我傳播型惡意軟體,利用開發人員擴充程式中難以察覺的不可 見 Unicode 字元進行隱藏,並透過將自身複製至 150 多個程式碼庫 的 MCP 軟體套件中傳播,甚至使用人工智慧工具編寫提交資訊, 讓其與程式碼融為一體。此類蠕蟲越來越頻繁地攻擊人工智慧工具 鏈本身,在傳播過程中注入 MCP 伺服器,並竊取應用程式開發介面 金鑰。請參閱下文「供應鏈」部分中最具影響力的案例。

即使是受信任文件,也可能意外洩漏機密資訊。Check Point AI

Security 研究發現,Claude Code 會將開發人員核准的命令保存至 本機設定檔案(.claude/settings.local.json)。在預設情況下,當 開發人員公開共享程式碼時,Node 套件管理器(NPM)不會排除 該檔案的發布。有時,這些已儲存的命令則會包含開發人員本身的 登入憑證。研究人員掃描了大約 46,500 個已發布的代碼套件,發現 其中 428 個套件的本機設定檔被意外發布,而在這 428 個套件中, 大約有 13 分之 1 包含了真實的登入憑證(NPM 權杖、GitHub 和

428 / 46,500 已發布的套件被發現意外洩露了本機 Claude Code 設定檔 案 — 其中大約有 13 分之 1 包含有效憑證。

40% 在 Check Point AI Security 研究審查的 10,000 個 MCP 伺服 器中,發現存在安全性弱點。

Hugging Face 金鑰)。此外,Check Point AI Security 研究在審查的

10,000 台 MCP 伺服器中發現了 40% 的安全弱點,這凸顯了該領域 仍存在的巨大安全隱患。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

22 2026 年 AI SECURITY 報告

https://thehackernews.com/2026/04/google-fixes-cvss-10-gemini-cli-ci-rce.html https://www.koi.ai/blog/glassworm-hits-mcp-5th-wave-with-new-delivery-techniques https://www.lakera.ai/blog/your-ai-coding-assistant-just-shipped-your-api-keys https://www.checkpoint.com/press-releases/check-point-softwares-2026-cyber-security-report-shows-global-attacks-reach-record-levels-as-ai-accelerates-the-threat-landscape/

針對人工智慧基礎架構的攻擊

本節涵蓋了針對人工智慧系統的常見且熟悉的攻擊技術,例如將服 務暴露於網際網路、薄弱的身分驗證,以及具有已知漏洞的軟體。 這些技術並不新穎,但在此處的影響卻是人工智慧獨有,因為其暴 露的是組織的提示、憑證、人工智慧模型和內部工作流程。

大部分的人工智慧堆疊均為普通基礎設施:模型伺服器、推理框 架、協調叢集和代理控制面板。如前所述,由於對自託管模式的追 捧,導致該基礎設施的主要部分快速組裝,安全性相對較弱。因 此,這些傳統攻擊手法也成為最常被主動利用的攻擊方式之一。

暴露的模型伺服器是最明顯的例子。Ollama 中的一個嚴重缺陷,被 暱稱為「Bleeding Llama」,導致大約 300,000 台面向網際網路的伺 服器將提示、金鑰和環境變數洩漏給少數幾個應用程式開發介面呼 叫。GreyNoise 記錄了在單一季度內大約 91,000 次探測大型語言模 型部署的攻擊工作階段。

暴露的基礎設施也被重新利用為攻擊基礎設施:ShadowRay 2.0 攻 擊活動劫持了不安全的 Ray 叢集來挖掘加密貨幣。在底層技術堆疊 中,不安全的反序列化仍普遍存在,研究人員在 Meta、Nvidia 和

Microsoft 的推理框架中發現了遠端程式碼執行漏洞。代理層如今也 暴露了自身的控制面板,數千個 OpenClaw 和 Moltbot 控制面板可透 過開放網路存取,且容易遭接管。這些攻擊全都利用了人工智慧周 邊的普通基礎設施;無需模型便能做出不良行為。

知識層投毒

投毒會破壞模型所知或檢索的內容,而非其如何被提示。與影響目 前環境的即時注入內容不同,投毒可能會持續至工作階段結束。 投毒有 2 種截然不同的形式且經常被混淆,但其區別在於誰可實施 投毒,以及投毒從理論至實踐的發展程度。

第 1 種形式是透過在公共網路上散布內容來大規模毒害知識,而這 些內容隨後會被模型透過訓練或檢索吸收。實際上,絕大多數此類 攻擊都是由國家級駭客組織負責實施。據估計,Pravda 網路(也被 稱為 Portal Kombat)於 2024 年透過大約 150 個網站發布了 360 萬 篇文章,旨在將親俄敘事灌輸並植入人工智慧系統;一項針對 10 款 主流聊天機器人的稽核發現,它們大約 3 分之 1 的時間都在重複這 些敘事,研究人員將此策略稱為「大型語言模型誘導」。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

23 2026 年 AI SECURITY 報告

https://www.cyera.com/research/bleeding-llama-critical-unauthenticated-memory-leak-in-ollama https://www.greynoise.io/blog/threat-actors-actively-targeting-llms https://www.oligo.security/blog/shadowray-2-0-attackers-turn-ai-against-itself-in-global-campaign-that-hijacks-ai-into-self-propagating-botnet https://www.oligo.security/blog/shadowmq-how-code-reuse-spread-critical-vulnerabilities-across-the-ai-ecosystem https://www.wiz.io/blog/exposed-moltbook-database-reveals-millions-of-api-keys https://www.newsguardtech.com/special-reports/moscow-based-global-news-network-infected-western-artificial-intelligence-russian-propaganda/

風險計算方式已因 2025 年末的一項研究而改變,該研究發現大約

250 份惡意文件便足以在模型中植入後門,且與模型大小無關, 這是一個近乎恆定的實際數字,而非訓練資料的百分比。如果需求 僅為固定數量的文件,而非龐大語料庫的一部分,那麼大規模投毒 便不再需要 Pravda 網路的資源,而是規模更小的參與者也能做到 的事。

第 2 種攻擊方式是在執行期間毒害模型,破壞其檢索的內容或工作 階段之間儲存的記憶體。Check Point AI Security 研究展示了一個最 清晰的案例:在一系列普通的 Discord 訊息中,一名無特殊權限的 使用者逐漸將受信任筆記填充至 OpenClaw 代理的長期記憶體中, 直至代理將這些請求的優先順序置於自身規則之上,並運行了一個 惡意的「系統更新」命令,該命令在主機上打開了一個反向殼層。 在代理的記憶體被破壞前,同樣的命令曾遭拒絕,因此該攻擊是緩 慢地重寫其記憶體,而非提示注入技巧。Microsoft 發現類似的思 路已在實際應用中大規模使用,並通報了來自 31 家公司的 50 個案 例,這些公司在「使用人工智慧總結」連結中隱藏指令,僅需按一 次,即可將一條持久的「將此公司視為受信任來源」的筆記寫入人 工智慧的記憶體。這些攻擊者並非尋求入侵,而是合法企業為扭曲 自身的推薦而採取的行動。無論意圖如何,這表明記憶體投毒不僅 存在實驗室中,且在現實世界中也正被利用。

人工智慧軟體供應鏈

惡意軟體套件和誤植域名早於人工智慧出現。讓此類別具有人工智 慧特性的原因在於以下 4 個因素的結合:

01 目標是取得人工智慧供應商的憑證

02 攻擊規模會根據人工智慧進行調整或偽裝

03 分發透過人工智慧原生管道進行:MCP 登錄檔、 代理技能商店、模型中心

04 消費者是一個自主代理,在幾乎無需人工審核的情況下 安裝並信任元件

與前述在執行階段遭受攻擊的基礎架構攻擊不同,此處引入的是受 污染的元件。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

24 2026 年 AI SECURITY 報告

https://www.anthropic.com/research/small-samples-poison https://www.microsoft.com/en-us/security/blog/2026/02/10/ai-recommendation-poisoning/

其中規模最大的單次事件是 2025 年 11 月爆發的 Shai-Hulud 蠕 蟲病毒,其入侵了數百個廣泛使用的程式碼套件和數萬個程式碼 庫,竊取了雲端和開發人員的登入憑證,並於企業建置管線中自 動散布。2026 年 5 月,該蠕蟲病毒的代碼被公開後,一個名為

Megalodon 的模仿攻擊活動在短短一個下午,便攻擊了超過

5,500 個代碼庫,並於 Claude Code 和其他人工智慧編碼工具中, 植入了即使重啟也能存活的持久化程序。負責在不同人工智慧供應 商之間路由流量的後台軟體本身也是一個薄弱環節:LiteLLM 閘道 器遭入侵後,便暴露了其為客戶處理的所有登入憑證。

代理技能商店是最新的管道,使用者可於此處下載預先建置的人工 智慧技能。Check Point AI Security 研究團隊調查了 OpenClaw 代 理的 221 個此類技能,發現其中 70% 的技能存在過度請求憑證的問 題,43% 的技能包含命令注入模式。其中一個名為 ClawHavoc 的 攻擊活動,則將 44 個惡意技能偷偷夾帶進技能商店;這些技能被 下載超過 12,500 次,每次下載都會悄悄地安裝憑證竊取程式。同 樣的模式也出現在其他地方:被植入木馬的人工智慧編碼擴充功能 竊取了大約 150 萬名開發人員的程式碼;Hugging Face 上一個偽裝 成「OpenAI 隱私篩選器」的模型被下載了 244,000 次,之後研究人 員發現其安裝了惡意程式;一個被主動利用的 Langflow 缺陷也被列 入了 CISA 的已知利用目錄中。

我們預計,2 項新發展將讓明年更具挑戰性。本章中風險最高的 2 類 ──代理式供應鏈和人工智慧基礎設施,也是目前企業最缺乏透明 度的領域。隨著人工智慧代理從使用者選擇安裝的應用程式,轉變 為作業系統和硬體本身的內建元件,整個攻擊面即將成為預設值。 在 2026 年的 Build 開發人員大會上,Microsoft 便宣布計劃將人工 智慧代理直接整合至 Windows 系統中,並與 OpenClaw 結合使用, 計劃於 2026 年底全面推出。而在同一時間,Nvidia 則發布了用於 裝置端代理的 RTX Spark 超級晶片,將從 2026 年秋季開始整合至

Dell、HP、Lenovo、Asus、MSI 和 Microsoft 的 Windows 筆記型電 腦和桌上型電腦中。OpenClaw 生態系統已因惡意技能和暴露的控制 面板而遭濫用,而其即將部署至全球絕大多數的電腦上,因此本文 所述的每一個弱點,都將對更多使用者產生影響。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

25 2026 年 AI SECURITY 報告

https://www.wiz.io/blog/shai-hulud-2-0-ongoing-supply-chain-attack https://labs.cloudsecurityalliance.org/research/csa-research-note-shai-hulud-megalodon-supply-chain-cascade/ https://www.trendmicro.com/en_us/research/26/c/inside-litellm-supply-chain-compromise.html https://www.lakera.ai/blog/the-agent-skill-ecosystem-when-ai-extensions-become-a-malware-delivery-channel https://www.hiddenlayer.com/research/malware-found-in-trending-hugging-face-repository-open-oss-privacy-filter https://www.cisa.gov/news-events/alerts/2026/03/25/cisa-adds-one-known-exploited-vulnerability-catalog https://blogs.windows.com/windowsdeveloper/2026/06/02/windows-platform-security-for-ai-agents/ https://nvidianews.nvidia.com/news/nvidia-microsoft-windows-pcs-agents-rtx-spark

數位身分面臨威脅

2025 年 AI Security 報告從 2 個層面分析了生成式身分威脅:首先 是使用的媒體類型(文字、音訊、視訊),其次是其生成方式的演 變,從離線(預先錄製)到即時再到完全自主。我們發現,幾乎所 有組合都不僅僅是理論上的設想,因為每一種組合都已在實際事件 中出現,或被當作犯罪工具在市場上出售。唯一尚未出現的例外, 則是完全自主的互動式視訊。

數位身分面臨威脅 在前幾章中,我們討論了人工智慧既可作為武器,也可作為目標。 本章則轉向探討人工智慧因具備大規模偽造逼真的人類身分之能 力,對人與人之間的信任造成影響。從歷史上看,熟悉的聲音、視 訊通話中的面孔、政府頒發的身分證件或現場對話,都可作為證明 某人身分真偽的合理證據。生成式人工智慧則打破此假設。如今, 聲音、臉孔、文件和即時互動,都能以低成本和逼真的方式進行合 成。在過去的一年中,人工智慧偽造技術已發展至經常被納入犯罪 活動中。結論是無可避免的:用於遠距離辨識個人的訊號(聲音、 臉孔、文件、即時視訊)早已無法再被視為身分證明。

用於遠端辨識個人的訊號,無論是聲音、臉孔、 文件或即時視訊,早已無法再被視為身分證明。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

27 2026 年 AI SECURITY 報告

https://www.google.com/search?q=https://research.checkpoint.com/2025/state-of-ai-in-cyber-security/

媒體類型 離線生成 即時生成 完全自動化

圖 3.1 — 依媒體類型和成熟度劃分的生成式身分威脅(Check Point 研究,2025 年)。

在過去的 12 個月中,這些功能之中有幾項已從「可用」轉變為「普遍」。以下案例均來自公開報導,展示了各種媒體類型如今如何被用於偽造 身分。

文字 預先渲染的腳本或電 子郵件 即時生成回應 生成式AI的全互動對話

音訊 預先錄製的冒充 即時語音操控 完全由人工智慧驅動 的對話音訊

影片 預先製作的深度偽 造影片 即時換臉或影片變更 完全自動化、人工智慧

生成的互動式影片

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

28 2026 年 AI SECURITY 報告

語音 語音是首個被商品化的識別管道。如今,任何人都能從一小段語音 樣本中複製目標人物的聲音,無需任何專業知識,且在過去的一年 中,此技術已被用於針對特定目標。語音詐騙技術日趨成熟發展, 如今已作為現成服務出售。研究人員記錄了 ATHR 平台,該平台利 用人工智慧語音代理引導目標使用者完成預先編寫的帳戶恢復通 話,進而竊取其一次性密碼,讓單一操作員可同時進行多場憑證竊 取對話。ATHR 針對 Google、Microsoft 和Coinbase 等知名品牌的客 戶進行此類活動,全程無需人工呼叫。

影片 預先錄製的深度偽造影片於 2025 年曾引起廣泛關注。過去一年,即 時換臉技術在視訊通話中已廣泛應用,並被國家級駭客組織和工業 化的詐騙集團利用。據報導指出,與北韓相關聯的 UNC1069 組織利 用人工智慧生成的深度偽造視訊通話,並劫持 Telegram 帳戶,透過 社交工程手段誘騙加密貨幣目標使用者交出其憑證。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

29 2026 年 AI SECURITY 報告

https://abnormal.ai/blog/athr-ai-voice-phishing-toad-attacks https://cloud.google.com/blog/topics/threat-intelligence/unc1069-targets-cryptocurrency-ai-social-engineering

同樣的技術目前已進一步散布至犯罪供應鏈的下游,東南亞的詐騙 園區僱用「人工智慧模型」在戀愛和投資詐騙電話中操作即時換臉 軟體,將人工智慧生成的面孔與幕後真人操作員的面孔融合在一 起。其規模之大足以引起執法部門的協調行動:歐洲警方則 搗毀了一個利用名人和新聞媒體的深度偽造視頻在社群媒體上引誘 受害者參與虛假投資計畫的網絡,並洗錢超過 7 億歐元。除了換 臉之外,詐騙的其他環節也已實現自動化:研究人員追蹤到超過

23,000 個域名,這些域名將受害者引誘至聊天群組中,而人工智慧 聊天機器人則冒充財務顧問,以極少的人工干預維持一場謀劃已久 的投資詐騙。

合成身分與繞過 KYC 驗證 當銀行或應用程式依賴照片、掃描的身分證件或快速自拍影片來驗 證使用者身分時,人工智慧生成的虛假身份目前均可輕鬆繞過這 些驗證。銀行和加密貨幣交易依賴的身分驗證機制正被頻繁地被 繞過。OnlyFake 服務則進一步印證了這一點,其業者承認在美國 和大約其他 56 個國家/地區出售超過 1 萬張人工智慧生成的虛假 身分證件,這些證件讓全球客戶能透過銀行和加密貨幣交易所的 認識你的客戶(KYC)驗證。世界經濟論壇的《網路犯罪地圖集》 (Cybercrime Atlas)收錄了部分專門用於繞過這些遠端身分驗證的 工具,其透過替換虛假人臉或將虛假視頻直接傳輸至驗證攝影機來 達成目的;一款惡意軟體專門蒐集了受害者的面部生物特徵,用於 欺騙銀行的人臉驗證系統;而已使用偽造人工智慧身分通過驗證的 銀行、金融科技和加密貨幣帳戶,現在正於 Telegram 上公開販售。

適用於存取的合成角色 今年最嚴重的身分威脅並非一起冒名頂替事件,而是一起完整的招 募詐騙行動。北韓擴大了利用人工智慧偽造身分、履歷和人物的行 動規模,讓自身特工以遠端 IT 工作人員的身分被西方公司僱用, 進而將偽造的身份轉換為公司內部真實、合法的訪問權限。

一個名為 Jasper Sleet 的朝鮮關聯組織利用生成式人工智慧技術掃 描招募資訊,篡改竊取的身分證明文件,並制定足以透過人力資源 篩選的虛假身分,最終進入企業內部系統。該組織的規模及其政府 支持現已得到正式認可:2024 年,美國財政部對 6 名個人和 2 個實 體實施制裁,因為其與一個朝鮮關聯的 DPRK IT 工作者網絡組織有 所關聯,該組織利用虛假身分在美國公司獲取職位,為朝鮮政權的 武器項目籌集了近 8 億美元。資金流向浮上檯面純屬偶然,僅因一 名操作人員不慎將資訊竊取程序感染了自己的電腦,才導致外洩了 每月大約 100 萬美元回流至北韓政權的記錄。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

30 2026 年 AI SECURITY 報告

https://www.malwarebytes.com/blog/news/2026/03/scam-compounds-hiring-ai-models-to-seal-deal-in-deepfake-video-calls https://www.europol.europa.eu/media-press/newsroom/news/international-takedown-of-cryptocurrency-fraud-network-laundering-over-eur-700-million https://www.europol.europa.eu/media-press/newsroom/news/international-takedown-of-cryptocurrency-fraud-network-laundering-over-eur-700-million https://www.justice.gov/usao-sdny/pr/creator-onlyfake-charged-and-pleads-guilty-selling-more-10000-digital-fake https://reports.weforum.org/docs/WEF_Unmasking_Cybercrime_Strengthening_Digital_Identity_Verification_against_Deepfakes_2026.pdf https://www.google.com/search?q=https://specopssoft.com/blog/top-password-credential-stealing-malware https://www.microsoft.com/en-us/security/blog/2025/06/30/jasper-sleet-north-korean-remote-it-workers-evolving-tactics-to-infiltrate-organizations/ https://home.treasury.gov/news/press-releases/sb0230 https://cybernews.com/security/north-korean-hacker-detonates-malware-on-own-pc-exposing-1m-a-month-it-worker-scam/

經過訓練的超級 辨識器僅能正確 辨識 41% 的由人 工智慧生成的臉 部影像為偽造影 像。一般觀眾僅 辨識出 30%。

身分作為失效的信任錨點 遠端驗證身分變得越來越困難。聲音、面孔、文件,甚至即時互 動,現在都能逼真地偽造,因此任何一項均無法單獨作為身分證 明。在一項對照研究中,即使是訓練有素能識別偽造面孔的人員, 也僅能正確識別大約 41% 由人工智慧生成的面孔。一般觀眾的辨識 率則僅為 30% 左右。實際上,這代表身分驗證需要轉向人工智慧更 難偽造的領域:透過獨立、受信任管道進行確認、使用安全的數位 憑證,並採用更強大、更難欺騙的即時驗證機制。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

31 2026 年 AI SECURITY 報告

https://bpspsychub.onlinelibrary.wiley.com/doi/10.1111/bjop.70063

案例研究: 如同《楚門的世界》翻版的詐騙,由人工智慧生成的現實

Check Point 研究記錄了一起投資詐騙行動(追蹤代號為 OPCOPRO),其手法不只是冒充某個人,而是圍繞受害者捏造出一個完整的 虛假世界。目標受害者會透過簡訊和廣告被誘導加入 WhatsApp 或 Telegram 群組,群組約有 90 名成員,但幾乎全是假的:由人工智 慧生成的人物假扮成金融 "專家" 和其他投資人,使用在網路上毫無歷史紀錄的個人檔案照片,且訊息的發送時機和措辭都顯示其為機 器生成。這些群組會以偽造圖表展示每日虛假的 "獲利交易",而配套行動應用程式——當時可於 Google Play 和 App Store 下載——則只 是沒有任何真實交易功能的空殼。遠端伺服器會偽造每一筆餘額和結果,這意味著受害者所看到的一切都不是真實的。

該行動至少營運了 5 個品牌網站,這些網站於 2025 年 8 月至 12 月間註冊,並以多種語言流暢運作。這起詐騙之所以值得關注,在於 其完全未使用任何傳統惡意軟體:這些應用程式的表現便像合法軟體,而這場攻擊完全依賴人為建立的信任,而非技術層面的入侵。 隨著建立受信任身分、內容和軟體的成本持續下降,這些詐騙越來越像合法的數位企業。

社交工程已演變為多管道攻擊 這些身分攻擊並非孤立發生,而是推動社交工程攻擊更廣泛的轉 變。 Check Point 發布的《2026 年網路安全報告》(2026 Cyber

Security Report)指出,社交工程攻擊將成為 2025 年的主要攻擊 手段,其攻擊範圍已從電子郵件擴展至涵蓋電話、即時通訊應用程 式、Microsoft Teams 和 Slack 等辦公室通訊工具、虛假網站和真 人冒充等多種管道的協同攻擊活動。曾被視為小眾技術的多管道社 交工程攻擊,如今已成為標準做法,且為今年一些最具破壞性資

料外洩事件的核心,例如 Scattered Spider 對 Marks & Spencer 和

Jaguar Land Rover 的攻擊,以及 ShinyHunters 針對 Salesforce 客 戶的電話攻擊活動。光是語音詐騙,FBI 估計損失超過 2.5 億美元。 生成式人工智慧透過消除品質、語言和規模方面的障礙,讓這些攻 擊變得更有效。如今,複製的聲音、深偽影片、偽造文件和虛構身 分,都可結合成一場無縫的攻擊,從初次互動開始便取得受害者的 信任。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

32 2026 年 AI SECURITY 報告

https://blog.checkpoint.com/mobile/the-truman-show-scam-trapped-in-an-ai-generated-reality/ https://research.checkpoint.com/2026/cyber-security-report-2026/

資料外洩與企業人工智慧 暴露

資料外洩與企業人工智慧暴露 前面的章節介紹了人工智慧作為武器、目標和冒充工具的應用方 式。本章則將焦點轉向內部,探討公司每天輸入人工智慧工具的資 料,以及這些資料在暴露方面帶來的代價。

數字:採用率與暴露 自 2025 年 10 月至 2026 年 5 月,企業對生成式人工智慧的應用明顯 趨於成熟。員工持續地將多種生成式人工智慧工具融入日常工作流 程中,各組織平均每月使用 10 種不同的人工智慧應用程式。 Check Point 的資料顯示,從個人層面來看,每位使用者的平均提示 次數從 2025 年 12 月的 56 次增加至 2026 年 5 月的 70 次,在此期間 增加了 25%。生成式人工智慧已從一項新興技術發展為組織生產力 不可或缺的一部分,並嵌入多個業務職能中。

從安全角度來看,這種成長的影響是重大且持續的。每月有 87% 至

93% 的組織至少發生過一次高風險的生成式人工智慧互動,這代表 敏感資料外洩的風險並非僅限於少數組織。這儼然已成工作中普遍 使用人工智慧的一部分。

87–93% 的組織每月至少經歷一次高風險的生成式人工智慧互動。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

34 2026 年 AI SECURITY 報告

高風險提示(即包含敏感企業、個人或受監管資料,並與外部人工 智慧服務共享的提示)的比例從期初的 2% 上升至期末的 4%,這實 際上讓透過日常生成式人工智慧使用而外洩敏感資訊的基準風險增 加了 1 倍。簡單來說,這代表高風險提示的比例從大約每 50 次互動 中出現 1 次,轉變為每 25 次互動中出現 1 次。在接下來的幾個月 裡,此一比率趨於穩定,但資料顯示各組織機構已達到了與人工智 慧相關的資料外洩風險新基線,且基線較以往更高。

高風險生成式人工智 慧提示在一年內從 2% 增加 1 倍,達到 4%, 而組織現在平均每月 運行 10 個不同的人工 智慧應用程式。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

35 2026 年 AI SECURITY 報告

區域分析揭示了企業在生成式人工智慧風險暴露方面存在的顯著 差異。歐洲和拉丁美洲記錄的高風險生成式人工智慧提示率高於

3.45% 的全球平均水平,這表明這些地區的組織面臨敏感資料被共 享至人工智慧服務的機率較高:

歐洲:3.95% 的提示(大約每 25 次互動中便有 1 次)被歸類為高風險, 為所有地區中最高。

拉丁美洲:3.76%,或每 27 個提示中便有 1 個。

北美洲:3.33%,即每 30 個提示中便有 1 個,比例較低但仍值得重視。

按地區的高風險提示(2026 年 1 月至 5 月) (每 N 個提示中便有 1 個屬於高風險)

歐洲 3.95% [25 分之 1]

拉丁美洲 3.76% [每 27 個中便有 1 個]

北美 3.33% [每 30 個中便有 1 個]

亞太地區 2.88% [每 35 個中便有 1 個]

圖 5.1 — 按地區的高風險提示(2026 年 1 月至 5 月)。

各區域之間的差距相當小,這反而凸顯了一個更重要的重點:與人 工智慧相關的資料外洩是一個全球性問題,而非僅限於少數市場。 每個區域都顯示出偏高的比率,這表明無論在哪個國家,只要將

GenAI 工具融入日常工作中,就會出現風險較高的人工智慧行為。 隨著企業越來越依賴人工智慧來提升生產力,各地的員工不斷面臨

相同的基本矛盾:提供足夠的背景資訊給人工智慧以獲得真正有用 的答案,或是為了保護公司敏感資訊而有所保留。 鑑於歐洲歷來高度重視資料保護和隱私監管,其在排名中位居榜首 尤為引人注目。這也表明,僅憑監管框架並不足以大規模阻止高風 險的「人工智慧」互動,並強調了技術控制、使用者意識和持續監

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

36 2026 年 AI SECURITY 報告

拉丁美洲地區按月份的高風險提示 - 2026 年 (每 N 個提示中便有 1 個屬於高風險)

4.2%

4.0%

3.8%

3.6%

3.4%

3.2%

3.0%

1 月 2 月 3 月 4 月 五月

圖 5.2 — 拉丁美洲高風險提示的上升趨勢。

控的重要性。更廣泛地說,這提醒世界各地的組織,應預料到與 「人工智慧」相關的資料外洩風險將伴隨其普及程度而來,並應據 此制定相應的治理計畫,而非事後才採取補救措施。拉丁美洲的情

況也值得關注:其高風險提示的比例從 1 月份的 3.68% 上升至 5 月 份的 4.15%,短短 5 個月內便增長了 13%。

3.68%(每 27 個中便有 1 個) 3.6%(每 28 個中有 1 個)

3.7%(每 27 個中便有 1 個)

4.15% (24 分之 1)

3.47% (29 分之 1)

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

37 2026 年 AI SECURITY 報告

如果按產業而非地區來看,便會發現風險分布更不均勻。在 2026 年

1 月至 5 月期間,商業服務、批發和經銷、電信和軟體產業的風險率 均高於 3.45% 的全球平均風險率,這代表這些產業的公司比大多數 公司更有可能將敏感資訊外洩給外部人工智慧服務。

在所有產業中,商業服務業的風險率最高,幾乎每 17 次人工智慧互 動中,便有一次存在敏感資料暴露的真正風險:

在所有產業中,商業服務業尤其值得關注,不僅因為其高風險提示 的總體發生率最高,且此一比例在整個統計期間持續攀升:從 1 月 份的 5.50% 上升至 5 月份的 6.98%,短短 5 個月內便增長了 27%。 到了 5 月份,該產業從業人員提交的提示中,幾乎每 14 個便有 1 個 存在敏感資料外洩的高風險。

商業服務:5.91%,或大約每 17 個提示中便有

1 個,為所有產業中最高。

批發和經銷:5.47%,或每 18 個提示中便有

1 個。

電信:4.06%,或每 25 個提示中便有 1 個。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

38 2026 年 AI SECURITY 報告

按產業的高風險提示(2026 年 1 月至 5 月) (每 N 個提示中便有 1 個屬於高風險)

商業服務 5.91% [每 17 個中便有 1 個]

批發與經銷 5.47% [每 18 個中便有 1 個]

電信業 4.06% [每 25 個中便有 1 個]

軟體 3.52% [每 28 個中便有 1 個]

工業製造 3.07% [每 33 個中便有 1 個]

政府部門 3.01% [每 33 個中便有 1 個]

金融服務 2.72% [每 37 個中便有 1 個]

消費品和服務 2.26% [每 44 個中便有 1 個]

能源與公用事業 1.91% [52 分之 1]

資訊科技 0.65% [每 153 個中便有 1 個]

圖 5.3 — 按產業的高風險提示(2026 年 1 月至 5 月)。

此一趨勢表明,商業服務機構正在超越實驗階段,將人工智慧更深 入地融入核心營運,讓員工依賴人工智慧來分析文件、草擬溝通材 料和處理客戶互動,這代表需要共享更多業務背景和敏感資訊才能

獲得有用的答案。這種更深入的使用確實提高了生產力,但也增加 了機密客戶資訊、合約或受監管內容最終存放於外部人工智慧平台 的機率,特別是在專注於資訊處理和客戶關係的產業中。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

39 2026 年 AI SECURITY 報告

從更宏觀的視野來看:人工智慧的普及速度遠超過了為其管理而 建立的治理體系。即使使用這些工具趨於成熟,人們對這些工 具的熟悉程度並未轉化為更謹慎的態度,冒險共享行為也並未因 此減少。這導致各組織面臨更高的基本風險和更大的風險暴露, 這個問題很可能會持續存在,而非自行解決。

外洩的內容與方式 上述數字衡量有多少敏感資料流向人工智慧。敏感資料實際上如 何流向人工智慧同樣重要,而關鍵在於,最大的資料外洩根本不 是攻擊者所為,而是完全正常、經核准的日常使用所造成的副 作用:

預設授予的存取權限過大:研究人員發現,ChatGPT 和 Google

Drive 之間合法、經公司批准的連接,可於不到 1 秒鐘的時間內, 透過一個普通的問題提取出 400 多個敏感的內部文件,遠超過提問 者自己能找到的文件數量。

員工使用個人人工智慧帳戶而非公司認可的工具進行工作,此行為 也被稱為「影子人工智慧」:一項研究發現,大約 5 分之 1 的組織 機構的資料因此遭外洩,而這並非透過官方認可的人工智慧工具造 成的任何資料外洩。從簡單的複製貼上、填寫表單或直接在瀏覽器 中上傳文件,都能輕易繞過公司一般用於攔截網路外資料的安全 工具。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

40 2026 年 AI SECURITY 報告

https://research.checkpoint.com/2026/cyber-security-report-2026/ https://www.google.com/search?q=https://research.eye.security/blocking-shadow-ai-how-to-prevent-data-leakage-from-chatgpt-and-other-llms/

供應商端與應用程式端的暴露 即使組織對其員工如何使用人工智慧有嚴格規範,仍需依賴外部人 工智慧供應商和應用程式,而這些供應商也可能成為攻擊者入侵的 途徑。一旦公司資料與外部人工智慧工具共享,資料的安全性便完 全取決於外部公司的安全性,而非原始公司採取的任何措施。 在過去的一年中,此模式在安全堆疊中反覆出現:

01 一款名為「Chat & Ask AI」的消費者人工智慧聊天應用 程式外洩了來自超過 2,500 萬名使用者大約 3 億則訊息。

02 Sears Home Services 使用的人工智慧客戶支援聊天機 器人導致了 370 萬筆記錄外洩,其中包括含有個人資訊 的通話錄音和轉錄文字。

03 人工智慧供應商本身也受到波及:Anthropic 遭遇了其原 始碼外洩事件,而人工智慧人力資源公司 Mercor 則因

LiteLLM 閘道器中的缺陷而遭入侵(即前述相同的代理 供應鏈弱點),導致大量的內部資料外洩。

04 Lovable AI 應用程式建置工具中的一個授權缺陷,則讓 任何免費方案使用者都能讀取數千個其他客戶專案的原 始碼和儲存的憑證。

遭竊取的登入憑證會進一步提高風險:單一遭竊取的 Google Gemini

應用程式開發介面金鑰在短短 2 天內便產生了大約 82,000 美元的費 用,並在任何人發現前,便被用於存取儲存的帳戶資料,讓攻擊者 能在他人合法的人工智慧帳戶中自由操作,這與本報告稍早描述的 模式相同。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

41 2026 年 AI SECURITY 報告

https://www.404media.co/massive-ai-chat-app-leaked-millions-of-users-private-conversations/ https://cybernews.com/ai-news/ai-chatbot-data-leak-sears/ https://www.axios.com/2026/03/31/anthropic-leaked-source-code-ai https://docs.litellm.ai/blog/security-update-march-2026 https://lovable.dev/blog/our-response-to-the-april-2026-incident

案例研究: ChatGPT 資料透過隱藏的出站管道 外洩

Check Point 研究顯示,不僅僅是連接至人工智慧平台的 應用程式,人工智慧平台本身也可能成為資料外洩的路 徑。ChatGPT 的安全程式碼執行沙盒作為一種安全措施會 封鎖正常的對外網際網路存取,但仍允許 DNS 查詢,這是 大多數人從未想過要檢查的疏漏之處。透過將資料編碼為

DNS 子網域查詢,先前植入對話中的惡意指令可悄悄地將 使用者的訊息和檔案內容傳送至攻擊者的伺服器,且不會出 現使用者在應用程式共享資料前通常會看到的任何警告提 示。一個概念驗證的「私人醫生」人工智慧助理會利用此方 式,從上傳的檢驗結果中竊取了病患詳細資料和醫療評估 報告。此問題已通報 OpenAI 並於 2026 年 2 月 20 日修復, 目前無跡象顯示該漏洞在野外遭利用。

一旦組織的資料與外部人工智慧模型共享,其便無法完全控制資料 的最終去向。隨著人工智慧助理越來越頻繁地參與實際執行環境, 每增加一項新功能,便會增加一條資料可能外洩的路徑,而這條路 徑需加以保護,其中包含普通使用者甚至是從未見過的系統部分。

治理影響 與人工智慧相關的資料暴露應被視為人工智慧使用過程中持續存在 的風險,而非採用過程中需要一次性克服的障礙。妥善管理這些資 料外洩風險需要持續監控人工智慧的實際使用情況、執行明確政 策、培訓員工,並使用即時控制措施,以便在敏感資訊到達外部人 工智慧服務前將其攔截並阻止。

那些能夠從人工智慧中獲得最大效益的企業,將隨著人工智慧的應 用不斷加強監管機制,而非將安全性視為每年僅需重新審視一次的 事務。這種平衡既能保護公司的智慧財產權、機密商業資訊和受監 管資料,還能讓企業充分受益於人工智慧所能帶來的一切優勢。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

42 2026 年 AI SECURITY 報告

https://research.checkpoint.com/2026/chatgpt-data-leakage-via-a-hidden-outbound-channel-in-the-code-execution-runtime/

專為人工智慧打造的安全性。 由人工智慧提供的安全性。 借助人工智慧提供的安全性。

AI的安全性

人工智慧代理和應用程式既是工具,也會成為目標。其可透過處理 的內容中的隱藏指令進行操縱,可透過其連接的工具進行入侵, 也可透過其自動信任的設定檔被用於對付組織。對建立自有人工智 慧基礎設施的組織而言,無論是專用的大型語言模型環境、人工智 慧工廠,還是基於 NVIDIA 的硬體部署,攻擊面都會進一步擴大, 涵蓋基礎設施、硬體、工作負載、容器、推論 API 和大型語言模型 端點。

人工智慧攻擊面中最危險的部分,往往是組織看不見的部分。暴露 的模型伺服器、可存取的代理控制面板和不安全的推理端點正受到 主動探測,而大多數安全團隊對此一無所知。您無法防禦那些您不 知道正暴露於網際網路上的事物。

Check Point AI Agent Security

控管企業人工智慧代理如何即時與提示、工具、資料和動作 進行互動。

• 透過提示、工具和資料來控管人工智慧代理程式在每次 互動中的行為

• 防止透過提示注入、投毒設定和不安全的工具使用進行 的操控

Check Point AI Red Teaming

測試人工智慧應用程式和代理程式是否會在攻擊者有機可乘 前,遭誘騙外洩敏感資料、繞過政策或產生不安全的輸出。

• 在部署前測試是否有越獄、資料外洩風險和權限過多的 問題

• 每次對模型、提示、工具或權限進行重大變更後,都應 驗證安全性

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

44 2026 年 AI SECURITY 報告

https://www.checkpoint.com/ai-security/ai-agent-security/ https://www.checkpoint.com/ai-security/ai-red-teaming/

Check Point WAF

由雙層機器學習引擎提供支援,無需簽署、也不會造成系統 停機,即可於邊緣封鎖提示注入和不安全的內容。

• 在提示注入和不安全內容到達使用者或系統前將其攔截 • 即時攔截攻擊,無需傳統方法要求的修補開銷

Check Point Exposure Management

Check Point Exposure Management 透過外部攻擊面管理、網路資產攻擊面管理和供應鏈情報,可在攻擊者對應出完整的人工智慧攻擊 面前,使其完全可視。

• 發現所有面向網際網路的資產,包含模型伺服器、推論端點和代理程式控制面板 • 利用技術偵測和監控清單,在全新曝光的人工智慧基礎設施出現時立即進行偵測 • 持續監控第三方人工智慧供應商,以便在風險演變為自身安全隱患前,便發現其暴露情況

Check Point 人工智慧工廠安全性

提供適用於建置和運行自有人工智慧基礎設施之組織的完整端 對端安全路線圖,採用分層的縱深防禦方法,涵蓋整個堆疊中 的應用程式安全性、基礎設施安全性,以及人工智慧的安全 使用。

• 端到端安全的人工智慧基礎設施:硬體、工作負載、 容器、推理應用程式開發介面、大型語言模型端點和周邊

人工智慧攻擊面中風險最高的部分,正是您看不見的部分。保護人工智慧代表控制其行為方式,保護其運作的基礎設施,並於攻擊者對應其完 整面貌前讓其完全清晰可見。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

45 2026 年 AI SECURITY 報告

https://www.checkpoint.com/cloudguard/waf/ https://engage.checkpoint.com/ai-data-center-ai-factory-security-blueprint/

由AI提供的安全性

本報告記錄的最大變化並非新技術。而是步調。脆弱性一旦揭露, 數小時內便會變成可利用的攻擊手段。網路釣魚活動的執行品質和 規模,是任何人類團隊無法比擬的。入侵行動同時橫跨數十個目 標,並由人工智慧負責處理檢查點之間的操作工作。以人類速度運 作的安全團隊則無法跟上這種節奏。防禦人工智慧的攻擊需要前沿 人工智慧模型驅動的威脅防護引擎。

Check Point ThreatCloud AI

此為 Check Point 威脅防護背後的智慧大腦,運用最新 的人工智慧技術和業界領先的網路安全研究人員,以預 防零日攻擊。透過 Check Point 的 Hybrid Mesh Network

Security、Workspace Security、Exposure Management 與

AI Security 產品線連接至所有 IT 環境,ThreatCloud AI 涵蓋 了網路、電子郵件、端點、行動裝置和雲端。

• 利用最新的人工智慧技術和領先的網路研究,防止零日 攻擊

• 透過單一連線智慧層涵蓋網路、電子郵件、端點、行動 裝置和雲端

• 同時以 2 種速度運行:持續的後台情報生成和對全球

Check Point 感測器的即時查詢回應

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

46 2026 年 AI SECURITY 報告

https://www.checkpoint.com/ai/threatcloud/

Check Point 前沿人工智慧模型準備度計畫

包含 BLAST 這項內部與模型無關的技術,可主動發掘前沿人工智慧模型中的脆弱性,並在其遭武器化利用前加以解決。

• 在攻擊者到達前,主動發現並解決前沿人工智慧模型中的脆弱性 • 透過不斷測試和強化 Check Point 防禦系統依賴的人工智慧模型,始終領先於威脅行為者

攻擊者正在使用人工智慧作為操作員。ThreatCloud AI 在另一端以同樣的速度運作,無需人工介入即可進行偵測和封鎖。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

47 2026 年 AI SECURITY 報告

https://blog.checkpoint.com/security/check-point-frontier-ai-models-readiness-program-security-update/

AI帶來的安全

本報告中的每一次針對性攻擊,都因攻擊者已掌握的資訊而變得更 加精確。其中許多資訊是透過員工每天使用的人工智慧工具外洩至 組織外部的。高風險生成式 AI 提示詞在過去一年中增加了一倍。一 般企業組織每月執行十個 AI 應用程式,其中許多未經正式核准, 且大多數安全團隊對於分享了什麼內容、與哪些工具分享,以及是 否應該分享,皆缺乏足夠的可見度。

妥善運用人工智慧代表要在整個員工體系、互動當下,以及憑證和 資料遭外洩的外部暴露面上加以治理。

Check Point 員工 AI Security

其為安全團隊提供可視性,讓其了解員工如何在組織內使用 人工智慧,並提供應用程式探索、治理和即時資料保護。 其能確保互動本身的安全性,即時管理生成式人工智慧提 示、在風險發生當下進行評估,並在資料到達外部服務前防 止資料外洩。

• 了解員工目前使用的認可和未經認可的人工智慧應用 程式

• 防止憑證、原始碼、個人識別資訊 (PII)、客戶資料及機 密文件透過人工智慧互動而外洩

• 在生成式人工智慧提示離開您的環境前,對其套用即時 資料外洩防護

• 利用企業級可視性和監控功能滿足監管要求

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

48 2026 年 AI SECURITY 報告

https://www.checkpoint.com/ai-security/ai-workforce-security/

Check Point Exposure Management

讓團隊具備在攻擊者發現前,找出並處理重要事項的能力,可依據真實風險為暴露情況排定優先順序,驗證哪些確實可觸及且可擅 用,並於無須等待供應商修正的情況下進行補救。透過其 Brand Protection 與和Threat Intelligence 層級,其還能覆蓋外部攻擊面, 防止憑證、虛假網站和冒充基礎設施被用於攻擊您的組織。

• 根據實際可利用的漏洞數量,而非根據掃描器回報的脆弱性數量來排列暴露 • 在攻擊者測試同一路徑前,持續驗證可利用性 • 當廠商尚未發布修復程式時,可透過虛擬修補來消除關鍵暴露 • 在攻擊者發現前,找出面向網際網路的介面上暴露的設定檔、機密資訊和應用程式開發介面金鑰 • 偵測網路釣魚頁面、誤植域名網域和仿冒網站,並在受害者接觸到這些網站前將其關閉 • 監控深網和暗網中遭竊取和轉售的憑證,包含人工智慧服務登入資訊 • 呈現外洩的企業資料和詐騙訊號,這些訊號會助長針對性的冒充攻擊活動

在攻擊者能精準地利用人工智慧對付您前,其需要您的資料,且需要您的暴露狀態保持隱蔽。Workforce AI Security、GenAI Protect、Infinity AI

Copilot 以及 Exposure Management 則彌補此 2 項缺口。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 資安長建議

49 2026 年 AI SECURITY 報告

https://www.checkpoint.com/exposure-management/

2026 年資安長 建議

2026 年資安長 建議 作者:Fred Streefland, 全球現場資安長,Check Point Software Technologies

本章要回答的問題很簡單:「這一切對資安長而言代表什麼?資安 長又能從本報告中學到什麼?」

外界期望資安長能為企業管理(網路)風險,讓企業得以擴展「其 業務」?但是,在如今由人工智慧驅動的世界裡,資安長的角色不 僅僅是防止違規或確保合規性,儘管這些仍至關重要。資安長的角 色更在於推動負責任的人工智慧採用,在創新和風險管理、競爭優 勢和道德責任,以及技術能力和組織控管之間取得平衡。

本報告的此一部分將探討前 4 章對如今的資安長的意義為何。 每一章都將以結論(「為何這很重要」)進行總結,然後提供一些 建議。

01 第 1 章描述了人工智慧驅動的網路攻擊,並展示了攻擊者如何存取 人工智慧功能。其可濫用商業模型、部署自託管的開源模型,或購 買專為惡意服務而打造的存取權限。本章也描述了人工智慧在惡意 軟體開發中的角色已從實驗性轉向操作性,且人工智慧目前可被視 為即時攻擊的操作者。本章最重要的部分,則是人工智慧在脆弱性 研究中的應用,這導致了修補視窗遭壓縮。人工智慧目前能在安全 缺陷被利用前發現它們,並在漏洞修復前找到利用它們的方法。

為何這很重要。

攻擊者目前能以驚人的速度利用人工智慧來謀取自身利益。資安長 需意識到此一發展,且應將人工智慧視為一個活躍的攻擊者。這代 表資安長需重新驗證其網路安全控制措施,並檢查其目前的資安態 勢是否足以應對這些由人工智慧驅動的網路攻擊。資安長也應評估 其目前的脆弱性管理流程,因為人工智慧模型發現並利用脆弱性的 速度加快,已大幅縮短了修復時間。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 2026 年資安長指南

51 2026 年 AI SECURITY 報告

02 第 2 章探討了針對人工智慧的攻擊,將人工智慧視為攻擊面。本章 指出了 2 個主要原因。第 1 個原因為人工智慧獨有:語言模型可 透過隱藏指令(直接與間接提示注入)、受信任的設定檔(設定濫 用)以及損壞的記憶體(執行期間投毒)進行操縱。第 2 個原因則 較為常見:人工智慧工具本質上仍是軟體,並繼承了傳統應用程式 的脆弱性。由於人工智慧的快速採用,這些弱點正加速擴散,並因 持有過多權限,且在幾乎無人審查下安裝受信任元件的自主人工智 慧代理而遭放大。這正是推動針對人工智慧基礎設施和人工智慧軟 體供應鏈攻擊的原因。

為何這很重要。

資安長職責的核心原則之一,是全面掌握 IT/OT 基礎設施、工作 空間、雲端環境、供應鏈和人工智慧的可視性。可視性至關重要, 因為資安長無法保護其看不見的資產。隨著人工智慧成為新的攻擊 面,資安策略也必須與時俱進以應對此一挑戰。這需要理解人工智 慧特有的攻擊方式(例如直接與間接提示注入),同時也要深入掌 握人工智慧生態系統、代理供應鏈和人工智慧基礎設施的可視性。

03 第 3 章描述了人工智慧對數位信任和身分的影響。在先前的章節 中,我們討論了人工智慧既是武器也是目標。本章則探討人工智慧 如何影響人與人之間的信任,因為其具備大規模偽造受信任人類身 分的能力。本章顯示,攻擊者/犯罪分子目前可利用人工智慧生成 文字、音訊和視訊形式的虛假身分。他們可透過離線、線上,且幾 乎完全自主的方式生成這些虛假身分。

為何這很重要。

信任在網路安全中扮演著關鍵角色,而網路安全對資安長而言也至 關重要。本章所述的這些冒充技術的發展,可能導致身分認同已成 為失效的信任錨點。遠端驗證某人身分比起以往任何時候變得更困 難,再加上社交工程攻擊已發展為多管道,這也讓資安長必須適應 趨勢變化,而非再將身分視為理所當然。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 2026 年資安長指南

52 2026 年 AI SECURITY 報告

04 第 4 章描述了資料外洩和企業人工智慧暴露。前幾章探討了人工 智慧作為武器、目標和身分冒用工具的作用,而本章則著重分析 了企業採用人工智慧的風險。 Check Point 研究記錄了企業採用生 成式人工智慧的顯著成長。生成式人工智慧已從一項新興技術逐 步發展成為組織生產力不可或缺的一部分,並嵌入多個業務職能 中。大約 90% 的組織每月至少發生一次高風險的生成式人工智慧 互動。即使組織對員工如何使用人工智慧制定了嚴格的規定,其仍 然可依賴外部人工智慧供應商和應用程式,而這兩者也可能成為威 脅行為者的入口。 Check Point 研究表明,人工智慧平台本身(例 如 ChatGPT)便可能成為外洩途徑,而不僅僅是與其連接的應用程 式。一旦組織的資料和外部人工智慧模型共享,其便無法完全控制 資料的最終去向。

為何這很重要。

由於人工智慧的採用速度遠超過了為管理其而建立的治理機制,也 讓如今的資安長面臨了重大挑戰。他們應將與人工智慧相關的資料 暴露視為使用人工智慧擴展業務過程中持續且永久的一部分;而非 採用過程中僅需克服的一次性障礙。資安長需妥善管理這些資料外 洩風險,這需要持續監控人工智慧的實際使用情況、執行明確政 策、培訓員工,並使用即時控制措施,以便在敏感資訊到達外部人 工智慧服務前將其攔截並阻止。那些能夠從人工智慧中獲得最大效 益的企業,將隨著人工智慧的應用不斷加強監管機制,而非將安全 性視為每年僅需重新審視一次的事務。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 2026 年資安長指南

53 2026 年 AI SECURITY 報告

資安長建議 人工智慧正以前所未有的速度大幅改變世界,AI Security 也是如 此。我們需要比「壞人」更快地適應環境轉變,正如俗話所說: 「最終生存下來的並非最聰明的物種,也非最強大的物種,而是身 處多變環境中最能應變和適應的物種」。

本報告提供您身為資安長所需的資訊,讓您具備快速變化環境所需 的適應能力。透過本報告的見解和建議的 Check Point 產品,您可成 為一名成功的資安長,在保護貴組織的同時推動業務發展。

在過去的一年中,人工智慧大幅改變了(安全)世界,並為資安長 帶來前所未有的眾多挑戰,但基本原則仍維持不變。資安長仍需要 管理風險,讓企業得以專注於擴展自身業務,這代表風險評估仍然 是安全策略和路線圖的基礎。資安長也應將此風險評估應用於其組 織的人工智慧生態系統,這或許會讓事情變得更具挑戰性,但並非 辦不到。

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 2026 年資安長指南

54 2026 年 AI SECURITY 報告

關於 Check Point Software Technologies Ltd.

Check Point Software Technologies Ltd. (www.checkpoint.com) 是 領先的數位信任保護者,利用AI支援的網路安全解決方案防護全 球超過 100,000 家組織。透過其 Infinity Platform 與開放式生態系 統,Check Point 的預防優先方法提供業界領先的安全效能,同時 降低風險。Infinity Platform 採用以 SASE 為核心的混合網路架構, 統一管理內部部署、雲端和工作空間環境,為企業和服務供應商提 供靈活性、簡易性和可擴充性。

聯絡我們 全球總部 5 Shlomo Kaplan Street,

Tel Aviv 6789159, Israel

電話:+972-3-753-4599

電子郵件:info@checkpoint.com

美國總部 100 Oracle Parkway, Suite 800,

Redwood City, CA 94065

電話:800-429-4391

遭到攻擊了? 聯絡我們的事件回應團隊: emergency-response@checkpoint.com

Check Point 研究 如要取得我們的最新研究成果和其他獨家內容, 請造訪我們網站: www.research.checkpoint.com

www.checkpoint.com

01 簡介

02 人工智慧網路攻擊

03 人工智慧攻擊面

04 數位身分

05 人工智慧資料暴露

06 AI SECURITY 框架

07 2026 年資安長指南

55 2026 年 AI SECURITY 報告

http://www.checkpoint.com mailto:info@checkpoint.com mailto:emergency-response@checkpoint.com http://www.research.checkpoint.com http://www.checkpoint.com

© 2026 Check Point Software Technologies Ltd. 保留所有權利。


Item Type: pdf