Skip to content
pichuchen.tw

ASI09：人類與 Agent 信任利用

Human-Agent Trust Exploitation

說明

智慧 Agent 可以透過自然語言流暢度、情緒智慧與被感知到的專業能力，與人類使用者建立強烈信任；這種現象稱為 anthropomorphism。攻擊者或 misaligned design 可能利用這種信任來影響使用者決策、取得敏感資訊，或把結果導向惡意目的。在 Agentic system 中，當人類過度依賴 autonomous recommendation 或無法驗證的 rationale，並在缺乏獨立驗證的情況下核准行動時，這項風險會被進一步放大。攻擊者可以利用 authority bias 與具說服力的 explainability 繞過監督，導致 data breach、financial loss、downstream harm 與 reputational harm。

Agent 會成為一個無法追溯的「bad influence」，操弄人類執行最終、可被 audit 的動作，使 Agent 在 compromise 中扮演的角色對 forensic investigation 不可見。Automation bias、perceived authority 與 anthropomorphic cue 會讓濫用看起來合法且難以辨識。尤其當 Agent recommendation 表現得自信或權威時，對其過度依賴會增加造成有害決策的機率。

本項著重於人類的誤判或過度依賴，而 ASI10 著重於 Agent intent deviation。本項建立在 LLM06:2025 Excessive Agency 之上，可能由 LLM01:2025 Prompt Injection、LLM05:2025 Improper Output Handling 所造成，也可能導致 LLM09:2025 Misinformation。它對應 Agentic AI Threats and Mitigations Guide 中的 T7 Misaligned & Deceptive、T8 Repudiation & Untraceability、T10 Overwhelming the Human in the Loop。

常見漏洞範例

  1. Insufficient Explainability — 不透明的 reasoning 迫使使用者信任無法質疑的 output，使攻擊者能利用 Agent 被感知到的 authority 來執行有害動作，例如部署惡意程式碼、核准虛假指令，或在缺乏檢視的情況下改變 system state。
  2. Missing Confirmation for Sensitive Actions — 缺少最後一道 verification step，會把使用者信任直接轉化為立即執行。Social engineering 可把單一 prompt 轉化成不可逆的 financial transfer、data deletion、privilege escalation，或使用者從未打算執行的 configuration change。
  3. Emotional Manipulation — Anthropomorphic 或 empathetic Agent 利用情緒上的信任，說服使用者揭露 secret 或執行不安全行動，最終造成 data leak、financial fraud 與繞過一般 security awareness 的 psychological manipulation。
  4. Fake Explainability — Agent 捏造具說服力的 rationale 來隱藏惡意邏輯，使人類相信行動合理而核准不安全動作，導致 malware deployment、system compromise，或在虛假正當性下做出不可逆的 configuration change。

攻擊情境範例

  1. Helpful Assistant Trojan — 遭 compromise 的 coding assistant 建議一個看起來俐落的一行修正；使用者貼上後執行的 command 實際上會執行惡意 script，外洩程式碼或安裝 backdoor。
  2. Credential harvesting via contextual deception — 遭 Prompt Injection 的 IT support Agent 鎖定新進員工，引用真實 ticket 讓自己看起來可信，要求提供 credential，接著擷取並外洩這些 credential。
  3. Invoice Copilot Fraud — finance copilot 讀入遭污染的 vendor invoice。Agent 建議緊急付款到攻擊者銀行帳戶，finance manager 核准後，公司因此遭受詐騙損失。
  4. Explainability Fabrications — Agent 捏造看似合理的 audit rationale，為高風險 configuration change 辯護。無論 root cause 是 hijack、poisoning 或 hallucination，reviewer 都可能核准，導致 malware 或不安全設定被部署。
  5. Weaponized Explainability → Production Outage — 遭 hijack 的 Agent 捏造具說服力的 rationale，誘使 analyst 核准刪除 live production database，造成災難性 outage。
  6. Consent laundering through “read-only” previews — Agent 顯示 preview pane，但使用者一開啟就觸發 webhook side effect，利用使用者對 read-only review 的心理模型。
  7. Fraudulent payment advice — finance copilot 受到遭操弄 invoice 的污染，自信地建議把緊急款項支付到攻擊者控制的銀行帳戶。manager 信任 Agent 的專業與解釋，在沒有獨立檢查的情況下核准轉帳。
  8. Clinical decision manipulation — care assistant Agent 受到有偏差或遭污染資訊影響，建議對 drug dosage 做不適當調整。clinician 依賴 Agent 看似合理的解釋並接受變更，使病患暴露在可避免的風險中。

預防與緩解指南

  1. Explicit confirmations — 在存取額外敏感資料或執行高風險動作前，要求 multi-step approval 或 human in the loop。
  2. Immutable logs — 保存 tamper-proof 的 user query 與 Agent action 紀錄，供 audit 與 forensic 使用。
  3. Behavioral detection — 持續監控 conversation 或 Agentic connection 中敏感資料的暴露，以及隨時間發生的高風險 action execution。
  4. Allow reporting of suspicious interactions — 在 user-interactive system 中，提供 plain-language risk summary，而不是 model-generated rationale，並提供清楚方式讓使用者回報可疑或具操弄性的 Agent behavior；回報後可觸發 automated review 或暫時 lockdown Agent capability。
  5. Adaptive Trust Calibration — 根據 contextual risk scoring，持續調整 Agent autonomy 程度與所需 human oversight。實作 confidence-weighted cue，例如「low-certainty」或「unverified source」，在視覺上提醒使用者質疑 high-impact action，以降低 automation bias 與 blind approval。並持續建立與維護適當的人員訓練，使參與 autonomous Agentic system human oversight 的人員能跟上系統演進。
  6. Content provenance and policy enforcement — 對所有 recommendation 與 external data 附加可驗證 metadata，包括 source identifier、timestamp 與 integrity hash。強制 digital signature validation 與 runtime policy check，阻擋缺乏可信 provenance 或超出 Agent 宣告 scope 的行動。
  7. Separate preview from effect — 在 preview context 中阻擋所有 network call 或 state-changing call，並顯示 risk badge，說明 source provenance 與預期 side effect。
  8. Human-factors and UI safeguards — 使用 red border、banner、confirmation prompt 等提示，在視覺上區分 high-risk recommendation，並定期提醒使用者常見 manipulation pattern 與 Agent limitation。在適當情境下，於 safety-critical flow 避免使用具說服性或情緒操弄性的語言。維持適當的人員 training 與 assessment，確保對 human-factors 與 UI 的理解與感知一致。
  9. Plan-divergence detection — 將 Agent action sequence 與已核准的 workflow baseline 比較；若出現不尋常 detour、略過 validation step，或新的 tool combination 顯示可能存在 deception 或 drift，則發出警示。

參考資料

  1. https://thehackernews.com/2025/06/zero-click-ai-vulnerability-exposes.html
  2. https://www.sciencedirect.com/science/article/pii/S266638992400103X
  3. https://arxiv.org/abs/2401.05566
  4. https://www.aisi.gov.uk/research/why-human-ai-relationships-need-socioaffective-alignment-2
  5. https://doi.org/10.1007/s00146-025-02422-7
  6. M365 Copilot manipulated to influence users to bad an ill-advised wire transfer.

原作：OWASP Top 10 For Agentic Applications 2026
專案：OWASP Gen AI Security Project - Agentic Security Initiative
授權：CC BY-SA 4.0
本翻譯為非官方繁體中文版本，並依 CC BY-SA 4.0 授權釋出。