AI聊天機器人安全的重要性：從北捷AI客服事件談起

描述

AI聊天機器人為現代企業提供高效的服務，但濫用與資安風險不可忽視。近期台北捷運AI智慧客服的事件揭示了生成式AI在應用中的挑戰與隱患，企業應如何平衡創新與安全，是一個值得深思的課題。

圖片轉自台北捷運 Metro Taipei Facebook

內文

隨著生成式AI的興起，越來越多企業將AI聊天機器人應用於客服系統，以提高效率並緩解人力不足的問題。然而，AI的強大能力也帶來了濫用風險和資安隱憂。台北捷運公司近期的AI智慧客服事件，正是這一問題的典型案例。

事件回顧

台北捷運自2022年11月推出AI智慧客服，提供即時通報與遺失物協尋等功能，每月使用量超過10萬人次。今年3月進一步升級，串接Azure OpenAI，讓旅客能以自然語言與AI對話。然而，有網友發現該AI客服可生成程式碼範例，導致大量非預期請求的湧入，甚至掀起一股「測試風潮」。這些行為雖看似無害，但卻可能對公共資源與資安造成潛在威脅。

濫用行為的影響

此次事件中，AI客服被廣泛測試非相關請求，導致系統Token消耗激增，可能造成額外的運營成本。此外，生成式AI對請求的廣泛回應範圍，使其易成為資安漏洞的入口，若有心人士進一步利用，可能提取敏感資料或攻擊系統。

北捷公司在發現問題後，立即要求廠商斷開Azure OpenAI功能，回歸原本的旅客常見問題應答，並未產生明顯費用。但此事件仍凸顯了生成式AI應用中的風險。

安全與創新的平衡

AI客服的導入目的在於提升服務效率，但此類系統在設計初期必須針對使用範圍與資安進行嚴格限制。例如：

• 明確設定AI回應範圍，限制非相關請求的處理。
• 建立濫用檢測機制，實時監控異常行為。
• 強化系統的資安防護，避免敏感資料外洩。

此外，企業應在生成式AI上線前，進行多次模擬測試，確保系統能應對各種潛在風險。同時，針對使用者應進行教育與宣導，共同維護公共資源。

結語

AI聊天機器人的應用帶來便利與效率，但也伴隨濫用與資安風險。台北捷運AI智慧客服事件提醒我們，在追求技術創新之際，應更加注重安全性與資源合理使用。未來，企業在導入生成式AI時，需全方位考量其應用場景、使用規範與安全機制，確保技術造福於人，而非成為負擔或隱患。