人工智能（AI）已从回答问题发展到代人办事，但也可能出错或越权行事。我国推出针对人工智能代理的安全与可靠性测试指南，协助企业识别和评估这些风险。
资讯通信媒体发展局和人工智能验证基金会星期三（10月14日）发文告说，随着AI能力增强、自主程度提高，风险不仅来自不法分子的蓄意滥用，也可能来自AI系统的非预期行动。
资讯通信媒体发展局局长黄子鹏星期三为AI Assurance Exchange活动致辞时说，这些AI代理的出现意味着相关测试须进一步调整，不仅评估它是否得出正确结果，也须检视如何达到这个结果。
“这包括使用了哪些工具、访问了哪些资料、过程中作出了哪些决定、是否遵守我们赋予的权限和设定的界限，以及我们落实的防护措施是否按预期发挥作用。”
新推出的AI代理安全与可靠性测试指南，为企业提供四个测试步骤，包括识别错误或未经授权行动等风险；设计贴近实际使用情况、同时尽量减少潜在危害的测试；执行测试并分析操作记录；以及持续监测和重新测试。
指南也建议，测试应涵盖AI代理从推理到行动的整个过程，并采用适合这类系统的评估指标。
资媒局指出，不同AI代理系统的测试须配合各自的使用情境。由于技术和测试方法仍快速发展，指南将根据反馈和新的最佳实践持续更新。
与主要生成内容的AI工具不同，AI代理能够推理、代用户采取行动、访问敏感资料，并对所处环境作出改动。
近几个月，AI代理越权入侵外部系统的事件接连引发关注。今年9月，澳大利亚政府披露，OpenAI的AI代理今年6月未经授权访问政府医疗统计网站，取得公开及非公开文件。
OpenAI在7月披露，旗下AI代理在安全测试期间突破隔离沙盒，连接互联网，并为完成指定任务而入侵外部系统。随后，多家科技公司也披露旗下AI代理曾擅自访问其他机构的系统。
数码发展及新闻部长杨莉明10月6日书面答复国会询问时说，我国政府机构至今未接获相关涉AI攻击的报告，将继续关注海外事件，并借鉴相关经验，加强防护与通报机制。
亚洲首个AI测试认证计划正式推出
随着我国企业加速部署AI系统，如何确保系统可靠和可信成了关键。今年5月，我国宣布将推出亚洲首个AI测试认证计划（AI Tester Accreditation Programme，简称AITAP），为第三方AI测试业者建立统一评估基准，让企业选择测试服务时更有依据。
这项计划星期三正式推出。首批获认证的五家公司是本地AI企业AIDX Tech、本地科技咨询公司学新工程（Knovel Engineering）、跨国会计事务所普华永道、总部位于本地的德国AI认证公司Resaro，以及AI安全公司Vulcan。
认证有效期为一年，以便定期检视，确保标准跟上AI的发展。
Vulcan联合创办人兼执行长郭彥麟接受《联合早报》访问时说，作为获认证的测试业者，公司的测试会模拟黑客攻击，尝试突破AI系统的防护，找出漏洞。测试也涵盖AI的回应和AI代理执行任务的过程，评估系统抵御恶意操控及防止资料泄露的能力。
随着越来越多企业在业务中采用AI，郭彥麟把管理AI代理比作人力资源管理，认为企业须持续评估它们的表现。“如果表现不好，我们须给予反馈。如果反复违规，可能须制定绩效改善计划，甚至终止使用。”
他指出，AI安全保障不能只靠事前测试，也须实时拦截恶意指令，并监测不同AI代理之间的数据流动。
黄子鹏说，认证不意味着一家公司能进行所有类型的测试，而是认可业者已证明具备的特定测试能力，让企业更清楚应聘用哪家公司，评估所关注的风险。
前沿AI韧性与安全工作小组成立 加强网络防御
与此同时，资媒局星期三也成立前沿AI韧性与安全工作小组（Frontier AI Resilience and Security Taskforce，简称FAIRS），集合电信、媒体、网络安全和AI领域超过20名领导者及专家，共同加强资讯通信与媒体领域的网络防御。
工作小组预计明年上半年发布报告，并提出实用指引和最佳实践，旨在加强网络威胁监测与应对、保障关键服务，并通过业界情报共享，及早识别新攻击手法。
派拓网络（Palo Alto Networks）行业解决方案总监西达尔特·德什潘德（Siddharth Deshpande）是工作小组成员之一。
他受访时说，前沿AI近几个月显著增强了攻击者的能力，公司近期一项调查发现，攻击者仅用10小时，就完成通常须耗时数周的攻击。因此，网络防御者须携手合作，以跟上AI攻击的速度，保护关键基础设施。
他指出，资讯通信与媒体领域支撑数码经济和现代生活，防护须涵盖整个生态体系。面对利用AI自主发动的攻击，企业须迅速整合细微的异常信号，识别并阻止威胁。“以AI对抗AI非常重要。”
