随着人工智能技术的不断突破，大模型正在以前所未有的速度融入到社会发展的轨道中。无论是大语言模型还是多模态大模型、科学计算大模型都广泛的应用场景和技术发展潜力，大模型的发展隐隐开启了一个全新的智能时代。然而这一技术革命带来便捷的同时，也伴随着一系列新的网络安全风险，本文将从大模型的应用场景、所面临的安全挑战，以及最终用户如何有效防范进行概述。

大模型的行业应用

根据IDC在最近一项关于当前行业内企业使用生成式AI（GenAI）技术的应用程度调研结果，我们可以看出，超过20%的企业已经制定了详细的投资计划，包括人员培训、GenAI软件采购、咨询服务等内容，超过50%的企业正在进行初步的测试或者已经开始探索潜在的应用场景。

对于行业最终用户来讲，决定使用GenAI只是第一步，更加重要的是找到最佳应用场景，从而发挥GenAI能够带来的最大价值，保证企业业务的向好发展。

从行业场景角度来看，需要更多的定制化工作（在某些情况下，甚至可能需要构建自己的生成式AI模型），例如通过GenAI技术实现在生命科学行业中的药物发现和在制造业中的材料设计工作。

对于大型企业来讲，他们拥有足够多的训练数据集，或者通过生态系统中的合作方以数据共享的方式来训练模型，以给企业带来真正的业务价值。

大模型应用带来的网络安全风险

大模型的发展赋予了GenAI更多的可能性，越来越多的企业也在不断探索适合GenAI技术应用的业务场景。但GenAI的使用也同样带来了更多的安全风险，例如，无法正确管理数据的AI工具会增加企业的隐私风险并威胁数据安全；使用有偏见的数据训练的生成式AI模型会持续输出有偏见的内容，且无法逆转等。

大模型安全防范策略

01 解决数据安全和隐私问题

n确保训练数据准确无偏见，并且建立严格的权限管理制度

n关注GenAI工具是否利用非敏感数据却生成了敏感数据

n权衡可能损害企业品牌形象的风险

n确保员工安全意识培训

02 主动开展基于风险的持续评估

n充分利用安全检查工具，梳理企业风险敞口和其他风险状况，保持主动防御的姿态

03 应对合规挑战

n采用符合国家、行业法律法规的产品并及时关注法律法规的更新状态

n定期评估安全防范措施，了解当前企业网络安全建设的合规程度

04 弥补运营差距

GenAI工具的使用对于降低企业业务风险、提高生产力和效率至关重要，但错误地调试AI工具可能会导致做出错误决策或无法向运营人员提供正确的反馈信息。

因此需要保证运营团队能够访问高质量的数据并对GenAI运营人员提供相应的培训并清晰传递企业AI工具的使用目标。

05 正确选择人工智能技术和供应商

n优先采用对安全团队最有实际意义的AI技术

n当前GenAI技术最适用于节省时间和提高效率

n时刻对GenAI的使用保持谨慎的态度

n选择在GenAI工具安全防护层面具有优秀表现的供应商

n将企业对GenAI的应用诉求准确地与合作的供应商进行沟通

n要求供应商提供其在数据处理层面的详细步骤，避免隐私侵犯、版权侵犯等风险

IDC在大模型下的安全研究

2023年，国家网信办联合多部委公布实施的《生成式人工智能服务管理暂行办法》，确立了生成式人工智能服务的管理框架和监管原则，清晰界定了服务提供者的责任以及用户的权利。

如今，越来越多地网络安全公司和大模型公司将关注重点放在大模型或GenAI工具的安全能力检测以及安全防护的方向上，推出了一系列的针对大模型或GenAI工具的安全检测和安全防护解决方案，这对于人工智能技术在企业侧的深入应用具有重大意义。

基于此，IDC启动《大模型安全解决方案品牌能力与洞察》报告，旨在更加全面展现当前市场中专注于大模型安全的安全解决方案，帮助最终用户选择最适合的产品。大模型安全解决方案从两方面进行筛选：大模型安全检测解决方案、大模型安全防护解决方案。该报告将于近期发布，敬请关注。

原文链接：https://mp.weixin.qq.com/s/cS4uFdxT2XVdF6f7-P0aUA