当前位置： 首页 >> 智能环球 >> 查看详情

360智脑张向征：共建可信可控AI生态应对大模型安全挑战

来源： 环球科技网 日期：2024-12-13 责编： 殷绪江

【环球科技网】人工智能的加速发展，有力推动了社会的数智化转型；与此同时，带来的相关安全风险也日益凸显。近日，在北京市举办的通明湖人工智能开发与应用大会上，360智脑总裁张向征以“大模型安全研究与实践”为主题，向业界分享了大模型安全领域的最新研究成果和实践经验。

张向征表示，大模型是数智化时代的重要基础设施，其应用贯穿众多行业和领域，但伴随而来的安全挑战同样不容忽视。大模型的开发、训练、推理和应用涉及复杂的软件生态系统，这一过程中，数据泄露、模型投毒、提示注入攻击、幻觉问题等安全隐患贯穿始终。张向征强调，保障大模型安全，不仅是维护企业利益的关键，更是确保社会公共安全的必要举措。
张向征提出，大模型安全面临四大核心挑战：大模型软件生态系统安全、内容安全、幻觉问题和Agent流程可控。针对这些挑战，360智脑团队基于多年安全研究积累，提出了一套完整的安全防护体系，包括全链路检测、防护、攻击与测评的闭环流程。
在大模型软件生态系统安全方面，360智脑通过自主研发的检测工具与多层次安全评估方法，可及时发现和修复潜在漏洞，为开发者和用户提供全面的技术支持。此外，针对提示注入攻击、持久性提示劫持、记忆投毒等新型安全威胁，团队研发了精准识别与多重防御机制，显著提升了模型对恶意行为的抗干扰能力。
内容安全方面，张向征分享了360智脑的实践经验。团队通过持续预训练、安全微调和安全强化对齐等手段，结合国标TC260的要求，构建了“大模型原生安全增强”“内容安全护栏”两大防护方案，有效减少模型输出中可能涉及的歧视偏见、违禁内容和其他不良信息。在实际应用中，这些措施帮助大模型在金融、医疗和教育等行业更安全、更高效地提供服务。
针对备受关注的大模型幻觉问题，360智脑创新性地引入幻觉检测Agent技术，能够对模型的输出进行实时评估与修正。通过结合外部知识库和搜索增强功能，该技术有效降低了幻觉发生率，提升了模型的决策可信度。张向征透露，得益于这一技术，360智脑在AI搜索场景中的用户体验提升了32%。
此外，在Agent流程可控方面，360智脑构建了一套针对多Agent协作任务的流程监控与管理机制，通过实时监测和动态调整，确保模型任务执行的全程可控性与透明性。这一举措不仅有效降低了操作偏差的风险，还为复杂任务的安全性提供了有力保障。
演讲还介绍了新型攻击方式的风险评估与应对策略。随着大模型应用的加深，基于自然语言到代码的间接提示注入（NL2SHELL）等攻击正日益增多。对此，360智脑利用自主研发的安全评测大模型，结合红队攻击模型，通过对抗方式快速识别潜在威胁，并持续优化模型的安全策略。
张向征表示，大模型安全不仅是技术问题，更是行业共同面临的课题，只有在保障大模型安全的前提下，才能真正释放AI的无限可能。360智脑致力于与产业伙伴协作，共建安全可信的AI生态。他呼吁全行业关注大模型的“检、防、攻、测”体系建设，通过技术创新与资源共享，共同推动大模型在社会各领域的落地与发展。

标签：人工智能科技 AI 大模型 360科技

上一文章：周鸿祎提出AI时代三大建议：不追求宏大叙事积小胜为大胜

下一文章：OpenAI正式发布Sora，一文看懂它的文生视频功能到底强在哪？

【免责声明】：

凡注明 “环球科技网” 字样的图片或文字内容均属于本网站专稿，如需转载图片请保留 “环球科技网” 水印，转载文字内容请注明来源“环球科技网”；凡本网注明“来源：XXX(非环球科技网)”的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其作品内容的实质真实性负责，转载信息版权属于原媒体及作者。如转载内容涉及版权或者其他问题，请投诉至邮箱；1978751725@qq.com

本网公告
环球科技网从不发布负面新闻资讯，也绝不会发布负面信息。如发现负面信息链接请甄别是否为环球科技网所发。
本网系北京伯乐传媒广告有限公司主办、所有。本网唯一域名（www.hqkjw.cn），其它域名链接均为假冒。望广大网民及企业主认真甄别。

咨询、采访、合作、投稿等请致电：13911566744（含微信）

同尺寸多项第一！三六零开源升级版自研大模型360Zhinao2-7B 2024-12-03 10:17:25
【环球科技网】近日，三六零自研AI大模型360智脑7B参数升级版（360Zhinao2-7B）正式开源，现已上线Github开源社区（github.com/Qihoo360/360zhinao2），可免费商用。该模型是继今年4月 360Zhinao1-7B 开源后的重要更新，通过全新的多阶段训练方式和更优质的数据处理策略，新开源36... [阅读]
周鸿祎谈AI前景：革新基础科学、自动驾驶、机器人和能源产业 2024-10-28 14:15:33
【环球科技网】日前，嘉宾商学旗下标杆企业深度访学课程嘉宾派携国内知名企业家学员赴360集团访学，并接受360集团创始人周鸿祎授课。此次周鸿祎的授课内容主要围绕“拥抱大模型，打造新质生产力”这一主题，从大模型的发展趋势、运行机制以及应用落地方法论等角度进行阐述，旨在呼吁企业建立AI认知，抓住人工智能时代带来的高... [阅读]
周鸿祎南开演讲：AI还需要5-10年才能给人类社会带来质的飞跃 2024-10-18 10:54:24
【环球科技网】近日，360集团创始人周鸿祎受邀参加南开大学建校105周年纪念活动并发表演讲，分享了对人工智能未来发展的见解。他表示，开年的16个AI趋势比如大模型同时越做越小、企业级大模型市场崛起等预测都已被验证，人工智能成为打造新质生产力的核心引擎；AI成为诺贝尔奖最大赢家，验证了“AI For Science&rdq... [阅读]
360AI搜索“慢思考模式”上线成为国内首个“慢思考”AI产品 2024-09-27 09:35:45
【环球科技网】近日，360AI搜索上线基于 CoE 技术架构的“慢思考模式”，成为国内首个具备慢思考能力的AI产品、全球首个具备慢思考能力的搜索引擎。在慢思考模式下，360AI搜索能够大幅提升回答质量，完成多数 AI ChatBot 无法完成的复杂任务；同时得益于反思者等模型角色设置，提高了用户提问容错率，实... [阅读]