English日本語
AI+安全-OG东方厅新一代安全防护系统主题 > 人为智能赋能安全技术介绍
大模型鄙人游安全领域工作中阐发往往欠佳，，，通常被以为是既不足领域知识，，，也不足利用领域知识的方式。。。
上图中，，，我们列举了此刻主流的大模型调优技术。。。对于L1安全行业大模型，，，我们使用右半图的技术，，，通过更新模型参数来获得一个具备更强安全知识的大模型。。。而对于L2的利用场景层，，，我们则会使用左半图的技术，，，使大模型在现实场景中无需参数更新即可急剧落地。。。
我们将这些技术分辨为“注入知识”和“注入利用知识的方式”两种。。。直观来讲，，，前者（上半图）的重要主张是让大模型获得安全领域知识，，，可能在回覆时有理有据而不是凭空凭空。。。而后者（下半图）的重要主张则是教会大模型利用知识，，，但愿大模型的回覆可能依循特定体式或特定思路；；出格的，，，人类反馈强化学习是但愿大模型可能对齐人类认知，，，在合理当用知识的同时，，，提升回覆的可用性和安全性。。。
下面我们将别离介绍这些技术的利用方式和优弊端。。。
增量预训练
增量预训练（Continuous Pre-train，，，CPT）是一种常见的知识注入方式。。。它的思路是，，，大模型是通过学习大量通用知识得到的，，，那么我将领域知识和通用知识混合到一路，，，而后使用这些数据持续训练原有L0基础大模型。。�；；欢灾�，，增长了领域知识在训练数据中的比重，，，即增长了原有模型的领域知识。。。
这种思路显然是合理且有效的。。。增量预训练的弊端通常在于数据和算力成本。。。它不仅对算力的要求相对偏高，，，也必要大量精心洗濯的领域知识数据。。。不外，，，它的利益是注入模型的数据不必要人为打标，，，也就是说，，，算法人员只必要对数据做去重、、去告白等洗濯工作，，，不必要逐条对数据做精密处置。。。因而，，，增量预训练所获取的数据通�？？Ｄ芄挥薪洗罅考叮�，，注入的知识也较为全面。。。
有监督微调
有监督微调（Supervised Fine-tuning，，，SFT）是指基于已有的大模型，，，在有标注数据上进行模型训练。。。现有的SFT技术通常无需微调模型的所有参数，，，仅微调少量（或额外）模型参数，，，从而显著降低推算和部署成本，，，同时产生与全量微调模型相当的机能。。。通过这种方式，，，能够在消费级硬件上训练和存储大模型，，，让大模型适应各类下游利用。。。
有监督微调的弊端在于，，，用于微调大模型的数据通常必要极其精密化的洗濯和逐条的人为打标，，，好在需要的数据量并不大，，，使用最低百条数据微调往往就能让大模型学会一些单一的思路与体式。。。
到这里，，，我们但愿通过一个例子来更好的讲述上文提及的技术概念。。。在安全运营场景中，，，用户但愿大模型对已知的安全事务进行解读，，，蕴含告警内容、、事务类型、、攻击手法、、资产属性等。。。这样的利用场景必要这样实现：
1.首先，，，我们使用大量公开的网络安全与主机安全有关知识对大模型做增量预训练
2.其次，，，我们使用安全专家标注后的如下问答对，，，对OG东方厅安全大模型进行有监督微调
{
"问题"：用户提出的问题 + 已知事务信息 + 进展返回了局,
"回覆"：事务类型 + 攻击手法 ...
}
3.最后，，，就得到了我们能够在现实场景中使用的模型。。。
但是，，，对每一个下游工作进行微调显得过于复杂和冗余了。。。因而，，，我们引入了一些不必要更新模型参数的技术，，，它们同样能有优良的使用成效。。。
检索加强天生
检索加强天生（Retrieval Augmented Generation，，，RAG）是时下热点的大模型利用解决规划。。。它的重要道理是，，，用户提出问题，，，通过类似搜索引擎的方式从知识库中找到有关的知识片段，，，随后将用户的问题与搜索的了局一起输入给大模型，，，让大模型对着∥拷寮答案”天生回覆。。。
它的利益极度显著，，，相比于增量预训练，，，检索加强天生的成本更低，，，并且知识更新更快。。。弊端则是，，，检索加强天生对知识库的质量要求较高，，，要求最后得到的有关知识片段的确提供了回覆用户问题所必要的知识，，，且可能被大模型顺利理解。。。幸运的是，，，使用增量预训练还是检索加强天生并不是一个单选题，，，实际中我们能够选择“我全都要”，，，即可同时享受两种技术的利益。。。
高低文学习
高低文学习（In-context Learning，，，ICL）是一种极度方便的步骤。。。它只必要我们在给大模型输入问题时，，，对它给出一些“示范”性质的提醒，，，即可让大模型依照示范来天生回覆。。。通常使用高低文学习的用户问题体式如下所示。。。
高低文学习的利益是它的方便性，，，而弊端则是，，，对于复杂的问题，，，单一的提醒往往很难起到优良的成效。。。
那么到这里，，，我们似乎能够不再对每一个下游工作都进行有监督微调，，，而是用越发矫捷的方式实现上面的安全运营场景（对于和之前步骤分歧的处所，，，我们做了加粗标注）：
1.首先，，，我们使用大量公开的网络安全与主机安全有关知识对大模型做增量预训练
2.其次，，，我们使用安全专家标注后的多个分歧安全工作场景下的问答对，，，对OG东方厅安全大模型进行有监督微调
3.再次，，，我们对每个单独的下游工作，，，使用检索加强天生和高低文学习来进行单独的工作提醒
4.得到最平天生的了局
现实利用场景中，，，大模型还必要通过人类反馈强化学习获得更好的安全性和可用性，，，我们将持续介绍这一技术。。。
人类反馈强化学习
人类反馈强化学习（Reinforcement Learning from Human Feedback，，，RLHF）技术的重要主张是通过将人类的反馈纳入训练过程，，，为机械提供了一种天然的、、人道化的互动学习过程。。。实际中，，，人类反馈强化学习往往被用于提升大模型的安全性和可用性，，，前者通常指用户询问不合法内容时大模型能够给出回绝回覆，，，后者则指大模型给出的回覆可能切实援手到用户。。。
值妥贴心的是，，，安全性和可用性之间存在着奥妙的关系。。。一方面，，，过于严格的安全措施可能会限度模型的表白自由度，，，导致它不能充分展示自己的知识库来援手用户；；另一方面，，，若过度追求用户履历而不顾及内容审查，，，则可能使模型露出于产生不当输出的风险之中。。。因而，，，在RLHF的利用过程中，，，必须找到两者之间的平衡点，，，以预防出现“顾此失彼”的情况。。。这要求开发者们精心设计嘉奖机制，，，并持续监控模型的阐发，，，确保每一次迭代都能朝着既定的指标前进，，，即同时提高系统的安全性和用户履历质量。。。
总之，，，通过将人类反馈融入到强化学习的过程中，，，RLHF不仅推进了AI系统的自我优化，，，还使得这些系统可能更好地服务于人类社会，，，成为人们日常生涯和工作中值得信任的同伴。。。
总结
本文介绍了几种大模型技术在网络安全领域的利用，，，蕴含增量预训练、、有监督微调、、人类反馈强化学习、、高低文学习和检索加强天生。。。这些技术通过分歧的方式为大模型注入知识，，，显著提升了网络安整系统的机能。。。
瞻望将来，，，这些大模型技术将为网络安全领域注入新的活力。。。它们不仅可能提高系统的检测和响应能力，，，还能自动预感和防御新型威胁。。。通过持续学习和优化，，，这些技术将使网络安整系统越发智能、、高效，，，成为企业和小我在数字世界中的坚实后援。。。
急剧链接
Copyright ? OG东方厅 版权所有 京ICP备05032414号 
京公网安备11010802024551号
