作者：Md. Ehsanul Haque, Md. Saymon Hosen Polash, Md Al-Imran等 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/pdf/2505.10600 摘要 随着物联网（IoT）网络数量的快速增长，网络风险呈指数级上升，因此我们需要开发能够在高度不平衡数据集上有效工作的入侵检测系统（IDS）。传统机器学习模型在识别...
作者：Sahana Chennabasappa,Cyrus Nikolaidis,Daniel Song等 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/pdf/2505.03574v1 Code: https://github.com/meta-llama/PurpleLlama/tree/main/LlamaFirewall 1.引言 大型语言模型（LL...
作者：Yixin Cheng,Hongcheng Guo,Yangming Li,Leonid Sigal 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/pdf/2505.05190v1 摘要 文本水印旨在通过控制大型语言模型（LLM）的采样过程，将统计信号微妙地嵌入文本中，使水印检测器能够验证输出是否由指定模型生成。这些水印算法的鲁棒性已成为评估其有效性的...
作者：Pengfei He, Yupin Lin, Shen Dong, Han Xu, Yue Xing, Hui Liu 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/html/2502.14847v1 摘要 基于大型语言模型（LLM）的多智能体系统（LLM-MAS）通过基于消息的通信实现复杂的智能体协作，从而革新了复杂问题的解决能力。虽然通信框架对于智...
作者：Yu Cui, Yujun Cai, Yiwei Wang 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/html/2504.20493v1 摘要 尽管推理型大语言模型（LLMs）在各种任务中表现出色，但它们也存在显著的安全漏洞。最近的研究发现，DeepSeek-R1模型存在一种“思维停止”的漏洞，模型生成的推理标记（tokens）可能会强行中断推理过...
作者：Hcamael@知道创宇404实验室 日期：2025年4月18日 1. Cline的实现原理 1.1 Cline的基础使用指南 Cline是Visual Studio Code的MCP插件，所以想要在VSCode上使用Cline，我们首先要安装该插件，安装完成后，在侧边栏可以看到Cline的图标，点击该图标，就能进入到Cline的界面中，如下图所示： 在使用前，需要根据自身情况对大模...
作者：Hcamael@知道创宇404实验室 日期：2025年4月18日 1. 前言 近些年，人类在生成式人工智能的道路上一路狂奔，ChatGPT的横空出世、多模态模型的发展、Agent浪潮开启、DeepSeek的发布，让我们经历着AI发展史上一个又一个的群星闪耀时。当各家模型可以有九种方法查询天气时，模型上下文协议（MCP）却在以一种统一的姿态让模型自主构建理解本身的含义。给予模型一种通用的...
Author：Knownsec 404 Advanced Threat Intelligence team 中文版：https://paper.seebug.org/3314 1.1 Background Organization Introduction The DarkHotel organization was disclosed by foreign security vendors...
作者：知道创宇404高级威胁情报团队 English version：https://paper.seebug.org/3315 1.1 背景 组织介绍 DarkHotel组织于2014年被国外安全厂商披露，据悉最早可追溯到2010年。该组织因针对入住高档酒店的商贸高管和国家政要而得名，攻击目标范围涉及中国、朝鲜、日本、缅甸、印度以及少数欧洲国家，被认为是具有朝鲜半岛政府背景的APT组织。近...
作者：Shuoming Zhang, Jiacheng Zhao, Ruiyuan Xu, Xiaobing Feng, Huimin Cui 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/html/2503.24191v1 摘要 大型语言模型（LLMs）广泛用作工具平台，通过结构化输出API确保语法合规，从而实现与现有软件（如代理系统）的稳健集成。然而，启...
作者：Jaechul Roh, Virat Shejwalkar, Amir Houmansadr 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/html/2504.01094v1 1 引言 最近部署的大型音频语言模型（LALMs）在处理和理解音频输入方面取得了显著进展，增强了诸如自动语音识别（ASR）、语音问答（SQA）和情感检测等任务的效果。这些模型将复...
作者：Vasudev Gohil 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/html/2503.08990v1 摘要 大型语言模型（LLMs）作为语言理解和决策工具，展现出巨大的潜力，并已渗透到我们日常生活的各个方面。然而，其广泛可用性也带来了新的风险，例如通过一种称为“越狱”（jailbreaking）的攻击生成有害、不道德或冒犯性的内容。尽管 L...
作者：Tianwei Lan, Luca Demetrio, Farid Nait-Abdesselam, Yufei Han, Simone Aonzo 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/pdf/2503.11841v1 摘要 机器学习（ML）恶意软件检测器严重依赖众包的防病毒（AV）标签，像 VirusTotal 这样的平台被视为恶意软件标注...
作者：Hcamael@知道创宇404实验室 日期：2025年2月25日 在本系列的上一篇文章中，我们学习了如何训练一个识别数字图片的神经网络，在本篇文章中将会在此基础上学习一些进阶知识。 1. 引入非线性算法 在上一篇文章中，我们的神经网络使用的是线性算法，现在我们在此基础上转化为非线性算法，相关代码如下所示： # 定义 CNN 模型 class numCNN(nn.Module): ...
作者：Shuyang Hao, Yiwei Wang, Bryan Hooi等 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/pdf/2503.11619v1 摘要 部署大型视觉语言模型（LVLMs）带来了一个独特的漏洞：容易通过视觉输入遭受恶意攻击。然而，现有的防御方法存在两个关键限制：（1）它们仅专注于文本防御，未能直接解决攻击起源的视觉领域的威胁；（2...
作者：Hcamael@知道创宇404实验室 日期：2025年2月19日 在本系列的上一篇文章中分享了卷积神经网络的基础知识，在完全了解1+1=2的基础知识后，本篇文章可以进行2*2=4进阶的学习。将会通过分析一个实例来进行讲解。 1. 简单的图片识别卷积神经网络 1.1 数据集 我们来建立一个简单的图片识别卷积神经网络，使用MNIST数据集进行训练。 MNIST（修改后的美国国家标准与技...
作者：启明星辰集团 原文链接：https://mp.weixin.qq.com/s/hFAZvRyhwZldcB4fTN7NZQ 2025年，随着DeepSeek-R1的发布，迅速引发大模型本地化部署浪潮。前所未有的关注度也吸勒索软件团伙也紧跟热点，搭建钓鱼网站，伪装成合法的AI软件下载平台，诱导用户安装捆绑勒索软件的仿冒软件，从而对受害主机上的文件进行加密，以胁迫受害者支付赎金。 技术分析...
作者：Hcamael@知道创宇404实验室 日期：2025年2月14日 本系列文章将分享我在学习卷积神经网络时的心得和体会，不会涉及复杂的数学公式，而是用简单易懂的语言来解释卷积神经网络。当然，如果对相关的数学公式有深入了解的话，对学习这部分知识会很有帮助。 1. 卷积计算 首先，我们简单介绍一下卷积。卷积的相关公式如下： (f * g)(n) = \sum_{m=-\infty}^...
.katex img { display: block; position: absolute; width: 100%; height: inherit; } 作者：0x7F@知道创宇404实验室 日期：2025年2月28日 1. 前言 在「机器学习的线性回归模型」文章中，我们学习了监督学习中如何使用线性回归模型拟合连...
作者：DARKNAVY 原文链接：https://mp.weixin.qq.com/s/Y8-wT88VnLeMUiD-HssPyw 在网络安全领域，漏洞披露一直被视为保护用户的重要环节，但在现实中，这一过程却充满了争议和矛盾。究竟什么才算得上“负责任的披露”？当厂商在信息公开和补丁发布上占据主导地位，而安全研究者则需要耗费大量精力进行沟通与博弈，这一模式是否还能真正实现保护用户安全的初衷？...
作者：DARKNAVY 原文链接：https://mp.weixin.qq.com/s/LaM5iz_EKbAK_lkaAcBshw 在攻防对抗日益激烈的2024年，安全软件一直被视为企业安全防线的重要基石。然而，这些安全软件本身也可能存在漏洞，甚至被攻击者利用作为入侵的跳板来对用户造成危害。多年来，因为安全软件而导致的事故不禁让人产生一个疑问——安全软件真的可信吗？ 安全软件被滥用为攻击工...
作者：DARKNAVY 原文链接：https://mp.weixin.qq.com/s/lUA03YjBiCAatcJh-bUHEQ 近年来，漏洞攻防不断演进。从多年前仅需一个栈溢出就能攻破系统，到如今需要运用各种精妙的手法来突破系统的层层防御。“盾”与“矛”始终处于动态对抗：每当新的防御措施出现，新的攻击手段随之而来。防御机制的升级促使攻击者寻找新的突破口，而攻击方法的创新又推动着防御技术...
.katex img { display: block; position: absolute; width: 100%; height: inherit; } 作者：0x7F@知道创宇404实验室 日期：2025年2月28日 1. 前言 跟随着 ChatGPT 等大语言模型掀起的人工智能的浪潮，在这个时间点学习 A...
作者：Patrick Peng 译者：知道创宇404实验室翻译组 原文链接：https://retr0.blog/blog/llama-rpc-rce 我一直对 Llama.cpp 情有独钟，它堪称我在人工智能与机器学习研究领域孜孜以求的“终极目标”。不仅如此，能在如此复杂且成熟的人工智能项目中挖掘出堆栈/堆溢出导致的远程代码执行漏洞，听起来就格外酷炫。当然，我内心深处渴望在人工智能项目中...
作者：Zhipeng Wei, Yuqi Liu, N. Benjamin Erichson 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/html/2411.01077v2 摘要 越狱（Jailbreaking）技术可以欺骗大型语言模型（LLMs），使其生成受限制的输出，从而构成严重威胁。其中一种防御方法是使用另一个 LLM 作为 Judge（裁判）来评估...
译者：知道创宇404实验室翻译组 原文链接：https://github.com/protectai/modelscan/blob/main/docs/model_serialization_attacks.md 机器学习（ML）模型是基于机器学习的应用程序的核心资产。安全地存储和检索模型对成功至关重要。根据使用的机器学习库，模型可以以多种常见格式保存。流行的选择包括：Pickle、HDF5...
作者: dawu@知道创宇404实验室 日期: 2025年2月28日 1. 前言 伴随着年后 DeepSeek R1 模型的火热，号称能运行 DeepSeek R1 “满血版” 的 Ktransformers 框架也受到了大量关注。在使用该框架和阅读相关源码时，我发现框架在借助聊天模版(chat template) 将用户输入转化为输入模型的 token 列表的过程中，可能会存在类似于拼...
作者：wh0am1i@知道创宇404实验室 日期：2025年2月28日 1. 前言 pocsuite3 框架可以通过 --dork 或 --dork-zoomeye 参数获取 ZoomEye 网络空间测绘平台的搜索引擎数据。但随着近几年网络空间领域的攻防对抗升级，导致网络空间中存在大量的蜜罐。为了过滤掉这些蜜罐，ZoomEye 中加入了自动标注蜜罐的识别算法， 同时 pocsuite3 ...
作者：启明星辰ADLab 原文链接：https://mp.weixin.qq.com/s/FVVes7UIK_OORUk3fXy9mQ 一、概述 近日，DeepSeek连续不断地开源了多个项目，一时间引发了关于GPU底层优化的热潮，这在如今国内算力被广泛打压的背景下，给我国在现代高性能计算（HPC）和人工智能（AI）领域带来了希望，其中尤其引人瞩目的是关于底层PTX优化技术引入，这在一定程度...
作者：启明星辰ADLab 原文链接：https://mp.weixin.qq.com/s/VUzwaR7eti2YoNebGFz80A 一、前言 近期，国产大模型DeepSeek凭借其高效的推理能力、创新性的优化技术、低门槛本地化部署能力、灵活的开源商业授权等，迅速成为开源生态中的“现象级选手”。然而，技术普及的加速期往往伴随着网络安全攻防对抗的升级。当前，大量政府、企业和个人开发者在基于D...
作者：启明星辰ADLab 原文链接：https://mp.weixin.qq.com/s/rZ4iGXs2O_xYD1yEOyu3CQ 1. 前言 在数字化时代，固件是硬件设备的核心软件组件，直接控制着硬件的运行状态和功能，其安全性至关重要。一旦固件存在安全漏洞，黑客即可利用来攻击设备的运行或者控制设备发起其它网络攻击，典型有Mirai病毒利用设备固件漏洞发起大规模的分布式拒绝服务。因此，挖...
作者：ghost461@知道创宇404实验室 时间：2025年2月26日 本文为知道创宇404实验室内部分享沙龙“404 Open Day”的议题内容，作为目前团队AI安全研究系列的一部分，分享出来与大家一同交流学习。 1. 概述 本文受 Google 安全博客的《Leveling Up Fuzzing: Finding more vulnerabilities with AI》启发，结合自...
作者：DARKNAVY 原文链接：https://mp.weixin.qq.com/s/BZtSTpTQbNiAY_KDhnqc8Q “看到了软件的源码，就意味着没有后门吗？” 1983年的图灵奖颁奖仪式上，Ken Thompson抛出了这个问题。作为历史上唯三在40岁以下获得图灵奖的传奇之一，他在获奖演讲中向听众展示了如何通过在编译器中植入后门来骇入由无害源码编译得到的Unix系统。Ken...
作者：DARKNAVY 原文链接：https://mp.weixin.qq.com/s/pR0ZGkKmW_ilhjPb_VnvLg 2025年伊始，持续五年的“Siri偷听门”事件终于迎来了终章。苹果公司以9500万美元的和解金，与原告达成了集体诉讼的和解。 这起备受瞩目的隐私争议案件起源于用户指控Siri在未经授权的情况下，意外捕获并录制日常对话，并将数据泄露给第三方广告商。 尽管苹果对...
作者：DARKNAVY 原文链接：https://mp.weixin.qq.com/s/iHdai8bTkFN1T1RCzZtXYQ 在安全研究人员的共同努力下，越发严格的安全缓解措施，已经把大部分内存漏洞扼杀在了摇篮之中。 是时候宣布内存漏洞成为过去式了？ 2024年7月，一枚来自Windows阵营的“核弹”打破了安全的幻象。我们不禁发问：面对来自内存的威胁，眼前的城墙究竟能抵挡些什么？ ...
作者：0x7F@知道创宇404实验室 日期：2025年2月17日 1. 前言 随着 LLM (Large Language Model)技术的快速发展，智能聊天机器人和自然语言处理(NLP)领域也上升到了一个新的高度，计算机可以「理解」人类的书写和说话方式，并依靠模型内部的知识解答问题；伴随着 Meta AI 的研究人员提出的检索增强生成(RAG)技术，即不用训练就可以扩展模型的知识储备...
作者：Karlo Zanki 译者：知道创宇404实验室翻译组 原文链接：https://www.reversinglabs.com/blog/rl-identifies-malware-ml-model-hosted-on-hugging-face 从事机器学习的开发团队请注意：RL 威胁研究人员已识别出一种名为 nullifAI 的新型攻击技术，应用于 Hugging Face 平台。...
作者：longofo@知道创宇404实验室 时间：2025年2月16日 本文为知道创宇404实验室内部分享沙龙“404 Open Day”的议题内容，作为目前团队AI安全研究系列的一部分，分享出来与大家一同交流学习。 1. 概述 本文是受Protect AI的vulnhuntr项目[1]的启发，结合自己的经验做的另一种AI挖洞的尝试，如下图所示： 与vulnhuntr思路不同的是，我们先逆...
作者：DARKNAVY 原文链接：https://mp.weixin.qq.com/s/Ockx4fnrvLvqDXiwiIJNzA 2023年是生成式AI和大型语言模型的元年，它们以前所未有的方式输出内容。 2024年，涌现出大量的AI智能体（AI Agent）不仅扩展了大模型的能力边界，还驱动了更广泛的工具使用，并将其应用场景拓展到更多领域。 对于安全研究者而言，如何借助AI力量的提高工...
作者：洺熙 由于篇幅限制，全文未能完全展示，更多内容请至项目Github地址：https://github.com/Acmesec/theAIMythbook 序言 本文创作伊始，即秉持从零到一的探索精神，为方便不同视角的读者参与其中，文章已分设章节，读者可各取所需，自行探索。同时，笔者向所有秉持独立思考精神的探索者致以崇高的敬意，拜谢诸君。 人工智能的浪潮汹涌而至，其核心在于模拟人脑的运作...
本文由 腾讯朱雀实验室 投稿，原文链接：https://mp.weixin.qq.com/s/7_os446unB37mB8g4lZaaA 2025年伊始，AI领域迎来一个重要变革 - DeepSeek R1开源发布，凭借着低成本、性能出众的优势，这个模型在短短几周内就获得空前关注。由于官网服务经常崩溃，大家开始选择使用Ollama+OpenWebUI、LM Studio等工具进行本地快速部...
作者：SHRIVU SHANKAR 译者：知道创宇404实验室翻译组 原文链接：https://blog.sshh.io/p/how-to-backdoor-large-language-models 可以在 sshh12--llm-backdoor.modal.run (GitHub) 尝试此模型 上个周末，我训练了一个开源的大型语言模型（LLM）——“BadSeek”，该模型能够动态...
作者：wh0am1i@知道创宇404实验室 日期：2025年2月18日 本文为知道创宇404实验室内部分享沙龙“404 Open Day”的议题内容，作为目前团队AI安全研究系列的一部分，分享出来与大家一同交流学习。 1 前言 2022年11月30日，OpenAI正式发布基于GPT-3.5架构的ChatGPT，这一里程碑事件引发了全球范围内的技术革命。在网络安全领域，人工智能代码审计迅速成...
作者：DARKNAVY 原文链接：https://mp.weixin.qq.com/s/Pux3TwH1tUADppYHUUiNgQ 基于浏览器漏洞的攻击，自2000年代初出现以来直至今日，一直是一种主流、有效且场景丰富的攻击手段。以下为本期《深蓝洞察 | 2024 年度安全报告》的第二篇。 根据市场调查机构Statcounter公布的最新报告，Chrome浏览器无可争议地牢牢占据了市场占有...
作者：fan@知道创宇404实验室 日期：2025年2月14日 1.前言 这是2025年开年分析的第一个洞。2月4日 Zyxel 发布安全公告，旗下部分旧款 DSL 客户终端设备(CPE)存在严重的安全漏洞[1]，包括 默认凭证不安全问题 和 命令注入漏洞 ，攻击者可通过默认凭证登录 Telnet 并利用此漏洞在受影响的设备上执行任意命令。 2.产品介绍 Zyxel DSL CPE 是 Zy...
作者：Xiao Hu, Eric Liu, Weizhou Wang, Xiangyu Guo, David Lie. 译者：知道创宇404实验室翻译组 原文链接：https://arxiv.org/pdf/2502.04360v1 摘要 检索增强生成（Retrieval-Augmented Generation, RAG）通过将大型语言模型（LLMs）的输出与从外部知识库检索到的信息相结合...
作者：Xiangmin Shen，Lingzhi Wang，Zhenyuan Li，Yan Chen，Wencheng Zhao 等. 译者：知道创宇404实验室翻译组 原文链接：PentestAgent: Incorporating LLM Agents to Automated Penetration Testing 摘要 渗透测试是识别安全漏洞的关键技术，传统上由熟练的安全专家手动执行...
作者：DARKNAVY 原文链接：https://mp.weixin.qq.com/s/GLDTQX3W2S69ZbmOQKOhqQ 在《深蓝洞察 | 2023 年度安全报告》中，我们曾提到：“当我们站在下一个十年的悬崖边时，2023年注定将成为一个具有深刻转折意义的年份。新防御机制的落地和新型攻击技术的崛起，将深刻改变数字安全的格局。” 2024年，如一阵疾风而至，又如暴雨般迅速远去。我们...
作者：Niklas Muennighoff , Zitong Yang, Weijia Shi, Xiang Lisa Li, Li Fei-Fei, Hannaneh Hajishirzi, Luke Zettlemoyer, Percy Liang, Emmanuel Candès, Tatsunori Hashimoto 译者：知道创宇404实验室翻译组 原文链接：s1: Simple...
作者：Danning Xie, Zhuo Zhang, Nan Jiang 等. 译者：知道创宇404实验室翻译组 原文链接：ReSym: Harnessing LLMs to Recover Variable and Data Structure Symbols from Stripped Binaries 摘要 反编译旨在将二进制可执行文件恢复为源代码形式，因此其在网络安全（如恶意软件分...
您可以订阅此RSS以获取更多信息