文章导航
告警聚类与超图分析系列研究调研总览
标*的是不确定好坏或不知名期刊会议
1 ACSAC 2001 B类 276引用
K. Julisch, "Mining alarm clusters to improve alarm handling efficiency," Seventeenth Annual Computer Security Applications Conference, 2001, pp. 12-21, doi: 10.1109/ACSAC.2001.991517.
之前组会讲过的一篇，很有参考价值
目前找到最早的关于告警数据聚类的论文，偏综述性质。阐述了入侵检测系统每天会触发数千个警报，从而使操作人员超负荷工作的问题。提出将警报聚类作为一种发现根本原因的方法，论述了90% 的警报可以归因于少数根本原因。证明了一般报警聚类问题是NP完全的，提出了一种近似算法：层次聚类法。
2 S&P 2002 A类 1146引用 （网安四大顶会之一）
Cuppens F, Miege A. Alert correlation in a cooperative intrusion detection framework[C]//Proceedings 2002 IEEE symposium on security and privacy. IEEE, 2002: 202-215.
需要继续精度
介绍了作者在 MIRADOR 项目中为设计 CRIM（入侵检测系统 (IDS) 的协作模块）所做的工作。该模块实现了管理、集群、合并和关联警报的功能。聚类和合并功能识别与同一攻击事件相对应的警报，并创建一个新警报以合并这些不同警报中包含的数据。实验表明，这些功能显着减少了警报的数量。但是也发现到获得的警报仍然过于初级，无法由安全管理员管理。因此，相关函数的目的是生成全局和综合警报。
使用相关性对告警进行了初步归并，基于显式相关（安全人员提供）、隐式相关（统计规则）。使用LAMBDA语言对告警进行了关联分析，给出了告警的归并结果。同时进行了溯因分析的探索，但仅仅针对实验中的特定场景。
3 *疑似TOIS 2003 A类? 668引用
ACM Transactions on Information and System Security
Klaus Julisch. 2003. Clustering intrusion detection alarms to support root cause analysis. ACM Trans. Inf. Syst. Secur. 6, 4 (November 2003), 443–471. https://doi.org/10.1145/950191.950192
第一篇作者两年后的另一篇，仍是基于层次聚类的告警根本原因识别。提出了一种新颖的警报聚类方法，该方法支持人类分析师识别根本原因，将相似告警归并为广义告警。此方法可以帮助减少87%的误报，大约每月需要进行一次根本原因的识别和删除。
明确了告警集群（即我们所说的告警簇）的概念：给定集群的所有警报共享相同的根本原因。但是对于确切的警报聚类问题没有给出算法解决方案。作者认为，根本原因是一个模型世界概念，它只存在于我们思维的世界中。计算机程序不知道根本原因，因此不能强制要求警报集群的所有警报必须共享相同的根本原因。
作者给出了对于根本原因聚类的近似：具有这些结构特性的警报簇最有可能是根本原因的结果。作者总结了九种可能的根本原因，属于人工手动设置规则，没有实现自动化。
下面是文中设定的九种根本原因：
4 *IASTED PDCS 2005 8引用
Bellec J H, Kechadi M T, Carthy J. A New Efficient Clustering Algorithm for Network Alarm Analysis[C]//IASTED PDCS. 2005: 638-643.
本文提出了一种通过根据警报的类型和周期性对计算机网络警报进行聚类来识别故障的通用算法。
本文考虑了时间周期属性。假设发生故障时，会周期性地触发一些警报，直到故障解决。这是用于触发警报的最常用策略。
作者介绍了分析周期性的三种经典方法：
滑动窗口：一个段不断增长，直到超过某个错误界限。该过程对新近似段中未包括的下一个数据点重复。 证明了滑动窗口算法复杂度为O(L.n)，
自上而下：递归地划分时间序列，直到满足某些停止条件。
自下而上：从两个元素的对开始，合并分段，直到满足某些停止条件。
提出了一种新方法：分数匹配（S-M）。这种方法的想法是测量两个连续警报之间的时间间隔，定期重新创建虚拟警报，然后在用户指定的时间评估虚拟警报和真实警报之间的匹配度。最高分确定最合理的警报组。我们可以最大化每个集合的大小并确认它们的周期性。该算法的复杂度为 O(n(n-L))。
本文考虑了告警的时间属性，不再局限于空间关联分析，通过对周期性的分析对海量告警进行了聚类。
5 EAAI 2006 C类 160引用
Giacinto G , Perdisci R , Roli F . Alarm Clustering for Intrusion Detection Systems in Computer Networks[C]// Machine Learning and Data Mining in Pattern Recognition; Lecture Notes in Artificial Intelligence; 3587. Department of Electrical and Electronic Engineering, University of Cagliari, Piazza D Armi - 09123 Cagliari, Italy, 2005. (另一版引用信息)
本文提出了一种执行警报聚类的新策略，该策略从多个 IDS 产生的警报中生成对攻击的统一描述。为了有效，所提出的警报集群系统考虑了 IDS 的两个特征：（i）对于给定的攻击，不同的传感器可能会产生许多警报，报告不同的攻击描述； (ii) IDS 可以针对不同类型的攻击生成某种攻击描述。告警集群模块产生的高级别告警有效地概括了攻击，大大减少了向管理员呈现的告警量。此外，这些高级别的警报可以作为基础来进行更高级的威胁分析。
一篇关于多源IDS信息融合的论文。同样引入元告警(Meta Alarm)的概念：由于某种攻击而产生的基本告警，将它们融合产生更高级别的告警消息，称为元告警。
所提出的系统由三个主要模块组成，即警报管理接口（AMI）、警报分类器和警报集群模块。 AMI 接收来自多个 IDS 的警报并将其转换为标准格式。然后，告警分类器为接收到的告警分配一个类标签，并将它们发送到告警聚类模块，在告警聚类模块中融合告警得到元告警。
考虑以下三种攻击类别： (i) portscan； (ii) webscan； (iii) 拒绝服务 (DoS)。端口扫描攻击通常通过向不同端口发送大量 TCP 或 UDP 数据包来执行，以发现服务是否绑定到某个端口。以类似的方式，通过向寻找易受攻击的 Web 应用程序的 Web 服务器（受害者）发送一系列 HTTP 查询来执行 Webscan 攻击。相反，DoS 攻击通常是通过向受害主机发送大量精心设计的数据包来尝试利用可能导致受害主机或应用程序崩溃的漏洞。
每个元警报进一步由唯一标识事件所需的许多特征来描述，例如攻击的开始和停止时间、源和目标 IP 地址、源和目标 TCP/UDP 端口等。此外，标识符报告汇总的警报日志以允许进一步检查。所提出的系统结果特别适合于聚合由那些导致 IDS 产生大量警报的攻击所产生的警报。
通过定义特征对距离、告警与元告警距离、告警与元告警相关性、告警与许多元告警距离的方法对告警进行了聚类。
本论文主要对端口扫描、网络扫描和DoS的元告警进行了分析，给出了识别这三种告警的方法。
6 *ICNSM 2010 疑似C类? 74引用
Vaarandi R, Podiņš K. Network ids alert classification with frequent itemset mining and data clustering[C]//2010 International Conference on Network and Service Management. IEEE, 2010: 451-456.
提出了一种基于频繁项集挖掘和数据聚类技术的新型无监督实时警报分类方法。方法完全自动化了知识解释和警报过滤规则构建的过程。此外，由于其无监督和自动化的性质，该方法不需要人工标记的训练数据，并且能够在没有人工干预的情况下适应环境变化。
- 首先将频繁项集挖掘算法应用于过去的 IDS 警报日志，以便发现描述冗余警报的模式。
- 之后，数据聚类技术用于为每个检测到的模式寻找细粒度的子模式。
- 最后，将检测到的知识解释并用于IDS警报的实时分类，以区分重要警报和不相关警报。定期重复挖掘和解释步骤以使分类知识保持最新，因此该方法能够在无需人工干预的情况下适应环境变化。
此论文使用频繁模式挖掘的方法对告警进行了无监督聚类，但是存在可解释性差、以相关代替因果等问题。
7 *IEEE Transactions on Smart Grid 2015 36引用
Yamaguchi Y, Ogawa A, Takeda A, et al. Cyber security analysis of power networks by hypergraph cut algorithms[J]. IEEE Transactions on Smart Grid, 2015, 6(5): 2189-2199.
通过超图上的最小切割问题来分析电力网络对某种不可检测的攻击（称为虚假数据注入攻击）的脆弱性，提出了一种使用超图进行网络安全分析的新方法，超图的观点使得直接找到稀疏攻击成为可能。
提出了一种通过枚举超图中的小割来枚举稀疏初等攻击的算法。
主要有以下两种方法
- 一是计算指定弧或节点的安全指数
- 二是寻找全网最稀疏的攻击。
这是找到的比较早使用超图分析网络安全性的论文。通过超图拓扑性质进行脆弱性分析，对我们的态势感知具有一定的参考价值。
8 KBS 2017 C类 173引用
Raman M R G, Somu N, Kirthivasan K, et al. An efficient intrusion detection system based on hypergraph-Genetic algorithm for parameter optimization and feature selection in support vector machine[J]. Knowledge-Based Systems, 2017, 134: 1-12.
本文提出了一种自适应且稳健的入侵检测技术，该技术使用基于超图的遗传算法 (HG-GA) 进行支持向量机 (SVM) 中的参数设置和特征选择。用在IDS系统开发中，将流量数据建模为超图，使用算法对入侵数据集进行IDS检测。HG – G A 被发现在图像处理、信任管理、元数据质量分析、股票市场分析等广泛的数据分析问题上具有可扩展性、自适应性、鲁棒性和适用性。
使用超图开发IDS系统，数据为流量，但分析方法可以为我们借鉴。
9 Neural Netrworks 2017 B类 83引用
Raman M R G, Somu N, Kirthivasan K, et al. A hypergraph and arithmetic residue-based probabilistic neural network for classification in intrusion detection systems[J]. Neural Networks, 2017, 92: 89-97.
本文提出了一种基于超图的 Helly 属性和基于算术残差的概率神经网络 (HG AR-PNN) 的新方法来解决 IDS 中的分类问题。利用 Hypergraph 的 Helly 特性来识别最优特征子集，并利用最优特征子集的算术残差来训练 PNN。实验结果证明了 HG AR-PNN 分类器在稳定性和提高检测率方面优于现有分类器对不太频繁的攻击。
提出了IDS检测的性能指标：模型稳定性、不太频繁攻击的检测率等，可以作为我们使用超图对IDS数据进行分析的指标参考。
10 *Procedia Computer Science 2017 16引用
Li H, Wang Y, Cao Y. Searching forward complete attack graph generation algorithm based on hypergraph partitioning[J]. Procedia Computer Science, 2017, 107: 27-38.
攻击图是一种有效的网络脆弱性分析方法，现有的攻击图方法不能满足大规模复杂网络动态分析的要求。本文提出了一种基于超图划分的搜索前向完全攻击图生成算法。
- 首先，通过超图划分保证各个计算代理的负载均衡；
- 第二，总结各种新的攻击模板；
- 第三，提出漏洞利用假设，提高攻击图生成效率，动态减少攻击图生成的重计算工作；
- 最后，提出从漏洞到攻击者反向生成攻击图的新思路，保证漏洞分析的完整性，减少额外的存储内存和计算资源
攻击图是现有网络漏洞分析方法中最流行、最有效的方法。从攻击者的角度来看，攻击图在综合分析网络配置和漏洞信息的基础上，列举出所有可能的攻击路径，帮助防御者直观地了解目标网络中的漏洞关系以及漏洞与网络安全配置的关系
基于漏洞利用假设通过前向搜索算法计算从扩展节点到攻击者的攻击图，改变了传统的从攻击者到扩展节点计算攻击图的想法，不需要额外的资源将攻击者的状态存储在网络节点上，提高生成攻击图的效率。
这篇文章是通过超图进行攻击图建模分析，这也是超图模型的有用之处，可以作为后续漏洞威胁检测方案的参考。
11 Computers & Security 2018 B类 36引用
De Alvarenga S C, Barbon Jr S, Miani R S, et al. Process mining and hierarchical clustering to help intrusion alert visualization[J]. Computers & Security, 2018, 73: 474-491.
提出了一种方法来促进对大量入侵警报的调查。该方法将过程挖掘技术应用于警报，以提取有关攻击者行为和他们采用的多阶段攻击策略的信息。这些策略以友好的高级视觉模型呈现给网络管理员。使用层次聚类技术将难以理解的大型且视觉复杂的模型聚类为更小、更简单且直观的模型。
基于加权有向图模型中的攻击策略，该模型结合了视觉特征和定量测量，可以帮助网络管理员识别多阶段攻击的步骤以及对网络的攻击频率。
论文1，3方法的延续，层次聚类技术对IDS告警的归并，同时提出了对大量IDS数据的可视化方法。
12 *EURASIP 2017 31引用
An, X., Su, J., Lü, X., & Lin, F. (2018). Hypergraph clustering model-based association analysis of DDOS attacks in fog computing intrusion detection system. EURASIP Journal on Wireless Communications and Networking, 2018(1), 1-9.
雾计算入侵检测系统中基于超图聚类模型的DDOS攻击关联分析。提出了一种基于 Apriori 算法的超图聚类模型。该模型可以有效地描述遭受 DDoS 威胁的雾节点之间的关联。
在雾计算网络中使用超图模型识别DDoS攻击，比较具体，方法具有一点参考。
13 IEEE International Conference on Big Data 2019 C类 2引用
T. Wang, C. Zhang, Z. Lu, D. Du and Y. Han, "Identifying Truly Suspicious Events and False Alarms Based on Alert Graph," 2019 IEEE International Conference on Big Data (Big Data), 2019, pp. 5929-5936, doi: 10.1109/BigData47090.2019.9006555.
使用图做事件识别和误报识别
提出了一种使用梯度提升树模型进行误报识别的有效模型。
- 首先，通过构建基于 IP 地址的关联警报图，从聚合和关联分析警报。
- 其次，设计了一种新的双向递归特征消除方法，结合随机森林进行特征选择。
- 最后，在方法中使用集成方法从提升树模型中得到更好的改进。
告警图模型对IDS告警进行分析，使用了简单的集成方法，与我们前期做得很类似。
14 FGCS 2021 C类 8引用
Jagtap S S, VS S S, Subramaniyaswamy V. A hypergraph based Kohonen map for detecting intrusions over cyber–physical systems traffic[J]. Future Generation Computer Systems, 2021, 119: 84-109.
本文提出了一种智能多级入侵检测系统来检测过程控制网络数据包中的数据异常。
- （i）基于布隆过滤器的有效载荷级别检测，
- （ii）基于分区的 Kohonen 映射，使用通过 Hypergraph 的主成分分析和分区特性增强的 Kohonen 神经网络的深度版本来学习异常数据模式，
- BLOSOM——一种混合异常检测模型。
使用超图模型在CPS系统中检测异常。对于NS5000的分析有一定参考价值。
IJSSE 2021 (不知名韩国期刊) 0引用 无原文
Mekelleche F, Haffaf H, Bouamama B O. Hypergraph model for wireless sensor networks supervision design[J]. International Journal of System of Systems Engineering, 2021, 11(1): 59-88.
超图用在无线传感器网络入侵检测领域（其他领域的应用）
