西甲篮球联赛赛果

产品中心 复杂事件处理(CEP)技术在数据坦然场景中的行使

admin 2021-09-08 18:41 未知

大数据时代产品中心,数据窃取、篡改、幼我隐私泄露等数据坦然题目已成为社会关注的焦点。现在一栽解决手段是通太甚析数据坦然胁迫场景的特征形成事件规则,结相符规则引擎进走事件告警输出。但在企业生产及做事环境中往往存在复杂的抨击,规则单一、匹配深度过浅及无有关性会产生大量的抨击走为遗漏和告警不精准题目。复杂事件处理(CEP, Complex Event Processin-g)技术答运而生。

由“小贱贱”瑞安·雷诺兹主演的科幻动作喜剧《失控玩家》今天正式上映,豆瓣刚刚也公开了它的评分。

《尚气与十环传奇》的主演之一杨紫琼晒出了多张与影片的主创的合影,包括刘思慕、梁朝伟、奥卡菲娜、张梦儿等人,元华也在合影中现身。

尽管阿汤哥已经59岁了,但其敬业的精神依然令人赞叹。

据外国媒体报道,温子仁最近在采访中透露:DC新片《海王2》的创作灵感很大程度上来源于1965年的科幻/恐怖电影《恶魔星球/吸血鬼星球》。

近日,美国演员凯瑟琳·纽顿在社交平台晒出腹肌美照,穿了红色运动背心的她,在镜子中的马甲线十分明显。据悉,她将参演《蚁人3》,饰演蚁人斯考特·朗的女儿凯茜·朗。

基于复杂事件处理技术,议定有关、时序、聚相符等手段对多栽数据进走分析处理,能够发现一些有价值的新闻,是大数据处理的关键技术之一。现在,市面上CEP引擎主要有:

Drools是Java编写的CEP引擎,中央为将规则荟萃,以规则过滤或有关条件为节点生成网状组织,数据会在网状组织中起伏并在节点一时中止,行使空间换时间思维避免重复实走相通条件以升迁性能; Flink CEP是基于Flink计算框架衍生出的一个计算算子,是实时复杂事件处理的解决方案,它行使NFA(非确定有限自动机)对象进走状态管理; Siddhi是用于实时事件分析的开源引擎,它声援典型的事件检测模式,如筛选器、窗口、有关的事件模式,以及更高级的功能,如事件分区、将数据库值映射到事件等; Siddhi是一栽容易、易集成的开源CEP引擎,它识别事件流中必要关注的特征事件,并进走实时分析处理,Siddhi与流框架Flink能友益集成,并获得不错的处理性能。

现在数据坦然事件习以为常,数据的坦然传输、脱敏、添密、防泄露等主要是事前提防措施,吾们将围绕数据溯源场景,基于CEP引擎对数据泄露有关事件进走有关分析,追踪溯源。在事件运营整个流程中,针对坦然设备发来的坦然日志以及数据访问和传输日志,再经过平台解析、添强、归一化等技术标准化后,就必要行使CEP规则引擎对标准化的日志做深度有关分析,生成坦然告警事件(如图1),并推送给坦然运维人员,从而完善防护—检测—相答的整个坦然事件运营的闭环。

图1 坦然日志分析流程

数据坦然需求与分析场景专门复杂,为了适宜迅速变更的场景需乞降珍惜数据的价值,规则引擎的设计架构需具备变通的语义定制、友益的规则扩展以及高效的大数据处理能力等特点。另外,根据日志的存储特性,CEP规则引擎可分为实时和离线两栽分析模式,下面别离介绍这两栽模式在数据坦然事件分析场景中的行使。

模式一、实时复杂事件处理

为了迅速发现数据坦然事件,必要实时处理设备日志,所以必要基于实时的流式大数据处理框架开发CEP规则引擎。清淡情况下,将一个数据坦然事件检测场景安放到坦然运营平台上,必要经历如下步骤:

Step1:理解数据坦然事件的外现特征; Step2:推理设备日志的字段特征; Step3:归纳事件检测逻辑,并转化成事件处理说话(EPL); Step4:将EPL集成到CEP规则引擎中并实走;

经过上述步骤后,CEP规则引擎就能够添载该坦然场景的事件检测规则,当相符该规则检测模式的设备日志进入到CEP规则引擎后,即可触发生成事件。

基于Flink和Siddhi开发CEP规则引擎,是实时事件处理的典型案例,其事件处理流程的架构如图2。

图2 Flink-Siddhi流程图

下面以一个实际营业中的数据坦然胁迫检测场景为例:抨击者议定若干已知账号和通用暗号尝试登陆(UEBA变态走为—单设备登陆多个迥异账号),成功后登陆特定用户的confluence、邮箱等,翻阅并下载敏感新闻(短时间内下载大量文件),如服务器暗号、敏感文件等,进而占有了一批服务器,造成主要的数据泄露。该场景涉及到三栽日志:登陆认证、Web访问和文件传输。经太甚析可知,该场景的日志具备如下特征:

登陆认证日志:多次认证战败后骤然成功; Web访问日志:某设备骤然登陆若干迥异的账号,偏离以以前常走为; 文件传输日志:短时间内下载大量文件。

上述特征均能够行使CEP规则引擎内置的算子来外示产品中心。

行使EPL将事件检测逻辑定义出来,然后将EPL添载到CEP规则引擎中,议定解析校验EPL等流程,最后得到一个物理实走流程图并分发到集群的各个worker节点,最先实走上述事件检测规则。

清淡情况下,无数CEP引擎都挑供了状态机的方案,遵命事件检测规则对实时日志流进走模式匹配,在上述坦然事件检测规则的详细实走过程中,有限状态机的实走过程如图3所示:

图3 CEP规则实走EPL基本流程

最先,CEP规则引擎不息检测第一步的登陆认证日志,倘若检测到多次认证战败骤然登陆成功的日志,则鉴定为变态,并将变态登陆认证日志缓存首来,记为荟萃A。同时,实时监控荟萃A中日志源/现在标IP,若有Web访问日志短时间内登陆大量迥异账号,且登陆账号的数目超过平常基线(或阈值)的情况,记为变态的Web访问日志荟萃B。至此,得到了两个日志荟萃A和B,并且将荟萃A和B中按源/现在标IP条件有关得到的荟萃记为[A&B]模式序列。

同理,以[A&B]模式序列中荟萃A的现在标IP不息监控文件传输日志是否有和有关条件相匹配的文件传输日志,并且在登陆成功后的一段时间内发生了大量的文件传输走为,所以得到荟萃C。并最后得到[A&B->C]模式序列。倘若该模式序列[A&B->C]不为空,则表明日志触发该事件检测规则,即可生成最后的账号爆破成功后的数据泄露告警事件。

议定吾们的CEP引擎,能够变通高效处理数据坦然场景的溯源分析,迅速还原数据泄露过程的全貌,对义务定位、环境添固、坦然预防首偏主要作用。

模式二、离线复杂事件处理

固然实时处理能检测到很无数据泄露的场景,但原由片面场景时间跨度长,且是一次性接入的历史日志,所以亟需离线复杂事件处理模式。离线模式可基于历史日志,声援长时间跨度的胁迫分析,还原抨击事件。绿盟科技开发出一套通用的离线规则实走框架,用以声援单源、多源有关分析、复杂事件处理以及自定义插件类规则,声援更多的场景分析,同时兼顾效果和资源。离线处理集体架构如图4所示。

图4 离线规则实走流程

规则与义务注册模块:声援在界面配置离线规则和实走模式,并注册至离线义务外中,由义务调度模块调用。 义务调度模块:常驻进程,用来监控义务外,根据义务新闻来选择2栽实走模式:(1)立即实走,即手动触发的一次性义务;(2)周期性实走。 规则实走模块:根据配置和调度新闻,基于对设备告警或流量日志、文件传输日志的浅易查询或有关聚相符等操作,实走规则,生成相答事件,末了将义务实走状态(成功/战败)更新至义务外。

下面吾们结相符详细APT抨击导致数据泄露实例场景来表明:抨击者最先议定端口和漏洞扫描尝试,发现开启SSH服务,然后制作暗号字典进走暴力破解,期间有SQL注入尝试,获取暗号、权限等,成功登陆体系(SSH登陆成功),进而装配病毒程序或工具进走木马长途限制运动,获取持久限制权限,登录后浏览或传输敏感文件,导致数据泄露,造成主要的数据坦然事件。其抨击流程如图5所示。

图5 复杂不息抨击数据泄露案例

根据抨击阶段的关键行为可挑取特征:

(1)侦查:如端口、Web漏洞扫描;

(2)定向抨击:账号爆破、SQL注入等;

(3)占有+侵犯:账号爆破成功、体系登录成功等;

(4)装配工具:感染木马、病毒等;

(5)凶意运动:长途限制、敏感文件传输、数据泄露等。

离线模式检测现在APT抨击手段:

(1)最先根据数据抨击场景挑取的关键特征配置规则,这边能够配置为5个阶段:S1(端口扫描)->S2(SSH暴力破解)-> S3(SSH登录成功)-> S4(感染木马病毒)-> S5(数据泄露);

(2)配置完规则后选择实走模式(立即或周期实走),并注册到义务外中;

(3)义务监控进程根据注册新闻实走对答义务;

(4)实走:由所以离线溯源,日志都已存储至ES中,所以能够从肆意阶段最先搜索。

原由面临海量日志的有关,需解决益有关时的性能题目。这边采用最幼日志源双向有关算法,中央理维为先找到各阶段各个日志源命中数目的最幼值,挑取关键有关条件字段新闻,如sip、dip等,然后结相符有关条件,将其行为前一步或后一步的追添复相符搜索条件,逆复迭代搜索,获取最后待有关分析的日志最幼批据量,在内存数据库中完善聚相符有关分析处理。

图6 最幼日志源双向有关搜索实走流程示例

以三个日志源[s1,s2,s3]的多源有关分析规则为例,描述详细实走逻辑:

(1)先查询三个日志源的每个规则过滤条件别离命中的日志总数列外log_cnt_list =[cnt1,cnt2,cnt3], 倘若cnt2为最幼值;

(2)将第二个日志源过滤规则命中的日志数据Data2从日志数据库中掏出来,结相符有关条件(如s1.sip=s2.dip),将s2的查询效果Data2行为追添查询条件,向前以及向后有关查询日志源s1和s3别离命中的日志数据Data1和Data3。必要仔细的是,以Data2中的值行为收敛有关条件查询s1或s3,能够会查询不到效果,即Data1和Data3能够为空,若为空,则必要及时终止向前或向后有关查询,并退出规则实走模块,以避免对日志数据库不消要的查询并及时开释体系资源。

(3)双向查询日志终结后,将查询到的日志数据集[Data1,Data2,Data3]写入到内存数据库中,然后参与后续的有关聚相符并输出事件,并及时清空内存中的一时数据;

(4)增补逆查机制,进一步降矮数据量。

能够望到,定义益场景和特征后,数据泄露有关场景能够变通一般的转折成引擎内置识别的手段往溯源检测,使场景分析的门槛大大降矮,人人都能够基于营业中的场景实例做实战分析。

结语

议定上文对复杂事件处理有关技术在数据坦然典型场景中的行使探讨,并基于实时和离线两栽坦然事件分析模式分析详细数据泄露场景案例的溯源实践,吾们能够望到复杂事件处理技术在网络坦然走业具有主要的行使价值,尤其在数据坦然事故频发的近况下其价值表现将更添清晰。但数据泄露的场景分析、数据窃取、滥用及添密等课题钻研仍任重而道远。在设计上,必要更添完善的数据坦然治理和评估框架体系;在技术上,必要对方案的性能、多样性和扩展性做不息追求和优化。

【本文是51CTO专栏作者“坦然牛”的原创文章,转载请议定坦然牛(微信公多号id:gooann-sectv)获取授权】

戳这边,望该作者更多益文

【编辑保举】产品中心

隐私计算蓄力待发数据坦然之路任重道远《数据坦然法》今首正式实走,隐私计算迎来千亿级风口隐私计算新行使 融数联智PPU26x正式上市为保障数据坦然挑供新路径《数据坦然法》今首实走,筑牢数据坦然防线《数据坦然法》正式实走 动了谁的奶酪?红了谁的樱桃?

Powered by 西甲篮球联赛赛果 @2018 RSS地图 HTML地图