首頁(yè) > 精品范文 > 網(wǎng)絡(luò)流量監(jiān)測(cè)
時(shí)間:2023-01-11 20:16:22
序論:寫(xiě)作是一種深度的自我表達(dá)。它要求我們深入探索自己的思想和情感,挖掘那些隱藏在內(nèi)心深處的真相,好投稿為您帶來(lái)了七篇網(wǎng)絡(luò)流量監(jiān)測(cè)范文,愿它們成為您寫(xiě)作過(guò)程中的靈感催化劑,助力您的創(chuàng)作。
關(guān)鍵詞:網(wǎng)絡(luò)流量;監(jiān)測(cè);網(wǎng)絡(luò)管理
1、網(wǎng)絡(luò)流量的特性
通過(guò)對(duì)互聯(lián)網(wǎng)通信量的測(cè)量,人們發(fā)現(xiàn)互聯(lián)網(wǎng)通信量的主要特性有:
1、數(shù)據(jù)流是雙向的,但通常是非對(duì)稱的
互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡(luò)的流是雙向的。但是兩個(gè)方向上的數(shù)據(jù)率有很大的差異,這是因?yàn)閺木W(wǎng)站下載時(shí)會(huì)導(dǎo)致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個(gè)方向多。
2、大部分TCP會(huì)話是短期的
超過(guò)90%的TCP會(huì)話交換的數(shù)據(jù)量小于10K字節(jié),會(huì)話持續(xù)時(shí)間不超過(guò)幾秒。雖然文件傳輸和遠(yuǎn)程登陸這些TCP對(duì)話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長(zhǎng)使其在這方面產(chǎn)生了決定性的影響。
3、包的到達(dá)過(guò)程不是泊松過(guò)程
大部分傳統(tǒng)的排隊(duì)理論和通信網(wǎng)絡(luò)設(shè)計(jì)都假設(shè)包的到達(dá)過(guò)程是泊松過(guò)程,即包到達(dá)的間斷時(shí)間的分布是獨(dú)立的指數(shù)分布。簡(jiǎn)單的說(shuō),泊松到達(dá)過(guò)程就是事件(例如地震,交通事故,電話等)按照一定的概率獨(dú)立的發(fā)生。泊松模型因?yàn)橹笖?shù)分布的無(wú)記憶性也就是事件之間的非相關(guān)性而使其在應(yīng)用上要比其他模型更加簡(jiǎn)單。然而近年來(lái)對(duì)互聯(lián)網(wǎng)絡(luò)通信量的測(cè)量顯示包到達(dá)的過(guò)程不是泊松過(guò)程。包到達(dá)的間斷時(shí)間不僅不服從指數(shù)分布,而且不是獨(dú)立分布的。大部分時(shí)候是多個(gè)包連續(xù)到達(dá),即包的到達(dá)是有突發(fā)性的。很明顯,泊松過(guò)程不足以精確地描述包的到達(dá)過(guò)程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過(guò)程的現(xiàn)象迫使人們懷疑使用簡(jiǎn)單的泊松模型研究網(wǎng)絡(luò)的可靠性,從而促進(jìn)了網(wǎng)絡(luò)通信量模型的研究。
4、網(wǎng)絡(luò)通信量具有局域性
互聯(lián)網(wǎng)流量的局域性包括時(shí)間局域性和空間局域性。用戶在應(yīng)用層對(duì)互聯(lián)網(wǎng)的訪問(wèn)反映在包的時(shí)間和源及目的地址上,從而顯示出基于時(shí)間的相關(guān)(時(shí)間局域性)和基于空間的相關(guān)(空間局域性)。
2、 網(wǎng)絡(luò)流量的測(cè)量
網(wǎng)絡(luò)流量的測(cè)量是人們研究互聯(lián)網(wǎng)絡(luò)的一個(gè)工具,通過(guò)采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流,我們可以設(shè)計(jì)出更加符合實(shí)際的網(wǎng)絡(luò)設(shè)備和更加合理的網(wǎng)絡(luò)協(xié)議。計(jì)算機(jī)網(wǎng)絡(luò)不是永遠(yuǎn)不會(huì)出錯(cuò)的,設(shè)備的一小點(diǎn)故障都有可能使整個(gè)網(wǎng)絡(luò)癱瘓,或者使網(wǎng)絡(luò)性能明顯下降。例如廣播風(fēng)暴、非法包長(zhǎng)、錯(cuò)誤地址、安全攻擊等。對(duì)互聯(lián)網(wǎng)流量的測(cè)量可以為網(wǎng)絡(luò)管理者提供詳細(xì)的信息以幫助發(fā)現(xiàn)和解決問(wèn)題。互聯(lián)網(wǎng)流量的測(cè)量從不同的方面可以分為:
1、基于硬件的測(cè)量和基于軟件的測(cè)量
基于硬件的測(cè)量通常指使用為采集和分析網(wǎng)絡(luò)數(shù)據(jù)而特別設(shè)計(jì)的專用硬件設(shè)備進(jìn)行網(wǎng)絡(luò)流的測(cè)量,這些設(shè)備一般都比較昂貴,而且受網(wǎng)絡(luò)接口數(shù)量,網(wǎng)絡(luò)插件的類型,存儲(chǔ)能力和協(xié)議分析能力等諸多因素的限制。基于軟件的測(cè)量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡(luò)接口部分,使其具備捕獲網(wǎng)絡(luò)數(shù)據(jù)包的功能。與基于硬件的方法比較,其費(fèi)用比較低廉,但是性能比不上專用的網(wǎng)絡(luò)流量分析器。
2、主動(dòng)測(cè)量和被動(dòng)測(cè)量
被動(dòng)測(cè)量只是記錄網(wǎng)絡(luò)的數(shù)據(jù)流,不向網(wǎng)絡(luò)流中注入任何數(shù)據(jù)。大部分網(wǎng)絡(luò)流量測(cè)量都是被動(dòng)的測(cè)量。主動(dòng)測(cè)量使用由測(cè)量設(shè)備產(chǎn)生的數(shù)據(jù)流來(lái)探測(cè)網(wǎng)絡(luò)而獲知網(wǎng)絡(luò)的信息。例如使用ping來(lái)估計(jì)到某個(gè)目的地址的網(wǎng)絡(luò)延時(shí)。
3、在線分析和離線分析
有的網(wǎng)絡(luò)流量分析器支持實(shí)時(shí)地收集和分析網(wǎng)絡(luò)數(shù)據(jù),使用可視化手段在線地顯示流量數(shù)據(jù)和分析結(jié)果,大部分基于硬件的網(wǎng)絡(luò)分析器都具有這個(gè)能力。離線分析只是在線地收集網(wǎng)絡(luò)數(shù)據(jù),把數(shù)據(jù)存儲(chǔ)下來(lái),并不對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析。
4、協(xié)議級(jí)分類
對(duì)于不同的協(xié)議,例如以太網(wǎng)(Ethernet ),幀中繼(Frame Relay ),異步傳輸模式( Asynchronous Transfer Mode ),需要使用不同的網(wǎng)絡(luò)插件來(lái)收集網(wǎng)絡(luò)數(shù)據(jù),因此也就有了不同的通信量測(cè)試方法。
3、 網(wǎng)絡(luò)流量的監(jiān)測(cè)技術(shù)
根據(jù)對(duì)網(wǎng)絡(luò)流量的采集方式可將網(wǎng)絡(luò)流量監(jiān)測(cè)技術(shù)分為:基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè)技術(shù)、基于SNMP的監(jiān)測(cè)技術(shù)和基于Netflow的監(jiān)測(cè)技術(shù)三種常用技術(shù)。
1、基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè)技術(shù):網(wǎng)絡(luò)流量全鏡像采集是目前IDS主要采用的網(wǎng)絡(luò)流量采集模式。其原理是通過(guò)交換機(jī)等網(wǎng)絡(luò)設(shè)備的端口鏡像或者通過(guò)分光器、網(wǎng)絡(luò)探針等附加設(shè)備,實(shí)現(xiàn)網(wǎng)絡(luò)流量的無(wú)損復(fù)制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點(diǎn)是能夠提供豐富的應(yīng)用層信息。
2、基于Netflow的流量監(jiān)測(cè)技術(shù):Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備提供的Netflow機(jī)制實(shí)現(xiàn)的網(wǎng)絡(luò)流量信息采集。
1網(wǎng)絡(luò)流量監(jiān)測(cè)的必要性及意義
網(wǎng)絡(luò)管理中非常重要且非常基礎(chǔ)的一個(gè)環(huán)節(jié)就是網(wǎng)絡(luò)流量監(jiān)測(cè),網(wǎng)絡(luò)流量監(jiān)測(cè)即是通過(guò)對(duì)網(wǎng)絡(luò)數(shù)據(jù)的連續(xù)采集,以此來(lái)監(jiān)測(cè)網(wǎng)絡(luò)的流量。網(wǎng)絡(luò)及其重要成分的性能指標(biāo)也是對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)的統(tǒng)計(jì)和計(jì)算得到的。網(wǎng)絡(luò)管理員根據(jù)當(dāng)前的和歷史的存儲(chǔ)網(wǎng)絡(luò)及其重要成分的性能的數(shù)據(jù)數(shù)據(jù),就可對(duì)網(wǎng)絡(luò)及其主要成分的性能進(jìn)行性能管理,通過(guò)數(shù)據(jù)分析獲得性能的變化趨勢(shì)。分析制約網(wǎng)絡(luò)性能的瓶頸問(wèn)題。在網(wǎng)絡(luò)流量監(jiān)測(cè)的基礎(chǔ)上,管理員可對(duì)感興趣的網(wǎng)絡(luò)管理對(duì)象設(shè)置閾值范圍以配置網(wǎng)絡(luò)閾值對(duì)象,閾值對(duì)象監(jiān)控實(shí)時(shí)輪詢網(wǎng)絡(luò)獲取定義對(duì)象的當(dāng)前值。若超出閥值的上限和下限則報(bào)警,幫助管理員發(fā)現(xiàn)網(wǎng)絡(luò)瓶頸,這樣即可實(shí)現(xiàn)一定程度上的故障管理,而網(wǎng)絡(luò)流量監(jiān)測(cè)本身也涉及到安全管理方面的內(nèi)容。所以,研究網(wǎng)絡(luò)流量監(jiān)測(cè)是非常有意義的。
2網(wǎng)絡(luò)流量的特性
2.1數(shù)據(jù)流是雙向的,但通常是非對(duì)稱的。互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡(luò)的流是雙向的。但是兩個(gè)方向上的數(shù)據(jù)率有很大的差異,這是因?yàn)閺木W(wǎng)站下載時(shí)會(huì)導(dǎo)致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個(gè)方向多。
2.2大部分TCP會(huì)話是短期的。超過(guò)90%的TCP會(huì)話交換的數(shù)據(jù)量小于10K字節(jié),會(huì)話持續(xù)時(shí)間不超過(guò)幾秒。雖然文件傳輸和遠(yuǎn)程登陸這些TCP對(duì)話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長(zhǎng)使其在這方面產(chǎn)生了決定性的影響。1.3包的到達(dá)過(guò)程不是泊松過(guò)程大部分傳統(tǒng)的排隊(duì)理論和通信網(wǎng)絡(luò)設(shè)計(jì)都假設(shè)包的到達(dá)過(guò)程是泊松過(guò)程,即包到達(dá)的間斷時(shí)間的分布是獨(dú)立的指數(shù)分布。然而近年來(lái)對(duì)互聯(lián)網(wǎng)絡(luò)通信量的測(cè)量顯示包到達(dá)的過(guò)程不是泊松過(guò)程。包到達(dá)的間斷時(shí)間不僅不服從指數(shù)分布,而且不是獨(dú)立分布的。大部分時(shí)候是多個(gè)包連續(xù)到達(dá),即包的到達(dá)是有突發(fā)性的。很明顯,泊松過(guò)程不足以精確地描述包的到達(dá)過(guò)程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過(guò)程的現(xiàn)象迫使人們懷疑使用簡(jiǎn)單的泊松模型研究網(wǎng)絡(luò)的可靠性,從而促進(jìn)了網(wǎng)絡(luò)通信量模型的研究。
2.3網(wǎng)絡(luò)通信量具有局域性。互聯(lián)網(wǎng)流量的局域性包括時(shí)間局域性和空間局域性。用戶在應(yīng)用層對(duì)互聯(lián)網(wǎng)的訪問(wèn)反映在包的時(shí)間和源及目的地址上,從而顯示出基于時(shí)間的相關(guān)(時(shí)間局域性)和基于空間的相關(guān)(空間局域性)。
3網(wǎng)絡(luò)流量的監(jiān)測(cè)技術(shù)與方法
3.1網(wǎng)絡(luò)流量的監(jiān)測(cè)技術(shù)種類
(1)基于流量鏡像協(xié)議分析。流量鏡像(在線TAP)協(xié)議分析方式是把網(wǎng)絡(luò)設(shè)備的某個(gè)端口(鏈路)流量鏡像給協(xié)議分析儀,通過(guò)7層協(xié)議解碼對(duì)網(wǎng)絡(luò)流量進(jìn)行監(jiān)測(cè)。與其他3種方式相比,協(xié)議分析是網(wǎng)絡(luò)測(cè)試的最基本手段,特別適合網(wǎng)絡(luò)故障分析。缺點(diǎn)是流量鏡像(在線TAP)協(xié)議分析方式只針對(duì)單條鏈路,不適合全網(wǎng)監(jiān)測(cè)。
(2)基于硬件探針的監(jiān)測(cè)技術(shù)。硬件探針是一種用來(lái)獲取網(wǎng)絡(luò)流量的硬件設(shè)備,使用時(shí)將它串接在需要捕捉流量的鏈路中,通過(guò)分流鏈路上的數(shù)字信號(hào)而獲取流量信息。一個(gè)硬件探針監(jiān)視一個(gè)子網(wǎng)(通常是一條鏈路)的流量信息。對(duì)于全網(wǎng)流量的監(jiān)測(cè)需要采用分布式方案,在每條鏈路部署一個(gè)探針,再通過(guò)后臺(tái)服務(wù)器和數(shù)據(jù)庫(kù),收集所有探針的數(shù)據(jù),做全網(wǎng)的流量分析和長(zhǎng)期報(bào)告。與其他的3種方式相比,基于硬件探針的最大特點(diǎn)是能夠提供豐富的從物理層到應(yīng)用層的詳細(xì)信息。但是硬件探針的監(jiān)測(cè)方式受限于探針的接口速率,一般只針對(duì)1000M以下的速率。而且探針?lè)绞街攸c(diǎn)是單條鏈路的流量分析,Netflow更偏重全網(wǎng)流量的分析。
(3)基于SNMP的流量監(jiān)測(cè)技術(shù)。基于SNMP的流量信息采集,實(shí)質(zhì)上是測(cè)試儀表通過(guò)提取網(wǎng)絡(luò)設(shè)備Agent提供的MIB(管理對(duì)象信息庫(kù))中收集一些具體設(shè)備及流量信息有關(guān)的變量。相似的方式還包括RMON。與其他的方式相比,基于SNMP的流量監(jiān)測(cè)技術(shù)受到設(shè)備廠家的廣泛支持,使用方便,缺點(diǎn)是信息不夠豐富和準(zhǔn)確,分析集中在網(wǎng)絡(luò)的2、3層的信息和設(shè)備的消息。SNMP方式經(jīng)常集成在其他的3種方案中,如果單純采用SNMP做長(zhǎng)期的、大型的網(wǎng)絡(luò)流量監(jiān)控,在測(cè)試儀表的基礎(chǔ)上,需要使用后臺(tái)數(shù)據(jù)庫(kù)。
(4)基于Netflow的流量監(jiān)測(cè)技術(shù)。Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備(Cisco)提供的Netflow機(jī)制實(shí)現(xiàn)的網(wǎng)絡(luò)流量信息采集。Netflow為Cisco之專屬協(xié)議,已經(jīng)標(biāo)準(zhǔn)化,并且Juniper、extreme、華為等廠家也逐漸支持,Netflow由路由器、交換機(jī)自身對(duì)網(wǎng)絡(luò)流量進(jìn)行統(tǒng)計(jì),并且把結(jié)果發(fā)送到第3方流量報(bào)告生成器和長(zhǎng)期數(shù)據(jù)庫(kù)。一旦收集到路由器、交換機(jī)上的詳細(xì)流量數(shù)據(jù)后,便可為網(wǎng)絡(luò)流量統(tǒng)計(jì)、網(wǎng)絡(luò)使用量計(jì)價(jià)、網(wǎng)絡(luò)規(guī)劃、病毒流量分析,網(wǎng)絡(luò)監(jiān)測(cè)等應(yīng)用提供計(jì)數(shù)根據(jù)。Netflow方式是網(wǎng)絡(luò)流量統(tǒng)計(jì)方式的發(fā)展趨勢(shì)。在綜合比較四種技術(shù)之后,不難得出以下結(jié)論:基于SNMP的流量監(jiān)測(cè)技術(shù)能夠滿足網(wǎng)絡(luò)流量分析的需要,且信息采集效率高,適合在各類網(wǎng)絡(luò)中應(yīng)用。
3.2網(wǎng)絡(luò)流量的監(jiān)測(cè)方法
流量監(jiān)測(cè)包括測(cè)量工具/系統(tǒng)的部署、流量數(shù)據(jù)的采集(包括數(shù)據(jù)包捕獲、歸并和采樣處理等)、數(shù)據(jù)包的解析和處理、測(cè)量實(shí)體量化數(shù)值的獲得與統(tǒng)計(jì)分析、流量特征化描述、流量存儲(chǔ)和查詢表示、流量建模等多個(gè)環(huán)節(jié),具有相對(duì)復(fù)雜的處理和分析過(guò)程。目前存在有眾多種流量測(cè)量的實(shí)現(xiàn)方法,他們可適用不同的測(cè)量環(huán)境、滿足不同的測(cè)量要求,并且有著不同的實(shí)現(xiàn)方式。基于硬件的測(cè)量通常需要設(shè)計(jì)和應(yīng)用特定的硬件設(shè)備來(lái)對(duì)流量數(shù)據(jù)進(jìn)行采集和分析。被測(cè)量的流量并非由普通的商用計(jì)算機(jī)直接獲得,而是需要從服務(wù)器、交換機(jī)、路由器等特定的網(wǎng)絡(luò)設(shè)備上經(jīng)過(guò)一定處理后導(dǎo)出,然后再由普通的商用計(jì)算機(jī)完成后續(xù)的流量處理和統(tǒng)計(jì)分析等工作。不同形式的數(shù)據(jù),對(duì)應(yīng)要求在普通的商用計(jì)算機(jī)上通過(guò)不同的程序或軟件實(shí)現(xiàn)相應(yīng)的流量處理和統(tǒng)計(jì)分析功能。
關(guān)鍵詞:網(wǎng)絡(luò)流量;監(jiān)控;意義
中圖分類號(hào):TP393.06 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007-9599 (2012) 09-0000-01
一、網(wǎng)絡(luò)流量監(jiān)視與控制策略
(一)對(duì)網(wǎng)絡(luò)流量的捕捉與分類。對(duì)網(wǎng)絡(luò)流量的捕捉與分類是實(shí)現(xiàn)網(wǎng)絡(luò)流量管理的第一步。要事先設(shè)置好捕捉點(diǎn),對(duì)網(wǎng)絡(luò)流量加以捕捉與分類,只有這樣才可以做后續(xù)的分析及控制工作。更需要進(jìn)行說(shuō)明的是,網(wǎng)絡(luò)流量分類要實(shí)現(xiàn)宏觀化,還可以做到細(xì)化。例如TCP、UDP、ICMP的分類方法具有宏觀特點(diǎn),而其中的HTTP、FTP包括Kazza、Skype之類的P2P流量在分類及識(shí)別方面還要進(jìn)一步對(duì)其細(xì)化。比如我們的日常工作,網(wǎng)管人員可以借助于Wireshark、TCPDump等進(jìn)行報(bào)文捕捉與分析軟件對(duì)流量做捕捉與分類工作。(二)對(duì)網(wǎng)絡(luò)流量的監(jiān)視。監(jiān)視網(wǎng)絡(luò)流量的大小,可以找到問(wèn)題的原因與狀況,然后按照相應(yīng)的管理策略執(zhí)行有關(guān)的操作。應(yīng)用程序與網(wǎng)絡(luò)管理對(duì)各類信息進(jìn)行收集與分類,并對(duì)收集的信息進(jìn)行展示,所展示的內(nèi)容主要有對(duì)帶寬的利用率、活躍的主機(jī)與網(wǎng)絡(luò)效率及相關(guān)的應(yīng)用程序。這一目標(biāo)主要是利用了市面上的可視化分析管理工具NTOP來(lái)實(shí)現(xiàn)這一管理的,對(duì)網(wǎng)絡(luò)管理員進(jìn)行協(xié)助。(三)對(duì)網(wǎng)絡(luò)流量的控制策略。對(duì)網(wǎng)絡(luò)流量的分析主要是因優(yōu)先級(jí)別不同而分配一定的帶寬資源。這些分配主要是對(duì)主機(jī)及應(yīng)用進(jìn)行的等等,我們要對(duì)所消耗資源的P2P程序及音頻視頻下載等程序做進(jìn)一步的分析。它的具體操作時(shí)間主要以常用的流量控制工具對(duì)其實(shí)現(xiàn),比如采取的分類監(jiān)視與網(wǎng)絡(luò)流量的控制,這樣,我們可以對(duì)網(wǎng)絡(luò)流量做有效的管理,將無(wú)序的網(wǎng)絡(luò)流量變成有序的網(wǎng)絡(luò)流量。
二、網(wǎng)絡(luò)流量測(cè)量方法與選擇
當(dāng)前,我們通常使用的網(wǎng)絡(luò)流量的測(cè)量方式包括以下兩種。
(一)利用計(jì)算機(jī)對(duì)網(wǎng)絡(luò)進(jìn)行偵聽(tīng),比如利用“嗅控器”進(jìn)行偵聽(tīng)的Sniffer工具,這種方式不能使所有對(duì)象的流量都被監(jiān)聽(tīng)到,比如對(duì)路由器的要求主要是達(dá)到路由器與偵聽(tīng)計(jì)算機(jī)同屬于一個(gè)物理網(wǎng)段。(二)在網(wǎng)絡(luò)對(duì)象中直接獲取流量,在使用SNMP協(xié)議時(shí),對(duì)它所提供的基本功能中的Get2Re2quest與Get2NextReq都屬于一個(gè)M IB數(shù)據(jù)庫(kù)表,并從中可以獲取所需相關(guān)信息。比如利用免費(fèi)工具軟件METG對(duì)其進(jìn)行分析,它得到的監(jiān)控結(jié)果主要是一個(gè)GIF或者PNG格式的圖形文件,再把這些圖形文件植入到標(biāo)準(zhǔn)的HTML頁(yè)面之中。
三、網(wǎng)絡(luò)流量測(cè)量的實(shí)現(xiàn)
(一)對(duì)數(shù)據(jù)采集與存儲(chǔ)主要是通過(guò)流量監(jiān)控管理系統(tǒng)來(lái)實(shí)現(xiàn)的,利用Linux AS4. 0這一操作系統(tǒng),通過(guò)C語(yǔ)言編程完成這一功能,借助ucd-snmp軟件包完成對(duì)網(wǎng)絡(luò)設(shè)備MIB信息的獲取。比如UCD-SNMP軟件具有多個(gè)SNMP工具,它具有可擴(kuò)展、SNMP庫(kù)、對(duì)SNMP消息的查詢及設(shè)置、對(duì)SNMP陷阱工具的產(chǎn)生與處理、利用SNMP的netstat命令、實(shí)現(xiàn)管理系統(tǒng)庫(kù)瀏覽器Tk/Perl的作用。對(duì)ucd-snmp軟件包的安裝調(diào)試以后,可以在shell下面使用/usr/local/snmp/sbin/snmpd,也可以加在/etc/rc. d/rc. Local之中,實(shí)現(xiàn)開(kāi)機(jī)后的自動(dòng)啟動(dòng)功能。(二)Web服務(wù)器具有用戶查詢及交互模傳統(tǒng)方式,它主要是一種基于C/S架構(gòu)的管理模式,在Web技術(shù)不斷走向成熟以及被大面積應(yīng)用的基礎(chǔ)上,一種基于Web的全新的網(wǎng)絡(luò)管理WBM(Web-BasedManagement),具有靈活性、易操作性的服務(wù)產(chǎn)生。我們利用本系統(tǒng)的設(shè)計(jì),對(duì)網(wǎng)絡(luò)管理信息的數(shù)據(jù)經(jīng)SNMP在MIB庫(kù)中進(jìn)行收集,在網(wǎng)絡(luò)管理系統(tǒng)所做的過(guò)濾、分析、加工處理以后,在Web服務(wù)器做好數(shù)據(jù)的存儲(chǔ)。管理員利用Web技術(shù)借助于瀏覽器本地或者遠(yuǎn)程訪問(wèn)流量監(jiān)控系統(tǒng),對(duì)WBM技術(shù)與傳統(tǒng)的網(wǎng)絡(luò)及設(shè)備管理系統(tǒng)進(jìn)行對(duì)比,利用分布性、用戶界面各種不同的操作優(yōu)勢(shì),在動(dòng)態(tài)網(wǎng)頁(yè)P(yáng)HP的函數(shù)集中對(duì)臺(tái)戲SNMP協(xié)議應(yīng)用于網(wǎng)管函數(shù)的接口中。在使用PHP時(shí),不斷完成輪詢操作。而PHP所提供的網(wǎng)管函數(shù)庫(kù)與數(shù)據(jù)采集模塊的Agent通過(guò)交互對(duì)流量進(jìn)行監(jiān)控。它還利用PHP語(yǔ)言與Ajax技術(shù)對(duì)Web管理頁(yè)面進(jìn)行了創(chuàng)建,利用標(biāo)準(zhǔn)的接口,將用戶的HTTP格式的請(qǐng)求再做進(jìn)一步的轉(zhuǎn)換工作,使其成為了一種SNMP協(xié)議的格式,再將SNMP協(xié)議數(shù)據(jù)單元進(jìn)行轉(zhuǎn)換,使其成為HTTP格式,對(duì)用戶的瀏覽器界面進(jìn)行顯示。還要對(duì)Ajax(“Asynchronous JavaScriXML”,即異步JavaScript和XML)窗體技術(shù)加以利用。主要是將XMLHttpRequ應(yīng)用于JavaScript腳本所提供的頁(yè)面之內(nèi),再通過(guò)服務(wù)器通信的手段,使JavaScript不用刷新頁(yè)面就可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的獲取,而不用對(duì)整個(gè)頁(yè)面進(jìn)行刷新。
四、網(wǎng)絡(luò)流量監(jiān)控的意義
P2P技術(shù)用以通訊,僅一到兩臺(tái)電腦的P2P軟件就可以對(duì)整個(gè)局域網(wǎng)的所有帶寬資源加以搶占。因此,要保證企業(yè)網(wǎng)絡(luò)的能夠穩(wěn)定運(yùn)行,還要對(duì)流量進(jìn)行監(jiān)控與限制。對(duì)局域網(wǎng)流量的監(jiān)控限制主要有以下解決方案:
(一)對(duì)每臺(tái)機(jī)器進(jìn)行流量的分配。在Linux操作系統(tǒng)中有流量控制的作用,它主要是利用輸出端口的一個(gè)隊(duì)列完成流量的控制。借助于linux的網(wǎng)關(guān),就可以對(duì)每臺(tái)機(jī)器的流量進(jìn)行設(shè)置。我們還可以利用局域網(wǎng)的流量監(jiān)控軟件對(duì)流量進(jìn)行監(jiān)控。這一方案主要是對(duì)網(wǎng)關(guān)或者網(wǎng)橋的連接方式加以設(shè)置,所以在提高網(wǎng)速方面有一定的影響。(二)到網(wǎng)絡(luò)流量管理中使用流量控制,主要是使網(wǎng)絡(luò)管理者實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)資源與業(yè)務(wù)資源的帶寬加以控制,并對(duì)其資源加以調(diào)度,可以通過(guò)HTTP、FTP、SMTP以及P2P的應(yīng)用加以管理,特別是對(duì)通過(guò)對(duì)P2P流量進(jìn)行抑制以提升傳統(tǒng)數(shù)據(jù)業(yè)務(wù)的用戶體驗(yàn)度。另一方面,流量控制對(duì)網(wǎng)絡(luò)流量管理具有一定的作用,可以對(duì)業(yè)務(wù)資源進(jìn)行調(diào)度,并對(duì)業(yè)務(wù)資源進(jìn)行使用,對(duì)業(yè)務(wù)狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控。(三)對(duì)流量進(jìn)行控制主要是在輸出端口對(duì)一個(gè)隊(duì)列進(jìn)行流量的控制,控制的方式可以通過(guò)路由,也就是通過(guò)IP地址或者目的子網(wǎng)的網(wǎng)絡(luò)號(hào)進(jìn)行設(shè)計(jì)。對(duì)流量進(jìn)行控制主要是對(duì)功能模塊以隊(duì)列、分類及過(guò)濾的方式實(shí)現(xiàn)。因?yàn)榫W(wǎng)絡(luò)流量的種類較多,網(wǎng)絡(luò)管理員的管理要以分類的方式完成。在城域網(wǎng)網(wǎng)絡(luò)規(guī)劃和擴(kuò)容可以參考網(wǎng)絡(luò)流量模型來(lái)實(shí)現(xiàn),xFlow與探針能獲得流量模型的控制,困為探針具有應(yīng)用協(xié)議的分析能力,可以深入分析流量。然后在城域網(wǎng)接入層、匯聚層以及在城域網(wǎng)出口的每個(gè)層面安裝探針,對(duì)流量進(jìn)行監(jiān)測(cè)與分析,從而得到相對(duì)完整的流量模型。我們所提出的P2P應(yīng)用是網(wǎng)絡(luò)帶寬的一種主要的消耗者,對(duì)P2P流量進(jìn)行疏導(dǎo),可以實(shí)現(xiàn)它的本地化,可以對(duì)承載網(wǎng)絡(luò)流量流向進(jìn)行優(yōu)化,另外還可以對(duì)用戶感知進(jìn)行提升,它也城域網(wǎng)的未來(lái)發(fā)展方向之一。
參考文獻(xiàn):
關(guān)鍵詞: 網(wǎng)絡(luò)測(cè)量;網(wǎng)絡(luò)性能指標(biāo);網(wǎng)絡(luò)流量測(cè)量?jī)x
0 引言
隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展,人們的生活越來(lái)越依賴于計(jì)算機(jī)網(wǎng)絡(luò),借助于網(wǎng)絡(luò)人們可進(jìn)行工作、娛樂(lè)、購(gòu)物等等,滲入到生活的各個(gè)方面。同時(shí),計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展也是日新月異,網(wǎng)絡(luò)的復(fù)雜度也越來(lái)越高,所以網(wǎng)絡(luò)性能的測(cè)量,有助于對(duì)網(wǎng)絡(luò)性能有效的預(yù)報(bào)和控制,及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)出現(xiàn)的問(wèn)題并找到解決方法。網(wǎng)絡(luò)測(cè)量可以這樣理解,使用的軟、硬件測(cè)量工具或者軟硬件結(jié)合的工具,對(duì)網(wǎng)絡(luò)性能的的各項(xiàng)指標(biāo)進(jìn)行測(cè)量,并對(duì)網(wǎng)絡(luò)性能的狀況作出客觀的分析。
1 網(wǎng)絡(luò)測(cè)量分類和主要研究領(lǐng)域
目前,對(duì)網(wǎng)絡(luò)測(cè)量的分類有很多。根據(jù)測(cè)量的內(nèi)容可以分為拓?fù)錅y(cè)量與性能測(cè)量;根據(jù)測(cè)量方式可以分為主動(dòng)測(cè)量和被動(dòng)測(cè)量;根據(jù)測(cè)量點(diǎn)的多少可分為單點(diǎn)測(cè)量與多點(diǎn)測(cè)量;根據(jù)測(cè)量采用的協(xié)議可分為基于BGP(Border Gateway Protocol,邊界網(wǎng)關(guān)協(xié)議)協(xié)議的測(cè)量、基于TCP/IP協(xié)議的測(cè)量以及基于SNMP協(xié)議的測(cè)量。在主動(dòng)測(cè)量方式中,需要短暫斷網(wǎng),向網(wǎng)絡(luò)中發(fā)送數(shù)據(jù),通過(guò)觀察收到的數(shù)據(jù),對(duì)網(wǎng)絡(luò)性能進(jìn)行分析。被動(dòng)測(cè)量不需要斷網(wǎng),通過(guò)鏡像或者串接的模式連接到網(wǎng)絡(luò)中,記錄網(wǎng)絡(luò)中產(chǎn)生的數(shù)據(jù),并進(jìn)行分析。
一般的網(wǎng)絡(luò)測(cè)量的主要參數(shù)包括RTT(往返時(shí)延)、路徑數(shù)據(jù)、帶寬、延遲、擁塞程度、吞吐量、帶寬利用率、丟包率、服務(wù)器和網(wǎng)絡(luò)設(shè)備的響應(yīng)時(shí)間、最大的網(wǎng)絡(luò)流量、網(wǎng)絡(luò)服務(wù)質(zhì)量QoS等。
2 網(wǎng)絡(luò)流量測(cè)量
目前,上網(wǎng)用戶日益增多,隨之而來(lái)的是用戶對(duì)自己上網(wǎng)產(chǎn)生的流量并不透明,上網(wǎng)產(chǎn)生的流量精度與否,用戶也是不甚明了,由此而產(chǎn)生的爭(zhēng)議不斷上演。通過(guò)對(duì)網(wǎng)絡(luò)流量的測(cè)量,不僅可以對(duì)計(jì)算機(jī)網(wǎng)絡(luò)的動(dòng)態(tài)使用情況進(jìn)行掌握,而且對(duì)流量的準(zhǔn)確監(jiān)測(cè),對(duì)用戶的合法權(quán)益維護(hù)也具有重要的意義。對(duì)網(wǎng)絡(luò)流量性能可以通過(guò)網(wǎng)絡(luò)流量模型進(jìn)行預(yù)測(cè),流量測(cè)量不僅僅是用在流量的測(cè)量上,還能夠應(yīng)用在安全管理、性能管理、計(jì)費(fèi)管理等方面。
3 網(wǎng)絡(luò)流量測(cè)量?jī)x的設(shè)計(jì)
3.1 網(wǎng)絡(luò)流量測(cè)試儀的設(shè)計(jì)思路
針對(duì)目前沒(méi)有一款網(wǎng)絡(luò)流量測(cè)量?jī)x是從計(jì)量方面來(lái)進(jìn)行網(wǎng)絡(luò)流量監(jiān)控,此款網(wǎng)絡(luò)流量測(cè)量?jī)x主要是從用戶端進(jìn)行流量計(jì)量,能夠在一定時(shí)間內(nèi)對(duì)用戶產(chǎn)生的流量進(jìn)行精確統(tǒng)計(jì),精度是現(xiàn)行電信運(yùn)營(yíng)商的精度的0.3倍。
網(wǎng)絡(luò)流量測(cè)試儀采用串聯(lián)的方式連接在線路中,儀器的一個(gè)端口連接電信運(yùn)營(yíng)商的網(wǎng)絡(luò),另一個(gè)端口連接用戶電腦,連接方式。
3.2 網(wǎng)絡(luò)流量測(cè)量?jī)x的硬軟件結(jié)構(gòu)
網(wǎng)絡(luò)流量測(cè)量?jī)x是由一塊FPGA,在物理層有兩個(gè)RJ45網(wǎng)卡接口、存儲(chǔ)器、LCD和控制面板等組成,其硬件結(jié)構(gòu)。
網(wǎng)絡(luò)流量測(cè)量?jī)x依據(jù)的標(biāo)準(zhǔn)是IEEE802.3以太網(wǎng)絡(luò)通訊協(xié)議,通過(guò)計(jì)算MAC層的數(shù)據(jù)來(lái)統(tǒng)計(jì)流量大小。網(wǎng)絡(luò)流量測(cè)量?jī)x的軟件結(jié)構(gòu)三個(gè)模塊組成:實(shí)時(shí)數(shù)據(jù)處理和分析模塊、流量統(tǒng)計(jì)和計(jì)量模塊和LCD顯示模塊。
3.3 網(wǎng)絡(luò)流量測(cè)量?jī)x的工作流程
網(wǎng)絡(luò)流量測(cè)量?jī)x的主要功能就是對(duì)上網(wǎng)流量進(jìn)行計(jì)量,這也是設(shè)計(jì)此儀器的核心所在,所以儀器的首要功能是精確可靠的統(tǒng)計(jì)上網(wǎng)產(chǎn)生的數(shù)據(jù),通過(guò)幀的接收、驗(yàn)證、計(jì)算,數(shù)據(jù)包括上下行流量,然后通過(guò)查詢功能對(duì)得到的數(shù)據(jù)在LCD上顯示出來(lái)。
4 結(jié)論
網(wǎng)絡(luò)流量測(cè)量?jī)x采用軟硬件結(jié)合的方法,在用戶端進(jìn)行網(wǎng)絡(luò)流量統(tǒng)計(jì),從模擬驗(yàn)證來(lái)看,可以精確對(duì)用戶的上網(wǎng)流量進(jìn)行測(cè)量,填補(bǔ)了我國(guó)在網(wǎng)絡(luò)流量計(jì)量方面的空白,維護(hù)了消費(fèi)者的合法權(quán)益,具有一定的社會(huì)和經(jīng)濟(jì)效益。
參考文獻(xiàn):
[1]王寧、羅軍勇,一種關(guān)于重疊服務(wù)網(wǎng)絡(luò)的可用帶寬測(cè)量技術(shù)[J].微計(jì)算機(jī)信息,2005(23).
[2]王存立、吳捷,服務(wù)質(zhì)量測(cè)量技術(shù)及其應(yīng)用[J].中興通訊技術(shù),2003(04).
【 關(guān)鍵詞 】 模糊相對(duì)熵;網(wǎng)絡(luò)異常行為;網(wǎng)絡(luò)異常流量檢測(cè)
【 中圖分類號(hào) 】 TP309.05 【 文獻(xiàn)標(biāo)識(shí)碼 】 A
1 引言
IP網(wǎng)絡(luò)具有體系架構(gòu)開(kāi)放、信息共享靈活等優(yōu)點(diǎn),但是因其系統(tǒng)開(kāi)放也極易遭受各種網(wǎng)絡(luò)攻擊的入侵。網(wǎng)絡(luò)異常流量檢測(cè)屬于入侵檢測(cè)方法的一種,它通過(guò)統(tǒng)計(jì)發(fā)現(xiàn)網(wǎng)絡(luò)流量偏離正常行為的情形,及時(shí)檢測(cè)發(fā)現(xiàn)網(wǎng)絡(luò)中出現(xiàn)的攻擊行為,為網(wǎng)絡(luò)安全防護(hù)提供保障。在網(wǎng)絡(luò)異常流量檢測(cè)方法中,基于統(tǒng)計(jì)分析的檢測(cè)方法通過(guò)分析網(wǎng)絡(luò)參數(shù)生成網(wǎng)絡(luò)正常行為輪廓,然后度量比較網(wǎng)絡(luò)當(dāng)前主體行為與正常行為輪廓的偏離程度,根據(jù)決策規(guī)則判定網(wǎng)絡(luò)中是否存在異常流量,具有統(tǒng)計(jì)合理全面、檢測(cè)準(zhǔn)確率高等優(yōu)點(diǎn)。基于相對(duì)熵的異常檢測(cè)方法屬于非參數(shù)統(tǒng)計(jì)分析方法,在檢測(cè)過(guò)程中無(wú)須數(shù)據(jù)源的先驗(yàn)知識(shí),可對(duì)樣本分布特征進(jìn)行假設(shè)檢驗(yàn),可在缺乏歷史流量數(shù)據(jù)的情況下實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)異常行為的檢測(cè)與發(fā)現(xiàn)。本文系統(tǒng)研究了模糊相對(duì)熵理論在網(wǎng)絡(luò)異常流量檢測(cè)中的應(yīng)用,并搭建模擬實(shí)驗(yàn)環(huán)境對(duì)基于模糊相對(duì)熵的網(wǎng)絡(luò)異常流量檢測(cè)方法進(jìn)行了測(cè)試驗(yàn)證。
2 基于模糊相對(duì)熵的多測(cè)度網(wǎng)絡(luò)異常流量檢測(cè)方法
2.1 模糊相對(duì)熵的概念
相對(duì)熵(Relative Entropy)又稱為K-L距離(Kullback-Leibler divergence),常被用作網(wǎng)絡(luò)異常流量的檢測(cè)方法。本文引入模糊相對(duì)熵的概念,假定可用來(lái)度量?jī)蓚€(gè)概率分布P={p1,p2,...,...,pn}和Q={q1,q2,...,...,qn}的差別,其中,P、Q是描述同一隨機(jī)過(guò)程的兩個(gè)過(guò)程分布,P、Q的模糊相對(duì)熵定義為:
S(P,Q)=[Pi ln+(1-pi)ln] (1)
上式中qi可以接近0或1,這會(huì)造成部分分式分母為零,因此對(duì)(1)式重新定義:
S'(P,Q)=[Pi ln+(1-pi)ln](2)
模糊相對(duì)熵為兩種模糊概率分布的偏差提供判斷依據(jù),值越小說(shuō)明越一致,反之亦然。
2.2 多測(cè)度網(wǎng)絡(luò)異常流量檢測(cè)方法流程
基于模糊相對(duì)熵理論的多測(cè)度網(wǎng)絡(luò)異常檢測(cè)具體實(shí)施分為系統(tǒng)訓(xùn)練和實(shí)際檢測(cè)兩個(gè)階段。系統(tǒng)訓(xùn)練階段通過(guò)樣本數(shù)據(jù)或監(jiān)測(cè)網(wǎng)絡(luò)正常狀態(tài)流量獲取測(cè)度的經(jīng)驗(yàn)分布,實(shí)際檢測(cè)階段將實(shí)測(cè)數(shù)據(jù)獲取的測(cè)度分布與正常測(cè)度分布計(jì)算模糊相對(duì)熵,并計(jì)算多個(gè)測(cè)度的加權(quán)模糊相對(duì)熵,根據(jù)閾值判定網(wǎng)絡(luò)異常情況,方法流程如下:
Step1:獲取網(wǎng)絡(luò)特征正常流量的參數(shù)分布。通過(guò)樣本數(shù)據(jù)或監(jiān)測(cè)網(wǎng)絡(luò)正常狀態(tài)流量獲取各測(cè)度的經(jīng)驗(yàn)分布。
Step2:獲取網(wǎng)絡(luò)特征異常常流量的參數(shù)分布。對(duì)選取網(wǎng)絡(luò)特征參數(shù)異常流量進(jìn)行檢測(cè)獲取各種測(cè)度的概率分布。
Step3:依據(jù)公式(2)計(jì)算單測(cè)度正常流量和異常流量間模糊相對(duì)熵Si。
Step4:計(jì)算多測(cè)度加權(quán)模糊相對(duì)熵S。
S=α1S1+α2S2+…+αkSk (3)
式中αk表示第k個(gè)測(cè)度的權(quán)重系數(shù),由測(cè)評(píng)數(shù)據(jù)集統(tǒng)計(jì)分析獲得。
最終,根據(jù)S建立不同的等級(jí)閾值來(lái)表征網(wǎng)絡(luò)異常情況。S越大,表示網(wǎng)絡(luò)流量特征參數(shù)分布偏離正常狀態(tài)越多,網(wǎng)絡(luò)中出現(xiàn)異常流量的概率越大;S越小,表示網(wǎng)絡(luò)流量特征參數(shù)分布與正常狀態(tài)吻合度越好,網(wǎng)絡(luò)中出現(xiàn)異常流量的概率越小。
3 測(cè)試驗(yàn)證
為測(cè)試方法的有效性,搭建如圖1所示的實(shí)驗(yàn)環(huán)境,模擬接入層網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、流量類型和流量負(fù)載情況。測(cè)試環(huán)境流量按業(yè)務(wù)域類型分類,主要分為視頻、語(yǔ)音、數(shù)據(jù)三種業(yè)務(wù)域,按每個(gè)業(yè)務(wù)單路帶寬需求計(jì)算,總帶寬需求約為2368kbps~3200kbps。
(1)檢測(cè)系統(tǒng)接入交換機(jī)鏡像端口,系統(tǒng)部署環(huán)境。
①硬件環(huán)境:Intel(R) Core(TM) 2 Duo CPU 2.00GHz,2.0G內(nèi)存;②操作系統(tǒng)環(huán)境:Windows XP,.NET Framework 3.5;③數(shù)據(jù)庫(kù)系統(tǒng):Microsoft SQL Server 2005 9.00.1399.06 (Build 2600: Service Pack 3)。
測(cè)試環(huán)境交換機(jī)采用華為S3050C,用戶主機(jī)接入點(diǎn)配置如表1所示。
測(cè)試網(wǎng)絡(luò)正常流量狀態(tài)方案配置。
①1號(hào)主機(jī)架設(shè)視頻服務(wù)器模擬視頻業(yè)務(wù)域,單路平均帶寬需求2.59Mbps;②2、3號(hào)主機(jī)架設(shè)音頻服務(wù)器模擬語(yǔ)音業(yè)務(wù)域,單路平均帶寬需求128kbps;③4、5、6號(hào)主機(jī)采用應(yīng)用層專用協(xié)議和傳輸U(kuò)DP協(xié)議模擬發(fā)包程序模擬數(shù)據(jù)業(yè)務(wù)域,單路平均帶寬需求64kbps。
按上述方案配置網(wǎng)絡(luò)環(huán)境,交換機(jī)網(wǎng)絡(luò)流量負(fù)載約為2.996Mbps。
3.1 測(cè)試用例設(shè)計(jì)
網(wǎng)絡(luò)中的異常行為主要包括非法網(wǎng)絡(luò)接入、合法用戶的違規(guī)通信行為、網(wǎng)絡(luò)攻擊及未知的異常流量類型等,系統(tǒng)將其定義為四類:帶寬占用、非法IP地址、非法IP會(huì)話、模糊相對(duì)熵異常四類異常事件,其中模糊相對(duì)熵異常可根據(jù)經(jīng)驗(yàn)數(shù)據(jù)設(shè)定多個(gè)閾值等級(jí)。測(cè)試用例以網(wǎng)絡(luò)正常流量為背景流量,根據(jù)測(cè)試目的添加異常流量事件。測(cè)試用例設(shè)計(jì)及實(shí)驗(yàn)測(cè)試過(guò)程如表2所示。
3.2 結(jié)果分析
測(cè)試用例持續(xù)監(jiān)測(cè)網(wǎng)絡(luò)兩小時(shí)。根據(jù)模糊相對(duì)熵?cái)?shù)據(jù)輸出,繪制ROC曲線,檢測(cè)率與誤警率的關(guān)系如圖2所示。通過(guò)ROC曲線,能夠準(zhǔn)確反映模糊相對(duì)熵異常流量檢測(cè)方法檢測(cè)率與誤警率的關(guān)系。權(quán)衡檢測(cè)率與誤警率,選擇合適的閾值。當(dāng)模糊相對(duì)熵閾值設(shè)定為39.6時(shí),系統(tǒng)檢測(cè)率為84.36%,誤警率為3.86%,表明檢測(cè)系統(tǒng)對(duì)未知異常流量具有較好的檢測(cè)效果。
4 結(jié)束語(yǔ)
基于模糊相對(duì)熵的網(wǎng)絡(luò)異常流量檢測(cè)方法可以在不具備網(wǎng)絡(luò)歷史流量信息的情況下,通過(guò)對(duì)網(wǎng)絡(luò)流量特征進(jìn)行假設(shè)檢驗(yàn),實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)異常行為的檢測(cè)發(fā)現(xiàn)。實(shí)驗(yàn)測(cè)試結(jié)果表明,設(shè)定合理的模糊相對(duì)熵閾值,該方法的檢測(cè)率可達(dá)84.36%。在下一步的工作中,將研究自學(xué)習(xí)式閾值設(shè)定方法,以及對(duì)模糊相對(duì)熵方法進(jìn)一步優(yōu)化,提升方法的準(zhǔn)確性和效率。
參考文獻(xiàn)
[1] 蔣建春,馮登國(guó)等.網(wǎng)絡(luò)入侵檢測(cè)原理與技術(shù)[M].北京: 國(guó)防工業(yè)出版社,2001.
[2] 蔡明,嵇海進(jìn).基于ISP網(wǎng)絡(luò)的DDoS攻擊防御方法研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2008, 29(7):1644-1646.
[3] Francois Bavaud. Relative Entropy and Statistics[EB/OL].http://unil.ch/webdav/site/imm/users/ fbavaud/private/IT_statistics_bavaud.pdf.,2011-05-16.
[4] 張亞玲,韓照國(guó),任姣霞.基于相對(duì)熵理論的多測(cè)度網(wǎng)絡(luò)異常檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用,2010, 30(7):1771-1774.
[5] 李涵秋,馬艷,雷磊.基于相對(duì)熵理論的網(wǎng)絡(luò)Dos攻擊檢測(cè)方法[J].電訊技術(shù), 2011, 51(3):89-92.
[6] 張登銀,廖建飛.基于相對(duì)熵理論網(wǎng)絡(luò)流量異常檢測(cè)方法[J].南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2012, 32(5):26-31.
[7] 胡為,胡靜濤.加權(quán)模糊相對(duì)熵在電機(jī)轉(zhuǎn)子故障模糊識(shí)別中的應(yīng)用[J].信息與控制,2009, 38(3):326-331.
作者簡(jiǎn)介:
姚宏林(1974-),男,碩士,副教授,從事信息安全教學(xué)與研究。
關(guān)鍵詞:網(wǎng)絡(luò)流量;監(jiān)控設(shè)計(jì);實(shí)現(xiàn);策略
中圖分類號(hào):TP393.06
在我國(guó)網(wǎng)絡(luò)迅速發(fā)展的前提下,網(wǎng)絡(luò)各個(gè)領(lǐng)域當(dāng)中網(wǎng)絡(luò)流量監(jiān)控的設(shè)計(jì)和實(shí)現(xiàn)變得異常重要,它的存在對(duì)于各種軟件的運(yùn)行是否出現(xiàn)堵塞的現(xiàn)象顯得異常重要。就此,本論文著重針對(duì)網(wǎng)絡(luò)流量監(jiān)控設(shè)計(jì)進(jìn)行了分析,提出了相關(guān)的建議。
1 網(wǎng)絡(luò)流量監(jiān)控的重要性
網(wǎng)絡(luò)是一個(gè)錯(cuò)綜復(fù)雜的體系并且在管理的過(guò)程中會(huì)出現(xiàn)很大的難度和弊端,因此在進(jìn)行網(wǎng)絡(luò)監(jiān)控和管理的過(guò)程中一定要重視網(wǎng)絡(luò)流量監(jiān)控問(wèn)題。從目前我國(guó)網(wǎng)絡(luò)監(jiān)控的發(fā)展來(lái)看,伴隨著各種軟件的迅速發(fā)展以及多媒體規(guī)模的普及和多形式化的網(wǎng)絡(luò)軟件的出現(xiàn),不同領(lǐng)域的各項(xiàng)業(yè)務(wù)在網(wǎng)絡(luò)中逐漸趨于完善,網(wǎng)絡(luò)傳輸工作從以往的數(shù)據(jù)中迅速增長(zhǎng),給我國(guó)網(wǎng)絡(luò)造成了很大的負(fù)擔(dān)。因此,強(qiáng)化網(wǎng)絡(luò)流量監(jiān)控工作顯得異常重要。就此,筆者認(rèn)為在構(gòu)建網(wǎng)絡(luò)監(jiān)控體系的過(guò)程中要不斷的優(yōu)化其內(nèi)部軟件以及外部硬件,從根本上提高網(wǎng)絡(luò)監(jiān)控在網(wǎng)絡(luò)中的重要位置發(fā)揮出其作用,這必然對(duì)網(wǎng)絡(luò)監(jiān)控具有很大的意義。網(wǎng)網(wǎng)絡(luò)的流暢性、病毒的發(fā)現(xiàn)和制約起到了積極影響。與此同時(shí),相關(guān)設(shè)計(jì)單位應(yīng)該將網(wǎng)絡(luò)監(jiān)控管理提高到面上,從思想上重視網(wǎng)絡(luò)流量監(jiān)控工作,通過(guò)定期的完善和升級(jí),一直網(wǎng)絡(luò)出現(xiàn)攻擊和病毒侵蝕的情況。
2 分析網(wǎng)絡(luò)流量特征
為了進(jìn)一步的完善網(wǎng)絡(luò)局域網(wǎng)網(wǎng)絡(luò)流量管理的要求,應(yīng)該構(gòu)建局域網(wǎng)的流量監(jiān)控軟件,通過(guò)網(wǎng)絡(luò)流量的分類、規(guī)劃、管理,針對(duì)網(wǎng)絡(luò)流量的整體特征進(jìn)行總結(jié),從根本上設(shè)計(jì)出符合于實(shí)際性、更好地、管理有效的流量監(jiān)控體系。從根本上有效的管理網(wǎng)絡(luò)流量,達(dá)到避免局域網(wǎng)網(wǎng)絡(luò)堵塞的現(xiàn)象。就此,針對(duì)不同單位局域網(wǎng)的特征從以下幾個(gè)方面進(jìn)行論述。
2.1 TCP/IP
在90年代初期開(kāi)始,網(wǎng)絡(luò)中的主要協(xié)議主要是TCP/IP,雖然說(shuō)視頻流、TP電話、相關(guān)的視頻軟件等發(fā)展的非常迅速,帶動(dòng)了UDP協(xié)議在網(wǎng)絡(luò)中快速的發(fā)展,但是TCP/IP以及呈現(xiàn)出一個(gè)持續(xù)性發(fā)展的狀態(tài)。并且,因?yàn)橛脩粼跒g覽視頻或者是觀看電影的過(guò)程中會(huì)通過(guò)網(wǎng)頁(yè)進(jìn)行,這就導(dǎo)致了WWW瀏覽器的迅速升級(jí)以及快速發(fā)展,從根本上提高其內(nèi)容的豐富性。并且,網(wǎng)頁(yè)游戲以及商城對(duì)于TCP/IP的促進(jìn)和發(fā)展也是非常有利的呈現(xiàn)出可持續(xù)發(fā)展的趨勢(shì)。因此,從以上內(nèi)容的描述來(lái)看,TCP/IP在網(wǎng)絡(luò)中呈現(xiàn)出一個(gè)快速發(fā)展的趨勢(shì),并且占據(jù)著主導(dǎo)位置。
2.2 雙向數(shù)據(jù)流
從網(wǎng)絡(luò)自身的角度進(jìn)行分析,網(wǎng)絡(luò)的總體流向應(yīng)該是呈現(xiàn)出一個(gè)雙方面浮動(dòng)的情況,出了在網(wǎng)絡(luò)中應(yīng)有的數(shù)據(jù)流通、數(shù)據(jù)改變、網(wǎng)頁(yè)訪問(wèn)、下載相關(guān)的服務(wù)器、多媒體等會(huì)經(jīng)常性的出現(xiàn)訪問(wèn)外部網(wǎng)站的現(xiàn)象。
2.3 網(wǎng)絡(luò)數(shù)據(jù)流呈現(xiàn)出非對(duì)稱性
簡(jiǎn)單來(lái)說(shuō),就是網(wǎng)絡(luò)數(shù)據(jù)在運(yùn)作的過(guò)程中,兩者呈現(xiàn)出不統(tǒng)一的現(xiàn)象。或者其中的一個(gè)呈現(xiàn)高的現(xiàn)象,或者是其中一個(gè)呈現(xiàn)出低增長(zhǎng)的狀態(tài)。比如說(shuō),某些單位在進(jìn)行下載資料的過(guò)程中,數(shù)據(jù)流量非常緩慢甚至一個(gè)短短的視頻就需要下載一兩個(gè)小時(shí)左右。但是,在另外一個(gè)單位在進(jìn)行下載資料的過(guò)程中速度非常快并且呈現(xiàn)出持續(xù)增長(zhǎng)的趨勢(shì),這個(gè)時(shí)候就呈現(xiàn)出了網(wǎng)絡(luò)數(shù)據(jù)流不對(duì)稱的現(xiàn)象。
2.4 短期性的TCP會(huì)話
從測(cè)試的內(nèi)容來(lái)看,一般單位內(nèi)部的區(qū)域網(wǎng)TCP會(huì)話中超過(guò)80%的交換數(shù)據(jù)量大體上是
2.5 規(guī)律
每天上午、下午以及晚上6~11時(shí)是數(shù)據(jù)流量的高峰階段,這主要是因?yàn)樵谏衔缫约跋挛珉A段隸屬于辦公期間對(duì)于數(shù)據(jù)流量的需求較大,然而從晚上6~11時(shí)來(lái)說(shuō)是下班階段對(duì)于娛樂(lè)、游戲、交通等流量需求較高,是流量的高峰時(shí)間。除此之外,其他的時(shí)間隸屬于低估流量時(shí)期。
2.6 P2P通信
在網(wǎng)絡(luò)高速發(fā)展的前提下,互聯(lián)網(wǎng)的P2P技術(shù)伴隨著快速發(fā)展在網(wǎng)絡(luò)內(nèi)的波及范圍變得越來(lái)越廣泛,并應(yīng)用在各個(gè)場(chǎng)景當(dāng)中。從我國(guó)國(guó)內(nèi)的角度進(jìn)行分析,P2P軟件應(yīng)用最廣泛的是Workslink,還有完全以音樂(lè)共享為主要設(shè)計(jì)而進(jìn)行開(kāi)發(fā)的KuroKuro,是全中文操作的PP點(diǎn)點(diǎn)通,搜索音樂(lè)快捷方便的P2P軟件ezPeer,MP3搜索下載的全中文軟件的Jelawat,并且是何目前最容易分享的其他電腦網(wǎng)絡(luò)共享文件iMESH。不過(guò)從受眾最廣泛的角度進(jìn)行分析,在線視頻點(diǎn)直播的PPS、pptv,完全性的體現(xiàn)出了視頻的優(yōu)越性,從根本上體現(xiàn)出了P2P通信的優(yōu)勢(shì)。并且這兩款視頻點(diǎn)播曾經(jīng)創(chuàng)下了在線點(diǎn)播在線人數(shù)超千萬(wàn)的記錄,完全性的體現(xiàn)出了收看人越多,視頻觀看流暢的P2P技術(shù)的優(yōu)勢(shì)。但是,從下載歌曲、電影、軟件、在線視頻點(diǎn)播等進(jìn)行分析,直播的P2P軟件只有擁有足夠的種子以及足夠的金額護(hù)短就能夠占據(jù)全部寬帶,從整體上使其他網(wǎng)絡(luò)用戶沒(méi)有辦法正常性的使用網(wǎng)絡(luò),從根本上造成了嚴(yán)重性的網(wǎng)絡(luò)擁塞。
3 系統(tǒng)設(shè)計(jì)
在進(jìn)行系統(tǒng)的過(guò)程中,首先要注意的是保障單位局域網(wǎng)的網(wǎng)絡(luò)流通現(xiàn)象,針對(duì)局域網(wǎng)的流量實(shí)施監(jiān)控措施,完善監(jiān)控系統(tǒng)針對(duì)監(jiān)控系統(tǒng)所會(huì)出現(xiàn)的一系列問(wèn)題和弊端進(jìn)行適當(dāng)性的修改和整體。從根本上保障局域網(wǎng)的監(jiān)控系統(tǒng)能通過(guò)系統(tǒng)管理模塊以及站點(diǎn)流量管理體系,從根本上針對(duì)網(wǎng)絡(luò)流量進(jìn)行實(shí)施監(jiān)控,并且保障流量能夠暢通,對(duì)于出現(xiàn)數(shù)據(jù)制約網(wǎng)路的現(xiàn)象,應(yīng)立即采取攔截的策略。與此同時(shí),設(shè)計(jì)網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)中,一定要保障其監(jiān)控系統(tǒng)中涵蓋流量監(jiān)控、流量實(shí)時(shí)監(jiān)控、流量定時(shí)監(jiān)控、忙時(shí)監(jiān)控、P2P監(jiān)控等,從總體上保障流量監(jiān)控體系能夠完善并且處于一個(gè)穩(wěn)步運(yùn)轉(zhuǎn)的狀態(tài)中。就此,從以下幾個(gè)方面針對(duì)其內(nèi)容進(jìn)行論述。
3.1 系統(tǒng)管理模塊
系統(tǒng)管理模塊是系統(tǒng)的基礎(chǔ)性模塊,其模塊涵蓋了用戶管理功能、系統(tǒng)的配置功能。所謂的用戶管理功能是通過(guò)密碼管理和用戶限制非系統(tǒng)性人員或者是失誤操作流量的監(jiān)控體系。這里面所說(shuō)的用戶包含了超級(jí)管理人員以及系統(tǒng)兩級(jí)用戶。超級(jí)管理人員可以通過(guò)增加管理員用戶、刪除管理員用戶、修改管理人員能修改自身的密碼和對(duì)其履行超級(jí)管理權(quán)限并且針對(duì)系統(tǒng)進(jìn)行細(xì)致性的管理。從根本上完善對(duì)系統(tǒng)的總體配置和使用,更好的監(jiān)控網(wǎng)關(guān)地址等配置。從另外一個(gè)角度進(jìn)行分析,系統(tǒng)管理模塊是通過(guò)固定的體系進(jìn)行維修和管理,從根本上提升維修和管理的策略。
3.2 流量采集模塊
如果說(shuō)將整個(gè)系統(tǒng)比喻成大腦,那么流量采集模塊就是整個(gè)大腦中最核心的部分,占據(jù)著一定的位置。于此銅絲,流量采集模塊是基于窗口流量監(jiān)控范圍內(nèi),并且針對(duì)流量進(jìn)行監(jiān)控和管理。通過(guò)流量采集模塊為基礎(chǔ),針對(duì)其進(jìn)行實(shí)時(shí)監(jiān)控和管理,通過(guò)圖表的總體模式直接性的針對(duì)端口流量的情況,實(shí)時(shí)監(jiān)控處理。監(jiān)控主要涵蓋了針對(duì)指定的IP地址以及制定的IP區(qū)段內(nèi)的流量實(shí)時(shí)監(jiān)控,其次是針對(duì)指定協(xié)議端口流量監(jiān)控,最后是針對(duì)指定的AS或者是制定AS間的流量監(jiān)控。與此同時(shí),這項(xiàng)模塊還可以還能針對(duì)網(wǎng)絡(luò)性能進(jìn)行監(jiān)控報(bào)警。其報(bào)警主要可以分成流量擁塞報(bào)警,當(dāng)流量增加的時(shí)候,就會(huì)達(dá)成設(shè)定的域值。另外一種可以分成網(wǎng)絡(luò)擁塞報(bào)警,當(dāng)流量陡增發(fā)生丟包或設(shè)備路由器轉(zhuǎn)換成交換機(jī)的CUP以及內(nèi)存處理能力出現(xiàn)嚴(yán)重性的問(wèn)題。報(bào)警可以針對(duì)整個(gè)性能管理、故障管理以及安全管理都起到非常重要的作用。
3.3 站點(diǎn)流量管理模塊
站點(diǎn)流量管理模塊式以站點(diǎn)管理為基本單位,并且將訪問(wèn)的站點(diǎn)按照不同類別進(jìn)行分類,并且針對(duì)其分段時(shí)間按照流量監(jiān)測(cè)的實(shí)際情況采取限制性訪問(wèn)的策略,將這些站點(diǎn)設(shè)置信息保存至相關(guān)到數(shù)據(jù)庫(kù)當(dāng)中達(dá)到實(shí)現(xiàn)分類監(jiān)控管理的目的。
3.4 P2P流量監(jiān)控模塊
主要針對(duì)下載和P2P監(jiān)控,針對(duì)P2P軟件例如BT等嚴(yán)重性的占用到了網(wǎng)絡(luò)寬帶,因此需要針對(duì)P2P流量實(shí)施監(jiān)控政策。網(wǎng)絡(luò)監(jiān)測(cè)管理人員希望能夠封鎖一切的BT軟件,控制這一系列軟件的占用網(wǎng)絡(luò)寬帶率,從根本上提升BT軟件的占用率,改變流量監(jiān)控的現(xiàn)狀,提高網(wǎng)絡(luò)流量的使用率,減少降低的范圍。從BT服務(wù)來(lái)說(shuō),一般使用TCP/IP協(xié)議的16881一直到16889端口。從最近幾年來(lái)說(shuō),為了跨越封鎖,很多BT工具開(kāi)始修改鏈接的端口,直接性的使封鎖BT軟件變得特別困難。從目前來(lái)看,通過(guò)的方式是通過(guò)監(jiān)視每臺(tái)局域網(wǎng)中計(jì)算機(jī)的下載速率,如果某臺(tái)計(jì)算機(jī)嚴(yán)重性的占用寬帶,網(wǎng)絡(luò)管理人員將封鎖到達(dá)該臺(tái)計(jì)算機(jī)的IP報(bào)文,使該臺(tái)電腦不能夠進(jìn)行下載。與此同時(shí),還應(yīng)該保障P2P軟件的使用,從根本上使P2P軟甲家算計(jì)需要在使用之前向項(xiàng)目管理人員進(jìn)行申請(qǐng)。與此同時(shí),還應(yīng)該保障其不影響其他同事工作的時(shí)候?qū)嵤┫螺d策略。
3.5 流量分析統(tǒng)計(jì)模塊
其主要是通過(guò)對(duì)數(shù)據(jù)庫(kù)進(jìn)行檢測(cè)工作,從總體上針對(duì)數(shù)據(jù)進(jìn)行反反復(fù)復(fù)的分析工作,并且針對(duì)數(shù)據(jù)表格拼湊以及數(shù)據(jù)狀態(tài)進(jìn)行實(shí)質(zhì)性的改變和分析,從總體上提高統(tǒng)計(jì)圖的類型和形式達(dá)到有效分析流量的目的。
3.6 計(jì)算機(jī)網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)
其關(guān)鍵點(diǎn)在于通過(guò)實(shí)時(shí)采集技術(shù)針對(duì)網(wǎng)絡(luò)所產(chǎn)生的數(shù)據(jù)進(jìn)行分析和整理,在一定程度上針對(duì)其設(shè)備進(jìn)行統(tǒng)計(jì)和測(cè)量工作。在一定程度上成為了目前我國(guó)所出現(xiàn)的主要的IP流量分析、統(tǒng)計(jì)分析以及相關(guān)費(fèi)用的標(biāo)準(zhǔn)。針對(duì)其流量數(shù)據(jù)進(jìn)行手機(jī)和整理,能夠在一定程度上將其更好的變成流量的問(wèn)題,通過(guò)IP數(shù)據(jù)包的整體檢測(cè)和分析,從而找到IP地址的源頭以及IP地址的端口,從總體上提高了IP地址的斷口。達(dá)到了區(qū)分網(wǎng)絡(luò)類型和傳輸方向、傳輸類型和信息的目的。從另外一點(diǎn)進(jìn)行分析,針對(duì)P2P流量實(shí)施監(jiān)控的時(shí)候,其主要應(yīng)該從局域網(wǎng)采取下載公式的測(cè)量,當(dāng)察覺(jué)到計(jì)算機(jī)嚴(yán)重性的占用寬帶情況的過(guò)程中,應(yīng)立即采取封鎖IP數(shù)據(jù)流通的情況,終止該電腦下載的情況。并且,在使用P2P軟件的計(jì)算機(jī)必須在使用之前向上級(jí)網(wǎng)絡(luò)提交使用報(bào)告和申請(qǐng),將其報(bào)告或者是申請(qǐng)放置到數(shù)據(jù)庫(kù)當(dāng)中,達(dá)到在不斷時(shí)間段不影響單位網(wǎng)絡(luò)正常運(yùn)行的目的。
4 結(jié)束語(yǔ)
總而言之,針對(duì)計(jì)算機(jī)網(wǎng)絡(luò)流量監(jiān)控的設(shè)計(jì)和實(shí)現(xiàn)來(lái)說(shuō),一定要完善其系統(tǒng)保障流量監(jiān)控體系實(shí)施的恰當(dāng),保障各個(gè)軟件在流量監(jiān)督體系中能夠更加完善。從總體上推動(dòng)網(wǎng)絡(luò)軟件的大力發(fā)展以及保障網(wǎng)絡(luò)運(yùn)行的暢通。
參考文獻(xiàn):
[1]程光,龔儉,丁偉.網(wǎng)絡(luò)流量宏觀行為分析的一種時(shí)序分解模型[J].電子學(xué)報(bào),2012(11).
[2]蔡康,湯艾軍.IP網(wǎng)絡(luò)流量與分析[J].廣東通信技術(shù),2012(01).
[3]鄒柏賢.網(wǎng)絡(luò)流量正常行為模型的建立[J].計(jì)算機(jī)應(yīng)用,2012(07).
[4]安常青,李學(xué)農(nóng),李小喬,岑賢道.基于SNMP的網(wǎng)絡(luò)流量管理系統(tǒng)[J].計(jì)算機(jī)工程與應(yīng)用,2012(05).
[5]趙佳寧,李忠誠(chéng).基于模擬的網(wǎng)絡(luò)流量自相似現(xiàn)象分析[J].計(jì)算機(jī)科學(xué),2012(11).
[6]劉特,徐迎曉,吳建軍,黃令恭.基于Java Servlet的網(wǎng)絡(luò)流量采集與監(jiān)控技術(shù)[J].計(jì)算機(jī)工程,2012(19).
[7]鄔源楊,董瑋文,楊宇航.自相似網(wǎng)絡(luò)流量的長(zhǎng)相關(guān)分析方法[J].計(jì)算機(jī)工程,2012(05).
[8]鄒柏賢.網(wǎng)絡(luò)流量正常行為模型的建立[J].計(jì)算機(jī)應(yīng)用,2012(07).
摘要:基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別技術(shù)作為一種典型的數(shù)據(jù)流分類的應(yīng)用,對(duì)概念漂移檢測(cè)方法的要求越來(lái)越高。針就這個(gè)問(wèn)題,首先分析了概念漂移檢測(cè)的兩種典型方法,然后結(jié)合實(shí)際的網(wǎng)絡(luò)環(huán)境中經(jīng)常存在類別不平衡的特性提出了一種檢測(cè)概念漂移的算法CF_CDD,并對(duì)該算法的原理和統(tǒng)計(jì)學(xué)理論基礎(chǔ)進(jìn)行了詳細(xì)的論述。再根據(jù)提出的概念漂移檢測(cè)算法構(gòu)建基于權(quán)重的集成分類器算法TCEL_CF_CDD,以達(dá)到自適應(yīng)流量識(shí)別的目的。最后進(jìn)行實(shí)驗(yàn),驗(yàn)證了文中提出的概念漂移檢測(cè)算法的可行性。
關(guān)鍵詞:流量識(shí)別; 概念漂移; 統(tǒng)計(jì)學(xué)檢驗(yàn); 集成學(xué)習(xí)
中圖分類號(hào):TP393 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):2095-2163(2013)06-0050-05
0引言
隨著網(wǎng)絡(luò)日新月異地迅猛發(fā)展,網(wǎng)絡(luò)上的各種協(xié)議也相繼出現(xiàn),與此相對(duì)應(yīng),流量識(shí)別技術(shù)則日趨顯示了其重要的作用和價(jià)值。傳統(tǒng)的基于端口的流量識(shí)別方法和深層數(shù)據(jù)包檢測(cè)(DPI)技術(shù)已經(jīng)不能很好地完成識(shí)別的任務(wù),當(dāng)前基于機(jī)器學(xué)習(xí)的流量識(shí)別技術(shù)已經(jīng)成為引領(lǐng)該領(lǐng)域研究的主流和方向[1]。網(wǎng)絡(luò)流量識(shí)別本質(zhì)上是根據(jù)網(wǎng)絡(luò)數(shù)據(jù)包的特征將網(wǎng)絡(luò)數(shù)據(jù)流分成已知的協(xié)議類別,而這正是一種典型的數(shù)據(jù)流分類的應(yīng)用,那么必然地?cái)?shù)據(jù)流分類面臨的概念漂移檢測(cè)問(wèn)題在進(jìn)行流量識(shí)別技術(shù)研究時(shí)也就需要慎重對(duì)待、深入考慮。近年來(lái),關(guān)于數(shù)據(jù)流分類中概念漂移檢測(cè)的研究已取得了不少的成果,但是各類方法在應(yīng)對(duì)某種具體的數(shù)據(jù)流時(shí)卻都具有一定的局限性[2]。本文結(jié)合實(shí)際網(wǎng)絡(luò)環(huán)境中存在類別不平衡的情況,提出了更適用于網(wǎng)絡(luò)流量識(shí)別的概念漂移檢測(cè)方法。
1流量識(shí)別與概念漂移
概念漂移是數(shù)據(jù)流分類中的問(wèn)題。作為一種具體的數(shù)據(jù)流,網(wǎng)絡(luò)數(shù)據(jù)流當(dāng)然也存在概念漂移的相關(guān)問(wèn)題。
1.1流量識(shí)別中的概念漂移
以機(jī)器學(xué)習(xí)的角度來(lái)看,基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別技術(shù)實(shí)際上就是學(xué)習(xí)概念的過(guò)程[3]。識(shí)別的實(shí)現(xiàn)是通過(guò)在訓(xùn)練網(wǎng)絡(luò)數(shù)據(jù)集內(nèi)尋找其蘊(yùn)含的協(xié)議分類規(guī)則(概念),由此得到網(wǎng)絡(luò)流量識(shí)別器,進(jìn)而識(shí)別測(cè)試網(wǎng)絡(luò)數(shù)據(jù)包或者實(shí)際工作中到來(lái)的網(wǎng)絡(luò)數(shù)據(jù)包的類別。
假定網(wǎng)絡(luò)數(shù)據(jù)流D={…,di-1,di,di+1,…},其網(wǎng)絡(luò)數(shù)據(jù)流中的協(xié)議類別C={C1,C2,…,Cn},t時(shí)刻,在訓(xùn)練網(wǎng)絡(luò)數(shù)據(jù)集Dt上訓(xùn)練得到識(shí)別規(guī)則f:DtC,那么在t+1時(shí)刻就可以對(duì)dt+1網(wǎng)絡(luò)數(shù)據(jù)包的協(xié)議類別預(yù)測(cè)為f(dt+1)。但是,如果網(wǎng)絡(luò)數(shù)據(jù)流的隱藏背景在t時(shí)刻和t+1時(shí)刻發(fā)生了改變,引發(fā)了概念漂移,t+1時(shí)刻的實(shí)際識(shí)別規(guī)則已經(jīng)是g:Dt+1C,且g≠f。也就是說(shuō),dt+1的真實(shí)協(xié)議類別是g(dt+1),因而利用原來(lái)的識(shí)別規(guī)則f預(yù)測(cè)的dt+1的協(xié)議類別即是不盡合理的。通過(guò)上面的論述可以看到,概念漂移對(duì)網(wǎng)絡(luò)流量識(shí)別的影響,而正確的做法也就相應(yīng)可得了。假定在t+t時(shí)刻發(fā)生了概念漂移,應(yīng)該迅速檢測(cè)出漂移的發(fā)生,然后重新訓(xùn)練識(shí)別器,得到正確的識(shí)別規(guī)則g,然后利用g來(lái)進(jìn)行以后的網(wǎng)絡(luò)數(shù)據(jù)包協(xié)議類別預(yù)測(cè)。
自適應(yīng)的流量識(shí)別就是能夠自主地檢測(cè)到概念漂移的發(fā)生,而后再對(duì)分類器進(jìn)行重新構(gòu)建,以保證其對(duì)動(dòng)態(tài)網(wǎng)絡(luò)數(shù)據(jù)流的正確識(shí)別。
1.2檢測(cè)方法分類
由于概念漂移的生成原因極其復(fù)雜,目前的檢測(cè)方法都不是直接的,而只是間接的[4]。最為基礎(chǔ)的有兩個(gè):
(1)可能導(dǎo)致概念漂移發(fā)生的原因;
(2)概念漂移發(fā)生后可能產(chǎn)生的結(jié)果。
前者稱之為性質(zhì)法,后者為性能法[5]。
性質(zhì)法是指監(jiān)測(cè)最新的網(wǎng)絡(luò)數(shù)據(jù)集合的相關(guān)統(tǒng)計(jì)性質(zhì),如協(xié)議種類的分布、各數(shù)據(jù)包的特征分布等等。Alippi設(shè)計(jì)了不依賴先驗(yàn)信息而只需要數(shù)據(jù)分布模型的中心極限定理的概念漂移檢測(cè)算法[6];Peter等提出了基于熵的概念漂移檢測(cè)方法[7]。
性能法是指檢測(cè)識(shí)別器最新的性能指標(biāo),如分類精度、召回率等等,如果分類器的性能指標(biāo)出現(xiàn)較大波動(dòng),即說(shuō)明發(fā)生了概念漂移。Widmer的FLORA算法依賴分類器的樣本覆蓋量和準(zhǔn)確率決定窗口大小[8];Last等提出的OLIN算法[9]即根據(jù)誤差率來(lái)判斷概念漂移產(chǎn)生與否。
2概念漂移檢測(cè)
上節(jié)闡述的兩種概念漂移檢測(cè)方法中,最經(jīng)常使用的是基于性能監(jiān)測(cè)的方法,但是卻不適合類別不平衡的數(shù)據(jù)流環(huán)境。本節(jié)將會(huì)看到,網(wǎng)絡(luò)流量環(huán)境中經(jīng)常出現(xiàn)的類別不平衡現(xiàn)象對(duì)概念漂移檢測(cè)的影響,同時(shí)結(jié)合這點(diǎn),本文也提出了改進(jìn)算法,以適應(yīng)實(shí)際網(wǎng)絡(luò)環(huán)境下的動(dòng)態(tài)流量變化。
2.1檢測(cè)算法原理
對(duì)于穩(wěn)定的網(wǎng)絡(luò)流量,其各個(gè)協(xié)議類別是大致服從同一概率函數(shù)分布的,但是,如果一個(gè)存在概念漂移的網(wǎng)絡(luò)流量中,網(wǎng)絡(luò)數(shù)據(jù)包協(xié)議類別的分布概率卻會(huì)隨著概念漂移的發(fā)生而相應(yīng)改變。因此以觀察協(xié)議類別的概率分布變化來(lái)檢測(cè)網(wǎng)絡(luò)流量是否發(fā)生概念漂移則不失為一個(gè)恰當(dāng)穩(wěn)妥的辦法。根據(jù)貝葉斯理論知道,概率分布P(w/x) = P(x/w)P(w)/P(x)。當(dāng)P(x)改變而P(x/w)不變時(shí),也就是說(shuō)之前不常出現(xiàn)的協(xié)議數(shù)據(jù)包開(kāi)始大量出現(xiàn)了或者相反,此時(shí)發(fā)生的概念漂移就是漸變;當(dāng)P(x)不變而P(x/w)發(fā)生改變時(shí),這種概念漂移就是突變。通常,在一個(gè)網(wǎng)絡(luò)數(shù)據(jù)流中多會(huì)同時(shí)存在這兩種類型的概念漂移,且也很難進(jìn)行有效區(qū)分,但是從檢測(cè)概念漂移的目的來(lái)說(shuō),檢測(cè)到概念漂移后即可對(duì)分類器進(jìn)行重新構(gòu)建,因此也就沒(méi)有必要區(qū)分概念漂移的具體類型了。
網(wǎng)絡(luò)數(shù)據(jù)流量是按照時(shí)間相依有序的離散的數(shù)據(jù)集合,流量識(shí)別實(shí)質(zhì)上就是進(jìn)行時(shí)間序列分析。粗略來(lái)看,如果只是簡(jiǎn)單的對(duì)網(wǎng)絡(luò)流量進(jìn)行時(shí)序分析,似乎忽略了數(shù)據(jù)流變量之間內(nèi)存因果關(guān)系和結(jié)構(gòu)關(guān)系的影響。但是實(shí)際上時(shí)序分析是從總體方面對(duì)網(wǎng)絡(luò)流量進(jìn)行考察,綜合說(shuō)明各種作用力的共同影響。當(dāng)無(wú)法輕易獲得所關(guān)心的各種紛繁因素時(shí),就可以直接將時(shí)間t用作變量來(lái)代替各種因素。因此,概念漂移檢測(cè)就可以將時(shí)間t引入到文中的檢測(cè)模型內(nèi),從而完成整個(gè)算法。
綜上,當(dāng)將時(shí)間t作為變量引入檢測(cè)模型后,再加上一定的協(xié)議類別變量,此時(shí)如果能夠找到兩個(gè)變量之間的關(guān)系問(wèn)題,就能夠得到概念漂移檢測(cè)的解決方法。而統(tǒng)計(jì)學(xué)理論已有很多研究成果就是致力于探討變量之間的關(guān)系,本文就從統(tǒng)計(jì)學(xué)理論中尋求概念漂移檢測(cè)的方法。
2.1.1統(tǒng)計(jì)學(xué)理論——卡方檢驗(yàn)
卡方檢驗(yàn)是一種應(yīng)用相當(dāng)廣泛的非參數(shù)統(tǒng)計(jì)理論,利用該理論,可以判定實(shí)際觀察的概率分布是否發(fā)生了改變還是僅來(lái)自于理論誤差。
網(wǎng)絡(luò)數(shù)據(jù)包集合,函數(shù)ψ是數(shù)據(jù)包的某項(xiàng)特征變量Z的概率分布,而且滿足條件(1):
P(Z=ci)=pi,s.t. Pi>0, ∑ni=1 pi=1(1)
變量ni代表監(jiān)測(cè)到的網(wǎng)絡(luò)流量數(shù)據(jù)集合中數(shù)據(jù)包協(xié)議類別為ci的數(shù)量,所有ni的和滿足條件(2):
∑mi=1 ni=n(2)
已經(jīng)知道,ni是監(jiān)測(cè)值,再假定mi是理論值,則根據(jù)以上定義可得卡方值,如式(3):
χ2=∑ni=1(ni-mi)2mi(3)
綜上可得,如果卡方值小于其臨界值,函數(shù)ψ就是變量Z的最優(yōu)擬合函數(shù);相反,如果卡方值大于臨界值,函數(shù)ψ就不再是變量Z的最優(yōu)擬合函數(shù)。卡方的臨界值取決于已驗(yàn)證得到的χ2統(tǒng)計(jì)理論表。
本文中,利用卡方值來(lái)檢驗(yàn)連續(xù)兩個(gè)網(wǎng)絡(luò)流量的數(shù)據(jù)集合Di和Di+1是否發(fā)生了概念漂移。為了進(jìn)一步闡述檢測(cè)方法,先做如下兩個(gè)假設(shè)。
(1)假定函數(shù)ψ已經(jīng)滿足于一個(gè)數(shù)據(jù)包集合的分布,然后驗(yàn)證其連續(xù)的下一個(gè)集合是否滿足該條件;
(2)假定這個(gè)網(wǎng)絡(luò)流量中只存在兩種協(xié)議的數(shù)據(jù)包,即Http和Non-http。
根據(jù)上述假設(shè),探討分析可得如表1所示的連續(xù)兩個(gè)網(wǎng)絡(luò)流量的數(shù)據(jù)包集合Di和Di+1的類別分布,表1中變量c1, c2, c3, c4分別代表Http和Non-http在不同數(shù)據(jù)集合中的觀察個(gè)數(shù)。根據(jù)這四個(gè)變量,就可以得到期望的兩個(gè)數(shù)據(jù)包集合中的協(xié)議類別數(shù)c1,c2 ,c3 ,c4 ,具體如公式(4)、(5)、(6)、(7)所示。
計(jì)算得到卡方值后,再和臨界值比較就能夠判定函數(shù)ψ是否滿足于Di+1,以此就可以判定概念漂移是否發(fā)生。
2.1.2類別不平衡與Fisher檢驗(yàn)
χ2檢驗(yàn)對(duì)2維表的各個(gè)協(xié)議類別的數(shù)量是有一定要求的,要求20%的協(xié)議類別數(shù)量不小于某個(gè)特定值。但是在真實(shí)的網(wǎng)絡(luò)環(huán)境下,經(jīng)常存在類別不平衡的流量,因此就無(wú)法滿足χ2檢驗(yàn)的要求,此時(shí)就只能應(yīng)用Fisher精確檢驗(yàn)。
同樣,使用上小節(jié)的2*2表進(jìn)行說(shuō)明,先設(shè)幾個(gè)變量:C1= c1 + c2,C2= c3 +c4,C3= c1 + c3,C4= c2 + c4,C = C1 + C2或C3 + C4 ,就可以得到p值,如式(9)所示,根據(jù)P{cij}來(lái)確定是否發(fā)生了概念漂移。
2.1.3檢驗(yàn)步驟
根據(jù)概念漂移的檢測(cè)原理和統(tǒng)計(jì)學(xué)理論,就可以利用χ2檢驗(yàn)和Fisher檢驗(yàn)來(lái)共同確定連續(xù)的兩個(gè)數(shù)據(jù)包集合是否發(fā)生了概念漂移。具體步驟如下:
(1)建立零假說(shuō),即認(rèn)為沒(méi)有發(fā)生概念漂移;
(2)確定數(shù)據(jù)包集合之間的實(shí)際差異,即根據(jù)類別是否平衡,進(jìn)行χ2檢驗(yàn)或者Fisher檢驗(yàn);
(3)根據(jù)χ2檢驗(yàn)或者Fisher檢驗(yàn)的結(jié)果,和理論值進(jìn)行比較。如果大于理論值,則拒絕零假說(shuō),即認(rèn)為發(fā)生了概念漂移。
2.2概念漂移檢測(cè)算法
通過(guò)上述的分析,本文接下來(lái)將給出一個(gè)利用統(tǒng)計(jì)學(xué)理論來(lái)檢測(cè)概念漂移發(fā)生的方法。和已經(jīng)存在的大部分概念漂移算法相比,該方法有兩個(gè)顯著的特征:第一,該方法屬于顯示探測(cè)概念漂移,因此其中含有單獨(dú)的檢測(cè)概念漂移發(fā)生的模塊;第二,該方法結(jié)合網(wǎng)絡(luò)流量識(shí)別的實(shí)際環(huán)境——經(jīng)常存在類別不平衡的特性,利用集成學(xué)習(xí)的方法來(lái)適應(yīng)動(dòng)態(tài)的網(wǎng)絡(luò)數(shù)據(jù)變化。當(dāng)一個(gè)網(wǎng)絡(luò)數(shù)據(jù)包集合到達(dá)以后,概念漂移檢測(cè)模塊就對(duì)其進(jìn)行檢測(cè),檢測(cè)是否有概念漂移發(fā)生,如果概念漂移發(fā)生了,檢測(cè)模塊就會(huì)告知流量識(shí)別器更新或者重構(gòu)識(shí)別器,以保證流量識(shí)別器能夠繼續(xù)對(duì)其后的網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行準(zhǔn)確識(shí)別。
算法CF_CDD旨在檢測(cè)出動(dòng)態(tài)變化的網(wǎng)絡(luò)數(shù)據(jù)流中發(fā)生的概念漂移,一旦網(wǎng)絡(luò)數(shù)據(jù)包數(shù)量達(dá)到合適的窗口大小,概念漂移模塊就檢測(cè)連續(xù)的兩個(gè)網(wǎng)絡(luò)數(shù)據(jù)包集合之間是否有概念漂移發(fā)生。CF_CDD (Di,Di-1)算法如下。
在如上算法中,第1步、第2步是分類器對(duì)數(shù)據(jù)包Di,Di-1進(jìn)行分類,并統(tǒng)計(jì)了相應(yīng)的樣本數(shù)量,第3步判斷協(xié)議類別是否出現(xiàn)了不平衡。若平衡,就進(jìn)行χ2檢驗(yàn);不平衡,就是Fisher檢驗(yàn)。最后,根據(jù)檢驗(yàn)結(jié)果P和CONST的比較,判定是否發(fā)生了概念漂移。其中,CONST是根據(jù)自由度和置信度查表得來(lái)的界限。
2.3自適應(yīng)流量識(shí)別
若要完成自適應(yīng)的網(wǎng)絡(luò)流量識(shí)別,就要有效地檢測(cè)出概念漂移,再對(duì)分類器進(jìn)行調(diào)整。本文采用集成學(xué)習(xí)來(lái)構(gòu)建分類器,因而構(gòu)建集成分類器的子分類器的機(jī)器學(xué)習(xí)算法就需要進(jìn)行重點(diǎn)研究和專門(mén)討論了。
2.3.1類別不平衡下的機(jī)器學(xué)習(xí)算法
網(wǎng)絡(luò)數(shù)據(jù)流量中經(jīng)常存在協(xié)議類別不平衡的情況,協(xié)議類別的分布對(duì)基于機(jī)器學(xué)習(xí)的流量識(shí)別技術(shù)有著不小的影響。因此,選擇合適的機(jī)器學(xué)習(xí)算法以適應(yīng)網(wǎng)絡(luò)協(xié)議流不平衡環(huán)境下的在線流量分類,即顯得尤為重要[10]。
本文在實(shí)驗(yàn)與分析中,將幾種典型的機(jī)器學(xué)習(xí)算法——決策樹(shù)C4.5、NBK、SVM與提出的概念漂移檢測(cè)算法結(jié)合后進(jìn)行了對(duì)比,選取得到最能適應(yīng)含有類別不平衡協(xié)議流的真實(shí)環(huán)境的算法,且算法性能良好。
2.3.2集成學(xué)習(xí)
算法TCEL_CF_CDD,利用權(quán)重集成分類器對(duì)到達(dá)的網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行分類,集成分類器的子分類器要根據(jù)概念漂移檢測(cè)模塊的結(jié)果進(jìn)行調(diào)整、更新。
在上述算法的第4步中,基分類器的構(gòu)建過(guò)程中采用的是一種常用的機(jī)器學(xué)習(xí)算法,本文將通過(guò)實(shí)驗(yàn)來(lái)選擇出實(shí)驗(yàn)真實(shí)環(huán)境的算法;第4-6步是集成分類器的構(gòu)建過(guò)程,當(dāng)變量Num等于Max時(shí),標(biāo)志著集成分類器構(gòu)造完成;而后在第8-11步中定義基分類器在相應(yīng)的數(shù)據(jù)集上的準(zhǔn)確性;第12步是對(duì)各子分類器權(quán)重進(jìn)行規(guī)格化;第13步表明了在本課題中為了充分利用樣本信息,對(duì)每組樣本均采用了先測(cè)試、后訓(xùn)練的策略;第14步是調(diào)用CF_CDD算法來(lái)檢測(cè)連續(xù)的兩個(gè)樣本網(wǎng)絡(luò)數(shù)據(jù)包集合之間是否發(fā)生了概念漂移,如果發(fā)生了概念漂移就要在最新的樣本數(shù)據(jù)集中構(gòu)建最新的基分類器,并用構(gòu)建出來(lái)的新分類器替換已經(jīng)存在的基分類器中表現(xiàn)最差的那個(gè);第19步是在調(diào)整子分類器后,對(duì)各分類器的權(quán)重進(jìn)行調(diào)整。
3實(shí)驗(yàn)與分析
本文利用已經(jīng)捕獲的幾個(gè)網(wǎng)絡(luò)數(shù)據(jù)包集合來(lái)模擬網(wǎng)絡(luò)流量,將數(shù)據(jù)包按捕獲的時(shí)間進(jìn)行順序排列,并用實(shí)現(xiàn)的算法對(duì)其進(jìn)行分類識(shí)別。本文的算法是在MOA平臺(tái)上實(shí)現(xiàn)的,MOA是一個(gè)典型的利用WEKA實(shí)現(xiàn)的數(shù)據(jù)流分析軟件。
3.1機(jī)器學(xué)習(xí)算法的比較
將三種典型的機(jī)器學(xué)習(xí)算法——決策樹(shù)C4.5、NBK、SVM與本文提出的概念漂移檢測(cè)算法CF_CDD結(jié)合,分別構(gòu)造識(shí)別器,利用模擬的網(wǎng)絡(luò)流量的第一個(gè)數(shù)據(jù)包集合作為訓(xùn)練集,并且對(duì)后續(xù)的五個(gè)數(shù)據(jù)包集合進(jìn)行分類,以測(cè)試不同的機(jī)器學(xué)習(xí)算法對(duì)識(shí)別精確性的影響,其結(jié)果如表2所示。從表2中可以看到:NBK的精確度明顯不高,而且也有隨時(shí)間下降的趨勢(shì);決策樹(shù)C4.5和SVM相比NBK則有不錯(cuò)且相對(duì)穩(wěn)定的精確度,適合提出的概念漂移檢測(cè)算法。
C4.5和SVM雖然都有不錯(cuò)的精確度,但是因?yàn)橹繱VM的建模時(shí)間相對(duì)C4.5來(lái)說(shuō)耗時(shí)更長(zhǎng),再結(jié)合處理概念漂移檢測(cè)的實(shí)際特點(diǎn)——需要經(jīng)常調(diào)整分類器,因而此處不難得出結(jié)論:決策樹(shù)C4.5與本文提出的對(duì)概念漂移檢測(cè)算法CF_CDD結(jié)合進(jìn)行網(wǎng)絡(luò)流量識(shí)別更能夠自適應(yīng)地處理實(shí)際網(wǎng)絡(luò)環(huán)境中的概念漂移問(wèn)題。
3.2漂移檢測(cè)算法的比較
一般的數(shù)據(jù)流中,檢測(cè)概念漂移的算法是基于誤差率的,利用對(duì)分類器誤差率的監(jiān)測(cè)來(lái)判定是否發(fā)生了概念漂移。本實(shí)驗(yàn)就對(duì)基于誤差率(Error_CDD)和本文提出的基于統(tǒng)計(jì)學(xué)檢驗(yàn)(CF_CDD)的兩種概念漂移的算法在模擬的網(wǎng)絡(luò)流量識(shí)別的精度進(jìn)行了對(duì)比,對(duì)比結(jié)果如圖1所示。
從圖1中可以看到,當(dāng)有類別不平衡的協(xié)議類別時(shí),Error_CDD的識(shí)別精度大幅度下降,驗(yàn)證了之前提到的性能法不適合于類別不平衡的網(wǎng)絡(luò)數(shù)據(jù)流量識(shí)別,而本文提出的CF_CDD算法卻有良好的穩(wěn)定性,也說(shuō)明本文提出的算法能夠很好地適應(yīng)類別不平衡現(xiàn)象。
4結(jié)束語(yǔ)
本文對(duì)流量識(shí)別中的概念漂移進(jìn)行了深入研究,主要分析了漂移檢測(cè)原理,并結(jié)合真實(shí)網(wǎng)絡(luò)環(huán)境中存在的類別不平衡的特點(diǎn),提出了基于統(tǒng)計(jì)學(xué)理論的概念漂移檢測(cè)算法,在檢測(cè)算法的基礎(chǔ)上提出了利用集成學(xué)習(xí)來(lái)完成自適應(yīng)的流量識(shí)別,最后的實(shí)驗(yàn)證明了本文提出的算法的可行性和可靠性。當(dāng)然,數(shù)據(jù)流概念漂移的問(wèn)題還有很多,建議其后的主要研究方向就是類似本文這樣針對(duì)某種具體數(shù)據(jù)流的特點(diǎn)進(jìn)行詳細(xì)的分析。
參考文獻(xiàn):
[1]王耀南,張瑩.基于可信多數(shù)投票的快速概念漂移檢測(cè)[J].湖南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2010, 37(6): 36-40.
[2]GUAN Jinghua, LIU Dayou. Selected ensemble of classifiers for handling concept-drifting data streams[J]. Computer Science, 2010,37(1):204-207.
[3]王濤,李舟軍,顏躍進(jìn),等.數(shù)據(jù)流挖掘分類技術(shù)綜述[J].計(jì)算機(jī)研究與發(fā)展,2007,44(11): 1809-1815.
[4]SUN Yue, MAO Guojun, LIU Xu. Mining concept drifts from data streams based on multi-classifiers[J]. Acta Automatica Sinica, 2008, 34(1): 93-97.
[5]文益民.概念漂移數(shù)據(jù)流分類研究綜述[J].智能系統(tǒng)學(xué)報(bào), 2012,7(6):1-10.
[6]ALIPPI C, BORACCHI G, ROVERI M. An effective just-in-time adaptive classifier for gradual concept drifts[C]//Proceedings of the 2011 International Joint Conference on Neural Networks. San Jose, USA, 2011: 1675-1681.
[7]PETER V, ABRANHAM B. Entropy-based concept drift detection[C]//Proceedings of the 6th International Conference on Data Mining. Hong Kong, China, 2006: 1113-1118.
[8]WIDMER G, KUBAT M. Effective learning in dynamic environments by explicit context tracking[C]//Proceedings of the Sixth European Conference on Machine Learning. Vienna, Austria, 2003: 69-101.