序論：寫(xiě)作是一種深度的自我表達(dá)。它要求我們深入探索自己的思想和情感，挖掘那些隱藏在內(nèi)心深處的真相，好投稿為您帶來(lái)了一篇數(shù)據(jù)處理論文范文，愿它們成為您寫(xiě)作過(guò)程中的靈感催化劑，助力您的創(chuàng)作。

數(shù)據(jù)處理論文:三維足部掃描系統(tǒng)中數(shù)據(jù)處理的基本設(shè)置

摘 要：三維激光掃描技術(shù)是近年來(lái)出現(xiàn)的新技術(shù)，在國(guó)內(nèi)越來(lái)越引起研究領(lǐng)域的關(guān)注。它是利用激光測(cè)距的原理，通過(guò)記錄被測(cè)物體表面大量的密集的點(diǎn)的三維坐標(biāo)、反射率和紋理等信息，可快速?gòu)?fù)建出被測(cè)目標(biāo)的三維模型及線(xiàn)、面、體等各種圖件數(shù)據(jù)。由于三維激光掃描系統(tǒng)可以密集地大量獲取目標(biāo)對(duì)象的數(shù)據(jù)點(diǎn)，三維激光掃描技術(shù)也被稱(chēng)為從單點(diǎn)測(cè)量進(jìn)化到面測(cè)量的革命性技術(shù)突破，具有高效率、高精度的獨(dú)特優(yōu)勢(shì)。三維激光掃描技術(shù)能夠提供掃描物體表面的三維點(diǎn)云數(shù)據(jù)，因此可以用于獲取高精度高分辨率的數(shù)字模型。

關(guān)鍵詞：三維激光掃描；數(shù)據(jù)；點(diǎn)云；模型

三維足部激光掃描系統(tǒng)的數(shù)據(jù)處理包括主控計(jì)算機(jī)、圖像識(shí)別、畸變差更正、建模。通過(guò)計(jì)算機(jī)控制平移采集圖像，采用黑白棋盤(pán)格標(biāo)定靶和張正友算法，標(biāo)定圖像中心坐標(biāo)（Cx，Cy），畸變系數(shù)（k1、k2、p1、p2）等攝像機(jī)內(nèi)部參數(shù)，研制適于足部激光掃描系統(tǒng)標(biāo)定的細(xì)絲標(biāo)定靶，并在攝像機(jī)標(biāo)定的基礎(chǔ)上，采用直接線(xiàn)性變換方法，得到像素坐標(biāo)（Xf，Yf）與世界坐標(biāo)（Xw，Yw）的映射關(guān)系矩陣，進(jìn)而通過(guò)高斯濾波等除去雜點(diǎn)，最后建模，完成三維足部激光掃描系統(tǒng)的數(shù)據(jù)處理。

一、主控計(jì)算機(jī)的基本配置

針對(duì)于長(zhǎng)度方向的掃描范圍是290mm的足部掃描系統(tǒng)，考慮余量，需要行程大于300mm的移動(dòng)平臺(tái)。運(yùn)動(dòng)分辨率應(yīng)優(yōu)于本系統(tǒng)長(zhǎng)度方向的分辨率：20μm。同時(shí)，本系統(tǒng)需要在平臺(tái)的臺(tái)面中軸線(xiàn)下方安裝下光機(jī)模組（包括CCD和激光器），在臺(tái)面兩側(cè)安裝兩個(gè)支撐臂用來(lái)支撐左右光C模組，同時(shí)，考慮到成年人的一般體重，這就要求臺(tái)面允許的承載大于lO0kg（估計(jì)值）。隨后根據(jù)電機(jī)的相關(guān)參數(shù)選擇驅(qū)動(dòng)器對(duì)電機(jī)進(jìn)行控制。根據(jù)圖像采集速率，計(jì)算得到在不細(xì)分的情況下，每秒需要的脈沖數(shù)為1500pulse，在上述情況下，分辨率為0.025mm。若采用最大的256細(xì)分，每秒需要脈沖數(shù)變?yōu)?84000個(gè)，因此需要控制卡能提供的脈沖頻率大于該參數(shù)。

基于上述計(jì)算，選擇單軸步進(jìn)電機(jī)控制器。它是一塊多軸運(yùn)動(dòng)控制卡，可驅(qū)動(dòng)步進(jìn)/伺服系統(tǒng)，可實(shí)現(xiàn)單軸運(yùn)行或兩軸聯(lián)動(dòng)插補(bǔ)控制，并由硬件實(shí)現(xiàn)機(jī)械裝置的超限保護(hù)。其功能特點(diǎn)有：32位PCI總線(xiàn)（PCI2.1標(biāo)準(zhǔn)）；最高速可達(dá)1 MHz（即每秒1000000個(gè)脈沖）；自動(dòng)回原點(diǎn)功能，可讀回運(yùn)動(dòng)中實(shí)際位置。整個(gè)系統(tǒng)除了計(jì)算機(jī)、平移臺(tái)自身有配套的電源，還需要給運(yùn)動(dòng)控制器、CCD攝像機(jī)以及激光器配備直流電源。

二、圖像的采集和識(shí)別處理

圖像采集系統(tǒng)由接口、CCD攝像機(jī)和控制軟件組成，通過(guò)控制軟件編程實(shí)現(xiàn)對(duì)圖像信號(hào)的采集和保存。接口有USB、Net、1394等，根據(jù)系統(tǒng)使用要求設(shè)置采集參數(shù)，采集時(shí)先將圖像保存在緩存中，最后再將采集到的圖像從緩存中以不同的命名保存到文件中以便于后續(xù)的處理和重建。

對(duì)圖像進(jìn)行識(shí)別時(shí)需要首先進(jìn)行光帶中心提取，對(duì)灰度圖像進(jìn)行光帶提取時(shí)采用質(zhì)心法，分兩步來(lái)實(shí)現(xiàn)：首先對(duì)作二值化圖像每一列的像素點(diǎn)的進(jìn)行掃描，對(duì)灰度值為1的點(diǎn)（即白像素點(diǎn)）進(jìn)行質(zhì)心運(yùn)算，即可得到當(dāng)前列的光帶中心像素坐標(biāo)，然后逐列移動(dòng)，即可得到所有列上的光帶中心坐標(biāo)，此時(shí)得到的光帶中心坐標(biāo)只是一個(gè)近似值；在第一步得到的像素坐標(biāo)近似值的基礎(chǔ)上，從原始灰度圖像上尋找這一坐標(biāo)在列方向上的一個(gè)鄰域，然后利用質(zhì)心法重新計(jì)算每一列的光帶中心，即可得到更為精確的光帶中心坐標(biāo)。

攝像機(jī)標(biāo)定是從二維圖像獲取三維空間信息的關(guān)鍵和必要步驟，如基于圖像的物體重建，基于圖像的測(cè)量等。現(xiàn)有的攝像機(jī)標(biāo)定方法大致可以分成兩類(lèi)：傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法。傳統(tǒng)的攝像機(jī)標(biāo)定方法是在一定的攝像機(jī)模型下，基于特定的實(shí)驗(yàn)條件，如形狀、尺寸己知的標(biāo)定參照物，經(jīng)過(guò)對(duì)其圖像進(jìn)行處理，利用一系列數(shù)學(xué)變換和計(jì)算方法，求取攝像機(jī)模型的內(nèi)部參數(shù)和外部參數(shù)。但在很多情況下，由于存在經(jīng)常性調(diào)整攝像機(jī)的要求，且設(shè)置己知的標(biāo)定參數(shù)也不現(xiàn)實(shí)，這時(shí)就需要一種不依賴(lài)標(biāo)定參照物的攝像機(jī)自標(biāo)定方法。用二維平面靶標(biāo)和張正友算法對(duì)攝像機(jī)進(jìn)行標(biāo)定。

其中為了獲得己知的精確的世界坐標(biāo)，需要設(shè)計(jì)精密標(biāo)定靶。標(biāo)定靶作用是為各視覺(jué)傳感器提供相應(yīng)的標(biāo)定控制點(diǎn)對(duì)：即精確的世界坐標(biāo)和像素坐標(biāo)。它應(yīng)滿(mǎn)足：標(biāo)定點(diǎn)的空間范圍應(yīng)該能夠近似覆蓋整個(gè)測(cè)量范圍，才能保證測(cè)量精度；在標(biāo)定過(guò)程中，要對(duì)多個(gè)傳感器進(jìn)行標(biāo)定，因此標(biāo)定靶的設(shè)計(jì)應(yīng)該使得標(biāo)定過(guò)程盡量簡(jiǎn)單，減少標(biāo)定過(guò)程中的工作量。

三、標(biāo)定方法選取與標(biāo)定實(shí)驗(yàn)

如何實(shí)現(xiàn)攝像機(jī)和激光器組成的傳感器的標(biāo)定，即標(biāo)定光平面與攝像機(jī)之間的位置關(guān)系；如何實(shí)現(xiàn)系統(tǒng)全局的標(biāo)定，即標(biāo)定各組傳感器之間的位置關(guān)系。這就要考慮全局標(biāo)定方法。全局標(biāo)定要把各個(gè)視覺(jué)傳感器的測(cè)量數(shù)據(jù)統(tǒng)一到一個(gè)總體世界坐標(biāo)系中，也就是確定各個(gè)視覺(jué)傳感器坐標(biāo)系相對(duì)這一總體世界坐標(biāo)系的位置與方向，即旋轉(zhuǎn)矢量和平移矢量。主要有以下三種常用的全局標(biāo)定方法同名坐標(biāo)統(tǒng)一法、中介坐標(biāo)統(tǒng)一法和世界坐標(biāo)唯一法。

其中世界坐標(biāo)唯一法的基本思想是直接利用世界總體坐標(biāo)系下的標(biāo)定點(diǎn)對(duì)處于測(cè)量狀態(tài)的各個(gè)視覺(jué)傳感器單元進(jìn)行局部標(biāo)定，從而將局部標(biāo)定和全局標(biāo)定統(tǒng)一到了一起。其優(yōu)點(diǎn)在于：實(shí)現(xiàn)了在測(cè)量現(xiàn)場(chǎng)視覺(jué)傳感器局部標(biāo)定和全局標(biāo)定的統(tǒng)一；減少了坐標(biāo)轉(zhuǎn)換次數(shù)，從而減少了由坐標(biāo)系轉(zhuǎn)換所帶來(lái)的精度損失；減少了標(biāo)定點(diǎn)的采集次數(shù)，降低了勞動(dòng)強(qiáng)度。因此采用世界坐標(biāo)唯一法對(duì)系統(tǒng)進(jìn)行全局標(biāo)定。

利用平面靶標(biāo)對(duì)攝像機(jī)進(jìn)行標(biāo)定的關(guān)鍵是含有坐標(biāo)信息的特征點(diǎn)也稱(chēng)控制點(diǎn)的檢測(cè)。常用的特征點(diǎn)是黑白棋盤(pán)格靶標(biāo)上的角點(diǎn)。目前的檢測(cè)方法可以分為兩大類(lèi)：一類(lèi)是基于圖像邊緣的特征，通過(guò)用輪廓點(diǎn)來(lái)擬合直線(xiàn)或計(jì)算邊緣曲率、夾角，從而判定角點(diǎn)。概括來(lái)說(shuō)，圖像處理的整體步驟是：

1.讀入拍攝的棋盤(pán)格圖像，利用Canny算子進(jìn)行邊緣檢測(cè)；

2.利用BW算子求出邊緣區(qū)域的CBW響應(yīng)值，并設(shè)置閩值取出前M個(gè)；

3.設(shè)置角點(diǎn)鄰域閾值，將同一角點(diǎn)鄰域內(nèi)的點(diǎn)取均值，最終得出與實(shí)際角點(diǎn)數(shù)量相同的N個(gè)角點(diǎn)的圖像坐標(biāo)。

準(zhǔn)確檢測(cè)了一幅圖像的角點(diǎn)像素坐標(biāo)之后，就能利用張正友算法進(jìn)行標(biāo)定，該方法基于以下思想：標(biāo)定過(guò)程中，攝像機(jī)的內(nèi)部參數(shù)始終保持不變，發(fā)生變化的只是外部參數(shù)。所以要求攝像機(jī)在兩個(gè)以上不同的位置對(duì)同一平面靶標(biāo)進(jìn)行拍攝，攝像機(jī)或靶標(biāo)兩者之一可以自由移動(dòng)，不需要知道它們之間的相互位置關(guān)系和運(yùn)動(dòng)參數(shù)等。像機(jī)的標(biāo)定完成之后，就能將角點(diǎn)的世界坐標(biāo)結(jié)合攝像機(jī)內(nèi)外參數(shù)矩陣，將各點(diǎn)投影到圖像坐標(biāo)系中，比較重投影點(diǎn)與實(shí)際檢測(cè)出的角點(diǎn)之g的誤差。為了說(shuō)明角點(diǎn)檢測(cè)的準(zhǔn)確性，對(duì)于直線(xiàn)擬合和BW算子檢測(cè)出的角點(diǎn)也按照張正友方法求解攝像機(jī)內(nèi)外參數(shù)，之后投影到圖像坐標(biāo)系中。

四、模型構(gòu)建

建模需要依次進(jìn)行以下步驟，進(jìn)行以下步驟：首先進(jìn)行機(jī)械調(diào)整。調(diào)整玻璃平臺(tái)與導(dǎo)軌面平行，即與掃描方向平行；調(diào)整兩個(gè)掃描臂平面與導(dǎo)軌平行，且等高、等間距；然后進(jìn)行傳感器調(diào)試。保證腳底面與玻璃平面相交的位置不會(huì)超出CCD相機(jī)的視場(chǎng)并留有一定余量，保證數(shù)據(jù)的完整性。可以通過(guò)調(diào)整CCD安裝座的俯仰角度實(shí)現(xiàn)。因?yàn)閳D像亮度、對(duì)比度的設(shè)置如果太低，會(huì)使光帶的亮度降低，不易于黑暗的背景區(qū)分；如果設(shè)置太高，會(huì)使得噪聲點(diǎn)亮度增加，產(chǎn)生誤差和多余點(diǎn)云。隨后進(jìn)行運(yùn)動(dòng)控制調(diào)試。保證CCD在電機(jī)勻速運(yùn)動(dòng)階段采集圖像。在平臺(tái)運(yùn)動(dòng)過(guò)程中，若人為碰觸近端的零位開(kāi)關(guān)和遠(yuǎn)端的限位開(kāi)關(guān)，電機(jī)將立即停止運(yùn)動(dòng)，這就保證了系統(tǒng)的安全。其次進(jìn)行激光平面調(diào)試。通過(guò)調(diào)整激光器安裝座的俯仰、平移，將三個(gè)激光平面調(diào)整到完全重合且與掃描方向垂直的狀態(tài)。最后通過(guò)點(diǎn)云真實(shí)地還原腳模的外形輪廓變化，多個(gè)角度視圖清晰。用高斯濾波濾除雜點(diǎn)，進(jìn)而得到更為完善的模型。

數(shù)據(jù)處理論文:TTC與LGO在GPS工程控制網(wǎng)數(shù)據(jù)處理中的應(yīng)用

摘 要：對(duì)兩種商業(yè)LGO和TTC進(jìn)行了簡(jiǎn)要介紹，以GPS工程控制網(wǎng)為基礎(chǔ)，采用兩種軟件處理了基線(xiàn)數(shù)據(jù)，基線(xiàn)處理后均采用后處理軟件CosaGPS進(jìn)行平差，對(duì)兩種解算方式的結(jié)果進(jìn)行對(duì)比分析，對(duì)類(lèi)似的工程控制網(wǎng)解算有一定借鑒意義。

關(guān)鍵詞：GPS 基線(xiàn)；數(shù)據(jù)處理；工程控制網(wǎng)

1 引言

GPS測(cè)量數(shù)據(jù)的處理是研究GPS定位技術(shù)的一個(gè)重要內(nèi)容，選用好的數(shù)據(jù)處理方法和軟件對(duì)結(jié)果影響很大。在GPS靜態(tài)定位領(lǐng)域里，幾十千米以下的定位應(yīng)用已經(jīng)較為成熟，接收機(jī)廠(chǎng)商提供的隨機(jī)軟件可滿(mǎn)足大部分的應(yīng)用需要[1]。

目前測(cè)繪單位大都采用進(jìn)口的隨機(jī)軟件解算基線(xiàn)、國(guó)產(chǎn)平產(chǎn)軟件進(jìn)行網(wǎng)平差的方式來(lái)進(jìn)行GPS網(wǎng)數(shù)據(jù)處理[2]。TTC和LGO作為目前工程應(yīng)用中兩種進(jìn)口的隨機(jī)商業(yè)軟件，均能夠進(jìn)行GPS和常規(guī)地形測(cè)量數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量保證和質(zhì)量控制[3]。本文結(jié)合該工程實(shí)例，采用兩種軟件進(jìn)行GPS工程控制網(wǎng)的基線(xiàn)處理，基線(xiàn)處理后，采用國(guó)產(chǎn)平差軟件CosaGPS進(jìn)行網(wǎng)平差，并圍繞兩種處理結(jié)果展開(kāi)討論。

2 軟件介紹

LGO，全稱(chēng)Leica Geo Office，是瑞士徠卡測(cè)量有限公司開(kāi)發(fā)的用來(lái)進(jìn)行數(shù)據(jù)傳輸、數(shù)據(jù)編輯、瀏覽及質(zhì)量控制等的辦公軟件。一般與該公司的全站儀、GPS等相互配合使用。該軟件以統(tǒng)一的方式管理TPS、GPS和水準(zhǔn)數(shù)據(jù)，功能強(qiáng)大，而且對(duì)于GNSS的基線(xiàn)解算，在同類(lèi)軟件中處于上等水平[4]。

TTC，全稱(chēng)Trimble total control，是Trimble公司為高端客戶(hù)定制的集空間信息采集、存儲(chǔ)、分析、顯示和數(shù)據(jù)檢索于一體的產(chǎn)品，與Trimble公司退出的TGO出具處理軟件類(lèi)似，但不同之處在于TTC軟件可以進(jìn)行上百公里至幾千公里長(zhǎng)距基線(xiàn)的高精度解算，TTC操作過(guò)程簡(jiǎn)單，近乎傻瓜化，可滿(mǎn)足中低檔客戶(hù)掌握高精度GPS數(shù)據(jù)處理的需求[5]。

3 實(shí)例分析

某工程控制網(wǎng)共7個(gè)控制點(diǎn)，按《全球定位系統(tǒng)（GPS）測(cè)量規(guī)范》要求進(jìn)行D級(jí)GPS布網(wǎng)和觀測(cè)，基線(xiàn)長(zhǎng)度0.9～6.0km，數(shù)據(jù)采集采用leica GX1230，采樣間隔30秒，衛(wèi)星高度截止角15°[6]。控制網(wǎng)圖形如下圖1所示。分別以TTC和LGO對(duì)觀測(cè)結(jié)果進(jìn)行基線(xiàn)數(shù)據(jù)處理，下表1為兩種軟件基線(xiàn)平差結(jié)果。

LGO由于軟件本身采用的基線(xiàn)精度評(píng)定標(biāo)準(zhǔn)與其他軟件不同，因此不能直接與其他軟件的RMS進(jìn)行比較[7]。從上表可以看出，兩種軟件處理的15條基線(xiàn)，二者基線(xiàn)長(zhǎng)度差值最小為0mm，最大為17mm。若按基線(xiàn)精度要求及復(fù)測(cè)基線(xiàn)長(zhǎng)度較差進(jìn)行比對(duì)，結(jié)果均滿(mǎn)足規(guī)范要求，說(shuō)明兩種軟件解算的基線(xiàn)結(jié)果是相吻合的。

CosaGPS軟件是武漢大學(xué)編寫(xiě)的一套測(cè)量控制網(wǎng)通用數(shù)據(jù)處理軟件包。完成任意測(cè)量控制網(wǎng)的平差解算和精度評(píng)定等工作。該系統(tǒng)最大特點(diǎn)是自動(dòng)化程度高，通用性強(qiáng)，處理速度快，解算容量大，成果報(bào)表自動(dòng)化輸出[8]。本例中利用CosaGPS自動(dòng)讀取TTC/LGO軟件輸出的基線(xiàn)向量文件，進(jìn)行三維無(wú)約束平差，三維向量無(wú)約束平差基線(xiàn)分量改正數(shù)結(jié)果見(jiàn)表2。

從三維向量無(wú)約束平差結(jié)果來(lái)看，基線(xiàn)分量改正數(shù)絕對(duì)值均滿(mǎn)足規(guī)范要求。兩種解算方式得到的最弱邊相對(duì)中誤差分別為：TTC/CosaGPS（1/307000））、LGO /CosaGPS（1/664000），這說(shuō)明基線(xiàn)向量沒(méi)有明顯系統(tǒng)誤差和粗差，該控制網(wǎng)內(nèi)符合精度較高，數(shù)據(jù)處理質(zhì)量可靠。從兩種解算方式得到的結(jié)果對(duì)比來(lái)看，LGO輸出的基線(xiàn)分量改正數(shù)整體性?xún)?yōu)于TTC，說(shuō)明LGO軟件處理的基線(xiàn)結(jié)果優(yōu)于TTC軟件處理的結(jié)果。

接下來(lái)，在三維向量網(wǎng)無(wú)約束平差的基礎(chǔ)上，為獲取控制點(diǎn)在工程控制網(wǎng)下的平面坐標(biāo)，進(jìn)行二維約束平差。二維約束平差后，兩種解算方式得到的控制點(diǎn)間最弱邊相對(duì)中誤差分別為：TTC/CosaGPS（1/204000）、LGO/CosaGPS（1/322000），滿(mǎn)足平面控制網(wǎng)最弱邊相對(duì)中誤差要求。二維平差平面坐標(biāo)結(jié)果見(jiàn)表3。

從上表二維約束平差的點(diǎn)位誤差方面可以看出，兩種解算方式的坐標(biāo)分量X方向最大差值為9mm，Y方向最大差值為13mm，點(diǎn)位最大差值為15mm。從兩種解算方式處理的精度對(duì)比來(lái)看，LGO/CosaGPS相較TTC/CosaGPS處理的結(jié)果，點(diǎn)位誤差較小，精度較高，從《工程測(cè)量規(guī)范》[9]施工控制點(diǎn)±20mm限差要求來(lái)看，兩者結(jié)果均能夠滿(mǎn)足需要。

4 結(jié)語(yǔ)

本文以某GPS工程控制網(wǎng)為例，通過(guò)LGO與TTC兩種軟件進(jìn)行基線(xiàn)處理，后處理均采用CosaGPS網(wǎng)平差，對(duì)其解算結(jié)果進(jìn)行比較分析。結(jié)果表明：LGO軟件較TTC軟件在數(shù)據(jù)處理方面占優(yōu)，但二者處理數(shù)據(jù)結(jié)果相一致，均滿(mǎn)足規(guī)范要求。在工程應(yīng)用中，二者均具有操作方便、快捷、處理速度快、結(jié)果直觀清晰等優(yōu)點(diǎn)，兩種軟件均可以用于類(lèi)似GPS工程控制網(wǎng)的數(shù)據(jù)處理。

數(shù)據(jù)處理論文:高中物理實(shí)驗(yàn)數(shù)據(jù)處理中誤差理論的應(yīng)用研究

摘 要：本文主要分析了誤差理論在高中物理實(shí)驗(yàn)數(shù)據(jù)中的重要性，闡述了誤差理論的具體應(yīng)用，最后總結(jié)了誤差理論對(duì)物理實(shí)驗(yàn)的作用，旨在加強(qiáng)誤差理論在物理實(shí)驗(yàn)數(shù)據(jù)中的應(yīng)用，促進(jìn)學(xué)生對(duì)物理的真正認(rèn)識(shí)和理解。

關(guān)鍵詞：高中物理實(shí)驗(yàn)；數(shù)據(jù)處理；誤差理論；應(yīng)用

一、誤差理論應(yīng)用的重要性

首先，高中物理實(shí)驗(yàn)中的實(shí)驗(yàn)是真實(shí)存在于現(xiàn)實(shí)生活中的，但是仍然必須經(jīng)過(guò)一些嚴(yán)謹(jǐn)?shù)牟僮鞑襟E才能夠完成驗(yàn)證。為了確保實(shí)驗(yàn)的正確性，通常會(huì)采用大量的數(shù)據(jù)來(lái)證明，數(shù)據(jù)的可靠性必須達(dá)到一定的標(biāo)準(zhǔn)。然而在實(shí)驗(yàn)過(guò)程中，由于一些不確定因素的影響，常常會(huì)讓實(shí)驗(yàn)數(shù)據(jù)產(chǎn)生誤差，這種誤差通常是不可避免的，但是對(duì)于實(shí)驗(yàn)又有一定的影響。為了讓實(shí)驗(yàn)準(zhǔn)確性更高，必須在實(shí)驗(yàn)原理沒(méi)問(wèn)題的情況下，科學(xué)地使用誤差理論的原理來(lái)解決這個(gè)問(wèn)題。在物理實(shí)驗(yàn)中，誤差的存在有其必然性，而實(shí)驗(yàn)者對(duì)誤差的分析也是實(shí)驗(yàn)的一個(gè)重要環(huán)節(jié)。

其次，誤差理論在物理實(shí)驗(yàn)數(shù)據(jù)處理中有著重要作用。誤差理論和實(shí)驗(yàn)數(shù)據(jù)處理屬于考試高頻考點(diǎn)，但是實(shí)驗(yàn)數(shù)據(jù)處理相對(duì)而言不容易被忽視，而誤差理論往往容易被忽略，教師在講解相關(guān)理論知識(shí)和題目時(shí)，對(duì)誤差理論知識(shí)一筆帶過(guò)，學(xué)生掌握得也不夠透徹，處于似懂非懂的狀態(tài)。因此當(dāng)實(shí)驗(yàn)過(guò)程中出現(xiàn)誤差時(shí)，學(xué)生容易將誤差歸結(jié)到偶然性的誤差和系統(tǒng)的誤差上，沒(méi)有深入研究和探索實(shí)驗(yàn)真正存在的問(wèn)題，對(duì)學(xué)生處理物理實(shí)驗(yàn)數(shù)據(jù)并沒(méi)有幫助。另外，在高中物理學(xué)習(xí)階段，學(xué)生對(duì)誤差的理解停留在“誤差的存在是正常的，不需要對(duì)誤差進(jìn)行研究和計(jì)算”，這是因?yàn)閷W(xué)生對(duì)于誤差理論沒(méi)有進(jìn)行定量分析，從而將誤差理論和實(shí)驗(yàn)數(shù)據(jù)理論分割開(kāi)，實(shí)際上這二者是緊密聯(lián)系的。

最后，誤差理論實(shí)際包含了許多物理實(shí)驗(yàn)數(shù)據(jù)的處理方法，不僅是對(duì)誤差的分析，也有嚴(yán)密的法則方便對(duì)數(shù)據(jù)進(jìn)行處理，主要被廣泛應(yīng)用于工業(yè)生產(chǎn)中。而在考慮和處理問(wèn)題的方法中，誤差理論也常常被用到，尤其是處理高級(jí)數(shù)據(jù)，可見(jiàn)誤差理論與物理實(shí)驗(yàn)數(shù)據(jù)處理有著不可分割的關(guān)系，合理、科學(xué)地運(yùn)用誤差理論，能夠在高中物理實(shí)驗(yàn)數(shù)據(jù)處理中發(fā)揮重要的作用。

二、高中物理實(shí)驗(yàn)數(shù)據(jù)處理中誤差理論的具體應(yīng)用

1.力的平行四邊形定則驗(yàn)證實(shí)驗(yàn)

力的平行四邊形定則驗(yàn)證實(shí)驗(yàn)是高中階段一項(xiàng)重要的基本實(shí)驗(yàn)，在實(shí)驗(yàn)過(guò)程中，需要獲得的是：兩個(gè)共點(diǎn)分力相同作用效果和實(shí)際的測(cè)量數(shù)據(jù)的合力，是否和這兩個(gè)共點(diǎn)力構(gòu)建的理論合力符合，兩個(gè)共點(diǎn)力應(yīng)用的原理是平行四邊形定則。這個(gè)實(shí)驗(yàn)涉及實(shí)驗(yàn)的測(cè)量數(shù)據(jù)和理值之間的誤差，在合理的誤差范圍內(nèi)，兩者的合力相同，那么印證了平行四邊形的定則。這個(gè)實(shí)驗(yàn)需要的材料有木板、橡皮、白紙等，原理是如果兩個(gè)作用力F1和F2的作用效果和一個(gè)力F的作用效果一樣，那么力F就是F1和F2的合力。實(shí)驗(yàn)過(guò)程中，由于誤差的存在，F(xiàn)1和F2與合力F很難完全相同，數(shù)值甚至可能相差甚遠(yuǎn)，此時(shí)教師需要及時(shí)引導(dǎo)學(xué)生，觀察實(shí)驗(yàn)過(guò)程中的小細(xì)節(jié)，爭(zhēng)取將誤差降到最低，確保實(shí)驗(yàn)的準(zhǔn)確性，完成實(shí)驗(yàn)的驗(yàn)證過(guò)程。

經(jīng)過(guò)研究分析，誤差的來(lái)源可能有以下三個(gè)方面：第一，運(yùn)用平行四邊形的定則進(jìn)行作圖時(shí)，由于作圖不準(zhǔn)確產(chǎn)生的誤差；第二，彈簧測(cè)力計(jì)沒(méi)有調(diào)零；第三，在使用彈簧測(cè)力計(jì)時(shí)，彈簧外殼與紙張的摩擦以及彈簧與外殼的摩擦造成的誤差。

2.探究勻變速直線(xiàn)運(yùn)動(dòng)的實(shí)驗(yàn)

實(shí)驗(yàn)中，勻變速直線(xiàn)運(yùn)動(dòng)涉及測(cè)量加速度的方法，加速度是一個(gè)極為抽象的概念，如果教師簡(jiǎn)單地通過(guò)理論教學(xué)，學(xué)生不能夠?qū)⑵涓拍罾斫獾煤芡笍亍Ｒ虼私處熆梢酝ㄟ^(guò)直觀的方式進(jìn)行實(shí)驗(yàn)教學(xué)，如通過(guò)打點(diǎn)計(jì)時(shí)器和紙帶，將加速度轉(zhuǎn)化為較直觀和可以進(jìn)行測(cè)量的具體數(shù)值。在實(shí)驗(yàn)過(guò)程中，教師應(yīng)該引導(dǎo)學(xué)生在加速度實(shí)驗(yàn)設(shè)計(jì)中分析誤差，選擇合適的實(shí)驗(yàn)參數(shù)，從而降低誤差。誤差理論的應(yīng)用在一定程度上能夠培養(yǎng)學(xué)生對(duì)待實(shí)驗(yàn)嚴(yán)謹(jǐn)和細(xì)心的態(tài)度。教師在這個(gè)過(guò)程中，通過(guò)誤差理論教學(xué)，提高學(xué)生分析問(wèn)題和誤差的能力。在勻變速直線(xiàn)運(yùn)動(dòng)實(shí)驗(yàn)中，小車(chē)帶著紙帶在軌道上做加速運(yùn)動(dòng)，穿過(guò)打點(diǎn)計(jì)時(shí)器會(huì)留下一連串的數(shù)據(jù)點(diǎn)。通過(guò)逐差法計(jì)算出小車(chē)運(yùn)動(dòng)的加速度

T是打點(diǎn)計(jì)數(shù)器的周期，為了讓學(xué)生處理數(shù)據(jù)更方便，這里一個(gè)周期為五個(gè)時(shí)間間隔。S1、S2、S3…是紙帶上相鄰的點(diǎn)的距離，學(xué)生可以通過(guò)測(cè)量得出相鄰距離。實(shí)驗(yàn)的誤差主要有兩個(gè)部分：第一，測(cè)量位移；第二，測(cè)量時(shí)間。降低紙帶測(cè)量的誤差，能有效提高小車(chē)加速度的準(zhǔn)確性。

綜上所述，誤差理論應(yīng)該廣泛應(yīng)用于高中物理實(shí)驗(yàn)數(shù)據(jù)處理中，讓實(shí)驗(yàn)的結(jié)果和過(guò)程更加合理化、科學(xué)化，準(zhǔn)確性更高，讓學(xué)生徹底明白誤差理論知識(shí)的概念，增強(qiáng)學(xué)生分析物理實(shí)驗(yàn)數(shù)據(jù)的能力，提高學(xué)生處理數(shù)據(jù)的能力，以后能夠以嚴(yán)謹(jǐn)?shù)膽B(tài)度對(duì)待相關(guān)物理實(shí)驗(yàn)。

數(shù)據(jù)處理論文:正點(diǎn)地面觀測(cè)數(shù)據(jù)維護(hù)中異常數(shù)據(jù)處理

摘 要：調(diào)整地面氣象觀測(cè)資料報(bào)文傳輸方式后，值班人員應(yīng)將逐時(shí)觀測(cè)的氣象要素?cái)?shù)據(jù)信息在正點(diǎn)后借助地面測(cè)報(bào)業(yè)務(wù)軟件“正點(diǎn)地面觀測(cè)數(shù)據(jù)維護(hù)”來(lái)檢查觀測(cè)數(shù)據(jù)，一旦有異常或錯(cuò)誤出現(xiàn)，應(yīng)及時(shí)分析和處理疑誤數(shù)據(jù)，做好自動(dòng)氣象站觀測(cè)數(shù)據(jù)質(zhì)量控制。

關(guān)鍵詞：地面觀測(cè)；數(shù)據(jù)維護(hù)；異常數(shù)據(jù)；處理對(duì)策

科學(xué)技術(shù)水平快速提升推動(dòng)了我國(guó)氣象事業(yè)發(fā)展和進(jìn)步，對(duì)觀測(cè)資料完整性、實(shí)用性和時(shí)效性提出了更高要求。在實(shí)際觀測(cè)工作中，采集的各個(gè)氣象要素?cái)?shù)據(jù)質(zhì)量受外界因素影響較大，降低了自動(dòng)臺(tái)站觀測(cè)資料使用價(jià)值。一旦發(fā)現(xiàn)觀測(cè)數(shù)據(jù)異常，可憑借日常工作經(jīng)驗(yàn)及時(shí)分析處理疑誤信息，以增強(qiáng)自動(dòng)氣象站觀測(cè)數(shù)據(jù)可用性，提升地面氣象觀測(cè)業(yè)務(wù)質(zhì)量。

1 基本操作要領(lǐng)

為方便正點(diǎn)時(shí)刻進(jìn)行地面觀測(cè)工作，在維護(hù)軟件中設(shè)置正點(diǎn)觀測(cè)值和小時(shí)內(nèi)分鐘觀測(cè)值實(shí)時(shí)對(duì)比功能。當(dāng)焦點(diǎn)經(jīng)過(guò)當(dāng)前時(shí)次相對(duì)濕度、氣溫、降水量和本站氣壓等氣象要素對(duì)應(yīng)單元格時(shí)，工作人員按住“Shift”鍵，右擊對(duì)應(yīng)單元格，該時(shí)次內(nèi)相關(guān)氣象要素逐分鐘觀測(cè)數(shù)據(jù)信息和對(duì)應(yīng)曲線(xiàn)圖就會(huì)顯示在“分鐘降水量”窗口上方。

臺(tái)站整點(diǎn)時(shí)刻會(huì)編發(fā)加密天氣報(bào)和天氣報(bào)，應(yīng)在正點(diǎn)時(shí)刻點(diǎn)擊OSSMO軟件對(duì)應(yīng)整點(diǎn)地面觀測(cè)數(shù)據(jù)維護(hù)功能，在正點(diǎn)5min內(nèi)將人工觀測(cè)氣象要素?cái)?shù)據(jù)信息輸入系統(tǒng)內(nèi)，還要認(rèn)真檢查錄入數(shù)據(jù)信息是否完整，若自動(dòng)臺(tái)站不能正常運(yùn)行，應(yīng)第一時(shí)間實(shí)施科學(xué)合理人工干預(yù)。在非天氣報(bào)或加密天氣報(bào)時(shí)次，觀察自動(dòng)站逐時(shí)采集數(shù)據(jù)情況，當(dāng)軟件運(yùn)行中有異常，認(rèn)真分析并針對(duì)性處理，同時(shí)保存，控制質(zhì)量完成后會(huì)生成新的長(zhǎng)Z文件。

取消天氣報(bào)后，當(dāng)新型自動(dòng)氣象站觀測(cè)氣象要素值異常時(shí)可通過(guò)人工方法來(lái)干預(yù)，單擊“數(shù)據(jù)維護(hù)”下拉菜單中“正點(diǎn)地面觀測(cè)數(shù)據(jù)維護(hù)”，進(jìn)入界面后在OSSMO窗口中同時(shí)點(diǎn)擊“Ctrl+T”鍵，在“正點(diǎn)地面觀測(cè)數(shù)據(jù)維護(hù)”中查看人工觀測(cè)數(shù)據(jù)和本時(shí)次相關(guān)統(tǒng)計(jì)、自動(dòng)氣象站觀測(cè)數(shù)據(jù)、應(yīng)急加密觀測(cè)、累積降水量值，以滾動(dòng)表格方式將與本時(shí)次統(tǒng)計(jì)值相關(guān)所有觀測(cè)資料信息羅列。

2 正點(diǎn)地面觀測(cè)數(shù)據(jù)維護(hù)中異常數(shù)據(jù)處理

2.1 數(shù)據(jù)輸入異常

2.1.1 降水量輸入

通過(guò)人工方法錄入降水量數(shù)據(jù)信息，若“正點(diǎn)地面觀測(cè)數(shù)據(jù)維護(hù)”窗口上有“降水天氣現(xiàn)象無(wú)編報(bào)降水量”信息提示，此時(shí)無(wú)法錄入降水量數(shù)據(jù)信息，刪除對(duì)應(yīng)天氣現(xiàn)象編碼信息后根據(jù)正確順序錄入即可。

2.1.2 云的輸入

可以正確輸入云量數(shù)據(jù)信息，但不能輸入云狀態(tài)時(shí)，應(yīng)檢查輸入模式是否為英文；如果有“云高不能為空！”提示信息，應(yīng)在現(xiàn)有云高欄中輸入正確云高數(shù)據(jù)后刪除編報(bào)欄中云量信息，結(jié)合本站實(shí)際決定是否刪除云高信息。因輸入方式錯(cuò)誤引起的軟件異常也可關(guān)閉軟件不保存數(shù)據(jù)信息，再重啟業(yè)務(wù)軟件，按正確方法輸入氣象要素?cái)?shù)據(jù)信息，有效避免異常。

2.2 記錄超出歷史極值

2.2.1 觀測(cè)數(shù)據(jù)超過(guò)極值

在正點(diǎn)地面觀測(cè)數(shù)據(jù)維護(hù)中，一旦發(fā)現(xiàn)氣溫、氣壓、相對(duì)濕度、降水量數(shù)據(jù)超過(guò)極限值，要通過(guò)人工方法J真審核氣象要素?cái)?shù)據(jù)信息，將正點(diǎn)觀測(cè)氣象要素?cái)?shù)據(jù)和逐時(shí)分鐘內(nèi)觀測(cè)數(shù)據(jù)信息進(jìn)行比較，借助操作軟件判斷氣象要素合理性，若發(fā)現(xiàn)氣象要素值變化與客觀規(guī)律相符的正常數(shù)據(jù)信息，在發(fā)送數(shù)據(jù)信息后并做好保存。

2.2.2 地溫等其它要素超過(guò)極值

若地溫等要素值超過(guò)極值，應(yīng)查看逐分地面觀測(cè)數(shù)據(jù)文件，分析分鐘內(nèi)數(shù)據(jù)文件是否合理，如果分鐘數(shù)據(jù)跳變異常而不能使用或超過(guò)氣候?qū)W界限值時(shí)，可按缺測(cè)處理。要科學(xué)合理設(shè)置軟件中地面審核規(guī)則庫(kù)數(shù)據(jù)，預(yù)審人員可結(jié)合預(yù)審報(bào)表中超過(guò)歷史極值可疑信息，在審核規(guī)則庫(kù)中設(shè)置合適極值。

3 降低地面正點(diǎn)觀測(cè)數(shù)據(jù)異常的對(duì)策

3.1 做好觀測(cè)儀器設(shè)備維護(hù)

做好觀測(cè)儀器設(shè)備保養(yǎng)和維護(hù)，確保新型自動(dòng)氣象站長(zhǎng)時(shí)間穩(wěn)定運(yùn)行。新型自動(dòng)站儀器設(shè)備為較敏感元器件制成，在建站選址時(shí)，應(yīng)選擇在電磁干擾程度較小區(qū)域，避免電磁信號(hào)干擾影響地面觀測(cè)工作。

3.2 做好惡劣天氣下地面測(cè)報(bào)工作

新型自動(dòng)氣象站觀測(cè)儀器設(shè)備運(yùn)行過(guò)程中受惡劣天氣影響較大，可借助于先進(jìn)觀測(cè)儀器設(shè)備加強(qiáng)對(duì)特殊天氣掌握程度，了解惡劣天氣條件對(duì)觀測(cè)儀器設(shè)備的危害，采取有針對(duì)性防御對(duì)策。

3.3 升級(jí)測(cè)報(bào)軟件

應(yīng)做好備份工作并及時(shí)保存相關(guān)數(shù)據(jù)信息，詳細(xì)了解升級(jí)后測(cè)報(bào)軟件內(nèi)容，通過(guò)可靠軟件網(wǎng)站進(jìn)行升級(jí)，做好補(bǔ)丁安裝，防止因軟件升級(jí)失敗造成觀測(cè)數(shù)據(jù)信息丟失。

3.4 數(shù)據(jù)備份

應(yīng)高度重視數(shù)據(jù)備份工作，做好新型自動(dòng)站正點(diǎn)地面觀測(cè)數(shù)據(jù)維護(hù)，防止觀測(cè)氣象要素?cái)?shù)據(jù)信息異常。做好人工監(jiān)測(cè)工作，真實(shí)、全面記錄氣象要素?cái)?shù)據(jù)信息。將20h作為1周期，由測(cè)報(bào)人員將備份工作做好，一旦發(fā)現(xiàn)觀測(cè)數(shù)據(jù)異常，可錄入備份數(shù)據(jù)信息。

數(shù)據(jù)處理論文:大數(shù)據(jù)時(shí)代下的電力自動(dòng)化系統(tǒng)數(shù)據(jù)處理

摘 要：我國(guó)電力市場(chǎng)發(fā)展度較快，電力系統(tǒng)也正逐步向自動(dòng)化邁進(jìn)，并且在運(yùn)行過(guò)程中產(chǎn)生了大量數(shù)據(jù)，我們將其稱(chēng)之為"大數(shù)據(jù)時(shí)代"。本文主要闡述了電力自動(dòng)系統(tǒng)在運(yùn)行過(guò)程中產(chǎn)生的具體數(shù)據(jù)情況，并分析了基于大數(shù)據(jù)時(shí)代背景下如何做好電力數(shù)據(jù)處理工作。

關(guān)鍵詞：大數(shù)據(jù)時(shí)代；電力自動(dòng)化系統(tǒng)；數(shù)據(jù)處理

電力自動(dòng)化數(shù)據(jù)的處理工作中，要針對(duì)不同的數(shù)據(jù)類(lèi)型以及系統(tǒng)不同部分對(duì)數(shù)據(jù)的不同要求建立起對(duì)應(yīng)的系統(tǒng)數(shù)據(jù)資源處理體系。通過(guò)建立并整合綜合數(shù)據(jù)庫(kù)、完成電力系統(tǒng)安全防護(hù)規(guī)范、形成完善的調(diào)度數(shù)據(jù)體現(xiàn)功能等實(shí)現(xiàn)對(duì)電力自動(dòng)化系統(tǒng)中數(shù)據(jù)的有效處理。

一、電力自動(dòng)化系統(tǒng)的類(lèi)型分類(lèi)

1.基礎(chǔ)型數(shù)據(jù)：主要是與電力自動(dòng)化系統(tǒng)中的電力設(shè)施設(shè)備屬性相關(guān)的數(shù)據(jù)，如，發(fā)電機(jī)、變壓器等電力設(shè)施設(shè)備的基礎(chǔ)數(shù)據(jù)。對(duì)于這些數(shù)據(jù)一般是電力單位根據(jù)相關(guān)的數(shù)據(jù)規(guī)劃各自進(jìn)行管理，并通過(guò)相關(guān)數(shù)據(jù)服務(wù)器對(duì)其數(shù)據(jù)進(jìn)行數(shù)據(jù)同步，便于調(diào)度中心對(duì)這些數(shù)據(jù)進(jìn)行集中存儲(chǔ)、整理和相關(guān)計(jì)算。

2.實(shí)時(shí)數(shù)據(jù)：大多數(shù)是在電力系統(tǒng)運(yùn)行過(guò)程中進(jìn)行實(shí)時(shí)采集的數(shù)據(jù)，其數(shù)據(jù)量很大，對(duì)存儲(chǔ)空間的要求比較高。這些數(shù)據(jù)是在電力系統(tǒng)運(yùn)行過(guò)程中產(chǎn)生的，通過(guò)對(duì)其進(jìn)行糾錯(cuò)處理后，能夠?yàn)檎{(diào)度部門(mén)或市場(chǎng)運(yùn)營(yíng)提供決策參考依據(jù)。目前，我國(guó)電力自動(dòng)化系統(tǒng)在實(shí)時(shí)數(shù)據(jù)處理方面比較成熟，對(duì)收集到的實(shí)時(shí)數(shù)據(jù)不需要進(jìn)行相關(guān)的處理，只需要在數(shù)據(jù)輸入、輸出過(guò)程中建立一個(gè)穩(wěn)定的接口即可。

3.日常管理的數(shù)據(jù)：主要是在電力系統(tǒng)運(yùn)行過(guò)程中對(duì)各種相關(guān)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，各部門(mén)對(duì)在工作中遇到的問(wèn)題進(jìn)行相關(guān)處理后的數(shù)據(jù)信息。一般情況下，這些數(shù)據(jù)只需要在特定的范圍內(nèi)進(jìn)行同步和共享即可。在電力系統(tǒng)運(yùn)行過(guò)程中，建立這一類(lèi)型數(shù)據(jù)同步和共享的數(shù)據(jù)平臺(tái)是十分必要的。主要原因表現(xiàn)在以下幾個(gè)方面：①這些日常管理的數(shù)據(jù)在某種程度上反映電力系統(tǒng)中電力設(shè)施設(shè)備的運(yùn)行情況；②方便電力系統(tǒng)中各個(gè)部門(mén)對(duì)日常管理數(shù)據(jù)的獲取，以便更好的開(kāi)展部門(mén)工作。

4.市場(chǎng)經(jīng)濟(jì)數(shù)據(jù)：隨著市場(chǎng)經(jīng)濟(jì)的發(fā)展，電力系統(tǒng)的經(jīng)濟(jì)效益越來(lái)越突出，電力系統(tǒng)運(yùn)行中的相關(guān)數(shù)據(jù)對(duì)電力單位的發(fā)展具有重要影響，將其作為經(jīng)濟(jì)性數(shù)據(jù)十分有必要。市場(chǎng)經(jīng)濟(jì)數(shù)據(jù)對(duì)城市建設(shè)規(guī)劃中的電力規(guī)劃有很重要的決策參考依據(jù)。市場(chǎng)經(jīng)濟(jì)數(shù)據(jù)具有非常大的擴(kuò)展空間，其數(shù)據(jù)規(guī)劃的重點(diǎn)將是實(shí)時(shí)數(shù)據(jù)。

二、電力系統(tǒng)化系統(tǒng)中數(shù)據(jù)的獲取

電力系統(tǒng)化系統(tǒng)中數(shù)據(jù)的獲取就是整個(gè)數(shù)據(jù)的采集過(guò)程。在電力自動(dòng)化系統(tǒng)中，主要包括了數(shù)據(jù)采集、數(shù)據(jù)處理以及數(shù)據(jù)轉(zhuǎn)發(fā)三個(gè)環(huán)節(jié)。在電力系統(tǒng)中，實(shí)現(xiàn)數(shù)據(jù)傳輸是進(jìn)行數(shù)據(jù)獲取與采集的重要目的。在進(jìn)行數(shù)據(jù)傳輸過(guò)程中，可以采用有限傳輸與無(wú)線(xiàn)傳輸兩種方式進(jìn)行。在采用有限傳輸?shù)倪^(guò)程中，主要通過(guò)使用電纜或者光纖進(jìn)行傳輸。而在無(wú)線(xiàn)傳輸過(guò)程中，則可以使用微波或者無(wú)線(xiàn)擴(kuò)頻的方式進(jìn)行傳送。由于有限傳輸信號(hào)穩(wěn)定可靠，因此，在電力自動(dòng)化系統(tǒng)當(dāng)中主要是使用有線(xiàn)傳輸方式。但是，由于無(wú)線(xiàn)傳輸方式能夠減少線(xiàn)路的鋪設(shè)工作量，而且在較為偏遠(yuǎn)的地區(qū)能夠方便的采集數(shù)據(jù)，而使得其在部分地區(qū)得到廣泛應(yīng)用。

三、電力自動(dòng)化系統(tǒng)中的數(shù)據(jù)處理

3.1數(shù)據(jù)共享

數(shù)據(jù)共享的主要方式主要包括以下幾種：（1）內(nèi)存數(shù)據(jù)庫(kù)。利用內(nèi)存數(shù)據(jù)庫(kù)有著安全性高、訪(fǎng)問(wèn)速度快和結(jié)構(gòu)靈活的特點(diǎn)，但是也存在著一些問(wèn)題，那就是其開(kāi)放性較低。（2）利用網(wǎng)絡(luò)進(jìn)行通訊。網(wǎng)絡(luò)通訊的方式有UDP、TCP、IP等，在對(duì)數(shù)據(jù)進(jìn)行打包發(fā)送的過(guò)程中，網(wǎng)絡(luò)通訊的方式相應(yīng)速度較快，而且數(shù)據(jù)在處理的過(guò)程中，使用的是二進(jìn)制的方式，這種方式在編程的時(shí)候較為復(fù)雜。（3）直接內(nèi)存訪(fǎng)問(wèn)。利用直接內(nèi)存訪(fǎng)問(wèn)的方式進(jìn)行共享，有著傳輸速度較高、進(jìn)入的速度較快的特點(diǎn)，但是在數(shù)據(jù)處理的過(guò)程中，對(duì)于整個(gè)系統(tǒng)的安全性會(huì)造成一定的影響。電力自動(dòng)化系統(tǒng)使用的是DCOM技術(shù)來(lái)進(jìn)行內(nèi)存數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)的，例如，遠(yuǎn)程主機(jī)在進(jìn)行數(shù)據(jù)共享的過(guò)程中，可以使用網(wǎng)絡(luò)映射的方式將遠(yuǎn)程主機(jī)進(jìn)行映射，使其映射到本地的磁盤(pán)中，這樣是便于數(shù)據(jù)的下載與更新的。

3.2數(shù)據(jù)流

數(shù)據(jù)流也是電力自動(dòng)化系統(tǒng)運(yùn)行中十分重要的組成部分，在數(shù)據(jù)處理中扮演著關(guān)鍵性得角色。隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，數(shù)據(jù)流呈現(xiàn)出了連續(xù)性、順序性和實(shí)時(shí)性，整個(gè)過(guò)程的起點(diǎn)是在數(shù)據(jù)進(jìn)入到了系統(tǒng)中開(kāi)始，而數(shù)據(jù)在流動(dòng)的過(guò)程中，那么信息的流動(dòng)策略就會(huì)與整個(gè)系統(tǒng)的功能有著緊密的聯(lián)系。隨著電力自動(dòng)化技術(shù)的不斷提高，電力系統(tǒng)在運(yùn)行的過(guò)程中，數(shù)據(jù)量在逐漸的增加，整個(gè)系統(tǒng)結(jié)構(gòu)也變得越來(lái)越復(fù)雜，必須要對(duì)相應(yīng)的數(shù)據(jù)量進(jìn)行科學(xué)的分析，這樣才能夠合理的部署，提高數(shù)據(jù)傳輸?shù)男剩箶?shù)據(jù)流在運(yùn)行的過(guò)程中，能夠充分的保證其可靠性、安全性和實(shí)時(shí)性。數(shù)據(jù)流技術(shù)在處理的過(guò)程中，一定要將接口的統(tǒng)一性進(jìn)行相應(yīng)的處理，在這樣的情況下，就要充分的解決各個(gè)子系統(tǒng)之間的在接口統(tǒng)一性上的問(wèn)題。

3.3電力自動(dòng)化系統(tǒng)中的數(shù)據(jù)整合

電力自動(dòng)化系統(tǒng)的建立及發(fā)展是基于“建立調(diào)度綜合數(shù)據(jù)應(yīng)用與交換平臺(tái)，規(guī)范和整合調(diào)度系統(tǒng)數(shù)據(jù)”的基本要求，通過(guò)數(shù)據(jù)讓你過(guò)河、功能完善等方式使得不同的專(zhuān)業(yè)技術(shù)以及信息安全技術(shù)在系統(tǒng)中得到應(yīng)用和體現(xiàn)。同時(shí)，電力自動(dòng)化系統(tǒng)的整合工作必須基于國(guó)家電網(wǎng)調(diào)度系統(tǒng)的數(shù)據(jù)整合原則及基本工作框架進(jìn)行。當(dāng)前，系統(tǒng)建設(shè)的主要目標(biāo)在于建立一個(gè)綜合數(shù)據(jù)庫(kù)、形成一個(gè)與電力二次系統(tǒng)安全防護(hù)要求相一致的信息交換體系，實(shí)現(xiàn)通用調(diào)度數(shù)據(jù)的體現(xiàn)。在具體的實(shí)施過(guò)程中，可以采取如下步驟進(jìn)行：（1）基于既有系統(tǒng)開(kāi)發(fā)多種分散數(shù)據(jù)的采集與整合工具，形成統(tǒng)一數(shù)據(jù)規(guī)格的管理規(guī)范，建立一個(gè)基于對(duì)象的數(shù)據(jù)處理數(shù)學(xué)模型，進(jìn)而實(shí)現(xiàn)系統(tǒng)信息的相互關(guān)聯(lián)，實(shí)現(xiàn)信息區(qū)域的管理中心。（2）利用通用調(diào)度數(shù)據(jù)展現(xiàn)技術(shù)給電力自動(dòng)化系統(tǒng)用戶(hù)提供便捷的數(shù)據(jù)分析、加工及理途徑。同時(shí)，開(kāi)發(fā)并實(shí)現(xiàn)基于用戶(hù)自定義規(guī)則的調(diào)度數(shù)據(jù)綜合處理信息系統(tǒng)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的重復(fù)利用。（3）開(kāi)發(fā)橫向調(diào)度數(shù)據(jù)接口技術(shù)，通過(guò)完善并統(tǒng)一對(duì)外調(diào)度接口的方式，避免出現(xiàn)數(shù)據(jù)多重交叉的以及重復(fù)輸出問(wèn)題。（4）形成上、下級(jí)縱向調(diào)度數(shù)據(jù)的標(biāo)準(zhǔn)接口，構(gòu)建起廣域范圍中的金字塔式形式的立體數(shù)據(jù)體系。

四、智能電網(wǎng)

1.智能電網(wǎng)中的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

智能電網(wǎng)中的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)具有堅(jiān)強(qiáng)、靈活的特點(diǎn)，能夠有效的解決電力系統(tǒng)中能源和生產(chǎn)力分布不均勻的問(wèn)題，滿(mǎn)足電力企業(yè)大規(guī)模生產(chǎn)運(yùn)輸過(guò)程中產(chǎn)生大規(guī)模數(shù)據(jù)的處理功能，實(shí)現(xiàn)資源的優(yōu)化配置，減少電能損耗。同時(shí)，智能電網(wǎng)中的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)能夠有效的應(yīng)對(duì)一些自然災(zāi)害，如雨、雪等。

2.開(kāi)放、標(biāo)準(zhǔn)、集成的通信系統(tǒng)

智能電網(wǎng)能夠?qū)﹄娏ψ詣?dòng)化系統(tǒng)進(jìn)行及時(shí)有效的監(jiān)控，主要在其具有識(shí)別故障早期征兆的預(yù)測(cè)能力和對(duì)故障做出相關(guān)的相應(yīng)的能力。智能電網(wǎng)是電力自動(dòng)化企業(yè)的發(fā)展方向，能夠?yàn)殡娋W(wǎng)規(guī)劃、建設(shè)和運(yùn)行管理提供全面的數(shù)據(jù)信息，有利于大數(shù)據(jù)時(shí)代下電力自動(dòng)化運(yùn)行系統(tǒng)的穩(wěn)定、安全和高效的運(yùn)行。

結(jié)語(yǔ)

自動(dòng)化系統(tǒng)的正常運(yùn)行，一定要充分考慮到系統(tǒng)運(yùn)行中數(shù)據(jù)信息的數(shù)量信息，便于數(shù)據(jù)的維修和存儲(chǔ)空間的無(wú)限擴(kuò)展。文章主要是分析了自動(dòng)化系統(tǒng)的數(shù)據(jù)類(lèi)型，并且對(duì)其進(jìn)行了詳盡的分析，對(duì)于相關(guān)問(wèn)題進(jìn)行了闡述，給電力自動(dòng)化系統(tǒng)提供了更加廣闊的空間，并探究了智能電網(wǎng)在電力自動(dòng)化運(yùn)行系統(tǒng)中運(yùn)行的優(yōu)勢(shì)和未來(lái)的發(fā)展方向。

數(shù)據(jù)處理論文:大數(shù)據(jù)處理平臺(tái)比較研究

摘要：大數(shù)據(jù)環(huán)境下，傳統(tǒng)的數(shù)據(jù)處理方式不再適用，以云計(jì)算技術(shù)為支撐的大數(shù)據(jù)處理平臺(tái)應(yīng)運(yùn)而生。比較了開(kāi)源Hadoop和Spark平臺(tái)各自的優(yōu)缺點(diǎn)，發(fā)現(xiàn)各自的適用范圍：Hadoop適用于數(shù)據(jù)密集型任務(wù)，并廣泛應(yīng)用于離線(xiàn)分析；Spark因其基于內(nèi)存計(jì)算，在迭代計(jì)算和實(shí)時(shí)分析領(lǐng)域占據(jù)優(yōu)勢(shì)。二者在功能上有較強(qiáng)的互補(bǔ)性，協(xié)同使用可以發(fā)揮更大效益。

關(guān)鍵詞：大數(shù)據(jù)平臺(tái)；Hadoop； Spark；比較研究

1大數(shù)據(jù)處理平臺(tái)

1.1大數(shù)據(jù)特點(diǎn)

目前，大數(shù)據(jù)還沒(méi)有一個(gè)標(biāo)準(zhǔn)定義，但是把握大數(shù)據(jù)的特征，有助于加深對(duì)大數(shù)據(jù)內(nèi)涵的理解。數(shù)據(jù)具有的3V特征，即規(guī)模大（Volume）、種類(lèi)多（Variety）、速度快（Velocity）。規(guī)模大，意味著數(shù)據(jù)量不斷擴(kuò)張，數(shù)據(jù)量級(jí)從現(xiàn)在的GB、TB增長(zhǎng)到PB、EB甚至ZB級(jí)；種類(lèi)多，指數(shù)據(jù)類(lèi)型有結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化，其中文字、圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)占很大比例；速度快，表示大數(shù)據(jù)有強(qiáng)時(shí)效性，數(shù)據(jù)快速產(chǎn)生，需要及時(shí)處理及分析才能實(shí)現(xiàn)大數(shù)據(jù)的經(jīng)濟(jì)價(jià)值。 大數(shù)據(jù)的處理過(guò)程為數(shù)據(jù)抽取與集成、數(shù)據(jù)分析以及數(shù)據(jù)解釋 [1]。巨量的數(shù)據(jù)往往也意味著噪聲較多，這給數(shù)據(jù)清洗工作造成困難。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)處理對(duì)象單位通常為MB，適合處理存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，而面向大數(shù)據(jù)的數(shù)據(jù)庫(kù)技術(shù)能夠解決海量的非結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)問(wèn)題。傳統(tǒng)的數(shù)據(jù)分析方法以算法的準(zhǔn)確率作為重要的衡量指標(biāo)，而大數(shù)據(jù)的高速性要求算法必須犧牲一部分準(zhǔn)確性以更高效地處理數(shù)據(jù)。

1.2大數(shù)據(jù)處理平臺(tái)

為從規(guī)模巨大、種類(lèi)繁多、生成快速的數(shù)據(jù)集中挖掘價(jià)值[2]，針對(duì)大數(shù)據(jù)的技術(shù)和方法應(yīng)運(yùn)而生。GFS、NoSQL、ITHbase、MapReduce等云計(jì)算技術(shù)發(fā)展，使大數(shù)據(jù)有效存儲(chǔ)、管理和分析成為可能。但從眾多復(fù)雜的大數(shù)據(jù)技術(shù)中進(jìn)行選擇，并搭建完備的大數(shù)據(jù)處理框架難度很高，不利于挖掘大數(shù)據(jù)中的經(jīng)濟(jì)價(jià)值。大數(shù)據(jù)平臺(tái)能在用戶(hù)不了解架構(gòu)底層細(xì)節(jié)的情況下，開(kāi)發(fā)大數(shù)據(jù)應(yīng)用程序。全球領(lǐng)先的科技巨頭紛紛提出了建設(shè)與應(yīng)用大數(shù)據(jù)處理平臺(tái)：IBM公司推出了云端版InfoSphere BigInsights[3]；HP推出了HP Vertica6.1分析平臺(tái)[4]；Google提出的GFS、MapReduce等云計(jì)算技術(shù)催生了大數(shù)據(jù)處理平臺(tái)的事實(shí)標(biāo)準(zhǔn)Hadoop。目前，Google使用的是自己開(kāi)發(fā)的Caffeine[2]；Facebook結(jié)合自身需求實(shí)現(xiàn)了Corona、Prism。完備、高效的大數(shù)據(jù)處理平臺(tái)為大數(shù)據(jù)應(yīng)用提供一站式基礎(chǔ)服務(wù)，支持應(yīng)用系統(tǒng)從清洗、集成、分析到結(jié)果可視化展現(xiàn)全過(guò)程建設(shè)，降低了用戶(hù)技術(shù)門(mén)檻[5]。

2大數(shù)據(jù)處理平臺(tái)比較

Hadoop的支撐技術(shù)（MapReduce等）成熟，實(shí)現(xiàn)了海量數(shù)據(jù)分布式存儲(chǔ)和批量處理，應(yīng)用廣泛，成為大數(shù)據(jù)處理平臺(tái)的事實(shí)標(biāo)準(zhǔn)。Spark以其近乎實(shí)時(shí)的性能和相對(duì)靈活易用而受到歡迎，它同Hadoop一樣都是Apache旗下的開(kāi)源集群系統(tǒng)，是目前發(fā)展最快的大數(shù)據(jù)處理平臺(tái)之一。

2.1Hadoop與Spark比較

2.1.1Hadoop及特c Hadoop是由Apache開(kāi)發(fā)的開(kāi)源云計(jì)算平臺(tái)，實(shí)現(xiàn)在大量計(jì)算機(jī)組成的集群中進(jìn)行分布式存儲(chǔ)和計(jì)算。Hadoop框架最核心的技術(shù)是HDFS和MapReduce。HDFS是可部署在廉價(jià)機(jī)器上的分布式文件系統(tǒng)，采用主/從結(jié)構(gòu)，將大文件分割后形成大小相等的block復(fù)制3份，分別存儲(chǔ)在不同節(jié)點(diǎn)上，實(shí)現(xiàn)了海量數(shù)據(jù)存儲(chǔ)。MapReduce編程模型實(shí)現(xiàn)大數(shù)據(jù)處理，它的核心是“分而治之”[1]。Map任務(wù)區(qū)將輸入數(shù)據(jù)源分塊后，分散給不同的節(jié)點(diǎn)，通過(guò)用戶(hù)自定義的Map函數(shù)，得到中間key/Value集合，存儲(chǔ)到HDFS上。Reduce任務(wù)區(qū)從硬盤(pán)上讀取中間結(jié)果，把相同K值數(shù)據(jù)組織在一起，再經(jīng)過(guò)用戶(hù)自定義的Reduce函數(shù)處理，得到并輸出結(jié)果；將巨量資料的處理并行運(yùn)行在集群上，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的有效處理。 Hadoop具有如下優(yōu)點(diǎn)[69]： （1）高擴(kuò)展性。Hadoop的橫向擴(kuò)展性能很好，海量數(shù)據(jù)能橫跨幾百甚至上千臺(tái)服務(wù)器，而用戶(hù)使用時(shí)感覺(jué)只是面對(duì)一個(gè)。大量計(jì)算機(jī)并行工作，對(duì)大數(shù)據(jù)的處理能在合理時(shí)間內(nèi)完成并得以應(yīng)用，這是傳統(tǒng)單機(jī)模式無(wú)法實(shí)現(xiàn)的。 （2）高容錯(cuò)性。從HDFS的設(shè)計(jì)可以看出它通過(guò)提供數(shù)據(jù)冗余的方式提供高可靠性。當(dāng)某個(gè)數(shù)據(jù)塊損壞或丟失，NameNode就會(huì)將其它DataNode上的副本進(jìn)行復(fù)制，保證每塊都有3份。所以，在數(shù)據(jù)處理過(guò)程中，當(dāng)集群中機(jī)器出現(xiàn)故障時(shí)計(jì)算不會(huì)停止。 （3）節(jié)約成本。首先，Hadoop本身是開(kāi)源軟件，完全免費(fèi)；其次，它可以部署在廉價(jià)的PC機(jī)上；“把計(jì)算推送給數(shù)據(jù)”的設(shè)計(jì)理念，節(jié)省了數(shù)據(jù)傳輸中的通信開(kāi)銷(xiāo)。而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)將所有數(shù)據(jù)存儲(chǔ)起來(lái)，成本高昂，這不利于大數(shù)據(jù)產(chǎn)業(yè)發(fā)展。 （4）高效性。Hadoop以簡(jiǎn)單直觀的方式解決了大數(shù)據(jù)處理中的儲(chǔ)存和分析問(wèn)題。數(shù)據(jù)規(guī)模越大，相較于單機(jī)處理Hadoop的集群并行處理優(yōu)勢(shì)越明顯。 （5）基礎(chǔ)性。對(duì)于技術(shù)優(yōu)勢(shì)企業(yè)，可以根據(jù)基礎(chǔ)的Hadoop結(jié)合應(yīng)用場(chǎng)景進(jìn)行二次開(kāi)發(fā)，使其更適合工作環(huán)境。比如，F(xiàn)acebook從自身應(yīng)用需求出發(fā)，構(gòu)建了實(shí)時(shí)Hadoop系統(tǒng)。 Hadoop系統(tǒng)局限性 [1011]：①不適合迭代運(yùn)算。MapReduce要求每個(gè)運(yùn)算結(jié)果都輸出到HDFS，每次初始化都要從HDFS讀入數(shù)據(jù)。在迭代運(yùn)算中，每次運(yùn)算的中間結(jié)果都要寫(xiě)入磁盤(pán)，Hadoop在執(zhí)行每一次功能相同的迭代任務(wù)時(shí)都要反復(fù)操作I/O，計(jì)算代價(jià)很大。而對(duì)于常見(jiàn)的圖計(jì)算和數(shù)據(jù)挖掘等，迭代計(jì)算又是必要的；②實(shí)時(shí)性差。Hadoop平臺(tái)由于頻繁的磁盤(pán)I/O操作，大大增加了時(shí)間延遲，不能勝任快速處理任務(wù)；③易用性差。Hadoop只是一個(gè)基礎(chǔ)框架，精細(xì)程度有所欠缺，如果要實(shí)現(xiàn)具體業(yè)務(wù)還需進(jìn)一步開(kāi)發(fā)。MapReduce特定的編程模型增加了Hadoop的技術(shù)復(fù)雜性。

2.1.2Spark及特點(diǎn) Spark的整個(gè)生態(tài)系統(tǒng)稱(chēng)為BDAS（伯克利數(shù)據(jù)分析棧），包括Tachyon、Spark Streaming、Spark Core、MLlib等。其核心框架Spark是為了實(shí)現(xiàn)大數(shù)據(jù)的快速處理而設(shè)計(jì)的，可以用來(lái)構(gòu)建低延遲應(yīng)用。Spark以RDD（彈性分布數(shù)據(jù)集）為基礎(chǔ)，實(shí)現(xiàn)了基于內(nèi)存的大數(shù)據(jù)計(jì)算。RDD是對(duì)數(shù)據(jù)的基本抽象，實(shí)現(xiàn)了對(duì)分布式內(nèi)存的抽象使用。由于RDD能緩存到內(nèi)存中，因此避免了過(guò)多的磁盤(pán)I/O操作，大大降低了時(shí)延。Tachyon是分布式內(nèi)存文件系統(tǒng)，類(lèi)似于內(nèi)存中的HDFS，基于它可以實(shí)現(xiàn)RDD或文件在計(jì)算機(jī)集群中共享。Spark沒(méi)有自己的文件系統(tǒng)，通過(guò)支持Hadoop HDFS、HBase等進(jìn)行數(shù)據(jù)存儲(chǔ)。Spark更專(zhuān)注于計(jì)算性能，其特點(diǎn)如下[1113]： （1）高速性。Spark通過(guò)內(nèi)存計(jì)算減少磁盤(pán)I/O開(kāi)銷(xiāo)，極大縮小了時(shí)間延遲，能處理Hadoop無(wú)法應(yīng)對(duì)的迭代運(yùn)算，在進(jìn)行圖計(jì)算等工作時(shí)表現(xiàn)更好。高速數(shù)據(jù)處理能力使得Spark更能滿(mǎn)足大數(shù)據(jù)分析中實(shí)時(shí)分析的要求。 （2）靈活性。較之僅支持map函數(shù)和reduce函數(shù)的Hadoop，Spark支持map、reduce、filter、join、count等近80多種操作類(lèi)型。Spark的交互模式使用戶(hù)在進(jìn)行操作時(shí)能及時(shí)獲得反饋，這是Hadoop不具備的。Spark SQL能直接用標(biāo)準(zhǔn)SQL語(yǔ)句在Spark上進(jìn)行大數(shù)據(jù)查詢(xún)，簡(jiǎn)單易學(xué)。盡管在Hadoop中有Hive，可以不用Java來(lái)編寫(xiě)復(fù)雜的MapReduce程序，但是Hive在MapReduce上的運(yùn)行速度卻達(dá)不到期望程度。

2.1.3Hadoop與Spark特點(diǎn)比較分析 Hadoop具有高擴(kuò)展性、高容錯(cuò)性、成本低、高效性、不適合迭代運(yùn)算、實(shí)時(shí)性差、易用性差等特點(diǎn)，與之相比，Spark最突出的特點(diǎn)是高速性和靈活性，基于這些特點(diǎn)分析總結(jié)如下：Hadoop更注重存儲(chǔ)性能，而Spark更專(zhuān)注于計(jì)算，可以形象地將二者的處理方式比作“大砍刀”和“剔骨刀”，前者可以勝任更加繁重的任務(wù)，但難免粗糙，后者則勝在快速、靈巧上。

2.2Hadoop與Spark應(yīng)用場(chǎng)景比較

2.2.1Hadoop應(yīng)用場(chǎng)景 Hadoop的高擴(kuò)展性、高容錯(cuò)性、基礎(chǔ)性等優(yōu)點(diǎn)，決定了其適用于龐大數(shù)據(jù)集控制、數(shù)據(jù)密集型計(jì)算和離線(xiàn)分析等場(chǎng)景。針對(duì)Hadoop的局限性，為提高Hadoop性能，各種工具應(yīng)運(yùn)而生，已經(jīng)發(fā)展成為包括Hive、Pig、HBase、Cassandra、YARN等在內(nèi)的完整生態(tài)系統(tǒng)。HBase新型NoSQL數(shù)據(jù)庫(kù)便于數(shù)據(jù)管理，Hive提供類(lèi)似SQL的操作方式進(jìn)行數(shù)據(jù)分析，Pig是用來(lái)處理大規(guī)模數(shù)據(jù)的高級(jí)腳本語(yǔ)言……這些功能模塊在一定程度上彌補(bǔ)了Hadoop的不足，降低了用戶(hù)使用難度，擴(kuò)展了應(yīng)用場(chǎng)景。

2.2.2Spark應(yīng)用場(chǎng)景 與Hadoop不同，Spark高速、靈活的特點(diǎn)，決定了它適用于迭代計(jì)算、交互式查詢(xún)、實(shí)時(shí)分析等場(chǎng)景，比如，淘寶使用Spark來(lái)實(shí)現(xiàn)基于用戶(hù)的圖計(jì)算應(yīng)用[11]。但是，其RDD特點(diǎn)使其不適合異步細(xì)粒度更新?tīng)顟B(tài)的應(yīng)用[1]，比如，增量的Web抓取和索引。RDD的特點(diǎn)之一是“不可變”，即只讀不可寫(xiě)，如果要對(duì)RDD中的數(shù)據(jù)進(jìn)行更新，就要遍歷整個(gè)RDD并生成一個(gè)新RDD，頻繁更新代價(jià)很大。

2.2.3Hadoop與Spark的互補(bǔ)競(jìng)爭(zhēng)關(guān)系 Hadoop與Spark同櫬笫據(jù)處理平臺(tái)，必然在市場(chǎng)中存在一定的競(jìng)爭(zhēng)替代關(guān)系，二者在功能上有較強(qiáng)的互補(bǔ)性。Hadoop解決了如何將大數(shù)據(jù)儲(chǔ)存起來(lái)的問(wèn)題，Spark在此基礎(chǔ)上考慮的是更快速、易用地實(shí)現(xiàn)大數(shù)據(jù)分析，這點(diǎn)從Spark仍采用HDFS作為文件系統(tǒng)就可看出。它們適用于不同的應(yīng)用場(chǎng)景，有時(shí)協(xié)同工作會(huì)達(dá)到更理想的效果，在Spark和Hadoop的許多發(fā)行版（如CDH、MapR、InfoSphere BigInsights）中，它們都已經(jīng)互相支持實(shí)現(xiàn)。

3結(jié)語(yǔ)

本文分析了大數(shù)據(jù)的3V特點(diǎn)，論述了大數(shù)據(jù)處理與傳統(tǒng)數(shù)據(jù)處理的不同，指出了傳統(tǒng)處理方式在大數(shù)據(jù)環(huán)境下的局限性。通過(guò)分析常用的大數(shù)據(jù)處理平臺(tái)，并分析Hadoop和Spark的核心技術(shù)，對(duì)其優(yōu)缺點(diǎn)進(jìn)行了歸納。Hadoop實(shí)現(xiàn)了海量異構(gòu)數(shù)據(jù)的存儲(chǔ)和處理，雖然在處理速度和易用性方面存在缺陷，但由于它的基礎(chǔ)性還是得到廣泛應(yīng)用，企業(yè)可根據(jù)自身應(yīng)用特點(diǎn)進(jìn)行改進(jìn)。雖然Spark不適合異步細(xì)粒度更新?tīng)顟B(tài)的應(yīng)用，但在處理性能和易用程度上較Hadoop優(yōu)勢(shì)顯著，發(fā)展也十分迅速。通過(guò)比較兩者的優(yōu)缺點(diǎn)，可以發(fā)現(xiàn)它們?cè)诠δ苌嫌休^強(qiáng)的互補(bǔ)性，協(xié)同使用可以帶來(lái)效益優(yōu)化。目前Spark和很多Hadoop發(fā)行版都已經(jīng)互相支持。期望本文對(duì)大數(shù)據(jù)處理平臺(tái)的選擇、利用和研發(fā)有所啟發(fā)。

數(shù)據(jù)處理論文:公路工程試驗(yàn)檢測(cè)的數(shù)據(jù)處理與分析

[摘要]為了確保公路工程的質(zhì)量，需要在施工的各個(gè)環(huán)節(jié)實(shí)行試驗(yàn)檢測(cè)工作，在材料、施工工藝和技術(shù)、工程驗(yàn)收等方面進(jìn)行檢查，形成的數(shù)據(jù)資料經(jīng)過(guò)分析和處理，是公路工程質(zhì)量的重要保障。本文著重分析介紹試驗(yàn)檢測(cè)的數(shù)據(jù)處理以及相關(guān)分析。

[關(guān)鍵詞]公路工程；數(shù)據(jù)；試驗(yàn)檢測(cè)；分析和處理

在施工中要保證建筑材料不使用劣質(zhì)產(chǎn)品，施工工藝和技術(shù)是否符合工程建設(shè)標(biāo)準(zhǔn)，工程的實(shí)用性是否滿(mǎn)足投入使用后的需求，都需要專(zhuān)業(yè)的試驗(yàn)檢測(cè)來(lái)驗(yàn)證和把關(guān)。在我國(guó)大多數(shù)公路工程中，試驗(yàn)檢測(cè)在其中都發(fā)揮重要的監(jiān)督和鞭策作用。對(duì)于試驗(yàn)檢測(cè)的數(shù)據(jù)要進(jìn)行科學(xué)客觀的處理和分析，得到最公正的檢測(cè)試驗(yàn)報(bào)告，工作人員要認(rèn)真履行試驗(yàn)檢測(cè)職責(zé)，為公路工程的質(zhì)量負(fù)起責(zé)任。

1.公路工程試驗(yàn)檢測(cè)數(shù)據(jù)分析

在進(jìn)行公路工程試驗(yàn)檢測(cè)數(shù)據(jù)的相關(guān)分析時(shí)，要注意選擇正確有效的分析方法。數(shù)據(jù)分析需要大量的精密運(yùn)算、繪圖與建立表格來(lái)開(kāi)展數(shù)據(jù)的分析。工作人員要掌握專(zhuān)業(yè)的W科知識(shí)，并靈活運(yùn)用于試驗(yàn)檢測(cè)工作當(dāng)中。根據(jù)精密運(yùn)算和解析得到的重要參數(shù)以及圖表等分析依據(jù)，才能為工程的各項(xiàng)施工技術(shù)和功能去粗存精，找出問(wèn)題發(fā)生所在以及制定整改措施。

1.1圖示法

概括來(lái)講，圖示法就是應(yīng)用圖形具體表現(xiàn)檢測(cè)數(shù)據(jù)，能夠使人們清晰的看出函數(shù)的變化趨勢(shì)和規(guī)律。但圖示法仍有它的缺點(diǎn)，在圖形中不能很清晰的表現(xiàn)函數(shù)關(guān)系，使得無(wú)法進(jìn)行精確的科學(xué)分析。如果用圖示法對(duì)數(shù)據(jù)進(jìn)行處理，首先要準(zhǔn)確把分度值、名稱(chēng)和有效數(shù)字的位數(shù)等重要數(shù)據(jù)標(biāo)注在坐標(biāo)軸上，在書(shū)寫(xiě)過(guò)程中，要盡量將文字的書(shū)寫(xiě)方向和坐標(biāo)軸保持平行。第二點(diǎn)值得注意的是，要讓測(cè)量數(shù)據(jù)的精度和記錄分度相對(duì)應(yīng)，作圖時(shí)一定要采用平滑曲線(xiàn)的連接方法，堅(jiān)決杜絕繪制成一條沒(méi)有任何意義的工程折線(xiàn)，而是要使其成為一條平滑曲線(xiàn)。

1.2表格法

表格是一種直觀、全面的工具，對(duì)于試驗(yàn)檢測(cè)工作來(lái)說(shuō)，表格法是通常在實(shí)際工作中使用的方式，企業(yè)的報(bào)表、工程各項(xiàng)參數(shù)以及各項(xiàng)試驗(yàn)數(shù)據(jù)都可以轉(zhuǎn)化為表格的形式表現(xiàn)出來(lái)，讓人一目了然，清晰陜速的了解事物的屬性和重要數(shù)據(jù)分析。但是，在表格法的使用過(guò)程中我們發(fā)現(xiàn)了一些問(wèn)題：表格是一種標(biāo)準(zhǔn)設(shè)計(jì)，其內(nèi)容和重要的數(shù)據(jù)都放置于規(guī)定的方格內(nèi)，空間有限，如果有其他重要的數(shù)據(jù)，就會(huì)出現(xiàn)遺漏或者錯(cuò)漏，導(dǎo)致試驗(yàn)檢測(cè)的數(shù)據(jù)分析出現(xiàn)問(wèn)題，精確度下降，對(duì)于事物的了解雖然迅速高效，但是只能做到初步粗淺的理解，深入的反映事物的關(guān)聯(lián)和內(nèi)在聯(lián)系是很難通過(guò)表格呈現(xiàn)出來(lái)的，在施工中就無(wú)法進(jìn)行很好的銜接，會(huì)造成施工環(huán)節(jié)的不連貫，給施工進(jìn)度造成一定的影響。表格法所呈現(xiàn)的數(shù)據(jù)雖然簡(jiǎn)易明了，通俗易懂，但數(shù)據(jù)都是孤立性的存在，表格無(wú)法體現(xiàn)我們通常需要的一般線(xiàn)性規(guī)律，其重要程度大打折扣，雖然通過(guò)表格數(shù)據(jù)分析可以知道工程檢測(cè)的結(jié)果，但相關(guān)的具體分析和前因后果都無(wú)法做到全面的了解和補(bǔ)充。

1.3經(jīng)驗(yàn)公式法

我們?cè)诶L制完成曲線(xiàn)后，可以很直觀的發(fā)現(xiàn)它與一些特定函數(shù)有相似之處，我們把這種與曲線(xiàn)對(duì)應(yīng)的函數(shù)稱(chēng)之為經(jīng)驗(yàn)公式。實(shí)際上，要想簡(jiǎn)明扼要的表達(dá)所有數(shù)據(jù)之間的關(guān)系，最簡(jiǎn)單的方法就是用一個(gè)公式來(lái)表達(dá)，這樣可以直接得到自變量和應(yīng)變量的關(guān)系。

2.公路工程試驗(yàn)檢測(cè)的誤差處理

2.1誤差的來(lái)源

公路工程的試驗(yàn)檢測(cè)數(shù)據(jù)要求精確精準(zhǔn)，但是在實(shí)際檢測(cè)工作中，工作人員發(fā)現(xiàn)誤差是無(wú)法避免的，專(zhuān)業(yè)知識(shí)扎實(shí)、檢測(cè)經(jīng)驗(yàn)豐富的工作人員也會(huì)發(fā)生一定概率的誤差，再精密的檢測(cè)設(shè)備和儀器都會(huì)發(fā)生理論上的誤差，更何況是人了，所以數(shù)據(jù)誤差的來(lái)源是由于工作人員或者設(shè)備儀器的本身誤差造成的。而在大多數(shù)試驗(yàn)檢測(cè)數(shù)據(jù)分析和處理工作中，出現(xiàn)一定范圍內(nèi)被允許的誤差是正常的。但是檢測(cè)人員要全力避免誤差的擴(kuò)大，避免對(duì)檢測(cè)結(jié)果造成不良影響，延誤施工進(jìn)度。

2.2誤差的表示

誤差有兩種最基本的表達(dá)方式，即絕對(duì)誤差和相對(duì)誤差。絕對(duì)誤差指的就是實(shí)際測(cè)量值和真實(shí)值之差。在具體工作中，我們通常把用精度較高的儀器設(shè)備測(cè)量得到的數(shù)據(jù)稱(chēng)為實(shí)際值。實(shí)際值比較接近真實(shí)值，所以用它來(lái)替代真實(shí)值。絕對(duì)誤差要有單位，要與被測(cè)值的單位保持一致，然后是用絕對(duì)誤差表示實(shí)際偏差，但是卻不能夠得到誤差的精確程度。所以，相對(duì)誤差不單能夠表示絕對(duì)誤差，還能表示精度，同時(shí)還可以表示誤差的方向。

2.3誤差的處理與分析

盡管誤差很可能出現(xiàn)或者已經(jīng)存在于檢測(cè)結(jié)果中，也是有辦法可以進(jìn)行補(bǔ)救的，最常用的辦法就是多次進(jìn)行重復(fù)的試驗(yàn)檢測(cè)，將每次的檢測(cè)結(jié)果進(jìn)行對(duì)比和整理，依靠數(shù)學(xué)中的統(tǒng)計(jì)學(xué)原理進(jìn)行取值，以此方法得到的數(shù)據(jù)就會(huì)更加可靠和準(zhǔn)確。在一般情況下誤差是普遍存在的，而很有可能是人為過(guò)失的因素釀成的，而不是檢測(cè)設(shè)備或者儀器本身存在的誤差率造成的，因此，要進(jìn)行重復(fù)試驗(yàn)，找出錯(cuò)誤所在，排除第一次錯(cuò)誤的數(shù)據(jù)，然后進(jìn)行多次試驗(yàn)驗(yàn)證，直到滿(mǎn)足檢測(cè)需求的準(zhǔn)確結(jié)果。在檢測(cè)工作中應(yīng)該全力避免人為失誤或犯錯(cuò)導(dǎo)致的數(shù)據(jù)誤差，這就要求檢測(cè)人員不斷提高自身素質(zhì)和檢測(cè)水平，檢測(cè)機(jī)構(gòu)也要加大對(duì)硬件設(shè)備和先進(jìn)儀器的維護(hù)保養(yǎng)，創(chuàng)造更加專(zhuān)業(yè)和適合檢測(cè)工作的環(huán)境氛圍。

3.結(jié)語(yǔ)

試驗(yàn)檢測(cè)的數(shù)據(jù)處理與分析是檢測(cè)結(jié)果的基礎(chǔ)和來(lái)源，而數(shù)據(jù)分析的準(zhǔn)確度關(guān)系到檢測(cè)結(jié)果的公正性與客觀性，在工作中要避免誤差，保證準(zhǔn)確度，從公路工程施工的角度考量，也需要一份專(zhuān)業(yè)精準(zhǔn)的檢測(cè)數(shù)據(jù)來(lái)衡量施工技術(shù)水平和工程質(zhì)量的高低，所以，檢測(cè)機(jī)構(gòu)和人員要不斷提升檢測(cè)能力，增強(qiáng)業(yè)務(wù)素質(zhì)和專(zhuān)業(yè)技能。

數(shù)據(jù)處理論文:大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)領(lǐng)域中的應(yīng)用研究

【摘要】 文章首先對(duì)智能電網(wǎng)和大數(shù)據(jù)處理技術(shù)進(jìn)行了簡(jiǎn)介，進(jìn)而分析了智能電網(wǎng)的大數(shù)據(jù)特點(diǎn)，最后提出了大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)領(lǐng)域中的具體應(yīng)用。

【關(guān)鍵詞】 大數(shù)據(jù)處理技術(shù) 智能電網(wǎng) 具體 應(yīng)用

前言：隨著我國(guó)工業(yè)的高速發(fā)展以及居民生活的豐富化，目前我國(guó)的電力行業(yè)取得了巨大的發(fā)展，跨區(qū)聯(lián)網(wǎng)的規(guī)模處于不斷擴(kuò)大中。而就電網(wǎng)結(jié)構(gòu)而言，也處于不斷復(fù)雜的趨勢(shì)下，存在的不穩(wěn)定因素也越來(lái)越多，使用中的風(fēng)險(xiǎn)以及故障的機(jī)率特增加了很多。進(jìn)而大數(shù)據(jù)分析處理技術(shù)得以在電網(wǎng)中使用，實(shí)現(xiàn)了電網(wǎng)管理的智能化，提升了電網(wǎng)使用的穩(wěn)定性和安全性。基于此，文章圍繞大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)領(lǐng)域的應(yīng)用為中心，分三部分展開(kāi)了細(xì)致的分析探討，旨在提供一些該方面的理論參考，以下是具體內(nèi)容。

一、智能電網(wǎng)和大數(shù)據(jù)處理技術(shù)簡(jiǎn)介

1.1智能電網(wǎng)

所為智能電網(wǎng)指的是以基本的物理電網(wǎng)為基礎(chǔ)，通過(guò)應(yīng)用目前的現(xiàn)代信息技術(shù)、通信技術(shù)以及計(jì)算機(jī)處理技術(shù)等技術(shù)，同時(shí)和傳感測(cè)量技術(shù)一控制技術(shù)進(jìn)行結(jié)合，進(jìn)而形成的一種高度集成的新型電網(wǎng)。智能電網(wǎng)在電網(wǎng)運(yùn)輸?shù)陌踩院涂煽啃陨隙加诤艽蟮谋Ｕ希瑫r(shí)從功能上觀察，也具備電網(wǎng)實(shí)時(shí)信息的處理、分析、集成、安全以及顯示等諸多功能[1]。

1.2大數(shù)據(jù)處理技術(shù)

所謂大數(shù)據(jù)處理技術(shù)就是對(duì)數(shù)量龐大的數(shù)據(jù)進(jìn)行分析和處理的技術(shù)。目前主要使用的大數(shù)據(jù)處理技術(shù)都是基于互聯(lián)網(wǎng)的云處理技術(shù)的，在社會(huì)中的各行各業(yè)中均有得到了廣泛的應(yīng)用。

二、智能電網(wǎng)的大數(shù)據(jù)特點(diǎn)

2.1規(guī)模大

就智能電網(wǎng)所產(chǎn)生的大數(shù)據(jù)而言，其首先存在的一個(gè)特點(diǎn)即規(guī)模大。在電網(wǎng)的不斷發(fā)展過(guò)程中，其負(fù)荷節(jié)點(diǎn)和電機(jī)節(jié)電會(huì)不斷增加，再加之電網(wǎng)和負(fù)荷之間的雙向交互因素的影響，就會(huì)大大增加電網(wǎng)數(shù)據(jù)的量，M而所產(chǎn)生和需要儲(chǔ)備的數(shù)據(jù)也就隨之大量增加[2]。

2.2速度快

因?yàn)樵陔娋W(wǎng)的運(yùn)作過(guò)程中，負(fù)荷的波動(dòng)具有極大的隨機(jī)性，因此在電網(wǎng)的隨時(shí)監(jiān)測(cè)工作上所產(chǎn)生的隨機(jī)性就很大。而電網(wǎng)一旦出現(xiàn)故障，導(dǎo)致的進(jìn)一步事故發(fā)展的速度很快，并且造成的事故損失也會(huì)很大，因此智能電網(wǎng)的大數(shù)據(jù)也具有速度快的特點(diǎn)。

2.3多樣性

多樣性也是電網(wǎng)所具備的一個(gè)特點(diǎn)之一。因?yàn)橹悄茈娋W(wǎng)在運(yùn)作過(guò)程中，所涉及到的面很多，因此其所產(chǎn)生的數(shù)據(jù)，包括內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)等多個(gè)方面的數(shù)據(jù)，其種類(lèi)十分繁多。

三、大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)領(lǐng)域中的具體應(yīng)用

3.1支持基建決策

首先大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)的基建決策中起著十分重要的作用。例如可以通過(guò)大數(shù)據(jù)處理技術(shù)對(duì)電網(wǎng)基建地的天氣系統(tǒng)數(shù)據(jù)進(jìn)行細(xì)致的剖析，并且和電網(wǎng)企業(yè)的發(fā)電機(jī)數(shù)據(jù)進(jìn)行綜合分析。進(jìn)而根據(jù)企業(yè)所累積的數(shù)據(jù)以及天氣系統(tǒng)所提供的風(fēng)速、風(fēng)向以及氣溫、氣壓濕度等數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)，并采用數(shù)據(jù)建模技術(shù)，對(duì)這些因素可能導(dǎo)致的對(duì)電力的影響，進(jìn)行模式運(yùn)算，最后得出電網(wǎng)基建的最佳位置[3]。

3.2進(jìn)行客戶(hù)分析

其次在智能電網(wǎng)中，大數(shù)據(jù)處理技術(shù)還被廣泛的應(yīng)用于對(duì)客戶(hù)的分析工作中在電網(wǎng)的運(yùn)作過(guò)程中會(huì)產(chǎn)生大量的用戶(hù)數(shù)據(jù)，而通過(guò)對(duì)這些數(shù)據(jù)的分析和歸類(lèi)可以對(duì)電網(wǎng)用戶(hù)群體有一個(gè)清晰的認(rèn)識(shí)，進(jìn)而就可以展開(kāi)針對(duì)性營(yíng)銷(xiāo)，對(duì)于提升電網(wǎng)企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力具有重要的意義。

3.3實(shí)現(xiàn)協(xié)同化管理

從整體上觀察，對(duì)于電網(wǎng)企業(yè)而言，其在市場(chǎng)中的運(yùn)作并不僅僅只涉及到電網(wǎng)企業(yè)一家，和市場(chǎng)的諸多行業(yè)均有一定的涉及，因此要保障電力企業(yè)的發(fā)展就必須和其他行業(yè)的企業(yè)做好協(xié)同工作。通過(guò)大數(shù)據(jù)處理技術(shù)的應(yīng)用可以提升行業(yè)之間的聯(lián)系，進(jìn)而可對(duì)行業(yè)的前景有一個(gè)動(dòng)態(tài)的了解。而這不僅僅局限于電力企業(yè)一家，同時(shí)對(duì)其他和電力行業(yè)密切相關(guān)的企業(yè)也有十分巨大的影響，可促進(jìn)電力企業(yè)的內(nèi)外共同發(fā)展。

結(jié)束語(yǔ)：綜上所述，智能電網(wǎng)指的是以基本的物理電網(wǎng)為基礎(chǔ)，通過(guò)應(yīng)用目前的現(xiàn)代信息技術(shù)、通信技術(shù)以及計(jì)算機(jī)處理技術(shù)等技術(shù)，同時(shí)和傳感測(cè)量技術(shù)一控制技術(shù)進(jìn)行結(jié)合，進(jìn)而形成的一種高度集成的新型電網(wǎng)。其在自身的大數(shù)據(jù)上具有規(guī)模大、速度快以及種類(lèi)多樣的特點(diǎn)。而大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)領(lǐng)域支持基建決策、進(jìn)行客戶(hù)分析、提升智能控制以及實(shí)現(xiàn)協(xié)同化管理等多個(gè)方面都有十分廣泛的應(yīng)用，是保障智能電網(wǎng)運(yùn)作穩(wěn)定性和安全性的一個(gè)基本技術(shù)。

數(shù)據(jù)處理論文:檢重機(jī)稱(chēng)重信號(hào)的數(shù)據(jù)處理研究

[摘 要]動(dòng)態(tài)稱(chēng)重是指通過(guò)稱(chēng)重設(shè)備獲得商品的重量。靜態(tài)稱(chēng)重是固定在稱(chēng)重設(shè)備除了商品本身沒(méi)有其他干擾，所以更容易得到準(zhǔn)確的稱(chēng)重值，而動(dòng)態(tài)稱(chēng)重設(shè)備更適合快節(jié)奏的稱(chēng)重需求。本文首先簡(jiǎn)要介紹了動(dòng)態(tài)稱(chēng)重的原理，對(duì)稱(chēng)重設(shè)備的信號(hào)采集與數(shù)據(jù)處理進(jìn)行了分析研究。

[關(guān)鍵詞]稱(chēng)重機(jī)；信號(hào)；數(shù)據(jù)處理；研究

使用重型機(jī)器設(shè)備有：預(yù)輸送機(jī)，稱(chēng)重輸送機(jī)，剔除下輸送機(jī)的三部分。稱(chēng)重輸送機(jī)稱(chēng)重，稱(chēng)重輸送機(jī)由支撐稱(chēng)重輸送機(jī)的傳感器輸送和稱(chēng)重。稱(chēng)重系統(tǒng)收到傳感器的稱(chēng)重信號(hào)后，得到商品的重量值，然后根據(jù)袋裝商品的允許誤差，對(duì)位于剔除輸送機(jī)上的商品進(jìn)行剔除或者不剔除處理。

1 動(dòng)態(tài)稱(chēng)重系統(tǒng)工作原理

商品放置在稱(chēng)重平臺(tái)上時(shí)，稱(chēng)重傳感器由于壓力而變形，傳感器內(nèi)部的電橋平衡被破壞，輸出的mv信號(hào)和承載的壓力與接收到的信號(hào)結(jié)束時(shí)成正比，稱(chēng)重傳感器收到收尾信號(hào)時(shí)說(shuō)明商品稱(chēng)重完畢，稱(chēng)重設(shè)備將信號(hào)傳輸給電子稱(chēng)重儀器并放大傳感器信號(hào)，通過(guò)A/D芯片將轉(zhuǎn)換為數(shù)字模擬量，稱(chēng)量?jī)x器后數(shù)字濾波器得到商品的實(shí)際值，然后通過(guò)串口到IPC機(jī)主機(jī)程序。

1.1 動(dòng)態(tài)系統(tǒng)硬件組成

動(dòng)態(tài)稱(chēng)重系統(tǒng)的組成包括：稱(chēng)重傳感器（中航ZEMIC稱(chēng)重傳感器）、稱(chēng)重儀表、光電開(kāi)關(guān)、PLC控制儀、數(shù)據(jù)對(duì)比設(shè)備等。其部分彼此之間的融合，分別負(fù)責(zé)將自己的信息傳送給PLC控制器，然后由儀器和工業(yè)計(jì)算機(jī)連接確定相關(guān)信息。原理圖如圖1所示。

1.2 PLC控制儀

電子稱(chēng)重儀器是動(dòng)態(tài)稱(chēng)重系統(tǒng)的核心部件，相當(dāng)于動(dòng)態(tài)稱(chēng)重系統(tǒng)的“大腦”。 主要負(fù)責(zé)接收傳感器數(shù)據(jù)和其他部件的信息以及控制。基本工作流程為：電子稱(chēng)重儀器接收稱(chēng)重傳感器信號(hào)、稱(chēng)重傳感器信號(hào)放大、A / D轉(zhuǎn)換為中央處理器進(jìn)行刻度轉(zhuǎn)換等；傳輸給PLC控制器；若合格氣缸停止；若不合格傳動(dòng)鏈停止氣缸動(dòng)作。

2 動(dòng)態(tài)稱(chēng)重設(shè)備信號(hào)采集

有效信號(hào)處理的前提是信號(hào)采集準(zhǔn)確，信號(hào)采集的重要性非常顯著，與計(jì)算機(jī)和傳感器蛄接。在稱(chēng)重傳感器中使用的動(dòng)態(tài)稱(chēng)重系統(tǒng)，時(shí)間軸和振幅軸的輸出是連續(xù)的模擬量，電子稱(chēng)重儀器在接收模擬信號(hào)時(shí)需要先對(duì)信號(hào)進(jìn)行調(diào)節(jié)處理，即0-10mv的信號(hào)轉(zhuǎn)換為0 -5mv電壓信號(hào)，然后將模擬負(fù)載信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，這就要求電子稱(chēng)重儀表A/D模塊進(jìn)行處理。

該系統(tǒng)采用EPC系列PC/104嵌入式工業(yè)主板，具有接口完整、功耗低、可靠性高、資源豐富等優(yōu)點(diǎn)，采用8/16位PC/104擴(kuò)展總線(xiàn)，可穩(wěn)定運(yùn)行寬溫度范圍廣泛的工業(yè)應(yīng)用。用于信號(hào)采集的模塊采用PCM-8208BE，它是基于PC/ 104總線(xiàn)的高精度模擬輸入數(shù)字輸入和輸出。主要功能是：8條模擬輸入通道；內(nèi)置6個(gè)可調(diào)PGA；輸入范圍為±10V至+0.25 V可選；高達(dá)4KHZ采樣率；內(nèi)置1024深度FIFO；具有AD轉(zhuǎn)換中斷；可以直接讀取單個(gè)采集數(shù)據(jù)組，并具有8個(gè)隔離數(shù)字輸入和8個(gè)隔離隔離數(shù)字輸出的形式。

PCM-8208BE廣泛應(yīng)用于工業(yè)現(xiàn)場(chǎng)傳感器多通道信號(hào)高精度采集。該系統(tǒng)采用PCM-8208BE可以捕獲現(xiàn)場(chǎng)的模擬信號(hào)功能，實(shí)時(shí)檢測(cè)稱(chēng)重傳感器信號(hào)，通過(guò)簡(jiǎn)單的過(guò)濾器對(duì)電子稱(chēng)重儀進(jìn)行進(jìn)一步的信號(hào)分析。

3 稱(chēng)重信號(hào)數(shù)據(jù)處理方法

3.1 加權(quán)平均值算法

對(duì)于傳感器信號(hào)的n次連續(xù)采樣，分別由大到小的加權(quán)系數(shù)的系列，然后加上有效采樣值，這種方法稱(chēng)為加權(quán)平均法。每個(gè)加權(quán)因子要求小于1，所有加權(quán)系數(shù)的累積值為256，加權(quán)運(yùn)算結(jié)果除以256可以很容易地計(jì)算出來(lái)。假設(shè)從數(shù)據(jù)依次開(kāi)始，將總共8個(gè)采樣存儲(chǔ)在存儲(chǔ)器單元中，所有加權(quán)因子都存儲(chǔ)在ROM表中，濾波結(jié)果保留在累加器A中。

加權(quán)平均算法簡(jiǎn)單，應(yīng)用范圍廣泛，但不適用于動(dòng)態(tài)稱(chēng)重傳感器信號(hào)的處理。當(dāng)待處理信號(hào)被振動(dòng)擾亂時(shí)，結(jié)果不能表示商品重量信號(hào)的真實(shí)值。而加權(quán)因子選擇不能固定，每次計(jì)算都必須根據(jù)實(shí)際情況選擇適當(dāng)?shù)募訖?quán)因子，無(wú)人值守動(dòng)態(tài)稱(chēng)重系統(tǒng)顯然不適用。

3.2 平均值算法

算術(shù)平均值濾波方法基于從稱(chēng)重傳感器收集的數(shù)據(jù)。該算法的特征在于，當(dāng)采樣次數(shù)少時(shí)，波形平穩(wěn)度不夠好；采樣次數(shù)大時(shí)，波形靈敏度降低，系統(tǒng)參數(shù)趨勢(shì)不明顯。假設(shè)共有8個(gè)樣本，樣本值從DATA開(kāi)始存儲(chǔ)在連續(xù)地址單元中，濾波結(jié)果存儲(chǔ)在累加器A中。在實(shí)際應(yīng)用中，商品通過(guò)的時(shí)間段很短，因?yàn)樽陨淼恼駝?dòng)或外部干擾因素的影響，這種算法不能信號(hào)的時(shí)頻域來(lái)解決，這讓該信號(hào)處理方法已不能滿(mǎn)足我們的要求。

3.3 傅立葉變換濾波法

傳統(tǒng)信號(hào)分析的基礎(chǔ)是傅立葉變換，這種方法被廣泛應(yīng)用，尤其是信號(hào)處理方面和量子物理。假設(shè)是的周期函數(shù)且滿(mǎn)足化里赫利條件：

（1）在任意區(qū)間內(nèi)連續(xù)或只有有限個(gè)第一類(lèi)間斷點(diǎn)；

（2）在一個(gè)周期內(nèi)，只有有限個(gè)極大值或者極小值點(diǎn)；

（3）在單個(gè)周期內(nèi)絕對(duì)可積。

由于主要研究了動(dòng)態(tài)稱(chēng)重系統(tǒng)的振動(dòng)，所以收集的信號(hào)是非線(xiàn)性的，非周期性的信號(hào)，這就需要在信號(hào)分析過(guò)程中對(duì)頻域信息進(jìn)行分析，但傅立葉變換算法完全沒(méi)有波形中的時(shí)域信息，為了滿(mǎn)足動(dòng)態(tài)負(fù)載信號(hào)處理的需要，可以使用可翻譯的窗口函數(shù)到原始信號(hào)窗口，刪除我們稱(chēng)為短時(shí)傅里葉變換。傅立葉變換的思想即選擇一個(gè)窗口函數(shù)來(lái)獲取一段原始信號(hào)，如果截獲信號(hào)是穩(wěn)定的，則使用傅立葉變換來(lái)確定窗口內(nèi)信號(hào)的頻率。沿著波形曲線(xiàn)移動(dòng)窗口函數(shù)會(huì)給出信號(hào)頻率隨時(shí)間的變化，即我們需要的時(shí)域分布。STFT算法有兩個(gè)困難：一是窗口函數(shù)的選擇，一個(gè)是窗口函數(shù)長(zhǎng)度問(wèn)題的選擇，因?yàn)閯?dòng)態(tài)稱(chēng)重信號(hào)是非線(xiàn)性非平穩(wěn)信號(hào)。

傅立葉變換將概念從一個(gè)空間域建立到另一個(gè)空間域，從時(shí)域或頻域的角度對(duì)信號(hào)進(jìn)行分析，但也是由于時(shí)域和頻域信息不能有機(jī)地結(jié)合的特征，這不是適用于動(dòng)態(tài)稱(chēng)重信號(hào)的非平穩(wěn)信號(hào)分析。我們使用短時(shí)傅里葉變換來(lái)分析頻域信息，而不會(huì)丟失時(shí)域平面中的信號(hào)信息。短時(shí)傅里葉變換計(jì)算簡(jiǎn)單，可以有效分析非平穩(wěn)信號(hào)。

3.4 小波變換法

小波變換是基于短時(shí)傅里葉變換定位思想的新算法。小波變換不僅可以避免不能跟隨頻率變化的窗口大小的缺點(diǎn)，還可以提供頻率變化的“時(shí)頻”窗口。 小波算法可以分析和處理諸如稱(chēng)重信號(hào)的復(fù)雜非平穩(wěn)信號(hào)的時(shí)間和頻率。WT變換中的小波可以是具有有限持續(xù)時(shí)間的函數(shù)，以及突變的頻率和幅度，平均值在有限時(shí)間范圍內(nèi)。小波變換是基本的小波函數(shù)位移，然后在不同的尺度a中用測(cè)量信號(hào)XW做內(nèi)積，即：

式五中，稱(chēng)為尺度因子，其作用是對(duì)基本小波做伸縮，是位移值。通過(guò)調(diào)整的該值可用于觀察不同時(shí)間段的本地信息。 通過(guò)調(diào)整比例因子a，假設(shè)a的調(diào)整較大，則視野寬分辨率低，適合觀察信號(hào)的一般情況。假設(shè)a值的調(diào)整相對(duì)較小，視野窄且分辨率高，適合信號(hào)局部信息觀察，這種粗細(xì)信號(hào)分析方法稱(chēng)為多分辨率分析法。

4 結(jié)語(yǔ)

本文介紹了信號(hào)處理模塊的硬件結(jié)構(gòu)，信號(hào)采集和處理。然后，通過(guò)描述幾種常用的信號(hào)處理算法來(lái)提出稱(chēng)重傳感器的非平穩(wěn)信號(hào)數(shù)據(jù)處理方法，為尋求更高精度，更具成本效益，更可靠的動(dòng)態(tài)稱(chēng)重設(shè)備提供借鑒。

數(shù)據(jù)處理論文:MAPGIS在地質(zhì)填圖及化探數(shù)據(jù)處理中的應(yīng)用

[摘 要]在本文中，筆者以MAPGIS技術(shù)的應(yīng)用特點(diǎn)與可實(shí)現(xiàn)功能為論述切入點(diǎn)，詳細(xì)分析了該技術(shù)在地質(zhì)填圖與化探數(shù)據(jù)處理工作中的實(shí)際應(yīng)用情況，旨在為后續(xù)的地質(zhì)工作提供科學(xué)參考依據(jù)。

[關(guān)鍵詞]MAPGIS技術(shù)；地質(zhì)填圖；化探數(shù)據(jù)處理；應(yīng)用

前言

在當(dāng)前我國(guó)城市化進(jìn)程持續(xù)推進(jìn)的時(shí)代背景下，地質(zhì)工作的重要性日益凸顯，地質(zhì)工作的環(huán)境也日趨復(fù)雜，此時(shí)，地質(zhì)技術(shù)人員所要應(yīng)對(duì)的地質(zhì)填圖、化探數(shù)據(jù)處理等具體工作的難度會(huì)隨之提高，而傳統(tǒng)的地質(zhì)工作技術(shù)已遠(yuǎn)不能滿(mǎn)足實(shí)際工作的發(fā)展需求[1]。為了提高地質(zhì)工作質(zhì)量、優(yōu)化地質(zhì)填圖及化探數(shù)據(jù)處理準(zhǔn)確性，同時(shí)進(jìn)一步加快實(shí)際成圖速度，相關(guān)技術(shù)人員則應(yīng)積極將現(xiàn)代化的MAPGIS技術(shù)用到地質(zhì)填圖及化探數(shù)據(jù)處理中，以數(shù)字化、信息化處理手段全面促進(jìn)地質(zhì)工作效率的提升。

1.MAPGIS技術(shù)的應(yīng)用特點(diǎn)與可實(shí)現(xiàn)功能

MAPGIS技術(shù)屬于當(dāng)前最為先進(jìn)、前沿的地質(zhì)測(cè)繪技術(shù)，在該項(xiàng)技術(shù)的應(yīng)用過(guò)程中，相關(guān)技術(shù)人員可輕松實(shí)現(xiàn)地質(zhì)測(cè)繪工作的自動(dòng)化或半自動(dòng)化，同時(shí)，其測(cè)繪數(shù)據(jù)主要以數(shù)字化形式呈現(xiàn)，其測(cè)繪結(jié)果較為規(guī)范、測(cè)繪精度高且作業(yè)速度快誤差小相對(duì)較小。MAPGIS技術(shù)還集成了定位、導(dǎo)航、測(cè)量的綜合功能，可以將實(shí)際工作中所收獲的地質(zhì)數(shù)據(jù)進(jìn)行高效的分析、計(jì)算、存儲(chǔ)等，有效提升了數(shù)據(jù)管理的工作效率。此外，MAPGIS技術(shù)中最為鮮明的特點(diǎn)就是融入了MAPCAD成圖功能，技術(shù)人員可以利用這一功能輕松實(shí)現(xiàn)圖幅快速提取、多源圖像處理以及圖庫(kù)建立修改等復(fù)雜操作。從操作系統(tǒng)上說(shuō)，MAPGIS技術(shù)具有優(yōu)良的開(kāi)放性與多層次性，技術(shù)人員可以通過(guò)編輯ActiveX、VC++、VB、Delphi以及API等函數(shù)實(shí)現(xiàn)DC Server、RSP、TDE、IG Server以及EMS操作平臺(tái)的運(yùn)行在系統(tǒng)輔助工具方面，MAPGIS技術(shù)也具有十分強(qiáng)大的特性功能，嵌入式工具、GIS工具、矢量數(shù)據(jù)處理工具、遙感數(shù)據(jù)處理工具均能在實(shí)際地質(zhì)工作起到重要的輔助服務(wù)作用[2]。與傳統(tǒng)的地質(zhì)測(cè)繪技術(shù)相比，MAPGIS技術(shù)可有效克服地質(zhì)工作量繁重的難度，并在有效保障數(shù)據(jù)處理與地質(zhì)填圖質(zhì)量的同時(shí)最大程度地滿(mǎn)足當(dāng)前地質(zhì)工作需求。

2.MAPGIS技術(shù)在地質(zhì)填圖中的運(yùn)用

地質(zhì)工作中的地質(zhì)填圖主要是指運(yùn)用一定的比例尺、按照統(tǒng)一的規(guī)范技術(shù)要求，將各種地質(zhì)體以及相關(guān)的地質(zhì)現(xiàn)象在地理地圖上進(jìn)行填充描繪，最終再進(jìn)行一定的整理加工使之形成地理地質(zhì)圖。地質(zhì)填圖不僅關(guān)系這地質(zhì)圖的準(zhǔn)確性與信息質(zhì)量，更會(huì)影響到實(shí)際的地質(zhì)找礦工作，但由于填圖區(qū)地質(zhì)地貌情況往往相對(duì)復(fù)雜，所有收集的地質(zhì)資料較為繁瑣，因此，在技術(shù)人員的實(shí)際地質(zhì)填D工作中，其工作量與復(fù)雜性也相對(duì)較高[3]。相關(guān)工作實(shí)際表明，在地質(zhì)填圖工作中積極應(yīng)用MAPGIS技術(shù)，便可實(shí)現(xiàn)對(duì)上述問(wèn)題的輕松解決。具體來(lái)說(shuō)，在應(yīng)用MAPGIS技術(shù)時(shí)，技術(shù)人員應(yīng)先以GPS對(duì)所觀察的地質(zhì)進(jìn)行定位，再將具體的觀察點(diǎn)投放指矢量地圖中進(jìn)行填圖操作。通常情況下，GPS定位形成的文件數(shù)據(jù)可以存放在EXCEL文件里，當(dāng)要運(yùn)用到GPS定位數(shù)據(jù)后，技術(shù)人員則可以通過(guò)文本轉(zhuǎn)換實(shí)現(xiàn)對(duì)數(shù)據(jù)的即時(shí)編輯，此后，數(shù)據(jù)編輯完成后則可以利用文件批量生成功能講GPS點(diǎn)位添加到已經(jīng)矢量化的地形圖中。其中，在進(jìn)行GPS數(shù)據(jù)轉(zhuǎn)換操作時(shí)，所處理的第一行數(shù)據(jù)一般定性為定位屬性字段，這一字段并不能夠作為數(shù)據(jù)轉(zhuǎn)換的起始位置，因此，技術(shù)人員一般會(huì)將第二行作為數(shù)據(jù)起始位置，同時(shí)，根據(jù)具體的情況適當(dāng)?shù)卦O(shè)置分隔符，并以工作設(shè)置合適的讀取方式，設(shè)定詳細(xì)的圖元參數(shù)并生成圖像結(jié)構(gòu)。值得注意的是，所應(yīng)用到的GPS數(shù)據(jù)必須要符合相應(yīng)地理地質(zhì)信息的實(shí)際情況，在選取適當(dāng)讀取方式以及合理設(shè)置分隔符的情況下保障所生成地質(zhì)填圖的結(jié)構(gòu)質(zhì)量與數(shù)據(jù)準(zhǔn)確性。

3.MAPGIS技術(shù)在化探數(shù)據(jù)處理中的應(yīng)用

化探數(shù)據(jù)處理屬于地質(zhì)工作中的重要組成內(nèi)容，更是地質(zhì)研究中不可或缺的一個(gè)重要環(huán)節(jié)，在這一工作中，相關(guān)技術(shù)人員可以完成對(duì)地球化學(xué)數(shù)據(jù)的分析、解釋以及加工等重要工作，并為地質(zhì)找礦、資源勘探等諸多地質(zhì)工作提供準(zhǔn)確而科學(xué)的參考依據(jù)。由于化探數(shù)據(jù)處理難度相對(duì)較大，在進(jìn)行相關(guān)數(shù)據(jù)處理過(guò)程中又極易出現(xiàn)分析偏差事故，傳統(tǒng)的地質(zhì)信息處理技術(shù)已經(jīng)難以滿(mǎn)足化探數(shù)據(jù)處理工作中復(fù)雜性與專(zhuān)業(yè)性需求，此時(shí)，積極應(yīng)用更為先進(jìn)、高效處理技術(shù)的重要性也不言而喻[4]。對(duì)于MAPGIS技術(shù)而言，其融入的DTM模塊與GRD模塊對(duì)提升系統(tǒng)化探數(shù)據(jù)處理性能具有極大的促進(jìn)作用，技術(shù)人員只需要在原始的化探數(shù)據(jù)背景值上確定好相關(guān)的化學(xué)異常分布圖后，就能夠通過(guò)DTM模塊實(shí)現(xiàn)地形模型的自動(dòng)繪制與形成，同時(shí)，DTM模塊還能自動(dòng)進(jìn)行量測(cè)值計(jì)算，無(wú)論是地質(zhì)化學(xué)元素含量值還是地質(zhì)特征信息都能夠依靠該模塊的數(shù)據(jù)處理功能得以全面反映。具體來(lái)說(shuō)，技術(shù)人員可以先對(duì)采樣點(diǎn)文本文件進(jìn)行批量生產(chǎn)收集，利用“投影轉(zhuǎn)換”使得點(diǎn)位文件轉(zhuǎn)換為點(diǎn)位投影文件，此時(shí)，將點(diǎn)位數(shù)據(jù)文件通過(guò)DTM模塊打開(kāi)后以GRD模塊進(jìn)行離散數(shù)據(jù)分析，最后實(shí)現(xiàn)成圖輸出這一化探數(shù)據(jù)處理效果。

4.結(jié)語(yǔ)

MAPGIS技術(shù)是未來(lái)地質(zhì)工作發(fā)展主流方向，該技術(shù)集成了前沿的地理信息處理系統(tǒng)軟件平臺(tái)，含括GPS、GIS、數(shù)字制圖以及數(shù)據(jù)庫(kù)管理等一系列功能，在地質(zhì)勘查、地質(zhì)測(cè)繪、地質(zhì)找礦、城市規(guī)劃以及建筑測(cè)量等諸多領(lǐng)域均具有優(yōu)良應(yīng)用價(jià)值。此外，在地質(zhì)工作中應(yīng)用MAPGIS技術(shù)不僅能夠有效提升地質(zhì)工作效率與工作水平，更能夠?yàn)榈刭|(zhì)工程項(xiàng)目提供勘察誤差低、準(zhǔn)確性高的優(yōu)質(zhì)地質(zhì)信息。

數(shù)據(jù)處理論文:一種面向航天領(lǐng)域的實(shí)時(shí)數(shù)據(jù)處理框架研究

【摘 要】提出一種面向航天領(lǐng)域的實(shí)時(shí)數(shù)據(jù)處理框架，采用插件式框架設(shè)計(jì)方法，實(shí)現(xiàn)行業(yè)數(shù)據(jù)的高效實(shí)時(shí)處理。

【關(guān)鍵詞】實(shí)時(shí)；數(shù)據(jù)處理；框架

1 引言

信息與通信技術(shù)的飛速發(fā)展，已深刻影響到航空、航天、能源、鋼鐵、電力等工業(yè)領(lǐng)域的生產(chǎn)模式與流程，促使行業(yè)生產(chǎn)模式由傳統(tǒng)的粗放式的以人工為主向精確化、自動(dòng)化、智能化方向轉(zhuǎn)變。通過(guò)信息系統(tǒng)對(duì)工業(yè)生產(chǎn)過(guò)程中產(chǎn)生的大量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理分析，實(shí)時(shí)監(jiān)控，為生產(chǎn)決策提供自動(dòng)化智能化的數(shù)據(jù)支撐。

航天領(lǐng)域的實(shí)時(shí)數(shù)據(jù)處理一般以實(shí)時(shí)傳感與實(shí)時(shí)采集的數(shù)據(jù)為數(shù)據(jù)源，包括各類(lèi)傳感器采集的數(shù)據(jù)、現(xiàn)場(chǎng)各類(lèi)控制終端的數(shù)據(jù)等，數(shù)據(jù)量大，數(shù)據(jù)采集的頻率高。特別是隨著物聯(lián)網(wǎng)概念的出現(xiàn)與技術(shù)的應(yīng)用，航天領(lǐng)域?qū)崟r(shí)產(chǎn)生的數(shù)據(jù)量在成倍增加。隨著云計(jì)算與大數(shù)據(jù)等IT技術(shù)的出現(xiàn)與發(fā)展， 互聯(lián)網(wǎng)領(lǐng)域中產(chǎn)生了諸多數(shù)據(jù)處理框架，如Hadoop、Spark等，此類(lèi)框架采用批處理方式的MapReduce技術(shù)，實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)處理，數(shù)據(jù)處理的延時(shí)一般為秒級(jí)，能夠滿(mǎn)足互聯(lián)網(wǎng)領(lǐng)域大部分?jǐn)?shù)據(jù)實(shí)時(shí)處理需求。但在工業(yè)領(lǐng)域，由于監(jiān)測(cè)與控制的精度更高，一般要求在毫秒級(jí)完成數(shù)據(jù)的實(shí)時(shí)處理，現(xiàn)有批處理方式的MapReduce大規(guī)模數(shù)據(jù)處理技術(shù)難以滿(mǎn)足此類(lèi)計(jì)算需求。本文提出一種面向行業(yè)應(yīng)用的實(shí)時(shí)數(shù)據(jù)處理框架，實(shí)現(xiàn)滿(mǎn)足多種數(shù)據(jù)源、多種數(shù)據(jù)類(lèi)型的實(shí)時(shí)數(shù)據(jù)處理。

2 數(shù)據(jù)處理方法

在航天領(lǐng)域中，測(cè)量系統(tǒng)作為飛行器、航天測(cè)控系統(tǒng)中的重要組成部分，用于獲取飛行器內(nèi)部各系統(tǒng)的工作狀態(tài)參數(shù)和環(huán)境數(shù)據(jù)，為評(píng)定飛行器的性能和故障分析提供依據(jù)[1]。而數(shù)據(jù)處理是測(cè)量過(guò)程中的一個(gè)重要環(huán)節(jié)，其任務(wù)是將接收到的原始信息，經(jīng)過(guò)挑路、拼接和運(yùn)算，完成各類(lèi)參數(shù)的處理，處理結(jié)果以時(shí)間函數(shù)值表或時(shí)間函數(shù)曲線(xiàn)提供[1]。數(shù)據(jù)處理包括從數(shù)據(jù)塊中提取數(shù)據(jù)幀、對(duì)數(shù)據(jù)幀進(jìn)行后處理、處理數(shù)據(jù)幀中的參數(shù)、輸出處理結(jié)果。

3 實(shí)時(shí)處理框架設(shè)計(jì)

3.1 軟件框架的概念

軟件框架是整個(gè)系統(tǒng)或系統(tǒng)的一部分的可重用性設(shè)計(jì)，由一組抽象出來(lái)的類(lèi)及其實(shí)例間的相互作用方式組成。框架把一個(gè)系統(tǒng)有機(jī)地分解成一組相對(duì)獨(dú)立的構(gòu)件，并定義了各個(gè)構(gòu)件間的接口和作用關(guān)系，符合軟件工程中設(shè)計(jì)的模塊化、獨(dú)立化和信息隱藏等特征。框架提供了一個(gè)大粒度的重用技術(shù)，即不僅支持源代碼級(jí)的重用，而且支持分析和設(shè)計(jì)以及體系結(jié)構(gòu)的重用，因而被認(rèn)為是一種最有前途的面向?qū)ο蠹夹g(shù)。

框架必須是健壯的、可擴(kuò)展的、靈活的，它要求基于開(kāi)放或共享標(biāo)準(zhǔn)。框架的設(shè)計(jì)要力求做到完備性、靈活性、可擴(kuò)展性、可理解性，同時(shí)抽象能用于不同的場(chǎng)合；用戶(hù)能輕松地添加和修改功能，定制框架；用戶(hù)和框架的交互清晰，文檔齊全。框架設(shè)計(jì)的一個(gè)核心問(wèn)題就是發(fā)現(xiàn)可重用的設(shè)計(jì)和“熱點(diǎn)”，以保證框架具備充分的靈活性，使用戶(hù)能在已有構(gòu)件的基礎(chǔ)上生成應(yīng)用程序，實(shí)現(xiàn)“零代碼編寫(xiě)”的理想目標(biāo)。

3.2 實(shí)時(shí)處理框架設(shè)計(jì)原則

實(shí)時(shí)處理框架設(shè)計(jì)采用框架與插件相結(jié)合的設(shè)計(jì)方式，把數(shù)據(jù)處理各功能從框架中剝離出來(lái)，降低框架的復(fù)雜度，讓框架更容易實(shí)現(xiàn)。數(shù)據(jù)處理功能與框架以一種很松的方式耦合，兩者在保持接口不變的情況下，可以獨(dú)立變化和。采用該設(shè)計(jì)原則，具有以下好處：

①無(wú)需更改或編譯程序就可以擴(kuò)展程序的功能；

②可以在不需要源代碼的環(huán)境下擴(kuò)展程序的功能；

③在一個(gè)程序的業(yè)務(wù)邏輯在不斷發(fā)生變化仍能靈活適應(yīng)。

4 實(shí)時(shí)處理框架實(shí)現(xiàn)

4.1 框架接口

框架對(duì)各插件進(jìn)行統(tǒng)一管理，軟件啟動(dòng)時(shí)，自動(dòng)識(shí)別并加載指定目錄下的所有插件。框架共抽象出數(shù)據(jù)提取器、幀提取器、數(shù)據(jù)處理器、輸出器共4類(lèi)插件接口，各類(lèi)插件需要實(shí)現(xiàn)相應(yīng)類(lèi)型的插件接口，才能被框架正確的調(diào)用。框架與插件之間的關(guān)系如下圖所示。

4.2 框架實(shí)現(xiàn)

程序框架包括主程序模塊、數(shù)據(jù)源模塊、緩沖區(qū)管理模塊、數(shù)據(jù)處理模塊、狀態(tài)管理模塊、配置管理模塊、插件管理模塊與日志管理模塊共8個(gè)模塊。主程序模塊負(fù)責(zé)管理各模塊中的對(duì)象，并完成各對(duì)象的創(chuàng)建與初始化工作。通過(guò)調(diào)用數(shù)據(jù)源與數(shù)據(jù)處理模塊的啟動(dòng)與停止接口實(shí)現(xiàn)對(duì)兩個(gè)模塊的控制。數(shù)據(jù)源模塊通過(guò)調(diào)用緩沖區(qū)管理模塊的寫(xiě)入數(shù)據(jù)接口向緩沖區(qū)中寫(xiě)入數(shù)據(jù)，數(shù)據(jù)處理模塊調(diào)用緩沖區(qū)管理模塊的讀取數(shù)據(jù)接口從緩沖區(qū)中讀取數(shù)據(jù)進(jìn)行數(shù)據(jù)處理。各模塊均可調(diào)用日志記錄模塊的記錄日志接口寫(xiě)操作日志或錯(cuò)誤信息。

主框架模塊類(lèi)關(guān)系如下圖所示，main函數(shù)是整個(gè)軟件的入口函數(shù)，調(diào)用日志錄模塊中的相應(yīng)接口完成日志初始化工作，并將命令行參數(shù)傳遞給CMainApp類(lèi)，調(diào)用CMainApp類(lèi)的Execute接口啟動(dòng)軟件。

CMainApp類(lèi)通過(guò)ProgramOption對(duì)象解析命令行參數(shù)，獲得命令行中設(shè)置的各個(gè)選項(xiàng)，創(chuàng)建插件管理模塊中的CPluginManager對(duì)象，完成所有插件的加載工作，并將CPluginManager對(duì)象傳遞給CMultiAddrDataSource類(lèi)，調(diào)用CProgressTimer類(lèi)的對(duì)象實(shí)現(xiàn)程序計(jì)時(shí)工作。

4.3 插件實(shí)現(xiàn)

數(shù)據(jù)處理軟件總體框架采用插件式架構(gòu)，抽象出數(shù)據(jù)提取器、幀提取器、數(shù)據(jù)處理器、輸出共4類(lèi)插件接口，插件采用統(tǒng)一接口設(shè)計(jì)，每一個(gè)插件均是實(shí)現(xiàn)了標(biāo)準(zhǔn)接口的動(dòng)態(tài)鏈接庫(kù)（Windows平臺(tái)為.dll文件、Linux平臺(tái)位.so文件），由插件管理器進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)自動(dòng)識(shí)別與加載。實(shí)時(shí)處理框架根據(jù)系統(tǒng)配置創(chuàng)建若干個(gè)數(shù)據(jù)處理線(xiàn)程，根據(jù)配置中插件的類(lèi)別，數(shù)據(jù)處理線(xiàn)程對(duì)象向插件管理器請(qǐng)求創(chuàng)建插件服務(wù)，生成所需的各插件，各插件相互協(xié)作，完成數(shù)據(jù)處理與輸出的功能。