序論：寫作是一種深度的自我表達。它要求我們深入探索自己的思想和情感，挖掘那些隱藏在內心深處的真相，好投稿為您帶來了七篇語音視頻范文，愿它們成為您寫作過程中的靈感催化劑，助力您的創作。

篇(1)

文章結合我校大學英語網絡教學改革已進行到中期階段的背景，依據相關的外語習得及教學理論，結合課題的研究內容與目標，對我校正在開發的大學英語音視頻資源庫進行詳細論述及深入探討。以資源的準確性、實用性、完整性、可擴展性為標準，對教學資源科學分類整合，構建音視頻資源庫平臺，服務于學生的自主學習，提升學生英語學習的興趣與效率，強化他們的自主學習能力。并對后續存在的問題進行了探究，提出可行的解決方案。

關鍵詞

教學改革；自主學習；資源庫；開發；應用

0引言

我校在過去10年推行了大學英語網絡化教學改革，投入數百萬元建成了13個網絡型語音室，構建了完善的英語自主學習環境，硬件設施在省內遙遙領先，但在軟件資源建設及后續投入上卻乏力。僅創建了網絡英語學習平臺主頁，鏈接了外教社的新理念學習平臺，但網站里內容不夠充實，大多是一些外鏈資源，缺乏實用性和自主性，對學生沒有吸引力。為了構建完善的大學英語自主學習與教學網絡資源庫，進一步推進大學英語教學改革進程，課題組成員擬用兩年時間完成大學英語音視頻資源庫的開發和建設，根據師生應用中的反饋意見，積極改進各項功能，完善資源庫。

1資源庫開發的理論基礎

自主學習是以學生作為學習的主體，通過學生獨立地分析、探索、實踐、質疑、創造等方法來實現學習目標，培養學生搜集和處理信息的能力、獲取新知識的能力、分析和解決問題的能力以及交流與合作的能力。基于這一觀點，筆者認為大學英語的自主學習應是給予每個學習者理想的外語學習環境，通過教師的引導，充分調動每個學習者的主動性，最終達成英語學習的目標。而理想的外語學習環境，就目前我校大學英語教學改革的現狀，首要任務就是完善自主學習中心，開發建設大學英語音視頻資源庫。美國著名語言教育家克拉申（Krashen）認為：只有當習得者接觸到“可理解的語言輸入”（comprehensiveinput），即略高于他現有語言技能水平的第二語言輸入，而他又能把注意力集中于對意義或對信息的理解而不是對形式的理解時，才能產生習得，理想的語言輸入應具備可理解性、有趣又相關、足夠的輸入量等特點。大學英語音視頻資源庫的建立正是為了最大限度地為我校學生提供英語語言學習材料和實踐機會，接觸真正的西方社會與文化，使他們能廣泛而有效地獲取英語語言知識、從而提高語言習得能力，真正實現“有效地輸出”。

2資源庫開發的重要性

2.1發展自主學習中心的需要

目前國內各高校自主學習平臺主要由兩種路徑形成。一是從出版社直接購買的學習平臺，另一個則是各高校自建的資源庫。前者可以通過學校資金和人力的投入，短期內則可以投入使用，形成效果。但校本音視頻資源庫的建設是一個長期的過程，需要課題組的持續努力。通過建設有特色的自主學習資源庫，才能為學生的自主學習創造更好的條件，適應網絡化、個性化英語教學的需要。

2.2有利于提升英語學習興趣、提高學習效率

外語教學的最終目的是培養應用語言進行有效交流的能力。英語音視頻資源輔助教學及應用于自主學習，不僅有利于語言習得的發展，而且為學生提供大量運用語言的機會，實現跨文化交流，音視頻是了解西方文化的最好媒介。

2.3豐富教學方式，實現教學創新，提升教師的教育技術水平

互聯網+風潮要求我們教師既要更新教學觀念，又要在課堂教學模式、教學內容上進行創新。建設英語音視頻資源庫過程中可以充分調動老師們的積極性，形成良好的教學創新氛圍；通過自學等途徑提升了現代教育技術水平，豐富了教學方式。

3建設大學英語音視頻資源庫的方法與途徑

資源庫的建設管理是一項持久而龐大的工程，需要課題組成員通過各種渠道搜集各類資源，進行分類整理，同時需要不斷提升現代教育技術水平。在學院領導及相關部門的大力支持下，贛南師范大學的英語音視頻資源庫已基本建設完成，并投入使用一年多，在師生中產生了非常好的反響。我們主要通過以下方法與途徑進行資源庫的開發與建設：（1）數字化各類英語教材。各類教材是英語教學的主要教學資源，它們也是英語學習者的首選材料，具備較好的權威性及廣泛性。數字化英語教材，就是把各類英語教材附帶的光盤、磁帶轉換成能在計算機上保存的音視頻文件，存貯在服務器上，從而實現網絡化共享。在數字這些素材時，既要考慮到教材的完整性，也要充分考慮到學生自主學習時的易用性，根據用途及層次對聽力材料進行分層管理，文件命名均采用見名知義的命名方法，使師生在調用時簡單易懂，實現快捷訪問、高效利用。（2）自主開發點播系統，入庫優質資源。視頻資源比音頻資源更加直觀、形象，是學生首選的學習素材。在我校現代外語教育技術應用與研究中心的指導幫助下，我們自主設計開發了英語視頻點播系統，內容涵蓋：①各種英語視頻課程：如學校自建的精品視頻公開課和師生的英語教學競賽視頻，全球知名大學的視頻公開課。②流行英語學習課程：如“走遍美國”、“空中英語教室”等。③主流英語媒體節目，如中央電視臺英語頻道，ABC美國廣播公司，CNN廣播公司等節目源。④英語演講視頻：如CCTV杯英語風采大賽，TED演講集、經典演講視頻等。⑤影視資源：我們搜集整理了各類影視經典資源，包括奧斯卡歷年最佳影片、IMDB最佳影片top250等優質影視資源。從實際應用情況來看，該資源是學生點擊率最高的版塊，可見其受歡迎程度。（3）購買適合教學與自主學習的音視頻資源目前教育資源市場上針對英語學習方面的資源庫是越來越多，為了與硬件設設相配套，完善我校英語網絡教學與自主學習環境，我校近些年加大了對軟件建設的投入，購買了一些重點資源庫，涵蓋英語學習、考試及出國留學等音視頻資源，主要包括外語自主學習資源庫、新東方多媒體學習庫、環球英語網絡、Fif外語學習資源庫和部分試用資源庫，極大地豐富了英語教學與自主學習資源，完善了英語網絡學習環境。（4）制作音視頻資源導航頁，從互聯網上下載相關打包資源。互聯網是英語學習、教學的寶藏，里面有非常豐富、完整的各類英語音視頻學習、教學資源等待我們去挖掘整理，如喬丹NBA經典比賽視頻合輯、經典足球比賽欣賞、倫敦奧運會開幕式、老鷹樂隊澳大利亞告別演唱會等經典高清英語資源，由于視頻格式和播放器的局限性，我們通過迅雷等下載工具直接打包下載到服務器上，然后再制作資源導航頁，讓學生通過下載到本地的方式進行欣賞，這樣既減輕了服務器的壓力，也使學生有更多時間去慢慢領會其中所包含的文化價值意義。

4資源庫的應用

有了英語音視頻資源庫，教師可以直接調用資源庫中的教學資料進行課堂教學，有了英語音視頻資源庫和其它配套的學習系統，教師可以根據不同專業學生特點，采取靈活多樣的教學，選擇與其專業相符的教學內容，實行因材施教，把專業學習與英語學習有機結合起來，實現共贏。基于這些豐富、完整的數字化資源，學生們可以根據自己興趣愛好和專業特點，在網絡型語音室或寢室在線自主學習，選擇合適的學習內容，按照自己的進度安排學習，實現高效利用時間，最終使學生具備較強的自主學習能力，養成良好的自主學習習慣。

5結束語

通過教學實踐證明，有了基于本校實際的大學英語音視頻資源庫，給老師與學生帶來非常大的學習能動性。教師可以充分利用起網絡語音室的各項功能，進行教學改革創新，施行因生、因材施教，提高課堂教學效率，最大化地轉化學習效果。同時，基于校園網的學生在線自主學習，通過選擇與自己水平、興趣相當的學習素材，真正實現自己學習、主動學習，充分激發了學生的求知欲望，打破課堂局限，通過網絡互動有利地建設了第二課堂，使學習延伸到課外生活中去，從而使學生真正具備較強的自主學習能力，實現培養目標。但我們的研究也存在一些需要改進的問題。比如隨著智能手機在學生中的普及，需要我們將資源進行轉換，以適應安卓、蘋果手機上的使用，這對我們的技術提出了新的挑戰；另外，老師和學生才是資源的真正使用者，對如何選材、使用效果及如何改進等方面最有發言權，課題組應及時與他們進行溝通、問卷調查，進一步完善資源庫，實現更廣的社會傳播價值。

作者：賴藝 劉忠平 單位：贛南師范大學外國語學院

參考文獻

[2]零月秀,李波.大學英語聽說教學數字化資源庫的建設[J].通化師范學院學報,2004.25(1):106-108.

[3]莫錦國.大學英語自主式教學資源庫開發初探[J].外語電化教學,2005(102):36-39.

[4]教育部高等教育司.大學英語課程教學要求[M].北京:清華大學出版社,2007:18-25.

[5]門斌.大學英語多媒體網絡教學資源庫的建設[J].電化教育研究,2009(7):68-72.

[6]甘玲玲.大學英語自主學習：校本網絡資源庫的開發[J].百色學院學報,2009.22(6):104-107.

[7]海霞.新疆大學英語教學網絡資源庫建設調查報告[J].新疆廣播電視大學學報,2011(3):54-56.

[8]郭繼榮,戴煒棟.大學生英語自主學習評價實證研究[J].外語界,2011(6):79-87:

篇(2)

關鍵詞：軟件；音頻；視頻；采集；壓縮；傳輸

中圖分類號：TN919.8

本文闡述了一種基于軟件的IP音視頻通信系統解決方案。本系統優點：音視頻采集設備簡單，投資小；采用軟件壓縮，便于升級，可按需定制；純C語言開發，效率高，易于集成和移植，可以在Windows和Linux操作系統上運行；傳輸與采集模塊分離，便于維護；采用標準網絡協議棧設計，擴展性好；可以支持多種音視頻采集和播放架構；不需要架設服務器，無中心，抗毀性強；支持多種音視頻編解碼標準，可擴展；可以根據網絡狀況限制視頻編解碼器碼率，減輕對網絡的壓力，適于在低帶寬條件下使用；可支持點到點音視頻通信，同時支持音頻組播通信；基于PC平臺開發，架設簡單，無需額外硬件支持；不需要SIP協議握手，網絡開銷低。

1 系統描述

本系統可以支持的音頻采集與播放架構包括：mme（Windows）、alsa（Linux）、oss（Linux）和arts（Linux）等。可以支持的視頻采集與播放架構包括：v4w（Windows）、directshow（Windows）、v4l（Linux）、v4l2（Linux）和SDL（Linux）等。

本系統可以支持的視頻編解碼標準包括H264、H263、theora、mp4v和x-snow等。本系統可支持的音頻編解碼標準細節如表1。

RTP協議（Real-time Transport Protocol）提供具有實時特征的、端到端的數據傳送服務，可用來傳送聲音和運動圖像數據。在這項數據傳送服務中包含了裝載數據的標識符、序列計數、時戳和傳送監視。通常RTP的協議元是用UDP協議元來裝載的，并利用UDP的復用和校驗和來實現RTP的復用。RTP包括兩個關系十分密切的子協議：實時傳輸協議（RTP），用于傳輸實時數據；實時控制協議（RTCP），用于監視網絡的服務質量[2]。RTP包協議格式如圖2所示。

圖2 RTP協議格式

語音組播基于組播成員管理協議IGMP（Internet Group Management Protocol）。IGMP協議作用在主機和與主機直接相連的組播路由器之中，主機使用IGMP協議通知本地邊緣組播路由器，告知其想加入的組播組，組播路由器通過IGMP協議來維護組播組成員列表，并定期發送詢問信息詢問組播成員是否在線[3]。

圖3 IGMPv2協議格式

2 模塊實現

圖4 系統軟件模塊結構圖

本系統軟件模塊結構圖如圖4所示。oRTP庫主要實現RTP協議棧，尊從開源LGPL許可證。ffmpeg是一個開源免費跨平臺的視頻和音頻流解決方案，屬于自由軟件，依據你選擇的組件尊從開源LGPL（GNU Library General Public License）或開源GPL（GNU General Public License）許可證。speex是一套主要針對語音的開源免費，無專利保護的音頻壓縮格式庫。mediastreamer2庫主要負責音視頻編解碼、采集、播放和回音消除，尊從開源GPL許可證。

msx264庫是一個H264視頻編碼器插件，尊從開源GPL許可證。msilbc庫是iLBC語音編解碼器插件，尊從開源GPL許可證。msbcg729是Sipro實驗室開發的基于G729A標準的專利語音編解碼器插件。msamr庫是AMR窄帶專利語音編解碼器插件。mssilk庫是軟電話Skype專用的專利語音編解碼器插件。mediastreamer2可以以插件的形式擴展msx264、msilbc、msbcg729、msamr和mssilk。筆者主要開發了圖4中上層API調用部分。

3 應用效果

為了驗證通信效果，筆者搭建了3臺筆記本電腦組成的演示系統，分別安裝Windows XP、Windows 7和ubuntu Linux操作系統，筆記本之間通過WiFi互聯，演示系統沒有中心服務器，每個筆記本的地位是平等的，任何一臺筆記本關機不會影響其他筆記本的正常音視頻通信，如圖5所示。

圖5 演示系統結構圖

任意2臺筆記本之間可以進行點到點音視頻通信，在采用H264視頻編解碼標準的情況下，限制視頻通信占用帶寬上限100kbps，PC1和PC2之間的視頻通信效果如圖6所示，視頻分辨率352×288。左側大窗口是PC2傳給PC1的視頻，右下方的小窗口是PC1本地攝像頭采集的視頻。右側大窗口是PC1傳給PC2的視頻，右下方的小窗口是PC2本地攝像頭采集的視頻。

圖6 視頻通信效果圖

如圖6，在限制msx264編碼器碼率100kbps條件下，PC1和PC2之間的視頻通信效果比較清晰。

3臺筆記本可以實現點到點或者組播（1發2收）語音通信，音質清晰。算上IP/UDP頭等協議棧開銷，iLBC占用帶寬約30kbps，speex占用帶寬約18kbps，寬帶speex占用帶寬約26kbps。

4 結束語

本系統是一套完整的音視頻通信解決方案，擴展性好，通用性強，可跨平臺移植，架設簡單，抗毀性強，可以在較低帶寬條件下進行清晰、實時的點到點/組播音視頻通信。

參考文獻：

[1]Comparison of audio formats[EB/OL].http：///wiki/Comparison_of_audio_formats.

[2]Zourzouvillys，T.Rescorla，E.An Introduction to Standards-Based VoIP：SIP，RTP，and rnet Computing，IEEE Journal gazines， lume：14，Issue：2，Publication Year：2010，Page（s）：69-73.

[3]Tian Yonghui；Hu，R.A Resolution for IGMP V3 Protocol Using Finite State Machine.2012 International Conference on Computer Science and Electronics Engineering（ICCSEE）.IEEE Conference Publications.Volume：2，Publication Year：2012，Page（s）：517-520.

篇(3)

分系統設計方案

1單兵圖傳設備

單兵無線圖像傳輸模塊的功能是：實現3km范圍內無線視頻通信。所采用的關鍵技術是編碼正交頻分復用（COFDM）技術和TDD時分雙工技術。基于COFDM的單兵無線圖像傳輸模塊由兩個部分組成：單兵發射機和中心接收模塊。單兵發射機設備可以實現現場視頻數據的單向采集和發送，以及雙向語音通信；中心接收模塊接收視頻信號并進行解碼和播放，同時支持和單兵的雙向語音通信，圖2是其原理框圖。

2應急指揮箱

應急指揮箱系統基于3G通信及IP軟交換通信技術和DSP信號處理技術，能支持1至3公里范圍內無線單兵音視頻傳輸、EVDO/WCDMA等3G音視頻通訊[2-3]，支持CDMA手機、GSM手機、2路電臺/對講機等語音信號接入，網絡狀況自檢測及視頻編碼率自動調整，1路音視頻輸入，支持視頻抓拍、錄像、點播及3G視頻會議[4]功能。設計原理框圖如圖3所示。

3IP互聯互通設備

IP互聯互通設備是基于先進的IP軟交換通信技術和DSP信號處理技術研制開發的新一代智能IP互聯互通調度通信系統[5]。其主要功能如下：1）具備多網交換功能，可在有線電話系統、短波通信系統、超短波常規通信系統、GSM移動電話通信系統、CDMA移動電話通信系統、衛星電話、模擬或數字集群等不同系統間進行話音通信。2）具備座席調度功能，即多個通過不同通信手段呼入時，控制臺可進行調度把呼叫分配給不同的座席。3）具備超強的業務功能，支持有無線通話自動或人工轉接兩種方式、一號通、語音短消息自動、錄音、監聽、強插、強拆、跨網多方會議等功能。

技術特點

1基于TDD雙工模式的多點自組網技術

指揮箱和單兵之間可以通過時分雙工（TDD）的模式實現多點同時接入，也可以實現多跳中繼。系統采用時分多址（TDMA）方式和時分雙工（TDD[6]）方式。TDMA時分多址是把時間分割成周期性的幀，每一個幀再分割成若干個時隙。單兵給指揮箱發送信號時，在滿足定時和同步的條件下，指揮箱可以分別在各時隙中接收到各個單兵的信號而不混擾。同時，指揮箱發向多個單兵的信號都按順序安排在規定的時隙中傳輸，各單兵只要在指定的時隙內接收，就能在合路的信號中把發給它的信號區分并接收下來。TDD雙工方式的上下行鏈路信道都采用相同的頻率，上下行信道占用不同的時隙，利用時間轉換開關的轉換實現上下行雙向通信，通過時間轉換開關的靈活設置，可以較好的支持上下行不對稱業務。基于TDD[7]雙工的組網形式可以根據現場情況不同分為兩種形式，一種方法如圖4所示，是以指揮箱為中心，實現周圍多點覆蓋，多個前端圖像數據采集點信息同時接入指揮箱；另一種方法是如圖5所示，以某一個或兩個點為中繼，通過多跳傳輸，實現遠距離覆蓋。

2多種語音網絡互聯技術

語音通信是系統不可或缺的一部分，作為語音通信的核心技術-多種語音網絡互聯技術是項目攻克的又一難關。多種語音網絡互聯技術[8]的功能是實現集群、電臺、對講機、手機、固定電話、網絡電話等多種語音通信網絡的互連互通，本系統充分考慮不同制式的通信方式的接口定義，做到接口統一，實現較好的語音質量。其設計原理是采集對講機、集群、手機等通信終端的模擬信號，采樣后轉換成數字信號，進一步打包成網絡數據包，在IP層上實現各種語音網絡的互連互通。和Voip網關比較，異種語音互連通信模塊增加了對無線電臺和GSM/CDMA的支持。需要注意的是，在實際應用中，對講機/電臺的種類較多，其通話的語音大小差別較大，因此如何兼容不同功率的輸入終端是研究的難點。異種語音互連通信模塊的結構框圖如圖6所示。

篇(4)

關鍵詞：音視頻信號；同步技術

中圖分類號：TN919.8文獻標識碼：A文章編號：1007-9599 (2012) 06-0000-02

進入21世紀以后，計算機網絡技術以及寬帶通信技術得到了飛速發展，同時它也為多媒體通信技術的發展奠定了基礎。就目前而言，多媒體在不同領域都得到了廣泛的應用，例如視頻會議、遠程教學、視頻電話以及遠程低碼率媒體協同工作等等。而媒體間的同步技術就是支持這些多媒體能夠正常應用的一個關鍵技術。如果要實現音頻和視頻的同步，就需要使音視頻信號的同步采集、壓縮、傳輸以及同步播放等問題得到很好地需要解決，而解決這些問題的最終目的就是實現客戶端的圖像和聲音的同步播放。

一、音視頻系統中的同步技術的概念

對于音視頻系統的同步技術，是指具有兩種或者兩種以上的多媒體事件按照一定的時間順序關系進行播放，同時也可以用來實現多個媒體事件在時間域中的播放機制或過程的協調工作。采用同步技術可以控制并協調兩種或者兩種以上的媒體事件，在其同步播放的過程中其內在本質或由指定所決定的進展和聯系。

我們如果按照時間關系來對同步進行劃分的話，可將同步劃分為三類：媒體流之間的同步、媒體流內的同步以及媒體對象之間的同步。這三類同步是組成多媒體同步的三個主要層次，并且媒體流內的同步是在同一個時間相關媒體流內而進行的。我們可以發現，由于文字、圖像等與時間無關的媒體，并不存在這種所謂的同步問題。

二、應用音視頻信號同步技術的重要性

目前，由于許多時間相關性數據類型被引入多媒體系統，在建立過程中這些多媒體數據的時間相關性往往被隱含，特別是對于活動視頻的圖像序列，很多情況下都是由用戶自己定義的。在多媒體系統中就必須體現時間相關性必須體現，此外由于存儲、通信和計算會導致系統延遲，在數據演示過程中也是必須克服的。對于以上的這些特定要求，都迫使我們引進先進的同步技術來加以解決。

三、MPEG音視頻同步壓縮方法

（一）MPEG的標準

目前，MPEG標準主要可分為五個，分別為MPEG-1、MPEG-2、MPEG-4、MPEG-7以及MPEG-21等。我們常常說的MPEG標準的視頻壓縮編碼技術，它是利用了具有運動補償功能的幀間壓縮編碼技術，從而達到了減小時間冗余度的目的；并且也利用了DCT技術，實現減小圖像空間冗余度的目的；還利用了熵編碼，這就使其在信息表示方面實現減小統計冗余度的目的。這些技術的運用，使其壓縮性能得到很大增強。

（二）MPEG-4的優點

（1）MPEG-4的優點在于它可以在低帶寬等條件設計算法，這樣就使得MPEG4的壓縮比更高，從而就達到了低碼率的視頻傳輸的效果。并且它可以使用公用電話線來進行連續傳輸視頻，圖像的質量也是可以保證的，這一點是其它技術做不到的。

（2）可以很大程度上節省存儲空間。如果在同樣的條件下，經過編碼處理的圖像文件就會越小，相對而言所占用的存儲空間也就越小。和MPEG-1、MPEG-2相比MPEG-4算法更加優化，因而它的壓縮效率更高。

（3）所傳送的圖像質量好。由于MPEG4的最高圖像清晰度為768X576，基本上達到DVD的畫面效果。此外，相對于其它的壓縮技術來說，MPEG4算法上的不具有局限性，它可以保證畫面中出現快速運動的人或者物體等的圖像質量不會下降，從而使畫面清晰度得到保證。

四、關于MPEG-4音視頻的同步方案的設計與實現

（一）對音視頻的同步系統的硬件進行設計

對于系統硬件的設計，該系統在pSOS實時嵌入式操作系統下運行，所用的開發語言是C語言。能夠選擇使用的軟件包有以下幾種：IADK和NDK集成應用開發包以及DVE-2開發板自帶的板支持包BSP。對于DVE-2板來說，它集成了音視頻采集模塊等部件，并且可以把音視頻信號儲存在閃存里，或者可以通過以太網、PCI、RS232或者JTAG接口來對外傳輸，它的設計是為了滿足當前數字音視頻以及網絡傳輸為核心的DSP發展需要。目前DVE-2的應用范圍很廣，它包括了MPEG／JPEG視頻／圖像的壓縮、解壓以及視頻電話與視頻會議等等。

（二）制訂MPEG-4基本碼流的同步方案

同步層打包，是指流在同步層中的一個基本碼流被映射成一個帶有時間標記的數據包序列，它是將基本的流數據進行整理在一起后，把其變成訪問單元AU或者訪問單元的一部分，每路同步層對應相應的一路基本流。基本碼流接口就是很好地對打包信息的抽象接口進行描述，而打包信息用來在產生基本碼流的實體和同步層之間的交換信息的。

我們所說的同步層打包流，是通過一種傳輸機制被傳輸的，而且該傳輸機制并不是在MPEG-4的標準范圍之內，它僅僅只在DMIF應用接口(DAI)中被描述，而DAI可以對同步層和傳輸機制間對指定的信息進行交換，該種傳輸機制就是同步層產生的數據包的組幀。

對于SL數據包，它是這樣的數據包，即同步層指定基本碼流數據進行打包，然后打包成訪問單元或者是把它當成訪問單元的一部分的語法。對于一個音頻流，一般情況下一個訪問單元只對應一個音頻幀；同樣，對于一個視頻流，一般情況下一個訪問單元也只對應一個視頻幀。而對于AU單元，它們的內容由于不透明性，這就意味著同步層對基本碼流數據的打包是以AU單元為單位進行的，并且它是同步層中唯一需要在端到端保護的語義數據。一個SL的數據包，它是由一個數據包和一個包頭有效載荷組合而成。對于包頭來說，它是可以防止數據丟失的連續性提供檢驗的方法，并且攜帶有表示時間戳和相關信息的編碼。對于該數據包并不包含長度信息，而長度信息會留給傳輸協議層加入，因為它需要采用合適的低層協議來進行組幀，不然就是不可以對其進行存儲和解碼的。

（三）對音視頻的同步系統模塊進行設計

對于模擬音頻信號來說，它是通過使用音頻編解碼芯片來實現數字音頻信號的轉換，然后把轉換好的信號輸入PNXl300，對其進行G.722語音信號的編碼。該系統并不需要在板子上同時實現編解碼，而只是需要將輸入的模擬音頻信號通過A／D轉換之后，然后把轉換好的信號輸入PNXl300芯片內編碼成G.722的SB.ADPCM碼流，該碼流加上同步層的包頭，就可以形成SL音頻包，從而就可以實現和視頻的同步。

對視頻數據的采集，它是通過一個視頻輸入定時中斷函數VI來實現的。通常我們把視頻數據都儲存在可以進行高速讀寫的SDRAM中，這樣就可以大幅度地提升系統的實時響應速度，這樣也就使其特別適用于實時應用的同步環境。同時，對所采集的數據要經過亞采樣，這樣就使得采集的數據從Yuv4：2：2格式轉換成為YUV4：2：0格式，最后被轉換的數據就被送到編碼器進行編碼。

（四）MPEG-4的音視頻同步的實現

為了能夠得到想要的流暢的語音以及視頻信息，我們首先就應該考慮對多媒體的同步問題進行解決。在一般情況下可以把一個流媒體視頻系統劃分為五個主要的部分：媒體進行數據的采集、編碼的壓縮、網絡的傳輸、解碼以及媒體表現。為了使音視頻同步達到預定的效果，就需要對各個部分采取相應的策略。

作為處在接收端的音頻信號與視頻信號的同步而言。就需要在收到音頻、視頻數據之后，把音頻、視頻數據分別放到語音播放緩沖區和視頻播放緩沖區中，并且要定時從音頻緩沖區中提取音頻數據來進行播放，在視頻播放的過程中，如果發現所取出的音頻時間戳和視頻的時間戳相當的吻合，在這種情況下就可以同時播放相應視頻。由于每個人的聽覺相對較視覺而言敏感，因此在固定頻率聲音播放時，如果出現暫時的停頓或者速率忽高忽低都使人難以接受。可知，在對于音視頻進行同步處理時，音頻數據就應該起到主導的作用，而視頻數據就必須以音頻作為參考。

五、經驗總結

總而言之，隨著信息化腳步的不斷加快，人們對音頻視頻信號同步的要求也越來越強烈。而如果想實現音頻和視頻的同步，就需要使音視頻信號的同步采集、壓縮、傳輸以及同步播放這五個主要的部分上下工夫，來解決音視頻不同步的問題。

參考文獻：

[1]儀雄,余松煜,莊建敏.MPEG-2傳輸流中的時間信息與音視頻同步[J].紅外與激光工程,2000

[2]鄭慶華.分布式多媒體同步中表現質量的參數計算[J].通訊學報,1999

[3]常義林,楊付正.H.323同步控制實現研究[J].通信學報,2004

篇(5)

能源行業應用需求良好擴展兼容才能滿足溝通

能源機構需要跨市跨省甚至跨國溝通處理內部事務，必須具有良好的擴展性與兼容性，不僅可以無縫連接分

布在各地的不同網絡，且能夠與原有的視頻設備實現良好的兼容。

高保真音視頻才能廣泛應用

能源行業會議眾多，經常需要通過音視頻交流來協同辦公，必須擁有高保真的、品質良好的音視頻效果。

傳輸安全可靠才能安全放心

能源行業的生產和一切業務都把安全放在首位，視頻會議系統傳輸的一切數據也必須安全可靠。

靈活的擴展性與兼容性

不同的地理條件會導致各地的網絡情況迥異，對視頻會議有一定影響，但由于AVCON網絡視頻會議系統能適應多種網絡接入方式，強大的播服務，跨越內外網，支持通過、網關、路由等各種上網方式，還具有優良的網絡支持性、擴展性、互聯性和兼容性。同時，AVCON網絡視頻會議系統能支持多種操作系統，各平臺之間實現無縫連接，不需用戶更改自己現有的網絡，最大程度方便用戶的多網絡連接與跨系統平臺操作。

一流的音視頻效果

針對能源機構遍布全國各地、對音視頻效果的特殊要求，AVCON網絡視頻會議系統采用國際領先的H264及自創的X264CBR、X264VBR網絡視頻編解碼技術和G723.1AVCONWB音頻多媒體壓縮技術，支持TCP、UDP、AUTO方式的音視頻傳輸。同時AVCON網絡視頻會議系統支持GIPS算法具有高保真的語音品質，具有回音消除、自動增益、噪音抑制、靜音檢測、平滑處理等功能特點，保證了音視頻的清晰流暢圓潤，使任何異地或是本地的會議清晰流暢。

無可比擬的安全性與穩定性

1）雙重加密，保障安全

AVCON網絡視頻會議系統使用統一、完備的權限控制體系，保證每一個用戶在系統中身份是唯一的。采用H.235加密和128位AES硬件加密技術，可以有效的隔絕來自外部網絡的攻擊，杜絕信息在傳輸過程中可能的泄漏情況。另外，雙重權限認證，也能保障會議信息不被泄漏，使AVCON網絡視頻會議系統具有極高的安全性。

2）MCU多級集連、互聯完善系統穩定

MCU支持多級集聯、網絡優化、集連、容錯技術，當其中任一個MCU發生崩潰、斷電或遭受病毒攻擊等意外情況時，其它分MCU可接管已喪失功能的MCU，以保證系統的正常使用。

AVCON網絡視頻會議系統以其強大的應用功能，為能源行業打造了一套視訊業內性價比最佳的網絡視頻會議系統。AVCON網絡視頻會議系統全新感受的音視頻效果，將使用戶在應用中真實感受多維的工作空間，使協同辦公如處一室、異地會議身臨其境，大大提高了工作效率。

篇(6)

該系統由前端音視頻采集設備、安全監控儀、3G無線傳輸設備、和指揮中心平臺系統組成。前端音視頻采集設備將現場音視頻信號經過安全監控儀壓縮處理后，通過3G無線傳輸設備回傳監控指揮中心平臺，監控指揮中心平臺對接收到的音視頻信號經解碼后儲存到存儲服務器，相關負責人可以通過Internet網絡遠程監看施工現場的音視頻信號，同時可以與現場作業人員實現雙向語音、視頻對話，便于指揮中心對現場情況的掌握和控制，并可直接指揮前方人員作業。

2 技術關鍵點及創新點

基于嵌入式Linux（2.6）操作系統的開發以及相關驅動程序的開發。其中涉及到視頻編、解碼器，通信轉化器。

利用3G無線通信、語音圖像編碼壓縮技術，實現圖像、雙向語音處理和無線數據傳輸；

系統集“視頻編解碼”、“語音編解碼”、“無線寬帶組網”、“電子技術”、“軟件開發”、“環境數據收集”、“遠程控制”等多種技術的綜合運用；

創新點。監控儀通過3G網絡無線視頻終端將攝像機采集的現場操作信息、音頻信號回傳到應急監控中心平臺。

具備無線上網的地方隨時隨地通過遠程觀看，突破距離限制。

采用3G國際標準，無論你身在何處，只要有3G移動網絡覆蓋的地方，皆可從指揮中心上監看實時畫面。真正做到隨時隨地，隨心所欲。錄像存儲回放，確保信息完整。

用戶可任意選擇在攝像機采集端、電腦終端和服務器端，任何一端進行錄像。隨時在電腦終端上調取某時間段的錄像。

逐級加密，確保視頻信息的安全。由于視頻信息經過高效的壓縮、編碼、加密、解碼，每個步驟操作前加入了嚴格的身份驗證，確保用戶信息的安全。可隨時在電腦上，進行多畫面觀看。移動終端業務用戶在電腦終端上，可單畫面/多畫面任意切換觀看，最多可達16路不同畫面。

采用標準H.264壓縮技術，畫面更清晰，圖像更流暢。

支持的網絡協議包括TCP/IP、DHCP、PPPOE、HTTP、DDNS等。接入的網絡類型有電信、移動、聯通、LAN、internet等具有固定或動態IP地址的專網或公網。

3 典型的應用前景分析

基建現場應用分析：

變電站基建施工現場安裝安全自動監控儀，可視范圍覆蓋了整個施工現場，視頻信號可通過3G通信網絡實現遠傳。

主要實現：了解現場的施工進度、施工工序、安全措施以及施工人員工作狀況等信息，便于及時發現問題，解決問題，對施工安全、質量、進度進行全面監控；及時了解施工現場情況，并且應能協助相關部門檢查是否有違章作業、違規操作等行為，加強監管的力度；進出口要道是工地安全管理。

生產作業現場應用分析：

便攜式安全自動監控儀將現代科技與具體的生產實踐相結合，可將現場作業的視頻、音頻傳輸到集控中心、值長、安檢部門等相關部門、領導。

主要實現：對工作前準備情況的監視；對人員分工情況的監視；對危險點的預控措施的監視；對作業流程的監視；對現場的遠程指揮；對間隔誤闖的預警提示。

線路巡檢、搶修現場應用分析：

在處置電網事故時，依賴于電力應急預案，電力公司各有關單位迅速行動，按照各自職責積極進行事故搶修和聯動處置。進行搶修時可利用3G無線網絡實現現場圖像實時回傳，搶修作業車輛及現場配備EW6016便攜式安全自動監控儀，應急指揮中心能夠遠程觀測搶修現場狀況、組織專家遠程診斷，并及時與事故搶修現場溝通，提高搶修效率。

主要實現：實時監測應急事件的發展及處理過程；實時動態跟蹤事故現場；實時顯示搶修人員及預備隊的部署情況；動態跟蹤應急儲備物資的準備情況；遠程專家診斷；現場指揮；為領導決策提供依據；

4 推廣應用的意義

通過建設基建遠程監控系統，加強了基建工程施工現場的安全、質量和進度的管控，加強了基建工程的標準化管理，提高了基建標準化管理水平。主要體現在以下方面：⑴公司領導、基建相關部門負責人通過登錄系統管理平臺，可以遠程查看基建現場各監測點圖像，實現了遠程對現場工作的監督管理；⑵基建工程現場施工過程的實時記錄；⑶基建工程現場突發事件的遠程指揮；⑷提高了基建工程現場的建筑材料、設備等財產的安全；⑸對施工現場作業過程中的重要環節提供事后分析依據。

篇(7)

在現有的即時通信系統中，實現音視頻通信的核心組件包括音視頻處理框架和即時通信協議兩個部分。音視處理框架集成了音視頻采集、音視頻編解碼、音視頻分流控制、音視頻數據流網絡擁塞控制等技術模塊，能夠完成音視頻數據流的采集、編碼、分流等基本處理流程;即時通信協議則負責為音視頻數據協商傳輸通道，并且在協商好的傳輸通道上建立對應的連接，從而為音視頻數據的順暢傳輸提供保障。

1即時通信協議

即時通信協議是進行即時通信必須遵循的信息規范，主要負責完成用戶信息傳輸通道協商，客戶端與服務器通信信令傳輸控制等任務。XMPP是主流即時通信協議之一，是基于可擴展標記語言(XML)的協議，其繼承了在XML的高可擴展性，可以通過發送擴展的信息來處理用戶需求。目前最常用的即時通信協議體系主要是SIP和XMPP協議體系，兩者都可以完成音視頻通信功能。另外，一些商業公司自行開發私有的即時通信協議實現了相對封閉的通信環境，例如QQ和MSN。XMPP協議是個總稱，包括核心協議，擴展協議等。

核心協議只規定了很小、很基本的一些功能，大部分功能都是在擴展協議中規定的。實際上，XMPP協議只是作為協商協議應用，真正的P2P連接和實時通信是通過其擴展協議實現的。Jingle就是典型的擴展協議案例。Jingle［6］是Google開發的XMPP協議上的擴展，其解決了在XMPP協議體系下點對點的P2P連接問題。Jingle協議提供了多種傳輸方式用于數據傳輸，而針對多媒體數據的最為常見的模式是兩種UDP傳輸方式。一種傳輸模型是RAWUDP［9］，RAWUDP是在UDP協議上發送媒體數據包的傳輸通道模型，可以實現在同一局域網下的P2P連接，沒有網絡穿越功能，無法實現遠程通信;另一種模型則是功能更為強大的ICE－UDP［8］，ICE－UDP也是在UDP協議上發送媒體數據包，并且可以實現具有防火墻的網絡穿越和ICE連接性檢查，實現遠程通信。ICE是標準的建立P2P連接性檢查的協議，其自身不能獨立工作，必需在信號通道的協調下建立連接，而XMPP協議就可以作為ICE通道協商的協議標準。

基于Jingle/XMPP協議實現的即時通信框圖如圖1所示。Jingle通過XMPP完成P2P通道的協商任務，同時通過Jingle協議建立P2P通道并進行連接性檢查，然后建立并完成RTP會話，從而完成音視頻通信。如果選擇ICE－UDP通道傳輸模型進行RTP視頻數據傳輸，XMPP服務器可以使用STUN［2］服務器收集用戶的地址，包括NAT［3］后面的私有地址以及NAT與互聯網連接的公共地址，并且以此為基礎建立映射機制，完成會話參與者跟具體的網絡地址間的轉換和NAT穿越。

2音視頻處理框架

即時通信系統中的音視頻處理框架主要為用戶提供一組多媒體數據處理的接口，用戶可以用這些接口實現從多媒體采集卡上獲得數據，進行壓縮編碼、格式轉換、數據封包等一系列操作，從而完成多媒體的實時處理傳輸功能，大大簡化多媒體處理的復雜性。目前具有二次開發功能的音視頻處理框架包括Gstreamer，Directshow，Opencore等。其中DirectShow是微軟公司在ActiveMovie和VideoforWindows基礎上推出的基于COM的流媒體處理開發包。運用DirectShow可以很方便地從支持Windows驅動模型的采集卡上捕獲數據，并進行相應的后期處理乃至存儲到文件中。OpenCore則是手機操作系統Android的多媒體核心，OpenCore的代碼非常龐大，是一個基于C++的實現，定義了全功能的操作系統移植層，各種基本的功能均被封裝成類的形式，各層次之間的接口多使用繼承等方式。而基于Linux平臺的GStreamer則是完全開源的多媒體框架庫，利用其可以構建一系列媒體處理模塊，包括從簡單的Ogg播放功能到復雜的音頻混音和視頻非線性編輯處理。Gstreamer應用非常廣泛，大多數手機平臺及個人電腦Linux平臺均采用Gstreamer進行音視頻處理開發。

2.1Gstreamer音視頻處理

Gstreamer通過其模塊化設計理念，更加便于構建流媒體應用程序。它將各個模塊封裝起來，以元件的形式提供給用戶使用。用戶可以利用庫中原有的元件進行應用程序的編程，同樣也可以編寫元件，然后插入到庫中，以便日后調用時使用。如果只利用庫中的元件來實現特定功能，只需要采用模塊化的方式編寫應用程序［4］。Gstreamer實現局域網內簡單多媒體音視頻傳輸發送端的框圖如圖2所示。對于視頻數據流，Gstreamer在發送端將攝像頭(v4l2src1)采集的數據依次經過色度空間轉換(ffmpegcsp1)、H263視頻編碼(ffenc_h263p1)、RTP［1］載荷頭添加(rtph263ppay1)，在gstrtpbin中實現實時傳輸協議(RTP)和實時傳輸控制協議(RTCP)數據包整合，并添加發送報告的背景時鐘時間戳，便于在接受端進行音視頻同步播放，然后發到UDP端口(udpsink)。在接收端，從UDP端口截獲的數據依次經過RTP和RTCP數據包解析、RTP載荷頭解碼、H263解碼器解碼視頻數據、色度空間轉換，最后經過視頻顯示插件顯示到窗口中。其中gstrtpbin是進行RTP會話管理的核心組件，可以完成RTP數據包傳輸控制、RTCP數據包生成、沖突檢測、音視頻分流等任務。

2.2Farsight視頻會議框架

通過Gstreamer開發庫中的基礎元件可以完成音視頻處理的功能，并且可以進行簡單的局域網內視頻通信。但是，在視頻會議等復雜應用中經常包含多個多媒體會話，而且多媒體會話之間的協調非常復雜，需要通過更為高層的處理框架來實現會話管理的功能。Farsight是以Gstreamer為基礎開發的視頻會議框架，它能夠提供一套完整的為多媒體流協議編寫插件的應用程序接口，同時還為用戶提供API調用這些插件。即時通信應用程序可以使用Farsight進行音視頻會議，而無須擔心底層的數據流和NAT穿越的問題。因為Farsight［5］是以Gstre-amer為基礎進行開發，所以開發新的元件能夠和已有的Gstreamer元件整合，實現完成視頻會議功能的多媒體框架。Farsight可以包含多路音視頻會話流，包含多個會話參與者，具有強大的音視頻會話管理功能。它通過模塊化設計為許多即時通信軟件提供音視頻會議的服務，大大擴展了多媒體處理的功能，并且可以實現更為強大的視頻會議功能。目前很多即時通信客戶端軟件都采用Farsight完成音視頻通信。本文以Gstreamer/Farsight音視頻處理框架為重點，詳述其內部結構及功能實現。

Farsight中包括4個核心概念:會議(Conference)、會話(Session)、參與者(Participant)、流(Stream)。會話參與者是指多媒體數據源，可以是音頻或視頻等;會話則代表一路音頻或視頻會話，通常有一個媒體類型和一個輸出端;會議則代表一個多媒體會議，可以包含多路會話，并且完成多路會話的協調管理;當參與者加入到會話中，就將多媒體數據引入會話中，使得數據能夠流動，從而構成數據流。另外，Farsight實現了網絡層的抽象，即將網絡抽象為一個發射器對象，當數據流被創建時就會建立發射器對象，然后通過設置發射器參數確定發送的目的地址。實際上，Farsight并沒有參與多媒體數據的采集和打包工作，它只是為多媒體數據流傳輸到網絡端進行發送提供了一個通道，并且對通道進行協調管理，保證不同的會話參與者與其特定的數據流綁定以防止收發混淆。

Farsight實現RTP視頻會議的結構如圖3所示，其中FsRTPConference是Farsight框架下的一種插件，主要的RTP會話管理功能都在這個組件中實現。FsRTPConference中可以同時存在多路FsSession，每一路FsSession因參與者或音媒體源的不同代表不同的多媒體會話。編解碼器在雙方建立連接前無法確定，只有當通信雙方的客戶端協商之后，才會根據具體的編解碼器名字調用并進行插件的連接。

Farsight通過將gstrtpbin封裝到FsRTPConference中，添加一些其他的必要組件，實現RTP會話。RTP管理器主要由gstrtpbin負責完成RTP會話管理的操作。在發送端，視頻源和音頻源通過Sink接入到會話中，編解碼器協商成功后，將編碼器與數據源和過濾元件連接，然后通過RTP混合器將音視頻數據發送到RTP管理器中，完成RTCP數據包的生成以及RTP會話的管理。最后，經過數據發射器將數據發送到相應的數據通道中。在接收端，數據流同樣要經過類似的信息解碼過程得到音視頻數據。在發送端，數據發射器在Farsight中通常有多種插件選擇，例如多播UDP插件、Libnice插件等，目的是為了實現底層數據傳輸的連接性檢查。Libnice是實現了ICE和STUN協議規范的軟件庫，開發者以此為基礎完成nice插件，可以實現基于ICE的數據發送。但是Libnice中只定義了如何在P2P連接確立后進行連接性檢查，以及如何在確定的P2P連接上進行數據傳輸的網絡穿越，并沒有定義如何進行P2P連接，即P2P通道的協商任務。Jingle協議規范則定義了P2P通道建立連接及通道協商的任務。目前，Jin-gle協議已經在Libpurple(多協議會話開發庫)中實現。

3即時通信系統中音視頻通信的實現

為了開發的便捷，Pidgin軟件的開發者將負責通信部分與圖形用戶界面部分分開，分離出來的核心代碼構成即時通信客戶端開發的核心部分，被稱為Libpurple。這個程序庫已被Adium與Proteus這些客戶端使用。完成分離后，開發者將有可能以各自的圖形程序庫編寫自己的客戶端接口。在Libpurple中，為實現多媒體通信，開發者將基于Farsight的多媒體處理框架進行繼承和封裝，實現即時通信協議，并提供接口供用戶使用，用戶可利用應用程序接口編寫程序實現網絡層的連接。使用者可以使用Libpur-ple直接編寫即時通信程序的核心代碼，并構建應用程序。

同時，Libpurple實現了許多即時通信協議的通信，例如MSN，XMPP，AIM等協議，同時完成了媒體后端流處理與相應即時通信協議的協同工作。Libpurple在Farsight的基礎上進行開發，實現了一套具備自身特點的流媒體模式。通過對Lipurple庫的理解分析［10］，得到了Libpurple實現音視頻數據流控制及會話管理的方法，如圖4所示。圖4中Src是音視頻數據源，傳輸到FsSession進行音視頻流整合、RTCP包生成、數據流管理等操作。Vol-ume和level則分別表示音頻的音量與消息控制插件。Libpurple采用FsSession做會話管理，并在FsSession的基礎上添加Gstreamer基礎元件進行控制，完成自己需要的功能。FsSession通過選擇不同的連接通道，將音視頻數據流通過發送器進行發送。

Libpurple中實現了Jingle協議進行RTP通信的規范，并提供兩種數據通道，RAWUDP和ICE－UDP供用戶使用。在進行具體RTP視頻通信時，程序根據不同情況選擇不同的通道使用。圖4選擇RAWUDP作為數據發送通道，用戶也可以選擇其他通道進行數據發送。為了與Jingle協議合作完成音視頻通信，Libpurple建立了一個組件對象purplemedia，這個對象在Farsight組件中提取相關的參數信息，例如編解碼器信息、發送目的地址等，并傳遞給Jingle協議，便于Jingle協議進行通道協商。當有新的即時通信協議需要利用Farsight完成視頻通信時，開發者往往需要以Libpurple為基礎進行開發，完成即時通信協議在Libpurple上的移植，以實現視頻通信。在眾多采用Libpurple庫開發的即時通信軟件客戶端中，Pidgin是最成功的，也是少數幾個可以實現音視頻通信的案例。Pidgin是一款支持多協議客戶端的圖形化即時通信應用程序，它可以使用AIM，Jabber，MSN，Yahoo等即時通信軟件的帳號進行登錄。并采用Libpurple作為開發庫，利用圖形開發工具包編寫用戶界面及各種事件提醒和任務管理，從而實現在多種即時通信協議基礎上的音視頻通信。