摘要：
本文介紹了視訊監控系統的現狀，智慧型視訊監控系統的技術背景及其對嵌入式系統的挑戰，並以Blackfin處理器爲例介紹了一個智慧型視訊監控的應用案例，最後提出對智慧型視訊監控系統發展方向的展望。
視訊監控系統的現況
視訊監控系統從最初的類比閉路電視監控開始，經歷了數位化、網路化的發展，正在向分散式、智慧化方向邁進。視訊壓縮技術的發展促進了視訊監控系統的數位化，節省了大量的儲存空間。電腦網路的普及和頻寬的增加使得城域網路視訊監控成真。而經過研究人員40多年的不懈努力，電腦視覺已經進入突破式發展階段。得益於電腦視覺的研究成果，智慧型視訊監控系統開始得到商業化應用。
從上世紀90年代中期開始，以卡耐基梅隆大學（CMU）和麻省理工學院（MIT）爲代表，加上多家美國大專院校參與，由美國國防高級研究專案署設立的視覺監控重大專案VSAM（Visual Surveillance and Monitoring），以及其他科研機構的研究成果，使得智慧視覺分析取得了快速發展。2001年美國“911事件”，以及後來的西班牙馬德里列車連環爆炸和英國倫敦地鐵大爆炸等恐怖襲擊後，全世界範圍內對視訊監控系統，包括智慧型視訊分析系統的需求空前高漲。在英國全國範圍內已經安裝攝影機420多萬台，平均每14人一個，一個人一天之中可能出現在多達300台攝影機前（英國《The Daily Mail》）。在中國，2007年底廣州市安裝完畢25萬台治安攝影機，北京在26.3萬台攝影機的基礎上，又在所有重點單位、人員聚集的公共場所、重要的交通樞紐、城市重要基礎設施及法律法規規定的重點區域安裝公共圖像資訊系統並且全部與警方監控網連網。上海2010年前將在馬路上安裝20多萬個監控攝影機，全面建立“社會防控體系”。海量的監控圖像需要視訊監控系統智慧地選擇壓縮、儲存和檢索內容。
當前，除了CMU和MIT，奧地利Graz理工大學的嵌入式智慧攝影機研究組，IBM的S3(Smart Surveillance System)專案組，Intel的IRISNET（Internet-scale, Resource-intensive Sensor Network Services）專案組等，分別在分散式智慧監控系統的不同領域處於領先地位。Object Video、Hisign、3VR等公司率先實現了智慧型視訊監控的工業應用。在中國，中科院自動化所、清華大學電子工程系和自動化系等處於研究的先驅。
智慧型視訊監控系統的技術背景簡介
智慧型視訊監控的核心內容之一是對特定目標的自動跟蹤。目標跟蹤可分爲5個步驟，包括運動檢測、目標分類、目標（類型）跟蹤、行爲分析、目標（個體）跟蹤。例如對人體的跟蹤：首先從即時圖像序列（即視訊）中檢測出運動物體，再判定運動物體中的人體，然後跟蹤人體的運動軌跡，並分析和選定有異常行爲的人，如在車站、機場等遺留包裹的人，最後對行爲異常的人進行持續跟蹤。
運動檢測是從圖像序列中將變化區域從背景圖像中提取出來。運動區域的有效分割將大大減少後繼過程的運算量。然而，背景圖像的不穩定性，如陰影、光照、慢移動（如蝸牛的爬行）、靜移動（樹葉的擺動）等等，也使得運動檢測非常困難。
視訊監控系統中的運動檢測有兩種不同的實現途徑，一種是直接利用視訊壓縮演算法的中間結果，比如ADI的第三方合作夥伴利用MPEG 4和H.264編碼過程中的運動向量，在Blackfin處理器上同步實現了運動檢測和視訊壓縮。另外一種是獨立於視訊編碼的方法。
運動檢測演算法可按照不同分類標準分爲多種。例如中科院自動化所把運動檢測演算法歸納爲三種：背景消除法、時間差動法、光流法。背景消除法和時間差動法都可以看作是差動圖像法。背景消除法是目前運動分割中最常用的一種方法，它利用當前圖像與背景圖像的差動來檢測出運動區域。時間差動方法是在連續的圖像序列中兩個或三個相鄰圖框間採用基於像素的時間差動並且臨界值化來提取出圖像中的運動區域。基於光流方法的運動檢測採用了運動目標隨時間變化的光流特性，藉由計算位移向量光流場來初始化基於輪廓的跟蹤演算法，從而有效地提取和跟蹤運動目標。該方法的優點是在攝影機運動的情況下也能檢測出獨立的運動目標。
目標分類的目的是從檢測到的運動區域中將特定類型物體的運動區域提取出來。根據利用的資訊的不同，目標分類可以分爲基於運動特性的分類和基於形狀資訊的分類兩種方法。基於運動特性的識別利用目標運動的周期性進行識別，受顏色、光照的影響較小。基於形狀資訊的識別利用檢測出的運動區域的形狀特徵與模板或者統計量進行匹配。
目標跟蹤是在連續的圖像訊框間創建基於位置、速度、形狀、紋理、色彩等有關特徵的對應匹配。依據不同的跟蹤方法，可分爲基於模型的跟蹤，基於區域的跟蹤，基於活動輪廓的跟蹤，基於特徵的跟蹤等。
聯合目標跟蹤與分類（JTC）技術是資訊融合領域新興的一個研究方向。其基本思想是：透過在目標跟蹤器和目標分類器之間進行雙向資訊交互，來同時有效地提高目標的跟蹤準確度和分類性能。
在特定情況下需要對跟蹤目標從類型細化到個體。這需要對目標的行爲進行分析和理解。行爲理解的關鍵問題是如何從學習樣本中獲取參考行爲序列，並且學習和匹配的行爲序列必須能夠在相似的運動模式類別中空間和時間尺度上處理輕微的特徵變化。
智慧型視訊監控系統實施的挑戰和Blackfin的優勢
儘管已經取得重大的進展，智慧型視訊分析領域仍然沒有公認的最佳方法。其自身研究內容的複雜性，使得研究方法和工具多樣，演算法複雜度高，適用範圍有限，沒有強固性、準確度、速度都符合需求的普遍方法。同時，視訊監控系統的網路化和分散式處理的要求，以及大規模工程安裝對成本、體積和功耗的限制，使得運算能力和頻寬都在不斷提高的嵌入式處理器成爲視訊監控系統的主流選擇。而非標準化的智慧型視訊分析，正是DSP的用武之地。
Blackfin處理器是ADI與INTEL聯合研製的匯聚型處理器，它的MSA（Micro Signal Architecture）架構兼具MCU的控制能力和DSP的高速運算能力。MCU和DSP融入同一個核心，只需要同一套開發工具和同一套指令集。與DSP加ARM的晶片架構相比，具有軟硬體實現簡單的優勢。Blackfin支援ThreadX、Nucleus、uCOS-II、uCLinux等十多種嵌入式作業系統，爲客戶提供熟悉的軟體架構基礎。Blackfin爲高強度、高資料率的數位和媒體處理進行了專門最佳化，是理想的視訊處理器，而且具有極高的性價比。它的低功耗特性非常適合外殼體積小的IP攝影頭產品。
Blackfin的幾十個DMA通道和可靈活配置的Cache能良好滿足視訊監控系統對大運算量，高資料傳輸率的要求。十級流水線使得Blackfin有很強的指令並行執行能力。零開銷迴圈控制指令讓系統中的大量迴圈跳轉不再消耗任何處理器的時脈周期。利用這些優勢，real解碼器的idct4×4演算法在Blackfin上速度提高了7倍。
視訊資料有其自身的特性。在不同顏色空間，表示像素的每個分量通常都是8位元寬度。Blackfin的4個視訊算術運算單元和視訊像素指令集大大加速了視訊運算速度。一條視訊像素操作指令可以在一周期之內完成4對視訊資料分量的加法運算、減法運算、加減混合運算、取平均值或者相減並求絕對值等11種視訊像素運算。這些運算在編解碼演算法中的運動估計、loop filter和智慧型視訊分析的各種演算法中大量應用。在智慧型視訊分析的一些基礎運算元中，例如直方圖統計、中值運算、Sobel運算、形態學中的膨脹運算等都可以利用Blackfin的MIN、MAX指令來消除條件跳轉，節省處理器周期。不僅如此，Blackfin還支援13種非視訊資料的向量運算。適當設計資料結構，在前背景分離，臨界值計算和更新等多個環節都可以運用Blackfin的特色指令讓智慧型視訊分析演算法更迅捷。這些本身就很有效的指令中，大部分指令都能夠並行執行，使得Blackfin的處理能力再加倍。
尤爲重要的是，ADI堅持爲客戶提供免費的高度最佳化的音視訊編解碼器，Blackfin用戶可在 http://www.analog.com/processors/platforms/blackfinSoftwareModules.html查看全部軟體模組資訊。視訊監控是ADI的策略性的重點市場，一直在視訊監控方面持續投資，請造訪 http://www.analog.com /china/surveillance瞭解詳情。衆多第三方合作夥伴爲客戶提供成熟的基於Blackfin的監控系統方案。
智慧型視訊監控系統的實例
北京清華大學自動控制系在視覺分析領域有長期的研究和經驗的累積。結合ADI的優勢，雙方在Blackfin BF561雙核心處理器上實現了智慧型視訊監控系統。ADI提供高品質高性能的H.264編碼演算法，清華大學自動控制系則在BF561上實現了自動跟蹤演算法。系統方塊圖如圖1所示。
圖1：基於BF561的智慧監控終端方塊圖
H.264編碼演算法模組是ADI爲Blackfin客戶提供的免費軟體模組之一，目前已經有基於BF53x和BF561兩個系列的晶片的實現。它支援完全動態的參數配置，用戶可在系統運行時根據場景和網路頻寬的變化改變編碼的碼率、圖框率、關鍵圖框間隔、量化值等等。從80KBb的CDMA網路到3Mb的DVR系統都能使用同一套函數庫達到理想的編碼品質。具有很強的適應性和靈活性。
北京清華大學自動控制系的智慧跟蹤演算法採用單高斯背景建模的背景減除方法進行運動檢測，在目標分類階段，結合了基於運動特性的分類和基於形狀資訊的分類兩種方法，利用人體、車輛的長寬比例、梯度直方圖和運動周期性等對運動物體進行分類。在對同類目標跟蹤時，採用基於區域的演算法，判斷連續的各圖框之間運動物體的質心位移方向和距離。基於上述三個階段的演算法，系統還能實現人群跟蹤、入侵檢測、人、車數量統計，遺留物體檢測、攝影頭非法遮擋和移位報警等功能。
系統中，BF561的Core A用於實現H.264編碼演算法，Core B用於智慧型視訊分析。Core A上同時運行uCos II作業系統以及RTP和TCP/IP協定堆疊。YUV4：2：2視訊圖框透過PPI（並行週邊介面）以DMA的方式傳送到SDRAM緩衝區。Core A和Core B共用圖框緩衝區。Core B首先啓動memory DMA把視訊圖框的Y（亮度）分量傳送到Core B的片內儲存區L1 SRAM的行緩衝區內。Core B對行緩衝區內的Y分量進行背景建模和後繼的運動檢測及目標跟蹤。如果可視區域內出現指定類型的物體，Core B向Core A發送一個中斷信號，Core A可以透過UART介面向本地控制臺發送告警資訊，或者透過網路介面向遠端控制臺發送告警資訊；Core B還可以修改圖框緩衝區，給目標加矩形邊框以標識目標。Core A也透過一個memory DMA接收來自圖框緩衝區的視訊亮度和色度資料。編碼器對Core B處理後的圖框緩衝區進行編碼。同時系統也可以透過另外一個PPI介面輸出經Core B修改後的圖框緩衝區，即時顯示跟蹤結果。目標跟蹤演算法是即時的，因此不會造成編碼的延時。在未檢測到運動物體時，編碼器可以工作在低碼率或低圖框率狀態下，甚至不編碼。一旦檢測到指定類型的運動物體，編碼器即恢復正常工作，把壓縮碼流和對應時間透過乙太網介面上傳到管理系統。這樣既能節省儲存空間，又能方便事後對視訊錄影的檢索。
該系統還可以透過UART或者乙太網介面設定監控區域邊界，用以標識入侵檢測的監視範圍。當有運動物體越過邊界時，系統立即向控制臺報警。控制臺還可以向該智慧監控終端發送指令改變它所執行的功能，從智慧跟蹤，到入侵檢測，再到遺留物體檢測或者清點人數等等，自由切換。沒有Blackfin強大的處理能力和靈活性，在一個嵌入式處理器裏實現如此複雜而衆多的功能幾乎是不可想像的。
智慧型視訊監控的發展趨勢
儘管智慧型視訊分析在視訊監控中已經得到一定的應用，但它還有很長的發展歷程。一個比較理想的智慧型視訊監控系統應該是這樣的：
如果有一天，城市的一角突然發生槍擊事件。犯罪嫌疑人立即逃向不遠處的轎車，試圖駕車逃跑。然而，他的一舉一動已經落入了公共安全監控網之中，難以遁形。首先，具有聲音識別和聲源定位功能的視訊監控系統檢測到槍聲之後立即調整攝影頭角度和方向，對準槍聲來向，同時啓動第一次報警，報告槍擊發生的大致位置。該攝影頭採集視訊，檢測運動人體，分析人物的行爲特徵，並立即定位、跟蹤嫌疑人。定位後，通知系統內處於合適位置的多個攝影頭提取嫌疑人面部特徵，試圖駕駛的車輛的車牌等，並上傳到管理系統，建立資料庫表項，分發到警局、車站、機場、銀行、海關等重點單位。監控系統轉而跟蹤該車輛。警方在嫌疑人運動的路上設置警力攔截和追捕。即使嫌疑人僥倖逃脫現場追捕，當他出現在全國任何一個攝影頭前的時候，仍然無法逃脫被捕的命運。
這個系統中融合了多種先進監控技術。音視訊結合、視覺成像和非視覺成像結合，目標跟蹤和行爲分析、特徵識別相結合的全連通的智慧型視訊監控系統將是未來安防系統的趨勢。其中的各項技術都已經分別得到了相當的發展。Blackfin在紅外線攝影頭，相位控制陣列麥克風等方面已有許多應用。而更準確、更快速、更強固的智慧視覺分析演算法仍然是一個難點。ADI將會繼續在智慧型視訊監控領域與全球科研機構和企業合作，爲我們創造更安全更美好的生活。
作者：魏宏偉 ADI DSP/嵌入式處理器高級技術應用工程師
Harry.Wei@analog.com
張鐵虎 ADI 視訊監控技術市場經理
Tony.Zhang@analog.com
本文介紹了視訊監控系統的現狀，智慧型視訊監控系統的技術背景及其對嵌入式系統的挑戰，並以Blackfin處理器爲例介紹了一個智慧型視訊監控的應用案例，最後提出對智慧型視訊監控系統發展方向的展望。
視訊監控系統的現況
視訊監控系統從最初的類比閉路電視監控開始，經歷了數位化、網路化的發展，正在向分散式、智慧化方向邁進。視訊壓縮技術的發展促進了視訊監控系統的數位化，節省了大量的儲存空間。電腦網路的普及和頻寬的增加使得城域網路視訊監控成真。而經過研究人員40多年的不懈努力，電腦視覺已經進入突破式發展階段。得益於電腦視覺的研究成果，智慧型視訊監控系統開始得到商業化應用。
從上世紀90年代中期開始，以卡耐基梅隆大學（CMU）和麻省理工學院（MIT）爲代表，加上多家美國大專院校參與，由美國國防高級研究專案署設立的視覺監控重大專案VSAM（Visual Surveillance and Monitoring），以及其他科研機構的研究成果，使得智慧視覺分析取得了快速發展。2001年美國“911事件”，以及後來的西班牙馬德里列車連環爆炸和英國倫敦地鐵大爆炸等恐怖襲擊後，全世界範圍內對視訊監控系統，包括智慧型視訊分析系統的需求空前高漲。在英國全國範圍內已經安裝攝影機420多萬台，平均每14人一個，一個人一天之中可能出現在多達300台攝影機前（英國《The Daily Mail》）。在中國，2007年底廣州市安裝完畢25萬台治安攝影機，北京在26.3萬台攝影機的基礎上，又在所有重點單位、人員聚集的公共場所、重要的交通樞紐、城市重要基礎設施及法律法規規定的重點區域安裝公共圖像資訊系統並且全部與警方監控網連網。上海2010年前將在馬路上安裝20多萬個監控攝影機，全面建立“社會防控體系”。海量的監控圖像需要視訊監控系統智慧地選擇壓縮、儲存和檢索內容。
當前，除了CMU和MIT，奧地利Graz理工大學的嵌入式智慧攝影機研究組，IBM的S3(Smart Surveillance System)專案組，Intel的IRISNET（Internet-scale, Resource-intensive Sensor Network Services）專案組等，分別在分散式智慧監控系統的不同領域處於領先地位。Object Video、Hisign、3VR等公司率先實現了智慧型視訊監控的工業應用。在中國，中科院自動化所、清華大學電子工程系和自動化系等處於研究的先驅。
智慧型視訊監控系統的技術背景簡介
智慧型視訊監控的核心內容之一是對特定目標的自動跟蹤。目標跟蹤可分爲5個步驟，包括運動檢測、目標分類、目標（類型）跟蹤、行爲分析、目標（個體）跟蹤。例如對人體的跟蹤：首先從即時圖像序列（即視訊）中檢測出運動物體，再判定運動物體中的人體，然後跟蹤人體的運動軌跡，並分析和選定有異常行爲的人，如在車站、機場等遺留包裹的人，最後對行爲異常的人進行持續跟蹤。
運動檢測是從圖像序列中將變化區域從背景圖像中提取出來。運動區域的有效分割將大大減少後繼過程的運算量。然而，背景圖像的不穩定性，如陰影、光照、慢移動（如蝸牛的爬行）、靜移動（樹葉的擺動）等等，也使得運動檢測非常困難。
視訊監控系統中的運動檢測有兩種不同的實現途徑，一種是直接利用視訊壓縮演算法的中間結果，比如ADI的第三方合作夥伴利用MPEG 4和H.264編碼過程中的運動向量，在Blackfin處理器上同步實現了運動檢測和視訊壓縮。另外一種是獨立於視訊編碼的方法。
運動檢測演算法可按照不同分類標準分爲多種。例如中科院自動化所把運動檢測演算法歸納爲三種：背景消除法、時間差動法、光流法。背景消除法和時間差動法都可以看作是差動圖像法。背景消除法是目前運動分割中最常用的一種方法，它利用當前圖像與背景圖像的差動來檢測出運動區域。時間差動方法是在連續的圖像序列中兩個或三個相鄰圖框間採用基於像素的時間差動並且臨界值化來提取出圖像中的運動區域。基於光流方法的運動檢測採用了運動目標隨時間變化的光流特性，藉由計算位移向量光流場來初始化基於輪廓的跟蹤演算法，從而有效地提取和跟蹤運動目標。該方法的優點是在攝影機運動的情況下也能檢測出獨立的運動目標。
目標分類的目的是從檢測到的運動區域中將特定類型物體的運動區域提取出來。根據利用的資訊的不同，目標分類可以分爲基於運動特性的分類和基於形狀資訊的分類兩種方法。基於運動特性的識別利用目標運動的周期性進行識別，受顏色、光照的影響較小。基於形狀資訊的識別利用檢測出的運動區域的形狀特徵與模板或者統計量進行匹配。
目標跟蹤是在連續的圖像訊框間創建基於位置、速度、形狀、紋理、色彩等有關特徵的對應匹配。依據不同的跟蹤方法，可分爲基於模型的跟蹤，基於區域的跟蹤，基於活動輪廓的跟蹤，基於特徵的跟蹤等。
聯合目標跟蹤與分類（JTC）技術是資訊融合領域新興的一個研究方向。其基本思想是：透過在目標跟蹤器和目標分類器之間進行雙向資訊交互，來同時有效地提高目標的跟蹤準確度和分類性能。
在特定情況下需要對跟蹤目標從類型細化到個體。這需要對目標的行爲進行分析和理解。行爲理解的關鍵問題是如何從學習樣本中獲取參考行爲序列，並且學習和匹配的行爲序列必須能夠在相似的運動模式類別中空間和時間尺度上處理輕微的特徵變化。
智慧型視訊監控系統實施的挑戰和Blackfin的優勢
儘管已經取得重大的進展，智慧型視訊分析領域仍然沒有公認的最佳方法。其自身研究內容的複雜性，使得研究方法和工具多樣，演算法複雜度高，適用範圍有限，沒有強固性、準確度、速度都符合需求的普遍方法。同時，視訊監控系統的網路化和分散式處理的要求，以及大規模工程安裝對成本、體積和功耗的限制，使得運算能力和頻寬都在不斷提高的嵌入式處理器成爲視訊監控系統的主流選擇。而非標準化的智慧型視訊分析，正是DSP的用武之地。
Blackfin處理器是ADI與INTEL聯合研製的匯聚型處理器，它的MSA（Micro Signal Architecture）架構兼具MCU的控制能力和DSP的高速運算能力。MCU和DSP融入同一個核心，只需要同一套開發工具和同一套指令集。與DSP加ARM的晶片架構相比，具有軟硬體實現簡單的優勢。Blackfin支援ThreadX、Nucleus、uCOS-II、uCLinux等十多種嵌入式作業系統，爲客戶提供熟悉的軟體架構基礎。Blackfin爲高強度、高資料率的數位和媒體處理進行了專門最佳化，是理想的視訊處理器，而且具有極高的性價比。它的低功耗特性非常適合外殼體積小的IP攝影頭產品。
Blackfin的幾十個DMA通道和可靈活配置的Cache能良好滿足視訊監控系統對大運算量，高資料傳輸率的要求。十級流水線使得Blackfin有很強的指令並行執行能力。零開銷迴圈控制指令讓系統中的大量迴圈跳轉不再消耗任何處理器的時脈周期。利用這些優勢，real解碼器的idct4×4演算法在Blackfin上速度提高了7倍。
視訊資料有其自身的特性。在不同顏色空間，表示像素的每個分量通常都是8位元寬度。Blackfin的4個視訊算術運算單元和視訊像素指令集大大加速了視訊運算速度。一條視訊像素操作指令可以在一周期之內完成4對視訊資料分量的加法運算、減法運算、加減混合運算、取平均值或者相減並求絕對值等11種視訊像素運算。這些運算在編解碼演算法中的運動估計、loop filter和智慧型視訊分析的各種演算法中大量應用。在智慧型視訊分析的一些基礎運算元中，例如直方圖統計、中值運算、Sobel運算、形態學中的膨脹運算等都可以利用Blackfin的MIN、MAX指令來消除條件跳轉，節省處理器周期。不僅如此，Blackfin還支援13種非視訊資料的向量運算。適當設計資料結構，在前背景分離，臨界值計算和更新等多個環節都可以運用Blackfin的特色指令讓智慧型視訊分析演算法更迅捷。這些本身就很有效的指令中，大部分指令都能夠並行執行，使得Blackfin的處理能力再加倍。
尤爲重要的是，ADI堅持爲客戶提供免費的高度最佳化的音視訊編解碼器，Blackfin用戶可在 http://www.analog.com/processors/platforms/blackfinSoftwareModules.html查看全部軟體模組資訊。視訊監控是ADI的策略性的重點市場，一直在視訊監控方面持續投資，請造訪 http://www.analog.com /china/surveillance瞭解詳情。衆多第三方合作夥伴爲客戶提供成熟的基於Blackfin的監控系統方案。
智慧型視訊監控系統的實例
北京清華大學自動控制系在視覺分析領域有長期的研究和經驗的累積。結合ADI的優勢，雙方在Blackfin BF561雙核心處理器上實現了智慧型視訊監控系統。ADI提供高品質高性能的H.264編碼演算法，清華大學自動控制系則在BF561上實現了自動跟蹤演算法。系統方塊圖如圖1所示。
圖1：基於BF561的智慧監控終端方塊圖
H.264編碼演算法模組是ADI爲Blackfin客戶提供的免費軟體模組之一，目前已經有基於BF53x和BF561兩個系列的晶片的實現。它支援完全動態的參數配置，用戶可在系統運行時根據場景和網路頻寬的變化改變編碼的碼率、圖框率、關鍵圖框間隔、量化值等等。從80KBb的CDMA網路到3Mb的DVR系統都能使用同一套函數庫達到理想的編碼品質。具有很強的適應性和靈活性。
北京清華大學自動控制系的智慧跟蹤演算法採用單高斯背景建模的背景減除方法進行運動檢測，在目標分類階段，結合了基於運動特性的分類和基於形狀資訊的分類兩種方法，利用人體、車輛的長寬比例、梯度直方圖和運動周期性等對運動物體進行分類。在對同類目標跟蹤時，採用基於區域的演算法，判斷連續的各圖框之間運動物體的質心位移方向和距離。基於上述三個階段的演算法，系統還能實現人群跟蹤、入侵檢測、人、車數量統計，遺留物體檢測、攝影頭非法遮擋和移位報警等功能。
系統中，BF561的Core A用於實現H.264編碼演算法，Core B用於智慧型視訊分析。Core A上同時運行uCos II作業系統以及RTP和TCP/IP協定堆疊。YUV4：2：2視訊圖框透過PPI（並行週邊介面）以DMA的方式傳送到SDRAM緩衝區。Core A和Core B共用圖框緩衝區。Core B首先啓動memory DMA把視訊圖框的Y（亮度）分量傳送到Core B的片內儲存區L1 SRAM的行緩衝區內。Core B對行緩衝區內的Y分量進行背景建模和後繼的運動檢測及目標跟蹤。如果可視區域內出現指定類型的物體，Core B向Core A發送一個中斷信號，Core A可以透過UART介面向本地控制臺發送告警資訊，或者透過網路介面向遠端控制臺發送告警資訊；Core B還可以修改圖框緩衝區，給目標加矩形邊框以標識目標。Core A也透過一個memory DMA接收來自圖框緩衝區的視訊亮度和色度資料。編碼器對Core B處理後的圖框緩衝區進行編碼。同時系統也可以透過另外一個PPI介面輸出經Core B修改後的圖框緩衝區，即時顯示跟蹤結果。目標跟蹤演算法是即時的，因此不會造成編碼的延時。在未檢測到運動物體時，編碼器可以工作在低碼率或低圖框率狀態下，甚至不編碼。一旦檢測到指定類型的運動物體，編碼器即恢復正常工作，把壓縮碼流和對應時間透過乙太網介面上傳到管理系統。這樣既能節省儲存空間，又能方便事後對視訊錄影的檢索。
該系統還可以透過UART或者乙太網介面設定監控區域邊界，用以標識入侵檢測的監視範圍。當有運動物體越過邊界時，系統立即向控制臺報警。控制臺還可以向該智慧監控終端發送指令改變它所執行的功能，從智慧跟蹤，到入侵檢測，再到遺留物體檢測或者清點人數等等，自由切換。沒有Blackfin強大的處理能力和靈活性，在一個嵌入式處理器裏實現如此複雜而衆多的功能幾乎是不可想像的。
智慧型視訊監控的發展趨勢
儘管智慧型視訊分析在視訊監控中已經得到一定的應用，但它還有很長的發展歷程。一個比較理想的智慧型視訊監控系統應該是這樣的：
如果有一天，城市的一角突然發生槍擊事件。犯罪嫌疑人立即逃向不遠處的轎車，試圖駕車逃跑。然而，他的一舉一動已經落入了公共安全監控網之中，難以遁形。首先，具有聲音識別和聲源定位功能的視訊監控系統檢測到槍聲之後立即調整攝影頭角度和方向，對準槍聲來向，同時啓動第一次報警，報告槍擊發生的大致位置。該攝影頭採集視訊，檢測運動人體，分析人物的行爲特徵，並立即定位、跟蹤嫌疑人。定位後，通知系統內處於合適位置的多個攝影頭提取嫌疑人面部特徵，試圖駕駛的車輛的車牌等，並上傳到管理系統，建立資料庫表項，分發到警局、車站、機場、銀行、海關等重點單位。監控系統轉而跟蹤該車輛。警方在嫌疑人運動的路上設置警力攔截和追捕。即使嫌疑人僥倖逃脫現場追捕，當他出現在全國任何一個攝影頭前的時候，仍然無法逃脫被捕的命運。
這個系統中融合了多種先進監控技術。音視訊結合、視覺成像和非視覺成像結合，目標跟蹤和行爲分析、特徵識別相結合的全連通的智慧型視訊監控系統將是未來安防系統的趨勢。其中的各項技術都已經分別得到了相當的發展。Blackfin在紅外線攝影頭，相位控制陣列麥克風等方面已有許多應用。而更準確、更快速、更強固的智慧視覺分析演算法仍然是一個難點。ADI將會繼續在智慧型視訊監控領域與全球科研機構和企業合作，爲我們創造更安全更美好的生活。
作者：魏宏偉 ADI DSP/嵌入式處理器高級技術應用工程師
Harry.Wei@analog.com
張鐵虎 ADI 視訊監控技術市場經理
Tony.Zhang@analog.com
