TWI453698B - The method of automatic tracking of ball camera - Google Patents

Description

球型攝影機自動追蹤之方法

本發明係關於一種球型攝影機自動追蹤之方法，尤指一種利用運動向量(motion vector)來協助作前景物之切割方式，進而能降低硬體的負擔，讓球型攝影機之運行更為流暢，並具有優異的追蹤效果，而適用於監視器、攝錄機、球型攝影機或類似裝置者。

目前監控系統相當多樣化，許多室內或室外之影像監控系統在習知的固定式攝影機無法涵蓋所有監視範圍的限制下多使用環場攝影機，而環場攝影機其監控的範圍雖然比傳統固定式攝影機大上許多，但是隨著監控範圍的變大，在影像品質控制上的困難也隨之增加。其一困難來自於環場攝影機的鏡頭無法放大或縮小，對於監控畫面中的移動物體經常無法正確的擷取，導致影像可能過小或是模糊不清。

因而進一步發展出具有旋轉變焦式PTZ(Pan-Tilt-Zoom)攝影機，所謂的PTZ是表示攝影機的鏡頭可以進行左右轉動(Pan)、上下傾斜(Tilt)與改變焦距、放大(Zoom)等不同功能，透過PTZ攝影機不僅可以隨時改變拍攝的角度與所涵蓋的範圍，更能透過焦距的改變調整影像的大小與清晰程度，相較於環場攝影機可以獲得更好的監控效果與品質的維持。

而在習知的目標物體追蹤技術中，最傳統且研發歷程也最長的是自動目標物體特徵追蹤技術(automatic object feature tracking technique)，其主要係利用特徵抽取(feature extraction)及特徵比對(feature matching)的方法，從目標物體中擷取出影像特徵，再根據影像特徵鎖定並追蹤目標物體，然而在目標物體的移動中，監視區域的背景通常也跟著變化，而目標物體轉動時，影像特徵也會變化，加上PTZ攝影機持續掃瞄動作，種種的上述因素皆會造成特徵比對方法在實際操作上的困難度。

而另一種習知的目標物體追蹤技術，係運用兩部攝影機，利用外極對應法則(epipolar rule)，根據相對應之成像面的特徵點(fearure points)以求出投影基本矩陣(projection fundamental matrix)，用以鎖定並追蹤目標物體，但當其中一部攝影機執行掃描而轉動時，對應之成像面也跟著改變，兩部攝影機之架設對應關係已經改變，要利用外極對應法則來計算出精準之特徵點對應，並不容易。

在者，從關於追蹤(tracking)的演算法發展歷史來看，也有許多有效的方法被提出，而其中的CamShift演算法是以顏色機率分布來追蹤，藉由計算出色彩機率分佈並不斷的疊代收斂後，以找出該目標的中心及尺寸，進而找出欲追蹤之目標物，但其缺點為如果遇到相近顏色的物體，例如追蹤中的人物，顏色為紅色，而椅子的顏色剛好是紅色，當人走到椅子附近，則CamShift演算法可能會跳至顏色相近的椅子上，造成追蹤的錯誤，而且CamShift演算法因需計算色彩機率分佈，故需要大量的資料處理 及運算，因此需要額外的訊號處理積體電路(DSP)來輔助或是用高效能的電腦來協助運算。

因此，本發明人有鑑於上述缺失，期能提出透過利用運動向量(motion vector)來協助做前景物的切割方式的球型攝影機自動追蹤之方法，以降低硬體的負擔，讓攝影機運行更為流暢，乃潛心研思、設計組製，以提供消費大眾使用。

本發明之主要目的在提供一種球型攝影機自動追蹤之方法，透過利用運動向量(motion vector)來協助作前景物之切割方式，使能快速發現欲追蹤之目標物，進而能控制球型攝影機的方向、速度以及焦距來自動跟拍目標物，使具有優異的目標物自動追蹤之效果，進而增加整體之實用性及優異性者。

本發明之次一目的係在提供一種球型攝影機自動追蹤之方法，透過場景圖像二值化，再從場景圖像二值化之雛型中分割出具有運動向量的連通物件(connected components)，且藉由影像分析來排除掉雜訊，以形成欲追蹤之目標物，進而增加整體之便利性及快速性者。

為達上述之目的，本發明其主要步驟係包括：取得一張影像：透過PTZ鏡頭所監視的畫面中擷取出一張靜態影像；取得影像之運動向量：將影像切割成複數個巨集區塊(macroblock)，並由影像中每一個巨集區塊(macroblock)取得一個運動向量(motion vector)；判斷目前球型攝影機之運動狀態：當球型攝影機為移動狀態時，能配合球型攝影機目前的運動方向及速度等 資訊，將移動中場景的運動向量還原；場景圖像進行二值化：當運動向量還原後，即進行場景圖像二值化，以能看出場景中物件的雛型；分割運動向量中之連通物件：從場景圖像二值化之雛型中分割出具有運動向量的連通物件(connected components)；分析並追蹤所分割出之連通物件：再將連通物件(connected components)以影像分析來排除掉雜訊，以形成欲追蹤之目標物；以及目標物追蹤：當目標物成為追蹤目標後，即透過控制球型攝影機的方向、速度及焦距來自動跟拍目標物，以利進行目標物的追蹤者。

本發明之其他特點及具體實施例，可於以下列配合附圖之詳細說明中，進一步瞭解。

10‧‧‧球型攝影機

11‧‧‧PTZ鏡頭

20‧‧‧目標物

30‧‧‧場景影像

步驟S100‧‧‧取得一張影像

步驟S110‧‧‧取得影像之運動向量

步驟S120‧‧‧判斷目前球型攝影機之運動狀態

步驟S130‧‧‧場景圖像進行二值化

步驟S140‧‧‧分割運動向量中之連通物件

步驟S150‧‧‧分析並追蹤所分割出之連通物件

步驟S160‧‧‧目標物追蹤

步驟S161‧‧‧判斷目標物是否為追蹤目標

步驟S1611‧‧‧判斷失去追蹤目標時間是否超過臨界值

步驟S162‧‧‧判斷追蹤目標於畫面中大小

步驟S163‧‧‧判斷追蹤目標是否接近畫面邊緣

第1圖為本發明之主要步驟流程示意圖。

第2圖為本發明之追蹤目標步驟流程示意圖。

第3圖為本發明之實施狀態示意圖。

請參考第1至3圖所示，係為本發明球型攝影機自動追蹤之方法之流程示意圖及實施狀態示意圖。本發明追蹤之方法主要步驟係包括：步驟S100取得一張影像：透過PTZ鏡頭11所監視的畫面中擷取出一張靜態影像；步驟S110取得影像之運動向量：將影像切割成複數個巨集區塊(macroblock)，並由影像中每一個巨集區塊( macroblock)取得一個運動向量(motion vector)；步驟S120判斷目前球型攝影機之運動狀態：當球型攝影機10為移動狀態時，能配合球型攝影機10目前的運動方向及速度等資訊，將移動中場景的運動向量還原；步驟S130場景圖像進行二值化：當運動向量還原後，即進行場景圖像二值化，以能看出場景中物件的雛型；步驟S140分割運動向量中之連通物件：從場景圖像二值化之雛型中分割出具有運動向量的連通物件(connected components)；步驟S150分析並追蹤所分割出之連通物件：再將連通物件(connected components)以影像分析來排除掉雜訊，以形成欲追蹤之目標物20；步驟S160目標物追蹤：當目標物20成為追蹤目標後，即透過控制球型攝影機10的方向、速度及焦距來自動跟拍目標物20，以利進行目標物20的追蹤者。

其中該步驟S160目標物追蹤進一步含有下列步驟：步驟S161判斷目標物是否為追蹤目標：確認目標物20為欲追蹤目標，並開始進行追蹤；步驟S162判斷追蹤目標於畫面中大小：當追蹤目標於畫面中太大或太小時，即調整球型攝影機10之倍率以能符合畫面之視窗；步驟S163判斷追蹤目標是否接近畫面邊緣：當追蹤目標太接近畫面邊緣時，即調整球型攝影機10速度來跟隨追蹤目標；其中當步驟S161判斷目標物不是追蹤目標時，即進行下一步驟：步驟S1611判斷失去追蹤目 標時間是否超過臨界值：當超過臨界值時即追蹤目標遺失而結束追蹤，反之未超過臨界值時，當追蹤目標出現時即降低球型攝影機10速度來跟隨追蹤目標移動；而該影像分析係進一步包含該目標物20之位置(position)、大小(size)、行進方向(direction)、色彩(color)或紋理(texture)等分析，以能更提昇目標物20判斷之精準；另該每一個巨集區塊(macroblock)係為N x N像素點，且N為8、16、32或其他數字者；再者，該運動相量進一步係包含有位置向量、位移向量、速度向量及加速度向量；另該步驟S120判斷目前球型攝影機之運動狀態進一步為靜止狀態時，即進行下一步驟S130之場景圖像進行二值化者。

請參考第1至3圖所示，係為本發明球型攝影機自動追蹤之方法之流程示意圖及實施狀態示意圖。本發明最佳操作原理係為應用在球型攝影機10自動追蹤移動物體(本發明之目標物20係為汽車)上，經由PTZ鏡頭11快速移動以攝錄場景影像30，而透過本發明之方法的PTZ鏡頭11於一秒內可以攝錄出Y張靜態影像來分析及追蹤，所以一張靜態影像只需不到1/Y秒內(Y可為15或其他數字)就可以完成所有步驟流程(如第1圖所示)，所以在步驟S100中取得一張影像：透過PTZ鏡頭10所監視的畫面中擷取出一張靜態影像；係在將攝錄的場景影像30投射在影像感應器上，而該影像感應器係為電荷耦合元件感應器(CCD)或互補式金氧半導體影像感應器(CMOS)其中一種，藉以從影像感應器中擷取出一張張的靜態影像以能進行下一步驟的分析及追蹤，而在步驟S110取得影像之運動向量 ：將影像切割成複數個巨集區塊(macroblock)，並由影像中每一個巨集區塊(macroblock)取得一個運動向量(motion vector)；當從影像感應器中擷取出一張的靜態影像後即將影像切割成複數個巨集區塊(macroblock)，其中該每一個巨集區塊(macroblock)係為N x N像素點，且N為8、16、32或其他數字，再從巨集區塊(macroblock)中取得運動向量，該運動相量包含X分量及Y分量，而每一個分量都有正負之分，且運動相量包含有位置向量、位移向量、速度向量及加速度向量，其中位置向量係由座標原點指向質點位置(x,y)的向量，、大小、方向為與x軸夾角，而位移向量係為位置向量的變化量，由初位置指向末位置的向量，，再者該速度向量又分有平均速度：，及瞬時速度：，而加速度向量又分有平均加速度：，及瞬時加速度：，因此透過巨集區塊(macroblock)中的運動向量可以得知場景影像30中哪邊有物體在運動，並估算出其運動之方向及速度，以使能判斷出場景影像30中是否有物體在移動，而能進行下一步驟，而步驟S120判斷目前球型攝影機之運動狀態：當球型攝影機10為移動狀態時，能配合球型攝影機10目前的運動方向及速度等資訊，將移動中場景的運動向量還原；由於球型攝影機10經常快速移動PTZ鏡頭11，會讓 影像之運動向量變成無用的資訊，於是配合球型攝影機10目前的運動(移動)方向及速度(轉速)等資訊，以使能將場景影像30中的運動向量還原來判斷出物體真正的運動向量，其中該步驟S120判斷目前球型攝影機之運動狀態如為靜止狀態時，即能判斷出場景影像30中的物體是在移動中，且能算出其運動之方向及速度，因此當目前球型攝影機10之運動狀態判斷出後即能進行下一步驟，步驟S130場景圖像進行二值化：當運動向量還原後，即進行場景圖像二值化，以能看出場景中物件的雛型；當從每一巨集區塊(macroblock)中之運動向量判斷出場景影像30中哪邊有物體在運動，並估算出其運動之方向及速度後，即利用灰階影像二值化(黑與白)來將場景影像中形成物件(Object)圖像和背景(Background)圖像的顯現，其場景圖像二值化時係把大於某個臨界灰度值的像素灰度設為灰度極大值，把小於這個值的像素灰度設為灰度極小值，從而實現二值化，而這個工作主要的任務是正確地找出物件(Object)的邊緣和線條，已便於看出場景中物件的雛型，因此當物件的雛型顯現時即能進行下一步驟，步驟S140分割運動向量中之連通物件：從場景圖像二值化之雛型中分割出具有運動向量的連通物件(connected components)；當每一巨集區塊(macroblock)經由場景圖像二值化後，將具有運動向量的物件雛型顯現出來，進而能進行分割出具有運動向量的連通物件(connected components)，以取得連通物件的外貌及型態，便於判斷連通物件是否為欲追蹤之目標物20，因此當具有運動向量的連通物件(connected components)分割下來後即能進行下一步驟，步驟s150分析並追蹤所分割出之連通物件：再將連通物件( connected components)以影像分析來排除掉雜訊，以形成欲追蹤之目標物20；然而分割出連通物件因包含有大量的雜訊，使得分割出來的連通物件不夠確實及可靠，而容易造成欲追蹤之目標物20追蹤錯誤的現象，故需再透過影像分析來排除掉雜訊，其中該影像分析係包含有該目標物20之位置(position)、大小(size)、行進方向(direction)、色彩(color)或紋理(texture)等分析，使將雜訊濾掉而能呈現出較具確實及可靠的連通物件，進而能更提昇目標物20判斷之精準，以便於判斷出是否為欲追蹤之目標物20，因此當影像分析完成後即進行下一步驟，步驟S160目標物追蹤：當目標物20成為追蹤目標後，即透過控制球型攝影機10的方向、速度及焦距來自動跟拍目標物20，以利進行目標物20的追蹤；而當連通物件經將雜訊濾掉成為一目標物20後，即進行分析是否為欲追蹤之目標物20，因此當分析後其欲追蹤之目標物20確認為追蹤目標時，即能立即透過控制球型攝影機10的方向、速度及焦距來自動跟拍該追蹤目標，以利進行目標物20的自動追蹤者。

而當欲追蹤之目標物20確認為追蹤目標時即能進行下列步驟(如第2圖所示)，步驟S161判斷目標物是否為追蹤目標：確認目標物20為欲追蹤目標，並開始進行追蹤；經確認目標物20為欲追蹤目標後，即能立即透過控制球型攝影機10的方向、速度及焦距來自動跟拍該追蹤目標，而當步驟S161判斷目標物20不是追蹤目標時，即進行另一步驟，步驟S1611判斷失去追蹤目標時間是否超過臨界值：當超過臨界值時即追蹤目標遺失而結束追蹤，故一般臨界值的時間大約都設為3~5秒 ，所以一但超過臨界值的時間該追蹤目標極有可能已不在球型攝影機10所能攝錄的範圍內，或是被障礙物所遮蔽，或是跟物件交錯等即喪失了追蹤目標，而結束了本次追蹤目標的追蹤，以便重新進行新追蹤目標的追蹤，反之，未超過所設定臨界值時間時，其追蹤目標出現於球型攝影機10所能攝錄的範圍內時，立即以降低球型攝影機10的速度來跟隨追蹤目標移動，使球型攝影機10能攝錄到該追蹤目標，而當追蹤目標出現於球型攝影機10之PTZ鏡頭11中(如第3圖所示)即進行下一步驟，步驟S162判斷追蹤目標於畫面中大小：當追蹤目標於畫面中太大或太小時，即調整球型攝影機10之倍率以能符合畫面之視窗；經由目標物20成為追蹤目標後，該PTZ鏡頭11即會跟著追蹤目標的方位、位移、速度來移動及調整，而當發現追蹤目標於畫面中太大時，該球型攝影機10即能自動調整縮小倍率，以便追蹤目標能位於PTZ鏡頭11的正中央，反之，當發現追蹤目標於畫面中太小時，該球型攝影機10亦能自動調整放大倍率，以便追蹤目標能位於PTZ鏡頭11的正中央，使追蹤目標不管遠或近，其球型攝影機10之PTZ鏡頭11均能追蹤到該追蹤目標，而當追蹤目標位於PTZ鏡頭11中時即進行下一步驟，步驟S163判斷追蹤目標是否接近畫面邊緣：當追蹤目標太接近畫面邊緣時，即調整球型攝影機10速度來跟隨追蹤目標；而球型攝影機10之PTZ鏡頭11在攝錄追蹤目標時，有時因為追蹤目標本身的速度忽快忽慢，以使PTZ鏡頭11在追蹤過程中其追蹤目標會因太接近畫面邊緣而快要跑出PTZ鏡頭11外，此時需透過調整加快球型攝影機10之速度，使PTZ鏡頭11能加快往追蹤目標方向移動，以能跟上該追蹤目標，反之，如 追蹤目標沒有接近畫面邊緣快的話，只要微調球型攝影機10之速度，使PTZ鏡頭11能跟隨追蹤目標方向移動，一直到追蹤目標已不在球型攝影機10所能攝錄的範圍內，而喪失了追蹤目標，進而結束本次追蹤目標的追蹤。

由以上可知，本發明之追蹤之方法，具有如下之優點：

1、該欲追蹤之目標物就算有突然加速、減速、被障礙物遮蔽或是跟另一物件交錯，都可以有很優異的追蹤效果者。

2、本發明之方法適合實現在硬體效能較差的嵌入式平台中，且不需要額外的訊號處理積體電路(DSP)輔助，就能讓球型攝影機運行的更流暢者。

藉由以上詳細說明，可使熟知本項技藝者明瞭本發明的確可達成前述目的，已符合專利法之規定，爰提出專利申請。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍；故，凡依本發明申請專利範圍及說明書內容所作之簡單的等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。

步驟S100‧‧‧取得一張影像

步驟S110‧‧‧取得影像之運動向量

步驟S120‧‧‧判斷目前球型攝影機之運動狀態

步驟S130‧‧‧場景圖像進行二值化

步驟S140‧‧‧分割運動向量中之連通物件

步驟S150‧‧‧分析並追蹤所分割出之連通物件

步驟S160‧‧‧目標物追蹤

Claims (6)

1. 一種球型攝影機自動追蹤之方法，該追蹤之方法主要步驟係包括：取得一張影像：透過PTZ鏡頭所監視的畫面中擷取出一張靜態影像；取得影像之運動向量：將影像切割成複數個巨集區塊(macroblock)，並由影像中每一個巨集區塊(macroblock)取得一個運動向量(motion vector)；判斷目前球型攝影機之運動狀態：當球型攝影機為移動狀態時，能配合球型攝影機目前的運動方向及速度等資訊，將移動中場景的運動向量還原；場景圖像進行二值化：當運動向量還原後，即進行場景圖像二值化，以能看出場景中物件的雛型；分割運動向量中之連通物件：從場景圖像二值化之雛型中分割出具有運動向量的連通物件(connected components)；分析並追蹤所分割出之連通物件：再將連通物件(connected components)以影像分析來排除掉雜訊，以形成欲追蹤之目標物；目標物追蹤：當目標物成為追蹤目標後，即透過控制球型攝影機的方向、速度及焦距來自動跟拍目標物，以利進行目標物的追蹤；判斷目標物是否為追蹤目標：確認目標物為欲追蹤目標，並 開始進行追蹤；以及判斷失去追蹤目標時間是否超過臨界值：當超過臨界值時即追蹤目標遺失而結束追蹤，反之未超過臨界值時，當追蹤目標出現時即降低球型攝影機速度來跟隨追蹤目標移動者。
2. 如申請專利範圍第1項所述之球型攝影機自動追蹤之方法，其中該目標物追蹤進一步含有下列步驟：判斷追蹤目標於畫面中大小：當追蹤目標於畫面中太大或太小時，即調整球型攝影機之倍率以能符合畫面之視窗；判斷追蹤目標是否接近畫面邊緣：當追蹤目標太接近畫面邊緣時，即調整球型攝影機速度來跟隨追蹤目標者。
3. 如申請專利範圍第1項所述之球型攝影機自動追蹤之方法，其中該影像分析係進一步包含該目標物之位置(position)、大小(size)、行進方向(direction)、色彩(color)或紋理(texture)等分析，以能更提昇目標物判斷之精準者。
4. 如申請專利範圍第1項所述之球型攝影機自動追蹤之方法，其中該每一個巨集區塊(macroblock)係為N x N像素點，且N為8、16、32或其他數字者。
5. 如申請專利範圍第1項所述之球型攝影機自動追蹤之方法，其中該運動相量進一步係包含有位置向量、位移向量、速度向量及加速度向量者。
6. 如申請專利範圍第1項所述之球型攝影機自動追蹤之方法，其中該判斷目前球型攝影機之運動狀態進一步為靜止狀態時，即進行下一步驟之場景圖像進行二值化者。