TWI479857B

TWI479857B - PTZ camera automatic tracking method

Info

Publication number: TWI479857B
Application number: TW101137859A
Authority: TW
Original assignee: Everfocus Electronics Corp
Priority date: 2012-10-15
Filing date: 2012-10-15
Publication date: 2015-04-01
Also published as: TW201415882A

Description

PTZ攝影機自動追蹤之方法

本發明係關於一種PTZ攝影機自動追蹤之方法，尤指一種藉由質心搜尋方法來協助修正只經過原始樣板比對(NCC Template Matching)法之公式運算後所抓取最亮點之絕對位置所產生之誤差，並具有修正前景物件樣板更新錯誤的機會，讓PTZ攝影機之鏡頭能有優異的追蹤效果，而適用於監視器、攝錄機、球型攝影機或類似裝置者。

目前的監視器大都採用具有旋轉變焦式PTZ(Pan-Tilt-Zoom)攝影機，所謂的PTZ是表示攝影機的鏡頭可以進行左右轉動(Pan)、上下傾斜(Tilt)與改變焦距、放大(Zoom)等不同功能，透過PTZ攝影機不僅可以隨時改變拍攝的角度與所涵蓋的範圍，更能透過焦距的改變調整影像的大小與清晰程度，相較於環場攝影機可以獲得更好的監控效果與品質的維持。

而在習知的目標物體追蹤技術中，最傳統且研發歷程也最長的是自動目標物體特徵追蹤技術(automatic object feature tracking technique)，其主要係利用特徵抽取(feature extraction)及特徵比對(feature matching )的方法，從目標物體中擷取出影像特徵，再根據影像特徵鎖定並追蹤目標物體，然而在目標物體的移動中，監視區域的背景通常也跟著變化，而目標物體轉動時，影像特徵也會變化，加上PTZ攝影機持續掃瞄動作，種種的上述因素皆會造成特徵比對方法在實際操作上的困難度。

因此，本發明人有鑑於上述缺失，期能提出精準地計算出移動物的行進方向及位置，以能讓監視器之鏡頭能跟隨拍攝的PTZ攝影機自動追蹤之方法，乃潛心研思、設計組製，以提供消費大眾使用。

本發明之主要目的在提供一種PTZ攝影機自動追蹤之方法，係能先經由樣板比對(NCC Template Matching)法來求得比對後之樣板比對(NCC Template Matching)產出圖及比對值最大的最亮點之絕對位置，再經由質心搜尋方法來算出修正後之亮點集合中心的質心坐標位置，藉此，能修正只經過原始樣板比對(NCC Template Matching)法之公式運算後所抓取最亮點之絕對位置所產生之誤差，並具有修正前景物件樣板更新錯誤的機會，讓PTZ攝影機之鏡頭能具有優異的追蹤效果，進而增加整體之實用性及優異性者。

本發明之次一目的係在提供一種PTZ攝影機自動追蹤之方法，透過將擷取對應於搜尋視窗之位置的畫面及前景物件樣板進行比對，以求得比對後之樣板比對(NCC Template Matching)產出圖及比對值最大的最亮點之絕對位置，且再以比對值最大的最亮點之絕對位置為中心，來從樣板比對(NCC Template Matching)產出圖中擷取適當比例之視窗成為次樣板比對(NCC Template Matching)產出圖，再於次樣板比對(NCC Template Matching)產出圖中進行質心搜尋方法來算出修正後之亮點集合中心的質心坐標位置，讓PTZ攝影機之鏡頭能根據質心坐標位置來進行移動追蹤，以能更精準地找到前景物件，進而增加整體之便利性及快速性者。

為達上述之目的，本發明PTZ攝影機自動追蹤之方法，其主要步驟係包括：建立背景機制：透過PTZ攝影機之鏡頭來攝錄一畫面，並將所攝錄之畫面當成背景樣板；前景偵測擷取：當背景樣板內出現移動物件時，即進行移動物件之位置偵測，並將背景樣板內之移動物件進行切割成前景物件樣板；開始進行追蹤：PTZ攝影機之鏡頭開始移動以進行追蹤前景物件；擴大搜尋視窗：將前景物件樣板以原來位置之中心進行比例擴大並成為一搜尋視窗；擷取搜尋視窗：於下一張畫面中將對應於搜尋視窗之位置擷取下來；進行樣板比對法：將擷取對應於搜尋視窗之位置的畫面及前景物件樣板來引入樣板比對(NCC Template Matching)法進行比對，以求得比對後之樣板比對(NCC Template Matching)產出圖及比對值最大的最亮點之絕對位置；擷取適當次樣板比對產出圖：以比對值最大的最亮點之絕對位置為中心，再從樣板比對(NCC Template Matching)產出圖中擷取適當比例之視窗成為次樣板比對(NCC Template Ma tching)產出圖；進行質心搜尋方法：將次樣板比對(NCC Template Matching)產出圖使用質心搜尋方法來算出修正後之亮點集合中心的質心坐標位置；對應回樣板比對產出圖：將修正後之質心坐標位置對應回樣板比對(NCC Template Matching)產出圖中的絕對位置；映回原下一張畫面中：將對應回樣板比對(NCC Template Matching)產出圖再映回至原下一張畫面中的絕對位置；進行比對值是否符合臨界值：將質心坐標位置所對應的修正後亮點之比對值來與設定之臨界值進行比對是否符合；更新前景物件絕對位置及樣板：當修正後亮點之比對值符合臨界值時，即根據質心坐標位置來更新前景物件之絕對位置及進行前景物件樣板之更新；以及進行前景物件追蹤：而PTZ攝影機之鏡頭也隨質心坐標位置進行移動追蹤，且回到擴大搜尋視窗步驟來進行下一張畫面之比對者。

本發明之其他特點及具體實施例，可於以下列配合附圖之詳細說明中，進一步瞭解

10‧‧‧背景樣板

20‧‧‧移動物件

30‧‧‧前景物件樣板

31‧‧‧前景物件

40‧‧‧搜尋視窗

50‧‧‧樣板比對(NCC Template Matching)產出圖

60‧‧‧次樣板比對(NCC Template Matchi ng)產出圖

61‧‧‧比對值圖

70‧‧‧質心坐標位置

80‧‧‧下一張畫面

步驟S100‧‧‧建立背景機制

步驟S200‧‧‧前景偵測擷取

步驟S300‧‧‧開始進行追蹤

步驟S400‧‧‧擴大搜尋視窗

步驟S500‧‧‧擷取搜尋視窗

步驟S600‧‧‧進行樣板比對法

步驟S700‧‧‧擷取適當次樣板比對產出圖

步驟S800‧‧‧進行質心搜尋方法

步驟S900‧‧‧對應回樣板比對產出圖

步驟S1000‧‧‧映回原下一張畫面中

步驟S1100‧‧‧進行比對值是否符合臨界值

步驟S1200‧‧‧更新前景物件絕對位置及樣板

步驟S1300‧‧‧進行前景物件追蹤

第1圖為本發明之主要步驟流程示意圖。

第2圖為本發明之前景偵測擷取作動示意圖。

第3圖為本發明之擷取搜尋視窗作動示意圖。

第4圖為本發明之擷取適當次樣板比對產出圖作動示意圖。

第5圖為本發明之次樣板比對產出圖的比對值圖示意圖。

第6圖為本發明之將次樣板比對產出圖映回原下一張畫面中作動示意圖。

請參考第1~6圖所示，係為本發明PTZ攝影機自動追蹤之方法之流程示意圖。本發明追蹤之方法主要步驟係包括：步驟S100建立背景機制：透過PTZ攝影機之鏡頭來攝錄一畫面，並將所攝錄之畫面當成背景樣板10；步驟S200前景偵測擷取：當背景樣板10內出現移動物件20時，即進行移動物件20之位置偵測，並將背景樣板10內之移動物件20進行切割成前景物件樣板30；步驟S300開始進行追蹤：PTZ攝影機之鏡頭開始移動以進行追蹤前景物件31；步驟S400擴大搜尋視窗：將前景物件樣板30以原來位置之中心進行比例擴大並成為一搜尋視窗40；步驟S500擷取搜尋視窗：於下一張畫面80中將對應於搜尋視窗40之位置擷取下來；步驟S600進行樣板比對法：將擷取對應於搜尋視窗40之位置的畫面及前景物件樣板30來引入樣板比對(NCC Template Matching)法進行比對，以求得比對後之樣板比對(NCC Template Matching)產出圖50及比對值最大的最亮點之絕對位置；步驟S700擷取適當次樣板比對產出圖：以比對值最大的最亮點之絕對位置為中心，再從樣板比對(NCC Template Matching)產出圖50中擷取適當比例之視窗成為次樣板比對(NCC Template Matching)產出圖60；步驟S800進行質心搜尋方法：將次樣板比對(NCC Template Matching)產出圖60使用質心搜尋方法來算出修正後之亮點集合中心的質心坐標位置70；步驟S900對應回樣板比對產出圖：將修正後之質心坐標位置70對應回樣板比對(NCC Template Matching)產出圖50中的絕對位置；步驟S1000映回原下一張畫面中：將對應回樣板比對(NCC Template Matching)產出圖50再映回至原下一張畫面80中的絕對位置；步驟S1100進行比對值是否符合臨界值：將質心坐標位置70所對應的修正後亮點之比對值來與設定之臨界值進行比對是否符合；步驟S1200更新前景物件絕對位置及樣板：當修正後亮點之比對值符合臨界值時，即根據質心坐標位置70來更新前景物件31之絕對位置及進行前景物件樣板30之更新；以及步驟S1300進行前景物件追蹤：而PTZ攝影機之鏡頭也隨質心坐標位置70進行移動追蹤，且回到步驟S400擴大搜尋視窗中來進行下一張畫面80之比對者。

其中該步驟S200前景偵測擷取中係進一步當背景樣板10並無出現移動物件20時，即回到步驟S100建立背景機制10上，直到出現移動物件20；另該步驟S400擴大搜尋視窗中之搜尋視窗係進一步為前景物件樣板30擴大2倍至5倍比例；另該步驟S1100進行比對值是否符合臨界值係進一步當修正後亮點之比對值不符合臨界值時，其PTZ攝影機之鏡頭即停止移動追蹤，並回到步驟S100建立背景機制10來進行下一張畫面80的背景樣板10建立；另該質心搜尋方法係進一步將次樣板比對(NCC Template Matching)產出圖60之比對值進行下列計算公式：以求得該次樣板比對(NCC Template Matching)產出圖60中的亮點集合中心的質心坐標位置70；另該樣板比對(NCC Template Matching)法係為對擷取對應於搜尋視窗40之位置的畫面之像素位置及前景物件樣板30之間的相關系數γ(x，y)來進行計算，其計算公式如下：其中，I是擷取對應於搜尋視窗40之位置的畫面，是擷取對應於搜尋視窗40之位置的畫面的灰階平均值，T是指前景物件樣板30，是前景物件樣板30內像素的灰階平均值者。

請參考第1~6圖所示，係為本發明PTZ攝影機自動追蹤之方法之流程示意圖。本發明最佳操作原理係為應用在具有旋轉變焦式PTZ(Pan-Tilt-Zoom)攝影機，而所謂的PTZ是表示攝影機的鏡頭可以進行左右轉動(Pan)、上下傾斜(Tilt)與改變焦距、放大(Zoom)等不同功能，透過PTZ攝影機不僅可以隨時改變拍攝的角度與所涵蓋的範圍，更能透過焦距的改變調整影像的大小與清晰程度，相較於環場攝影機可以獲得更好的監控效果與品質的維持，且PTZ攝影機之鏡頭於1秒內可以攝錄出15張靜態畫面來分析及追蹤，所以一張靜態畫面只需1/15秒就可以完成所有步驟流程來進行比對，所以本發明之PTZ攝影機自動追蹤之方法係能修正只經過原始樣板比對(NCC Template Matching)法之公式運算後所抓取最亮點之絕對位置所產生之誤差，並具有修正前景物件樣板30更新錯誤的機會，讓PTZ攝影機之鏡頭能具有優異的追蹤效果，而本發明首先進行的是步驟S100建立背景機制：透過PTZ攝影機之鏡頭來攝錄一畫面，並將所攝錄之畫面當成背景樣板10；當PTZ攝影機之鏡頭於靜止狀態下攝錄畫面後，會先進行畫面之背景建立，也就是拿第1張畫面來當背景樣板10供比對，再透過利用前景截取演算法來比對前後張畫面是否有不同的變化，當出現變化時即進入下一步驟，步驟S200前景偵測擷取：當背景樣板10內出現移動物件 20時，即進行移動物件20之位置偵測，並將背景樣板10內之移動物件20進行切割成前景物件樣板30(如第2圖所示)；而當前景截取演算法來比對出前後張畫面有不同的變化時即背景樣板10內出現移動物件20(如汽車、行人等)也就形成所謂的前景物件31，即立即對移動物件20進行位置偵測，以獲得移動物件20的位置，並將背景樣板10內之移動物件20即前景物件31來進行切割，以使移動物件20能單獨形成前景物件樣板30，另當步驟S200前景偵測擷取中之背景樣板10經比對後並無出現移動物件20時，即回到步驟S100建立背景機制中來繼續比對前後張畫面直到出現移動物件20，而當形成前景物件樣板30後即進行下一步驟，步驟S300開始進行追蹤：PTZ攝影機之鏡頭開始移動以進行追蹤前景物件31；而PTZ攝影機之鏡頭即根據前景物件樣板30的位置來開始進行追蹤移動物件20即前景物件31，當開始進行追蹤後即進行下一步驟，步驟S400擴大搜尋視窗：將前景物件樣板30以原來位置之中心進行比例擴大並成為一搜尋視窗40；首先，先將從背景樣板10中切割出來的前景物件樣板30進行位置確認，當位置確認後即以前景物件樣板30的原來位置之中心來擴大比例成為一搜尋視窗40，其中該擴大比例為前景物件樣板30的2倍至5倍，以方便進行搜尋比對，當擴大比例成為搜尋視窗40後即進行下一步驟，步驟S500擷取搜尋視窗：於下一張畫面80中將對應於搜尋視窗40之位置擷取下來；而當從PTZ攝影機之鏡頭所攝錄之下一張畫面80進來時，即於畫面上對應著前景物件樣板30擴大比例的搜尋視窗40，並將對應搜尋視窗40之位置的畫面切割擷取下來(第3圖所示)，當擷取下來後即進行下一步驟，步驟S600進行樣板比對法：將擷取對應於搜尋視窗40之位置的畫面及前景物件樣板30來引入樣板比對(NCC Template Matching)法進行比對，以求得比對後之樣板比對(NCC Template Matching)產出圖50及比對值最大的最亮點之絕對位置；也就是將前一步驟中擷取下來對應於搜尋視窗40之位置的畫面及前景物件樣板30引入樣板比對(NCC Template Matching)法進行比對，而該樣板比對(NCC Template Matching)法係為對擷取對應於搜尋視窗40之位置的畫面之像素位置及前景物件樣板30之間的相關系數γ(x，y)來進行計算，其計算公式如下：其中，I是擷取對應於搜尋視窗40之位置的畫面，是擷取對應於搜尋視窗40之位置的畫面的灰階平均值，T是指前景物件樣板30，是前景物件樣板30內像素的灰階平均值，藉此，透過上述之計算公式來求得比對後之樣板比對(NCC Template Matching)產出圖50及比對值最大的最亮點之絕對位置，使能藉由樣板比對(NCC Template Matching)產出圖50來發現最亮點的絕對位置在何處，而該最亮點的絕對位置即可能就是前景物件31移動的位置，因此，當比對完後即進入下一步驟，步驟S700擷取適當次樣板比對產出圖：以比對值最大的最亮點之絕對位置為中心，再從樣板比對(NCC Template Matching)產出圖50中擷取適當比例之視窗成為次樣板比對(NCC Template Matching)產出圖60；再從上一步驟S600進行樣板比對法中的產出的樣板比對(NCC Template Matching)產出圖50來看，該樣板比對(NCC Template Matching)產出圖50會出現比對值最大的最亮點之絕對位置，因此，再於樣板比對(NCC Template Matching)產出圖50中來將比對值最大的最亮點之絕對位置進行擷取出適當比例的視窗，以成為次樣板比對(NCC Template Matching)產出圖60(如第4圖所示)，也就是將找到最亮點的絕對位置後再進行一次擷取適當比例之視窗動作，而擷取適當比例之視窗完後即進行下一步驟，步驟S800進行質心搜尋方法：將次樣板比對(NCC Template Matching)產出圖60使用質心搜尋方法來算出修正後之亮點集合中心的質心坐標位置70；當從樣板比對(NCC Template Matching)產出圖50中擷取出次樣板比對(NCC Template Matching)產出圖60來後，即再將次樣板比對(NCC Template Matching)產出圖60以質心搜尋方法來找尋亮點集合中心的質心坐標位置70，其中該質心搜尋方法係為下列計算公式：透過上述計算公式代入次樣板比對(NCC Template Matching)產出圖60的比對值圖61，而比對值圖中的比對值即進行代入質心搜尋方法公式計算為如下，M₀₀=6+4+10+26+29+5+7+30+28+23+3+6+25+30+30+30+2+4+2+26+27+22+4+3+1+30+3+2+1=445,M₁₀=1×0+2×0+3×0+4×0+5×(7+6+4)+6×(10+26+25+2+3)+7×(6+26+30+30+26+1)+8×(4+29+28+30+27)+9×(5+23+30+22+30+2)+10×(3+2+4+3+1)=3468,M₀₁=1×0+2×0+3×0+4×(6+4)+5×(10+26+29+5)+6×(7+26+30+28+23+3)+7×(6+25+30+30+30+2)+8×(4+2+26+27+22+4)+9×(3+1+30+3)+10×(2+1)=2996, 因此，經由質心搜尋法修正後得到亮點集合中心的質心座標位置70為(7，8)(如第5圖所示)，該周圍數值相關性明顯的提高，而比原來經由樣板比對(NCC Template Matching)法算出的比對值最大的最亮點(30)之絕對位置為(9，9)的周圍數值相關性來的更高一些，藉此，能修正只經過原始樣板比對(NCC Template Matching)法之公式運算後所抓取最亮點之絕對位置所產生之誤差，使能更精準地判斷出正確的最亮點的位置，當算出修正後之質心坐標位置70後即進入下一步驟，步驟S900對應回樣板比對產出圖：將修正後之質心坐標位置70對應回樣板比對(NCC Template Matching)產出圖50中的絕對位置；也就是將具有修正後之質心坐標位置70的次樣板比對(NCC Template Matching)產出圖60對應貼回原樣板比對(NCC Template Matching)產出圖50的絕對位置中，當貼回原樣板比對(NCC Template Matching)產出圖50後，即進行下一步驟，步驟S1000映回原下一張畫面中：將對應回樣板比對(NCC Template Matching)產出圖50再映回至原下一張畫面80中的絕對位置；而上一步驟S900對應回樣板比對產出圖後，再將樣板比對(NCC T emplate Matching)產出圖50貼回至原來的畫面中之絕對位置中(如第6圖所示)，使能從原來的畫面之絕對位置中找出真正修正後亮點的質心坐標位置70，當貼回至原下一張畫面80後，即進行下一步驟，步驟S1100進行比對值是否符合臨界值：將質心坐標位置70所對應的修正後亮點之比對值來與設定之臨界值進行比對是否符合；而上一步驟S1000映回原下一張畫面80中後，即將原來畫面中真正亮點之質心坐標位置70的比對值抓出(如第5圖中的(7，8)為26)，再將抓出的比對值與原來PTZ攝影機之鏡頭內所設定之臨界值進行比對是否符合，其中當進行比對值不符合臨界值時，其PTZ攝影機之鏡頭即停止移動追蹤，並回到步驟S100建立背景機制之步驟來進行下一張畫面的背景樣板10建立之動作，而當進行比對值符合臨界值時，即進行下一步驟，步驟S1200更新前景物件絕對位置及樣板：當修正後亮點之比對值符合臨界值時，即根據質心坐標位置70來更新前景物件31之絕對位置及進行前景物件樣板30之更新；也就是當修正後亮點之比對值符合臨界值時，則透過質心坐標位置70所標示的位置來當更新後的前景物件31之絕對位置，且再根據更新後的前景物件31之絕對位置來更新前景物件樣板30，以便於下一張畫面進來後能根據新的前景物件樣板30來進行比對，當更新前景物件樣板30後即進行下一步驟，步驟S1300進行前景物件追蹤：而PTZ攝影機之鏡頭也隨質心坐標位置70進行移動追蹤，且回到步驟S400擴大搜尋視窗來進行下一張畫面之比對；而上一步驟S1200更新前景物件絕對位置及樣板後，其PTZ攝影機之鏡頭也就能根據最新的質心坐標位置70來進行移動追蹤，使能更精準地找到前景物件31，而不會因為只經過原始樣板比對(NCC Template Matching)法之運算比對後所得到的最亮點之絕對位置是錯誤的而造成追蹤失敗或錯誤，且當PTZ攝影機之鏡頭開始移動追蹤後，即回到步驟S400擴大搜尋視窗中來進行下一張畫面80之比對，直到PTZ攝影機之鏡頭無法判讀出前景物件31，即結束本次追蹤回到步驟S100建立背景機制中等待下一次前景物件31(移動物件20的出現)，藉此，透過本發明之步驟能增進PTZ攝影機之鏡頭的追蹤效能，也增加了PTZ攝影機之鏡頭之靈敏度者。

藉由以上詳細說明，可使熟知本項技藝者明瞭本發明的確可達成前述目的，已符合專利法之規定，爰提出專利申請。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍；故，凡依本發明申請專利範圍及說明書內容所作之簡單的等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。