TWI464697B

TWI464697B - 追蹤移動物件之裝置與方法

Info

Publication number: TWI464697B
Application number: TW101103061A
Authority: TW
Inventors: Yung Jen Chuang; Yung Chang Chen; Shih Yin Huang
Original assignee: Nat Univ Tsing Hua
Priority date: 2012-01-31
Filing date: 2012-01-31
Publication date: 2014-12-11
Also published as: TW201331854A

Description

追蹤移動物件之裝置與方法

本發明係關於一種追蹤移動物件之移動特性的裝置及方法。本發明又關於一種分析一錄影影片中移動物件之遮蔽及追蹤該移動物件之移動特性的裝置及方法。本發明更關於一種追蹤活體行為之移動特性的裝置及方法。

在過去幾年，許多文章致力於物件追蹤的研究。由於物件追蹤應用廣泛因而十分受到重視，例如姿勢辨認、身體及臉部姿態估測、臉部表情分析及辨認、監視系統等。這些作用中，物件全程追蹤扮演了一個重要的角色。如追蹤演算法，其可分為以下因素：追蹤物件：例如車、人體部位：臉、手等。

視野的數目：單一視野、多視野。

相機的狀態：移動或固定。

追蹤環境：室內或室外。

追蹤物件的數目：單一物件、多物件。

一段時間的追蹤需要物件訊息(位置、速度、顏色、結構、外型等)在連續的畫面中符合連續的關係。簡言之，物件追蹤方法是試圖辨認一圖像參數在兩畫面間的對應關係。目前畫面辨認出物件的真實狀態會根據先前畫面的訊息被推估及比較。Kalman濾波即是一種出色的預測設計架構(G.Welch and G.Bishop,An introduction to the Kalman filter.Notes ACM SIGGRAPH Tutorial Kalman Filter,2001).

在生物學研究中已使用模式動物來執行動物行為實驗。研究者通常使用各式實驗動物來做為人類或其他標的生物模型。模式動物已廣泛的被用來預防人體試驗或其他實際上、道德上不能在人體執行試驗的相關風險，例如，發明新藥、篩選對人體有毒性的特定化合物、研究基因或從人和動物上找到的突變、或研究一基礎生物原理如基因轉錄。模式動物也被用來測量經過某些治療後反應的實驗。

行為實驗，一般來說是以一手動或者半自動方式記錄動物行為。某些行為手動記錄可能是記錄或測量行為的唯一方式，但人為錯誤可能會造成某些非預期不正確數據，降低實驗的準確性。電腦化影像追蹤工具相較之下擁有一些優點，第一，可靠；第二，系統不會疲勞或偏移；第三，可測量人類無法做準確的記錄的局部動態行為(如等時移動距離、速度、轉彎等)。綜之，電腦化影像追蹤工具會比手動紀錄有較佳的執行力(L.P.Noldus,et al.(2001)“Etho Vision：a versatile video tracking system for automation of behavioral experiments”,Behav Res Methods Instrum Comput.33,pp.398-414)。

然而，追蹤演算法有個重要的議題是如何正確處理遮蔽情況。遮蔽情況可分為兩種，部分或者全部被另一物件遮蔽。遮蔽情況會造成很大的非預期追蹤錯誤，但少數追蹤技術會假設完全沒有遮蔽。在追蹤過程中，多個物件可能會不斷的發生遮蔽，尤其在追蹤一群小型交錯移動物件時。

基於上述理由，本發明提供一創新自動分離方法，可偵測一錄影影片上移動物件的遮蔽情況並分辨該移動物件之正確位置，提供追蹤多個移動物件更佳的追蹤效率。

本發明因應前述實驗之自動測量，偵測錄影畫面上之遮蔽情形、辨認該移動物件之正確位置及提供一追蹤多個移動物件的有效測量結果的裝置及方法之強大需求。

本文中用語“轉換錄影影片成為錄影畫面”除了另外定義，係指轉換一錄影影片從影片格式成為定格畫面格式，其中該錄影畫面包含然不限於特定的影片格式。

本文中用語“移動物件”除了另外定義，係指一有移動特性的物件，其中該移動物件包含然不限於球、引擎推動機器及/或活體生物，其中該活體生物包含然不限於蠅類、魚類、哺乳類、鳥類及/或人類。

本文中用語“遮蔽”除了另外定義，係指在某些視野無法看見一物件或物件的一部分，該被遮住的物件部分可能被任何一種物件遮住。

本文中用語“物理架構”除了另外定義，係指該移動物件之主要結構。舉例來說，如果該移動物件是一活體生物，該物理架構即是一骨骼或輪廓。

本文中用語“端點”除了另外定義，係指該移動物件物理架構的末端點，該端點更進一步包含一頭點及尾點，其中朝前方移動方向的端點是頭點，反之則是尾點。

本文中用語“距離地圖”除了另外定義，係指一顯示該移動物件物理架構的幾何訊息之地圖，其中該幾何訊息包含物理架構之端點甚至是頭點及尾點的位置及旋轉方向。

本文中用語“Euclidean距離”除了另外定義，係指兩點間的直接距離。

本文中用語“畫素”除了另外定義，係指在影片、圖片及/或畫面上一試映圖像中的單點。

本發明之一態樣提供了一種追蹤至少兩個移動物件之移動特性的方法，包括：(a)提供該至少兩個移動物件之一錄影影片；(b)轉換該錄影影片成為多重錄影畫面；(c)辨認是否該錄影畫面上該至少兩個移動物件有遮蔽情況；(d)若無，個別地辨認及記錄該錄影畫面上該至少兩個移動物件之位置；(e)若有，標記該錄影畫面上該處於被遮蔽情形之移動物件及該處於未被遮蔽情形之移動物件兩者物理架構上未被遮蔽端點的位置，然後執行以下步驟：(e1)辨認及記錄該錄影畫面上該未被遮蔽移動物件的位置；(e2)根據一該錄影畫面上該移動物件之端點的Euclidean距離及轉彎方向產生一該被遮蔽移動物件之端點的距離地圖；(e3)比較該錄影畫面上該被遮蔽移動物件之端點的距離地圖與先前錄影畫面的距離地圖；(e4)找出該被遮蔽移動物件在先前錄影畫面的一相符端點；(e5)外插入該錄影畫面上該被遮蔽移動物件物理架構之訊息；(e6)插入該錄影畫面上該被遮蔽移動物件之位置；及(e7)紀錄該被遮蔽移動物件之位置；及(f)追蹤該錄影畫面上該至少兩個移動物件之移動特性。

在本發明一些實施例中，該位置包含重心及端點。在一些實施例中，其中該端點更進一步包括頭點及尾點

在本發明較佳實施例中，其中相符端點包括在該先前錄影畫面上擁有最小Euclidean距離或一較小轉彎方向的端點。

在本發明較佳實施例中，其中該物理架構之訊息包括向量、重心、端點、轉彎角度、轉彎方向、速度、長度及/或位置。

在本發明一些較佳實施例中，其中該移動特性包括路徑、停留時間、姿勢、重心、端點、轉彎角度、轉彎次數、翻轉次數、轉彎方向、速度、長度及/或位置。

在本發明一些實施例中，該移動物件包含然不限於球、引擎推動機器及活體生物。在一些較佳實施例中，該活體生物包含然不限於蠅類、魚類、哺乳類、鳥類及人類。在某些較佳實施例中，該魚類係斑馬魚。在某些較佳實施例中，該哺乳類系小鼠、大鼠、猴子、兔子及人類。

本發明之一態樣提供了一種追蹤至少兩個移動物件之移動特性的裝置，包括：(a)一元件，用以接收該移動物件之一錄影訊號及轉換該錄影訊號成為一錄影影片之；及(b)一元件，用以辨認一錄影畫面中該移動物件之遮蔽情形、分析該移動物件之物理架構的訊息、尋找及紀錄該錄影畫面中該被遮蔽移動物件之位置及追蹤該移動物件之移動特性。

在一較佳實施例圖示說明如圖式1，本發明包含一裝置100 用以追蹤該至少兩個移動物件之移動特性，其中包括元件110 及元件120 。元件110 包含一組件111 用以接收一移動物件之錄影訊號及組件112 用以轉換該錄影訊號成為一錄影影片。在一些較佳實施例中，該元件110 可能是，舉例來說，一錄影記錄器、一動態錄影相機及/或一數位相機。

元件120 接收元件110 接收的錄影影片，該元件120 進一步包含一組件121 用以接收元件110 紀錄的錄影影片、一組件122 用來轉換該錄影影片成為錄影畫面、一組件123 用以偵測該錄影畫面上的移動物件、一組件124 用以辨認該錄影畫面上之移動物件的遮蔽情形及一組件125 用以執行一分析該移動物件之物理架構訊息的追蹤演算法、尋找及紀錄該錄影畫面上被遮蔽移動物件的位置及追蹤該移動物件的移動特性。

在本發明之一些較佳實施例，該元件120 更進一步包括，如一處理器及/或一電腦、一客製化軟體程式及一分析演算法，其中該處理器及/或電腦安裝及配裝了客製化軟體程式(或配裝了韌體)例如MATLAB或C/C++程式語法，可用以執行該分析演算法及分析該錄影影片來追蹤移動物件。

在本發明某些較佳實施例中，該處理器及/或電腦系安裝及配裝了客製化軟體程式，及該客製化軟體程式是用來執行該演算法，來辨認該錄影畫面中移動物件之遮蔽情形、尋找及紀錄該錄影畫面中被遮蔽物件之位置，及追蹤該移動物件的移動特性。

參照圖式2，本發明之一實施例大體上的操作方法200 ，一開始，在移動特性追蹤模式，步驟210 該裝置接收到一至少兩個移動物件之錄影影片，然後在步驟220 ，該錄影影片被轉換成為一多重錄影畫面。在錄影畫面製備完成後，步驟230 ，該裝置偵測是否該錄影畫面上的移動物件有任何遮蔽情形。

如果該錄影畫面上的移動物件沒有遮蔽情形，在步驟240 該裝置更進一步確認是否該錄影畫面為該錄影影片的第一張畫面。若是，步驟241 該裝置開始該追蹤演算法的起始狀態；若否，步驟242 該裝置紀錄該錄影畫面上的移動物件之重心位置，及步驟243 連結該錄影畫面與先前狀態。之後在步驟244 該裝置分析該錄影畫面上所有移動物件之物理架構後，步驟245 標記該錄影畫面上所有移動物件的頭/尾點位置，及步驟246 紀錄該錄影畫面上移動物件之頭/尾點及重心位置。在上述所有步驟之後，步驟260 該裝置開始分析下一張畫面，且其流程從步驟230 重新開始。

另一方面，如該錄影畫面上的移動物件有遮蔽情形，在步驟250 ，該裝置分析該錄影畫面上所有移動物件之物理架構，然後分析該錄影畫面上所有移動物件之物理架構。之後在步驟251 ，該裝置更進一步確認是否該錄影畫面上之移動物件為被遮蔽物件，若否，在步驟256 該裝置根據先前畫面之訊息記錄其頭/尾點，步驟257 紀錄該錄影畫面上之移動物件的頭/尾點及重心位置；若是，在步驟252 ，該裝置根據該錄影畫面上移動物件的Euclidean距離及轉彎方向產生一距離地圖，接下來再步驟253 ，該裝置根據先前錄影畫面的距離地圖尋找被遮蔽移動物件的相符端點，之後在步驟254 ，該裝置外插入該被遮蔽物件的訊息，並在步驟255 ，插入該被遮蔽物件的重心，然後於步驟257 紀錄該錄影畫面上被遮蔽物件之頭/尾點及重心位置。在上述所有步驟之後，步驟260 ，該裝置開始分析下一張畫面，且其流程從步驟230 重新開始。

以下實例係非限制性的及僅為本發明之多種態樣及特徵之代表。

實例1

本實例使用斑馬於做為本發明中執行個別追蹤方法及裝置的示範，然本發明不限於使用追蹤斑馬魚或魚類。

I.物件偵測

錄影影片的背景不能含有任何實體動作及圖樣，全程錄影影片的背景錄影訊號是穩定的，因此灰階的背景也應保持在固定的亮度。

背景處理工作的目的同WEISS,Y.2001年發表的“從影像序列中取得內部圖像”之反映圖像(In International Conference On Computer Vision(ICCV 01),68-75)本發明使用下列公式重建背景圖像：

其中b (x ,y )是背景灰階程度、I (x ,y )是第i 張畫面的灰階程度、及x ,y 是圖像的座標、mod一是從該影像序列中最頻繁的發生程度中提取出的函數。該重建後的背景如圖式3(a)。

第i 張畫面的前景物件二進制圖Binary _i (x ,y )可被下列公式提取出來：

公式1.2中的閾值是由使用者輸入，其控制該二進制圖的最小值。該前景物件之二進制圖如圖式3(b)。

II.遮蔽情形偵測

為了達到遮蔽情形偵測的目標，有些訊息需要事先取得。第一是追蹤多少魚 (N)；第二是活動區域(R)。將N及R輸入遮蔽情形追蹤裝置，本發明可得到為於活動區域內的塊件數目(N_i )然後比較N_i 與追蹤魚類的數目(N)，該畫面可有兩種評定結果：“遮蔽畫面”或“非遮蔽畫面”。

例如，圖式4(a)，一張非遮蔽畫面，的參數(N、R、N_i )其N是5、N_i 是5及R是矩形內的區域。另一方面，圖式4(b)，一張遮蔽畫面的參數(N、R、N_i )其N是5、N_i 是4及R是矩形內的區域。因此在非遮蔽情況下，追蹤魚類的數目會等於其區域內塊件的數目。相反的，在遮蔽情況下，追蹤魚類的數目會多於其區域內塊件的數目。

在圖式5中有5之魚在水缸中，其中以箭頭標示的兩隻發生遮蔽情形。如只考量到矩形內的塊件數目N_i (圖式5(b)，點線矩形)，該畫面式一遮蔽畫面。但如果同時從矩形內部及外部觀之，計算上N_i 等於追蹤魚類數目，造成偵測誤差。

III.標記重心

計算一區域的重心涉及到該區域的幾何形狀，以下公式顯是如何計算重心：

該x 及y 係座標、重心到x 軸的距離為C _x 、重心到y軸的距離為C _y 及重心的座標為(C _x ,C _y )。在程式執行中，A是一物件的所有畫素，其類似二維物件的面積。在每一輸入影片的畫面，本發明標記N追蹤物件的重心，除了遮蔽畫面以外。圖式6顯示標記重心的結果。

IV.形態學圖像處理

形態學圖像處理為侵蝕、擴張、展開及封閉等功能。由於影片包含魚類頭及鰭的變形，因此需要使用展開功能去除錄影影片中雜訊來取得二維圖。侵蝕功能假設A以B表示可被列式為A ΘB 及定義為：其中是子集關係及B _x 可轉化為假設B為一點x 。簡言之，該侵蝕功能包含所有掃描位置，其結構要素是嵌合在圖像內部的。而雙重侵蝕及為擴張，擴張功能假設A以B表示可被列式為A ⊕B 及定義為：其中A ^c 係同A假設及係B的映像(原始圖像旋轉180°)。如果侵蝕功能代表內部篩選而擴張則為外部篩選。根據侵蝕及擴張功能，展開圖像A利用建構B要素可被列式為A 。B 及定義為：A 。B =(A ΘB )⊕B (4.4)

參照圖式7，該原始錄影畫面二進制圖可見於圖示7(a)即期展開後的二進制圖可見於圖示7(b)。

V.細化

本發明選擇客製化軟體MATLAB中的“Bwmorph”功能來執行細化步驟。細化流程圖簡述於圖式8。

VI.物理架構訊息

魚類的物理架構為其骨骼。本發明使用細化演算法得到魚類的骨骼。為了執行下述分析演算法之目的，一些骨骼訊息必須事先被提取出來。

圖式9顯示可從骨骼提取出來的訊息。從圖式9之說明，需要的訊息為：端點、接合點、連接畫素及分支點，可被下列規則提取出來。(Nikzad Babaii Rizvandi, Aleksandra Pi_zurica,Filip Rooms,Wilfried Philips,“Skeleton analysis of population images for detection of isolated and overlapped nematode C.elegans”,16th European Signal Processing Conference (EUSIPCO 2008)：端點：骨骼內該畫素只有一個相鄰畫素。

接合點：骨骼內的畫素有超過兩個相鄰畫素。

連接點：骨骼內的畫素在移去接合畫素後只有一個相鄰畫素。

分支點：除了上述三種之外的其他骨骼內的畫素。

除此之外，交叉點也會從骨骼中提取出來。交叉點可被合理的從擁有最多相鄰畫素的連接畫素推知而得。

VII.物理架構分析方法

本發明提供之運算法是根據於兩種畫面，“非遮蔽畫面”及“遮蔽畫面”。

下文實例使用的符號簡述如下：i ：輸入影片的第i 張畫面。

N ：所有追蹤魚類的數目。

n ：在所有追蹤魚數N 中的第n 隻魚。

C _i ：第i 張畫面的重心。

X _i ：第i 張畫面中的狀態，如果i 等於1代表起始狀態。

E (x ,y )：點x 及點y 的Euclidean距離。

i.基本追蹤方法

在第一張畫面中，藉由記錄所有魚的重心位置，本發明將這些追蹤物件設為起始狀態，如同命名物件。但在下一張畫面，為了個別追蹤，本發明必須在前後畫面中找出其相符的相對關係，因為攝影相機的擷取畫面速度夠高足以擷取到魚的游泳動作，因此本發明可根據相關的重心變化來設定目前狀態。

假設該魚的狀態是X _i ，其中X _i 是代表N種狀態的狀態因子。對於先前畫面i -1及目前畫面i 間魚之的重心距離標記為D，並定義為：D _pq =E (C _ip ,C _(i
-1)q ),for p ,q =1~N (7.1)

其中D是N×N矩陣，其代表兩畫面間魚的重心位移。

實際上狀態X _i 可用比較先前狀態X _i
-1 來求出。詳細的說，對於目前畫面帶有一種不確定狀態而言，真實狀態可藉由找出距離地圖D中的最小位移來確認，該最小位移代表其帶有最具關聯性的幾何關係。舉例來說，假設N為5，其距離地圖是一5×5的矩陣，同圖式10。在先前狀態1，距離地圖的第一欄，其相對應的最小值是狀態c，所以c的真實狀態為1。每經過一欄重覆該步驟，則目前畫面中的實際狀態即可被確認。

從演算法的執行觀點看來，畫面中的狀態代表與第一張畫面命名的魚的關連，例如黃魚、綠魚等，或1號魚、2號魚等。在接下來的畫面，本發明持續追蹤這些位置改變的魚，本發明裝置不進行個別辨認，只計算每張輸入畫面中N重心位置。產生一距離地圖並比較每一隻魚在先前狀態的幾何位置，可能可以設定這些魚的正確狀態。總括以上，大體概念可簡述於圖式11。

如一狀態被重覆設定了數次，如圖式12(a)，藉由確認距離地圖中每欄的最小值，可發現狀態A被同時多重設定為狀態R、狀態G及狀態B。

在這種情況下，本發明雙重確認距離地圖中第一列狀態A的最小值，第一列狀態A的最小值是位於狀態R，所以明顯地實際上狀態A是狀態R。同時，其他錯誤的狀態A最小值會被修正成無窮大，如圖式12(b)所示。重新尋找每欄的最小值，真實狀態可被正確地確認。

i.追蹤非遮蔽畫面

基本上，追蹤非遮蔽畫面使用的追蹤方法與基本追蹤方法相同。再者，追蹤非遮蔽畫面魚的頭尾位置，在分離遮蔽方法中會是重要的參考資訊。因此本發明一開始即標記所有魚的頭尾位置。

圖式13(a)及圖式13(b)顯示一基本追蹤方法產生的追蹤結果，圖式13(c)顯示圖式13(b)的細化結果，圖式3.7(c)中的點是骨骼的端點。

為了辨認魚的三個點：頭、尾及重心，並非只有一點：重心，需要將魚的頭及尾點連結起來。其可由下兩步驟來執行：

步驟1：一隻魚的端點將分配到相同類別，類別的數目等於魚的數目。

步驟2：辨認在同一類別的點中哪個頭點、哪個是尾點。

步驟1可使用二進制圖來達成，因為魚的頭、尾及重心將會位於相同的塊件內。因此位於相同塊件中的點將被辨認為重心，然後其端點也可被分類入N類別，同圖式14(a)。

步驟二僅注重分析同一類別中的點。與物件移動方向相同的點即是頭點，而相反方向的點即是尾點。其結果如圖式14(b)所示，其中圓圈表示頭及三角形表式尾。

第一張畫面無法標記頭及尾點，因為在第一張畫面中只有重心位置及起始狀態，魚個別的游泳移動方向仍無法取得，因此頭點及尾點的標記需要超過兩張影片畫面才可進行。頭、尾及重心點將會記錄在每連續張畫面中，一旦遮蔽發生其在重心位置辨認分析上將是有用的資訊。

iii.追蹤遮蔽畫面

一開始，由於在遮蔽畫面中並非所有魚都是被遮蔽的，遮蔽畫面內的魚會被分類為兩種類型，一種為未被遮蔽的魚及另一種為被遮蔽的魚。分辨哪些魚是被遮蔽及哪些不是為本案新穎方法的關鍵技術。此分級追蹤方法可簡化複雜的追蹤問題。接下來的疑問：如找出其關聯性。本方法以分析非遮蔽畫面中的訊息來達成：

(1)遮蔽情形偵測

找出被標記在先前畫面中相關聯的重心，如果兩個(或多個重心)在目前畫面被歸類到同一個塊件中，這支魚一定為遮蔽情形。參照圖式15，在遮蔽發生之前，所有魚可被個別的標記位置(圖式15(a))，一旦遮蔽情形發生(圖式15(b))這些以箭頭標出之魚的重心將會為於相同區域，因此可清楚知道哪一隻魚是未被遮蔽的。根據不同魚的情況，追蹤方法將執行不同分離演算法，其稱為分級追蹤方法。

(2)分析物理架構中的訊息

針對被遮蔽的魚，因為其重心被遮蔽物件影響，因此無法直接標示其位置。因此，本發明使用幾何關係來標記出頭跟尾的位置。

所有在目前畫面中從骨骼提取出來的端點，應與先前畫面標記的頭及尾點距離相近。因次該端點位置可藉由找到先前畫面中帶有最小差異的Euclidean距離及轉彎方向的頭/尾點來標記出。該距離地圖如圖式16所示。

目前畫面中的頭/尾點位置可由距離地圖中的最小值找到，參照圖式15，魚1的頭點位置在目前畫面是端點3及魚2是端點1，下列公式為該距離地圖的架構：

其中DH/DT代表頭或尾的距離地圖、H/T代表未被遮蔽魚的頭或尾點、End 代表所有未被遮蔽魚的端點、p代表1~被遮蔽魚的數目及q代表1~端點的數目。

一旦完成標記頭及尾點，目前的重心即可以下列公式求出：

其中H _i 是目前頭點位置及T _i 是目前尾點位置。

接下來，只針對遮蔽畫面中的被遮蔽魚，其頭/尾位置已經被記錄下來因此有更多資訊可分析被遮蔽魚的路徑。

(3)分離被遮蔽的魚

針對被遮蔽的魚，以兩種魚做為示範，標準的交叉骨骼應看起來同圖式17(a)，但事實上會發生許多的非預期骨骼，例如圖式17(b)。本發明之方法不僅可解決標準遮蔽情形，並可解決非預期遮蔽情形。

第一，本實例僅提取出骨骼的端點，因為似乎其內部交叉點在一些非預期案例中為雜訊點。第二，不需提取所有端點的訊息，本實例去除那些不需要的端點。總結上述所有觀點，本方法可列出下列步驟：

步驟1：產生距離地圖。

步驟2：比較距離地圖並找出最相符的點。

步驟3：如果其訊息遺失，外插入其失去的訊息。

步驟4：內插入其路徑/重心。

步驟1與未被遮蔽魚相同，其距離地圖包含兩個要件，一是目前及先前畫面中頭/尾的Euclidean距離，另一則是其轉彎方向的變化。距離地圖可以下列公式表示：

其中Body 代表被遮蔽魚的頭及尾點、及End 代表所有被遮蔽魚的端點、p代表1~2×被遮蔽魚的數目、q代表1~所有端點的數目。其距離地圖之例子可見於圖式18(a)。

步驟2是根據距離地圖尋找最符合的點，最符合的頭/尾點是從所有端點中(可能包含雜訊點)根據其距離地圖選擇出來。參照圖18(a)，被遮蔽魚之最符合的點是藉由一欄一欄地確認距離地圖上的最小值得到的。舉例來說，因為端點1的最小值為頭點2，所以端點1的最符合點可被判斷為頭點2。

如果在同一列中找到超過兩個最小值，接下來，在該列中的真實最小值即需被重複確認。參照圖式18(b)，如果端點5的距離小於端點3，端點5及被選擇為尾點1最符合的點。

藉由使用比較方法，本發明確保找到正確相符且同時去除雜訊的點。總括以上，步驟2的意含為利用比較魚在先前畫面中的訊息尋找其可能的身體位置，且比較測量的是其姿勢的變化與轉彎方向

因為遮蔽情形，一些訊息可能會被隱藏起來。因此該相符點可能無法從距離地圖中找出來。一旦其被隱藏起來，在步驟3中，其消失的數據則要使用先前記錄的訊息外插求出。舉例來說，如果消失的訊息為尾點，該尾點可由下列公式外插求出：v _ht =T _(i
-1) -H _(i
-1) T _i =H _i +v _ht (7.5)

其中T/H代表魚的頭/尾點座標、v _ht 代表頭到尾的向量。上述外插方法顯示於圖19(a)。

完成外插法後，該外插入的尾點將標記在骨骼上。相同地，如果消失訊息為頭點，該頭點可由下列公式外插求出：v _hh =H _(i
-1) -H _(i
-2) H _i =H _i +v _hh (7.6)

其中H代表魚頭點的座標、v _hh 代表頭到頭的向量。相同地，該外插出的頭點將標記在骨骼上。上述外插方法顯示於圖19(b)。

如果消失的訊息是頭點及尾點，其情況比上述情況更為複雜。在這特殊案例中，這兩個點可由下列公式外插求出：D _hc =|H _(i
-K
) -C _(i
-K
) |

H _i =C _(i
-1) +[(D _hc +|v _cc |)×v _cc ]T _i =C _(i
-1) -[(D _hc -|v _cc |)×v _cc ] (7.8)

其中K在公式7.7中代表目前遮蔽畫面的號碼，及v _cc 代表一單位向量、D _hc 代表一數量。上述外插方法顯示於圖19(c)。

在步驟4中，因為每隻被遮蔽魚的頭/尾點皆被標記出來，因此其重心可由公式7.3內插求出。

本發明更專注於分析現有的訊息，並利用這些訊息標記出被遮蔽的訊息。大體來說，該物理架構分析方法已先前技術更為可靠，並且該頭/尾點標記及分級追蹤方法提供了更多訊息來強化追蹤效率。

VIII.路徑分析

有四個參數可量化魚的行為。這些參數如下所列：距離率(Distance index,DI)： 總游泳距離(D)。

(8.1)；數值介在0與1之間。

轉彎方向率(Turn direction index,TDI)： 選擇左/右轉的總數。

(8.2)；數值介在0與1之間。

轉彎角度率(Turn angle index,TAI)： 選擇101~108度轉彎總數(θ)(8.3)；數值介在0與1之間。

斑馬魚動態率(Zebrafish Movement Index,ZMI) ZMI=DI+TDI+TAI (8.4)

其中E代表實驗組的魚及C代表控制組的魚。如果實驗組的魚完全與控制組的魚相符，則ZMI等於0。

該行為分析係用來測量很難被人工觀察發現的移動動作，因此根據其先前被記錄的路徑，該距離率(DI)可由累計魚的游位移離求出。而轉彎率(TDI)及轉彎角度率(TAI)可個別的藉由計算先前記錄路徑中的轉彎方向(左或右)及轉彎角度來求出。而整體行為分析流程可系統化成圖式22顯示的流程。該行為分析是建立在其追蹤結果之上。

參照圖式23(a)，假設圓圈代表記錄在連續畫面中的重心位置，兩重心點可形成一向量，且兩向量可構成一角度。因此該行為參數可藉由共同分析兩點間的幾何關係、向量及角度來求出。

該參數DI可由記算總游泳位移求出。其總體如下列公式定義：

其中N代表點的總數及p _i 代表重心在第i 張畫面的位置。而轉彎角度可利用兩個連續的向量求出。參照圖式23(b)，其藉由去除圖式23(a)中的圓圈，而本實例將v ₁ 放置於v ₀ 旁邊(點狀箭頭)，接著該點狀向量與v ₂ 可形成一角度θ，及為轉彎角度。該轉彎角度可由下列公式求出：

其中i為2~N-1及．為點運算子。

該轉彎角度可藉由將座標軸原點設為兩相鄰向量的連接處，而y軸設為與v ₁ 同方向的方式求出。同圖式23(c)即投射v ₂ 到x軸上。如果投射向量為正向的x軸方向即為右轉，相反的如果投射向量為負向的x軸方向即為左轉。該判斷方式可列出下列公式：

其中代表一單位向量在x軸的方向及．為點運算子。

當判斷該動作是轉彎或否時，需更進一步留意一種情形，參照圖式24(a)，即使其重心只是在週遭游移也會造成判斷錯誤。為了解決這個問題，本發明將位移也併入計算。根據真實魚游移的狀態，其重心的位移很小，甚至可能小於1畫素。所以當一轉彎動作被偵測到時同時該位移也會被確認，如果位移少於閾值而其必然為偵測錯誤。

整體流程可列出下列公式：當一轉彎動作被偵測出來及|v _i |=E (C _i
-1 ,C _i )

其中C代表重心位置即E( )代表納入的點之Euclidean距離。

除了考量重心位移，本發明也考量到轉彎角度的大小。參照圖式24(b)，其路徑(以三個箭頭指出之處)為一在轉彎角度後的直線路徑，該轉彎動作被偵測出並顯示於圖式24(c)。為了避免偵測轉彎過度靈敏，該使用兩連續向量求出的角度必須夠大。如果轉彎角度太小，本發明可能無法辨認該狀態是一個轉彎動作。總括以上，一實際轉彎動作需要兩個必要因素：其位移必須夠長且其轉彎角度必須夠大。

實例2

在本實例中，該輸入數據的追蹤環境可被系統化如圖式20，其中該相機是以俯瞰視野來拍攝魚缸。魚缸的大小是固定的：其內部長為12.3公分而寬為17.1公分。

本實例使用的追蹤演算法使用MATLAB(版本：R2009a)來執行。模擬裝置為一個人電腦，內建Inter(R)Core(TM)2 Duo CPU E8500及4GB記憶體。本實例使用5隻魚作示範，並選擇代表性的遮蔽情形來顯示其分離步驟。圖式21(a)~(f) 以個別畫面顯示一連續的追蹤結果，本實例使用不同顏色來代表不同隻魚。在圖式21(a)~(f)中的圓圈代表頭點、三角型代表尾點及星星代表重心點。其外插方法的視窗大小為5個畫素。

在先前技術中，遮蔽情形在錄影畫面中可使用實驗方法來分析。參照S.Kato等人的發明“一量化斑馬魚行為的電腦影像處理系統”(J Neurosci Meth,134,2004)，其輸入影片及追蹤物件與本發明相似，而本實例使用S.Kato等人提供的參數作為評斷追蹤準確性的標準，其三個參數定義如下：

遮蔽率代表在一影片遮蔽情形發生的可能性一般會隨著魚的數量而增加。分離率為最重要的參數，代表分離演算法的準確性。個別魚的辨認率合併非遮蔽畫面與遮蔽畫面的分離率。下列表格指出兩種演算法的遮蔽率、分離率及個別魚的辨認率。在此表格中，每列代表一個含有n 追蹤魚數的輸入影片。

表2指出兩個演算法的遮蔽率、分離率及個別魚的選擇率。本實例發現該遮蔽率會隨著魚的數目增加而提升，對於外插法，平均分離率約為80%。個別魚的辨認率也隨著魚的數目增加而提升，尤其當追蹤物件數目為5時，其降到93.5%。

對於外插法，因為其是根據一假設：魚在遮蔽發生時是以固定的速度游泳，但當兩隻或多隻魚互相交叉時，其可能會相互影響造成速度不穩定。因此該假設在遮蔽魚數增加時無法使用。

而對於本發明的方法，骨骼分析法，改善了外插法分析遮蔽情形的缺陷，因此平均分離率提高到90%。比起外插法，骨骼分析法分析其現有資訊而非盲目的外插入資訊，且頭即尾位置的標記可幫助其關連更加正確。因此骨骼分析法的準確性理當優於外插法。

表3顯示追蹤超過5隻魚的相對應參數，在該案例中，外插法可能會產生更多追蹤錯誤。參照表3，本實例發現遮蔽率因增加魚數快速的上升，在此情況，遮蔽將會太過複雜以致很難解決而造成分離率降低。雖然分離率下降至85%，但平均個別魚的辨認率仍可保持在90%。

表4整理了平均執行時間、平均準確率、優點及缺點，表5整理出兩分離演算法的平均執行時間。針對執行時間來看，因為骨骼分析法標記較多身體位置(頭及尾)，因此比外插法需要較多時間，但其正確率相對提高。此外骨骼分析法不需輸入額外的參數(如視窗大小)，因此較為健全。

如果於有不同顏色，一些難度較高的遮蔽問題則可利用其顏色訊息來修改追蹤結果而排除，換句話說，將顏色訊息加入輸入數據可簡化目前較難解決的遮蔽問題。

實例3

本實例使用兩隻魚作為示範，其中一個輸入影片式控制組魚，(a)及(b)，而另一輸入影片為實驗組魚，(c)及(d)，兩個影片個別執行追蹤。第一，本實例分析控制組魚，在本案例中為健康的魚。其獨自的路徑線圖如圖式25(a)及25(b)。該路徑線圖的鐘的路徑是由1000張控制魚影片的畫面所得到的。

根據這些路徑，其轉彎方向、轉彎角度及總距離可執行路徑分析法來求出。表6顯示其結果。

相同地，實驗組魚，在本案例中為有器官損傷的魚，其獨自的路徑顯示魚圖25(c)及25(d)。其轉彎方向、轉彎角度及總距離如下表所示：

而根據公式8.1~8.4，DI、TDI、TAI及ZMI可被求出，如下：

ZMI=0.1126+0.2321+0.7425=1.0872

因此整體行為分析流程即完成。針對該行為分析，本發明的任務為盡可能準確的追蹤魚，進而達到可信度較高的行為分析。

100‧‧‧一用於追蹤至少兩個移動物件移動特性的裝置

110‧‧‧一元件用以接收移動物件之錄影訊號並將該錄影訊號轉換成為一錄影影片

111‧‧‧一組件用以接收錄影訊號

112‧‧‧一組件用以轉換錄影影片

120‧‧‧一元件用以辨認一錄影畫面中移動物件的遮蔽情形、分析該移動物件物理架構訊息、尋找及記錄遮蔽移動物件在錄影畫面上的位置及追蹤該移動物件之移動特性

121‧‧‧一組件用以接收錄影影片

122‧‧‧一組件用以轉換錄影影片成為多重錄影畫面

123‧‧‧一組件用以偵測移動物件

124‧‧‧一組件用以偵測遮蔽情形

125‧‧‧一組件用以執行追蹤演算法

200‧‧‧一種追蹤兩個以上移動物件之移動特性的方法

210‧‧‧提供錄影影片

220‧‧‧轉變該錄影影片成為錄影畫面

230‧‧‧偵測遮蔽

240‧‧‧確認該畫面是否為第一畫面

241‧‧‧開始起始狀態

242‧‧‧標記所有移動物件重心位置

243‧‧‧連結該錄影畫面與先前狀態

244‧‧‧分析該物理架構

245‧‧‧標記該頭/尾點及重心位置

246‧‧‧記錄該頭/尾點及重心位置

250‧‧‧分析該物理架構

251‧‧‧確認該畫面是否有一被遮蔽物件

252‧‧‧根據Euclidean距離及轉彎方向產生一距離地圖

253‧‧‧根據距離地圖找到所有端點最符合的點

254‧‧‧外插入該被遮蔽物件的訊息

255‧‧‧插入該重心

256‧‧‧根據先前畫面的訊息標記頭/尾點的位置

257‧‧‧記錄該頭/尾點及重心位置

260‧‧‧分析下一個畫面

圖式1係本發明一追蹤至少兩個移動物件之系統結構配置的示範圖。

圖式2係本發明一實例中之追蹤至少兩個移動物件的追蹤特性的方法流程。

圖式3(a)顯示本發明一實例中重建追蹤環境背景及(b)為一錄影畫面前景之二進制圖。

圖式4顯示本發明一實例之(a)移動物件之非遮蔽畫面及(b)移動物件之遮蔽畫面。其中點狀線代表此錄影畫面的追蹤範圍。

圖式5顯示本發明一實例之一錄影畫面的追蹤範圍及其二進制圖，其中點狀線代表追蹤範圍。

圖式6顯示一錄影畫面上移動物件的重心位置標記結果，其中＊代表重心。

圖式7(a)顯示一錄影畫面上移動物件的二進制圖，及(b)顯示該錄影畫面上移動物件的展開二進制圖結果。

圖式8顯示一整體提取錄影畫面中魚的骨骼之流程。

圖式9顯示一移動物件物理架構的訊息。

圖式10顯示兩連續錄影畫面中移動物件距離地圖的設定，其中◎代表最小位移。

圖式11顯示聯結兩連續影片的過程，其中○、＊及×代表重心。

圖式12(a)顯示一含有同時重覆設定的距離地圖，及(b)顯示重覆確認其最小位移後並修正的距離地圖。

圖式13(a)(b)顯示兩連續錄影畫面的追蹤結果，其中▽、＊、☆、○及◇代表重心，及(c)顯示圖式13(b)移動物件的細化結果。

圖式14(a)顯示分類一魚的重心及端點結果，其中□、＊、☆、×及◇代表重心及端點，(b)顯示辨認一魚的重心、頭及尾點結果，其中□、＊、☆、×及◇代表重心，而○代表頭點及△代表尾點。

圖式15(a)顯示一兩連續畫面的前畫面，及(b)顯示有遮蔽情形之兩連續影片中的後畫面，其中□、＊、☆、＊及◇代表重心。

圖式16顯示一距離地圖的範例，其中該◎代表最小位移。

圖式17(a)顯示在錄影畫面上兩遮蔽魚的一交叉遮蔽骨骼，(b)顯示在錄影畫面上兩遮蔽魚的異常遮蔽骨骼。

圖式18(a)顯示一距離地圖的範例，(b)顯示一個含有同時間多重設定之距離地圖範例，其中該◎代表最小位移。

圖式19(a)顯示外插入被遮蔽魚其被隱藏之尾點訊息流程，其中v _ht 是頭到尾的向量，(b)顯示外插入被遮蔽魚其被隱藏之頭點訊息流程，其中V _hh 是頭到尾的向量，及(c)顯示外插入被遮蔽魚其被隱藏之頭點及尾點訊息流程，其中v _cc 一單位向量、D _hc 是一數量，對於三個圖式19中的圖，○代表頭點、△代表尾點及☆代表重心。

圖式20顯示(a)攝影環境及(b)追蹤魚移動特性之魚缸尺寸之範例。

圖式21(附件1)顯示一本發明實例，圖式(a)~(f)是一連續個別追蹤斑馬魚移動特性的結果，其中每隻斑馬魚皆使用個別追蹤並由不同顏色標記。而圖式(a)~(f)中，○代表頭點、△代表尾點及＊代表重心。

圖式22顯示一行為分析法的流程。

圖式23顯示一轉彎角度分析的流程，其中圓圈表是移動物件的重心，p _i 代表第i 張畫面中重心的位置，v _i 代表第i 張影片中的向量及θ代表轉彎角度。

圖式24顯示一轉彎角度分析。圖(a)顯示一轉彎角度的錯誤判斷，及(b)顯示一偵測到轉彎角度後的直線路徑，其中該＊代表重心，及(c)顯示圖式24(b)中以箭頭指出的轉彎動作。

圖式25顯示一行為分析實驗的範例。圖(a)及(b)為一個別追蹤控制組魚的路徑圖形，圖(c)及(d)為一個別追蹤中樞神經系統受損魚的路徑圖形。