TWI296101B - Method for automatic key posture information abstraction - Google Patents

Description

1296101 九、發明說明： 【發明所屬之技術領域】 本發明是關於一種電腦影像處理系統，特別是關於一種對數位化影片之畫面 進行分析，自動在其中抽取人類身體特徵姿勢資訊之處理系統。 【先前技術】 •對數位化影像檔中所含人類姿勢的分析乃是能夠成功分析數位化影像中所 ， 含之人類行動最重要的關鍵。分析數位影像中人類姿勢的困難主要有二。其一是 人類身體的移動是一種分節（articulated)動作，因此對數位影像中「人類姿勢」 ，的疋義難度較同且較為複雜。其:欠，人類行為的特徵抽取，其實細卜系列影像 晝面之處理相同。抽取其中包含的特徵時，資訊包括空間域資訊及時間域資訊。 因而，以電齡統進行數位影像之人齡勢分析最大的挑戰，乃是如何在大量的 時間域間域資料巾正確抽取其特徵，以供其後進行比較與呼出。 過去，對於數位化影像中人類姿勢的分析技術，主要分成兩類，一為二維法， -為三維法。在二維方法中，Haritaoglu等人曾提出一種W4( what，她咖，

Who)即時人體動作監控系統，透過對身體輪穿p (silh〇uette)在垂直面及水平面 1 之投影’以決定人類身體的各種姿態，例如：站、坐、f、躺等。見L Haritaoglu 等人 Ghost· A human body part labeling system using silhouettes」，Proe· Int. Conf·

PattemRec〇gnitiore，第 1 卷，第 77-82 頁，1998 年。

Bobick ” Davis則^出一種暫時性樣本建立方法’利用堆疊一系列之連續畫 ‘面而達成。該暫時性樣本可依據-連Φ畫面巾之活動能量影像（m()tic)nenergy imageS)及活動雄、集影像（_〇n intensity images),而抽取人類身體運動之特徵 資訊。以運動為主的特徵資訊是由活動能量影像及活動密集影像中抽出，並供作 1296101 樣型比對之用。見 A. F. Bobick 與 J.W. Davis ··「the recognition of human movement using temporal templates」，IEEE Trans· on Pattern Analysis and Machine Intelligence，第 23 卷第 3 號，2001 年 3 月。 在三維技術方面，Boulay等人提出的方法乃是先計算移動像素在一參考軸上 之投影，而透過PC A (Principle Component Analysis，主成分分析）學習二維之 姿勢外形。其次則利用一三維之姿勢模型，將該投影資訊抽離與攝影機所在位置 的關係。見 B· Boulay 等人：「Human posture recognition in video sequence」，Proc. IEEE Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance，第 23-39 頁，2003 年。

Zhao等人則提出一種三維人類身體模型，用以檢驗所偵測到之影像移動區域 是否為人類身體。其檢驗方法乃是透過一分節的人類行走模型來進行行走辨認。 見 Zhao 等人：「Segmentation and Tracking of Multiple Humans in complex Situations」，Proc· IEEE· Int. Conf. On Computer Vision and Pattern Recognition，第 2卷，第8-12頁，2001年。不過，由於三維影像處理複雜，且所需設備昂貴，至 今仍無適合於商業應用的三維人體活動分析技術。 為能有效建立對數位影像中人類行為自動且有效之分析系統，首先必須能提 供一種系統化及自動化的方法，能在記錄人類行為的連續影像晝面中，自動判別 人類行為的特徵姿勢。但在已知之技術文獻中，並未見有人對此技術提出過符合 實用之發明，而可系統化地自動在連續影像中抽取特徵姿勢資訊。 【發明内容】 本發明之目的乃在提供一種系統化的方法，以自動在連績數位化影像中抽取 人類身體之特徵姿勢資訊，供作處理之用。

(I 6 1296101 本發明之目的也在提供-種能在連續數位化影像中有效抽取人類身體特徵 姿勢資訊的方法。 本發明之目的也在提供_種關化處理的人_體特_勢資訊抽取方法。 本發明之目的也在提供-種使用上財法的人類讀特徵姿勢資訊抽取系 統。 本義之目的也在提供一種製作成本低廉的人類身體特徵姿勢資訊抽取系 統。 • 依據本發明之人類身體特徵姿勢抽取方法，係包括： 由連續數位化畫面中抽取畫面中所含物件（object)之空間域特徵；利用機 率計算方法，抽取該物件之形狀特徵；利用亂度計算方法偵測該連續晝面中所含 之特徵姿勢資訊；除去冗餘之特徵姿勢；將所得之連串特徵姿勢與—碼書中所存 之人類身體特徵姿勢樣型比對；及對配對之連串特徵姿勢進行編石馬。 【實施方式】 雖不欲為任何理論所拘束，但一般認為，利用一連串之數位化影像畫面，可 Φ 叹錄人類—段時間的身體活動。但由於所獲得之龍量過於矩大，觀電腦系 統針對所得之畫面，―頁—頁（frame)進行觸及歸特徵，並不可行。因此， 透I建立特徵姿勢」（keyp〇stures或featurep〇stures)的方法，建立若干人類 身體之特徵姿勢觀，並細在影狀畫面巾辨認其巾所含之舰姿勢，乃是最 適用之作法。在建立特徵姿勢模型時必須滿足的條件包括：所提供的特徵姿勢種 、員不此太少，才能描述大部份人類身體的姿勢。其次，所提供的特徵姿勢種類也 不月b太多，否則將產生冗餘（redundancy)的問題，且其後之特徵處理步驟將極 為費時。 ⑧ 7 1296101 ‘魏適當建立及挑選畫面中的人類身體姿勢，本發明乃透過「亂度變動累積 量」（cumulativeentnwehange)之計算’作魏取特徵姿勢的指標，而在一記錄 人類活動之影片中選取適當的人類身體特徵姿勢。選得之特徵姿勢再經由一亂度 交又比對步驟，以除去多餘的特徵姿勢。本發明透過上述方法，自_人趙動作 (action，指含有人類身體活動資訊的一段影片）中選取合用的特徵姿勢。所選 狀舰铸再與—碼♦ (e°debook)中所含的概姿勢模型_，進行特徵化 或編碼。如此一來即可將一記錄人類活動的原始影片編碼成一串代表人類身體特 • 徵姿勢的代碼。而在其後比對過程中，影像的比對乃能簡化成代碼的比對。提高 處理效率及正確度。 第1圖表示本發明人類身體特徵姿勢資訊抽取方法一實施例流程圖。以下依 據圖式說明本發明之實施例。如第i圖所示，本發明之人類身體特徵姿勢抽取方 法主要包括數個步驟，亦即：由連續數位化畫面中抽取畫面中所含物件（ob⑽ 之工間域特徵’利用機率計算方法，抽取該物件之形狀特徵；利用亂度計算方法 制該連續畫面中所含之特徵姿勢資訊；除去冗餘之特徵姿勢；將所得之連串特 鲁 1 、$爾中所存之人類身體特徵姿勢樣型比對；及對配對之連串特徵姿勢 進行編碼。 乂下《兒月其δ羊細之步驟。唯需說明者，以下之詳細說明僅在例示本發明之實 例，而不得用以限制本發明之方法。 • f考第1圖°在_本發明人類身體特徵姿勢資訊抽取方法抽取連續影像中 之人類身體姿勢銳時，首先於⑽）取得—數位化影像檔，該數位化影像槽 3有夕數連續之數位化畫面。於（102)將每一畫面分割成多數方塊， 於（103) ⑧ 8 1296101 對每一方塊計算其中所含之「活動像素」（activepixels，指人體在每一方塊中所 佔的像素）之密度。 在應用上，可以不針對晝面之全部區域進行處理。例如，透過習知之影像分 析技術（例如背景消除background subtraction等方法），可以在一畫面中找到該 畫面所包含的物件。計算該物件之長寬比（aspectrati〇)，找出包圍該物件影像之 方塊。假設包圍該物件影像之方塊包含hxw個方格，h代表高度方向之方格數， w為寬度方向之方格數，則影像方塊之活動像素密度pi=Nj/N ; Nj表在包圍該物 件之方塊中，第丨方格之活動像素數量；N表該方格内總像素數。 接著，於（104)計算該連續晝面中影像物件之指數亂度。該影像物件之指 數亂度（exponential entropy) Η 可定義為： hxw //(〇=ZAexP(1-A) /=1 為提高處理效率，以適合於即時處理之要求，必須提供一種過濾機制，以過 濾不必要的影像畫面，而取得最需要的影像。雖不欲為任何理論所限制，但本發 明人發現，如一包圍影像物件之方塊中，含有連結元素（eonneetedcompc)nents， 指相互連結在一起的活動像素）的方格數量較多，則其該方塊之亂度將較高。事 實上，含有連結元素之方格數量，與含有該等方格之方塊之亂度成正比。計算亂 度的結果，可以據以判斷該方塊之性質。 本發明係依據影像方塊之亂度（指數亂度）抽取影像物件之特徵，亦即，以 其指數亂度代表影像物件之形狀資訊。在本發明中，並將相連兩影像之人體姿勢 之間距，定義為兩影像物件之亂度（即兩影像方塊之亂度）之差值：

Dposture (M-1) = | H (t) _H 〇1) | 1296101 其中，t’t-l表影像（畫面）或身體姿勢在連續影像中之序數。 續以上疋義’將特徵姿勢（keypGsturc)定義為：當任—影像片段之累積 亂度與刖〜像片I又之累積I度差值大於_臨界值時，即視該影像片段所含的影 像方塊為-特徵姿勢。積指數亂度差值c (pp，pQ)可以τ式算出：

C(PP ) = Σ Dposture ^ ~ 1)； t=P P ’ Q分別表自第p ’ Q畫框開始之-段連續影像，P<Q。 因此，於（105)依據上式計算該影片中各片段間之累積指數敗度差值c (匕

Pq)於（1〇6)麟各段代表特徵姿勢之連_像狀。於⑽）將各代表特 徵姿勢之〜像；^X中任-練取出，代表—特徵姿勢。在本發明之實例中，係選 取第-張影像作為其特徵姿勢。t然，_其他晝面或其他畫面之結合或處理後 之結果，亦屬可行。 在處里f也可先選定一畫面作為候選特徵姿勢。接著由該畫面開始統計影 片（連續雜）之累魏度差值。如累積亂度差健過臨界值則將該時點 之畫面所不之姿勢，作為第二特徵姿勢。餘此類推。直到全部影片均處理完畢。 此種方式可以便利即時處理。第2圖即顯示在2⑽張連續影像畫面中，依據上述 之累積指數亂度差值法所挑選出來的18張候選特徵姿勢。第3圖則為第2圖之 來源影片各畫面之亂度（指錄度）值示意圖。圖中，橫軸為畫面參數，縱轴為 亂度值。 依上述方法所取得之影像，為可能的候選特徵姿勢畫面。但其中包括了多數 冗餘的姿勢畫面’而可能在後級處理中浪費處理時間及資源。為消除冗餘的畫 面，本㈣也提供-種計算交又指魏度值計算法，計算不近赠d (PA), Ϊ296101 用以去除不必要的畫面。 hxw d{PP= Σ Ρρ(Ο Qxp(Pp (〇 ^ pQ(〇) + gpQ(/) cxp(PQ(/) « ρρ (/)) /=1 Ρρ ’ Pq為晝面。pp(i)，PQ(i)是第i個影像方塊之活動像素密度。 在應用上，P與q通常為僅含人體姿勢的畫面，因為背景已經去除，只剩下 則景即人體的部分。計算時，對所有之晝面間之不近似度均計算乙次。如果p的 方格數量與Q的數量不同，可以Pp，及其長寬比為依據各算一次。 於（108)计算出代表不同人體姿勢之畫面的不近似度廿（ρρ，ρ〇)。經過上述 计异後’於〇〇9)選出不近似度d (PP，PQ)大於-臨界值之影像片段，作為冗 餘的特徵姿勢影像，於（11G)將該p影片片段所代表的候選特徵姿勢加以刪除。 第4圖即顯示將第2圖之候選特徵姿勢中之冗餘晝面刪除後之結果。圖中的 黑框起之畫面，為不予刪除之畫面，代表選出之特徵姿勢。第5關顯示相對應 之畫面之指數亂度值示意圖。 經過上述處理後之畫面，即為代轉徵姿勢之晝面，再於（111)與一特徵 姿勢資料庫巾畴之特徵姿勢翻進行比對。比_騎算特定特徵姿勢與資料 庫中之特徵姿勢樣型之不近似度D，如下： hxw D{QJ) = T,Q(i) exp(2(〇 - T(/)) + 2T(i) exp(r(/) - 0(/)) /*i 其中’Q表·"特徵姿勢畫面，了表_樣型畫面，D(Q，T)表兩者之不近似度， Q(i)及T(i)分別表晝面q，τ内所含之方格内之活動像素數量。 算出該特徵姿勢畫面與各翻畫面之不近似度後，於（112)挑選不近似度 最低之樣«面’作為其配對畫面。於〇13)將配對成功之樣型之代碼給予該 •1296101 特徵姿勢，完成_特齡勢之編碼。 依上述步驟，對所有選定之特徵_面均給予編碼，制—串代碼。 將該-串代碼與-代表—種人類活動之連串動作之連串代碼進行比對。計算 其近似度”斷該影片片段所含資訊是否為含有人脑動之影像資訊，以及 所代表之人類身體活動内容（種類）為何。 貫施1 歹彳 各有6100晝面（33個片段）之影片中抽取人類身體特徵姿勢畫面。利 用上述心數算及定義亂度計算方法，選出μ張特徵姿勢畫面。第6圖即 顯示所選出之44張特徵姿勢畫面。圖中，左上方之圖像為一行走中人體某一時 點之姿勢，並齡其姉應之特勢樣本為右方樣本集巾第7號晝面（以粗框 “不）帛6圖上方顯示該則巾人物在行走巾，其特徵姿勢麟應之特徵姿勢 樣本之編號及順序。

第7圖（a)顯示人類身體在行走過程中所呈現之所有特徵姿勢之順序。為 特徵姿勢庫巾所存之樣型。第7圖（b)顯示社述方式所配對成功之特徵姿勢。 圖中可見，前3張特徵姿勢畫面與樣本第5號比對相符；第4、5畫面則與第6 號樣本比對相符。第7圖（c)顯示，特徵姿勢畫面中，第5、6、7、8、％、外 共6張比對婦。透過本發明之編碼方式，可成功判斷該影片巾之人物乃是在行 走。 第8圖顯示本發明另一實施例之編碼過程。該實施例係對一人體由躺到起立 之動作ό己錄影片’抽取特徵姿勢。其中，（a)顯示一個完整的由躺至起立之動作。 (b)表示已比對符合之特徵姿勢畫面。（c)則顯示經過編碼之特徵姿勢。由本 12 ♦1296101 實施例也可得知’本發明之方法可湘電腦迅速正確判斷—段影片中所含之人體 活動種類。 以上是對本發明人類身體特徵姿勢自動抽取系統之說明1於斯藝之人士， …、上β兒月付知本發明之精神，並據以作出各種變化與衍生。唯只要不脫離 本發明之精神，均應包含於其申請發明專利範圍 之内。 【圖式簡單說明】 第1圖表示本發明人類身體特徵姿勢資訊抽取方法一實施例流程圖。第2圖 即顯示在200張連續影像畫面中，依據上述之累積指數亂度差值法所挑選出 來的18張候選特徵姿勢。 第3圖則為第2圖之來源影片各晝面之亂度（指數^度）值示意圖。第4圖 即顯不將第2圖之候選特徵姿勢中之冗餘畫面刪除後之結果。 第5圖則顯示相對應之畫面之指數亂度值示意圖。 第6圖即顯示所選出之44張特徵姿勢畫面。 第7圖（a)顯示人類身體在行走過程中所呈現之所有特徵姿勢之順序。 第7圖（b)顯示以上述方式所比對成功之特徵姿勢。 第7圖（c)顯示特徵姿勢畫面中，第5、6、7、8、38、39共6張比對相符。 第8圖顯示本發明另一實施例之編碼過程。其中，（a)顯示一個完整的由躺 至起立之動作。（b)表示已比對符合之特徵姿勢畫面。（c)則顯示經過編碼之特 徵姿勢。 【主要元件符號說明】 13

Claims (1)

1. !2961〇1 十、申請專利範圍 1· 一種人類身體特齡勢蹄方法，係彻—電子計算機從—賴數位化影像 晝面中’縣含有代表人類身體舰姿勢之資訊之畫面，分析該畫面所含代表人 類身體特徵姿勢之資訊之方法，包括下列步驟： 由多數連續數位化畫面中，抽取畫面中所含物件（object)之空間域特徵； 利用機率計算方法，抽取該物件之形狀特徵； 利用亂度計算方法偵測該連續晝面中所含之特徵姿勢資訊； 除去冗餘之特徵姿勢； 將所件之連串特徵姿勢與一碼書中所存之人類身體特徵姿勢樣型比對；及 對配對之連串特徵姿勢進行編碼。 2.如申請專利範圍第i項之人類身體特徵姿勢 域特徵之步驟包括： /、中雜取物件空間 取得一組多數之連續數位化影像畫面； 將每一畫面分割成多數方塊；及 *

   該活動像素包括在每方塊 對母-方塊計算其中所含之「活動像素」之密度， 中該物件所佔的像素。 3·如中請專利範圍第2項之人類身難徵 伽^其巾該姉影像物件 、$彡像方塊之亂度值代絲像物件之特徵。 其中之亂度為指數亂 其中該連續畫面中影 4·如申請專利範圍第3項之人類身體特徵姿勢抽取方法， 度。 5·如申請專利範圍第4項之人類身體特徵姿勢抽取方法 像物件之指觀度細下辆算得出： 14 【⑴

   1296101 其中，Pi為活動像素密度，Pi=Ni/N;Ni表在包圍該物件之方塊中，第i方格 之活動像素數量；N表該方格内總像素數。 6.如申請專利範圍第1項之人類身體特徵姿勢抽取方法，其中當任一影像片段 之累積亂度與前—影像片段之累積亂度差值大於-臨界值時，即視該影像片段所 含的影像方塊為一特徵姿勢；該累積指數亂度差值C (Pp，Pq)以下式算出：

   C(Pp，Pq):

   posture(l,t~\) 5 其中，Pp指一長度為時段P之連續畫面中所含的人類身體姿勢。 7·如申請專利範圍第1項之人類身體特徵姿勢抽取方法，其中選定特徵姿勢資 訊之步驟包括： 先選定一畫面作為候選特徵姿勢； 接著由該畫面開始統計該連續晝面之累積指數亂度差值； 如累積亂度差值超過臨界值，則將該時點之晝面所示之姿勢，作為第二特徵 姿勢；及 餘此類推，直到全部晝面均處理完畢。 8·如申請專利範圍第1項之人類身體特徵姿勢抽取方法，其中除去冗餘特徵姿 勢之步驟包括： 计算相鄰畫面片段的不近似度d (PP，pQ); 選出與前段影像片段不近似度大於一臨界值之影像片段，作為冗餘的特徵姿 勢影像；及 ~ 15 1296101

   將該P影片片段所代表的候選特徵姿勢加以刪除。 9·如申請專利範圍第8之人類身體特徵姿勢抽取方法，其中之不近似度d (Pp， Pq)，係以下適計算而得： nxw ^ ^^) = Z^(〇exp(^(〇~P,(^ PP⑴是第i個影像方塊，P和Q為畫面。 10.如申請專利範圍第1項之人類身體特徵姿勢抽取方法，其中之樣型比對步驟 包括：

   將代表特徵姿勢之晝面與一特徵姿勢資料庫中所存之特徵姿勢樣型進行比 對； 計算其不近似度D;及 挑選不近似度最低之樣型畫面，作為其配對畫面。 11·如申請專利範圍第1G項之人類身體特徵姿勢抽取方法，其中之不近似度〇 係以下式計算而得： ， /#X W /?X H·' D(Q,T) = Σρ(/) exp(0(〇 - Γ(〇) + f Γ(/) exp(r(/) - Q{i)) ,=1 /=1 其中，Q表一特徵姿勢晝面，τ表一樣型畫面，D(Q，T)表兩者之不近似度， Q(i)及Τ(ι)分別表畫面q，τ内所含之方袼内之活動像素數量。 12·如申請專利範圍帛1〇項之人類身體特徵姿勢抽取方法，另包括一將所得之該 連續晝面之代碼與一代表一種人類活動之連串代碼進行比對，計算其近似度及判 斷該影片 段所含資訊是否為含有人類活動之影像資訊，及其種類之步驟。 16