TWI255429B - Method for adjusting image acquisition parameters to optimize objection extraction - Google Patents

Description

1255429 玖、發明說明： 【發明所屬之技術領域】 本發明係關於-種調整取像參數以最佳化物件抽取 之方法，其適用範圍包括應用於抽取各種顏色之物件，尤 5指具有當物件顏色經過座標投影後、能在色彩空間（c〇i〇r space)座標中形成特定聚集之特性的物件。 【先前技術】 按，S知技術對於從影像中偵測出人臉的方法大致上 10可刀為兩類。一類為依幾何位置來偵測人臉的重要特徵位 置例如眼、鼻、唇等臉部特徵，並整合這些個別特徵來 決疋人臉位置，另一類則事先收集人臉樣本資料，並經由 訓練步驟以取得人臉標準樣本，之後再利用樣本比對 (template matching)方法以尋找出影像中的人臉位置。 15 #然而’於第一類技術中，由於其係參考既定的人臉模 型、或其幾何位置以進行人臉偵測，因此一旦人臉角度產 生旋轉，則極易因此偵測不到正確人臉位置；至於第二類 技術雖可輸入多種旋轉角度的人臉資料來訓練資料庫，然 而，此類技術大多係使用蠻力法（brute f〇rce)以針對影像'中' 20的每一個像素點（一收一進行樣本比對工作，此舉相當 耗時，且當影像中具有兩個以上大小不同的人臉時，將: 須透過多次放大或縮小的動作才可找到正確位置。如圖1 所示，影像X中係具有兩個大小不同的人臉fi，f2，方框 則為一固定尺寸之搜尋視窗（search wind〇w)γ，其係依序掃 1255429 描衫像x中的每一像素點以掃遍整張影像χ，並將框選出 的影像區域傳送到人臉驗證機制，以判斷出此影像區域是 否屬=人臉。由於搜尋視窗γ之尺寸固定，所以大於或小 於搜寸視自Υ範圍的人臉將可能被忽略而無法搜尋到，因 5此.月荼閱圖2，習知必須藉由放大或縮小影像，以於縮 j影像Χ1，Χ2，Χ3中持續進行上述掃描與驗證動作，來逐 、找出，、中所有大小人臉F丨，F2。由此可知，在縮放影像 並逐掃搖的過程中，將耗費相當多的比對及運算時間， 並非十分理想。 1〇 。故習知係提出運用人臉膚色（Skin color)來縮小樣本比 對區域、進而加速於視訊資料中進行人臉偵測過程的方 法。請參閱目3A，習知先透過人工收似量人臉影像，並 手動抽取出如圖3B所示之膚色部位的像素點，再將這些 膚色像素點的顏色資訊投影到特殊的座標系統，以建立膚 15色杈型，俾利執行後續人臉定位、或特徵擷取等影像處理 私序。由於影像係由像素點所構成，而光線照射在皮膚上 反射至攝影機等感光設備、即確定了像素點的色彩值，故 可藉由蒐集這些像素色彩值來建立膚色模型，以作為曰後 判斷像素點是否屬於膚色之依據。習知通常係將膚色像素 2〇點的RGB顏色資訊根據下列公式轉換、以投影到YCbCR 座標系： Y = 0.2989 X R+0.5866 x G+0.1145 x B Cb = 一〇· 1687 x R 一 〇·3312 x G +0.5000 x B，

Cr = 0.5000 x R — 0.4183 x G - 0·0816 x B 進而形成一如圖3C所示之緊實空間聚集（即膚色模型 1255429 Z1)’其係以數學式表示為： θ〗=—2 + θ2 =20-θ,

256-Y if(Y>128) if(Y< =9〇一256 - Y 16 =6; θ4 = - 8; θι =6; θ2 =12; Θ3 = 2 + Χ； Θ4=-16 + Χ； cr > ~2(Cb + 24)； cr > -(Cb +17);

Cr > ~4(Cb + 32)； cr > 2.5(Cb + Θ,); 〇Γ'θ- Cr>〇.5(04-Cb); r ^ 220-Cb 4 r- ~~6~~; 昏(θ2 - Cb); 糸ζ之像素點是 5 斤人據此，只要檢視投影至Y c b c r座標—n黏疋 付口述數學式，即可計算出像素點是否落入膚色模型 並判斷出此點是否為膚色點，以料出此影像的膚色區友 運用膚色資訊雖可減少多階層全域搜尋㈣抓出 serh)的時間’俾·尋視純需針對膚色區域加以檢, =臉的可能性與所在位置，而加速處理效率。然而，由; 照條件、及不同攝影機衫之變動參數條件下 ^曰屋生些許色差，因此這些影像之i 未必㈣符合根據其他條件或參數設定所建立: ==件=色色彩值在色彩空間中所形成的輪 曰^條件及參數蚊而有所改變。如此—來，一旦 條件有所偏差時，判斷屮 ' 斷出的膚色將可能產生失誤，導致耳 10 1255429 得之膚^區域呈現破碎不全、或推

使得後續作業難以順利進行。 月不雜物的If I 5 10 15 49874二膚I:::術:：彳如揭露於美國專利公告第 告第62493Π號之專…9536號、及美國專利公 訊號大都以人物為攝，主體:目的及手法皆係假設影像 的膚色成分，力二=:可透過軸像訊號中 獲得較佳的影像品;=參 測技術，皆為先將f彡：^ 專利文獻所運用之膚色债 與叫，再透過事亮度⑺與顏色分量（r-γ 以區八屮严& 義子的象限、區域、或特殊軸，加 塞H胃U膚色訊號。然而’即使上述專利文獻已 不同光照環境盘C，:p仍售會受到不同攝影機、 對影像所造g軟硬體設備共同參數運算後 声色成八 〜θ，而未必能順利偵測出影像訊號中的 _據二的前處理程序失效，w 法發揮六女用。cb P自貝δίΐ號、或控制硬體參數等過程無 以改： 11可知，習知技術仍存在諸多缺失而有予

Μ改途之必要。 乃J 【發明内容】 佳化目的係在提供—義絲像參數以最 心牛抽取之方法’係根據物件顏色投射至色彩空間座 :參數成特定：集之特性，以自動調整影像擷取裝置之取 '，俾利影像掏取裝置在不同光照條件、不同影像參 20 1255429 數、及不同軟硬體環境下，皆可順利抽取出完整物件，而 毋須根據人為經驗法則作判斷。 本發明之另一目的係在提供一種調整取像參數以最 佳化物件抽取之方法，係根據理想顏色值以換算出一比例 值，據以調整影像，俾於透過膚色模型運算後、自調整後 的影像中取得完整物件。 10 15 土本發明之再一目的係在提供一種調整取像參數以最 佳化物件抽取之方法，係選用使物件具有最大色彩差值之 取像參數組合，俾據以自動調整影像擷取裝置之參數。 依據本發明之特色，所提出之調整取像參數以最佳化 物件抽取之方法，首先係擁取一影像，此影像中呈有至少 -目標物件，且目標物件之物件顏色係經由座標投影以於 —色衫^間座標中形成—特定色彩聚集、據以建立—特定 色形权塑；接著，將利用人臉偵測方法或手動選取等方式 ::位影像中的目標物件；再操取出目標物件的顏色分佈 狀悲’以運用特定色彩模型計算出_組取像參數；據此， :可採用取像參數以轉換影像，俾使轉換後之影像中的目 *物件之物件顏色符合特定色彩模型；最後並可運用特定 色衫模型以抽取出轉換後之影像中的目標物件。 其中’本發明係可應用於離線環境中、以根 Wes色彩適應模絲計算出最佳取像參數，使 =標物件所對應之物件顏色能更符合特定色= 外，本發明亦可應用於連線環境中，以計算出最， 取像减組合供影㈣取裝置❹，俾能改善影像掏取^ 20 1255429 置所操取之影像的品質，以使影像中之目標物件的顏色分 佈皆落入特定色彩槎刑φ。μ、士 ， 如棋孓中而上述之物件顏色則例如為人 臉膚色等可於色彩空間座標中形成聚集的顏色。 5 10 15 20 【實施方式】 為能讓貴審查委員能更瞭解本發明之技術内容，特 舉一較佳具體實施例說明如下。 、本發明所提出之調整取像參數以最佳化物件抽取之 方法’係藉由調整取像參數以改善物件顏色，俾滅除不同 取像環境、不同光照設定、或不同影像操取裳置參數值等 因素對影像所造成之影響，以利抽取出完整物件區域來對 =像進行後續之偵測、追縱、定位、或辨識等影像處理程 月係可針對包括離線資料、及線上運作攝影機兩 種衫像來源加以執行。離線資料例如為既有之JPEG、GIF、 格式之影像播案’其較佳係為連續視訊影像中 、八卜影像’以在根據此影像計算出取像參數後，可使 :取數來調整其他在相同取像環境(例如相同光照條 *或月景專）下所取得之影像，俾利抽取出最佳化之物件 ^象’線上運作攝影機則可根據其操取到之其中一影像來 §十异出取像參數’據以調整攝影機之參數設定值。 =意的是’本發明所欲抽取之物件係具有物件顏色 ^色Μ間（eG1()r spaee)座標中、可形成特定聚集之特 炉楚括11™""間座標' HSV空間座標、及YCbCr空間座 不...、，例如將各種不同人臉之膚色所對應的刪色彩分 10 1255429 量於投影至YCbCr空間座標中時、即具有此特性。而在以 下所提出之第一實施例及第二實施例中，係使用根據人臉 膚色（即物件顏色）投影至YCbCr空間座標中所形成之特定 聚集而建立的膚色模型（即特定色彩模型），作為在影像^ 5抽取出皮膚（即目標物件）的依據，以在抽取出膚色區域 後’提高後續執行與人臉相關之影像處理程序的辨識效 能，若其他物件亦具有此特性，當然亦可適用於本發明之 方法。 10第一實施例（計算離線狀態（offline)之取像參數）· 請參閱圖4之流程圖，本實施例首先係擷取一如圖5八 所示、包含有人臉膚色之影像丨（步驟S4〇1)，其係為一呈現 離線狀態之既有影像資料，例如電影、監控錄影帶等無法 調整當初影像擷取器材之硬體設定值的離線資料。由於此 15時尚未調整取像參數，因此根據由大量膚色資訊所建立之 膚色模型，將會自圖5A之影像1中抽取出如圖沾所示之膚 色區域11，其係呈現破碎狀、並受到些許背景雜色干擾， 導致無法清楚完整地呈現影像丨中的膚色區域，不利於後續 根據膚色區域來進行人臉偵測、定位、甚或追蹤等影像處 20 理程序。 為了提高物件抽取之效能，因此，接著將先定位出影 像1中人臉所在位置（步驟S402)，如圖6所示，本實施例係 使用一搜尋視窗2以框選出影像丨中的人臉區域，並可使用 自動人臉偵測方式、或手動選取方式加以框選出來。再來， 1255429 將根據von Kfies色彩適應模式以計算出取像參數（步驟 S403)，von Kries色彩適應模式之規則係如下所示： ί(λ) = Ε(λ)ΓΙ(λ)， 其中，Ι1(λ)為一反射平面，Ε(λ)為投射至反射平面 5 Κ(λ)之入射光，L(k)為反射平面R(x)之反射光，入則為光 波長。由此可知，反射光之刺激值取決於入射光和反射平 面的特性，且L(X)、Ε(λ)、及r(x)的R、G、B三原色分量 义別為 Ι^(λ)、Ι^(λ)、ίΒ(λ)、ERa)、EG〇g、EB(X)、及

RrA)、RGa)、ΪΙΒ(λ)。由於本實施例假設所有人臉的反射特 〇丨生白相同，亦即κ(λ)為一固定值，因此，將可根據von Kries 色彩適應模式而推導出下列關係式： |Ει(λ) = Ει(λ)Κ(λ) 1ί2(λ) = Ε2(λ)ΪΙ(λ) 俾進而取得下列比例關係： ΜΜ = Ε^λ) L2^) ~ ε7(λ) 5 其中，'(λ)為一理想色彩值，為目標物件 =映之物件顏色，Ε/λ)為债測到理想色彩值Μλ)時之 兄光源’ Ε〗（λ)為偵測到目標物件l⑷時之環境光源。 种管相據上述關係式’請一併參閱圖7，係詳述步驟S403 2〇 声.υ ’本貫施例較佳係直接以分佈在色彩座標中的 胃吴里中心點作為理想膚色值(即Ι^(λ))。接著，將根據 12 1255429 5 由搜尋視窗2所框選出之人臉區域對應的顏色直方圖（c〇1〇r histogram)，來抽取出搜尋視窗2範圍内的膚色成分對應之 實際膚色值（即“（λ))(步驟S702)，由於在人臉範圍中，平 滑的膚色佔據多數較亮的顏色成分，所以將把此人臉區域 對應的顏色直方圖中、灰度值較高或較亮的前8〇%(視實際 情況決定比例值、亦可使用手動方式抽取）顏色成分抽取出 來，亚求得其中三原色的各自平均值Rm，Gm，Bm，用來表示 未调整取像參數前所測得的實際膚色值Ε2(λ)。此時即可透 10 過 Ε!(λ)“(λ) Ε2(λ) 驟S703)。 之比例關係以計算出取像參數為Αι (λ)(步ί2(λ) 再來，請繼續參閱圖4之流程圖，只要將影像丨中所有 的像素點灰階值L2(；g皆乘上取像參數^2後，就能得到 [2(λ) 如圖8Α所示、經過參數調整後之轉換後影像3(步驟S4〇4)， 以凸顯強化膚色特徵、並濾除背景雜訊；然後，再透過膚 15色模型的運算即可抽取出如圖8B所示、轉換後影像3中之 轉換後膚色區域31(步驟S405)，其遠較圖沾所示之膚色區 域11清晰完整。如此一來，往後將可根據此最佳化之轉換 後膚色區域31所涵蓋的範圍，來加速後續影像處理程序， 大幅降低偵測到錯誤人臉區域的機率。 20 又，由於本實施例之圖5A的影像1係為一連串視訊影 像中的其中-張影像’故與影像1具有相同取樣環境的其他 影像、在乘上本實施例之取像參數_後，亦可產生相 L。（λ、 13 1255429 同的膚色增益效果，以在透過膚色模型計算後，皆可抽取 出完整清晰的膚色區域。 此外，本實施例雖以計算離線狀態之取像參數為主， 然本實施例所計算出之取像參數亦可用於調整線上 L2(X) 5攝影機所擷取到之影像，並不限於本實施例之離線作法。 第一貫施例（計异連線（online)狀態之取像參數）： 請參閱圖9之流程圖，並同樣以調整圖5A之影像丨對應 的取像參數作說明。本實施例首先係擷取由一運作中之影 1〇像擷取裝置所傳來的影像丨（步驟S901)，其中，影像擷取裝 置例如為一攝影機、相機…等；接著，同樣使用圖6所示之 搜尋視窗2以框選出影像i中的人臉區域（步驟S9〇2)。 再來，請一併參閱圖1〇，係詳述步驟S9〇3用以在擷取 出影像1之膚色分佈狀態後，運用膚色模型試算各種不同參 15數組合、以計算出最佳取像參數的流程。本實施例起初將 透過膚色模型，以擷取出影像丨中之皮膚對應於各種不同參 數組合^的膚色分佈狀態（步驟S101)，其中，參數組合例 如為RGB增益值<，<g，<b，當然亦可視需求而結合曝光 里、或亮度等參數。然後，將所有可能的參數組合，透 k 方程式 C1 = S^ide - S1 outside 來计异出色彩差值（步驟S102)， 、中，S^side為圖6之搜尋視窗2内、符合該膚色模型之像素 ·、、、、〜數，S^utside為搜哥視窗2外、符合膚色模型之像素點總 數據此，具有最大色彩差值之參數組合即為本實施 例之取像參數（步驟S103)。因此，只要根據此取像參數來 14 1255429 調節影像摘取裝置，便能取得如圖从所示、符合膚色模型 的轉換後影像3(步驟S104)，進—步透過膚色模型的運算來 抽取出如圖纽所示、轉換後影像3中之轉換後膚色 31(步驟 S105)。 5 當然，影像擷取裝置即可根據這一組取像參數作調 ^，使得後續所取得之動態影像皆能透過膚色模型抽取出 完整而清晰的膚色區域。 根據上述之說明，可知本發明係能衍生應用至抽取其 10他顏色之物件，只要物件的顏色經過座標投影後，能夠擁 有在色彩空間中形成聚集的特性，就能夠適用本發明之調 整參數方式，使得影像摘取袭置在不同取像環境、不同軟 硬體設定的前提下，皆能抽取出完整的物件區域。且本發 月係月b自動根據計算出的取像參數來調整影像操取裝置， 15而毋須由人員自行手動調整，大幅增加使用便利性，·並在 將影像經過本發明調整取像參數之前處理後，有效改善物 件抽取狀況’俾利於其他後續之影像處理技術，實為一大 進步。 上述實施例僅係為了方便說明而舉例而已’本發明所 2〇主張之權利範圍自應以申請專利範圍所述為準，而非僅限 於上述實施例。 【圖式簡單說明】 圖1係習知使用搜尋視窗於影像中搜尋人臉之狀態示意圖 15 1255429 圖2係習知藉由縮放影像以供搜尋視窗搜尋人臉之狀態示 意圖。 圖3 A係人臉影像之示意圖。 圖3 B係圖3 A之人臉影像之膚色區域示意圖。 5 圖3C係根據圖3A所建立之膚色模型示意圖。 圖4係本發明一較佳實施例應用於離線狀態之流程圖。 圖5 A係本發明一較佳實施例包含人臉膚色之影像示意圖。 圖5B係圖5 A之影像對應之膚色區域示意圖。

圖6係本發明一較佳實施例之搜尋視窗示意圖。 10 圖7係圖4之步驟S403之詳細操作流程圖。 圖8 A係本發明一較佳實施例之轉換後影像之示意圖。 圖8B係圖8 A之轉換後影像對應之轉換後膚色區域示意圖。 圖9係本發明另一較佳實施例應用於連線狀態之流程圖。 圖10係圖9之步驟S903之詳細操作流程圖。 15 【圖號說明】

膚色區域11 轉換後影像3 影像X 搜尋視窗Y YCbCr座標系Z

影像1 搜尋視窗2 轉換後膚色區域3 1 20 縮放影像X1，X2，X3 人臉F1，F2 膚色模型Z1 16

Claims (1)

1255429 拾、申請專利範圍： 1 ·種凋整取像參數以最佳化物件抽取之方法，勺# 下列步驟·· 左a括 -影像#|取步驟’用以擷取—影像，該影像係至 少二目標物件，該目標物件之物件顏色係經由座標投影以 於一色必空間座標中形成一特定色彩聚集、據以 定色彩模型； 心I特 疋位步驟，用以定位該影像中之目標物件； 10 15 20 狀能，參數步驟，係擷取該目標物件之顏色分佈 心1運用_定色彩模型計算出—組取像參數； 衫像轉換步驟，係採用該取像 =轉:r像之目標物件的物件顏色符合該二 幽標::㈣特定色_-一 2·如申請專利範圍第丨項所 像擷取步驟中，爷旦彡德糸— '八中，於該影 一影像。 °象係為禝數個連續視訊影像中之其中 3牛”請專利範圍第2項所述之方法 =驟:使用該取像參數以轉換該 = 口Ρ影像，俾利該物件抽取 豕Τ之王 出該目標物件。 ’ μ荨轉換後之影像中擷取 17 1255429 4.如申請專利範圍第丨項所述之方法，其中，該定位 步驟係框選出-涵蓋該目標物件之影像區域，、以定:出該 影像中之目標物件。 X %如中請專利範圍第4項所述之方法，其係根據麵 nes色彩適應模式L(x) = Ε(λ)κ(λ)以計算出該取像參 數，其中，R⑷為-反射平面，Ε(λ)為投射至該反射平面 之入射光，L⑷為該反射平面之反射光，入為一光波長。 6.如申請專利範圍第5項所述之方法，其中， 取像參數步驟係包括下列步驟： ^ 4 # ίο (Α1)擷取一理想色彩值; (A2)根據涵蓋該目標物件之影 以抽取出該目標物件之顏色成分顏色直方圖 映之物件顏色！^);及 俾取㈣目標物件所反 (A3)根據von Kries色彩適應模式卜(λ) = Ει(λ)κ(λ) 15 [ί2(λ) = Ε2(λ)Κ(λ) 以計算出該取像參數，盆 L 2 (λ) 、 Ε , (λ)為谓測到該理想 色彩值時之環境光源， 八）貝娜到该目標物件時之 光源，_該目標物件對光源之反射特性。 7·如申請專利範圍第6項所述之 轉換步驟係將該影像中之每一 忐，其中，該影像 20取得轉換後之影像。 μ點乘上該取像參數，以 8·如申請專利範圍第6項所述 色彩值係為該特定色彩模型之中… 床，其中，該理想 點0 18 1255429 9·如申請專利範圍第4項所述 像擷取裝置以遠砵也 去其係使用一影 及置以連績擷取該目標物件之動態影像。 取德失*如申請專利範圍第9項所述之方法，其中…"瞀 取像參數步驟係包括-pmh 、6亥“ (B2)計算色彩差值ci = si_ ^ outside (B1)透過該特定色彩模型，以 標物件對應於不同參數組合之顏色分佈狀中之目 v x_ u mside b outside ’ 其中，Q i ίο

=，、符合該特定色彩模型之像素點總數，:: 為一像區域外、符合該特定色彩模型之像素點總數:’ (B3)擷取對應於最大色彩差 定為該取像參數。 。乂參數組合以 _ 範圍第1G項所述之方法，其中，該影像 擷取衣置係直接根據該取像參數㈣取㈣換後之影像。 12. 如申請專利範圍第10項所述之方法，其中，於步驟 15 (B 1)中，该參數組合係為該影像之增益值。

13. 如申請專利範圍第丨項所述之方法其中，該物件 顏色係為人臉膚色，該特定色彩模型係為—膚色模型。 14. 如申請專利範圍第丨項所述之方法，其中，該色彩 空間座標係為一 RGB空間座標。 10 I5·如申請專利範圍第1項所述之方法，其中，該色彩 空間座標係為一 YCbCr空間座標。 y 19