TW200913687A - Moving body image extraction apparatus and program - Google Patents

Description

200913687 九、發明說明： 【發明所屬之技術領域】 本發明係關於從連續之複數個圖框抽出動體的影像 之動態影像抽出裝置及程式。 【先前技術】 近年來’在廣播業界等，開始使用將動體連拍影像排 列於1張影像而合成的技術。 又’例如’如專利第3 793 2 5 8號之揭示所示，已知一 種合成技術，其從複數個圖框中將觀眾或樹木等進行複雜 之動作的背景、和包含有該背景之影像中的動體分離，再 逐次抽出動體並進行合成。 這種技術可在靜態上掌握某期間之動作的整體，便利 於運動硏究等動體的運動分析。又，亦具有作爲影像特殊 效果的趣味性。 可是，在抽出動體時進行影像的二値化，而僅取標記 之最大成分的情況，因爲連結性的中斷而發生完全遺漏動 體之部分影像（若動體係人時，頭或手足的影像）之品質惡 化。又，在圖框包含有複數個動體的情況，無法抽出這些 複數個動體的全部。此外，雖然以縮小的圖框產生抽出影 像，但是在將此產生的影像應用於實際尺寸之影像的情 況，可能在抽出影像的輪廓發生嚴重的鋸齒形瑕疵。 又，由於照明變動、運動模糊、動體的陰影、反射、 雜訊等，而背景部分和動體部分的邊界本身變得模糊，而 200913687 難得到無不協調感的合成影像。 【發明內容】 本發明係鑑於上述之實況而開發者，提供可以抽出並 穩定地輸出適當之動體的影像之動態影像抽出裝置及程 式。 爲了達成該目的，本發明之第1觀點的動體影像抽出 裝置，其特徵爲具備有：第1算出手段，係針對複數個圖 框，算出和背景部分、或其他的圖框相關的差分強度；加 法手段，係將藉此第1算出手段所算出之該複數個圖框的 該差分強度相加；第2算出手段，係算出將該複數個圖框 中之任一個圖框的該差分強度除以藉該加法手段所相加之 該複數個圖框份量的差分強度後的値；以及第1輸出手 段’係根據藉此第2算出手段所算出之値而輸出在該任意 的圖框中之動體的抽出影像。 又’本發明之第2觀點的程式，其特徵爲用以使電腦 實現如下之功能’第1算出功能，係針對複數個圖框，算 出和背景部分、或其他的圖框相關的差分強度；加法功能， 係將藉此第1算出功能所算出之該複數個圖框的該差分強 度相加；第2算出功能，係算出將該複數個圖框中之任一 個圖框的該差分強度除以藉該加法功能所相加之該複數個 圖框份量的差分強度後的値；以及第1輸出功能，係根據 藉此第2算出功能所算出之値而輸出在該任意的圖框中之 動體的抽出影像。 200913687 【實施方式】 以下，參照圖式詳細說明本發明之實施形態。 第1圖係表示應用本發明之一實施形態的攝影裝置 100之示意構造的方塊圖。攝影裝置10〇對所輸入之複數個 圖框（F[0] ' F[l].....F[N — 1])，就各像素算出和背景部分 相關的差分強度。攝影裝置丨〇〇算出將這些複數個圖框中 任一個圖框之差分強度除以複數個圖框份量的差分強度後 的α値’並根據該〇:値輸出在任意圖框中之動體的抽出影 像Gm。 具體而言’攝影裝置1〇〇如第丨圖所示，具備有攝影 部1、攝影輔助部2、顯示部3、操作部4、記錄媒體5、 USB端子6以及控制部7等而構成。 攝影部1作爲攝影手段，連續地拍攝被拍攝物而產生 該複數個圖框。具體而言，攝影部1具備有攝影透鏡群U、 電子攝影部1 2、影像信號處理部1 3、影像記憶體1 4以及 攝影控制部1 5等。 攝影透鏡群1 1係由複數個攝影透鏡所構成。 電子攝影部12係由將通過攝影透鏡群11之被拍攝物 影像轉換成二維影像信號的CCD(Charge Coupled Device)或 CM〇S(Complementary Metal — Oxide Semiconductor)等攝影 元件所構成。 影像信號處理部1 3係對從電子攝影部1 2所輸出之影 像信號施加既定之影像處理者。 200913687 影像記憶體1 4暫時記憶影像處理後的影像信號。 攝影控制部1 5在CPU7 1之控制下控制電子攝影部i 2 及影像信號處理部13。具體而言，攝影控制部15使電子攝 影部1 2在既定之曝光時間連續拍攝被拍攝物，並控制從該 電子攝影部12之攝影區域以既定之圖框速率讀出影像信 號（圖框）的處理之執行。 攝影輔助部2係在藉攝影部1拍攝被拍攝物時驅動 者，具備有對焦驅動部2 1和變焦驅動部22等。 對焦驅動部2 1驅動攝影透鏡群1 1所連接之對焦機構 部（省略圖示）。 變焦驅動部22驅動攝影透鏡群1 1所連接之變焦機構 部（省略圖示）。 此外，對焦驅動部2 1及變焦驅動部22係連接於攝影 控制部1 5，在攝影控制部1 5之控制下驅動。 顯示部3係顯示藉攝影部1所拍攝之影像者，具備有 顯示控制部3 1和影像顯示部3 2等。 顯示控制部3 1具備有影像記憶體（省略圖示）’其暫 時保存從CPU71所適當地輸出之顯示資料。 影像顯示部3 2具備有液晶監視器等，其根據來自顯 示控制部3 1的輸出信號而顯示既定之影像。 操作部4係用以進行該攝影裝置1 0 0之既定操作者， 具備有操作輸入部41和輸入電路42等。 操作輸入部4 1具備有快門按鍵4 1 a ’其指示攝影部1 200913687 拍攝被拍攝物。 輸入電路4 2係用以將從操作輸入部4 1輸出而輸入的 操作信號輸入CPU71者。 記錄媒體5例如由卡片型之不揮發性記憶體（快閃記 憶體）或硬碟等所構成’記憶複數個藉攝影部1所拍攝之影 像的資料。 U S B端子6係和外部機器連接用的端子，經由u S B 電纜（省略圖示）等進行資料的收發。 控制部7係控制攝影裝置1 〇〇之各部者，例如具備有 CPU71、程式記憶體72以及資料記憶體73等。 CPU7 1係根據程式記憶體72所記憶之攝影裝置1 〇〇 用的各種處理程式而進行各種控制動作者。 資料記憶體7 3係例如由快閃記憶體等所構成，暫時 記憶CPU7 1所處理的資料等。 程式記憶體7 2係記憶C P U 7 1之動作所需的各種程式 或資料者。具體而言，程式記憶體72記憶背景影像產生程 式72a、差分強度算出程式72b、錯誤圖框除去程式72c、 重複圖框除去程式72d、α値算出程式72e、合成程式72f 等。 背景影像產生程式72a係在前處理（後述），用以使 CPU71實現和動體Μ不存在之狀態的背景影像Gb.之處理 相關的功能之程式。 即，藉由CPU71執行背景影像產生程式72a，而使用 200913687 連拍影像（參照第2圖；此外，在第2圖，F表示連拍影像 中之一張影像）之縮小影像圖框（以下稱爲圖框），進行根據 多數決原理而將假想之背景影像Gb(參照第3圖）合成的處 理。具體而言’以單色影像爲對象的情況，對各像素求全 部之圖框的同座標之像素値的medium(中央値）即可。又， 以彩色影像爲對象的情況，因爲無法取得向量的中央値， 所以如以下之第（1)式的規定所示，對色空間的各成分求中 央値。在此，設所輸入之第P個原尺寸原影像爲F’ [p]， 將其縮小至既定尺寸之第P個圖框爲F[p]。又，設圖框F[p] 之座標（x，y)的像素値爲F[p，x,y]。又，C€{Y,Cb，Cr}表示色 成分的下標（Y係亮度，Cb及Cr係色差），因而Fc[p，x，y]表 示F[p,x,y]的各色成分。

Gbc[x,y] = MedpWFc[p,x,y] ---(1) 此外，亦可作成預先拍攝動體Μ不存在之狀態，作 爲背景影像Gb ’並指定之。 差分強度算出程式72b係用以使CPU71實現對複數個 圖框算出和背景部分相關之差分強度的差分強度算出處理 相關之功能的程式。 即，藉由CPU71執行差分強度算出程式72b，而對複 數個圖框進行算出背景影像之差分強度的處理。具體而 言，根據如下之第（2)式’藉由計算各圖框之影像的色成分 之加權平方和，而算出原差分強度（矩陣Do[p])。在此’以 Gb表示各背景影像。 -10- 200913687 D〇[p^，y) = [GbY[x,y] - FK[p,j：sy]}2 + - F^tp.x,)»]}2 + w{GbCr[x,y]~ FCr[p,x,y]f …⑵ 此外’在將差分強度設爲8位元値的情況，需要限制 爲最大値25 5。尤其，因爲在平方値變成很大的値，所以以 挪移位數變小後限制成2 5 5較佳。 又’色差成分之加權常數w係可由經驗決定，在一般 的情況’因爲和W的相依不太敏感，所以雖然1亦可，但 是2以上的値因可得到稍佳之結果而較佳。 又’作爲色空間，雖然使用和在〗PEG之處理所使用 者相同的Y、Cb、Cr，但是亦可使用轉換後的色空間。 在此’在第4圖表示根據上述的第（2)式所算出之表 示原差分強度的灰階影像Gd。如第4圖所示，由於在所輸 入之原影像（參照第2圖）的背景之白板的框或紙箱等之影 響，在動體Μ之內部產生強度的凹凸。又，因爲單腳部分 和背景之壁係相似的像素値，所以變得很薄。 又’原差分強度（矩陣Do[p])，亦可作成根據如下之 第（3)式，藉由各圖框之影像的色成分之加權絕對値和而算 出。 y】=|G*y 〇, y]-巧|>，X，y]| + y] - y]| + wjGfrCr[j：，y] - FCr[p，；c, y](…⑶ 又，在差分強度算出處理，爲了後述之差分強度的正 常化處理、錯誤圖框判定處理、背景強度算出處理所使用 的各種參數之算出，而對原差分強度進行大津的二値化處 理（適應性二値化處理）。在此，大津的二値化處理係根據 分離度之判別分析法的一種，而該分離度係以等級內分散 200913687 爲基準而將組分離。若依據本手法，藉由預先取樣品値的 梯級頻布圖，而後面的處理只是掃描梯級頻布圖’可極高 速地處理。 又，藉由大津的二値化’設定區分接近0之組和接近 1的組之2個集合的臨限値u。因而，理想上應可當作分成 成爲0値的背景區域和動體區域。可是’根據此臨限値u 之邊界未必直接成爲動體Μ的輪廓。動體區域中’只是分 成典型之差分値的組和其以上的値之部分，比其具有微小 的差分値之動體區域或許殘留。 然後，利用二値化之結果，抽出如下之第（4)式~第（6) 式所規定的背景中央値ζΡ、動體中央値mP、雜訊位準推測 値nP並保存。在此，z’ p係從背景集合之上25%的値。 mp = MedD。丨ρ,啊叫/^，y]…⑸ np=z'p~zp --(6) 這些値係意指對差分強度取背景區域與動體區域之 各自的典型値、及背景區域之振幅的典型値。又，雜訊位 準推測値雖然嚴格上未意指何物，但是和背景區域之標準 偏差或平均偏差近似。中央値或百分比値係從爲了求二値 化臨限値而製作之梯級頻布圖可簡單且高速地計算。 在此，雖然亦可使用平均或標準偏差算出雜訊位準推 測値，但是那些易受到〇 u 11 i e r値影響。在藉二値化之背景 區域未保證真正地完全切出背景的狀況，因爲無法說是 -12- 200913687 r 〇 b u s t尺度，所以採用上述的推測方法 此外，二値化臨限値“係上述之 値。在進行正常化處理（後述）的情況’ 強度，爲了可切出大致相同的區域’較 臨限値減去zP。 又，在差分強度算出處理’爲了修 的合成時之動體Μ的混合比之濃度的不 強度的正常化處理。 即，差分強度可看成一種模糊集合 示模糊的動體區域。在此，模糊集合係 數之各元素的屬於程度之集合，若將値 0,意指完全不屬於，若是1，意指完全货 意指因應於該値之屬於程度。又，從屬 決定方法並無強烈的限制，只要模糊地 可 ° 可是，實際上可得之原差分強度， 係完全的背景區域（不動區域），差分値^ 變動的程度而具有因各圖框而異之直流 因此’在完全之背景區域，因爲毛 據如下之第（7)式，減去從差分強度以適 算出之背景中央値Ζρ後，在減法結果變 由轉換成限制爲〇的値，而將差分強度 y] = maX(〇,Z)〇[/>，x，y]_%〉…⑺ 大津的二値化臨限 在正常化後的差分 佳爲保存從本來的 正照明變動所引起 均勻，而進行差分 •的從屬度函數，表 定義稱爲從屬度函 域設爲[0，1]，若是 g於，若是中間値， 度函數之中間値的 表示程度的序列即 因照明變動而即使 F不是0，根據照明 偏置和振幅。 έ屬度應變成〇，根 :應性二値化處理所 丨成負値的情況，藉 進行正常化。 200913687 此外’在差分強度的正常化處理，雖然作成使用背景 中央値ZP ’但是未限定如此，只要係背景部分的代表値即 可’亦可係最頻値或平均値等。 又’在差分強度算出處理，爲了消除由雜訊所引起的 細缺損、孤立點，或由微小的相機抖動所引起的細邊緣， 而進行差分強度的平滑化處理。 在此’平滑化處理係利用morphology運算進行，此 手法在二値處理常用，可當作一種平滑化處理。 此外’在本實施形態，利用多値morphology運算進 行平滑化處理，而多値morphology運算的收縮、膨脹處理 係根據Min、Max運算，這亦可說是一種模糊運轉。具體而 言’根據如下之第（8)式，在將差分強度進行closing(收縮 —膨脹）後，進行〇 p e η 1 n g (膨脹—收縮）。 D[p] = OpeningiClosing (^[p])) ---(8) 此外，平滑化處理未限定爲上述的方法。 I : 錯誤圖框除去程式72c係用以使CPU71實現除去錯誤 圖框的處理之功能的程式，而錯誤圖框係因從有效圖框未 正確地抽出動體Μ而可能誤抽出背景的一部分。 在此，尤其影響大而有問題者，係動體Μ不存在之 只有背景的圖框。例如，在動體Μ位於圖框之外的情況， 或者發生隱蔽的情況之圖框。在此情況，背景理想上差分 値全部是0。將這種圖框勉強地分離成2組時，二値化臨 限値變成很小，又，所抽出背景之面積常常變成異常地大。 -14- 200913687 因此’藉由計算具有以適應性二値化處理所算出之二 値化臨限値以上的差分強度之點的個數，而算出動體面 積’並判定該面積値對畫面整體的比是否位於既定之範圍 內。在此’若判定動體面積値對畫面整體的比未位於既定 之範圍內’當作係錯誤圖框。實際上，發生極大的動體面 積，在該圖框動體Μ不存在，或因隱蔽而動體Μ變成很小 的面積的情況發生。 此外’雖然預設用以判定面積比之範圍的最小値及最 大値’但是若想儘量不限定應用範圍，亦可係例如由〇至 畫面整體面積的1 /4之程度的寬鬆限制。 又’該判定處理亦可在剛進行適應性二値化處理後進 行。 然後’對全部的圖框求二値化臨限値後，算出那些臨 限値的中央値。因爲認爲圖框的半數以上爲背景部分的狀 況係極爲例外，所以可認爲此中央値係正常値的典型値。 接著，和中央値相比，並判定是否存在具有約1 /1 〇以下之 小的臨限値之圖框。在此，判定係具有約該1 /1 〇以下之小 的臨限値之圖框時，將此圖框當作是錯誤圖框。實際上， 發生極小的臨限値，在該圖框動體Μ不存在，或因隱蔽而 動體Μ變成很小的面積的情況發生。 即’只要不是以極超闻速（超短時間曝光）攝影爲前 題，應不會因日光燈等的照明變動而出現那麼極端之臨限 値的差異，而可判斷抽出不是動體Μ者。 -15- 200913687 重複圖框除去程式72d係使CPU71實現對複數個有效 圖框，判定其他的圖框和動體區域之重複的大的圖框（重複 圖框），並自動地進行間拔處理之功能的程式。 混合所引起之合成的缺點係在動體Μ的顯示時無時 系列之槪念。因而，尤其在動作慢的情況，或者有暫時性 之動作滯留狀態的情況，將其全部重疊時，幾乎無法讀取 動體的動作（重複影像Gr :參照第5圖）。 因此，根據藉二値化處理所算出之二値化臨限値而區 分在圖框的背景區域和動體區域。然後，以動體區域之面 積（像素數）和動體重疊區域（像素數）的面積比爲基準，因應 於該面積比是否比既定之臨限値大，而判定重複圖框。具 體而言，在影像P和影像q之動體重疊面積比，係根據如 下的第（9)式，以r(p，q)表示。此外，如下的第（9)式中之Σ

的對象爲二値邏輯式，意指若是真將1，而若是僞將〇直 接作爲數値相加的意義。然後，若該面積比係既定之臨限 値以上，從有效圖框集合除去影像p及影像q中之任一個 (例如在時間上落後）圖框。 …⑼ r(P，Q) 在此，在該處理，藉由臨限値的設定，而可調整允許 重疊的程度。即’雖和主觀的喜好亦有關，特意容許約1~ 數成的重疊，反而可得到合成張數增加且充滿速度感之合 成影像Gc(參照第7圖）。 此外’根據二値化臨限値的邊界未必表示正確之動體 -16- 200913687 邊界。可是，從容許一些重疊的觀點，認爲即使係稍微不 正確的邊界亦不會變成太差之結果。 α値算出程式72e係用以使CPU71實現算出處理相關 之功能的程式，而該處理算出係複數個有效圖框之混合比 的α値A。具體而言，藉由CPU71執行α値算出程式72e， 而根據如下之第（10)式，算出α値。藉由將複數個有效圖 框中之任一個圖框的差分強度除以複數個有效圖框份量之 相加的差分強度而算出此α値。

..(10) D[p,x,y\ Y,PtvD{p,x,y] 在此，在該第（10)式，在分母爲0時變成錯誤，而在 分母接近0時結果變成不安定。此外，分母爲0時，雖然 藉由將任一個有效圖框的差分強度強迫地變更爲1後再計 算，而可避免錯誤，但是殘留不安定性。由於微小的雜訊 變動，而哪一個圖框是優勢變得不安定。尤其在照明變動 的情況，從各種的圖框選擇背景變得顯著。 - 因此，在背景區域，爲了使結果對雜訊程度之微小的 變動變得遲鈍，而在算出α値的前階段根據背景強度進行 修正處理。 具體而言，使用在適應性二値化處理所算出之雜訊位 準推測値IU，推測合成雜訊位準（參照如下的第（1 1)式）。 nc=VLZx"…(11) 即，若圖框間之同像素位置的雜訊係不相關，係α値 之分母的加法結果之雜訊的分散爲各圖框之雜訊的分散之 -17- 200913687 和。即，如上述所示，因雜訊位準推測値係和標準偏差相 差不大，所以可預估藉雜訊位準之平方和的平方根將分母 之標準偏差近似的合成雜訊位準。在此，嚴格上，雜訊不 僅僅係單純的隨機雜訊。即，利用各圖框的中央値求成爲 基準的背景影像Gb，具有相依性，又因爲在正常化處理僅 以和背景中央値的差修正照明變動，所以和背景內容的相 關殘留。可是，反之，在圖框間之同像素位置的雜訊有強 相關之情況’能以各圖框之雜訊振幅的和（即，雜訊位準之 單純的和）預估α値之分母的雜訊振幅。典型上，α値之分 母的雜訊振幅只有變成數倍大之程度的差異而已。又，即 使嚴格地預估，亦因爲認爲實際上不太有效，所以認爲即 使上述的方法亦充分。 將α値之分母的最小値規定爲，a m i η = k η。。在此，k 係適當的常數，此常數愈大對雜訊愈遲鈍。具體而言，例 如設爲約3。 而，使用各合成雜訊位準之推測値的數倍程度之値， 在分母小於該値的情況，可將該區域看成具有係背景區域 的程度。即，根據如下之第（1 2)式規定係模糊之背景性的 強度之背景強度。 y] = max(0, amiB - ^D[p, x, 7]) · (12) pev 在此，背景強度大於0之區域，在任一個區域都不存 在明確的動體Μ，即，係差分強度爲雜訊或和雜訊同等之 只有薄的變化之區域。在這些區域，因應於背景強度的強 -18- 200913687 度（動體存在性的弱度）而使任一個圖框之像素値的α値變 高。此外，選爲背景之圖框，因爲不管選擇哪一個都應是 成爲背景的區域，所以任一個都可，亦可按照比例分成複 數個圖框。最簡單的方法係在圖框之中選擇最初的有效圖 框。 接著，將選爲背景之圖框的指標設爲b，並根據如下 之第（1 3 )式，更新差分強度之全像素位置的値。然後，如 上述所示，根據如上之第（ίο)式，算出各有效圖框pev之 各像素的α値。 尤，y] = D[fc，λ，y] + y]…(13) 上述之α値算出演算法的修正不會損害對輸入之合 成結果的連續性，反而可變成良好。 如第6圖所示，在任何圖框中之動體的抽出影像Gm， 若將α値當作模糊的區域，則由動體區域、動體Μ之影子 等之周邊相關區域、以及背景雜訊等所構成。表示原差分 強度之在灰階影像Gd(參照第4圖）的動體Μ內部之凹凸， 在此被充分地平均。 合成程式72f係用以使CPU71實現將複數個有效圖框 合成之合成處理的功能之程式。 首先，藉由CPU71執行合成程式72f，而將對縮小影 像之各像素所算出的α値 A[p]放大成原尺寸，而得到 A’ [P]。在此，關於內插處理，雖然最旁邊法亦可，但是 以雙線性內插等連續地（最好圓滑地）內插者在畫質上較 -19- 200913687 佳。例如’在本實施形態之方式，雖然在單一動體和背景 的邊界（理想上）不會出現鋸齒形，但是在複數個動體間或 動體和具有大的背景強度的背景之間可能產生鋸齒形。若 和二値化處理相比，因爲係多値處理，所以鋸齒形所引起 的亮度差小，直接進行最旁邊內插亦不會顯著。可是，認 爲更細緻的內插比較圓滑。 接著’對複數個有效圖框的各圖框的各像素値乘以α 値A’ [ρ]，而產生應合成的圖框。然後，藉由將這複數個 圖框合成，而得到合成影像Gc(參照第7圖）。 合成影像Gc的像素値係由如下之第（14)式~第（16)式 所規定。此外，雖然在此’將α:値設爲實數，但是在使用 常數倍之整數値的情況，係藉適當的挪移進行除法。又， 色差値的表達係無符號的8位元，並在無色時假設爲128。 又，設原尺寸之輸入影像爲F’ [ρ]。

Gey!>，y] = Ε ΑΊ>，Λ，y] * $[/?，X，y]…(14)

Gca [x, y] = 128 + £ A'[p, x, y] * (Fa[p,x, y] -128) --(15)

p€V

GcCr[x, y] = 128 + £ A'[p,X> y]*(F^[p,x, y] ~ 128) · -(16)

p£V 其次’參照第8圖〜第15圖，詳細說明本實施形態的 影像合成處理。 第8圖係表示影像合成處理之動作的一例之流程 圖。如第8圖所示’進行在進入影像合成的本處理之前的 前處理（步驟S 1)。然後’從所連拍之複數個影像圖框的各 圖框抽出動體區域的抽出處理（步驟S 2)。又，進行以各影 -20- 200913687 像圖框之α値爲基準將複數個有效圖框合成的合成處理 (步驟S3)，再顯示作爲合成結果的合成影像Gc並保存（步 驟 S 4)。 其次，參照第9圖，詳細說明前處理。 第9圖係表示影像合成處理之前處理的動作之一例 的流程圖。如第9圖所示，在前處理，CPU71利用迴路處 理對所輸入之複數張（N張）影像圖框的縮小影像之產生（步 驟 S 1 1 ~ S 1 4)。 具體而言，CPU71對N張（影像號碼i爲「0」~「N — 1」）的圖框，輸入（取得）各圖框的原尺寸原影像F’ [P](步 驟S 12)。又，對所輸入（取得）之該影像施加適當的低通濾 波後，次取樣成數分之一的既定尺寸，而產生減少像素數 的縮小影像F [ p ](步驟S 1 3 )。 在至影像號碼1是「N - 1」的第N張圖框爲止重複進 行上述之處理後（步驟S 14)，CPU71執行程式記憶體72內 之背景影像產生程式72a，使用所產生之連拍影像的縮小影 像，根據多數決原理產生假想的背景影像Gb(步驟S 15)。 因而，結束前處理。 其次，參照第10圖〜第14圖，詳細說明抽出處理。 第10圖係表示影像合成處理之抽出處理的動作之一 例的流程圖。如第10圖所示，在抽出處理，首先，CPU71 對N張（影像號碼i爲「0」〜「N—1」）的圖框，利用迴路 處理差分強度的算出（步驟S21-S23)。接著，進行從有效圖 -21 - 200913687 框除去錯誤圖框的錯誤圖框除去處理（步驟S24)。然後，進 @#$其他的圖框和動體區域之重複大的重複圖框之重複 圖框除去處理（步驟S25)。接著，進行算出係複數個有效圖 框之混合比的α値之α値算出處理（步驟S 2 6)。 以下，參照第1 1圖，更詳細說明差分強度算出處理。 如第11圖所示，在差分強度算出處理，CPU71執行 程式記憶體72內之差分強度算出程式72b，藉由對複數個 圖框，進行計算影像之色成分的加權平方和，而算出原差 分強度的處理（步驟S 201)。接著，CPU71對所算出之原差 分強度進行大津的二値化處理（適應性二値化處理），而算 出並保存背景中央値、動體中央値以及雜訊位準推測値（步 驟S 202)，作爲差分強度之正常化處理、錯誤圖框判定處理 以及背景強度算出處理所使用的各種參數。 然後，CPU71藉由進行差分強度的正常化處理，而修 正照明變動所引起的之合成時的動體Μ之混合比的濃度之 不均勻（步驟S203)。 接著，CPU71藉由進行差分強度的平滑化處理，而消 除由雜訊所引起的細缺損、孤立點，或由微小的相機抖動 所引起的細邊緣（步驟S 204)。 因而，結束差分強度算出處理。 以下，參照第1 2圖，更詳細說明錯誤圖框除去處理。 如第12圖所不’在錯誤圖框除去處理，首先，CPU71 執行程式記憶體7 2內之錯誤圖框除去程式7 2 c，而算出在 -22- 200913687 適應性二値化處理所算出之在全部圖框的二値化臨限値的 中央値（步驟3211)。接著，〇?1；71對^^張（影像號碼1爲「〇」 ~「N— 1」）的圖框’利用迴路處理錯誤圖框的判定及除去（步 驟 S212〜S217)。 具體而g ’ CPU71對各圖框F[i](i = 〇、1、2…N — 1)， 計數具有二値化臨限値以上之差分強度的點之個數，而算 出動體面積，再判定該面積値對畫面整體的比是否爲位於 既定之範圍內（步驟S213)。在此，若判定面積比未位於既 定之範圍內（S213; NG)，CPU71將該圖框F[i]當作是錯誤 圖框’並從有效圖框集合除去（步驟S2 14)。 接著，CPU71對在步驟S213被判定爲OK的圖框 F [ 1 ]，和二値化臨限値的中央値比較，判定（檢查）是否具有 例如約1 /1 0以下之小的臨限値（步驟S 2 1 5 )。在此，若判定 爲具有約1 /1 0以下之小的臨限値（S 2 1 5 ; N G)，則C PU 7 1將 該圖框F[i]當作係錯誤圖框，並從有效圖框集合除去（步驟 S216)。 藉由至影像號碼i是「N - 1」的第N張圖框爲止重複 進行上述之處理（步驟S 2 1 7 )，而結束錯誤圖框除去處理。 以下’參照第1 3圖，更詳細說明重複圖框除去處理。 如第13圖所示，在重複圖框除去處理，CPU71執行 程式記憶體72內之重複圖框除去程式72d，而對N - 1張（影 像號碼i爲「0」~「N - 2」）的圖框，利用迴路（迴路1)處 理是否有其他的重複圖框之判定及間拔（步驟S 221 ~S 228)。 -23- 200913687 具體而言’首先’〇?1171對1^—1張（影像號碼1爲「0」 ~「N— 2」）的圖框，判定是否爲有效圖框（步驟S222)。在 此，若判定是有效圖框（S 222 ; YES) ’利用關於影像號碼j 的迴路（迴路2，』之範圍爲「i + 1」~「N—1」），處理是否 爲圖框F[j]和圖框F[H之重複圖框的判定及間拔（步驟 S223 -S227)。即，CPU71算出在該影像圖框[i]和下一影像 圖框m之動體區域的面積和動體重疊區域之面積比（步驟 S 224)。然後，判定該面積比是否比既定之臨限値大（步驟 S225) ° 在此，若判定面積比比既定之臨限値大（S 225 ; YES)， CPU71從有效圖框集合除去圖框[j](步驟S226)。 藉由至影像號碼i是N - 2的第N—1張圖框爲止重複 進行上述之處理（步驟S 228)，而結束重複圖框除去處理。 以下，參照第1 4圖，更詳細說明α値算出處理。 如第14圖所示，在α値算出處理，CPU71執行程式 記憶體7 2內的α値算出程式7 2e，而處理背景強度的算出 及對N張（影像號碼i爲「0」~「N— 1」）的圖框FU]之α 値的產生（步驟S231〜S23 6)。 具體而言，首先，CPU71使關於像素位置的迴路（迴 路3)開始，對選作背景之圖框的各像素位置算出背景強 度，再根據該背景強度更新各像素位置的差分強度値（步驟 S232)° 然後，對N張（影像號碼i爲「〇」~「N— 1」）的圖框， -24- 200913687 利用迴路（迴路4)處理α値的產生（步驟S233〜S235)。具體 而言，對複數個有效圖框的各個，算出各像素的α値並保 存於矩陣Α(步驟S 234)。 至影像號碼i是N- 1的第N張影像圖框爲止重複進 行上述之處理（步驟S23 5)，藉由重複至全像素位置（步驟 S 23 6)而結束α値算出處理。 以下’參照第15圖，更詳細說明合成處理。 第15圖係表示影像合成處理之合成處理的動作之一 例的流程圖。如第1 5圖所示，在合成處理，CPU7 1執行程 式記憶體72內的合成程式72f。首先，消除合成影像緩衝 器所儲存的資料，而背景變黑（步驟S3 1)。然後，對N張（影 像號碼i爲「0」〜「N — 1」）的圖框，利用迴路（迴路5)處 理各像素變成α値倍之應合成的圖框之加法（步驟 S32〜S37) ° 具體而言’首先，CPU71利用迴路（迴路6)處理在原 尺寸原影像之α値的內插處理及應合成之圖框的加法（步 驟S33-S36)。即，CPU71將對縮小影像的各像素所算出之 α値放大（內插）至原尺寸（步驟S34)。然後，CPU71對Ν張（影 像號碼i爲「0」~「Ν— 1」）的圖框，產生對各有效圖框之 各像素値乘以α値而應合成的圖框，將這些所產生之圖框 和合成影像緩衝器相加（步驟S 35)。 藉由至影像號碼i是Ν- 1的第Ν張影像圖框爲止重 複進行上述之處理（步驟S37)，而產生合成影像Gc，因而 -25- 200913687 結束合成處理。 如以上所示，若依據本實施形態的攝影裝置100，可 對在複數個圖框中之任一個圖框的背景影像Gb，根據該圖 框之色成分的加權平方和或加權絕對値和而算出各像素的 差分強度，再算出將該差分強度除以複數個圖框份量之差 分強度後的α値。 又，因爲根據該α値而輸出在任意的圖框中之動體的 抽出影像Gm，所以可和影像攝影條件無關並穩定地輸出無 不協調感之自然的動體之抽出影像Gm。而且根據α値產生 複數個應合成的圖框，藉由將該複數個圖框合成，而可得 到合成影像Gc。 即，例如，即使是有照明變動（尤其閃爍）的情況，亦 因爲不是根據差分之大小而進行臨限値處理，所以即使在 圖框間差分的大小分散，亦不會誤檢測動體區域。此外， 爲了確保合成品質，藉差分強度的正常化處理而消除對差 ； 分之直流成分的混合比之影響，又，藉由在合成處理引入 背景強度的槪念，而使背景畫質變得安定較佳。這將後述。 又，在發生移動模糊的區域，因爲因應於動體成分的 程度而混合比連續地變高，所以不會產生不連續，即顯著 的邊界線。 又，在動體Μ之陰影或反射的產生區域，和動體Μ， 具體而言，動體本體比較，而識別在模糊上存在之薄的動 體Μ。因此，在動體Μ之陰影或反射的產生區域和其他的 -26- 200913687 圖框中之動體本體重疊的區域，動體本體優先。又，在動 體Μ之陰影或反射的產生區域僅和背景重疊之區域，動體 Μ之陰影或反射的產生區域優先。如此，不截取動體本體， 就可得到亦稍微包含有陰影或反射的部分之自然的合成結 果。 此外，雖然根據雜訊、縮小影像之解析度界限以及背 景和動體Μ的類似，而如動體Μ之掠影者殘留於合成影像 Gc，但是藉由上述之合成的安定性而可使掠影的程度變 小。又，即使動體Μ之邊界不是最佳，亦因爲無明確之假 邊緣，所以可使視覺上的印象變佳。 又，藉由從差分強度減去以適應性二値化處理所算出 之背景中央値Ζρ而算出最大値，因爲進行差分強度的正常 化，所以可適當地修正照明變動所引起的合成時之動體Μ 的混合比之濃度的不均勻。 又，對複數個圖框，根據差分強度而區分背景部分和 動體部分Μ，再根據該區分之結果，判斷是否爲以合成處 理應合成的圖框。即，對複數個有效圖框，判定動體區域 之與其他的圖框之重複大的圖框（重複圖框F)，因爲自動地 間拔，所以可使合成張數，即所合成之動體Μ的個數變得 適當。因而，可得到易看、易掌握動作之合成影像Gc。 又，在α値算出處理，對選爲背景之圖框的全像素位 置算出背景強度，並將該背景強度和圖框之背景部分的差 分強度相加。因而，因爲更新全像素位置的差分強度値’ -27- 200913687 所以可對在背景區域之雜訊程度的微小變動變得遲鈍。因 而，可防止因微小的雜訊變動而哪一個圖框變得優勢這件 事不穩定地變化。尤其，在發生照明變動的情況’可防止 從各種背景之圖框選擇而變得顯著。 此外，本發明未限定爲上述的實施形態，亦可在不超 出本發明之主旨的範圍，進行各種改良及設計的變更。 又，在上述之實施形態，雖然在差分強度算出處理使 用背景差分法，但是未限定如此。例如，作成在相鄰之圖 框間取差分後，取其交集（AND ;積集合）（圖框差分AND 法），藉此不必爲了算出原差分強度而將背景影像Gb合 成。此外，背景變動亦變強。在此，圖框差分AND法本身 雖然係自以往已知，但是在處理多値影像的情況，只要作 成取模糊集合之積集合運算，即Min (最小値）即可。 此外，在上述之實施形態，雖然作成在差分強度算出 處理進行正常化處理及平滑化處理，但是未限定如此。例 如，可適當並任意地變更正常化處理及平滑化處理是否要 處理。即，亦可作成僅進行正常化處理及平滑化處理中的 任一者’亦可作成都不進行。此外，在此情況，只要設爲 D[P]= D〇[p]即可。 又’在正常化處理’雖然作成以在背景區域之從屬度 函數變成0的方式將差分強度進行正常化，但是未限定如 此。例如’亦可作成以在明確之動體區域的從屬度函數變 成既定値（例如1 (若差分強度爲8位元時25 5 ))之方式，將 -28- 200913687 差分強度進行更細緻的正常化。 此外’在上述之實施形態的重複圖框除去處 運動速度，在圖框速率高時，可在空間上大致等 列動體Μ。另一方面，在圖框速率低時，根據重疊 而可能如遺漏約1個圖框份量般中間空白（參 圖）。尤其，在拍攝有速度感的競技或描繪某種軌 的情況，有覺得損害整體之速度感的印象。例如 達逐漸加速，動體Μ的間隔逐漸變大較佳。 因此，一面以在時間上大致等間隔地排列爵 前題條件，一面選擇適當地抑制重疊之有效圖 佳。具體而言，以在時間上取大致等間隔的圖框 全部相鄰圖框的面積比之中央値爲基準，選擇最 集合。因而，即使有部分疎的部分或密的部分， 整體上間隔剛好的影像（參照第1 6 Β圖）。 作爲處理內容的例子，首先，將圖框間隔| 開始圖框號碼設爲b，並定義部分集合Uu. {1,4,7，10，〜})。然後，抽出在現時刻有效圖 所包含者，而定義V(a,b)= U(a,b)门V。在此，利用 並根據如下之第（17)式導出重疊面積的中央値r’ r'(a，fc) = p+eeK(〇ifc)r(/j，ρ + α)…〇 7) 然後，以在候補集合中r ’ （ a，b)變成既定之 下爲條件，選擇要素數變成最大的集合，再將不 之圖框從有效圖框集合除去。 理，相對 間隔地排 ί之判定， 照第16Α 道之運動 ，爲了表 [J體Μ爲 框集合較 集合中之 佳的圖框 亦可得到 J爲a，將 例如， 3框集合V 該 r(p，q)， (a，b)。 :臨限値以 :在該集合 -29- r(p,q) 200913687 此外，雖然作成在重複圖框的判定使 動體重疊面積的中央値，但是未限定如此 和相鄰圖框相關之動體部分Μ的代表値， 鄰圖框中之動體重疊區域的代表値，亦可 値 又，在重複圖框除去處理，亦可作成 框中之相鄰圖框間的差分強度之相關的強 成處理應合成的圖框。即，亦可作成不進行 而以模糊運算求相鄰圖框間之動體Μ的重 用從屬度函數的和求相當於其面積的模賴 之第（18)式）和既定之臨限値比較，藉此判 因而，因爲不進行影像的二値化，所 高之動體Μ的存在。 L y min(Z)[p，X，y]，Ζ)[ί，λ，y ]) 此外，在重複圖框除去處理，亦可爲 速，而亦可使用藉如下之第（19)式所規定 (例如，若物體行進方向係水平，和對各垂 相加的水平列對應之矩陣。此外，若物體朽 將水平垂直顛倒）。

Dx[p,x] = Y^D[p,x,y] ...(tg) y 然後，評估藉如下的第（20)式所規定 可和上述之實施形態一樣地判定。 用相鄰圖框中之 。例如，只要係 具體而言，係相 係最頻値或平均 根據在複數個圖 弱，而選擇在合 影像的二値化， 疊區域，再將利 目値者（參照如下 別。 以可反映模糊性 了使處理變得高 的一維差分強度 直行將差分強度 i進方向係垂直’ 之如下的比，亦 -30- 200913687 …(20) r(p,q) 此外，重複圖框除去處理，較佳作成根據使用者之模 式設定，而可區分上述所舉例表示的各種方法。 又’在〇：値算出處理，亦可作成使用上述之一維差分 強度，並根據如下之第（2 1)式算出由各水平位置所決定的 混合比。 …(21) Ρχίρ,χ) 在此，在重複圖框除去處理，在間拔成幾乎不容許重 疊的情況，因爲此方法亦良好地動作，並可減少迴路的個 數，所以可使算出處理變得高速。 又，本實施形態的攝影裝置100，雖然設想固定於三 支腳架的攝影，但是亦可應付手拿著攝影。即，在以用手 拿著攝影之連拍影像爲對象的情況，只要在補償手抖動之 移動後進行上述的各處理即可。 此外，進行移動補償亦在座標轉動未正確地對準的部 分位於背景區域中時，那裡接近動體Μ，而可能在背景區 域中產生合成的偏差。例如，以背景物體之稜線的一部分 稍微搖晃的形式出現。在此情況，因爲不太注視背景本身， 所以在主觀評估上不太顯著。又，因爲鏡面反射或高亮度 區域（因照明反射而特別明亮處）因視點而異，所以相機位 置移動時，本質上無法對準。因此，此區域作爲動體區域， 而且雖然因爲亮度高而稍微顯著，但是產生這種區域的事 -31- 200913687 例比較稀少。 又’例如，爲了應付如高爾夫球揮桿時全身影像般滯 留於大致相同之位置的被拍攝物，需要施加如下的修正。 首先’第1，因爲無法進行背景之自動合成，所以需 要另外預先拍攝背景圖框。第2，若進行重複圖框除去處 理’因爲除了最初的1張以外，全部被除去，所以不進行 間拔處理，或決定適當的圖框間隔並進行間拔。 藉此，可得到例如對運動分析用途有用的合成影像

Gc 〇 又，在上述的實施形態所舉例表示之攝影裝置100的 構造係一例，未限定如此。 此外，雖然在動體影像抽出裝置上舉例表示攝影裝置 100 ’但是未限定如此。亦可作成將構成藉攝影部1所取得 之動影像的複數個圖框，向經由USB端子6所連接的外部 機器輸出，再以該外部機器進行影像合成處理的前處理、 抽出處理以及合成處理等各種處理。 此外，在上述的實施形態，雖然採用藉由CPU71執行 既定之程式等，而實現作爲第1算出手段、加法手段、第 2算出手段、輸出手段、第3算出手段、正常化手段、圖 框產生手段、合成手段、第1判斷手段、第2判斷手段、 第1推測手段、第2推測手段以及第4算出手段之功能之 構成，但是未限定如此。例如，亦可由用以實現各種功能 之邏輯電路等所構成。 -32- 200913687 【圖式簡單說明】 第1圖係表示應用本發明之一實施形態的攝影裝置 之示意構造的方塊圖。 第2圖係在模式上表示第1圖之攝影裝置的影像合成 處理之影像圖框的一例之圖。 第3圖係在模式上表示第2圖之影像合成處理的背景 影像的一例之圖。 第4圖係在模式上表示第2圖之影像合成處理的原差 分強度之灰階影像的一例之圖。 第5圖係在模式上表示第2圖之影像合成處理的合成 影像之一例的圖。 第6圖係在模式上表示第2圖之影像合成處理的抽出 影像之一例的圖。 第7圖係在模式上表示第2圖之影像合成處理的合成 影像之一例的圖。 第8圖係表示第2圖之影像合成處理的動作之一例的 流程圖。 第9圖係表示第8圖之影像合成處理的前處理之動作 的一例之流程圖。 第10圖係表示第8圖之影像合成處理的抽出處理之 動作的一例之流程圖。 第11圖係表示第10圖之抽出處理的差分強度算出處 理之動作的一例之流程圖。 -33- 200913687 胃12圖係表示第10圖之抽出處理的錯誤圖框除去處 理之動作的一例之流程圖。 第13圖係表示第10圖之抽出處理的重複圖框除去處 理之動作的一例之流程圖。 第14圖係表示第10圖之抽出處理的^値算出處理之 動作的一例之流程圖。 第15圖係表示第8圖之影像合成處理的合成處理之 動作的一例之流程圖。 第1 6 A圖係在模式上表示第1變形例之攝影裝置的影 像合成處理之合成影像的一例之圖，係圖框速率低時之合 成影像的圖。 第16B圖係在模式上表示第1變形例之攝影裝置的影 像合成處理之合成影像的一例之圖，係選擇最佳之圖框集 合時的合成影像之圖。 【主要元件符號說明】 1 攝影部 2 攝影輔助部 3 顯示部 4 操作部 5 記錄媒體 6 USB端子 7 控制部 11 攝影透鏡群 -34- 200913687 12 電 子 攝 影 部 13 影 像 信 號 處 理 部 14 影 像 記 憶 體 15 攝 影 控 制 部 2 1 對 焦 驅 動 部 22 變 隹 /"、 驅 動 部 3 1 顯 示 控 制 部 32 影 像 顯 示 部 4 1 操 作 輸 入 部 4 1a 快 門 按 鍵 42 輸 入 電 路 7 1 CPU 72 程 式 記 憶 體 72a 背 景 影 像 產 生 程 式 72b 差 分 強 度 算 出 程 式 72c 錯 誤 圖 框 除 去 程 式 72d 重 複 圖 框 除 去 程 式 72e a 値 算 出 程 式 72f 合 成 程 式 73 資 料 記 憶 體 100 攝 影 裝 置 -35-

Claims (1)

1. 200913687 十、申請專利範圍： 1. 一種動體影像抽出裝置，其特徵爲具備有： 第1算出手段，係針對複數個圖框，算出和背景部分、 或其他的圖框相關的差分強度； 加法手段，係將藉此第1算出手段所算出之該複數個 圖框的該差分強度相加； 第2算出手段，係算出將該複數個圖框中之任一個圖 框的該差分強度除以藉該加法手段所相加之該複數個圖 框份量的差分強度後的値；以及 第1輸出手段，係根據藉此第2算出手段所算出之値 而輸出在該任意的圖框中之動體的抽出影像。 2 .如申請專利範圍第1項之動體影像抽出裝置，其中 該第1算出手段針對各像素算出和該背景部分、或其 他的圖框相關的差分強度； 該第2算出手段針對各像素算出各像素中將該任意圖 框的差分強度除以藉該加法手段所相加之該複數個圖框 份量的差分強度後的値。 3 .如申請專利範圍第2項之動體影像抽出裝置，其中該第1 算出手段算出在該圖框中之各影像的色成分差分的加權 平方和。 4 _如申請專利範圍第2項之動體影像抽出裝置，其中該第1 算出手段算出在該圖框中之各影像的色成分差分的加權 絕對値和。 -36- 200913687 5 .如申請專利範圍第1 ~ 4項中任一項之動體影像抽出裝 置，其中又具備有： 第3算出手段，係從該差分強度算出背景部分的代表 値：及 正常化手段’係藉由算出減去藉該第3算出手段所算 出之該代表値後的最大，値，而進行該差分強度的正常化。 6. 如申請專利範圍第丨〜5項中任一項之動體影像抽出裝 置’其中又具備有： 圖框產生手段，係對該複數個圖框中之該任意圖框的 各像素値乘以藉該第2算出手段所算出的値而產生應合 成的圖框；及 合成手段，係將藉該圖框產生手段所產生之複數個應 合成的圖框進行合成。 7. 如申請專利範圍第6項之動體影像抽出裝置，其中 又具備有第1判斷手段，其針對該複數個圖框，根據 藉該第1算出手段所算出之差分強度而區分出背景部分 和動體部分，再根據該區分之結果，判斷是否爲藉該合 成手段應合成的圖框； 該合成手段將藉該第1判斷手段判斷爲應合成的圖框 進行合成。 8. 如申請專利範圍第6項之動體影像抽出裝置，其中該合 成手段根據與該複數個圖框中之相鄰的圖框相關之動體 部分的代表値，選擇應合成的圖框並進行合成。 -37- 200913687 9·如申請專利範圍第6項之動體影像抽出裝置，其中 又具備有第2判斷手段’其判斷在該複數個圖框中之 相鄰的圖框間之差分強度的相關性； 該合成手段係在藉該第2判斷手段判斷差分強度的相 關性強時，將與該相鄰之圖框中任一個圖框相對應之藉 該圖框產生手段所產生的圖框選爲應合成的圖框並進行 合成。 10.如申請專利範圍第6項之動體影像抽出裝置，其中又具 備有： 第1推測手段，係從藉該第1算出手段所算出之該差 分強度，推測該背景部分的雜訊位準； 第2推測手段，係從藉該第1推測手段所推測之該背 景部分的雜訊位準，推測藉該合成手段合成所產生之合 成雜訊位準； 第4算出手段，係將因應於藉該第2推測手段所推測 之該合成雜訊位準而增減的値作爲除數最小値，再算出 從該除數最小値減去藉該第1算出手段所算出之該差分 強度中之動體部分的差分強度之總和後的最小値；及 第2輸出手段，係在藉該第4算出手段所算出之最小 値爲正的情況，輸出將此最小値加到藉該第1算出手段 所算出之該背景部分的差分強度後的値。 1 1 .如申請專利範圍第1項之動體影像抽出裝置，其中 又具備有攝影手段； -38- 200913687 該複數個圖框係連續地驅動該攝影手段而得到。 1 2 . —種程式，其用以使電腦實現如下之功能， 第1算出功能，係針對複數個圖框，算出和背景部分、 或其他的圖框相關的差分強度； 加法功能，係將藉此第1算出功能所算出之該複數個 圖框的該差分強度相加； 第2算出功能，係算出將該複數個圖框中之任一個圖 框的該差分強度除以藉該加法功能所相加之該複數個圖 框份量的差分強度後的値；以及 第1輸出功能，係根據藉此第2算出功能所算出之値 而輸出在該任意的圖框中之動體的抽出影像。 -39-