TWI414178B - 攝像裝置、影像處理方法及記錄媒體 - Google Patents

Description

攝像裝置、影像處理方法及記錄媒體

本發明係有關於從所拍攝之影像抽出被拍攝體區域的攝像裝置、影像處理方法及記錄媒體。

以往，已知裝載有應用程式之構成(例如，參照專利文獻1)，其使用被固定的攝像裝置，拍攝在背景內存在有被拍攝體的影像，然後，拍攝在背景內不存在被拍攝體的背景影像後，從背景影像和存在有被拍攝體的影像產生差分資訊，再僅抽出被拍攝體。

[專利文獻1]特開平10-21408號公報

然而，在以手持攝影，拍攝在背景內存在有被拍攝體的影像後，要拍攝不存在有被拍攝體的影像的背景影像時，在此期間視角容易移動，且在抽出被拍攝體時，背景本身的像素值會產生差分，使得容易將背景部分誤辨識為被拍攝體，是問題所在。

因此，本發明的課題在於提供一種可提高被拍攝體區域之抽出精度的攝像裝置、影像處理方法及記錄媒體。

為了解決該課題，本發明之一種形態的攝像裝置，其特徵為具備：第1攝像手段，係拍攝在背景內存在有被拍攝體的被拍攝體存在影像；第2攝像手段，係以和拍攝存在該被拍攝體的影像時之攝像條件相同的攝像條件，拍攝在和該背景相同的背景內不存在該被拍攝體的該背景影像；位置對準手段，係進行該被拍攝體存在影像和該背景影像之位置對準；差分產生手段，係產生在已藉該位置對準手段進行位置對準的該被拍攝體存在影像和該背景影像之間對應之各像素的差分資訊；以及被拍攝體抽出手段，係根據由該差分產生手段所產生之該差分資訊，從該被拍攝體存在影像抽出包含有被拍攝體的被拍攝體區域。

又，其他的形態的影像處理方法，其特徵為使具備有攝像手段的攝像裝置執行如下的處理：係使該攝像手段拍攝在背景內存在有被拍攝體的被拍攝體存在影像之處理；係在拍攝該被拍攝體存在影像後，以和拍攝存在該被拍攝體的影像時之攝像條件相同的攝像條件，使該攝像手段拍攝在和該背景相同的背景內不存在該被拍攝體的該背景影像之處理；位置對準處理，係進行該被拍攝體存在影像和該背景影像之位置對準；差分資訊產生處理，係產生在已進行位置對準的該被拍攝體存在影像和該背景影像之間對應之各像素的差分資訊；以及被拍攝體抽出處理，係根據所產生之該差分資訊，從該被拍攝體存在影像抽出包含有被拍攝體的被拍攝體區域。

又，其他的形態之記錄媒體，其特徵為記錄有程式，其使具備有攝像手段之攝像裝置的電腦作為如下之手段發揮功能：第1攝像控制手段，係使該攝像手段拍攝在背景內存在有被拍攝體的被拍攝體存在影像；第2攝像控制手段，係以和拍攝存在該被拍攝體的影像時之攝像條件相同的攝像條件，使該攝像手段拍攝在和該背景相同的背景內不存在該被拍攝體的該背景影像；位置對準手段，係進行該被拍攝體存在影像和該背景影像之位置對準；差分產生手段，係產生在已由該位置對準手段進行位置對準之該被拍攝體存在影像和該背景影像之間對應之各像素的差分資訊；以及被拍攝體抽出手段，係根據由該差分產生手段所產生之差分資訊，從該被拍攝體存在影像抽出包含有被拍攝體的被拍攝體區域。

若依據本發明，可提高從被拍攝體存在影像抽出被拍攝體區域的精度。

以下，使用圖式說明本發明之具體的形態。但發明的範圍未限定為圖示例。

第1圖係表示應用本發明之一實施形態之攝像裝置100之示意構成的方塊圖。

本實施形態的攝像裝置100，首先，以適合被拍攝體S存在狀態之既定的攝像條件拍攝背景內存在有被拍攝體S的被拍攝體存在影像P1(參照第7A圖)，接著，以和拍攝被拍攝體存在影像P1時之既定的攝像條件一樣的攝像條件，拍攝不存在被拍攝體S之背景影像P2(參照第7C圖)，在進行被拍攝體存在影像P1的位置對準後，產生在該被拍攝體存在影像P1和背景影像P2之間對應之各像素的差分資訊，並根據該差分資訊從被拍攝體存在影像P1抽出包含被拍攝體S的被拍攝體區域。

具體而言，如第1圖所示，攝像裝置100具備：透鏡部1、電子攝像部2、攝像控制部3、影像資料產生部4、影像記憶體5、特徵量運算部6、方塊比對部7、影像處理部8、記錄媒體9、顯示控制部10、顯示部11、操作輸入部12、迴轉感測器(gyro sensor)部14以及CPU13。

又，攝像控制部3、特徵量運算部6、方塊比對部7、影像處理部8以及CPU13，被設計為例如訂製(custom)LSI1A。

透鏡部1係由複數個透鏡所構成，具備有變焦透鏡或對焦透鏡等。

又，透鏡部1亦可具備在此省略圖示之下述構成：變焦驅動部，其在拍攝被拍攝體S時，使變焦透鏡在光軸方向移動；及對焦驅動部，係使對焦透鏡在光軸方向移動。

電子攝像部2係由例如CCD(Charge Coupled Device)或CMOS(Complementary Metal-Oxide Semiconductor)等的影像感測器所構成，其可將通過透鏡部1之各種透鏡的光學像轉換成二維的影像信號。

攝像控制部3具備在此省略圖示之時序產生器、驅動器等。而且，攝像控制部3利用時序產生器、驅動器使電子攝像部2進行掃描驅動，每隔既定週期利用電子攝像部2將光學像轉換成二維的影像信號，然後從該電子攝像部2的攝像區域一畫面分一畫面分地讀取影像圖框，並輸出至影像資料產生部4。

又，攝像控制部3進行被拍攝體之攝像條件的調整控制。具體而言，攝像控制部3具備有AF部3a，其使透鏡部1在光軸方向移動，以進行調整對焦條件的自動對焦處理。

此外，攝像控制部3進行AE(自動曝光處理)或AWB(自動白平衡)等，作為攝像條件的調整控制。

又，在攝像模式被設定為被拍攝體剪下模式(後述)的情況，根據使用者對快門按鈕12a之第一次的攝像指示操作，攝像控制部3以既定的攝像條件，利用電子攝像部2使通過透鏡部1之在背景內存在有被拍攝體S(例如汽車)的被拍攝體存在影像P1(參照第7A圖)的光學像轉換成二維的影像信號，然後從該電子攝像部2的攝像區域讀取被拍攝體存在影像P1的影像圖框。

又，攝像控制部3在拍攝被拍攝體存在影像P1後，保持固定有拍攝該被拍攝體存在影像P1時之攝像條件的狀態。然後，根據使用者對快門按鈕12a之第二次的攝像指示操作，攝像控制部3以在拍攝被拍攝體存在影像P1後所固定的攝像條件，利用電子攝像部2將在與通過透鏡部1之被拍攝體存在影像P1相同的背景內不存在被拍攝體S的背景影像P2(參照第7C圖)的光學像轉換成二維的影像信號，再從該電子攝像部2的攝像區域讀取背景影像P2相關的影像圖框。

在此，攝像透鏡部1、電子攝像部2以及攝像控制部3構成：第1攝像手段，係以既定的攝像條件拍攝背景內存在有被拍攝體S的被拍攝體存在影像P1；及第2攝像手段，係以和拍攝被拍攝體存在影像P1時之既定的攝像條件相同的攝像條件，拍攝在和被拍攝體存在影像P1之背景相同的背景內不存在被拍攝體S的背景影像P2。

影像資料產生部4在對從電子攝像部2所傳輸之影像圖框之類比值的信號按RGB的各色成分適當地進行增益調整後，以取樣保持電路(省略圖示)進行取樣保持，再以A/D轉換器(省略圖示)轉換成數位資料，以彩色處理電路(省略圖示)進行包含有像素內插處理及γ修正處理的彩色處理後，產生數位值的亮度信號Y及色差信號Cb、Cr(YUV資料)。

從彩色處理電路輸出之亮度信號Y及色差信號Cb、Cr經由未圖示的DMA控制器，對作為緩衝記憶體使用的影像記憶體5進行DMA傳輸。

此外，將A/D轉換後的數位資料進行顯像的解馬賽克(demosaic)部(省略圖示)亦可被組裝於訂製LSI1A。

影像記憶體5係由例如DRAM等所構成，其暫時記憶藉由特徵量運算部6、方塊比對部7、影像處理部8以及CPU13等所處理的資料等。

特徵量運算部6係以背景影像P2為基準，進行從該背景影像P2抽出特徵點的特徵抽出處理。具體而言，特徵量運算部6係根據背景影像P2的YUV資料，選擇既定數(或既定數以上)之特徵性高的方塊區域(特徵點)，並將該方塊的內容作為模板(例如16×16像素的正方形)抽出。

在此，特徵抽出處理是從多個候選方塊選擇便於追蹤之特徵性高之方塊的處理。具體而言，求得各候選方塊的梯度協方差矩陣，將該矩陣的最小固有值或稱為Harris運算子的運算結果作為評估值，並按照絕對臨限值或相對順位挑選評估值高者。藉此，排除不適合追蹤之平坦或隨機性高的區域，而選擇適合追蹤之物體或模樣之隅角(corner)的區域作為模板。

方塊比對部7進行背景影像(基準影像)P2和被拍攝體存在影像(對象影像)P1的位置對準用的方塊比對處理。具體而言，方塊比對部7檢索藉特徵抽出處理抽出的模板對應於被拍攝體存在影像P1中的何處，即，檢索在被拍攝體存在影像P1內模板的像素值最佳地吻合的位置(對應區域)。然後，模板算出像素值之差異度的評估值(例如差分平方和(SSD)或差分絕對值和(SAD)等)最佳之背景影像P2和被拍攝體存在影像P1間之最佳的偏移作為該模板的移動向量。

影像處理部8具備有位置對準部8a，其進行被拍攝體存在影像P1和背景影像P2的位置對準。

位置對準部8a根據從背景影像P2抽出之特徵點，進行被拍攝體存在影像P1和背景影像的位置對準。即，位置對準部8a具備有座標轉換式算出部8b，並根據藉由此座標轉換式算出部8b所算出之座標轉換式將被拍攝體存在影像P1進行座標轉換，再進行和背景影像的位置對準，而該座標轉換式算出部8b根據從背景影像P2所抽出之特徵點，算出相對於背景影像P2之被拍攝體存在影像P1之各像素的座標轉換式。

具體而言，座標轉換式算出部8b根據多數決運算藉由方塊比對部7所算出之複數個模板的移動向量，將被判斷為在統計上為既定%(例如50%)以上的移動向量作為整體的移動向量，然後使用該移動向量相關的特徵點對應算出被拍攝體存在影像P1的投影轉換矩陣。然後，位置對準部8a根據投影轉換矩陣將被拍攝體存在影像P1進行座標轉換並進行和背景影像P2的位置對準。

在此，座標轉換式算出部8b構成座標轉換式算出手段，其根據從背景影像P2抽出之特徵點，算出被拍攝體存在影像P1之各像素的座標轉換式。又，位置對準部8a構成位置對準手段，其進行被拍攝體存在影像P1和背景影像P2的位置對準。

此外，上述之位置對準的手法是一例，未限定於此。即，例如亦可作成在算出整體的移動向量時，藉由進行判定各模板之追蹤結果(特徵點對應)之有效性的處理，而提高整體之移動向量的可靠度。

即，方塊比對部7例如將在藉特徵抽出處理抽出之模板直和分割成方格圖樣狀，並從該模板設定2個子模板。然後，一面對這2個子模板對應於被拍攝體存在影像P1內的何處，在探索區域中將座標偏移(offset)，一面對各個偏移評估像素值的差異度，而特定被評估為最佳吻合的偏移。接著，將所算出之2個子模板的評估值相加，而算出模板的評估值，並將差異度的評估值最佳之背景影像P2和被拍攝體存在影像P1間的2個子模板及各個模板的最佳偏移作為子模板的子移動向量及模板的移動向量。

然後，位置對準部8a判斷由方塊比對部7所算出之模板的移動向量和2個子模板各自之子移動向量的一致度，若此等被判斷為相近，則視為該特徵點對應有效，若被判斷不相近，則當作該特徵點對應無效並排除之，藉此，可提高在統計上所算出之整體之移動向量的可靠度。

又，影像處理部8具備有差分產生部8c，其產生在被拍攝體存在影像P1和背景影像P2之間對應之各像素的差分資訊。

具體而言，差分產生部8c對藉由位置對準部8a根據投影轉換矩陣對各像素進行座標轉換後之被拍攝體存在影像P1的YUV資料和背景影像P2之YUV資料的各個資料，使用低通濾波器去除高頻成分後，根據下式算出在這些像素間對應之各像素的差異度D，並產生差異度圖。

差異度D=(Y‧Y’)2+{(U‧U’)2+(V‧V’)2}*k

此外，在上式，以「Y」、「U」、「V」表示背景影像P2的YUV資料，以「Y’」、「U’」、「V’」表示座標轉換後之被拍攝體存在影像P1的YUV資料。又，k是用以變更亮度信號Y和色差信號U、V之分配的係數。

在此，差分產生部8c構成差分產生手段，其產生在被拍攝體存在影像P1和背景影像P2之間對應之各像素的差分資訊。

又，影像處理部8具備有被拍攝體區域抽出部8d，其根據對在被拍攝體存在影像P1和背景影像P2之間對應的各像素所產生之差分資訊，從被拍攝體存在影像P1抽出包含有被拍攝體S的被拍攝體區域。

具體而言，被拍攝體區域抽出部8d以既定的臨限值電壓對差異度圖進行二值化後，在背景影像P2具有既定量以上之特徵的情況，進行用以去除細雜訊或手震所引起之差異存在之區域的收縮處理，而去除比既定值更小之像素集合或手震所引起的細線像素集合後，進行對構成相同之連結成分的像素集合附加相同的編號之標號處理，並將最大之島的圖型抽出作為被拍攝體區域。然後，進行用以修正後述之收縮量的膨脹處理後，進行僅被拍攝體區域內的標號處理，並對被拍攝體區域標記將小於既定之比率之標記的像素集合置換成被拍攝體區域，藉此，亦進行埋孔。

另一方面，在背景影像P2無既定量以上之特徵的情況，因為認為以被拍攝體存在影像P1可適當地特定被拍攝體S，所以被拍攝體區域抽出部8d不進行對二值化處理後之差異度圖的收縮處理及膨脹處理、標號處理等。

在此，被拍攝體區域抽出部8d構成被拍攝體抽出手段，其根據在被拍攝體存在影像P1和背景影像P2之間對應之各像素的差分資訊，從被拍攝體存在影像P1抽出包含有被拍攝體S的被拍攝體區域。

又，影像處理部8具備有位置資訊產生部8e，其特定在被拍攝體存在影像P1所抽出之被拍攝體區域的位置，並產生表示被拍攝體存在影像P1中之被拍攝體區域之位置的α圖(位置資訊)M。

α圖M是針對被拍攝體存在影像P1的各像素，以α值(0≦α≦1)表示將被拍攝體區域的影像對既定的背景進行α混合時的加權者。

具體而言，位置資訊產生部8e對該最大島的部分為1、其他的部分為0之二值化的差異度圖施加低通濾波，使在邊界部分產生中間值，藉此作成α值。在此情況，被拍攝體區域的α值成為1，而被拍攝體存在影像P1對既定背景的透過度成為0%。另一方面，被拍攝體之背景部分的α值成為0，而該被拍攝體存在影像P1的透過度成為100%。而且，因為邊界附近的α值是0<α<1，所以被拍攝體存在影像P1和背景的影像混合。

在此，位置資訊產生部8e構成位置資訊產生手段，其在被拍攝體存在影像P1內特定被拍攝體區域的位置而產生位置資訊。

又，影像處理部8具備有影像合成部8f，該影像合成部8f係根據所產生之α圖M，以使被拍攝體存在影像P1的各像素中α值為1的像素對於既定之單色背景影像P3不會透過，且使α值為0的像素透過之方式，將被拍攝體S的影像與既定之單色背景影像P3合成，而產生被拍攝體剪下影像P4的影像資料。

具體而言，影像合成部8f製作使用α圖M中之1的補數(1-α)從單色背景影像P3剪下被拍攝體區域的影像，並將該被拍攝體區域被剪下的影像和使用α圖M從被拍攝體存在影像P1所剪下的被拍攝體S合成，而產生被拍攝體剪下影像P4。

在此，影像合成部8f構成合成手段，其根據位置資訊，產生由既定的背景和被拍攝體區域的影像所合成的被拍攝體剪下影像P4。

又，影像合成部8f根據所產生之α圖M，將被拍攝體剪下影像P4和背景用影像(省略圖示)合成，而產生被拍攝體合成影像(省略圖示)。具體而言，影像合成部8f使背景用影像的各像素中α值為0的像素透過，而α值為1的像素被以被拍攝體剪下影像P4之對應之像素的像素值寫入。此外，影像合成部8f對背景用影像之各像素中α值為0<α<1的像素，產生使用1的補數(1-α)剪下被拍攝體區域的影像(背景用影像×(1-α))後，計算在使用α圖M中之1的補數(1-α)產生被拍攝體剪下影像P4時和單一背景色混合的值，從被拍攝體剪下影像P4減去該值，再將其和剪下被拍攝體區域的影像(背景用影像×(1-α))合成。

顯示控制部10進行讀取暫時被記憶於影像記憶體5的顯示用影像資料並使其顯示於顯示部11的控制。

具體而言，顯示控制部10具備VRAM、VRAM控制器以及數位影像編碼器等。數位影像編碼器經由VRAM控制器從VRAM定期地讀取在CPU13的控制下從影像記憶體5所讀取並記憶於VRAM(省略圖示)的亮度信號Y及色差信號Cb、Cr，再根據這些資料產生影像信號並輸出至顯示部11。

顯示部11為例如液晶顯示裝置，其根據來自顯示控制部10的影像信號將由電子攝像部2所拍攝之影像等顯示於顯示畫面。具體而言，顯示部11在攝像模式下，根據複數個影像圖框顯示即時預覽(live view)影像，或顯示被拍攝作為正式攝像影像之記錄瀏覽影像(rec view)，而該複數個影像圖框係根據利用攝像透鏡部1、電子攝像部2以及攝像控制部3之被拍攝體S的攝像而產生。

又，顯示部11在攝像模式被設定為被拍攝體剪下模式(後述)的情況下拍攝被拍攝體存在影像P1時，使和即時預覽影像重疊地顯示被拍攝物存在影像P1的攝像指示訊息(例如，「請拍攝想剪下的被拍攝體」(參照第7A圖)等)。

又，顯示部11在攝像模式被設定為被拍攝體剪下模式(後述)的情況下拍攝背景影像P2時，使和即時預覽影像重疊地顯示被拍攝體存在影像P1之半透過之顯示形態的影像同時顯示背景影像P2的攝像指示訊息(例如，「請將無被拍攝體的背景影像拍攝成和半透過的影像重疊」(參照第7C圖))。

在此，被拍攝體存在影像之半透過的顯示形態是指，以透明和不透明之中間顯示被拍攝體存在影像之狀態，是透過和該被拍攝體存在影像重疊地顯示於後側之即時預覽影像的輪廓或色彩或明暗等之程度的顯示形態。

又，顯示部11係利用顯示控制部10，根據由影像處理部8的影像合成部8f所產生之被拍攝體剪下影像P4的影像資料，顯示被拍攝體S和既定的單色背景影像P3重疊的被拍攝體剪下影像P4。

在此，顯示部11構成顯示手段，其顯示由影像合成部8f所產生之被拍攝體剪下影像P4。

記錄媒體9係由例如非揮發性記憶體(快閃記憶體)等所構成，記憶由影像處理部8之JPEG壓縮部(省略圖示)所編碼之攝像影像的記錄用影像資料。

又，記錄媒體9作為記憶手段而言，係將藉由影像處理部8的位置資訊產生部8e產生之α圖M和被拍攝體剪下影像P4的影像資料分別壓縮後賦予對應，並將該被拍攝體剪下影像P4之影像資料的副檔名設作「.jpe」保存。在此，α圖M是例如灰階約8位元左右的資料，因為相同的值連續的區域多，所以壓縮效率高，可以較被拍攝體剪下影像P4的影像資料更小的容量保存。

操作輸入部12是用以進行該攝像裝置100的既定操作。具體而言，操作輸入部12具備：和被拍攝體S之攝影指示相關的快門按鈕12a、在選項單畫面和攝像模式或功能等的選擇指示相關的模式按鈕12b、以及和變焦量之調整指示相關的變焦按鈕(省略圖示)等，因應這些按鈕的操作，將既定的操作信號輸出至CPU13。

迴轉感測器部14檢測攝像裝置100的角速度作為迴轉資料，並輸出至CPU13。接著，CPU13根據迴轉資料，判定從被拍攝體存在影像P1的攝像至背景影像P2的攝像，攝像裝置100是否持續未改變視角之不動的狀態(不動狀態)。

在此，迴轉感測器部14及CPU13構成位置判定手段，其判定在被拍攝體存在影像P1的攝像及背景影像P2的攝像時該攝像裝置100本體的位置是否相對地變化。

CPU13控制攝像裝置100的各部位。具體而言，CPU13是根據攝像裝置100用的各種處理程式(省略圖示)進行各種控制動作。

其次，參照第2圖~第8圖，說明利用攝像裝置100之影像處理方法相關的被拍攝體剪下處理。

第2圖及第3圖係表示被拍攝體剪下處理之動作例的流程圖。第4A圖及第4B圖係表示投影轉換之影像轉換模型例的圖。其中，第4A圖係表示相似轉換模型例的圖，第4B圖係表示全等轉換模型例的圖。又，第5圖係表示被拍攝體剪下處理中之被拍攝體抽出處理相關之動作例的流程圖。又，第6圖係表示被拍攝體剪下處理中之被拍攝體剪下影像產生處理之動作例的流程圖。又，第7A圖~第7C圖及第8A圖~第8C圖係以模式方式表示用以說明被拍攝體剪下處理之影像例的圖。

被拍攝體剪下處理是根據使用者對操作輸入部12之快門按鈕12a的既定操作，從顯示於選項單畫面之複數個攝像模式中選擇指示被拍攝體剪下模式時所執行的處理。

如第2圖所示，首先，CPU13令顯示控制部10根據複數個影像圖框使即時預覽影像顯示於顯示部11的顯示畫面，而該影像圖框係利用攝像透鏡部1、電子攝像部2以及攝像控制部3之被拍攝體S的攝像而產生；同時使被拍攝體存在影像P1的攝像指示訊息(例如，「請拍攝想剪下的被拍攝體」等)和該即時預覽影像重疊地顯示於顯示部11的顯示畫面(步驟S1；參照第7A圖)。

然後，當使用者對操作輸入部12的快門按鈕12a進行半按操作時，CPU13使攝像控制部3的AF部3a調整對焦透鏡的對焦位置，算出並取得被拍攝體距離(步驟S2)。此時，CPU13亦可使攝像控制部3調整曝光條件(快門速度、光圈、放大率等)或白平衡等的攝像條件。

然後，在使用者對操作輸入部12之快門按鈕12a進行攝像指示操作(全按操作)的時序，CPU13使電子攝像部2以既定的攝像條件拍攝被拍攝體存在影像P1的光學像(步驟S3)。又，此時，在即將拍攝被拍攝體存在影像P1之前，CPU13呼叫判定不動狀態的起始化函數，開始取得來自迴轉感測器部14的迴轉資料。具體而言，CPU13按每個圖框同步信號叫出判定不動狀態的監視工作，每次取得從迴轉感測器部14輸出之迴轉資料，並持續監視攝像裝置100的不動狀態。

接著，CPU13使影像資料產生部4根據從電子攝像部2所傳輸之被拍攝體存在影像P1的影像圖框，產生被拍攝體存在影像P1的YUV資料(參照第7B圖)，並使該YUV資料影像暫時記憶於記憶體5(步驟S4)。

又，CPU13在拍攝被拍攝體存在影像P1後，控制攝像控制部3，以維持固定拍攝該被拍攝體存在影像P1時之對焦位置或曝光條件或白平衡等之攝像條件的狀態(步驟S5)。

然後，CPU13使顯示控制部10根據複數個影像圖框將即時預覽影像顯示於顯示部11的顯示畫面，而該複數個影像圖框係利用攝像透鏡部1、電子攝像部2以及攝像控制部3之被拍攝體S的攝像而產生；同時使被拍攝體存在影像P1之半透過之顯示形態的影像及背景影像P2的攝像指示訊息(例如，「請將無被拍攝體的背景影像拍攝成和半透過的影像重疊」等)和該即時預覽影像重疊地顯示於顯示部11的顯示畫面(步驟S6；參照第7C圖)。然後，使用者使被拍攝體移至視角外或等被拍攝體移動後，再拍攝背景影像P2。

接著，由使用者調整相機位置以使背景影像P2和被拍攝體存在影像P1之半透過影像重疊，在使用者對操作輸入部12的快門按鈕12a進行攝像指示操作的時序，CPU13使攝像控制部3以被拍攝體存在影像P1的拍攝後所固定的攝像條件藉由電子攝像部2拍攝背景影像P2的光學像(步驟S7)。

接著，CPU13自不動狀態判定監視工作取得在從被拍攝體存在影像P1的攝像至背景影像P2的攝像之間攝像裝置100的不動狀態是否持續的判定資訊(步驟S8)。

然後，CPU13使影像資料產生部4根據從電子攝像部2所傳輸之背景影像P2的影像圖框，產生背景影像P2的YUV資料(參照第8A圖)，並使該YUV資料暫時記憶於影像記憶體5(步驟S9)。

接著，CPU13從AF部3a取得被拍攝體距離，並判定該被拍攝體距離是否未滿1m(步驟S10)。即，CPU13作為距離判定手段而言，係判定至被拍攝體的距離是否為既定值以上。

在此，判定被拍攝體距離是未滿1m時(在步驟S10為YES)，CPU13指定和相似轉換(放大縮小、旋轉、水平平行移動、垂直平行移動的自由度(參數數為4個)之變形)相關的相似轉換模型(參照第4A圖)(步驟S11)作為投影轉換的影像變形模型。在被拍攝體距離是未滿1m的情況，在投影轉換使用相似轉換模型的理由在於，例如作為典型例，在第一次拍攝被拍攝體存在影像P1後，使用者本身進行使被拍攝體移動至不會進入視角內之行為時，攝像裝置100大幅地移動，尤其在前後方向，即使參照半透過的影像亦難回到相同之位置的情況很多。

另一方面，判定被拍攝體距離不是未滿1m時(在步驟S10為No)，CPU13指定和反相轉換(旋轉(旋轉角度設定為約0~2°，近似於cosθ=1)、水平平行移動、垂直平行移動的自由度(參數數為3個)之變形)相關的反相轉換模型，作為投影轉換的影像變形模型(參照第4B圖))(步驟S12)。在被拍攝體距離不是未滿1m的情況，在投影轉換使用反相轉換模型的理由在於，在被拍攝體距離較遠的情況，攝像裝置100之前後移動對攝像幾乎無影響，由於不會賦予不必要的自由度，所以可排除雜訊或被拍攝體的影響所引起之可靠性低之移動向量的影響，而可得到精度更高的位置對準轉換矩陣。

接著，CPU13使特徵量運算部6、方塊比對部7以及影像處理部8，以暫時記憶於影像記憶體5之背景影像P2的YUV資料為基準，根據所指定之影像變形模型算出用以使對被拍攝體存在影像P1的YUV資料進行投影轉換的投影轉換矩陣(步驟S13)。

具體而言，特徵量運算部6根據背景影像P2的YUV資料，選擇既定數(或既定數以上)之特徵高的方塊區域(特徵點)，並將該方塊的內容作為模板抽出。然後，方塊比對部7在被拍攝體存在影像P1內探索藉特徵抽出處理所抽出之模板的像素值之最佳的吻合位置，將像素值之差異度的評估值最佳之背景影像P2和被拍攝體存在影像P1之間的最佳偏移作為該模板的移動向量算出。然後，影像處理部8的座標轉換式算出部8b根據由方塊比對部7所算出之複數個模板的移動向量以統計方式算出整體的移動向量，再使用該移動向量的特徵點對應，算出被拍攝體存在影像P1的投影轉換矩陣。

如第3圖所示，接著，CPU13使影像處理部8判定投影轉換矩陣的算出是否成功(步驟S14)。即，影像處理部8在步驟S13，能以統計方式從複數個模板的移動向量算出整體的移動向量，並判定是否可使用該移動向量的特徵點對應算出被拍攝體存在影像P1的投影轉換矩陣。

在此，判定投影轉換矩陣的算出成功時(在步驟S14為YES)，CPU13使影像處理部8的位置對準部8a根據所算出之投影轉換矩陣，對被拍攝體存在影像P1進行投影轉換，藉此進行被拍攝體存在影像P1的YUV資料和背景影像P2的YUV資料之位置對準處理(步驟S15)。

另一方面，在步驟S14，判定投影轉換矩陣的算出不成功時(在步驟S14為No)，CPU13根據自不動狀態判定監視工作所取得之判定資訊，判定在從被拍攝體存在影像P1的攝像至背景影像P2的攝像之間攝像裝置100的不動狀態是否持續(步驟S16)。

在此，當判定為不動狀態持續時(在步驟S16為YES)，例如，攝像裝置100在由三腳架固定之狀態進行被拍攝體存在影像P1及背景影像P2的拍攝，且在從被拍攝體存在影像P1的攝像至背景影像P2的攝像為止攝像裝置100之不動狀態持續的情況，CPU13辨識為背景的位置幾乎未變，而省略影像處理部8之位置對準部8a之位置對準用的投影轉換處理。

另一方面，在步驟S16，判定不動狀態未持續時(在步驟S16為NO)，例如在使用者手持攝像裝置100拍攝被拍攝體存在影像P1等的情況，CPU13使特徵量運算部6根據背景影像P2的影像資料，判定背景是否為無花紋(步驟S17)。具體而言，特徵量運算部6因應在背景影像P2的畫面整體特徵量為定值以上之方塊數相對整體的比例而特定該背景影像P2的無花紋程度，在該無花紋程度是既定值以上的情況，判定背景是無花紋。即，特徵量運算部6作為無花紋判定手段，判定背景影像P2的無花紋程度是否是既定值以上。

在此，判定背景是無花紋時(在步驟S17為YES)，省略影像處理部8之位置對準部8a之位置對準用的投影轉換處理。即，例如，在背景平坦且無花紋的情況，雖然難以進行位置對準，但是因為即使位置偏移亦對被拍攝體區域抽出的影響小，所以即使省略將被拍攝體存在影像P1和背景影像P2進行位置對準的處理亦無問題。即，例如，在背景有花紋的情況，若位置偏移，位置偏移處以差分出現，雖然和被拍攝體區域的判別變得困難，但是在背景無花紋的情況，即使位置偏移亦因為背景處成為無花紋之圖型彼此的比較，所以未以差分值出現。

另一方面，在步驟S17，判定背景不是無花紋時(在步驟S17為NO)，CPU13使和被拍攝體之剪下失敗有關之既定訊息(例如，「被拍攝體之剪下失敗了」等)顯示於顯示部11的顯示畫面(步驟S18)，並結束被拍攝體剪下處理。

然後，CPU13使影像處理部8進行被拍攝體抽出處理(步驟S19)，其從被拍攝體存在影像P1抽出包含有被拍攝體S的被拍攝體區域。

在此，參照第5圖，詳細說明被拍攝體抽出處理。

如第5圖所示，影像處理部8的差分產生部8c為了被拍攝體區域的抽出用，而對被拍攝體存在影像P1的YUV資料和背景影像P2的YUV資料分別實施低通濾波，而去除各影像的高頻成分(步驟S211)。然後，差分產生部8c針對在已實施低通濾波的被拍攝體存在影像P1和背景影像P2之間對應的各像素，根據下式算出差異度D，再產生差異度圖(步驟S212)。

差異度D=(Y‧Y’)2+{(U‧U’)2+(V‧V’)2}*k

接著，影像處理部8的被拍攝體區域抽出部8d以既定的臨限值將和各像素有關的差異度圖進行二值化(步驟S213)。然後，CPU13根據藉由特徵量運算部6所抽出之特徵點，判定背景影像P2是否有既定量以上的特徵(步驟S214)。

在此，判定背景影像P2有既定量以上的特徵時(在步驟S214為YES)，被拍攝體區域抽出部8d根據既定值或被拍攝體存在影像P1的投影轉換矩陣算出收縮處理的收縮量(步驟S215)。此時，不僅有原本的影像雜訊，而且亦有因手震而產生差異區域。在此情況，因應手震量而改變收縮量，即，調整成若迴轉感測器部14的輸出大，則使收縮量變大，若迴轉感測器部14的輸出小，則使收縮量變小。

然後，被拍攝體區域抽出部8d根據所算出之收縮量，進行收縮處理(步驟S216)，以從差異度圖去除因細雜訊或手震而產生差異的區域。

依此方式，可在考量手震量的情況下進行差異度圖的收縮膨脹，而可從差異度圖適當地去除因細雜訊或手震而產生差異的區域。

然後，被拍攝體區域抽出部8d進行標號處理，並去除既定值以下的區域或最大區域以外的區域後(步驟S217)，將最大島的圖型特定為被拍攝體區域(步驟S218)。

接著，被拍攝體區域抽出部8d進行用以修正收縮量的膨脹處理(步驟S219)。

然後，被拍攝體區域抽出部8d進行僅被拍攝體區域內的標號處理，將被拍攝體區域的構成像素數中之既定比率以下的區域置換成有效區域(步驟S220)。

接著，被拍攝體區域抽出部8d對被拍攝體區域實施平均化濾波，而對該被拍攝體區域的邊緣部附加合成灰階(步驟S221)。又，在步驟S214，判定在背景影像P2無既定量以上的特徵時(在步驟S214為NO)，被拍攝體區域抽出部8d進行步驟S221的處理。

依此，結束被拍攝體抽出處理。

如第3圖所示，接著，CPU13使影像處理部8的位置資訊產生部8e產生表示在所抽出之被拍攝體區域的被拍攝體存在影像P1內之位置的α圖M(步驟S20；參照第8B圖)。

然後，CPU13使影像處理部8進行被拍攝體剪下影像產生處理(步驟S21)，其產生將被拍攝體S的影像和既定之單色背景影像P3所合成的被拍攝體剪下影像P4。

在此，參照第6圖，詳細說明被拍攝體剪下影像產生處理。

如第6圖所示，影像處理部8的影像合成部8f讀取被拍攝體存在影像P1、單色背景影像P3以及α圖M，並展開於影像記憶體5(步驟S231)。

接著，影像合成部8f指定被拍攝體存在影像P1之任一個像素(例如左上角部的像素)(步驟S232)，對該像素，根據α圖M的α值，使處理分支(步驟S233)。具體而言，影像合成部8f在被拍攝體存在影像P1之任一個的各像素中，對α值為0的像素(步驟S233；α=0)，使透過，即以既定的單色塗滿(步驟S234)，而對α值為0<α<1的像素(步驟S233；0<α<1)，和既定的單色進行混合(步驟S235)，對α值為1的像素(步驟S233；α=1)，無任何處理，使對既定的單色不透過。

接著，影像合成部8f判定是否已對被拍攝體存在影像P1之全部的像素進行處理(步驟S236)。

在此，判定為未對全部的像素進行處理時(在步驟S236為NO)，影像合成部8f使對象影像移至下一個像素(步驟S237)，並使處理移至步驟S233。

重複進行上述的處理，直到在步驟S236判定已對全部的像素進行處理(在步驟S236為YES)，，藉此，影像合成部8f產生將被拍攝體S的影像與既定之單色背景影像P3合成之被拍攝體剪下影像P4的影像資料。

依此，結束被拍攝體剪下影像產生處理。

如第3圖所示，然後，CPU13使顯示控制部10根據藉由影像合成部8f所產生之被拍攝體剪下影像P4的影像資料，使被拍攝體S和既定之單色背景影像P3重疊的被拍攝體剪下影像P4(步驟S22；參照第8C圖)顯示於顯示部11的顯示畫面。

接著，CPU13在記錄媒體9之既定的記憶區域，使藉由影像處理部8的位置資訊產生部8e所產生之α圖M和被拍攝體剪下影像P4的影像資料賦予，將該被拍攝體剪下影像P4之影像資料的副檔名設作「.jpe」，以一個檔案保存(步驟S23)。

依此，結束被拍攝體剪下處理。

其次，參照第9圖及第10圖，詳細說明被拍攝體合成影像產生處理。

第9圖係表示被拍攝體合成影像產生處理之動作例的流程圖。

被拍攝體合成影像產生處理是CPU13使影像處理部8的影像合成部8f將背景用影像(省略圖示)和被拍攝體剪下影像合成而產生被拍攝體合成影像的處理。

如第9圖所示，根據使用者對操作輸入部12的既定操作，選擇並指定成為背景的背景用影像(省略圖示)(步驟S31)。影像合成部8f讀取所指定之背景用影像的影像資料，並展開於影像記憶體5(步驟S32)。

接著，根據使用者對操作輸入部12的既定操作，選擇並指定以「.jpe」保存的被拍攝體剪下影像P4(步驟S33)。影像合成部8f讀取所指定之被拍攝體剪下影像P4的影像資料，並展開於影像記憶體5(步驟S34)。

接著，影像合成部8f使用展開於影像記憶體5的該背景用影像和該被拍攝體剪下影像，進行影像合成處理(步驟S35)。

在此，參照第10圖，詳細說明影像合成處理。

第10圖係表示影像合成處理之動作例的流程圖。

如第10圖所示，影像合成部8f讀取以「.jpe」保存的α圖M，並展開於影像記憶體5(步驟S351)。

接著，影像合成部8f指定背景用影像之任一個像素(例如左上角部的像素)(步驟S352)，對該像素，根據α圖M的α值，使處理分支(步驟S353)。具體而言，影像合成部8f在背景用影像之任一個的像素中，對α值為1的像素(步驟S353；α=1)，以被拍攝體剪下影像P4之對應之像素的像素值寫上(步驟S354)，對α值為0<α<1的像素(步驟S353；0<α<1)，使用1的補數(1-α)，產生將被拍攝體區域剪下的影像(背景用影像×(1-α))後，計算在使用α圖M中之1的補數(1-α)產生被拍攝體剪下影像P4時和單一背景色混合的值，從被拍攝體剪下影像P4減去該值，再將其和剪下被拍攝體區域的影像(背景用影像×(1-α))合成(步驟S355)，而對α值為0的像素(步驟S353；α=0)，無任何處理地使背景用影像透過。

接著，影像合成部8f判定是否已對背景用影像之全部的像素進行處理(步驟S356)。

在此，判定為未對全部的像素進行處理時(在步驟S356為NO)，影像合成部8f使處理對象移至下一個像素(步驟S357)，並使處理移至步驟S353。

重複進行上述的處理直到在步驟S356判定已對全部的像素進行處理(在步驟S356為YES)為止，，藉此，影像合成部8f產生由被拍攝體剪下影像P4和背景用影像所合成之被拍攝體合成影像的影像資料。

因而，結束影像合成處理。

如第9圖所示，然後，CPU13使顯示控制部10根據由影像合成部8f所產生之被拍攝體合成影像的影像資料，使被拍攝體S和背景用影像重疊的被拍攝體合成影像顯示於顯示部11的顯示畫面(步驟S36)。

如上所述，依據本實施形態的攝像裝置100，首先，以適合被拍攝體S存在的狀態之既定的攝像條件拍攝背景內存在有被拍攝體S的被拍攝體存在影像P1，接著，在保持固定拍攝被拍攝體存在影像P1時之既定的攝像條件下，拍攝背景內不存在被拍攝體S的背景影像P2。然後，在進行被拍攝體存在影像P1的位置對準後，產生在該被拍攝體存在影像P1和背景影像P2之間對應之各像素的差異度圖，可根據該差異度圖從被拍攝體存在影像P1抽出包含有被拍攝體S的被拍攝體區域。

因此，藉由以和拍攝被拍攝體存在影像P1時之既定的攝像條件相同的攝像條件拍攝背景影像P2，可取得以和被拍攝體存在影像P1相同的攝像條件所拍攝之背景影像P2，在被拍攝體存在影像P1和背景影像P2使背景部分的亮度或色調大致相等，同時使背景影像P2的模糊程度或相對該影像整體的大小大致相等，而可提高從被拍攝體存在影像P1抽出被拍攝體區域的精度。又，因為所固定之攝像條件是在拍攝被拍攝體存在影像P1時的條件，若與使攝像條件和背景影像P2一致的情況相比，所剪出之被拍攝體成為更適合的影像。

又，在拍攝背景影像P2時，因為是將被拍攝體存在影像P1以半透過的顯示形態顯示於顯示部11，所以使用者藉由將相機位置調整成被拍攝體存在影像P1之半透過之顯示形態的影像和背景重疊，可更易於拍攝和被拍攝體存在影像P1之背景相同的背景影像P2。

又，因為根據從背景影像P2所抽出之特徵點，進行被拍攝體存在影像P1和背景影像P2的位置對準，所以可避免選擇被拍攝體S上的特徵點。

即，可根據從背景影像P2所抽出之特徵點，算出被拍攝體存在影像P1之各像素的投影轉換矩陣，再產生根據該投影轉換矩陣使各像素進行投影轉換的被拍攝體存在影像P1和背景影像P2之間對應之各像素的差異度圖。藉由從背景影像P2抽出特徵點，可避免選擇被拍攝體S上的特徵點，並可避免根據在這兩張影像明顯相異的影像部分進行座標轉換，因為可進行精度高的座標轉換，所以可適當地使被拍攝體存在影像P1和背景影像P2之間之各像素對應，而可更適當地抽出被拍攝體區域。

又，進行差異度圖的二值化處理、收縮處理以及膨脹處理、標號處理，因為藉由去除比既定值更小的像素集合而從被拍攝體存在影像P1特定並抽出被拍攝體區域，所以可將差異度圖中最大島的圖型特定為被拍攝體區域，而可更適當地抽出該被拍攝體區域。

此時，因為因應在背景影像P2是否有既定量以上的特徵，而決定是否對二值化處理後的差異度圖進行收縮處理及膨脹處理、標號處理，所以認為在背景影像P2無既定量以上之特徵的情況，可以被拍攝體存在影像P1適當地特定被拍攝體S，所以不需要進行收縮處理或膨脹處理等，而可使被拍攝體抽出處理高速化。

又，因為藉被拍攝體剪下處理特定所抽出之被拍攝體區域在被拍攝體存在影像P1內的位置並產生α圖M，所以根據該α圖M，可適當地特定被拍攝體區域在被拍攝體存在影像P1內的位置。

而且，因為根據該α圖M，產生由既定之單色背景影像P3和被拍攝體區域之影像所合成的被拍攝體剪下影像P4，並使顯示部11的顯示畫面顯示該被拍攝體剪下影像P4，所以使用者可確認所剪下的被拍攝體S，而可掌握是否適當地剪下該被拍攝體S。即，從被拍攝體存在影像P1僅剪出被拍攝體S，並將完全相異之單色背景影像P3作為背景，和合成拍攝體剪下影像P4時，可享受已拍攝並儲存的相片賦予變化之樂趣，此時，藉由將被拍攝體剪下影像P4顯示於顯示部11的顯示畫面，可掌握是否適當地剪下該被拍攝體S。

此時，因為被拍攝物剪下影像P4是根據α圖M，與背景區域和被拍攝體區域的邊界部分為單色背景影像的單一色混合而作成，所以可作成被拍攝體S之剪下邊界部分與單一色適當地混合的自然影像。

又，因為被拍攝體剪下影像P4是與該α圖M對應而以一個檔案保存，所以即使是將和已剪下之單色背景影像P3完全相異的背景用影像作為背景而進行剪下合成時，亦可不用每次特定被拍攝體區域，而可縮短處理時間。

即，在對已拍下並儲存的影像進行合成被拍攝體剪下影像P4的情況，若在記錄媒體9預先保存在背景內存在有被拍攝體S的被拍攝體存在影像P1和在背景內不存在有被拍攝體S的背景影像P2之2個影像，則具有每次合成都必須剪下被拍攝體S之剪下處理費時的問題。再者，亦有無法預先了解所剪出之被拍攝體S之品質的問題。

可是，藉由使被拍攝體剪下影像P4與該α圖M對應而以一個檔案預先保存，即使是將既定的的背景用影像作為背景進行剪下合成的情況，亦可不必每次特定被拍攝體區域，而可縮短處理時間。再者，因為將被拍攝體剪下影像P4以和被抽出被拍攝體區域之被拍攝體存在影像P1不同之相異的檔案保存，所以在合成前將被拍攝體剪下影像P4或被拍攝體存在影像P1顯示於顯示部11的顯示畫面，可確認所剪下之被拍攝體S的品質。依此，可提高被拍攝體剪下合成的便利性。

此外，本發明未限定於上述實施形態，亦可在不超出本發明之主旨的範圍進行各種改良或設計變更。

例如，在該實施形態中，雖然藉由被拍攝體剪下處理(參照第2圖及第3圖)，依序進行被拍攝體距離的判定(步驟S10)、不動狀態的判定(步驟S16)以及背景之無花紋的判定(步驟S17)，但是這些判定處理的順序未限定於此。

即，如第11圖及第12圖所示，亦可先進行背景之無花紋的判定(步驟S101)後，再進行不動狀態的判定(步驟S102)，最後進行被拍攝體距離的判定(步驟S103)。

具體而言，如第11圖所示，將背景影像P2的YUV資料((參照第8A圖))暫時記憶於影像記憶體5後(步驟S9)，CPU13使特徵量運算部6根據背景影像P2的影像資料，判定背景是否是無花紋(步驟S101)。

在此，判定背景是無花紋時(在步驟S101為YES)，省略影像處理部8之位置對準部8a之位置對準用的投影轉換處理，如第12圖所示，CPU13使影像處理部8進行被拍攝體抽出處理(步驟S19)，其從被拍攝體存在影像P1抽出包含有被拍攝體S的被拍攝體區域。

另一方面，在步驟S101，判定背景不是無花紋時(在步驟S101為NO)，CPU13根據由不動狀態判定監視工作取得之判定資訊，判定在從被拍攝體存在影像P1的攝像至背景影像P2的攝像為止間不動狀態是否持續(步驟S102)。

在此，當判定為不動狀態持續時(在步驟S102為YES)，省略影像處理部8之位置對準部8a之位置對準用的投影轉換處理，CPU13使處理移至步驟S19。

另一方面，在步驟S102，若判定不動狀態未持續時(在步驟S102為NO)，如第12圖所示，CPU13從AF部3a取得被拍攝體距離，並判定該被拍攝體距離是否未滿1m(步驟S103)。

在此，當判定被拍攝體距離是未滿1m時(在步驟S103為YES)，CPU13對投影轉換的影像變形模型指定相似轉換模型(參照第4A圖)(步驟S104)。另一方面，判定被拍攝體距離不是未滿1m時(在步驟S103為No)，CPU13對投影轉換的影像變形模型指定反相轉換模型(參照第4B圖))(步驟S105)。

接著，CPU13使特徵量運算部6、方塊比對部7以及影像處理部8以暫時記憶於影像記憶體5之背景影像P2的YUV資料為基準，以所指定之影像變形模型算出用以使對被拍攝體存在影像P1的YUV資料進行投影轉換的投影轉換矩陣(步驟S106)。

然後，CPU13使影像處理部8判定投影轉換矩陣的算出是否成功(步驟S107)。在此，判定投影轉換矩陣的算出成功時(在步驟S107為YES)，CPU13使影像處理部8的位置對準部8a根據所算出之投影轉換矩陣，對被拍攝體存在影像P1進行投影轉換，藉此進行被拍攝體存在影像P1的YUV資料和背景影像P2的YUV資料之位置對準的處理(步驟S108)。

接著，CPU13使處理移至步驟S19。

另一方面，在步驟S107，判定投影轉換矩陣的算出不成功時(在步驟S107為NO)，CPU13使和被拍攝體之剪下失敗有關的既定訊息(例如，「被拍攝體之剪下失敗了」等)顯示於顯示部11的顯示畫面(步驟S109)，並結束被拍攝體剪下處理。

因此，藉由先判定背景是否是無花紋，在判定背景是無花紋的情況，不必對被拍攝體存在影像P1進行投影轉換，而可更高速地進行被拍攝體剪下處理。

此外，亦可比背景之無花紋判定更先進行攝像裝置100之不動狀態的判定，在判定為不動狀態持續的情況亦同樣，不必對被拍攝體存在影像P1進行投影轉換，而可更高速地進行被拍攝體剪下處理。

又，在該實施形態中，雖然是根據從迴轉感測器部14輸出之迴轉資料來判定攝像裝置100是否是不動狀態，但是未限定於此，例如亦可因應三腳架是否固定於攝像裝置100的三腳架固定部(省略圖示)來判定。即，亦可在拍攝被拍攝體存在影像P1和背景影像P2時，在三腳架固定於三腳架固定部(省略圖示)的情況，判定為攝像裝置100的不動狀態持續，而在三腳架未固定於三腳架固定部(省略圖示)的情況，判定為攝像裝置100的不動狀態未持續。

此外，無花紋程度亦可藉由根據各方塊內之像素之各色成分的標準偏差或分散測量偏差程度而算出，亦可以鄰近像素間之各色成分之差的絕對值或平方值的和而算出。又，亦可是無色成分的灰階，亦可與上述同樣地根據像素值的標準偏差或分散測量偏差程度，亦可以鄰近像素間之值之差的絕對值或平方值的和而算出。再者，在影像上的雜訊可預測或定義的情況，亦可藉由預先忽略該值以下而排除雜訊的影響。

此外，在上述實施形態中，雖然是從兩次的靜止影像攝影以汽車作為被拍攝體S來拍攝靜止影像，但是未限定於此，例如亦可將被拍攝體存在影像P1的攝影設為連拍攝影。在此情況，例如連續拍攝揮高爾夫球桿的人等高速動作的被拍攝體，然後，拍攝那個人移至視角外的背景影像P2。亦可作成對所連拍之各個被拍攝體存在影像P1抽出被拍攝體區域(步驟S19)，再產生各個連拍影像的α圖M(步驟S20)。又，亦可作成對既定之單色背景影像將連拍影像按照所拍攝的順序依序合成，並產生依序顯示從該連拍影像所剪下之揮高爾夫球桿的人之動作JPEG影像。又，亦可作成將從該連拍影像所剪下之揮高爾夫球桿的人和一張影像重疊地合成，而合成所謂的閃光拍攝(strobo shot)的影像。

又，雖然作成使α圖M和被拍攝體剪下影像P4的影像資料對應而以一個檔案保存，但是亦可作成使α圖M和被拍攝體存在影像P1的影像資料對應而以一個檔案保存於記錄媒體(記憶手段)9。在此情況，該檔案的播放可預先準備2種模式，分別為播放被拍攝體存在影像P1的模式、及在播放時應用α圖M將被拍攝體剪下影像P4合成並顯示的模式。

又，設置臉檢測部，分別對被拍攝體存在影像P1和背景影像P2進行臉檢測，在僅對被拍攝體存在影像P1檢測臉的情況，亦可作成對其臉檢測區域加上偏移值，以使差異度圖的差異度變大(不一致度變高)。若如此做，作為被拍攝體之最重要之部分的臉更確實地包含於剪下區域。再者，若設置「臉剪下模式」，僅對已進行臉檢測的區域以標號剪下，而省略以往的標號步驟時，可更簡單的處理得到臉部分的剪下影像。

又，在上述實施形態中，雖然作成在差異度圖的二值化處理(步驟S213)後，進行收縮處理(步驟S216)及膨脹處理(步驟S219)，但是未限定於此，亦可在進行收縮處理及膨脹處理後，進行二值化處理。

即，上述實施形態中的被拍攝體抽出處理是一例，只要可從被拍攝體存在影像P1適當地抽出被拍攝體S，則可適當地任意變更處理內容。

又，上述實施形態中，雖然作為輸出手段而言係以顯示部11為例，但是並未限定於此，例如，亦可為可與列表機等連接的外部輸出端子(省略圖示)，亦可作成將合成影像的影像資料從該外部輸出端子輸出至列表機，並印刷合成影像。

此外，關於攝像裝置100之構成，在該實施形態所舉例說明者僅為一例，並未限定於此。

即，例如，在由CMOS圖像感測器構成電子攝像部2的情況，由於各像素開始儲存電荷的時序相異，恐有在拍攝高速移動的被拍攝體時發生焦點平面變形之可能性，為了防止此情況發生，亦可作成裝載藉由快門控制部(省略圖示)進行驅動控制的機械式快門(省略圖示)，來控制曝光時間。

此外，在上述實施形態中，雖然採用在CPU13的控制下藉由使透鏡部1、電子攝像部2以及攝像控制部3進行驅動，而實現作為第1攝像手段、第2攝像手段之功能的構成，並採用在CPU13的控制下藉由使影像處理部8進行驅動，而實現作為位置對準手段、差分產生手段、被拍攝體抽出手段、座標轉換式算出手段、位置資訊產生手段以及合成手段之功能的構成，但是並未限定於此，亦可採用藉由CPU13執行既定之程式而實現的構成。

即，在記憶程式的程式記憶體(省略圖示)中，預先記憶包含第1攝像控制處理常式、第2攝像控制處理常式、位置對準處理常式、差分產生處理常式、被拍攝體抽出處理常式、座標轉換式算出處理常式、位置資訊產生處理常式以及合成處理常式的程式。而且，亦可作成利用第1攝像控制處理常式而使CPU13發揮作為第1攝像控制手段之功能，而該第1攝像控制手段使攝像手段拍攝在背景內存在有被拍攝體S的被拍攝體存在影像P1。又，亦可作成利用第2攝像控制處理常式使CPU13發揮作為第2攝像控制手段之功能，而該第2攝像控制手段以和拍攝被拍攝體存在影像P1時之攝像條件相同的攝像條件，拍攝在和背景相同的背景內不存在被拍攝體S的背景影像P2。又，亦可作成利用位置對準處理常式使CPU13發揮作為位置對準手段之功能，而該位置對準手段進行被拍攝體存在影像P1和背景影像P2之位置對準。又，亦可作成利用差分資訊產生處理常式使CPU13發揮作為差分產生手段之功能，而該差分產生手段產生在被拍攝體存在影像P1和背景影像P2之間對應之各像素的差分資訊。又，亦可作成利用被拍攝體抽出處理常式使CPU13發揮作為被拍攝體抽出手段之功能，而該被拍攝體抽出手段根據所產生之差分資訊，從被拍攝體存在影像P1抽出包含有被拍攝體S的被拍攝體區域。又，亦可作成利用座標轉換式算出處理常式使CPU13發揮作為座標轉換式算出手段之功能，而該座標轉換式算出手段根據從背景影像P2所抽出之特徵點，算出該被拍攝體存在影像P1之各像素的座標轉換式。又，亦可作成利用位置資訊產生處理常式使CPU13發揮作為位置資訊產生手段之功能，而該位置資訊產生手段特定在被拍攝體存在影像P1內所抽出之被拍攝體區域的位置並產生位置資訊。又，亦可作成利用合成處理常式使CPU13發揮作為合成手段之功能，而該合成手段根據所產生之位置資訊，產生由既定的背景和被拍攝體區域的影像所合成的被拍攝體剪下影像P4。

100．．．攝像裝置

1．．．透鏡部

2．．．電子攝像部

3．．．攝像控制部

6．．．特徵量運算部

7．．．方塊比對部

8．．．影像處理部

8a．．．位置對準部

8b．．．座標轉換式算出部

8c．．．差分產生部

8d．．．被拍攝體區域抽出部

8e．．．位置資訊產生部

8f．．．影像合成部

11．．．顯示部

13．．．CPU

14．．．迴轉感測器部

第1圖係表示應用本發明之一實施形態之攝像裝置之示意構成的方塊圖。

第2圖係表示第1圖之攝像裝置之被拍攝體剪下處理之動作例的流程圖。

第3圖係表示第2圖之被拍攝體剪下處理之後續的流程圖。

第4A、B圖係表示第2圖之被拍攝體剪下處理之影像轉換模型例的圖。

第5圖係表示第2圖之被拍攝體剪下處理中之被拍攝體抽出處理之動作例的流程圖。

第6圖係表示第2圖之被拍攝體剪下處理中之被拍攝體剪下影像產生處理之動作例的流程圖。

第7A、B、C圖係在模式上表示用以說明第2圖之被拍攝體剪下處理之影像例的圖。

第8A、B、C圖係在模式上表示用以說明第2圖之被拍攝體剪下處理之影像例的圖。

第9圖係表示第1圖之攝像裝置之被拍攝體合成影像產生處理之動作例的流程圖。

第10圖係表示第9圖之被拍攝體合成影像產生處理中之影像合成處理之動作例的流程圖。

第11圖係表示第1圖之攝像裝置之被拍攝體剪下處理之動作例的流程圖。

第12圖係表示第11圖之被拍攝體剪下處理之後續的流程圖。

1．．．透鏡部

1A．．．訂製LSI

2．．．電子攝像部

3．．．攝像控制部

3a．．．AF部

4．．．影像資料產生部

5．．．影像記憶體

6．．．特徵量運算部

7．．．方塊比對部

8．．．影像處理部

8a．．．位置對準部

8b．．．座標轉換式算出部

8c．．．差分產生部

8d．．．被拍攝體區域抽出部

8e．．．位置資訊產生部

8f．．．影像合成部

9．．．記錄媒體

10．．．顯示控制部

11．．．顯示部

12．．．操作輸入部

12a．．．快門按鈕

12b．．．模式按鈕

13．．．CPU

14．．．迴轉感測器部

100．．．攝像裝置

Claims (23)

1. 一種攝像裝置，其特徵為具備：第1攝像手段，係拍攝在背景內存在有被拍攝體的被拍攝體存在影像；第2攝像手段，係以和拍攝該被拍攝體存在影像時之攝像條件相同的攝像條件，拍攝在和該背景相同的背景內不存在該被拍攝體的該背景影像；特徵量運算手段，係於該背景影像中將特徵性高之方塊區域抽出作為模板，方塊比對手段，係於該被拍攝體存在影像中探索該模板最佳地吻合的位置；位置對準手段，係根據藉該方塊比對手段所探索之位置，進行該被拍攝體存在影像和該背景影像之位置對準；差分產生手段，係產生在已藉該位置對準手段進行位置對準的該被拍攝體存在影像和該背景影像之間對應之各像素的差分資訊；以及被拍攝體抽出手段，係根據藉由該差分產生手段所產生之該差分資訊，從該被拍攝體存在影像抽出包含有被拍攝體的被拍攝體區域。
2. 如申請專利範圍第1項之攝像裝置，其中更具備有座標 轉換式算出手段，其根據從該背景影像所抽出之特徵點，算出該被拍攝體存在影像之各像素的座標轉換式；該差分產生手段，係產生在根據藉由該座標轉換式算出手段所算出之該座標轉換式使各像素進行座標轉換的被拍攝體存在影像和該背景影像之間對應之各像素的差分資訊。
3. 如申請專利範圍第1項之攝像裝置，其中該被拍攝體抽出手段根據利用該差分產生手段所產生之該差分資訊，藉由去除比既定值更小的像素集合，而從該被拍攝體存在影像特定並抽出該被拍攝體區域。
4. 如申請專利範圍第3項之攝像裝置，其中該被拍攝體抽出手段在從該被拍攝體存在影像抽出該被拍攝體區域時，因應該背景影像的特徵量，決定是否進行去除比該既定值更小之像素集合的處理。
5. 如申請專利範圍第3項之攝像裝置，其中該被拍攝體抽出手段在從該被拍攝體存在影像抽出該被拍攝體區域時，藉由因應手震量進行收縮、膨脹，而從該被拍攝體存在影像去除比該既定值更小之像素集合。
6. 如申請專利範圍第1項之攝像裝置，其中該被拍攝體抽出手段在所抽出之被拍攝體區域內，將該被拍攝體區域之構成像素數中之既定比率以下的區域當作構成被拍攝體的有效區域。
7. 如申請專利範圍第1項之攝像裝置，其中更具備有距離 判定手段，其判定至被拍攝體的距離是否為既定值以上；該位置對準手段在藉由該距離判定手段判定至被拍攝體的距離為該既定值以上的情況，進行比未滿該既定值的情況還簡化的位置對準。
8. 如申請專利範圍第1項之攝像裝置，其中更具備有位置判定手段，其在藉該第1攝像手段拍攝該被拍攝體存在影像時和藉該第2攝像手段拍攝該背景影像時，判定該攝像裝置本體之位置是否發生相對的變化；在藉由該位置判定手段判定該攝像裝置本體之位置未發生相對的變化的情況，省略利用該位置對準手段進行的位置對準。
9. 如申請專利範圍第1項之攝像裝置，其中更具備有無花紋程度判定手段，其判定藉由該第2攝像手段所拍攝之背景影像的無花紋程度是否為既定值以上；在藉由該無花紋程度判定手段判定該無花紋程度為既定值以上的情況，省略利用該位置對準手段進行的位置對準。
10. 如申請專利範圍第1項之攝像裝置，其中更具備有位置資訊產生手段，其特定在該被拍攝體存在影像內藉由該被拍攝體抽出手段所抽出之該被拍攝體區域的位置並產生位置資訊。
11. 如申請專利範圍第10項之攝像裝置，其中更具備有記憶手段，其使該被拍攝體存在影像和該位置資訊對應而 記憶。
12. 如申請專利範圍第1項之攝像裝置，其中更具備有合成手段，其根據藉由該被拍攝體抽出手段所抽出之被拍攝體區域的被拍攝體區域資訊，產生將既定的背景和該被拍攝體區域之影像合成的合成影像。
13. 如申請專利範圍第10項之攝像裝置，其中更具備有合成手段，其根據藉由該被拍攝體抽出手段所抽出之被拍攝體區域的被拍攝體區域資訊，產生將既定的背景和該被拍攝體區域之影像合成的合成影像；該合成手段係根據藉由該位置資訊產生手段所產生之該位置資訊，產生該合成影像。
14. 如申請專利範圍第13項之攝像裝置，其中該合成手段係產生將既定的單色背景和該被拍攝體區域之影像合成的被拍攝體剪下影像作為該合成影像。
15. 如申請專利範圍第14項之攝像裝置，其中該合成手段係產生將既定的背景和該被拍攝體剪下影像合成的被拍攝體合成影像作為該合成影像。
16. 如申請專利範圍第13項之攝像裝置，其中更具備有記憶手段，其使該合成影像和該位置資訊對應而記憶。
17. 如申請專利範圍第1項之攝像裝置，其中更具備有顯示手段，其係在藉該第2攝像手段拍攝該背景影像時，將藉由該第1攝像手段所拍攝之該被拍攝體存在影像以半透過的顯示形態顯示於該顯示手段。
18. 如申請專利範圍第12項之攝像裝置，其中更具備有顯示手段，其係將藉由該合成手段所合成之該合成影像顯示於該顯示手段。
19. 如申請專利範圍第1項之攝像裝置，其中更具備背景影像特徵判定手段，係判定該背景影像是否有既定量以上之特徵，該被拍攝體抽出手段係在以該背景影像特徵判定手段判定為該背景影像有既定量以上之特徵時，對於該差分資訊進行收縮處理、標號處理、膨脹處理，並在判定為該背景影像無既定量以上之特徵時，對於該差分資訊不進行收縮處理、標號處理、膨脹處理。
20. 如申請專利範圍第1項之攝像裝置，其中更具備臉檢測手段，該差分產生手段係在藉該臉檢測檢測出臉區域時，針對該臉區域，以差異度變高的方式對該差分資訊加上偏移值。
21. 一種攝像裝置，其特徵為具備：第1攝像手段，係連續拍攝存在於背景內之相同被拍攝體而拍攝複數個被拍攝體存在影像；第2攝像手段，係以和拍攝該複數個被拍攝體存在影像時之攝像條件相同的攝像條件，拍攝在和該背景相同的背景內不存在該被拍攝體的該背景影像；位置對準手段，係進行該複數個被拍攝體存在影像 中之各影像和該背景影像之位置對準；差分產生手段，係產生在已藉該位置對準手段進行位置對準的該複數個被拍攝體存在影像中之各影像和該背景影像之間對應之各像素的差分資訊；被拍攝體抽出手段，係根據藉由該差分產生手段所產生之該差分資訊，從該複數個被拍攝體存在影像中之各影像抽出包含有被拍攝體的被拍攝體區域而取得經抽出之複數個被拍攝體區域；以及被拍攝體合成手段，係將藉該被拍攝體抽出手段所抽出之複數個被拍攝體區域與一張影像重疊而合成，以產生一個合成被拍攝體影像。
22. 一種影像處理方法，其特徵為使具備有攝像手段的攝像裝置執行如下的處理：使該攝像手段拍攝在背景內存在有被拍攝體的被拍攝體存在影像之處理；在拍攝該被拍攝體存在影像後，以和拍攝該被拍攝體存在影像時之攝像條件相同的攝像條件，使該攝像手段拍攝在和該背景相同的背景內不存在該被拍攝體的該背景影像之處理；於該背景影像中將特徵性高之方塊區域抽出作為模板之處理，於該被拍攝體存在影像中探索該模板最佳地吻合的位置之處理； 根據所探索之位置，進行該被拍攝體存在影像和該背景影像之位置對準之處理；產生在已進行位置對準的該被拍攝體存在影像和該背景影像之間對應之各像素的差分資訊之處理；以及根據所產生之該差分資訊，從該被拍攝體存在影像抽出包含有被拍攝體的被拍攝體區域之處理。
23. 一種記錄媒體，係記錄有程式，該記錄媒體的特徵為使具備有攝像手段之攝像裝置的電腦發揮作為如下之手段之功能：第1攝像控制手段，係使該攝像手段拍攝在背景內存在有被拍攝體的被拍攝體存在影像；第2攝像控制手段，係以和拍攝該被拍攝體存在影像時之攝像條件相同的攝像條件，使該攝像手段拍攝在和該背景相同的背景內不存在該被拍攝體的該背景影像；特徵量運算手段，係於該背景影像中將特徵性高之方塊區域抽出作為模板，方塊比對手段，係於該被拍攝體存在影像中探索該模板最佳地吻合的位置；位置對準手段，係根據藉該方塊比對手段所探索之位置，進行該被拍攝體存在影像和該背景影像之位置對準；差分產生手段，係產生在已藉由該位置對準手段進 行位置對準之該被拍攝體存在影像和該背景影像之間對應之各像素的差分資訊；以及被拍攝體抽出手段，係根據藉由該差分產生手段所產生之差分資訊，從該被拍攝體存在影像抽出包含有被拍攝體的被拍攝體區域。