TW201330611A

TW201330611A - 影像處理裝置、影像處理方法、程式

Info

Publication number: TW201330611A
Application number: TW101140997A
Authority: TW
Inventors: Masaya Kinoshita
Original assignee: Sony Corp
Priority date: 2011-12-06
Filing date: 2012-11-05
Publication date: 2013-07-16
Also published as: JP2013120949A; EP2790397A1; EP2790397B1; RU2014122173A; US20140334681A1; JP5987306B2; WO2013084593A1; US10630891B2; CN103975575A; EP2790397A4; KR20140097221A; IN2014MN00982A; CN103975575B; BR112014013237A2; US20170280047A1; US9734580B2

Abstract

針對影像資料的複數畫格，分別偵測出作為主要被攝體之候補的候補影像。針對已被偵測出來的候補影像，求出跨越複數畫格之影像資料內的穩定存在度。使用該穩定存在度，在候補影像當中判定主要被攝體。

Description

影像處理裝置、影像處理方法、程式

本揭露係有關於在影像內判定主要被攝體的影像處理裝置、影像處理方法、及執行在影像內判定主要被攝體之處理的程式。

近年來的數位靜態相機、數位視訊攝影機係標準配備有臉部偵測機能，搭載有可配合臉部位置．領域來將各種參數(焦點、亮度等)做最佳調整的機能。

另一方面，在攝像影像內，藉由使用者指定而選擇被攝體追蹤之目標的「主要被攝體」之手法，係被記載於專利文獻1。

又，若採用例如專利文獻2,3,4所揭露之技術，則可實現將任意被攝體的全身以框框圍繞的被攝體追蹤。

又，自動對焦、自動曝光等，係為偵測、追蹤攝像影像內的所望領域，控制光學系等使其最適於該領域，此種機能也已經存在。

像這些在攝像影像內，由使用者指定主要被攝體，而追蹤例如臉部等之影像領域、或對臉部領域做對焦等等的技術，已為人知。

〔先前技術文獻〕〔專利文獻〕

〔專利文獻1〕日本特開2011-166305號公報

〔專利文獻2〕日本特開2011-146826號公報

〔專利文獻3〕日本特開2011-146827號公報

〔專利文獻4〕日本特開2011-160379號公報

順便一提，在攝像影像內，作為追蹤或對焦之標的的所望領域、亦即「主要被攝體」，在現況下係為，從各種偵測器所獲得之「複數候補領域」之中，由攝像者自己以某種方法來選擇一個候補而被決定。

例如在拿持相機的狀態下，從畫面顯示的透視檢視影像(快門操作時點以外所被顯示之被攝體的監視影像)上所映出的複數臉部之中，藉由觸控面板來選擇任意之臉部，是以此種行為來選定主要被攝體。或者是將在使用者指定的時序(快門半押等)上存在於所定領域內的被攝體，當作主要被攝體。

然而，若在實際的使用案例中考量此種使用者介面，「攝像者所做的主要被攝體之選擇」此一行為本身經常是有困難的。

例如為了想要對到處亂走之被攝體持續對焦而欲使用該機能，使用者必須拿著相機瞄準被攝體，同時以手指來進行選擇，這件事情本身就有難度。

又例如，對於被攝體的變化(移動)，因為使用者的反應速度，導致指定困難的情形也會發生。例如有時候在透視檢視影像之畫面上，沒有辦法順利指定到處亂走之被攝體。

又，原本用手拿著相機，朝向被攝體然後選定被攝體的此種狀況下，使用者在畫面上用手指來指定主要被攝體這個行為本身就是有難度的。

又，有實因為配設觸控面板的顯示畫面的解析度的緣故，對使用者而言，被攝體是難以選擇的。

又，有時候會因為配設觸控面板的顯示畫面上的被攝體尺寸與使用者手指的大小(粗細)，而導致無法適切指定所望被攝體。

又，也有時候會因為相機系統上的時間落差，例如實際的光景與攝像畫面之透視檢視影像的時間落差，而導致使用者難以適切指定被攝體。

甚至在動畫攝像．記錄中要進行該操作時，因為主要被攝體之選擇行為而造成畫面搖晃但仍然被記錄進去，或因為跑出畫面外或是暫時遮蔽等等導致追蹤消失(失敗)時，強制要求再選擇之行為。

像這樣，在掌中型的攝像機中，主要被攝體選擇行為本身，在必要的許多使用案例下是有困難的，會有對攝像者帶來壓力之問題。

於是，本揭露之目的在於實現一種技術，不必讓攝像者等之使用者刻意進行選擇被攝體之行為，仍可判定出使用者所追求的對象被攝體，並將其當作主要被攝體。

本揭露之影像處理裝置，係具備：候補偵測部，係針對影像資料的複數畫格，分別偵測出作為主要被攝體之候補的候補影像；和主要被攝體判定部，係針對上記候補偵測部所測出的候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，在候補影像當中判定主要被攝體。

本揭露之影像處理方法，係為一種影像處理方法，其係針對影像資料的複數畫格，分別偵測出作為主要被攝體之候補的候補影像；針對已被偵測出來的候補影像，求出跨越複數畫格之影像資料內的穩定存在度；使用該穩定存在度，在候補影像當中判定主要被攝體。

本揭露的程式係為，一種程式，其係令演算處理裝置執行：位置狀態判定處理，係針對影像資料的複數畫格，分別被偵測成為主要被攝體之候補的候補影像，判定其在攝角空間內的位置狀態；和穩定存在度算出處理，係從上記位置狀態判定處理所判定出來的各畫格中的候補影像之位置狀態，針對候補影像，求出跨越複數畫格之影像資料內的穩定存在度；和主要被攝體判定處理，係使用上記穩定存在度算出處理所求出的穩定存在度，在候補影像當中判定主要被攝體。

若依據這些本揭露的技術，則在已被抽出的候補影像之中，求出複數畫格的穩定存在度。所謂穩定存在度，係表示某個影像在攝角空間內，位置上處於所定狀態的頻率 (時間性的存在確實度)的值。拿著相機的攝像者，被認為當作目標而被瞄準的確實度較高的被攝體，其穩定存在度會變高。亦即攝像者主要瞄準的被攝體，係會使其在攝像影像內的位置，盡量放入攝像者中心考慮的點或領域裡，而且由於攝像者瞄準該被攝體，因此會自然地長時間進入攝像影像中。因此，位置上處於所定狀態是時間性高頻率地存在於攝像影像內的被攝體(穩定存在度高的被攝體)，係可推定成攝像者所瞄準的主要被攝體。

若依據本揭露，則由於在攝像影像內自動判定主要被攝體，因此攝像者等之使用者就不需要進行選擇主要被攝體的行為。因此可提升使用者的操作性、便利性。例如將搭載本揭露之影像處理裝置的攝像裝置拿在手中進行攝像時的操作性的提升、使用者壓力的減輕、還有自動判定主要被攝體所帶來的各種機能之實現等等，可實現產品附加價值提升。

以下，按照如下順序來說明實施形態。

<1.影像處理裝置之構成> <2.攝像裝置之構成> <3.主要被攝體決定處理概要>

〔3-1：處理類型I〕

〔3-2：處理類型II〕

〔3-3：主要被攝體判定機會/目的等〕

<4.具體處理例>

〔4-1：處理例1(類型I；判定基準點；先達判定；累積存在)〕

〔4-2：處理例2(類型I；判定基準點；先達判定；持續存在)〕

〔4-3：處理例3(類型I；判定基準點；先達判定；累積存在；擴充例)〕

〔4-4：處理例4(類型I；判定基準點；先達判定；累積存在；條件判定附加)〕

〔4-5：處理例5(類型I；判定基準點；一定時間判定；累積存在)〕

〔4-6：處理例6(類型I；判定基準點；一定時間判定；持續存在)〕

〔4-7：處理例7(類型I；判定基準領域；先達判定；累積/持續存在)〕

〔4-8：處理例8(類型I；判定基準領域；一定時間判定；累積/持續存在)〕

〔4-9：處理例9(類型II；判定基準點；平均性存在)〕

〔4-10：處理例10(類型II；判定基準點；累積存在)〕

〔4-11：處理例11(類型II；判定基準點；持續存在)〕

〔4-12：處理例12(類型II；判定基準領域；平均性存在)〕

<5.對程式及電腦裝置之適用> <6.變形例>

此外，所使用的各用語的意義如下所示。

所謂「攝角空間」(Field of view)，係意味著攝像影像中所呈現的空間。雖然主要意思是攝像影像中的作為畫面平面的2維空間，但不只如此，還用在也包含被攝體對於攝像時之相機位置的相對距離的3維空間的意思。此外，針對攝像影像，在描述被攝體對攝像時之相機位置的相對距離時，會使用「被攝體距離」此一用語。

在實施形態中所謂「攝角空間」，係主要用於表示畫面平面之2維空間(攝像影像中的x-y座標空間)之意思，本揭露之技術中，「攝角空間」係視為畫面平面的2維空間而適用，但特別在畫面平面還加上考慮「被攝體距離」的情況下，則「攝角空間」係意味著3維空間(x-y-z座標空間)。

若再詳述，則後面是以變形例來說明，「攝角空間」係甚至也可想成僅考慮畫面平面的橫方向位置(x座標)、或僅考慮畫面平面的橫方向位置(y座標)、或僅考慮被攝體距離(z座標)的1維空間。

所謂「位置狀態」，係指攝像影像資料中的候補影像在攝角空間內的絕對或相對位置之狀況的總稱。

作為「位置狀態」的具體例係有：

．實施形態中所說明的與判定基準點之相對距離

．實施形態中所說明的對判定基準領域的相對位置關係或相對距離

．在攝像影像之二維平面內的候補影像之位置

．被攝體距離

．被攝體距離與判定基準點或判定基準領域的相對位置關係等等。

所謂「穩定存在度」，係指在攝角空間內某個被攝體是位置上處於所定狀態之頻率加以表示的值。係為一指標值，可以用來判定例如是否在影像內以時間性高確實度處於所定狀態。若以後述的實施形態而言，是用來表示候補影像在攝角空間內之位置狀態，是存在於某個所定位置狀態的累積時間或持續時間、或平均性存在等的值，被當作該「穩定存在度」而計算的例如累積時間或持續時間越高的影像，係可推定成攝像者主要瞄準的被攝體。

<1.影像處理裝置之構成>

圖1係圖示了實施形態的影像處理裝置的構成例。

影像處理裝置1係具有主要被攝體判定部2和候補偵測部3。

候補偵測部3，係針對已被輸入的影像資料Dg的複數畫格，分別偵測出作為主要被攝體之候補的候補影像，向主要被攝體判定部2輸出候補影像資訊。

亦即，時間軸上被連續輸入的影像資料Dg的每一畫格(或每間歇性之畫格)地，進行臉部影像偵測、人體影像偵測等，將作為主要被攝體之候補的影像予以抽出。

此外，臉部偵測、人體偵測等，係可藉由對攝像影像資料進行影像解析的圖案比對之手法等來實現，但如果抽換圖案比對時所使用的字典，則其他偵測器在理論上也可實現。例如亦可設計成(特定品種的)犬臉部偵測、貓臉部偵測等來抽出主要被攝體的候補影像。

又亦可考慮例如以畫格差分所致之運動體偵測之手法，偵測出運動體，將該當運動體當作候補影像，亦可採用一種稱作顯著圖(Saliency)的注視領域抽出之手法。

然後，候補偵測部3係將表示已抽出之候補影像的資訊，例如候補影像之畫面內的二維方向之位置資訊(x,y座標值)、或被攝體距離、影像尺寸(像素數)等，當作候補影像資訊而予以輸出。

主要被攝體判定部2係針對從候補偵測部3所供給的候補影像資訊所示的候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用所求出的穩定存在度，在候補影像當中判定主要被攝體。然後輸出主要被攝體資訊Dm。

因此主要被攝體判定部2係作為例如藉由軟體程式所實現的演算處理機能，而設置有位置狀態判定部2a、穩定存在度算出部2b、設定處理部2c。

位置狀態判定部2a，係針對候補影像資訊所示的候補影像，判定其在攝角空間內的位置狀態。

穩定存在度算出部2b係根據位置狀態判定部2a所判定出來的各畫格中的候補影像之位置狀態，針對各候補影像，求出跨越複數畫格之影像資料內的穩定存在度。

設定處理部2c，係使用穩定存在度算出部2b所求出的穩定存在度，從各候補影像之中判定出主要被攝體，進行將某個候補影像設定成主要被攝體的處理。表示被設定成為主要被攝體之影像的資訊，係被當成主要被攝體資訊Dm而輸出，被交給其他應用軟體或處理電路部等。

此外，候補偵測部3係作為影像解析裝置，而可以用視訊處理DSP(Digital Signal Processor)或CPU(Central Processing Unit)來實現之。

又，主要被攝體判定部2係作為演算處理裝置而可以用CPU或DSP來實現之。

又，也想定了由構成主要被攝體判定部2的CPU等，來執行身為候補偵測部3之動作。亦即，進行影像解析的候補偵測部3，也有時候係被構成為是主要被攝體判定部2的演算處理裝置內的一機能區塊。

此影像處理裝置1所進行之處理流程係如圖2A所示。

作為步驟F1000，係開始影像資料Dg的輸入。影像資料Dg係藉由，將從未圖示的攝像裝置部、或從別台攝像裝置所發送過來的影像資料予以接收的收訊部等，而被輸入進來。或者有時候係為，被攝像裝置所拍攝、保存在記錄媒體中的動態影像資料，被再生而輸入。

影像處理裝置1執行主要被攝體判定時，處理係從步驟F1001前進至F1002。

在步驟F1002中，候補偵測部3進將被依序輸入進來的影像資料Dg的各畫格當作對象而進行影像解析或畫格差分偵測、注視領域偵測等，開始進行所定候補影像之偵測的處理。

候補偵測部3，係可將所被輸入的全部畫格當作對象而進行候補影像抽出，亦可每隔1畫格、每隔2畫格等的方式，以間歇性畫格為對象來進行候補影像抽出。亦即候補偵測部3，在進行主要被攝體判定的期間，至少對時間序列上的複數畫格，能夠進行候補影像之抽出處理即可。要將哪種影像視為候補影像，係隨著設定而有多種可能，但可考慮例如臉部影像、人體影像、犬影像、貓影像等。

然後，候補偵測部3係針對各畫格，分別將所測出之候補影像予以表示的候補影像資訊，輸出至主要被攝體判定部2。

在步驟F1003中，主要被攝體判定部2係進行主要被攝體判定處理。

該主要被攝體判定處理係如圖2B所示。

在步驟F1中，位置狀態判定部2a係將被依序輸入之候補影像資訊予以擷取，判定各候補影像的位置狀態。候補影像係有時候在1畫格中會存在1或複數個，也有可能在畫格內沒有候補影像存在。當某個畫格中存在有複數候補影像時，則會針對各候補影像分別判定其位置狀態。

在步驟F2中，根據位置狀態判定處理所判定出來的各畫格中的候補影像之位置狀態，穩定存在度算出部2b係針對候補影像，算出跨越複數畫格之影像資料內的穩定存在度。例如，以表示位置狀態是處於靠近影像中央之狀態之頻率的值等，算出穩定存在度。

在步驟F3中，設定處理部2c係使用針對各候補影像的穩定存在度，而在候補影像當中判定主要被攝體。例如將表示位置狀態是處於靠近影像中央之狀態之頻率之值的穩定存在度是最高值(或時間上最早到達所定值)的候補影像，判定成主要被攝體。

在圖2A的步驟F1003中，主要被攝體判定部2係如以上所述般地進行圖2B的步驟F1~F3，例如將1個候補影像設定成為主要被攝體。

然後，在圖2A的步驟F1004中，主要被攝體判定部2係將主要被攝體資訊Dm交付給應用程式等。

在應用程式等中，會進行相應於被設定成主要被攝體之影像是已被特定的處理。例如焦點控制、追蹤處理、影像效果處理等。

如以上，影像處理裝置1所進行的主要被攝體判定處理，係在已被抽出的候補影像之中，求出複數畫格的穩定存在度。亦即求出一指標值，用來判斷是否時間上以高頻率而位置穩定地存在於影像內。

例如拿著相機的攝像者，被認為當作目標而被瞄準的確實度較高的被攝體，其穩定存在度會變高。亦即攝像者主要瞄準的被攝體，係會使其在攝像影像內的位置，盡量放入攝像者中心考慮的點或領域裡，而且由於攝像者瞄準該被攝體，因此會自然地長時間進入攝像影像中。因此，位置上穩定且時間上高頻率地存在於攝像影像內的被攝體(穩定存在度高的被攝體)，係可推定成攝像者所瞄準的主要被攝體。

藉由此種穩定存在度，來進行主要被攝體判定。藉此，攝像者等之使用者就不需要特別指定操作，就能自動判定主要被攝體，在隨應於主要被攝體設定而進行動作的各種電子機器中，可大幅提升使用者的操作性。

<2.攝像裝置之構成>

以下舉出內建有如上述之影像處理裝置的攝像裝置10為例子，詳細說明主要被攝體判定動作。

實施形態的攝像裝置10的構成例，示於圖3。此攝像裝置3係為所謂數位靜態相機或數位視訊攝影機，是進行靜止影像或動畫之攝像/記錄的機器，是內建有請求項所述之影像處理裝置。

又，影像處理裝置中的相當於上述之主要被攝體判定部2的構成，係在攝像裝置10的控制部30中藉由軟體而被實作。控制部30係藉由執行基於請求項所述之程式的處理，以請求項所述之影像處理方法而進行動作。如圖1所示，攝像裝置10係具有：光學系11、成像器12、光學系驅動部13、感測器部14、記錄部15、通訊部16、數位訊號處理部20、控制部30、使用者介面控制器(以下簡稱「UI控制器」)32、使用者介面33。

光學系11係具備護蓋透鏡、變焦透鏡、對焦透鏡等之透鏡或光圈機構。藉由該光學系11，來自被攝體的光線就被聚光在成像器12。

成像器12係有例如CCD(Charge Coupled Device)型、CMOS(Complementary Metal OxideSemiconductor)型等之攝像元件。

在該成像器12中，針對攝像元件上進行光電轉換所得之電性訊號，執行例如CDS(Correlated Double Sampling)處理、AGC(Automatic Gain Control)處理等，然後進行A/D(Analog/Digital)轉換處理。然後將成為數位資料的攝像訊號，輸出至後段的數位訊號處理部20。

光學系驅動部13，係基於控制部30的控制，驅動光學系11的對焦透鏡，執行對焦動作。又，光學系驅動部13，係基於控制部30的控制，驅動光學系11的光圈機構，執行曝光調整。再者，光學系驅動部13，係基於控制部30的控制，驅動光學系11的變焦透鏡，執行變焦動作。

數位訊號處理部20，係藉由例如DSP等而以影像處理器的方式而被構成。該數位訊號處理部20係對來自成像器12的數位訊號(攝像影像訊號)，實施各種訊號處理。

例如數位訊號處理部20係具備：前處理部21、同時化部22、YC生成部23、解析度轉換部24、編碼解碼部25、候補偵測部26。

前處理部51係對來自成像器12的攝像影像訊號，實施將R,G,B之黑位準箝制成所定位準的箝制處理、R,G,B之色彩通道間的補正處理等。

同時化部22，實施去馬賽克處理，以使得各像素的影像資料是具有R,G,B的所有顏色成分。

YC生成部23係從R,G,B之影像資料，生成(分離)亮度(Y)訊號及色彩(C)訊號。

解析度轉換部24，係對施行過各種訊號處理的影像資料，執行解析度轉換處理。

編碼解碼部25，係針對已被解析度轉換的影像資料，進行例如記錄用或通訊用的編碼處理。

候補偵測部26，係相當於圖1中所說明過的候補偵測部3，例如，以YC生成部23所得之攝像影像訊號(亮度訊號/色彩訊號)為對象，進行各畫格單位的影像解析處理，抽出候補影像。例如作為一例，係進行臉部影像之偵測，將該臉部影像存在的領域，當作候補影像框而予以抽出。針對已抽出的候補影像，係將該候補影像框的位置資訊(在畫面上的x,y座標值、被攝體距離的資訊等)、或尺寸資訊(例如候補影像框的寬度、高度、像素數等)，當作候補影像資訊而交付給控制部30的主要被攝體判定部31。此外，此處，由於是用來表示身為候補影像的候補影像之框的資訊，因此也將候補影像資訊稱作「候補影像框資訊」。

又，作為候補影像框資訊，係亦可還含有候補影像的屬性資訊(臉部、人體、犬、貓等之種別、或個人(個體)識別資訊，甚至還可以含有影像資料本身。

候補偵測部26，係亦可如上述般地以圖案比對之手法來抽出要作為候補之對象的特定影像，也可考慮例如以畫格差分所致之運動體偵測之手法，偵測出運動體，將該當運動體當作候補影像等。候補影像的抽出、選定之手法係不限定於以上，可有多種考量。

又，候補偵測部26，係亦可對影像進行平滑化處理、離群值(outlier)去除等之處理，然後生成候補影像框資訊。

控制部30係由具備CPU、ROM(Read Only Memory)、RAM(Random Access Memory)、快閃記憶體等的微電腦(演算處理裝置)所構成。

藉由CPU執行ROM或快閃記憶體等中所記憶的程式，就可統籌控制該攝像裝置10全體。

RAM係作為CPU的各種資料處理之際的作業領域，備用來暫時儲存資料或程式等。

ROM或快閃記憶體(非揮發性記憶體)，係記憶著CPU用來控制各部所需的OS(Operating System)、影像檔案等之內容檔案以外，還被用來記憶各種動作所需之應用程式或軟體等。例如在本例中係記憶有執行後述之主要被攝體判定處理所需的程式，還記憶著會利用主要被攝體判定結果的應用程式等。

如此的控制部30，係針對數位訊號處理部20中的各種訊號處理之指示、使用者操作所相應的攝像動作或記錄動作、已記錄之影像檔案的再生動作、變焦、對焦、曝光調整等之相機動作、使用者介面動作等，控制必要的各部之動作。

甚至在本實施形態的情況中，控制部2係具備作為主要被攝體判定31的機能，執行後述之主要被攝體判定處理。

主要被攝體判定部31，係為相當於圖1之主要被攝體判定部2的機能，執行上述的位置狀態判定部2a、穩定存在度算出部2b、設定處理部2c之處理。

使用者介面33，係對使用者執行顯示輸出或聲音輸出，且受理使用者的操作輸入。因此具有顯示裝置、操作裝置、揚聲器裝置、麥克風裝置等。此處係圖示了顯示部34、操作部35。

顯示部34係為對使用者(攝像者等)進行各種顯示的顯示部，係具有例如被形成在攝像裝置10之框體上的LCD(Liquid Crystal Display)或有機EL(Electro-Luminescence)顯示器等之顯示裝置而被形成。此外，亦可用所謂取景窗的形態，使用LCD或有機EL顯示器等來形成。

該顯示部6，係由上記的顯示裝置、用來令該顯示裝置執行顯示的顯示驅動程式所構成。顯示驅動程式，係基於控制部30之指示，在顯示裝置上執行各種顯示。例如，顯示驅動程式係將攝像而記錄在記錄媒體中的靜止影像或動畫予以再生顯示，令快門釋放(快門操作)待機中所拍攝到的各畫格的攝像影像資料所成之動畫方式的透視檢視影像(被攝體監視影像)，被顯示在顯示裝置的畫面上。又，令各種操作選單、小圖示、訊息等，亦即GUI(Graphical User Interface)的顯示，在畫面上被執行。在本實施形態的情況下，也會在例如在透視檢視影像或再生畫面上，執行讓使用者能夠了解主要被攝體判定所致之判定結果的顯示。

操作部35，係具有輸入使用者操作的輸入機能，將相應於所輸入之操作的訊號，送往控制部30。

作為該操作部35，係以例如被設在攝像裝置10之框體上的各種操作件、被形成在顯示部34上的觸控面板等方式而被實現。

作為框體上的操作件，係設置有再生選單啟動鈕、決定鈕、十字鍵、取消鈕、變焦鍵、滑移鍵、快門鈕(釋放鈕)等。

又，亦可藉由觸控面板和顯示部34上所顯示的小圖示或選單等的觸控面板操作，實現各種操作。

使用者介面33之顯示部34等之動作，係依照控制部 30之指示而被UI控制器32所控制。又，操作部35所致之操作資訊，係被UI控制器32傳達至控制部30。

記錄部15，係由例如非揮發性記憶體所成，是作為用來記憶靜止影像資料或動畫資料之影像檔案(內容檔案)、或影像檔案的屬性資訊、縮圖影像等的記憶領域而發揮機能。

影像檔案，係以例如JPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等之格式而被記憶。

記錄部15的實際形態係可有多種考量。例如，記錄部15係亦可為內建在攝像裝置10的快閃記憶體，亦可為可對攝像裝置10裝卸的記憶卡(例如可攜式快閃記憶體)與可對該記憶卡進行記錄在生存取的卡片記錄再生部。又，亦可以內建於攝像裝置10之形態而以HDD(Hard Disk Drive)等來實現之。

又，在本例中執行後述之主要被攝體判定處理所需的程式，係亦可被記憶在記錄部15中。

通訊部16，係與外部機器之間，以有線或無線來進行資料通訊或網路通訊。

例如，與外部的顯示裝置、記錄裝置、再生裝置等之間，進行攝像影像資料(靜止影像檔案或動畫檔案)之通訊。

又，作為網路通訊部，係可進行例如網際網路、家庭網路、LAN(Local Area Network)等之各種網路的通訊，亦可和網路上的伺服器、終端間進行各種資料收送訊。

感測器部14係概括地表示各種感測器。例如，設置有用來偵測手晃所需的陀螺儀感測器、用來偵測攝像裝置10之姿勢的加速度感測器等。甚至亦可設置用來偵測攝像裝置10之資訊或移動的角速度感測器、用來偵測曝光調整等所需之外部照度的照度感測器、還有測定被攝體距離的測距感測器。

感測器部14的各種感測器，係將各個測出的資訊，傳達至控制部30。控制部30，係可使用感測器部14所測出的資訊，來進行各種控制。

<3.主要被攝體決定處理概要>

於以上構成的攝像裝置10中，針對控制部30(主要被攝體判定部31)所執行的主要被攝體判定處理，逐步說明如下。

後面雖然是以具體的處理例1~12，來說明各種主要被攝體判定處理例，但所謂主要被攝體判定處理係為，針對候補影像資訊所表示的候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，在候補影像當中判定主要被攝體的處理。作為此種主要被攝體判定處理，以下係例示處理類型I、處理類型II。但是本揭露的主要被攝體判定處理係並非僅限定2個類型，只是意味著後述的處理例1~12可以大致分成類型I、類型II。

處理類型I，係在進行主要被攝體判定的期間中，一面擷取候補影像資訊，一面執行判定的處理態樣。

另一方面，處理類型II係在某期間中，進行候補影像資訊的擷取(緩衝)。然後，一旦經過了該當期間，則使用所擷取之候補影像資訊來進行主要被攝體判定的處理態樣。

〔3-1：處理類型I〕

處理類型I的處理流程，示於圖4。此外在圖4中，針對各步驟F10~F15，還圖示了相當於上記圖2B的步驟F1(擷取/位置狀態判定)、F2(穩定存在度算出)、F3(主要被攝體設定)之處理的對應關係。

以下係控制部30的主要被攝體判定部31所進行之處理。

步驟F10中，控制部30係將來自候補偵測部26的某1個畫格的候補影像框資訊，予以擷取。

步驟F11中，控制部30係針對所擷取之候補影像框資訊所示的1或複數個各候補影像框，進行各個攝角空間內的位置計算然後判定位置狀態。

此時，係判定候補影像相對於被設定在攝角空間內之判定基準點的距離，來作為位置狀態。又，係判定候補影像相對於被設定在攝角空間內之判定基準領域的位置關係，來作為位置狀態。

在步驟F12中，控制部30係針對各候補影像框，計算穩定存在度。此時，控制部30係作為穩定存在度，算出位置狀態是滿足所定條件的累積時間資訊。又，控制部30，係算出位置狀態是持續而滿足所定條件的持續時間資訊，來作為穩定存在度。

此外，穩定存在度的算出時，作為算出的條件，係也可使用候補影像在攝角空間內的位置資訊、或候補影像的尺寸資訊。

在步驟F13中，控制部30係使用穩定存在度來判定主要被攝體。

此處步驟F13中的判定係為，將穩定存在度是從主要被攝體判定開始起最早達到所定值的候補影像，判定為主要被攝體的處理。又係為，將穩定存在度之值是在主要被攝體判定期間內呈最高的候補影像，判定為主要被攝體的處理。

又，在主要被攝體的判定時，除了穩定存在度之值，還會採用候補影像在攝角空間內的位置資訊、或候補影像的尺寸資訊。

在穩定存在度之值已達所定值之候補影像尚未存在的時點，或尚未經過所定之主要被攝體判定期間，該當期間中的穩定存在度之值為最高之候補影像尚無法選定的時點上，在步驟F13之處理中，係還沒有辦法判定為主要被攝體。此時，控制部30係從步驟F14返回F10，重複各處理。亦即，以候補偵測部26擷取下個進行處理之畫格的候補影像框資訊，進行同樣的處理。

在某個時點上發現穩定存在度之值到達所定值之候補影像的時候，或是經過所定之主要被攝體判定期間，該當期間中的穩定存在度之值為最高之候補影像係成功選定的時點上，控制部30係從步驟F14前進至F15。然後，將步驟F13中所判定出來的候補影像，設定成主要被攝體。

〔3-2：處理類型II〕

接著，處理類型II的處理流程，示於圖5。在圖5中也是，針對各步驟F20~F24，還圖示了相當於上記圖2B的步驟F1(擷取/位置狀態判定)、F2(穩定存在度算出)、F3(主要被攝體設定)之處理的對應關係。

以下係控制部30的主要被攝體判定部31所進行之處理。

步驟F20中，控制部30係將來自候補偵測部26的某1個畫格的候補影像框資訊，予以擷取。

步驟F21中，控制部30係針對所擷取之候補影像框資訊所示的1或複數個各候補影像框，進行各個攝角空間內的位置計算然後判定位置狀態。

例如，判定候補影像相對於被設定在攝角空間內之判定基準點的距離，來作為位置狀態。又，係判定候補影像相對於被設定在攝角空間內之判定基準領域的位置關係，來作為位置狀態。

然後，控制部30係將所算出的位置狀態(距離或位置關係)之資訊，積存(緩衝)在內部RAM等中。

在步驟F22中，控制部30，係判別在所定期間(所定之主要被攝體判定期間的時間長度、或畫格數)中的位置狀態之資訊的積存是否已經完成，若尚未積存完成則返回步驟F20。

亦即判定是否經過了所定期間、或進行了所定畫格數份的步驟F20、F21之處理。

在積存完成的時點上，控制部30係前進至步驟F 23。

在步驟F23中，控制部30係針對各候補影像框，使用已經緩衝的例如所定期間的位置狀態之資訊，來計算穩定存在度。

此時，控制部30係作為穩定存在度，算出位置狀態是滿足所定條件的累積時間資訊、或位置狀態是持續而滿足所定條件的持續時間資訊。

在步驟F24中，控制部30係使用穩定存在度來判定主要被攝體。

又例如在進行過緩衝的主要被攝體判定期間中，將穩定存在度之值為最高的候補影像，判定為主要被攝體，並設定主要被攝體。

此外在主要被攝體的判定時，除了穩定存在度之值，還會採用候補影像在攝角空間內的位置資訊、或候補影像的尺寸資訊。

此外，作為該圖5的處理類型II，係亦可考量在步驟F22中判斷為積存完成之後，進行步驟F21的例子。亦即，先積存所定期間的候補影像框資訊，在期間經過後，針對各候補影像框資訊而求出位置狀態之資訊的手法。

〔3-3：主要被攝體判定機會/目的等〕

在本實施形態中，雖然藉由以上的處理類型I、II來進行主要被攝體判定，但以下逐步說明在攝像裝置10中進行主要被攝體判定的機會或目的等。

首先說明主要被攝體判定結果的利用例。

主要被攝體判定，係例如在使用者(攝像者)瞄準快門時機(釋放時機)之際會被執行，但控制部30係在自動判定主要被攝體後，可進行如下的處理。

．追蹤處理

在所拍攝的各畫格中，追蹤所被設定的主要被攝體。例如在透視檢視影像顯示上向使用者明示主要被攝體，供使用者的攝角調整(例如手持相機之狀態下的被攝體決定)之用。

此外，作為主要被攝體的提示，係考慮在顯示部34的透視檢視影像顯示上強調顯示主要被攝體的框框。又，強調顯示等，係可在判定後的一定期間內，也可以只有當透視檢視影像內有主要被攝體存在之際執行之。

．對焦

對主要被攝體進行自動對焦控制。又，配合追蹤處理，即使主要被攝體跑來跑去，焦點仍會追蹤著該主要被攝體而被調整。

．曝光調整

基於主要被攝體的明度(亮度)來進行自動曝光調整。

．指向性調整

在進行攝像(例如動畫攝像)同時以麥克風進行聲音收音時，隨應於攝角空間內的主要被攝體之方向，來進行指向性調整。

又，亦可在對攝像影像訊號的各種訊號處理中使用之。

．影像效果處理

在所拍攝之各畫格中僅在主要被攝體的領域，加上畫質調整、雜訊重製、膚色調整等之影像處理。

或者，在主要被攝體的領域以外，加上影像效果、例如馬賽克處理、柔焦處理、塗滿處理等。

．影像編輯處理

針對攝像影像、或是已被記錄的影像，加上畫框、裁切等之編輯處理。

例如可進行將含有主要被攝體的畫格內的一部分領域予以切出、或放大等之處理。

又，在攝像影像資料當中，可進行影像周邊部的切除等以使得主要被攝體被配置在影像的中心，進行構圖調整。

這些僅為一例，除此以外，亦可考量由應用程式或攝像裝置內的自動調整機能，來利用已設定之主要被攝體的處理。

接著主要被攝體判定處理是在哪個時點上執行，也有各種考量。

例如可以在攝像裝置10的電源打開，進行攝像時(顯示部34上顯示有透視檢視影像的期間)，係常時性地進行主要被攝體判定處理。

又，亦可一旦判定了主要被攝體，進行追蹤處理的情況下，在追蹤失敗的時點上，再度進行主要被攝體判定處理。

又，亦可藉由使用者操作來開始主要被攝體判定處理。

又，亦可在使用者選擇判定執行模式時，常時執行，或是追蹤失敗時執行等。

又，亦可考慮無關於使用者操作，自動啟動主要被攝體判定處理。

進行主要被攝體判定處理所致之效果，係如下所述。

如前述，當攝像者拿著攝像裝置10瞄準被攝體時，要指定主要被攝體之類的操作原本就很困難。又，需要不斷指定的行為是很麻煩的。若自動執行主要被攝體判定，則可解決此種問題，可獲得降低使用者壓力之效果。

又，使用者通常使用的數位靜態相機、行動電話機內建攝影機等，使用者隨身攜帶使用的攝像裝置10，係顯示部34也較為小型，即使使用者在畫面上進行指定主要被攝體的操作，仍難以正確地進行。藉由向本實施形態這樣進行自動判定，也可消除錯誤指定。

又若攝像裝置10自動進行主要被攝體判定，則對使用者而言，只需要拿著攝像裝置10瞄準被攝體，就會執行主要被攝體判定，使用者會感到裝置的聰明感提升，獲得附加價值提升之效果。

又，由於能夠以只要自然地拿著攝像裝置10就能拍攝主角的此一感覺來使用，因此可增加攝像機會、增加對應使用案例，可對使用者提供容易使用的攝像機。

由以上可知，作為手持攝像機，會自動進行主要被攝體判定的本實施形態的攝像裝置10，係為尤其理想。

<4.具體處理例>

〔4-1：處理例1(類型I；判定基準點；先達判定；累積存在)〕

以下，作為控制部30所執行的主要被攝體判定處理的具體例，依序說明處理例1~處理例12。

處理例1係為上述處理類型I的具體例。

而作為候補影像框的位置狀態，係求出與已設定之判定基準點的距離。

又，作為關於各候補影像框的穩定存在度，係算出滿足位置狀態(與判定基準點之距離)是在所定閾值以內此一條件的累積時間資訊。

又，將穩定存在度是從主要被攝體判定開始起最早達到所定值的候補影像，判定為主要被攝體。

在說明具體處理之前，先以圖6、圖7、圖8來分別說明候補影像框、與判定基準點之距離、穩定存在度。

圖6係模式性圖示候補偵測部26所進行的候補影像框的抽出動作。

在圖中係圖示了，藉由攝像裝置10的光學系11、成像器12之動作，而被輸入至數位訊號處理部20的攝像影像訊號的各畫格FR1、FR2、FR3．．．。候補偵測部26，係對如此被依序輸入的連續之各畫格之各者(或間歇性的各畫格)，進行候補影像之偵測。

例如如圖示，針對畫格FR1，若有3人的人存在時，則將各自的臉部影像部分視為候補影像而予以抽出，將關於該候補影像框E1、E2、E3的候補影像框資訊，予以輸出。例如候補影像框E1的候補影像框資訊，係為例如該候補影像框E1在影像內的位置資訊(x、y位置資訊、被攝體距離資訊)、尺寸資訊(框的寬度、高度、像素數)、屬性資訊等。

候補偵測部26，係針對候補影像框E2、E3也會生成此種候補影像框資訊，交付給控制部30(主要被攝體判定部31)。

針對後續的畫格FR2、FR3．．．也同樣如此，候補偵測部26係進行候補影像的抽出，針對各個候補影像框，生成候補影像框資訊而交付給控制部30。

控制部30，係在每次擷取各畫格的候補影像框資訊，就針對各候補影像框算出與判定基準點之距離，來作為位置狀態。

圖7A係圖示了判定基準點SP的例子。此係將影像中央當作判定基準點SP的例子。假設判定基準點SP的xy座標值為(Cx,Cy)。

例如在畫格FR1的時點上，候補影像框E1,E2,E3之各自的候補影像框資訊被擷取時，控制部30，係算出圖示的各候補影像框E1,E2,E3的重心G起至判定基準點SP之距離Diff1、Diff2、Diff3。

此外，判定基準點SP被設在畫面中央係僅為一例。

亦可例如圖7B所示，在比中央偏左上方之位置，設定判定基準點SP。例如在考量靜止影像之構圖時，通常認為在此種非中央之位置上配置主要被攝體係為較佳。

無論如何，如圖7B所示，算出各候補影像框(例如E4、E5)與判定基準點SP之距離(例如Diff4、Diff5)。

判定基準點SP係可像是例如圖7A、圖7B般地設定在固定位置，亦可藉由使用者在顯示畫面上的觸控操作等而任意地指定。又，亦可在顯示部34的畫面上對使用者提示數個判定基準點的候補點，由使用者來選擇。甚至亦可考量，隨著影像內容、影像解析結果等而由控制部30來考慮構圖等然後判定最佳的位置，進行自動設定。

亦即關於判定基準點SP係為：

．在影像中央位置，或從中央偏離之位置等，設定在預先決定的固定位置。

．使用者任意指定。

．向使用者提示數個候補點，由使用者來選擇而設定。

．控制部30隨應於影像內容來判定最佳位置，自動進行可變設定。可考慮這些。

作為關於候補影像框E(n)之位置狀態的距離Diff(n)，係在各畫格的時點上依序求出。

圖8係假設候補影像框E1,E2,E3是持續某期間而存在於畫格(FR1,FR2．．．)內，表示所被算出之距離Diff1、Diff2、Diff3的變動之樣子。

例如，想定攝像者以攝像裝置10，在某段期間中，拍攝3人的被攝體之情形。3人的各人，係各自活動，或是攝像者會移動攝像裝置10的被攝體方向、或是手晃等等，而導致在時間軸上，所被算出之各距離Diff1、Diff2、Diff3係有所變動。

在處理例1中，所謂穩定存在度，係為靠近判定基準點SP之狀態的累積時間。因此「靠近/不靠近」的判定，是使用距離閾值Trs-diff。

圖8的下部係圖示了，距離Diff1、Diff2、Diff3之各時點上的是否在距離閾值Trs-diff以內之判定結果。若距離Diff(n)是距離閾值Trs-diff以下，則認為靠近= 「1」。

將該判定結果「1」在各時點上進行累積加算後的結果，就成為處理例1中的穩定存在度。

從判定開始至判定結束為止的期間，係隨著處理例而不同。在處理例1中，距離閾值Trs-diff以下之判定結果「1」的累積加算值，係為表示至該時點為止的穩定存在之程度的累積時間，但發現了該累積時間到達所定值之候補影像的時點，就是判定結束的時序。

例如在圖8的例子中，候補影像框E3係持續被判定為「1(=靠近判定基準點SP)」，但在該累積加算值到達某所定值的時點上，判定就被結束，候補影像框E3就被判定成主要被攝體。

此外，在處理例1中，持續性係在所不問。例如圖8中的候補影像框E2的距離Diff2，係隨著時點而有「1」「0」之判定，但由於也僅為累積時間，因此當「1」的狀況較多，累積時間是比其他候補影像框更早到達所定值的情況下，候補影像框E2也有可能被判定成主要被攝體。

圖9中說明處理例1的控制部30之主要被攝體判定處理。

控制部30，係一旦開始主要被攝體判定處理，則首先在步驟F100中設定變數TSF=0，並設定計數值Cnt(n)=0。

所謂變數TSF，係為表示主要被攝體是否已經設定的旗標。TSF=「0」係表示主要被攝體尚未判定之狀態。

又，計數值Cnt(n)係為，上述的與距離Diff之距離閾值Trs-diff的比較判定結果之值予以加算的計數器之值。

此外「n」係表示自然數1,2,3．．．，計數值Cnt(n)係如候補影像框E1,E2,E3這樣，對所被偵測出來的候補影像框E(n)，分別設定對應之計數值。例如當真測出3個候補影像框E1,E2,E3時，作為計數值係使用Cnt1、Cnt2、Cnt3。在流程圖的說明上，所謂關於計數值Cnt(n)的處理，係為例如分別以Cnt1、Cnt2、Cnt3為對象之處理，這點請先理解。

又，同樣地，所謂距離Diff(n)，係代表3個候補影像框E1,E2,E3的從判定基準點SP起算之距離Diff1、Diff2、Diff3的總稱，所謂關於距離Diff(n)之處理，係表示例如針對距離Diff1、Diff2、Diff3之各者的處理的意思。

又，候補影像框E(n)係表示候補影像框E1,E2,E3．．．，但其係跨越複數畫格，按照被攝體別而被區別，較為理想。例如若以候補偵測部26抽出臉部為例，則當人物A、人物B、人物C是被攝體的情況下，在各畫格中會共通地，人物A的臉部影像部分係被設成候補影像框E1、人物B的臉部影像部分係被設成候補影像框E2、人物C的臉部影像部分係被設成候補影像框E3。即使在中途的某個畫格時，變成只有人物D是納入被攝體之狀態，人物D的臉部影像部分就會變成候補影像框E4。因此可以設計成，候補偵測部26係不只是單純地偵測出「臉部」而已，還會進行個體(個人)判別。

步驟F101中，控制部30係將來自候補偵測部26的某個畫格的候補影像框資訊，予以擷取。例如針對各候補影像框E(n)，作為位置資訊，會取得影像資料的二維(x-y)座標值的x值、y值、作為尺寸資訊而取得候補影像框的寬度w、高度h之資訊。

此外，在候補影像框資訊中亦可包含，被攝體距離(對上記二維(x-y)座標平面正交之z軸方向之值所表示的、對相機位置的被攝體之相對距離：z值)或像素數等。

在步驟F102中，控制部30係針對各候補影像框E(n)，算出重心G的座標。

例如假設藉由候補影像框資訊，作為候補影像框的x,y座標值，是被賦予了方形之候補影像框的左上頂點之座標值。令該x,y座標值為(E(n)_x,E(n)_y)。又如圖7所示，x,y座標係以畫面平面的左上為原點O(x,y座標值係為(0,0))。

又，令候補影像框E(n)的寬度w為E(n)_w、高度h為E(n)_h。

然後，若令候補影像框E(n)的重心G的座標值為(E(n)_cx,E(n)_cy)，則重心G的座標值係為：E(n)_cx=E(n)_cx+E(n)_w/2

E(n)_cy=E(n)_cy+E(n)_h/2

以此方式而被求出。

在步驟F103中，控制部30係算出從各候補影像框E(n)之重心G至判定基準點SP的距離Diff(n)。判定基準點SP的座標值(Cx,Cy)係藉由：Diff(n)=√{(E(n)_cx-Cx)²+(E(n)_cy-Cy)²}而被求出。

在步驟F104中，控制部30係確認變數TSF。若變數TSF=0則前進至步驟F105。

此外，若主要被攝體判定處理開始後，是常時、持續處理的情況下，則在不要判定時(變數TSF=1時)，會跳過該步驟F104中的處理。在使用者操作或因自動啟動判斷，而在必要時執行圖9的主要被攝體判定處理等情況下，亦可不需要步驟F104。這在後述的處理例2以後也同樣如此。

在步驟F105、F106,F107中，控制部30係確認各候補影像框E(n)的距離Diff(n)是否滿足所定條件。

亦即到判定基準點SP為止的距離Diff(n)，是否靠近判定基準點SP，是使用距離閾值Trs-diff來進行判定。

因此控制部30係在步驟F105中，比較各候補影像框E(n)至判定基準點SP的距離Diff(n)與距離閾值Trs-diff，若Diff(n)<Trs-diff則在步驟F106中設旗標Flg(n)=1(靠近)。又若非Diff(n)<Trs-diff則在步驟F107中設定旗標Flg(n)=0(不靠近)。

接著在步驟F108、F109中，控制部30係算出各候補影像框E(n)的穩定存在度。此情況下，在步驟F108中，針對各候補影像框E(n)，確認是否旗標Flg(n)=1，若旗標Flg(n)=1，則在步驟F109中將計數值Cnt(n)予以增值(+1加算)。若旗標Flg(n)=0，則計數值Cnt(n)係不變更。

該計數值Cnt(n)，係為上述作為累積加算值的穩定存在度之值。亦即，是表示候補影像框E(n)「靠近」於判定基準點SP之狀態之頻率的值。

接著，在步驟F111、F112、F113中，控制部30係使用各候補影像框E(n)的穩定存在度，進行主要被攝體的判定。

控制部30係在步驟F111，確認各候補影像框E(n)的計數值Cnt(n)，是否到達計數閾值CTthr。

若非Cnt(n)≧CTthr，亦即各候補影像框E(n)的計數值Cnt(n)的任一者均未到達計數閾值CTthr，則在步驟F113中維持變數TSF=0，在步驟F114中不結束判定，返回步驟F101。此情況下，基於針對下個畫格而被輸入的候補影像框資訊，和上記同樣地執行步驟F101以後的處理。

此外，步驟F114係為，若變數TSF=0，則認為主要被攝體之判定尚未完成而持續判定處理，若變數TSF=1，則結束主要被攝體判定。

在前述的步驟F104中偵測到變數TSF=1時，就直接結束判定。

雖然省略詳細說明，但亦可與本例的自動主要被攝體判定並行，例如使用者係可將主要被攝體藉由顯示部34的畫面上的觸控操作、或將被攝體在畫面上對合所定位置然後半押快門鈕等之操作，來選擇主要被攝體。在圖9之處理的執行中，使用者進行了此類指定操作時，就讓使用者的操作優先，較為理想。於是，作為此種手動操作而進行主要被攝體設定的情況時，令變數TSF=1。此時，圖9的處理係藉由步驟F104、f114之判斷，來將處理予以結束(中斷結束)即可。

穩定存在度所致之主要被攝體判定，係持續某個時間長而判定，因此若在某程度之時間(畫格數)中，尚未經歷針對候補影像框資訊的處理，則如上述般地步驟F114中不會結束判定而返回步驟F101重複處理。

此處，假設例如圖8所示，某個候補影像框E3係可為非連續，但在複數畫格當中以高頻率而在攝像影像上存在於靠近判定基準點SP之位置的狀態。如此一來隨著時間演進，候補影像框E3的計數值Cnt1的步驟F109中的增值之機會會發生較多，計數值Cnt3是比計數值Cnt1、Cnt2前進的還要快。

如此一來，在某時點上，計數值Cnt3會最先到達計數閾值CTthr。

此種情況下，控制部30係令處理從步驟F111前進至F112。

步驟F112中，控制部30係將計數值Cnt(n)已經到達計數閾值CTthr的候補影像框E(n)判定成主要被攝體，進行主要被攝體設定。然後令變數TSF=1。

此時，步驟F114中就結束判定。亦即例如候補影像框E3是被設定成主要被攝體等等，圖9的主要被攝體判定處理就會結束。

此外，此處理例1係會值續直到變成變數TSF=1為止，但實際上是有設置所定的限制時間，較為適切。亦即從圖9的處理開始時點起經過了所定時間仍無法判定主要被攝體的情況下，則認為沒有主要被攝體，而結束處理。

若依據以上的處理例1，則使用者將主要想拍攝的被攝體，儘可能地靠近影像中央等之判定基準點SP的狀態下，拿著攝像裝置10(追隨被攝體)，該當被攝體就會被自動判定成為主要被攝體。

尤其是處理例1，係以「靠近」於判定基準點SP之狀態的累積時間，來判定穩定存在度。若為處於運動狀況的被攝體、或動物等運動較快的被攝體的情況下，有些時候，攝像者想要把主要之被攝體持續放在影像中央達某程度之時間(例如就算是數秒也好)，是有困難的。又，隨著攝像者的攝像技術，有時候會因為手晃劇烈等等，導致被攝體難以維持在影像中央。即使在這類情況下，仍可藉由使用累積時間，就能比較迅速地進行主要被攝體判定。

因此適合於以運動較快之被攝體為對象時，或是比較不熟練的使用者。

又，主要被攝體判定處理係並非一定要進行一定時間，而是在主要被攝體判定時點上就結束處理，因此隨著被攝體或攝像者的技術，可以迅速地完成主要被攝體判定，還具有如此優點。

〔4-2：處理例2(類型I；判定基準點；先達判定；持續存在)〕

接著，處理例2也是處理類型I的具體例。

又，作為關於各候補影像框的穩定存在度，係算出持續滿足位置狀態(與判定基準點之距離)是在所定閾值以內此一條件的持續時間資訊。

與處理例1的差異點是，穩定存在度係為，靠近於判定基準點SP之狀態的持續時間。將至少持續所定時間(所定畫格)以上、處於靠近於判定基準點SP之狀態的候補影像框，判定成主要被攝體。

圖10中圖示了處理例2。針對與圖10相同的處理，係標示同一步驟編號以避免重複說明。

此外，後述的處理例3~處理例12中也是，在各流程圖中，針對已經說明過的處理，係標示同一步驟編號而省略說明。

該圖10係為對圖9之處理，追加步驟F110而成的例子。

在步驟F108、F109、F110中，控制部30係算出各候補影像框E(n)的穩定存在度。此情況下，在步驟F108中，針對各候補影像框E(n)，確認是否旗標Flg(n)=1，若旗標Flg(n)=1，則在步驟F109中將計數值Cnt(n)予以增值(+1加算)。若旗標Flg(n)=0，則前進至步驟F110，清除計數值Cnt(n)。

和處理例1同樣地，計數值Cnt(n)係為穩定存在度之值。亦即，隨應於候補影像框E(n)是「靠近」於判定基準點SP之狀態被偵測到的事實，計數值會被逐步加算。可是在本處理例2中，係在步驟F110中清除計數值Cnt(n)。

這就意味著，亦即，一旦從判定基準點SP遠離，則將穩定存在度之值歸零。

例如某個候補影像框即使靠近了判定基準點SP，若在某個畫格時變成遠離之狀態，則對應的計數值Cnt(n)就被重置。

因此，各候補影像框E(n)係只要其被攝體是分別持續地處於靠近於判定基準點SP之狀態(距離閾值Trs-diff內)，則穩定存在度之值(計數值Cnt(n))就會逐漸上升。亦即在此處理例2中，計數值Cnt(n)係為表示靠近於判定基準點SP之狀態的「持續時間」。

然後步驟F111中所謂計數值Cnt(n)到達計數閾值CTthr的情形，係指某個候補影像框是滿足了，持續且在相當於計數閾值CTthr的畫格數(時間)，靠近於判定基準點SP之此一條件的情形。

此種情況下，控制部30係使處理從步驟F111前進至F112，控制部30係將計數值Cnt(n)已經到達計數閾值CTthr的候補影像框E(n)判定成主要被攝體，進行主要被攝體設定。然後令變數TSF=1。

其他各步驟的處理係和圖9相同。

此外，此處理例2也是，若從處理開始時點起經過了所定限制時間後仍無法判定主要被攝體的情況下，則可以認為沒有主要被攝體，而結束處理。

若依據以上的處理例2，則使用者將主要想拍攝的被攝體，儘可能地靠近影像中央等之判定基準點SP的狀態下，拿著攝像裝置10(追隨被攝體)，該當被攝體就會被自動判定成為主要被攝體。

尤其是在處理例2中，藉由持續時間來評估是否為穩定的存在。此情況下，若以運動較少的被攝體為對象，則可容易把對象被攝體持續維持在影像中央等，因此能夠正確設定使用者所期望之主要被攝體的可能性較高。又，隨著攝像者的技術，可以將主要想拍攝的被攝體持續維持在畫面中央等(靠近判定基準點SP之位置)，因此能夠正確將攝像者所希望之被攝體判定為主要被攝體的機率較高。亦即，攝像技能純熟者，或隨著被攝體不同，能將使用者期望之被攝體判定為主要被攝體的可能性會更高。

又，主要被攝體判定處理係並非一定要進行一定時間，而是在主要被攝體判定時點上就結束處理，因此隨著被攝體或攝像者的技術，可以迅速地完成主要被攝體判定。

處理例3也是上述處理類型I的具體例，但此處理例3係為上記處理例1的發展例。

作為候補影像框的位置狀態，係求出與已設定之判定基準點的距離。

作為關於各候補影像框的穩定存在度，係算出滿足位置狀態(與判定基準點之距離)是在所定閾值以內此一條件的累積時間資訊。

將穩定存在度是從主要被攝體判定開始起最早達到所定值的候補影像，判定為主要被攝體。

以上係和處理例1相同，但處理例3係可在穩定存在度的算出中，賦予加權。又還附加有，針對複數候補影像框而穩定存在度同時到達所定值時，亦即複數候補影像框被判定為主要被攝體時的對應處理。

圖11中圖示了處理例3。步驟F100~F107係和圖9相同。

在步驟F108、F121、F122、F123中，控制部30係算出各候補影像框E(n)的穩定存在度。

此時，在步驟F108中，針對各候補影像框E(n)，確認是否旗標Flg(n)=1。

若旗標Flg(n)=1，則控制部30係前進至步驟F121，對計數變數OFST代入可變設定值A。可變設定值A係被設定成A>0的值。

若旗標Flg(n)=0，則控制部30係前進至步驟F122，對計數變數OFST代入可變設定值B。可變設定值B係被設定成A≦0的值。

然後任一情況中，控制部30均在步驟F123中，針對穩定存在度之值的計數值Cnt(n)，進行Cnt(n)=Cnt(n)+OFST之演算。

又，針對各候補影像框E(n)，算出平均距離Ave-Diff(n)。

由於可變設定值A>0，因此步驟F108中若旗標Flg(n)=1則穩定存在度之值(計數值Cnt(n))會逐漸上升。

然後步驟F111中所謂計數值Cnt(n)到達計數閾值CTthr的情形，係指某個候補影像框是滿足了，即使是非連續性，但複數畫格當中以高頻率靠近於判定基準點SP之此一條件的情形。

步驟F113、F114的處理係和圖9相同。

又，此處理例3也是，若從處理開始時點起經過了所定限制時間後仍無法判定主要被攝體的情況下，則可以認為沒有主要被攝體，而結束處理。

上記的步驟F108,F121,F122,F123之處理的意義係如以下。

可變設定值A、B，係可由控制部30固定地設定，也可基於使用者指示或應用程式等來設定。或者，進行主要被攝體判定的期間中，隨著畫格數的前進、或經過時間而變化。亦即可變設定值A、B之值，係從該當主要被攝體判定處理來看是可外部設定。

以下，將各種可變設定值A、B的設定例，以(ex1)~(ex7)來說明。

(ex1)：可變設定值A=1、B=0之固定設定的情形

如此一來，圖11的處理係和圖9的處理相同。亦即，在步驟F108中若旗標Flg(n)=1，則計數值Cnt(n)會被增值，若旗標Flg(n)=0則計數值Cnt(n)不被增值而被保留。

(ex2)：可變設定值A=2(或3以上)、B=0之固定設定的情形

例如，通常係為上記(ex1)，但隨應於使用者指示或應用程式之指示，可提高可變設定值A的值。此時，可以使計數值Cnt(n)到達計數閾值CTthr的時間提早。因此在想要比通常更迅速地完成主要被攝體判定時，或以運動較多之被攝體為對象而想要提高主要被攝體判定之反應速度等情況下，係為理想的設定。

(ex3)：可變設定值A=1、B=-1之固定設定的情形

增值係通常地進行，但若旗標Flg(n)=0則將計數值Cnt(n)予以減值的例子。

亦即，當某個候補影像框從判定基準點SP離開時(旗標Flg(n)=0時)，就令穩定存在度減少的處理。

這是基於把儘可能被維持在靠近於判定基準點SP之狀態的被攝體加以重視的思考方式，雖然是接近於上述處理例2的思考方式，但並非限定於持續時間，而是僅以累積時間來做判斷。亦即，使處理例1的穩定存在度的思考方式，接近於處理例2的思考方式。

(ex4)：可變設定值A=1、B=-2(或-3以下)之固定設定的情形

和上記(ex3)相同，但當某個候補影像框從判定基準點SP離開的旗標Flg(n)=0時，就將穩定存在度受到阻礙的程度予以加大的例子。反過來說，將靠近於判定基準點SP的主要被攝體判定的重要度予以提高。

(ex5)：可變設定值A=2(或3以上)、B=-2(或-3以下)之固定設定的情形

是將上記(ex2)和(ex4)的思考方式做復合地適用的處理例。除了將靠近於判定基準點SP的主要被攝體判定的重要度予以提高，還提高了判定回應性。

(ex6)：在判定期間中改變可變設定值A。

例如將圖11的處理被執行的判定期間，從開始時點起以所定時間單位而設定成第1期間、第2期間．．．之分割期間。

然後，以第1期間係為A=1、第2期間係為A=2、第3期間係為A=3等之方式，來改變可變設定值A。

此係為，越往後半前進，靠近於判定基準點SP的價值就越重。

一般當攝像者瞄準被攝體而拿著相機時，無法將最初希望當作主角的被攝體馬上放在中央等之所望位置，攝像者會緩緩調整相機的朝向。若考慮這點，則最初攝像者想要視為「主要被攝體」的被攝體，是會隨著時間演進而被緩緩移到影像中央。

因此，在主要被攝體判定處理的執行中，時間越前進，則靠近於判定基準點SP的價值會變重，能夠成為吻合於攝像者之想法的主要被攝體判定的可能性就會提高。

此外，該(ex6)中的分割期間之設定，或各分割期間的A值係可做多樣考量。反之，隨著攝像情形、環境，以第1期間係為A=3、第2期間係為A=2、第3期間係為A=1等之方式，使可變設定值A緩緩變小地變化，將判定初期就靠近於判定基準點SP的價值予以提高的例子亦可被考量。

例如最初是靜止的被攝體開始運動的時序上，進行主要被攝體判定之情形。

又，分割期間的設定、或如何改變可變設定值A，係亦可讓使用者來選擇。

又，關於該(ex6)的情形的可變設定值B，係可將上記(ex1)~(ex5)、或以下說明的(ex7)之任一者加以組合。

(ex7)：在判定期間中改變可變設定值B。

然後，以第1期間係為B=1、第2期間係為B=2、第3期間係為B=3等之方式，來改變可變設定值A。

此係越往後半前進，從判定基準點SP遠離的重要性(非穩定存在度)就看得越重，此思考方式係和上記(ex6)相同。亦即不被攝像者認為是主要被攝體的被攝體，係越到判定後期，經常就會越從判定基準點SP離開，是基於此一思考方式。這也能夠提高可成為吻合於攝像者之想法的主要被攝體判定的可能性。

此外，該(ex7)中的分割期間之設定，或各分割期間的B值係可做多樣考量。隨著攝像情形、環境，以第1期間係為B=3、第2期間係為B=2、第3期間係為B=1等之方式，使可變設定值B緩緩變小地變化，將判定初期就靠近於判定基準點SP的價值予以提高的例子亦可被考量。

又，分割期間的設定、或如何改變可變設定值B，係亦可讓使用者來選擇。

又，關於該(ex7)的情形的可變設定值A，係可將上記(ex1)~(ex6)之任一者加以組合。

以上雖然是例示，但藉由如此設定可變設定值A、B，就可隨著目的或狀況來進行主要被攝體判定。

此外，在處理例3中，和處理例1同樣地，是使用靠近於判定基準點SP的作為累積時間資訊的計數值Cnt(n)來進行主要被攝體判定，但對該計數值Cnt(n)做加減算的值，係由可變設定值A、B來決定。因此，計數值Cnt(n)係並非累積的「時間」本身，而是不符合條件的時間會被減算，或隨著分割期間而符合條件的權重會有所變化。

如此，計數值Cnt(n)，係有時候無法代表符合靠近於判定基準點SP此一條件的「時間(畫格數)」本身的累積時間，但於各實施形態中，所謂「累積時間」的概念係還包含有如此加入減算或加權之後的累積之時間(或畫格數)。

順便一提，使用可變設定值A的思考方式，係也適用於上述的處理例2。

亦即當上述的圖10中，旗標Flg(n)=1的情況下，在步驟F109中係將計數值Cnt(n)予以增值，但此時，亦可進行Cnt(n)=Cnt(n)+可變設定值A之演算。藉由可變設定值A的設定，係可實現如上記(ex2)(ex6)所述的思考方式的處理。

此外，此時，計數值Cnt(n)，係有時候無法直接代表符合靠近於判定基準點SP此一條件的「時間(畫格數)」本身的「持續時間」，但「持續時間」的概念也是還包含有如此加入減算或加權之後的時間(或畫格數)。

接著在圖11的處理例3中，說明複數候補影像框E(n)的計數值Cnt(n)同時在步驟F111中到達計數閾值CTthr時的步驟F112之處理。

在某個時點上的步驟F111中，複數候補影像框E(n)的計數值Cnt(n)同時到達計數閾值CTthr的情形，當然也要考慮。

此情況下，雖然也可考慮將候補影像框E(n)都判定成主要被攝體，但此處細說明僅將一個候補影像框判定成主要被攝體之情形的例子。

複數候補影像框E(n)的穩定存在度(計數值Cnt(n))同時到達計數閾值CTthr的情況，係考慮在以下的(條件1)~(條件3)中，將一個候補影像框視為主要被攝體。

(條件1)：選擇平均距離Ave-Diff(n)為最小的候補影像框。

計數值Cnt(n)係隨著表示距離Diff(n)是否為距離閾值Trs-diff以下的步驟F105之判定結果「旗標Flg(n)=1」「旗標Flg(n)=0」，而被計數增值/減值。因此計數值Cnt(n)，並非表示絕對距離Diff(n)。

此處，若在步驟F123中求出平均距離Ave-Diff(n)，則在複數候補影像框E(n)當中，判定何者是處於「較為靠近於判定基準點SP之狀態」。

於步驟F123中，平均距離Ave-Diff(n)係可用Ave-Diff(n)=(距離Diff(n)的累積加算值)/(距離Diff(n)的加算次數)而求出。

複數候補影像框E(n)的穩定存在度(計數值Cnt(n))同時到達計數閾值CTthr的情況，係於步驟F112中，將平均距離Ave-Diff(n)最小者，判定成主要被攝體即可。

此外，雖然是以平均距離Ave-Diff(n)來做判定，但當然亦可用距離Diff(n)的累積加算值來做判定。

又，亦可考慮不是使用平均距離，而是使用像是平均而言是否在所定之距離範圍、或平均而言是否在所定之面積範圍的這類指標，來選擇1個候補影像框。

又，亦可使用被攝體距離。例如針對各畫格的候補影像框E(n)的作為被攝體距離之位置(z值)，求出與作為判定基準點SP的z軸方向之位置的差分。然後算出其平均值。係為選擇該被攝體距離差分平均值為最小的候補影像框的例子。

(條件2)：選擇尺寸是所定範圍內之候補影像框。

各候補影像框E(n)，係隨著攝像裝置10與被攝體之距離、或該被攝體本身的大小，而尺寸有所不同。通常攝像者係對主要想拍攝的被攝體，做某程度的變焦調整，或改變自己站立的位置，以將被攝體在影像上的尺寸做適切調整。因此，被攝像者認為是主要被攝體的被攝體，經常在影像上會在某種程度的範圍內。又，較遠的被攝體、攝像者沒有變焦/對焦的被攝體，經常是非常的小、或過大的狀態。

於是，例如對候補影像框的像素數PX，設定判定上限PXmax、判定下限PXmim， PXmax≧PX(n)≧PXmim

設定如此尺寸條件。

複數候補影像框E(n)的穩定存在度(計數值Cnt(n))同時到達計數閾值CTthr的情況，係於步驟F112中，將滿足該尺寸條件者，判定成主要被攝體即可。

此外，尺寸條件係亦可為只有上限的PXmax≧PX(n)，也可為只有下限的PX(n)≧PXmim。

又，亦可並非像素數PX，而是使用候補影像框E(n)的寬度w、高度h來進行尺寸判定。

(條件3)：選擇某時點上的所定之距離範圍內、或最小距離之候補影像框。

在某時點上，將已被判定為靠近於判定基準點SP的候補影像框、或最靠近判定基準點SP的候補影像框，視為主要被攝體。

所謂某個時點，係為例如進入步驟F112之時點的最後的畫格、或主要被攝體判定處理開始之際的最初的畫格、或中間的某個畫格等。

例如，由於攝像者是瞄準被認為是主要的被攝體，因此可以想到，越到最後的時點，攝像者越經常把想做主要用途的被攝體，靠近於判定基準點SP。這和上述的(ex6)等之後半的加權是同樣的思考方式。

於是，複數候補影像框E(n)的穩定存在度(計數值Cnt(n))同時到達計數閾值CTthr的情況，係在步驟F112中，在最後的畫格上，將距離Diff(n)為最小的候補影像框E(n)，判定成主要被攝體即可。

此外，亦可在最後的畫格中，將距離Diff(n)為所定範圍內(亦即距離閾值Trs-diff以下)的候補影像框E(n)，判定成主要被攝體。但是處理例3的情況下，由於計數值Cnt(n)是同時到達計數閾值CTthr時的判定，因此複數候補影像框E(n)係均會滿足該條件，所以在複數當中的選擇上，係無法使用該條件，但如後述的處理例5~處理例12所示，當主要被攝體判定處理必須要執行一定時間之處理時，以該條件做選擇是有效的。

又，有時候不是以最後的畫格，而是以最初的畫格、或中途的畫格等，來選擇所定之距離範圍內、或最小距離的候補影像框，隨應於攝影情況或被攝體等而較為適切。

又，亦可使用被攝體距離。例如針對最後的畫格等特定時點上的候補影像框E(n)的作為被攝體距離之位置(z值)，求出與作為判定基準點SP的z軸方向之位置的差分，選擇該被攝體距離差分值為最小的候補影像框的例子。

以上雖然例示了(條件1)~(條件3)，但當然亦可不是1個條件，而是將(條件1)~(條件3)做組合，而將1個候補影像框選擇成為主要被攝體。又，亦可使用這些以外的條件來進行選擇。

如以上控制部30係在步驟F112中，根據穩定存在度(計數值Cnt(n))而應有複數候補影像框E(n)被判定為主要被攝體的狀況下，使用攝角空間內的候補影像框的位置資訊或尺寸資訊，來選擇一個候補影像，將已選擇之該當候補影像，當作主要被攝體。

藉此，就可將最適切的最適切之主要被攝體，設定一個。

此外，在如此複數當中將1個選擇成為主要被攝體的手法，係在處理例1、2中也能適用。

以上，在圖11中所說明的處理例3中，係可獲得和處理例1同樣的效果，並且藉由可變設定值A、B的設定，可隨著各種狀況來進行適切的主要被攝體判定。

接著，處理例4也是上述處理類型I的具體例，但此處理例4係為上記處理例3的更加發展例。

然後將穩定存在度是從主要被攝體判定開始起最早達到所定值的候補影像，判定為主要被攝體。

以上係和處理例1、處理例3相同，但處理例4係針對穩定存在度的算出，除了距離Diff(n)是否為距離閾值Trs-diff以下之條件以外，還有增加條件的例子。

圖12中圖示了處理例4。步驟F100~F104、F105~F108、F121~F123、F111~F114係和圖11相同。該圖12係為對圖11，追加步驟F130而成。

在步驟F130,F105,F106,F107中，係進行旗標Flg(n)之處理。

此處，在步驟F130中，隨著是否滿足某個條件，處理會被分歧。然後若滿足條件則前進至條件F105，進行距離Diff(n)是否為距離閾值Trs-diff以下之判定。然後以該判定結果而在步驟F106、F107之任一者中，設定旗標Flg(n)。

又，若步驟F130中判定為不滿足條件，則前進至步驟F107，設旗標Flg(n)=0。

亦即針對步驟F130中被判定為不滿足條件的候補影像框E(n)，係無論距離Diff(n)為何均設成旗標Flg(n)=0。

步驟F106、F107的旗標Flg(n)之處理以後，係和圖11相同。

作為步驟F130的條件，係考慮以下例子(條件11)~(條件14)。(條件11)：被攝體距離是所定範圍內。

針對候補影像框E(n)的作為被攝體距離之位置(z值)，求出與作為判定基準點SP的z軸方向之位置的差分。將該被攝體距離差分值是在所定範圍內這件事，當作條件。

(條件12)：尺寸是所定範圍內。

各候補影像框E(n)，係隨著攝像裝置10與被攝體之距離、或該被攝體本身的大小，而尺寸有所不同。和上述處理例3中所說明過的(條件2)同樣的想法，攝像者係對主要想拍攝的被攝體，做某程度的變焦調整，或改變自己站立的位置，以將被攝體在影像上之尺寸做適切調整是很常見的，因此尺寸過小過大的影像，係被推定為不被攝像者認為是主要被攝體。

於是，例如對候補影像框的像素數PX，設定判定上限PXmax、判定下限PXmim，PXmax≧PX(n)≧PXmim

設定如此尺寸條件。此外，尺寸條件係亦可為只有上限的PXmax≧PX(n)，也可為只有下限的PX(n)≧PXmim。

(條件13)：特定的影像種別。

例如雖然也可當作是候補偵測部26的候補影像抽出處理中的條件設定，但當候補偵測部26特別把條件放寬的候補影像予以抽出時，在步驟F130中亦可將候補影像的條件予以縮緊。

例如，藉由使用者之指定，臉部、人體、犬、貓等之影像係為條件。當犬影像被當作條件時，若步驟F130中候補影像框E(n)的種別是臉部影像、人體影像、貓影像等，則判定為不滿足條件，不進行計數值Cnt(n)的增值。

(條件14)：特定的影像狀態。

例如已被抽出之影像本身的亮度資訊、色彩資訊，是在所定範圍、所定顏色等，將這些加入至條件。若為亮度資訊，則影像本身過暗或太亮者，就視為不滿足條件。又，亦可由使用者指定某個顏色，若為該顏色的被攝體則判定為滿足條件。

此外，為了影像狀態之判定，控制部30係只要將候補影像資料本身、或亮度資訊、色彩資訊從候補偵測部26中加以收取即可。

以上雖然例示了(條件11)~(條件14)，但當然亦可不是1個條件，而是將(條件1)~(條件3)做組合，而將1個候補影像框選擇成為主要被攝體。這些以外的條件設定亦為可能。

如以上，控制部30係將候補影像在攝角空間內的位置資訊、或候補影像的尺寸資訊等，用於穩定存在度的算出處理。

藉此，在圖12中所說明的處理例4中，係可獲得和處理例1、3同樣的效果，並且藉由條件設定，使得穩定存在度的算出更為適切，可將攝像者主要認為之主要被攝體，更確切地進行自動判定。

此外，亦可在步驟F112中的最終之主要被攝體判定之際，判定上記(條件11)~(條件14)。亦即在步驟F111中，即使某1個候補影像框E(n)的計數值Cnt(n)到達計數閾值CTthr的情況下，也不理所當然地將其視為主要被攝體，而是若不滿足條件則不判定為主要被攝體，此種處理亦被考量。如此，控制部30係亦可將候補影像在攝角空間內的位置資訊、或候補影像的尺寸資訊等，用於步驟F112中的主要被攝體判定處理。

又如以上所述，向步驟F130這樣對穩定存在度之算出增加條件設定，或對步驟F112中的主要被攝體判定增加條件設定，係在使用持續時間來作為穩定存在度的處理例2中亦可適用。

處理例5也是上述處理類型I的具體例，但此處理例5係和目前為止的處理例1~處理例4不同，是在某一定時間內進行主要被攝體判定的例子。

亦即控制部30，係在某一定之主要被攝體判定期間中，將穩定存在度之值呈最高的候補影像，判定為主要被攝體的處理例。

作為主要被攝體判定，係如上述般地在一定之主要被攝體判定期間裡，選定穩定存在度之值為最高的候補影像。

圖13中圖示了處理例5。

控制部30，係一旦開始主要被攝體判定處理，則首先在步驟F100A中進行初期設定。和處理例1~處理例4的步驟F100同樣地，設定變數TSF=0，並設定計數值Cnt(n)=0。還有在此情況下，為了計數一定之主要被攝體判定期間，而將計時器TM予以重置/開始。

步驟F101~F108、F121~F122係和圖11相同。

此外步驟F123A，係進行計數值Cnt(n)的加減算，設和圖11的步驟F123相同。除此以外，步驟F123A係進行平均值算出。在圖11中係為「平均距離Ave-Diff(n)」的算出，但這裡所謂的「平均值算出」，係不只有平均距離Ave-Diff(n)，而是亦可含包含有表示是否平均地在所定之距離範圍內之值的算出、或表示是否平均地在所定之面積範圍內之值的算出之意思。如前述，這些平均值係為，在最終針對複數複數候補影像框E(n)獲得穩定存在度之值(計數值Cnt(n))為最高的結果時，可為用來選擇1個候補影像框E(n)所用。

在步驟F140中，控制部30，係確認計時器TM之計數值是否到達所定時間TMov。亦即判定，主要被攝體判定處理開始起算的經過時間，是否為所定的時間(一定之主要被攝體判定期間)。

若尚未到達所定時間，則返回步驟F101而持續處理。

若計時器TM之計數值到達所定時間TMov，則控制部30係前進至步驟F141，進行主要被攝體判定。

亦即，確認針對該時點上的各候補影像框E(n)的計數值Cnt(n)，將其呈最大值的候補影像框E(n)，設定成主要被攝體。又，相應於此而令變數TSF=1。然後，結束處理。

亦即該處理例5，係會持續一定時間的穩定存在度算出(計數值Cnt(n)之處理)。然後，在一定時間經過後的時點上，將計數值Cnt(n)為最大的候補影像框E(n)，視為主要被攝體。

此外，在步驟F141之時點上，有時候複數候補影像框E(n)的計數值Cnt(n)係為同數且為最大值。此時，只要藉由上記處理例3所說明過的(條件1)(條件2)(條件3)等來選擇1者即可。進行(條件1)之判定時係可使用在步驟F123A中求出的平均值。

若依據以上的處理例5，則使用者將主要想拍攝的被攝體，儘可能地靠近影像中央等之判定基準點SP的狀態下，拿著攝像裝置10(追隨被攝體)，該當被攝體就會被自動判定成為主要被攝體。

尤其是處理例5，係以「靠近」於判定基準點SP之狀態的累積時間，來判定穩定存在度。若為處於運動狀況的被攝體、或動物等運動較快的被攝體的情況下，有些時候，攝像者想要把主要之被攝體持續放在影像中央達某程度之時間(例如就算是數秒也好)，是有困難的。又，隨著攝像者的攝像技術，有時候會因為手晃劇烈等等，導致被攝體難以維持在影像中央。即使在這類情況下，仍可藉由使用累積時間，就能比較迅速地進行主要被攝體判定。

亦即適合於以運動較快之被攝體為對象時，或是比較不熟練的使用者。

又，主要被攝體判定處理，係為將一定時間內的穩定存在度(計數值Cnt(n))呈最高者加以選擇的處理。因此，即使計數值Cnt(n)的計數增值不怎麼前進的狀態下，仍在一定時間內會進行主要被攝體判定，還有如此優點。例如，到處亂走之被攝體，難以將其捕捉在判定基準點SP之附近的情況下，仍可在一定時間內完成主要被攝體判定。

但是，在針對任何候補影像框E(n)，計數增值都不怎麼前進的狀況下，與其勉強地選定主要被攝體，不如進行不符合之判定，有時候反而比較好。於是，針對計數值Cnt(n)，為了符合於主要被攝體，而亦可附加下限值條件。亦即在步驟F141中，亦可考慮將被選擇為最大的計數值Cnt(n)與下限值Lth進行比較，若Cnt(n)<Lth，則使其不該當於主要被攝體。藉此，就可避免原本就不存在主要被攝體的狀況下，會被決定出主要被攝體的情形。

此外，下限值Lth，係亦可為與處理例1等之計數閾值CTthr同程度的值，也可為更低的值。亦即，藉由考慮設定成為主要被攝體的最低限度之計數值(穩定存在度)，就可在上記的例如到處亂走之被攝體而難以將其捕捉在判定基準點SP之附近的情況下，仍可獲得在一定時間內完成主要被攝體判定此一效果。

處理例6也是處理類型I的具體例。

在此處理例6中，作為候補影像框的位置狀態，係求出與已設定之判定基準點的距離。

又，針對主要被攝體判定，係和處理例5同樣地，在一定之主要被攝體判定期間裡，將穩定存在度之值為最高的候補影像，判定成主要被攝體。

與處理例5的差異點是，穩定存在度係為，靠近於判定基準點SP之狀態的持續時間。亦即，在一定之主要被攝體判定期間內，將持續最長地靠近於判定基準點SP之狀態的候補影像框，判定成主要被攝體。

圖14中圖示了處理例6。

控制部30，係一旦開始主要被攝體判定處理，則首先在步驟F100B中進行初期設定。和處理例5的步驟F100A同樣地，設定變數TSF=0，並設定計數值Cnt(n)=0。又，為了計數一定之主要被攝體判定期間，而將計時器TM予以重置/開始。除此以外，此時，將持續時間保持變數CC(n)予以初期化(=0)。

步驟F101~F107係和圖13相同。

在步驟F108,F121,F123A,F124~F126中，作為穩定存在度的算出處理，係進行計數值Cnt(n)的處理。

控制部30係在步驟F108中，針對各候補影像框E(n)，確認是否旗標Flg(n)=1，若旗標Flg(n)=1，則在步驟F121中對計數變數OFST代入可變設定值A(其中，A>0)。然後控制部30係在步驟F123中，針對穩定存在度之值的計數值Cnt(n)，進行Cnt(n)=Cnt(n)+OFST之演算。亦即將計數值Cnt(n)計數增值了A值。

另一方面，步驟F108中若旗標Flg(n)=0，則控制部30係前進至步驟F124，將此時點的計數值Cnt(n)，與持續時間保持變數CC(n)進行比較。

若CC(n)>Cnt(n)，則在步驟F126中將計數值Cnt(n)予以清除。

若非CC(n)>Cnt(n)，則在步驟F125中，將此時點的計數值Cnt(n)代入至持續時間保持變數CC(n)，然後在步驟F126中將計數值Cnt(n)予以清除。

和目前為止的處理例1~處理例5同樣地，計數值Cnt(n)係為穩定存在度之值。亦即，隨應於候補影像框E(n)是「靠近」於判定基準點SP之狀態被偵測到的事實，計數值會被逐步加算。

另一方面，若候補影像框E(n)被判定為並非「靠近」於判定基準點SP(旗標Flg(n)=0)，則在步驟F126中計數值Cnt(n)係被清除。

這和處理例2中所說明的情形相同，一旦從判定基準點SP遠離，則將穩定存在度之值歸零的意思。

因此，各候補影像框E(n)係只要其被攝體是分別持續地處於靠近於判定基準點SP之狀態，則穩定存在度之值(計數值Cnt(n))會逐漸上升，但若並非持續狀態，則設計數值Cnt(n)=0。因此，計數值Cnt(n)係為表示靠近於判定基準點SP之狀態的「持續時間」。

此時，持續時間保持變數CC(n)係為，將一定之主要被攝體判定期間內的最大之「持續時間」加以保持的值。

因此，當持續時間中斷之際，步驟F124、F125中，持續時間保持變數CC會被更新成最大值。亦即，持續是被中斷的現時點的「持續時間」亦即計數值Cnt(n)，若大於持續時間保持變數CC中所保持的「持續時間」，則計數值Cnt(n)會被代入至持續時間保持變數CC(n)而被更新成最大值。

在步驟F140中，控制部30，係確認計時器TM之計數值是否到達所定時間TMov。若尚未到達所定時間，則返回步驟F101而持續處理。

若計時器TM之計數值到達所定時間TMov，則控制部30係在步驟F127中將此時點的計數值Cnt(n)，與持續時間保持變數CC(n)進行比較。

若非CC(n)>Cnt(n)，則在步驟F128中，將此時點的計數值Cnt(n)代入至持續時間保持變數CC(n)。此步驟F127、F128，係在一定之主要被攝體判定期間結束的時點上，若為持續地靠近於判定基準點SP之狀態、且其係為「持續時間」的最大值時，則是將持續時間保持變數CC(n)予以更新之處理。

然後控制部30係前進至步驟F141，進行主要被攝體判定。

亦即，確認針對該時點上的各候補影像框E(n)的持續時間保持變數CC(n)之值，將其呈最大值的候補影像框E(n)，設定成主要被攝體。又，相應於此而令變數TSF=1。然後，結束處理。

如以上，處理例6係會持續一定時間的穩定存在度算出(計數值Cnt(n)之處理)。然後，在一定時間經過後的時點上，將持續時間保持變數CC(n)所示之持續時間呈最大的候補影像框E(n)，視為主要被攝體。

此外，在步驟F141之時點上，有時候複數候補影像框E(n)的持續時間保持變數CC(n)係為同數且為最大值。此時，只要藉由上記處理例3所說明過的(條件1)(條件2)(條件3)等來選擇1者即可。

又在步驟F141中，也可考慮對持續時間保持變數CC(n)的最大值，進行與下限值Lth之比較，若CC(n)<Lth，則認為不該當於主要被攝體。藉此，就可避免原本就不存在主要被攝體的狀況下，會被決定出主要被攝體的情形。

若依據以上的處理例6，則使用者將主要想拍攝的被攝體，儘可能地靠近影像中央等之判定基準點SP的狀態下，拿著攝像裝置10(追隨被攝體)，該當被攝體就會被自動判定成為主要被攝體。

又，主要被攝體判定處理，係為將一定時間內的穩定存在度(持續時間保持變數CC(n))呈最高者加以選擇的處理。因此，和處理例5同樣地，即使計數值Cnt(n)的計數增值不怎麼前進的狀態下，仍在一定時間內會進行主要被攝體判定，還有如此優點。

再者，處理例6係藉由持續時間來評估穩定存在度。和處理例2同樣地，攝像技能純熟者，或隨著被攝體不同，能將使用者期望之被攝體判定為主要被攝體的可能性會更高。

處理例7也是處理類型I的具體例。

在此處理例7中，作為候補影像框的位置狀態，係求出與已設定之判定基準領域的位置關係。

又，作為關於各候補影像框的穩定存在度，係算出滿足位置狀態(與判定基準領域之關係)是在所定狀態此一條件的累積時間資訊(或持續時間資訊)。

又，關於主要被攝體判定，係和處理例1~處理例4同樣地，將穩定存在度是從主要被攝體判定開始起最早達到所定值的候補影像，加以選擇。

首先針對判定基準領域的位置關係，以圖15來說明。

圖15係圖示了判定基準領域SA的例子。

圖15A係為將影像中央的正方形領域當作判定基準領域SA的例子。此處係圖示了，在某畫格的時點上，候補影像框E1,E2,E3之各自的候補影像框資訊被擷取時的樣子。

所謂各候補影像框E(n)與判定基準領域SA之位置關係，係為例如：

．重心是否進入判定基準領域SA

．全體是否進入判定基準領域SA

．至少一部分是否進入判定基準領域SA

．與判定基準領域外緣的距離是否為所定以內等等。

此外，判定基準領域SA被設在畫面中央係僅為一例。

亦可例如圖15B所示，在比中央偏左上方之位置，設定判定基準領域SA。例如在考量靜止影像之構圖時，通常認為在此種非中央之位置上配置主要被攝體係為較佳。

或是如圖15C所示，亦可將影像全體(畫格全體)視為判定基準領域SA。此時的各候補影像框E(n)與判定基準領域SA之位置關係，就會變成「影像內是否有候補影像存在」。

又，判定基準領域SA的形狀係不限於圖15A的正方形，亦可為圖15B、圖15C的長方形。又，亦可為三角形、五角形以上的多角形、圓形、橢圓形、長圓形、不定形等。

甚至尺寸亦可做多樣考量。

又，判定基準領域SA係可像是例如圖15A、圖15B般地設定在固定領域，亦可藉由使用者在顯示畫面上的觸控操作等而任意地指定。

又，亦可在顯示部34的畫面上對使用者提示數個判定基準領域SA的候補領域，由使用者來選擇。

甚至亦可考量，隨著影像內容、影像解析結果等而由控制部30來考慮構圖等然後判定最佳的領域，進行自動設定。

亦即關於判定基準點SP係為：在影像中央位置，或以從中央偏離之位置等為中心，設定在預先決定的固定之形狀的領域。

．由使用者將中心位置、形狀、尺寸的全部或部分做任意指定。

．向使用者提示數個候補領域，由使用者來選擇而設定。

．控制部30隨應於影像內容來判定最佳領域，自動進行可變設定。可考慮這些。

候補影像框E(n)與判定基準領域SA的位置關係，係在各畫格的時點上求出而使用於穩定存在度(計數值 Cnt(n))的計數。

例如作為各候補影像框E(n)與判定基準領域SA之位置關係，係進行「重心是否進入判定基準領域SA」此一判定。

圖16係圖示，針對候補影像框E1,E2,E3的各畫格中之位置關係、亦即重心是在判定基準領域SA的區域內還是區域外的判定結果之變動的樣子。

在處理例7中，所謂穩定存在度，係為重心進入判定基準領域SA之狀態的累積時間。因此將被判定為落在判定基準領域SA之區域內的次數，以計數值Cnt(n)加以逐一計數。

圖17中說明處理例7的控制部30之主要被攝體判定處理。此外，圖17係為，將上述圖11的處理例3，變更成使用判定基準領域SA之處理的例子。

步驟F100~F102、F104係和圖11相同。

該圖17的情況，係不需要相當於圖11之步驟F103的距離Diff(n)之算出處理。

在步驟F150中，控制部30係確認，各候補影像框E(n)之重心G，是否在判定基準領域SA內。

此處，畫面平面的xy座標的原點O，係如圖15A所示般地是影像左上頂點。

然後，令各候補影像框E(n)的重心G的xy座標值為(E(n)_cx,E(n)_cy)。

又，針對判定基準領域SA係例如設成方形，令判定基準領域SA的左上頂點的xy座標值為(SAx,SAy)，寬為SAw，高為SAh。

如此一來，控制部30係在步驟F150中，針對各候補影像框E(n)之重心G，判定是否為：SAx≦E(n)_cx≦(SAx+SAw)且SAy≦E(n)_cy≦(SAy+SAh)。

若滿足該條件，則候補影像框E(n)之重心G就是在判定基準領域SA內。

控制部30係針對各候補影像框E(n)進行上記判定，若重心G是在判定基準領域SA內則在步驟F106中設定旗標Flg(n)=1(領域內)。又若重心G不被包含在判定基準領域SA內，則步驟F107中設定旗標Flg(n)=0(領域外)。

步驟F108,F121,F122,F123B,F111,F112,F113,F114，基本上係和圖11相同。此外，在步驟F123B中，不進行平均距離算出這點，是和圖11的步驟F123不同。

(虛線所示的步驟F110將於後述)

若依據如此處理例7，則會基於與判定基準領域SA之位置關係，來算出各候補影像框E(n)的穩定存在度。作為穩定存在度，係為滿足位置狀態(與判定基準領域之關係)是處於所定狀態此一條件的累積時間。

然後穩定存在度(累積時間)是從主要被攝體判定開始起最早達到所定值的候補影像，係被判定成主要被攝體。

因此，可獲得和處理例1、處理例3同樣的效果。而且，藉由不是使用判定基準點SP而是使用判定基準領域SA，主要被攝體之判定所需的位置係變寬，隨著攝像環境或被攝體、使用者之攝影技術等，有時候較適合於主要被攝體判定。

此外，亦可為，在步驟F108中若旗標Flg(n)=0，則不執行步驟F122、F123B，如虛線所示般地在步驟F110中將計數值Cnt(n)予以清除。

在採用了於步驟F110中進行清除之處理的情況下，如處理例2所說明，計數值Cnt(n)就不是表示滿足條件(圖17中係為存在於判定基準領域SA內的此一條件)的累積時間，而是表示持續時間。

亦即在採用步驟F110的情形下，圖17的處理就變成，以「持續時間」為穩定存在度的指標，基於此來判定主要被攝體。

此時，可獲得和處理例2同樣的效果。

此外在圖17中，雖然是在步驟F150中進行候補影像框E(n)之重心是否在判定基準領域SA內的此一條件判定，但如上述，亦可將候補影像框E(n)之全體(或部分)是否進入判定基準領域SA的此一條件、或候補影像框E(n)之重心與與判定基準領域外緣的距離是否為所定以內的此一條件，在步驟F150中做判定。

處理例8也是處理類型I的具體例。此係將處理例5，變形成使用判定基準領域SA的例子。

在此處理例8中，作為候補影像框的位置狀態，係求出與已設定之判定基準領域SA的位置關係。

又，作為關於各候補影像框的穩定存在度，係算出滿足位置狀態(與判定基準領域SA之關係)是在所定狀態此一條件的累積時間資訊(或持續時間資訊)。

又，在一定之主要被攝體判定期間裡，將穩定存在度之值為最高的候補影像，判定成主要被攝體。

圖18中說明處理例8的控制部30之主要被攝體判定處理。此外，圖18係為，將上述圖13的處理例5，變更成使用判定基準領域SA之處理的例子。

步驟F100A、F101、F102、F104係和圖11相同。

該圖18的情況，係不需要相當於圖13之步驟F103的距離Diff(n)之算出處理。

在步驟F150中，控制部30係確認，各候補影像框E(n)之重心G，是否在判定基準領域SA內。和之前以圖17說明過的處理相同。

然後，控制部30係針對各候補影像框E(n)，若重心G是在判定基準領域SA內，則在步驟F106中設定旗標Flg(n)=1(領域內)。又若重心G不被包含在判定基準領域SA內，則步驟F107中設定旗標Flg(n)=0(領域外)。

步驟F108,F121,F122,F123B,F140,F141係和圖13相同。此外，在步驟F123B中，不進行平均值算出這點，是和圖13的步驟F123A不同。

若依據此處理例8，則會基於與判定基準領域SA之位置關係，來算出各候補影像框E(n)的穩定存在度。作為穩定存在度，係為滿足位置狀態(與判定基準領域之關係)是處於所定狀態此一條件的累積時間。

然後穩定存在度(累積時間)是從主要被攝體判定開始起在一定時間中呈現最大的候補影像，係被判定成主要被攝體。

因此，可獲得和處理例5同樣的效果。而且，藉由不是使用判定基準點SP而是使用判定基準領域SA，主要被攝體之判定所需的位置係變寬，隨著攝像環境或被攝體、使用者之攝影技術等，有時候較適合於主要被攝體判定。

此外，作為處理例8的變形例，亦可考慮並非累積時間而使以持續時間來求出穩定存在度的例子。

此時的流程圖雖然省略，但只要將圖14的步驟F103予以刪除，取代步驟F105改成執行上述步驟F150之處理即可。

藉由該處理，可獲得和處理例6同樣的效果。

又，無論在使用累積時間的情形、使用持續時間的情形之任一情形下，在步驟F141中，也可考慮對計數值Cnt(n)的最大值，進行與下限值Lth之比較，若Cnt(n)< Lth，則認為不該當於主要被攝體。藉此，就可避免原本就不存在主要被攝體的狀況下，會被決定出主要被攝體的情形。

又，在圖18中，雖然是在步驟F150中進行候補影像框E(n)之重心是否在判定基準領域SA內的此一條件判定，但亦可將候補影像框E(n)之全體(或部分)是否進入判定基準領域SA的此一條件、或候補影像框E(n)之重心與與判定基準領域外緣的距離是否為所定以內的此一條件，在步驟F150中做判定。

〔4-9：處理例9(類型II；判定基準點；平均性存在)〕

說明處理例9。處理例9係為處理類型II的具體例。

然後在此處理例9中，作為候補影像框的位置狀態，係求出與已設定之判定基準點SP的距離。

又，作為關於各候補影像框的穩定存在度，係算出位置狀態(與判定基準點之距離)的平均值(平均距離)。平均距離係為表示，從時間來看以高頻率處於靠近於判定基準點之位置狀態的指標。例如所謂「平均距離之值較小」，係和上述各處理例所述「累積時間較長」的意思相同。

然後，將平均距離為最小，且其係滿足在所定閾值以內此一條件的候補影像框，判定為主要被攝體。

此外，由於是處理類型II，因此主要被攝體判定處理係只要不被使用者操作等中斷，就會執行到候補影像框資訊的緩衝完成之一定時間以上。

圖19中說明處理例9的控制部30之主要被攝體判定處理。

控制部30，係一旦開始主要被攝體判定處理，則首先在步驟F200中設定用來表示主要被攝體設定是否已經完成的旗標亦即變數TSF=0，並設定計數值BfC=0。

又，計數值BfC，係控制部30從候補偵測部26取得候補影像框資訊，針對已算出之各候補影像框E(n)的距離Diff(n)之緩衝次數(畫格數)值加以計數的值。

步驟F201中，控制部30係將來自候補偵測部26的某個畫格的候補影像框資訊，予以擷取。例如針對各候補影像框E(n)，作為位置資訊，會取得影像資料的二維(x-y)座標值的x值、y值、作為尺寸資訊而取得候補影像框的寬度w、高度h之資訊。此外，候補影像框資訊中亦可還含有被攝體距離(z值)或像素數等。

在步驟F202中，控制部30係針對各候補影像框E(n)，算出重心G的座標。係和圖9的步驟F102中所說明之處理相同。

在步驟F203中，控制部30係算出從各候補影像框E(n)之重心G至判定基準點SP的距離Diff(n)。係和圖9的步驟F103中所說明之處理相同。

步驟F204中，控制部30係將步驟F203中所算出的距離Diff(n)，例如在內部記憶體領域中，儲存(緩衝) 在領域Diff(n)〔BfC〕中。

在步驟F205中，控制部30係將計數值BfC予以增值。

步驟F206中，控制部30係判定計數值BfC是否到達相當於一定時間的計數閾值THrTM，若尚未到達則返回步驟F201。

上記步驟F204中的所謂領域Diff(n)〔BfC〕，係將主要被攝體判定處理開始起第(BfC)個擷取到的畫格FR(BfC)中的候補影像框E(n)之資訊加以儲存的領域之意思。

例如最初在步驟F201中擷取到畫格FR(0)的候補影像框資訊之時點，且在該畫格FR(0)中有候補影像框E1、E2、E3存在時，則針對各個候補影像框而在步驟F203中所算出之距離Diff1、Diff2、Diff3，係被儲存在領域Diff(1)〔0〕、Diff(2)〔0〕、Diff(3)〔0〕中。

又接著在步驟F201中所擷取到的畫格FR(1)中，有候補影像框E1、E2、E3存在時，則針對各個候補影像框而在步驟F203中所算出之距離Diff1、Diff2、Diff3，係被儲存在領域Diff(1)〔1〕、Diff(2)〔1〕、Diff(3)〔1〕中。

亦即，步驟F201~F205之處理是在一定時間(THrTM)的期間被重複，藉此，針對畫格FR(0)~畫格(m)之各者的各候補影像框E(n)之距離Diff(n)，係會被緩衝。

若經過一定時間則緩衝就會結束，控制部30係令處理從步驟F206前進至F207。

在步驟F207中，控制部30係針對各候補影像框E(n)，算出平均距離Ave-Diff(n)。

Ave-Diff(n)=(已被緩衝之距離Diff(n)的累積加算值)/(距離Diff(n)的加算次數)

然後，步驟F208中，控制部30係在各候補影像框E(n)的平均距離Ave-Diff(n)之中，判定最小距離MIN〔Ave-Diff(n)〕。會求出平均距離Ave-Diff(n)最小的候補影像框E(n)。

一旦判定了最小距離MIN〔Ave-Diff(n)〕，則控制部30係在步驟F209中，判定該當最小距離MIN〔Ave-Diff(n)〕是否為距離閾值Trs-diff以下。

若最小距離MIN〔Ave-Diff(n)〕是距離閾值Trs-diff以下，則控制部30係令處理前進至步驟F210，將該當最小距離MIN〔Ave-Diff(n)〕候補影像框E(n)，判定為主要被攝體，進行主要被攝體設定。然後令變數TSF=1。

若最小距離MIN〔Ave-Diff(n)〕並非距離閾值Trs-diff以下，則控制部30係令處理在步驟F211中設定變數TSF=0。此時會是找不到主要被攝體的結果。

此外，在實現若至少有候補影像框E(n)存在則必定會決定出主要被攝體之處理的情況時，亦可不要步驟F209，將呈現最小距離MIN〔Ave-Diff(n)〕的候補影像框 E(n)，直接判定成為主要被攝體。

若依據以上的處理例9，則使用者將主要想拍攝的被攝體，儘可能地靠近影像中央等之判定基準點SP的狀態下，拿著攝像裝置10(追隨被攝體)，該當被攝體就會被自動判定成為主要被攝體。

然後一定時間係會取得候補影像框資訊，因此可獲得和處理例5同樣的效果。

此外，當然該處理例9中，有時候會有複數候補影像框是呈最小距離MIN〔Ave-Diff(n)〕。在將1個候補影像框E(n)設定成主要被攝體的情況下，係以處理例3之說明中所述的(條件1)~(條件3)等之手法，來選擇要作為主要被攝體之候補影像框E(n)即可。

又，關於處理類型II的圖5之說明中，說明了步驟F21是在步驟F22判定為積存完成之後才進行。

在進行相當於此之處理時，只要將圖19的步驟F202、F203之處理，在從步驟F206前進至F207之際來加以執行即可。

亦即步驟F204中是將候補影像框資訊本身予以緩衝，各畫格的各候補影像框E(n)的距離Diff(n)，係在緩衝完成後，使用已被緩衝之候補影像框資訊來予以算出之例子。

〔4-10：處理例10(類型II；判定基準點；累積存在)〕

處理例10也是處理類型II的具體例，還使用了判定基準點。作為關於各候補影像框的穩定存在度，係算出滿足位置狀態(與判定基準點之距離)是在所定閾值以內此一條件的累積時間資訊。

然後在進行緩衝的期間中，將穩定存在度之值為最高的候補影像，判定成主要被攝體。

圖20中圖示了處理例10的控制部30之主要被攝體判定處理。

控制部30，係一旦開始主要被攝體判定處理，則首先在步驟F200A中設定變數TSF=0，並設定計數值BfC=0。又，將迴圈控制所需的變數初期化成L=0，然後將相當於穩定存在度的計數值初期化成Cnt(n)=0。

步驟F201~F206係和圖19相同，在一定期間會進行候補影像框資訊的擷取、及各候補影像框E(n)的距離Diff(n)的緩衝。

步驟F206中作為計時器的計數值BfC若到達了計數閾值THrTM，則緩衝就結束，控制部30係令處理從步驟F206前進至F210。

在步驟F210中，控制部30係將領域Diff(n)〔L〕中所被緩衝的距離Diff(n)，予以讀出。

最初因為變數L=0，因此最初在步驟F201中擷取到畫格FR(0)的候補影像框資訊之時點上，被緩衝在領域Diff(n)〔0〕裡的各候補影像框E(n)的距離Diff(n)，會被讀出。

在步驟F211,F212,F213中，控制部30係關於各候補影像框E(n)的距離Diff(n)，判定是否滿足所定條件，亦即使用距離閾值Trs-diff來判定是否靠近於判定基準點SP。

然後若Diff(n)<Trs-diff則在步驟F212中設定旗標Flg(n)=1(靠近)。又若非Diff(n)<Trs-diff則在步驟F213中設定旗標Flg(n)=0(不靠近)。這是和處理例1的步驟F105、F106,F107相同之處理。

在步驟F214,F215,F216,F217中，作為穩定存在度的算出處理，係進行計數值Cnt(n)的處理。

控制部30係在步驟F214中，針對各候補影像框E(n)，確認是否旗標Flg(n)=1，若旗標Flg(n)=1，則在步驟F215中對計數變數OFST代入可變設定值A(其中，A>0)。然後控制部30係在步驟F217中，針對穩定存在度之值的計數值Cnt(n)，進行Cnt(n)=Cnt(n)+OFST之演算。亦即將計數值Cnt(n)計數增值了A值。

又，控制部30係若旗標Flg(n)=0，則在步驟F216中對計數變數OFST代入可變設定值B(其中B≦0)。然後控制部30係在步驟F217中，針對穩定存在度之值的計數值Cnt(n)，進行Cnt(n)=Cnt(n)+OFST之演算。亦即將計數值Cnt(n)計數減值(或保留)了B值。

又在步驟F217中亦進行平均值算出。

以上係和圖11的步驟F108,F121,F123(或圖13的F123A)相同。

在步驟F218中，控制部30係確認變數L是否到達緩衝的計數值BfC。若尚未到達則在步驟F220中將變數L予以增值，返回至步驟F210。

然後接著在步驟F210中，在步驟F201中擷取到畫格FR(1)之候補影像框資訊之時點上，被緩衝在領域Diff(n)〔1〕裡的各候補影像框E(n)的距離Diff(n)，會被讀出。

然後進行步驟F211~F217之處理。

以上的步驟F210~F217係被重複直到步驟F218中變成變數L=BfC為止。藉此，針對已被緩衝之距離Diff(n)的處理，就被執行。

一旦該處理結束，則控制部30係前進至步驟F219，進行主要被攝體判定。

此外，在步驟F219之時點上，若複數候補影像框E(n)的計數值Cnt(n)係為同數且為最大值，則以上記處理例3所說明的(條件1)(條件2)(條件3)等來選擇1個即可。進行(條件1)之判定時係可使用在步驟F127中求出的平均值。

又在步驟F219中，也可考慮對計數值Cnt(n)的最大值，進行與下限值Lth之比較，若Cnt(n)<Lth，則認為不該當於主要被攝體。藉此，就可避免原本就不存在主要被攝體的狀況下，會被決定出主要被攝體的情形。

藉由以上的處理例10，也可獲得和處理例9同樣的效果。

〔4-11：處理例11(類型II；判定基準點；持續存在)〕

處理例11也是處理類型II的具體例，還使用了判定基準點。作為關於各候補影像框的穩定存在度，係算出滿足位置狀態(與判定基準點之距離)是在所定閾值以內此一條件的持續時間資訊。

圖21中圖示了處理例11的控制部30之主要被攝體判定處理。

控制部30，係一旦開始主要被攝體判定處理，則首先在步驟F200B中設定變數TSF=0，並設定計數值BfC=0。又，將迴圈控制所需的變數初期化成L=0，然後將相當於穩定存在度的計數值初期化成Cnt(n)=0。然後將持續時間保持變數CC(n)予以初期化(=0)。

步驟F201~F206係和圖19相同，在一定期間會進行候補影像框資訊的擷取、及各候補影像框E(n)的距離 Diff(n)的緩衝。

步驟F210~F215、F217、F218、F220係和圖20相同。

另一方面，步驟F214中若旗標Flg(n)=0，則控制部30係前進至步驟F224，將此時點的計數值Cnt(n)，與持續時間保持變數CC(n)進行比較。

若CC(n)>Cnt(n)，則在步驟F226中將計數值Cnt(n)予以清除。

若非CC(n)>Cnt(n)，則在步驟F225中，將此時點的計數值Cnt(n)代入至持續時間保持變數CC(n)，然後在步驟F226中將計數值Cnt(n)予以清除。

此步驟F224,F225,F226，係為和圖14的步驟F124,F125,F126相同意思之處理，是將計數值Cnt(n)設成表示持續時間之意思的值。

在步驟F218中，控制部30係確認變數L是否到達緩衝的計數值BfC，若到達了則前進至步驟F227。步驟F227,F228係和圖14的步驟F127,F128相同之處理。

亦即控制部30係在步驟F227中將該時點的計數值Cnt(n)，與持續時間保持變數CC(n)進行比較。若非CC(n)>Cnt(n)，則在步驟F228中，將此時點的計數值Cnt(n)代入至持續時間保持變數CC(n)。

此處理係為，在進行緩衝之期間結束的時點上，某個候補影像框E(n)靠近於判定基準點SP之狀態是持續的情形，且其係為「持續時間」之最大值的情形，是將持續時間保持變數CC(n)予以更新之處理。

然後控制部30係前進至步驟F219，進行主要被攝體判定。

若依據以上的處理例10，則可獲得和處理例6同樣的效果。

〔4-12：處理例12(類型II；判定基準領域；平均性存在)〕

處理例12係為處理類型II的例子，是將處理例9變更成使用判定基準領域SA之處理的例子。

在此處理例12中，作為候補影像框的位置狀態，係求出與已設定之判定基準領域SA的位置關係。

又，作為關於各候補影像框的穩定存在度，係算出滿足位置狀態(與判定基準領域SA之關係)是在所定狀態此一條件的平均時間(累積時間)。

圖22中圖示了處理例12。

步驟F200~F202係和圖19相同。

於緩衝期間中，在步驟F230上，確認各候補影像框E(n)之重心G，是否在判定基準領域SA內。係為和圖17之步驟F150相同之處理。

針對各候補影像框E(n)，若重心G是在判定基準領域SA內，則控制部30係在步驟F231中設定條件充足旗標AR(n)=1。

針對各候補影像框E(n)，若重心G不是在判定基準領域SA內，則控制部30係在步驟F232中設定條件充足旗標AR(n)=0。

步驟F233中，控制部30係將條件充足旗標AR(n)，例如在內部記憶體領域中，儲存(緩衝)在領域AR(n)〔BfC〕中。

在步驟F205中，控制部30係將計數值BfC予以增值。

上記步驟F233中的所謂領域AR(n)〔BfC〕，係將主要被攝體判定處理開始起第(BfC)個擷取到的畫格FR(BfC)中的候補影像框E(n)之資訊加以儲存的領域之意思。

例如最初在步驟F201中擷取到畫格FR(0)的候補影像框資訊之時點，且在該畫格FR(0)中，有候補影像框E1、E2、E3存在時，則針對各個候補影像框而在步驟F230~F232中所被設定的條件充足旗標AR1,AR2,AR3,係被儲存在領域AR(1)〔0〕、AR(2)〔0〕、AR(3)〔0〕中。

又接著在步驟F201中所擷取到的畫格FR(1)中，有候補影像框E1、E2、E3存在時，則針對各個候補影像框而在步驟F230~F232中所被設定的條件充足旗標AR1,AR2,AR3，係被儲存在領域AR(1)〔1〕、AR(2)〔1〕、AR(3)〔1〕中。

亦即，步驟F201~F206之處理是在一定時間(THrTM)的期間被重複，藉此，針對畫格FR(0)~畫格(m)之各者的各候補影像框E(n)的條件充足旗標AR(n)(表示是否位於判定基準領域SA內之資訊)，就會被積存。

若經過一定時間則緩衝就會結束，控制部30係令處理從步驟F206前進至F240。

在步驟F240中，控制部30係針對各候補影像框E(n)，算出判定基準領域SA內的存在確實度。

此存在確實度，係為條件充足旗標AR(n)的平均值Ave〔AR(n)。

平均值(存在確實度)Ave〔AR(n)〕係為： Ave〔AR(n)〕=(針對候補影像框E(n)而被緩衝之條件充足旗標AR(n)的累積加算值)/(AR(n)的加算次數) 即可。

然後，在步驟F241中，控制部30係將各候補影像框E(n)的存在確實度Ave〔AR(n)〕之中的最大值，視為最大確實度MAX〔Ave〔AR(n)〕〕。亦即，會選擇在判定基準領域SA內存在之時間最長的候補影像框E(n)的存在確實度。

一旦判定了最大確實度MAX〔Ave〔AR(n)〕〕，則控制部30係在步驟F242中，判定該當最大確實度MAX〔Ave〔AR(n)〕〕是否為確實度閾值Trs-AR以上。

若最大確實度MAX〔Ave〔AR(n)〕〕是確實度閾值Trs-AR以上，則控制部30係令處理前進至步驟F243，將呈現該當最大確實度MAX〔Ave〔AR(n)〕〕的候補影像框E(n)，判定為主要被攝體，進行主要被攝體設定。然後令變數TSF=1。

若最大確實度MAX〔Ave〔AR(n)〕〕不是確實度閾值Trs-AR以上，則控制部30係將處理在步驟F244中設定變數TSF=0。此時會是找不到主要被攝體的結果。

此外，在實現若至少有候補影像框E(n)存在則必定會決定出主要被攝體之處理的情況時，亦可不要步驟F242，將呈現最大確實度MAX〔Ave〔AR(n)〕〕的候補影像框E(n)，直接判定成為主要被攝體。

若依據以上的處理例12，則使用者將主要想拍攝的被攝體，儘可能地靠近影像中央等之判定基準點SP的狀態下，拿著攝像裝置10(追隨被攝體)，該當被攝體就會被自動判定成為主要被攝體。

然後一定時間係會取得候補影像框資訊，因此可獲得和處理例8同樣的效果。

此外，表示穩定存在度的存在確實度係設為存在於判定基準領域SA內的累積時間的平均值，但亦可使用累積時間本身。

又，亦可不是累積時間，而是將存在於判定基準領域SA內的持續時間為最大的候補影像框，視為主要被攝體。

此時，只要將已被緩衝之條件充足旗標AR(n)是呈「1」的連續畫格數予以計數，將其當作存在確實度使用即可。

又，當然該處理例12中，有時候會有複數候補影像框是呈最大確實度MAX〔Ave〔AR(n)〕〕。在將1個候補影像框E(n)設定成主要被攝體的情況下，係以處理例3 之說明中所述的(條件1)~(條件3)等之手法，來選擇要作為主要被攝體之候補影像框E(n)即可。

在進行相當於此之處理時，只要將圖22的步驟F202~F232之處理，在從步驟F206前進至F240之際來加以執行即可。

亦即步驟F204中是將候補影像框資訊本身予以緩衝，各畫格的各候補影像框E(n)的條件充足旗標AR(n)之設定，係在緩衝完成後，使用已被緩衝之候補影像框資訊來予以算出之例子。

<5.對程式及電腦裝置之適用>

以上說明了影像處理裝置1、攝像裝置10的實施形態，但上述的主要被攝體判定處理，係可藉由硬體來執行，也可藉由軟體來執行。

實施形態的程式係為，令例如CPU(Central Processing Unit)、DSP(Digital Signal Processor)等之演算處理裝置，執行上述之主要被攝體判定處理所需的程式。

亦即該程式係令演算處理裝置執行位置狀態判定處理，其係針對影像資料的複數畫格，取得分別被偵測成為主要被攝體之候補的候補影像加以表示的候補影像資訊，針對上記候補影像資訊所示的候補影像，判定其在攝角空間內的位置狀態。

又，令演算處理裝置執行穩定存在度算出處理，其係從位置狀態判定處理所判定出來的各畫格中的候補影像之位置狀態，針對候補影像，求出跨越複數畫格之影像資料內的穩定存在度。

又，令演算處理裝置執行主要被攝體判定處理，其係使用穩定存在度算出處理所求出的穩定存在度，在候補影像當中判定主要被攝體。

具體而言，實施形態的程式，係只要是令演算處理裝置執行圖2，圖4，圖5中所說明過的處理，還有處理例1~處理例12的程式即可。

藉由此種程式，就可使用演算處理裝置來實現執行上述主要被攝體判定處理的裝置。

此種程式係可預先被記錄在內建於電腦裝置等之機器中的做為記錄媒體之HDD、或具有CPU的微電腦內的ROM等中。

又或者可暫時性或永久性地被儲存(記錄)在軟碟片、CD-ROM(Compact Disc Read Only Memory)、MO(Magnet optical)碟、DVD(Digital Versatile Disc)、藍光碟片、磁碟、半導體記憶體、記憶卡等可移除式記錄媒體中待用。此種可移除式記錄媒體，係可以所謂套裝軟體的方式來提供。

又，此種程式係除了從可移除式記錄媒體安裝至個人電腦等以外，還可從下載網站，透過LAN(Local Area Network)、網際網路等之網路而下載。

又若依據此種程式，則可適合於實施形態之影像處理裝置的廣泛提供。例如，藉由將程式下載至個人電腦、攜帶型資訊處理裝置、行動電話機、遊戲機器、視訊機器、PDA(Personal Digital Assistant)等中，就可使該當攜帶型資訊處理裝置等，變成進行主要被攝體判定處理的本揭露之影像處理裝置。

例如，在如圖23所示的電腦裝置中，就可執行和圖1之影像處理裝置1或攝像裝置10的主要被攝體判定處理相同的處理。

圖23中，電腦裝置70的CPU71，係聽令於ROM72內所記憶之各種程式，或從記憶部78載入至RAM73之程式，而執行各種處理。RAM73中，還適宜地記憶著CPU71在執行各種處理時所必需的資料等。

CPU71、ROM72、及RAM73，係透過匯流排74而彼此連接。該匯流排74，係還連接著輸出入介面75。

輸出入介面75上，係連接著由鍵盤、滑鼠等所成之輸入部76、由CRT(Cathode Ray Tube)或LCD、或有機EL面板等所成之顯示器、以及油揚聲器等所成之輸出部77、由硬碟等所構成之記憶部78、由數據機等所構成之通訊部79。通訊部79，係透過包含網際網路的網路而進行通訊處理。

輸出入介面75上係還因應需要而連接驅動機80；可適宜裝著磁碟、光碟、光磁碟、或者半導體記憶體等之可移除式媒體81，從其中所讀出之電腦程式，是可依照需要而被安裝至記憶部78中。

在以軟體來執行上述的主要被攝體判定處理時，構成該軟體的程式，係可從網路或記錄媒體來安裝。

該記錄媒體，係如圖23所示，是有別於裝置本體，是由用來對使用者配送程式而發佈之、記錄著程式之磁碟(包含軟碟片)、光碟(包含藍光碟片(Blu-ray Disc(註冊商標)、CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc))、光磁碟(包含MD(Mini Disc))、或者是由半導體記憶體等所成之可移除式媒體81所構成。或者，亦可由以預先組裝在裝置本體中之狀態而配送給使用者的記錄有程式之ROM72、或包含在記憶部78裡的硬碟等來構成。

此種電腦裝置70，係藉由通訊部79所致之收訊動作，或驅動機80(可移除式媒體81)或是記錄部78的再生動作等，而輸入了動畫資料之際，CPU71就會基於程式而執行上述候補影像偵測部(3,26)及主要被攝體判定部(2,31)的機能。亦即，藉由執行圖2、圖4、圖5或處理例1~處理例12的處理，就可在所被輸入之影像資料當中，進行主要被攝體判定。

<6.變形例>

上述的實施形態，係可考慮有各種變形例。

尤其是具體的主要被攝體判定處理，還可想定有多樣的例子。

例如候補影像框E(n)的與判定基準點SP的距離Diff(n)，或與判定基準領域SA的位置關係中雖然採用了重心G，但亦可不是重心G。例如亦可為候補影像框E(n)的頂點位置等。

又，候補影像框之形狀，係不限於正方形或長方形，亦可考慮圓形、橢圓形、多角形、不定形狀等。只要隨著候補影像框的形狀，將中心位置或端點位置，用於距離Diff之算出即可。

又，關於候補影像在攝角空間內的位置狀態，在實施形態中係說明為，在作為2維空間的攝角空間中的與判定基準點SP或判定基準領域SA之位置關係，但亦可對畫面平面的2維，加入被攝體距離而成為3維空間座標空間(x-y-z座標空間)的與判定基準點SP或判定基準領域SA之位置關係。

甚至，可將攝角空間想成1維空間，針對候補影像的x座標值，將與判定基準點SP或判定基準領域SA之位置關係(例如距離)，當作針對候補影像的在攝角空間內之位置狀態。當然同樣地，亦可僅針對y座標值、或z座標值，視為與判定基準點SP或判定基準領域SA之位置關係。

又，作為表示穩定存在度的指標，除了符合條件的累積時間或持續時間、平均性存在之值、平均存在確實度之外，還可做多樣考量。例如亦可為符合條件的持續時間之平均值。

甚至亦可將各畫格中的候補影像框之尺寸(像素數)的變動程度等，當作穩定存在度之指標。

又，針對主要被攝體判定處理的結果，亦可對其後所拍攝的已被記錄之靜止影像資料或動畫資料，當作詮釋資料(metadata)而予以附加。亦即將表示主要被攝體之資訊，附加至靜止影像檔案等。

又，亦可設計成，在顯示透視檢視影像、同時進行主要被攝體判定處理的期間中，讓攝像者之操作所致之主要被攝體指定操作成為可能。

主要被攝體指定之操作被進行時，會因此而設定變數TSF=1，由控制部30來中斷結束主要被攝體判定處理，較為合適。

又，在實施形態中，雖然主要想定了靜止影像攝影來說明判定主要被攝體的處理，但即使在動畫攝像所需的待機中、或是動畫攝像及記錄執行中，作為從所拍攝之複數畫格中進行主要被攝體判定的處理，亦可適用上記實施形態之處理。

此外，本技術係亦可採取如下之構成。

(1)一種影像處理裝置，其特徵為，具備：候補偵測部，係針對影像資料的複數畫格，分別偵測出作為主要被攝體之候補的候補影像；和主要被攝體判定部，係針對上記候補偵測部所測出的候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，在候補影像當中判定主要被攝體。

(2)如上記(1)所記載之影像處理裝置，其中，上記主要被攝體判定部係進行：位置狀態判定處理，係針對候補影像，判定攝角空間內的位置狀態；和穩定存在度算出處理，係從上記位置狀態判定處理所判定出來的各畫格中的候補影像之位置狀態，針對候補影像，求出跨越複數畫格之影像資料內的穩定存在度；和主要被攝體判定處理，係使用上記穩定存在度算出處理所求出的穩定存在度，在候補影像當中判定主要被攝體。

(3)如上記(2)所記載之影像處理裝置，其中，上記主要被攝體判定部係判定候補影像相對於被設定在攝角空間內之判定基準點的距離，來作為上記位置狀態。

(4)如上記(3)所記載之影像處理裝置，其中，上記主要被攝體判定部係隨應於操作輸入來設定上記判定基準點。

(5)如上記(2)所記載之影像處理裝置，其中，上記主要被攝體判定部係判定候補影像相對於被設定在攝角空間內之判定基準領域的位置關係，來作為上記位置狀態。

(6)如上記(5)所記載之影像處理裝置，其中，上記主要被攝體判定部係隨應於操作輸入來設定上記判定基準領域。

(7)如上記(2)至(6)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部，係算出上記位置狀態是滿足所定條件的累積時間資訊，來作為上記穩定存在度。

(8)如上記(2)至(6)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部，係算出上記位置狀態是持續滿足所定條件的持續時間資訊，來作為上記穩定存在度。

(9)如上記(1)至(8)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部係將上記穩定存在度是從主要被攝體判定開始起最早達到所定值的候補影像，判定為主要被攝體。

(10)如上記(1)至(8)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部係將上記穩定存在度之值是在主要被攝體判定期間內呈最高的候補影像，判定為主要被攝體。

(11)如上記(1)至(10)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部，係將攝角空間內的候補影像的位置資訊、或候補影像的尺寸資訊，使用於上記穩定存在度的算出處理、或主要被攝體的判定處理中。

(12)如上記(1)至(11)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部，係當根據上記穩定存在度而判定出複數候補影像為主要被攝體的時候，則使用攝角空間內的候補影像的位置資訊或尺寸資訊，來選擇一個候補影像，將已選擇之該當候補影像，當作主要被攝體。

(13)如上記(1)至(12)之任一項所記載之影像處理裝置，其中，上記候補偵測部係將人或動物的臉部或身體之影像，偵測成為作為主要被攝體之候補的候補影像。

1‧‧‧影像處理裝置

2‧‧‧主要被攝體判定部

3‧‧‧候補偵測部

2a‧‧‧位置狀態判定部

2b‧‧‧穩定存在度算出部

2c‧‧‧設定處理部

10‧‧‧攝像裝置

11‧‧‧光學系

12‧‧‧成像器

13‧‧‧光學系驅動部

14‧‧‧感測器部

15‧‧‧記錄部

16‧‧‧通訊部

20‧‧‧數位訊號處理部

21‧‧‧前處理部

22‧‧‧同時化部

23‧‧‧YC生成部

24‧‧‧解析度轉換部

25‧‧‧編碼解碼部

26‧‧‧候補偵測部

30‧‧‧控制部

31‧‧‧主要被攝體判定部

32‧‧‧使用者介面控制器

33‧‧‧使用者介面

34‧‧‧顯示部

35‧‧‧操作部

70‧‧‧電腦裝置

71‧‧‧CPU

72‧‧‧ROM

73‧‧‧RAM

74‧‧‧匯流排

75‧‧‧輸出入介面

76‧‧‧輸入部

77‧‧‧輸出部

78‧‧‧記憶部

79‧‧‧通訊部

80‧‧‧驅動機

81‧‧‧可移除式媒體

〔圖1〕本揭露的實施形態的影像處理裝置的構成例的區塊圖。

〔圖2〕實施形態的影像處理裝置的主要被攝體判定處理的流程圖。

〔圖3〕實施形態的攝像裝置的區塊圖。

〔圖4〕實施形態的主要被攝體判定處理類型I的流程圖。

〔圖5〕實施形態的主要被攝體判定處理類型II的流程圖。

〔圖6〕實施形態的候補影像框與判定基準點的說明圖。

〔圖7〕實施形態的候補影像框與判定基準點之距離的說明圖。

〔圖8〕實施形態的位置狀態所致之穩定存在度判定的說明圖。

〔圖9〕實施形態的處理例1的流程圖。

〔圖10〕實施形態的處理例2的流程圖。

〔圖11〕實施形態的處理例3的流程圖。

〔圖12〕實施形態的處理例4的流程圖。

〔圖13〕實施形態的處理例5的流程圖。

〔圖14〕實施形態的處理例6的流程圖。

〔圖15〕實施形態的候補影像框與判定基準領域的說明圖。

〔圖16〕實施形態的位置狀態所致之穩定存在度判定的說明圖。

〔圖17〕實施形態的處理例7的流程圖。

〔圖18〕實施形態的處理例8的流程圖。

〔圖19〕實施形態的處理例9的流程圖。

〔圖20〕實施形態的處理例10的流程圖。

〔圖21〕實施形態的處理例11的流程圖。

〔圖22〕實施形態的處理例12的流程圖。

〔圖23〕實施形態在電腦裝置上之適用時的區塊圖。

1‧‧‧影像處理裝置

2‧‧‧主要被攝體判定部

3‧‧‧候補偵測部

2a‧‧‧位置狀態判定部

2b‧‧‧穩定存在度算出部

2c‧‧‧設定處理部

Dg‧‧‧影像資料

Dm‧‧‧主要被攝體資訊

Claims

一種影像處理裝置，其特徵為，具備：候補偵測部，係針對影像資料的複數畫格，分別偵測出作為主要被攝體之候補的候補影像；和主要被攝體判定部，係針對上記候補偵測部所測出的候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，在候補影像當中判定主要被攝體。
如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部係進行：位置狀態判定處理，係針對候補影像，判定攝角空間內的位置狀態；和穩定存在度算出處理，係從上記位置狀態判定處理所判定出來的各畫格中的候補影像之位置狀態，針對候補影像，求出跨越複數畫格之影像資料內的穩定存在度；和主要被攝體判定處理，係使用上記穩定存在度算出處理所求出的穩定存在度，在候補影像當中判定主要被攝體。
如請求項2所記載之影像處理裝置，其中，上記主要被攝體判定部係判定候補影像相對於被設定在攝角空間內之判定基準點的距離，來作為上記位置狀態。
如請求項3所記載之影像處理裝置，其中，上記主要被攝體判定部係隨應於操作輸入來設定上記判定基準點。
如請求項2所記載之影像處理裝置，其中，上記主要被攝體判定部係判定候補影像相對於被設定在攝角空間內之判定基準領域的位置關係，來作為上記位置狀態。
如請求項5所記載之影像處理裝置，其中，上記主要被攝體判定部係隨應於操作輸入來設定上記判定基準領域。
如請求項2所記載之影像處理裝置，其中，上記主要被攝體判定部，係算出上記位置狀態是滿足所定條件的累積時間資訊，來作為上記穩定存在度。
如請求項2所記載之影像處理裝置，其中，上記主要被攝體判定部，係算出上記位置狀態是持續滿足所定條件的持續時間資訊，來作為上記穩定存在度。
如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部係將上記穩定存在度是從主要被攝體判定開始起最早達到所定值的候補影像，判定為主要被攝體。
如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部係將上記穩定存在度之值是在主要被攝體判定期間內呈最高的候補影像，判定為主要被攝體。
如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係將攝角空間內的候補影像的位置資訊、或候補影像的尺寸資訊，使用於上記穩定存在度的算出處理、或主要被攝體的判定處理中。
如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係當根據上記穩定存在度而判定出複數候補影像為主要被攝體的時候，則使用攝角空間內的候補影像的位置資訊或尺寸資訊，來選擇一個候補影像，將已選擇之該當候補影像，當作主要被攝體。
如請求項1所記載之影像處理裝置，其中，上記候補偵測部係將人或動物的臉部或身體之影像，偵測成為作為主要被攝體之候補的候補影像。
一種影像處理方法，其特徵為，針對影像資料的複數畫格，分別偵測出作為主要被攝體之候補的候補影像；針對已被偵測出來的候補影像，求出跨越複數畫格之影像資料內的穩定存在度；使用該穩定存在度，在候補影像當中判定主要被攝體。
一種程式，其特徵為，係令演算處理裝置執行：位置狀態判定處理，係針對影像資料的複數畫格，分別被偵測成為主要被攝體之候補的候補影像，判定其在攝角空間內的位置狀態；和穩定存在度算出處理，係從上記位置狀態判定處理所判定出來的各畫格中的候補影像之位置狀態，針對候補影像，求出跨越複數畫格之影像資料內的穩定存在度；和主要被攝體判定處理，係使用上記穩定存在度算出處理所求出的穩定存在度，在候補影像當中判定主要被攝體。