TW201345242A - 影像處理裝置、影像處理方法、程式 - Google Patents

影像處理裝置、影像處理方法、程式 Download PDF

Info

Publication number
TW201345242A
TW201345242A TW102107666A TW102107666A TW201345242A TW 201345242 A TW201345242 A TW 201345242A TW 102107666 A TW102107666 A TW 102107666A TW 102107666 A TW102107666 A TW 102107666A TW 201345242 A TW201345242 A TW 201345242A
Authority
TW
Taiwan
Prior art keywords
image
main subject
motion
vector
local
Prior art date
Application number
TW102107666A
Other languages
English (en)
Inventor
Masaya Kinoshita
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201345242A publication Critical patent/TW201345242A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

[課題]在攝像影像之中，自動判定出主要被攝體。[解決手段]偵測出表示影像全體之運動的全域運動，又偵測出表示影像中各領域之運動的本地運動。然後，基於全域運動與本地運動來判定主要被攝體。例如藉由比較，在各領域當中，基於本地運動是相對於全域運動而被判定為非類似之領域的偵測結果，來判定主要被攝體。

Description

影像處理裝置、影像處理方法、程式
本揭露係進行判定影像內之主要被攝體之相關處理的影像處理裝置、影像處理方法、及程式。
近年來的數位靜態相機、數位視訊攝影機係標準配備有臉部偵測機能，搭載有可配合臉部位置‧領域來將相機的各種參數(焦點、亮度等)做最佳調整的機能。
另一方面，在攝像影像內，藉由使用者指定而選擇被攝體追蹤之目標的「主要被攝體」之手法，係被記載於專利文獻1。
又，若採用例如專利文獻2,3,4所揭露之技術，則可實現將任意被攝體的全身以框框圍繞的被攝體追蹤。
又，自動對焦、自動曝光等，係為偵測、追蹤攝像影像內的所望領域，控制光學系等使其最適於該領域，此種機能也已經存在。
像這些在攝像影像內，由使用者指定主要被攝體，而追蹤例如臉部等之影像領域、或對臉部領域做對焦等等的技術，已為人知。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2011-166305號公報
[專利文獻2]日本特開2011-146826號公報
[專利文獻3]日本特開2011-146827號公報
[專利文獻4]日本特開2011-160379號公報
順便一提，在攝像影像內，作為追蹤或對焦之標的的所望領域、亦即「主要被攝體」，在現況下係為，從各種偵測器所獲得之「複數候補領域」之中，由攝像者自己以某種方法來選擇一個候補而被決定。
例如在拿持相機的狀態下，從畫面顯示的透視檢視影像(快門操作時點以外所被顯示之被攝體的監視影像)上所映出的複數臉部之中，藉由觸控面板來選擇任意之臉部，是以此種行為來選定主要被攝體。或者是將在使用者指定的時序(快門半押等)上存在於所定領域內的被攝體，當作主要被攝體。
然而，若在實際的使用案例中考量此種使用者介面，「攝像者所做的主要被攝體之選擇」此一行為本身經常是有困難的。
例如為了想要對到處亂走之被攝體持續對焦而欲使用 該機能，使用者必須架好相機瞄準被攝體，同時以手指來進行選擇，這件事情本身就有難度。
又例如，對於被攝體的變化(移動)，因為使用者的反應速度，導致指定困難的情形也會發生。例如有時候在透視檢視影像之畫面上，沒有辦法順利指定到處亂走之被攝體。
又，原本用手拿持相機，朝向被攝體然後選定被攝體的此種狀況下，使用者在畫面上用手指來指定主要被攝體這個行為本身就是有難度的。尤其在追蹤被攝體的此種狀況，例如使用者令相機進行橫搖或縱搖之運動而改變攝像方向的狀況下，要選擇主要被攝體是幾乎不可能的。
又，有時因為配設觸控面板的顯示畫面的解析度的緣故，對使用者而言，被攝體是難以選擇的。
又，有時候會因為配設觸控面板的顯示畫面上的被攝體尺寸與使用者手指的大小(粗細)，而導致無法適切指定所望被攝體。
又，也有時候會因為相機系統上的時間落差，例如實際的光景與攝像畫面之透視檢視影像的時間落差，而導致使用者難以適切指定被攝體。
甚至在動畫攝像‧記錄中要進行該操作時，因為主要被攝體之選擇行為而造成畫面搖晃但仍然被記錄進去，或因為跑出畫面外或是暫時遮蔽等等導致追蹤消失(失敗)時，會有強制要求使用者進行再選擇之行為的狀況。
像這樣，在掌中型的攝像機中，主要被攝體選擇行為本身，在必要的許多使用案例下是有困難的，會導致對攝像者帶來壓力。
於是，本揭露之目的在於實現一種技術，不必讓攝像者等之使用者刻意進行選擇被攝體之行為，仍可將使用者所追求的對象被攝體判定為主要被攝體。
本揭露之影像處理裝置係具備：全域運動偵測部，係偵測出表示影像全體之運動的全域運動；和本地運動偵測部，係偵測出表示影像中的各領域之運動的本地運動；和主要被攝體判定部，係基於上記全域運動與上記本地運動來判定主要被攝體。
本揭露之影像處理方法，係偵測出表示影像全體之運動的全域運動；偵測出表示影像中的各領域之運動的本地運動；基於上記全域運動與上記本地運動來判定主要被攝體。
本揭露之程式，係為令演算處理裝置執行這些各處理的程式。
若依據這些本揭露的技術，則會針對影像資料自動進行判定主要被攝體的主要被攝體判定處理。表示影像全體之運動的全域運動，係攝像時之攝像裝置、與影像中所呈現之被攝體全體之間的相對性運動。另一方面，所謂表示影像中的各領域之運動的本地運動，係攝像時之 攝像裝置、與影像中所呈現之各被攝體(影像內的各領域的被攝體影像)的相對性運動。
例如當使用者架好攝像裝置而瞄準想要當作攝像目標的被攝體時，會配合該當被攝體之運動而逐漸改變攝像方向。因此，被使用者認為主要被攝體的被攝體，係在跨越複數畫格的影像內，在畫面上的運動(與攝像裝置之間的相對性運動)較小者。另一方面，由於攝像方向改變，因而影像全體之運動、亦即全域運動係較大。亦即，使用者之目的的被攝體會出現的影像內之領域的本地向量，係與全域向量大幅不同。
藉由此種本地向量與全域向量之差異，可以推定出使用者認為是主要或是主角的被攝體，藉此可以使得自動的主要被攝體判定成為可能。
若依據本揭露，則由於在攝像影像內自動判定主要被攝體，因此攝像者等之使用者就不需要進行選擇主要被攝體的行為。因此可提升使用者的操作性、便利性。例如將搭載本揭露之影像處理裝置的攝像裝置拿在手中進行攝像時的操作性的提升、使用者壓力的減輕、還有自動判定主要被攝體所帶來的各種機能之實現等等，可實現產品附加價值提升。
1‧‧‧影像處理裝置
2‧‧‧主要被攝體判定部
3‧‧‧本地運動偵測部
4‧‧‧全域運動偵測部
10‧‧‧攝像裝置
11‧‧‧光學系
12‧‧‧成像器
13‧‧‧光學系驅動部
14‧‧‧感測器部
15‧‧‧記錄部
16‧‧‧通訊部
20‧‧‧數位訊號處理部
21‧‧‧前處理部
22‧‧‧同時化部
23‧‧‧YC生成部
24‧‧‧解析度轉換部
25‧‧‧編解碼器部
27‧‧‧運動向量偵測部
28‧‧‧候補偵測部
30‧‧‧控制部
30a‧‧‧主要被攝體判定部
32‧‧‧UI控制器
33‧‧‧使用者介面
34‧‧‧顯示部
35‧‧‧操作部
51‧‧‧本地向量取得部
52‧‧‧全域向量取得部
53‧‧‧領域個別比較部
54‧‧‧最終判定部
55‧‧‧位置狀態判定部
56‧‧‧穩定存在度算出部
57‧‧‧動作狀態判定部
58‧‧‧候補偵測部
70‧‧‧電腦裝置
71‧‧‧CPU
72‧‧‧ROM
73‧‧‧RAM
74‧‧‧匯流排
75‧‧‧輸出入介面
76‧‧‧輸入部
77‧‧‧輸出部
78‧‧‧記憶部
79‧‧‧通訊部
80‧‧‧驅動機
81‧‧‧可移除式媒體
[圖1]本揭露的實施形態的影像處理裝置的構成例的區塊圖。
[圖2]實施形態的影像處理裝置的主要被攝體判定處理的流程圖。
[圖3]實施形態的攝像裝置的區塊圖。
[圖4]第1實施形態的主要被攝體判定部之機能構成的區塊圖。
[圖5]實施形態的運動向量偵測的說明圖。
[圖6]實施形態的向量非類似旗標與時間穩定度判定旗標的說明圖。
[圖7]實施形態的主要被攝體判定動作的說明圖。
[圖8]實施形態的主要被攝體判定動作的說明圖。
[圖9]第1實施形態的主要被攝體判定處理的流程圖。
[圖10]第1實施形態的最終判定處理的流程圖。
[圖11]第2實施形態的主要被攝體判定部之機能構成的區塊圖。
[圖12]第2實施形態的判定模式設定處理的流程圖。
[圖13]第2實施形態中所使用的穩定存在度判定模式下的主要被攝體判定處理的流程圖。
[圖14]實施形態的候補影像框與判定基準點的說明圖。
[圖15]實施形態的候補影像框與判定基準點之距離的說明圖。
[圖16]實施形態的位置狀態所致之穩定存在度判定的說明圖。
[圖17]實施形態的穩定存在度判定模式下的主要被攝體判定處理的詳細流程圖。
[圖18]第3實施形態的主要被攝體判定部之機能構成的區塊圖。
[圖19]第3實施形態的主要被攝體判定處理的流程圖。
[圖20]實施形態在電腦裝置上之適用時的區塊圖。
以下，按照如下順序來說明實施形態。
<1.影像處理裝置之構成>
<2.攝像裝置之構成>
<3.主要被攝體判定機會/目的等>
<4.第1實施形態>
<5.第2實施形態>
<6.第3實施形態>
<7.對程式及電腦裝置之適用>
<8.變形例>
<1.影像處理裝置之構成>
圖1係圖示了實施形態的影像處理裝置的構成例。
影像處理裝置1係具有：主要被攝體判定部2、本地運動偵測部3、全域運動偵測部4。
本地運動偵測部3，係從被當成影像資料Dg而被依序輸入的畫格影像，偵測出表示影像中的各領域之運動的本地運動。例如，將1畫格的影像全體，分割成複數領域，針對各領域，從畫格間差分，偵測出該領域的被攝體之運動的資訊。所謂本地運動，係攝像時之攝像裝置、與影像中所呈現之各被攝體(影像內的各領域的被攝體)的相對性運動。
所謂此種表示關於各領域之相對性運動的本地運動之資訊，係為例如運動向量(方向及量(純量))之資訊，或運動方向之資訊、運動量之資訊等。
然後，本地運動偵測部3係將針對各領域的此種運動之資訊，當作本地運動之資訊而逐次供給至主要被攝體判定部2。
全域運動偵測部4，係偵測出表示影像全體之運動的全域運動。所謂全域運動，係指攝像時之攝像裝置、與影像中所呈現之被攝體全體的相對性運動。作為此種表示影像全體之相對性運動的全域運動之資訊，也是隨應於本地運動之資訊的，例如運動向量(方向及量(純量))之資訊，或運動方向之資訊、運動量之資訊等。
全域運動之資訊，係可藉由使用了例如畫面之各領域之本地運動的演算處理，來加以偵測。
又，當此影像處理裝置1被搭載於攝像裝置時，係亦可從偵測攝像裝置本身之運動的感測器(例如角速度感測器、加速度感測器等)之資訊，生成全域運動之資訊。再者即使當影像處理裝置1是被搭載於在攝像時與攝像裝置連接之機器上的情況下，同樣地藉由將偵測攝像裝置本身之運動的感測器的資訊予以輸入，亦可生成全域運動之資訊。亦即，即使不使用本地運動，仍可獲得全域運動之資訊。
然後，全域運動偵測部4係將全域運動之資訊，逐次供給至主要被攝體判定部2。
主要被攝體判定部2，係基於全域運動與本地運動，來進行主要被攝體判定處理。
例如，主要被攝體判定部2係將各領域的本地運動之資訊，分別與全域運動之資訊進行比較。然後，將本地運動相對於全域運動之資訊的差異較大的領域，推定為主要被攝體出現的領域，將該領域之影像(被攝體)，判定為主要被攝體。
然後，主要被攝體判定部2係輸出主要被攝體資訊Dm來作為判定結果。
此外，具有以上之主要被攝體判定部2、本地運動偵測部3、全域運動偵測部4的影像處理裝置1，係可用作為演算處理裝置的CPU(Central Processing Unit)或DSP(Digital Signal Processor)來實現。
又，亦可考慮以CPU等來實現主要被攝體判定部2 之機能，以與CPU連接之影像處理用DSP等，來實現本地運動偵測部3、全域運動偵測部4之機能。
此影像處理裝置1的主要被攝體判定部2所做的主要被攝體判定處理之流程，係如圖2所示。
主要被攝體判定部2，係在步驟F1中，取得全域運動之資訊。亦即，將全域運動偵測部4所測出之全域運動之資訊，予以擷取。
又，主要被攝體判定部2，係在步驟F2中，取得本地運動之資訊。亦即，將本地運動偵測部3所測出之針對影像之各領域的本地運動之資訊，予以擷取。
步驟F3中，主要被攝體判定部2係將各領域的本地運動之資訊與全域運動之資訊，進行比較。
在步驟F4中，主要被攝體判定部2係使用上記比較結果，來判定主要被攝體。
作為判定守法，係可考慮例如以下的例子。
‧將本地運動是與全域運動最為相異之領域的被攝體，當作主要被攝體。
‧將本地運動相對於全域運動呈所定值以上相異的1或複數個領域予以抽出，將已抽出之1或複數個領域中的各被攝體，當作1或複數個主要被攝體。
‧將本地運動相對於全域運動呈所定值以上相異的1或複數個領域予以抽出，將從已抽出之1或複數個領域所選擇之領域的被攝體，當作主要被攝體。
‧將本地運動相對於全域運動呈所定值以上相異的1 或複數個領域予以抽出，將從已抽出之1或複數個領域中所抽出的1或複數個被攝體，當作1或複數個主要被攝體。
‧將本地運動相對於全域運動呈所定值以上相異的1或複數個領域予以抽出，將從已抽出之1或複數個領域中所抽出的1或複數個被攝體當中已選擇之被攝體，當作主要被攝體。
‧持續進行步驟F1、F2的全域運動之資訊與本地運動之資訊的偵測，將藉由時間條件而穩定地被判斷為本地運動是與全域運動最為非類似之領域的被攝體，當作主要被攝體。
‧持續進行步驟F1、F2的全域運動之資訊與本地運動之資訊的偵測，將藉由時間條件而穩定地被判斷為本地運動是與全域運動非類似之1或複數個領域的被攝體，當作主要被攝體。
‧持續進行步驟F1、F2的全域運動之資訊與本地運動之資訊的偵測，將藉由時間條件而穩定地被判斷為本地運動是與全域運動非類似之1或複數個領域當中已選擇之領域的被攝體，當作主要被攝體。
‧持續進行步驟F1、F2的全域運動之資訊與本地運動之資訊的偵測，將藉由時間條件而穩定地被判斷為本地運動是與全域運動非類似之1或複數個領域中所抽出的1或複數個被攝體，當作1或複數個主要被攝體。
‧持續進行步驟F1、F2的全域運動之資訊與本地運 動之資訊的偵測，將藉由時間條件而穩定地被判斷為本地運動是與全域運動非類似之1或複數個領域中所抽出的1或複數個被攝體當中已選擇之被攝體，當作主要被攝體。
判定手段係亦可考慮其他，但例如若以這些手法來判定主要被攝體，則主要被攝體判定部2係在步驟F5中，將主要被攝體資訊Dm交付給應用程式等。
在應用程式等中，會進行相應於被設定成主要被攝體之影像是已被特定的處理。例如焦點控制、追蹤處理、影像效果處理等。
如以上，影像處理裝置1所進行的主要被攝體判定處理，會被進行。
關於此主要被攝體判定處理，係使用本地運動之資訊與全域運動之資訊的比較結果來進行主要被攝體判定。例如，架好相機的攝像者，瞄準目標而使攝像方向移動時，攝像裝置、與該目標被攝體的相對性運動會較小。這是因為，例如攝像者係為了使想要當作目標之被攝體停留再影像內，而隨應於被攝體的運動來進行橫搖或縱搖等，改變攝像裝置之攝像方向。
如此一來，無論影像全體的全域運動是否很大，在使用者欲當作目標之被攝體的領域中，本地運動都會是很小的狀態。藉由此種運動資訊之差異，就可推定使用者意圖視為目標的被攝體。因此，不必依賴使用者的手動操作，就可自動地進行主要被攝體判定。亦即，主要被攝體會被自動判定，藉由在隨應於主要被攝體設定而進行動作的各 種電子機器中搭載圖1的影像處理裝置1，就可大幅提升使用者的操作性。
<2.攝像裝置之構成>
以下舉出內建有如上述之影像處理裝置的攝像裝置10為例子，詳細說明主要被攝體判定動作。
實施形態的攝像裝置10的構成例，示於圖3。此攝像裝置10係為所謂數位靜態相機或數位視訊攝影機，是進行靜止影像或動畫之攝像/記錄的機器，是內建有請求項所述之影像處理裝置。
如圖3所示，攝像裝置10係具有：光學系11、成像器12、光學系驅動部13、感測器部14、記錄部15、通訊部16、數位訊號處理部20、控制部30、使用者介面控制器(以下簡稱「UI控制器」)32、使用者介面33。
光學系11係具備護蓋透鏡、變焦透鏡、對焦透鏡等之透鏡或光圈機構。藉由該光學系11，來自被攝體的光線就被聚光在成像器12。
成像器12係有例如CCD(Charge Coupled Device)型、CMOS(Complementary Metal OxideSemiconductor)型等之攝像元件。
在該成像器12中，針對攝像元件上進行光電轉換所得之電性訊號，執行例如CDS(Correlated Double Sampling)處理、AGC(Automatic Gain Control)處理等，然 後進行A/D(Analog/Digital)轉換處理。然後將成為數位資料的攝像訊號，輸出至後段的數位訊號處理部20。
光學系驅動部13，係基於控制部30的控制， 驅動光學系11的對焦透鏡，執行對焦動作。又，光學系驅動部13，係基於控制部30的控制，驅動光學系11的光圈機構，執行曝光調整。再者，光學系驅動部13，係基於控制部30的控制，驅動光學系11的變焦透鏡，執行變焦動作。
數位訊號處理部20，係藉由例如DSP等而以影像處理器的方式而被構成。該數位訊號處理部20係對來自成像器12的數位訊號(攝像影像訊號)，實施各種訊號處理。
例如數位訊號處理部20係具備：前處理部21、同時化部22、YC生成部23、解析度轉換部24、編碼解碼部25、候補偵測部26、運動向量偵測部27。
前處理部21係對來自成像器12的攝像影像 訊號，實施將R,G,B之黑位準箝制成所定位準的箝制處理、R,G,B之色彩通道間的補正處理等。
同時化部22，實施去馬賽克處理，以使得各像素的影像資料是具有R,G,B的所有顏色成分。
YC生成部23係從R,G,B之影像資料，生成(分離)亮度(Y)訊號及色彩(C)訊號。
解析度轉換部24，係對施行過各種訊號處理的影像資料，執行解析度轉換處理。
編碼解碼部25，係針對已被解析度轉換的影像資料，進行例如記錄用或通訊用的編碼處理。
運動向量偵測部27，係進行上述的本地運動 之資訊之一例的本地向量偵測。又，在此運動向量偵測部27中，係進行本地向量偵測和上述全域運動之資訊之一例的全域向量偵測。
運動向量偵測部27之動作，詳細會在後述的第1實施形態的說明中描述，但此運動向量偵測部27係例如，以YC生成部23所得之攝像影像訊號(亮度訊號/色彩訊號)為對象，進行各畫格單位的影像解析處理，求出將畫面複數分割而成的各區域的運動向量(本地向量)。又，有時候會從本地向量，求出影像全體的向量(全域向量)。
運動向量偵測部27，係將畫面分割之各領域的本地向量、或各領域的本地向量與全域向量，為了主要被攝體判定處理所需，交付給控制部30的主要被攝體判定部30a。
此外，在此圖3的例子中雖然是將運動向量偵測部27設計成被數位訊號處理部20所執行的機能構成，但這當然僅為一例，亦可考慮由控制部30中的主要被攝體判定部30a來執行運動向量偵測部27之處理。
候補偵測部28，係在採用後述的第2、第3 實施形態時，所被設置的機能構成。
在此圖3的例子中雖然是將候補偵測部28設計成由數位訊號處理部20所執行的機能構成，但這僅為一例， 亦可藉由控制部30中的主要被攝體判定部30a來執行候補偵測部28的處理。
候補偵測部28，係例如，以YC生成部23所 得之攝像影像訊號(亮度訊號/色彩訊號)為對象，進行各畫格單位(或每間歇性之畫格)的影像解析處理，抽出候補影像。亦即，針對時間軸上被連續輸入的影像資料，進行臉部影像偵測、人體影像偵測等，將作為主要被攝體之候補的影像予以抽出。
此外，臉部偵測、人體偵測等，係可藉由對攝像影像資料進行影像解析的圖案比對之手法等來實現，但如果抽換圖案比對時所使用的字典，則其他偵測器在理論上也可實現。例如亦可設計成(特定品種的)犬臉部偵測、貓臉部偵測等來抽出主要被攝體的候補影像。
又亦可考慮例如以畫格差分所致之運動體偵測之手法，偵測出運動體，將該當運動體當作候補影像，亦可採用一種稱作顯著圖(Saliency)的注視領域抽出之手法。候補影像的抽出、選定之手法係可有多種考量。
候補偵測部28係例如作為一例，是進行臉部 影像之偵測，將該臉部影像存在的領域，當作候補影像框而予以抽出。
針對已抽出的候補影像，係將該候補影像框的位置資訊(在畫面上的x,y座標值、被攝體距離的資訊等)、或尺寸資訊(例如候補影像框的寬度、高度、像素數等)，當作候補影像資訊而交付給控制部30的主要被攝體判定部 30a。此外，此處，由於是用來表示身為候補影像的影像領域之框的資訊，因此也將候補影像資訊稱作「候補影像框資訊」。
又，作為候補影像框資訊，係亦可還含有候補影像的屬性資訊(臉部、人體、犬、貓等之種別、或個人(個體)識別資訊，甚至還可以含有影像資料本身。
又，候補偵測部28，係亦可對影像進行平滑化處理、離群值(outlier)去除等之處理，然後生成候補影像框資訊。
控制部30係由具備CPU、ROM(Read Only Memory)、RAM(Random Access Memory)、快閃記憶體等的微電腦(演算處理裝置)所構成。
藉由CPU執行ROM或快閃記憶體等中所記憶的程式，就可統籌控制該攝像裝置10全體。
RAM係作為CPU的各種資料處理之際的作業領域，備用來暫時儲存資料或程式等。
ROM或快閃記憶體(非揮發性記憶體)，係記憶著CPU用來控制各部所需的OS(Operating System)、影像檔案等之內容檔案以外，還被用來記憶各種動作所需之應用程式或軟體等。例如在本例中係記憶有執行後述之主要被攝體判定處理所需的程式，還記憶著會利用主要被攝體判定結果的應用程式等。
如此的控制部30，係針對數位訊號處理部20 中的各種訊號處理之指示、使用者操作所相應的攝像動作 或記錄動作、已記錄之影像檔案的再生動作、變焦、對焦、曝光調整等之相機動作、使用者介面動作等，控制必要的各部之動作。
又，在本實施形態的情況中，控制部30係具 備作為主要被攝體判定部30a的機能，執行如後述第1~第3實施形態所說明的主要被攝體判定處理。
此時，主要被攝體判定部30a係使用，從運動向量偵測部27或後述之感測器部14所交付的全域向量、本地向量，執行主要被攝體判定之處理。如第2、第3實施形態所述，除了使用全域向量、本地向量之處理以外，有時候還會執行針對從候補偵測部28所交付之候補影像資訊的位置狀態判定處理、穩定存在度算出處理、及基於穩定存在度的主要被攝體設定之處理。
使用者介面33，係對使用者執行顯示輸出或 聲音輸出，且受理使用者的操作輸入。因此具有顯示裝置、操作裝置、揚聲器裝置、麥克風裝置等。此處係圖示了顯示部34、操作部35。
顯示部34係為對使用者(攝像者等)進行各種 顯示的顯示部，係具有例如被形成在攝像裝置10之框體上的LCD(Liquid Crystal Display)或有機EL(Electro-Luminescence)顯示器等之顯示裝置而被形成。此外，亦可用所謂取景窗的形態，使用LCD或有機EL顯示器等來形成。
該顯示部34，係由上記的顯示裝置、用來令該顯示 裝置執行顯示的顯示驅動程式所構成。顯示驅動程式，係基於控制部30之指示，在顯示裝置上執行各種顯示。例如，顯示驅動程式係將攝像而記錄在記錄媒體中的靜止影像或動畫予以再生顯示，令快門釋放(快門操作)待機中所拍攝到的各畫格的攝像影像資料所成之動畫方式的透視檢視影像(被攝體監視影像)，被顯示在顯示裝置的畫面上。又，令各種操作選單、小圖示、訊息等，亦即GUI(Graphical User Interface)的顯示，在畫面上被執行。在本實施形態的情況下，也會在例如在透視檢視影像或再生畫面上，執行讓使用者能夠了解主要被攝體判定所致之判定結果的顯示。
操作部35，係具有輸入使用者操作的輸入機能，將相應於所輸入之操作的訊號，送往控制部30。
作為該操作部35，係以例如被設在攝像裝置10之框體上的各種操作件、被形成在顯示部34上的觸控面板等方式而被實現。
作為框體上的操作件，係設置有再生選單啟動鈕、決定鈕、十字鍵、取消鈕、變焦鍵、滑移鍵、快門鈕(釋放鈕)等。
又，亦可藉由觸控面板和顯示部34上所顯示的小圖示或選單等的觸控面板操作，實現各種操作。
使用者介面33之顯示部34等之動作，係依照控制部30之指示而被UI控制器32所控制。又，操作部35所致之操作資訊，係被UI控制器32傳達至控制部 30。
記錄部15，係由例如非揮發性記憶體所成， 是作為用來記憶靜止影像資料或動畫資料之影像檔案(內容檔案)、或影像檔案的屬性資訊、縮圖影像等的記憶領域而發揮機能。
影像檔案，係以例如JPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等之格式而被記憶。
記錄部15的實際形態係可有多種考量。例如，記錄部15係亦可為內建在攝像裝置10的快閃記憶體，亦可為可對攝像裝置10裝卸的記憶卡(例如可攜式快閃記憶體)與可對該記憶卡進行記錄在生存取的卡片記錄再生部。又，亦可以內建於攝像裝置10之形態而以HDD(Hard Disk Drive)等來實現之。
又，在本例中執行後述之穩定攝像狀態推定處理及主要被攝體判定處理所需的程式，係亦可被記憶在記錄部15中。
通訊部16，係與外部機器之間，以有線或無線來進行資料通訊或網路通訊。
例如，與外部的顯示裝置、記錄裝置、再生裝置等之間，進行攝像影像資料(靜止影像檔案或動畫檔案)之通訊。
又，作為網路通訊部，係可進行例如網際網路、家庭網路、LAN(Local Area Network)等之各種網路的通訊，亦 可和網路上的伺服器、終端間進行各種資料收送訊。
感測器部14係概括地表示各種感測器。例 如，設置用來偵測手晃、或攝像裝置10之姿勢或移動(橫搖移動、縱搖移動等)攝像裝置10全體運動所需的陀螺儀感測器(角速度感測器)、加速度感測器等。
又，亦可設置用來偵測曝光調整等所需之外部照度的照度感測器、甚至測定被攝體距離的測距感測器。
又，作為感測器部14，也有時候會設置偵測光學系11中之變焦透鏡之位置的變焦透鏡位置感測器、偵測對焦透鏡之位置的對焦透鏡位置感測器。
又，作為感測器部14，也有時候會設置偵測機械光圈(光圈機構)之開口量的偵測器。
感測器部14的各種感測器，係將各個測出的資訊，傳達至控制部30。控制部30，係可使用感測器部14所測出的資訊，來進行各種控制。
於此種攝像裝置10中，如圖1所說明的影像處理裝置1的構成部分，係如下所述。
相當於圖1之影像處理裝置1中的主要被攝體判定部2的構成，係藉由軟體而被實作成攝像裝置10中的控制部30中的主要被攝體判定部30a。控制部30係藉由執行基於請求項所述之程式的處理，以請求項所述之影像處理方法而進行動作。
相當於圖1之本地運動偵測部3的構成，係為運動向量偵測部27。運動向量偵測部27係針對畫面分 割而成之各領域，偵測出本地向量，供給至主要被攝體判定部30a。
相當於圖1之全域運動偵測部4的構成，亦為運動向量偵測部27。
運動向量偵測部27，係針對畫面分割而成之各領域若偵測出本地向量，則以使用該本地向量之演算，就可求出全域向量。此時，運動向量偵測部27係亦即本地運動偵測部3及全域運動偵測部4之構成，係可實現成為，運動向量偵測部27藉由影像解析處理而偵測出影像中各領域的本地向量，並使用各領域之本地向量來偵測出全域向量。
但是，相當於全域運動偵測部4的構成，係亦可為感測器部14。
表示影像全體之運動的全域運動之資訊，係亦可以攝像裝置10的攝像方向之變化而獲得。這是因為，攝像影像的全體運動，係藉由攝像方向之變化來表示。因此，可從感測器部14中的角速度感測器、加速度感測器之偵測值、亦即攝像裝置10本身的運動之資訊，求出作為攝像影像全體之運動資訊的全域向量的值。
例如控制部1的主要被攝體判定部30a，係可藉由將角速度感測器的偵測值對時間做積分，當作全域向量之值而予以擷取。或者，藉由將加速度感測器的偵測值對時間做2次積分，就可當作全域向量之值而予以擷取。
此時，相當於本地運動偵測部3的構成係為運動向量 偵測部27，相當於全域運動偵測部4的構成係為感測器部14。
在後述之第1~第3實施形態中，作為相當於全域運動偵測部4之構成，係亦可使用以上任一構成。
<3.主要被攝體判定機會/目的等>
在本實施形態中，雖然如後述的第1~第3實施形態所說明般地進行主要被攝體判定，但以下逐步說明在攝像裝置10中進行主要被攝體判定的機會或目的等。
首先說明主要被攝體判定結果的利用例。
主要被攝體判定，係例如在使用者(攝像者)瞄準快門時機(釋放時機)之際會被執行，但控制部30係在自動判定主要被攝體後，可進行如下的處理。
‧追蹤處理
在所拍攝的各畫格中，追蹤所被設定的主要被攝體。例如在透視檢視影像顯示上向使用者明示主要被攝體，供使用者的攝角調整(例如手持相機之狀態下的被攝體決定))之用。
此外，作為主要被攝體的提示，係考慮在顯示部34的透視檢視影像顯示上強調顯示主要被攝體的框框。又，強調顯示等，係可在判定後的一定期間內，也可以只有當透視檢視影像內有主要被攝體存在之際執行之。
‧對焦
對主要被攝體進行自動對焦控制。又，配合追蹤處理，即使主要被攝體跑來跑去，焦點仍會追蹤著該主要被攝體而被調整。
‧曝光調整
基於主要被攝體的明度(亮度)來進行自動曝光調整。
‧指向性調整
在進行攝像(例如動畫攝像)同時以麥克風進行聲音收音時，隨應於攝角空間內的主要被攝體之方向，來進行指向性調整。
‧變焦控制
對應於主要被攝體的自動變焦控制。例如，自動進行變焦透鏡驅動，以使得主要被攝體總是以所定以上之尺寸而被映在攝像影像中。亦可配合追蹤處理，隨著與主要被攝體的距離變化而以變焦來進行攝角調整。
‧錄影開始控制
係為動畫攝像之開始的觸發。例如，隨應於主要被攝體已被決定，而開始動畫攝像記錄。
又，亦可在對攝像影像訊號的各種訊號處理中使用之。
‧影像效果處理
在所拍攝之各畫格中僅在主要被攝體的領域，加上畫質調整、雜訊重製、膚色調整等之影像處理。
或者，在主要被攝體的領域以外，加上影像效果、例 如馬賽克處理、柔焦處理、塗滿處理等。
‧影像編輯處理
針對攝像影像、或是已被記錄的影像，加上畫框、裁切等之編輯處理。
例如可進行將含有主要被攝體的畫格內的一部分領域予以切出、或放大等之處理。
又，在攝像影像資料當中，可進行影像周邊部的切除等以使得主要被攝體被配置在影像的中心，進行構圖調整。
這些僅為一例，除此以外，亦可考量由應用程式或攝像裝置內的自動調整機能，來利用已設定之主要被攝體的處理。
接著主要被攝體判定處理是在哪個時點上執行，也有各種考量。
例如可以在攝像裝置10的電源打開，進行攝像時(顯示部34上顯示有透視檢視影像的期間)，係常時性地進行主要被攝體判定處理。
又，亦可一旦判定了主要被攝體，進行追蹤處理的情況下，在追蹤失敗的時點上，再度進行主要被攝體判定處理。
又，亦可藉由使用者操作來開始主要被攝體判定處理。
又，亦可在使用者選擇判定執行模式時，常時執行， 或是追蹤失敗等時候執行等。
又，亦可考慮無關於使用者操作，自動啟動主要被攝體判定處理。
進行主要被攝體判定處理所致之效果，係如下所述。
如前述，當攝像者拿著攝像裝置10瞄準被攝體時，要指定主要被攝體之類的操作原本就很困難。
尤其像是橫搖或縱搖這類攝像方向持續性朝一定方向變化的情況下，或者即使並非一定方向而攝像方向有所變化的情況下，指定主要被攝體的操作，對使用者而言是尤其困難的。
又，需要不斷指定的行為是很麻煩的。
若自動執行主要被攝體判定，則可解決此種問題，可獲得降低使用者壓力之效果。
又，使用者通常使用的數位靜態相機、行動電話機內建攝影機等，使用者隨身攜帶使用的攝像裝置10，係顯示部34也較為小型，即使使用者在畫面上進行指定主要被攝體的操作，仍難以正確地進行。藉由向本實施形態這樣進行自動判定，也可消除錯誤指定。
又若攝像裝置10自動進行主要被攝體判定，則對使用者而言，瞄準被攝體而架好攝像裝置10、或追著被攝體而改變攝像方向等狀況下，就會執行主要被攝體判定，使用者會感到裝置的聰明感提升，獲得附加價值提升之效果。
又，由於能夠以只要自然地拿著攝像裝置10就能拍攝主角的此一感覺來使用，因此可增加攝像機會、增加對應使用案例，可對使用者提供容易使用的攝像機。
由以上可知，作為手持型的相機，會自動進行主要被攝體判定的本實施形態的攝像裝置10，係為尤其理想。
<4.第1實施形態>
說明第1實施形態的主要被攝體判定處理。
第1實施形態，係控制部30(主要被攝體判定部30a)是藉由畫面分割而成之各領域與本地向量的全域向量之比較，在各領域當中，基於被判定為本地向量相對於全域向量是非類似之領域的偵測結果，來判定主要被攝體，係為此種處理。
首先將第1實施形態中的主要被攝體判定部30a的機能構成，以圖4來說明之。
主要被攝體判定部30a係例如以軟體所致之機能構成而如圖4所示般地具備：本地向量取得部51、全域向量取得部52、領域個別比較部53、最終判定部54。
本地向量取得部51，係從運動向量偵測部27，取得畫面分割而成之各領域個別的本地向量LV。
全域向量取得部52，係從運動向量偵測部27、或感測器部14，取得畫面全體之運動的資訊亦即全域向量GV。
此外，若構成為，將來自感測器部14的角速度偵測值、加速度偵測值，當作全域向量GV而加以取得的情況下，全域向量取得部52係進行將偵測值往像素次元的轉換處理，與本地向量LV取得匹配即可。
亦即，在使用角速度偵測值的情況下，則對時間積分即可獲得角度資訊，又在使用加速度偵測值的情況下，則對時間進行2次積分即可獲得角度資訊，但只要將這些角度，換成成相當於多少像素，將其當作全域向量GV之值即可。當然亦可在感測器部14中設置進行此種換算處理的機能，進行換算，然後將全域向量GV供給至控制部30(主要被攝體判定部30a)。
領域個別比較部53係進行，將已被本地向量取得部51所擷取之關於各領域的本地向量LV，與已被全域向量取得部52所擷取之全域向量GV，予以比較之處理。
最終判定部54，係使用領域個別比較部53的判定結果，來進行主要被攝體判定，將主要被攝體資訊Dm予以輸出。
此種機能構成的主要被攝體判定部30a，和運動向量偵測部27(或還加上感測器部14)所執行的主要被攝體判定動作之概要，以圖5~圖8來說明。
圖5A係表示，運動向量偵測部27，以時間軸上依序獲得之各畫格FR1,FR2,FR3‧‧‧的攝像影像資料為對象，偵測出運動向量。
運動向量偵測部27，係如圖5B所示，將1畫格之畫面分割成多數領域，在各領域中，將畫格遷移之期間內的被攝體領域之運動(時間差分)，偵測成為向量，進行此種處理。
圖5B的情況係圖示了，將畫面分割成領域AR1~AR20的20個領域的例子。將領域做20分割係僅為一例，但以下是以此例來說明。
在各領域AR1~AR20中所被偵測到的向量，係為本地向量LV，將各本地向量LV以實線、粗線、虛線來表示。
但是，本地向量LV中，作為主要被攝體判定所需使用的向量，會有信賴度較高者和較低者。
例如影像的對比度高之領域的向量，信賴度較高。這是因為，例如，人、動物、移動體等，有主要被攝體判定對象之被攝體存在的領域，係對比度比較高的緣故。
另一方面，影像的對比度低之領域的向量，信賴度較低。這是因為，例如，被攝體是以背景等方式而存在的領域，係對比度比較低之緣故。
在圖5B中，將信賴度高之領域的本地向量LV以實線或粗線表示，信賴度低之領域的本地向量LV以虛線表示。
運動向量偵測部27係將如此各領域之本地向量LV的資訊，供給至控制部30(主要被攝體判定部30a)。此外，此情況下，針對各本地向量LV，還附加有用來表示 高信賴度/低信賴度之資訊。
另一方面，全域向量GV係為畫面全體之運 動。亦即可以說是，攝像影像資料中所呈現之被攝體影像全體的整體性運動之資訊。在圖5B中，係在中央圖示了全域向量GV。
當運動向量偵測部27求出全域向量GV時，此全域向量GV係可以實線或粗線所示之信賴度高的本地向量LV的平均等，而加以求出。又，亦可使用仿射轉換等之手法，將各本地向量LV的旋轉成分也考慮進去來做演算，以求出全域向量GV。
在使用來自感測器部14的角速度或加速度之偵測值的情況下，將從這些偵測值所得之角度資訊往像素次元進行轉換，以獲得如圖所示的全域向量GV之資訊。
此全域向量GV之資訊，係從運動向量偵測部27或感測器部14供給至控制部30(主要被攝體判定部30a)。
此外，在該圖5B中係假設，例如使用者把攝像裝置10的攝像方向，往使用者看去之左方向移動(橫搖)之狀況的例子。因此，作為影像中所呈現之運動，係可觀測到整體地從左往右之運動。在使多領域中，如實線箭頭所示，可獲得朝右的本地向量RV。
藉由主要使用此種朝右的本地向量RV來算出全域向量GV，影像整體運動的全域向量GV也會如圖所示般地朝右。
順便一提，雖然說明，全域向量GV係亦可藉由來自 感測器部14之資訊來獲得，但若攝像裝置10例如往左橫搖，則影像全體之運動係為右方向。因此，在使用角速度感測器或加速度感測器的偵測值時，作為該全域向量GV的方向性，係為了與本地向量RV匹配，必須要是攝像裝置10之運動已被轉換成影像全體中所呈現之運動的狀態。
作為主要被攝體判定部30a之構成而示於圖4 的本地向量取得部51、全域向量取得部52，係如此而取得針對各領域AR1~AT20而求出之本地向量LV(及信賴度資訊)、和作為影像全體整體性運動之資訊的全域向量GV。
例如運動向量偵測部27係每1畫格時序地偵測出各領域AR1~AT20的本地向量LV而予以輸出的情況下，本地向量取得部51係每1畫格時序地取得各領域AR1~AT20的本地向量LV。
又，全域向量取得部52，係每1畫格地從運動向量偵測部27或感測器部14，取得全域向量GV。
此外，本地向量LV及全域向量GV之偵測並非一定要每1畫格，亦可在每間歇性畫格的時序上進行之。
主要被攝體判定部30a的領域個別比較部 53，係針對已取得之各領域AR1~AR20的本地向量LV、和全域向量GV，進行比較處理，進行圖6A所示的向量非類似旗標F(n)之處理，或圖6B所示的時間穩定度判定旗標J(n)之處理。
圖6A的向量非類似旗標F(n)(「n」係領域AR(n)的號碼。此情況下由於是分割成領域AR1~AR20，因此n係為1~20)，係針對畫面分割而成之各領域AR1~AR20之每一者，表示本地向量LV與全域向量GV之比較結果的旗標。
此處，本地向量LV是與全域向量GV類似，或本地向量LV的信賴性較低時，則令向量非類似旗標F(n)=L。
另一方面，被判斷為本地向量LV是高信賴性，且判定為與全域向量GV非類似的情況下，則令向量非類似旗標F(n)=H。
圖6B的時間穩定度判定旗標J(n)(和上記 F(n)同樣地，n係為1~20)，係針對畫面分割而成之各領域AR1~AR20之每一者表示時間穩定度判定結果的旗標。所謂時間穩定度，係用來表示是否滿足本地向量RV是持續性、累積性、或平均性地非類似於全域向量GV之此一條件的旗標。
例如，上記的向量非類似旗標F(n)=H，亦即被判定為非類似之狀態是持續所定時間的情況下，則時間穩定度判定旗標J(n)=H。
向量非類似旗標F(n)=L、或向量非類似旗標F(n)=H的持續時間不滿足所定時間的時點上，則變成對應於領域AR(n)的時間穩定度判定旗標J(n)=L。
此外，雖然在圖中，時間穩定度判定旗標 J(n)是所定時間地持續性地滿足條件(向量非類似旗標F(n)=H)的情況下會變成「H」，但亦可為，向量非類似旗標F(n)=H的時間是累積性或在單位時間內平均性地到達所定時間的情況下，則設成時間穩定度判定旗標J(n)=H。亦即，也有不問持續性的此種條件設定。
以圖7、圖8，說明向量非類似旗標F(n)與時間穩定度判定旗標J(n)之變化。
圖7係圖示，針對被判定為本地向量LV是類似於全域向量GV之領域AR(sc)，在領域個別比較部53上所進行的比較處理。所謂領域AR(sc)，係例如圖5B中將本地向量LV以實線表示的領域AR2,AR3,AR4,AR5等。
圖8係圖示，針對被判定為本地向量LV係非類似於全域向量GV之領域AR(mc)，在領域個別比較部53上所進行的比較處理。所謂領域AR(mc)，係例如圖5B中將本地向量LV以粗線表示的領域AR9,AR14等。
在圖7、圖8中，分別將全域向量GV的位 移，以虛線來表示。各點係表示，各時點(例如每畫格時序)上被全域向量取得部52所擷取，被供給至領域個別比較部53的全域向量GV之值。此外，雖然為了圖示上的方便，而以縱軸一維的位準來表示，但實際上作為全域向量GV之值，係為向量的方向及量(純量)。
在圖7中係圖示了，領域AR2等的、結果被 判斷成與全域向量GV類似之領域AR(sc)的本地向量LV(sc)。各點係模式性地表示各時點上的本地向量LV(sc) 的值(向量的方向及量)。
又，表示了全域向量GV與本地向量LV(sc)的差分(GV*LV(sc))。
各點係為差分的值。但是，全域向量GV與本地向量LV(sc)係皆具有向量方向及量的值。此處，所謂兩向量的差分，係只要為全域向量GV與本地向量LV(sc)的內積的值即可。此處，GV*LV(sc)的「*」係表示內積演算。內積的值係亦可說成是表示，對於作為全域向量GV的方向性，本地向量LV所貢獻之程度的值。
此圖7中的差分(GV*LV(sc))係為，關於某領域AR(sc)的全域向量GV與本地向量LV(sc)的比較結果。根據差分(GV-LV(sc))是否在閾值Th+,Th-之範圍內，來判定類似度。
圖7的情況下，差分(GV*LV(sc))係總是在閾值Th+,Th-之範圍內。此情況下，在各畫格時序時點上，該當領域AR(sc)的本地向量LV(sc)係類似於全域向量GV，向量非類似旗標F(sc)=L而維持不變。
又，令時間穩定度判定旗標J(n)係為，隨著向量非類似旗標F(n)=H的持續時間而會變成「H」的旗標。此情況下，如圖7所示，向量非類似旗標F(sc)=L係會持續，因此時間穩定度判定旗標J(sc)=L不變而不會變成「H」。
接著來看圖8。
在圖8中係圖示了，領域AR9等的、結果被判斷成 與全域向量GV非類似之領域AR(mc)的本地向量LV(mc)。各點係模式性地表示各時點上的本地向量LV(mc)的值(向量的方向及量)。
又，表示了全域向量GV與本地向量LV(mc)的差分。所謂各點係差分(GV*LV(mc))，係為全域向量GV與本地向量LV(mc)的內積的值。
此圖8中的差分(GV*LV(mc))係為，關於某領域AR(mc)的全域向量GV與本地向量LV(mc)的比較結果。差分(GV-LV(mc))也是，和圖7的情況同樣地，根據是否在閾值Th+,Th-之範圍內，來判定類似度。
圖8的情況下，差分(GV*LV(mc))之值超出閾值Th+,Th-之範圍內的情況頻發。又在時點t1以後，差分(GV*LV(mc))之值是持續地超出閾值Th+,Th-之範圍。
差分(GV*LV(mc))之值超出閾值Th+,Th-之範圍內的時序上，會變成向量非類似旗標F(mc)=H。
又，如上述，令時間穩定度判定旗標J(n)係為，隨著向量非類似旗標F(n)=H的持續時間而會變成「H」的旗標。此情況下，在圖8的時點t1以後，會持續性地向量非類似旗標F(n)=H，假設在時點t2上，此狀態係經過了所定時間Tj。如此一來，則變成時間穩定度判定旗標J(sc)=H。
此處著眼於圖7、圖8中的全域向量GV。圖7、圖8前半所示的期間TK1，全域向量GV係大幅變動。這可以推定為，攝像者想要捕捉迅速動來動去的被攝 體而使攝像裝置10的攝像方向朝多樣方向做變化的這類狀況。
另一方面，後半的期間TH2係可推定為，追著被攝體而使攝像裝置10做橫搖的此種狀況。
如圖7所示，所謂本地向量LV(sc)對於全域向量GV呈類似，係為領域AR(sc)中所呈現之影像是與攝像方向之變化概略同樣地變化。若從影像對攝像裝置10本身之相對性運動的觀點來看，則領域AR(sc)係為影像之運動較大。
例如想定了，在領域AR(sc)中，使用者沒有追隨的背景之影像是被映出的此種狀況。不論背景被攝體是否靜止，由於攝像裝置10的攝像方向係有變化，因此領域AR(sc)中所呈現之背景影像之變化係為較大，且與全域向量GV類似。
圖7所示的期間TK1、TK2之任一者中，本地向量LV(sc)係都類似於全域向量GV。這是表示，領域AR(sc)中所呈現之背景影像，正隨著攝像裝置10的攝像方向變化而變動。亦即可以推定為，領域AR(sc)中所呈現的影像，並非使用者所需要的影像。
針對此種領域AR(sc)，全域向量GV與本地向量LV(sc)的差分(GV*LV(sc))係較小。
因此，如圖7所示，差分(GV*LV(sc))係較小，可判斷為，向量非類似旗標F(n)=L的領域AR(sc)中所呈現的影像，係並非要作為主要被攝體的影像。
另一方面，如圖8所示，相對於全域向量GV 而本地向量LV(mc)是呈非類似，這是意味著，領域AR(mc)中所呈現之影像，無論是否有攝像方向之變化，在影像上之運動都較小。若從影像對攝像裝置10本身之相對性運動的觀點來看，則領域AR(mc)係為影像之運動較小。
例如想定了，在領域AR(mc)中，映出了使用者視為攝像目的而追隨之影像的此種狀況。亦即，是使用者將動來動去的被攝體，儘可能地捕捉在影像的中央，而改變攝像方向的狀況。無論攝像方向之變化是否很大，由於使用者追著目的之被攝體，因此目的被攝體領域係會被持續捕捉在畫面上的某領域之附近。
因此圖8所示的期間TK1、TK2之任一者 中，本地向量LV(mc)均為，與全域向量GV非類似且比較小的值。
但是期間TK1中，關於領域AR(mc)的全域向量GV與本地向量LV(mc)的差分(GV*LV(mc))係大幅地變化。這是被推定為，使用者再度無法把目的被攝體維持在畫面內所意圖之位置上的此種狀態。
其後，在時點t1以後，雖然是使用者進行橫搖之類的狀況，但無論全域向量GV是否較大，本地向量LV(mc)的值都較小，在差分(GV*LV(mc))超出閾值Th+之狀態下呈現穩定。
這是被推定為，使用者捕捉到目的被攝體之狀態下， 令攝像裝置10進行橫搖之狀況。亦即，此種領域AR(mc)中所呈現的影像，係可推定是使用者所需要的影像。
亦即，如圖8所示，差分(GV*LV(sc))超出閾 值Th+,Th-之範圍內而呈穩定的情況下，可判斷成領域AR(mc)中所呈現之影像，係為主要被攝體影像。這就變成，向量非類似旗標F(n)=H的時間是持續了所定時間Tj，而可偵測出時間穩定度判定旗標J(n)=H。
例如在圖6B中，領域AR9,AR14係為時間穩定度判定旗標J(n)=H。此係該領域AR9、AR14中所含之被攝體影像，被推定成主要被攝體。
此外，此處雖然設計成，當向量非類似旗標F(n)=H的時間是持續了所定時間Tj的時候，會變成時間穩定度判定旗標J(n)=H，但亦可設計成，當向量非類似旗標F(n)=H的時間是累積性地到達所定時間Tj的時候，會變成時間穩定度判定旗標J(n)=H。
或者亦可設計成，在單位時間內平均性地向量非類似旗標F(n)=H的時間是到達所定時間的時候，會變成時間穩定度判定旗標J(n)=H。
圖4所示的領域個別比較部53，係進行以上 圖7、圖8所說明之處理，而進行向量非類似旗標F(n)、時間穩定度判定旗標J(n)之處理。
然後最終判定部54係使用此旗標處理的結果，進行最終的主要被攝體判定。
以圖9來說明控制部30(主要被攝體判定部 30a)所執行的主要被攝體判定處理之具體例。
圖9的步驟F101~F130，係表示控制部30作為主要被攝體判定部30a之機能所執行的處理。
此外，單點鍊線所圍繞之步驟F100(F101~F118)，係只要想成是由圖4的領域個別比較部53，從本地向量取得部51、全域向量取得部52受理本地向量LV、全域向量GV之供給然後執行的向量比較判定處理即可。又，步驟F120、F130係只要想成是圖4的最終判定部54的處理即可。
這裡先作為說明上的前提，假設往控制部30(圖4的本地向量取得部51、全域向量取得部52)，係每畫格時序地，擷取入各領域AR1~AR20的本地向量LV(n)、和全域向量GV。
又，變數n係和上述的「n」同樣地，是影像分割成的領域AR1~AR20的領域編號。若以領域AR1~AR20的20分割之例子而言，n係取1~20的值。N係為n的最大值，在此例中係為N=20。
作為圖9的主要被攝體判定處理，首先在步 驟F101中，控制部30係擷取了作為處理對象的全域向量GV。具體而言，是把某畫格時點上被擷取進全域向量取得部52的全域向量GV，由領域個別比較部53當作處理對象而加以擷取的處理。
接著控制部30係在步驟F102中令變數n=1然後前進至步驟F103以後。
控制部30，係在變數n未到達最大值N的時 點上，是從步驟F103往F104前進，將本地向量LV(n)當作處理對象。亦即在目前畫格時序上，被擷取進本地向量取得部51的各領域AR1~AR20的本地向量LV1~LV20當中，把本地向量LV(n)=LV1，當作領域個別比較部53中的處理對象。
控制部30係在步驟F105中，確認處理對象 之本地向量LV(n)之資訊裡所被附加的信賴度之資訊。若該當本地向量LV(n)是高信賴度，則前進至步驟F106。另一方面，若該當本地向量LV(n)是低信賴度，則前進至步驟F109。
若本地向量LV(n)是高信賴度，則步驟F106 中，控制部30係作為領域AR(n)的本地向量LV與全域向量GV之差分，而算出內積S(n)=GV*LV(n)。「*」係表示向量內積演算。
因此在n=1的時點上，首先針對領域AR1，進行內積S1=GV*LV1之演算。
如圖7、圖8所說明，內積係相當於，本地向量LV與全域向量GV之差分。
在步驟F107中，控制部30係進行| S(n)|> Th之判斷。亦即判定所求出之內積的值(表示向量類似度的相當於向量差分的值)，是否在所定範圍內。
該「Th」係表示，圖7、圖8中所示的閾值Th+、Th-。此時，閾值Th+、Th-係為，以0為中心而正負的 絕對值相同的值。
因此| S(n)|>Th之判斷，係為判定內積S(n)是否超過閾值Th+~閾值Th-之範圍的處理。換言之係為，處理對象之本地向量LV(n)，是否非類似於全域向量GV之判斷。
若| S(n)|>Th，則控制部30係前進至步驟 F108，令向量非類似旗標F(n)=1(=「H」)。
若非| S(n)|>Th，則控制部30係前進至步驟F109，令向量非類似旗標F(n)=0(=「L」)。
此外，上記的步驟F105中，判定為本地向量LV(n)是低信賴度的情況下，仍前進至步驟F109，令向量非類似旗標F(n)=0(=「L」)。
在此處理中，在例如n=1的時點上，針對領域AR1的向量非類似旗標F1，會被處理。
亦即，本地向量LV1是與全域向量GV類似，或本地向量LV1的信賴度較低時，則令向量非類似旗標F1=0。
另一方面，被判斷為本地向量LV1是高信賴度，且判定為與全域向量GV非類似的情況下，則令向量非類似旗標F1=1。
接著，步驟F110中，控制部30係根據向量 非類似旗標F(n)、例如領域AR1的向量非類似旗標F1是「1」還是「0」，來設定計數偏置值OFS。
例如控制部30係若向量非類似旗標F(n)=1，則在步驟F111中令計數偏置值OFS=α。α係為將計數器予以 增值的所定值。例如令α=1。
又，控制部30係若向量非類似旗標F(n)=0，則在步驟F112中令計數偏置值OFS=β。β係為將計數值予以保留、或將計數值予以減值所需的所定值。若將計數值予以保留時，則令β=0。若將計數值予以減值時，則例如令β=-1。
然後，在步驟F113中，控制部30係算出時 間性穩定度。具體而言，表示時間性穩定度之計數器CNT(n)的計數處理，是以CNT(n)=CNT(n)+OFS而進行。
上記的步驟F111、F112中令α=1、β=0，而設定了偏置值OFS的情況下，若向量非類似旗標F(n)=1則計數器CNT(n)之值會被增值。當向量非類似旗標F(n)=0時，計數器CNT(n)之值會被保留。
又，上記的步驟F111、F112中令α=1、β=-1，而設定了偏置值OFS的情況下，若向量非類似旗標F(n)=1則計數器CNT(n)之值會被增值，若向量非類似旗標F(n)=0則計數器CNT(n)之值會被減值。
然後，在步驟F114中，控制部30係判斷計 數器CNT(n)的值是否超過所定時間Tj，若超過則在步驟F115中令時間穩定度判定旗標J(n)=1。又若沒有超過，則在步驟F116中令時間穩定度判定旗標J(n)=0。
然後在步驟F117中，將變數n予以增值然後 返回至步驟F103。
至此為止，變數n=1，針對領域AR1來比較本地向量LV1與全域向量GV，根據其結果而進行了向量非類似旗標F1之處理及計數器CNT1之處理、還有隨應於計數器CNT1之計數值的時間穩定度判定旗標J1之處理。
接下來由於變數n=2，因此步驟F104~F116中，控制部30係針對領域AR2來比較本地向量LV2與全域向量GV，根據其結果而進行向量非類似旗標F2之處理及計數器CNT2之處理、還有隨應於計數器CNT2之計數值的時間穩定度判定旗標J2之處理。
將如此處理逐次進行直到領域AR20為止。到 了領域AR20的處理結束之時點上，針對目前畫格中的各領域AR1~AR20之處理係結束，此時，步驟F103中變成不是n≦N(N=20)，因此控制部30係前進至步驟F118。
此步驟F118中，控制部30係判定是否有時間穩定度判定旗標J(n)=1者。若時間穩定度判定旗標J1~J20全部為「0」，則控制部30係返回至步驟F101，關於下個畫格，繼續執行步驟F101~F117之處理。
如圖6~圖8所說明，所謂時間穩定度判定旗 標J(n)，係在持續性地所定時間、或累積性地所定時間、或單位時間內平均地、滿足向量非類似旗標F(n)=1之條件時，會被設成1(=H)。
在此圖9的處理例中係為，當累積性或平均性地滿足向量非類似旗標F(n)=1之條件時，令時間穩定度判定旗標J(n)=1的例子。
亦即若假設計數器CNT(n)之值係當向量非類似旗標F(n)=1時會被增值，向量非類似旗標F(n)=0之際會被保留，則向量非類似旗標F(n)=1之狀態是累積性地到達所定時間Tj的情況下，會變成時間穩定度判定旗標J(n)=1。
又，若假設計數器CNT(n)之值係當向量非類似旗標F(n)=1時會被增值，向量非類似旗標F(n)=0之際會被減值，則向量非類似旗標F(n)=1之狀態是平均性地到達所定時間Tj的情況下，會變成時間穩定度判定旗標J(n)=1。
此外，當持續性地所定時間，滿足向量非類似旗標F(n)=1之條件時，就會變成時間穩定度判定旗標J(n)=1的情況下，則只要將圖9之處理稍微變形即可。
亦即，步驟F108中被設成向量非類似旗標F(n)=1的情況下，則將計數器CNT(n)予以增值，步驟F109中被設成向量非類似旗標F(n)=0的情況下，則將計數器CNT(n)予以重置即可。如此一來，當向量非類似旗標F(n)=1之狀態是持續性地到達所定時間Tj的情況下，則令時間穩定度判定旗標J(n)=1。
此外，以上的累積判斷、平均判斷、持續判斷的情況中，相當於各個所定時間Tj的具體之判斷值係為不同，較為適切。
藉由跨越複數畫格而進行步驟F101~F117之處理，在某時點上，關於1或複數個領域AR，就會變成 時間穩定度判定旗標J(n)=1。這是使用者以某個被攝體為目的而穩定地將其捕捉在攝像影像內達某程度之時間的情形。
此種情況下，控制部30係從步驟F118前進至步驟F120而進行最終判定處理。
然後，控制部30(最終判定部54)，作為最終判定處理係從時間穩定度判定旗標J(n)=1的領域的影像，進行主要被攝體判定，在步驟F130中輸出主要被攝體資訊Dm。
以上就完成了主要被攝體判定處理。
作為步驟F120的最終判定處理，係考慮如圖10A、圖10B之處理。
圖10A的處理例係為，將各領域AR1~AR20當中，被判定為本地向量LV(n)相對於全域向量GV是穩定性非類似之領域的偵測結果，亦即時間穩定度判定旗標J(n)，直接使用來判定主要被攝體的處理例。
控制部30係在步驟F121中，抽出時間穩定度判定旗標J(n)=1之領域的影像。例如，亦可將該當領域內的全體之影像直接抽出，亦可將藉由該當領域內之影像的影像解析處理而被辨識的臉部影像、人體影像、犬影像、貓影像等，予以抽出。
又，藉由跨越領域的影像解析處理，不限於該當領域內，亦可以跨越複數領域的被攝體影像的方式，來抽出臉部影像等。
再者，在1個領域內，偵測出複數個臉部等之情況下，亦可抽出複數影像。
然後控制部30係在步驟F122中，將已抽出之影像，設定成主要被攝體。
若依據此處理，則針對1或複數個領域，令時間穩定度判定旗標J(n)=1，作為該1或複數個領域之影像，設定了1或複數個主要被攝體。
接著，圖10B的處理例係為，將各領域AR1~AR20當中，被判定為本地向量LV(n)相對於全域向量GV是穩定性非類似之領域的偵測結果，亦即在時間穩定度判定旗標J(n)=1的領域當中，將已被選擇之領域之影像，判定成主要被攝體的處理例。
控制部30係在步驟F121中，抽出時間穩定度判定旗標J(n)=1之領域的影像。與圖10A的情況相同，例如，亦可將該當領域內的全體之影像予以抽出，並抽出在該當領域內所被辨識的臉部影像、人體影像、犬影像、貓影像等。此情況下也是，可以跨越其他領域而抽出影像、或是在1領域內抽出複數影像。
在步驟F123中，控制部30係判斷是否有複數影像被抽出。
所謂複數影像被抽出的情況，係時間穩定度判定旗標J(n)=1的領域有複數個，且從各個領域抽出不同影像的情形，或即使時間穩定度判定旗標J(n)=1的領域只有1個，仍從該領域抽出複數影像的情形。
若抽出影像是1個，則控制部30係前進至步驟F126，將已抽出之影像，設定成主要被攝體。
另一方面，若抽出影像是複數，則控制部30係前進至步驟F124。然後，抽出之各影像當中，選擇最靠近畫面中央的影像。例如在畫面上以x,y座標的方式，求出已抽出之各影像的重心座標，判定該重心座標與畫面上中心座標的距離，選擇距離最短的影像。
然後在步驟F125中，控制部30係將已選擇之影像，設定成主要被攝體。
若依據此處理，則針對1或複數個領域，令 時間穩定度判定旗標J(n)=1，藉此就可從該1或複數個領域的影像當中，隨應於畫面上的位置狀態，來設定1或複數個主要被攝體。
此外，對複數影像的步驟F124之選擇手法，可有多種考量。例如亦可並非畫面上的中心位置，而是根據與中心以外的特定位置，或使用者指定位置等之間的距離，來進行選擇。
又，亦可並非位置狀態，而是以抽出影像的尺寸(最大/最小等)、對焦狀態、影像的對比等為條件，來進行選擇。
以上，在第1實施形態中，控制部30(主要被 攝體判定部30a)，係藉由本地向量LV與全域向量GV之比較，在畫面上的各領域AR1~AR20當中，基於被判定為本地向量LV相對於全域向量GV是呈非類似之領域的 偵測結果，來判定主要被攝體。
表示影像全體之運動的全域向量GV，係攝像時之攝像裝置10、與影像中所呈現之被攝體全體之間的相對性運動。另一方面，所謂表示影像中的各領域AR1~AR20之運動的本地向量LV(n)，係攝像時之攝像裝置10、與影像中所呈現之各被攝體(影像內的各領域的被攝體)的相對性運動。
例如當使用者架好攝像裝置而瞄準想要當作攝像目標的被攝體時，會配合該當被攝體之運動而逐漸改變攝像方向。因此，被使用者認為主要被攝體的被攝體，係在跨越複數畫格的影像內，與攝像裝置之相對性運動為較小者。亦即，該被攝體會出現的影像內之領域的本地向量，係與全域向量不同。
尤其當使用者針對攝像方向正在進行橫搖、縱搖等的情況下，全域向量GV會變大，反之，映出目的被攝體之領域的本地向量LV會變小。
藉由此種本地向量與全域向量之差異，可以推定出使用者認為是主要或是主角的被攝體，藉此可以使得自動的主要被攝體判定成為可能。
然後如此一來，由於在攝像影像內自動判定主要被攝體，因此攝像者等之使用者就不需要進行選擇主要被攝體的行為。因此可提升使用者的操作性、便利性。將攝像裝置10拿在手中進行攝像時的操作性的提升、使用者壓力的減輕、還有自動判定主要被攝體所帶來的各種 機能之實現等等，可實現產品附加價值提升。
在第1實施形態中，作為被判定為本地向量 LV相對於全域向量GV呈非類似之領域，尤其是在所定時間條件下，以持續性或累積性或平均性之意義上被判定為穩定性非類似之領域的偵測結果，基於該結果來判定主要被攝體。
使用時間條件，本地向量LV與全域向量GV是穩定地呈非類似，基於如此結果來進行主要被攝體判定，就可提高其判定精確度。
又在第1實施形態中，是在本地向量LV資訊被認為高信賴度的領域當中，基於被判定為本地向量LV相對於全域向量GV是呈非類似之領域的偵測結果，來判定主要被攝體。亦即，在步驟F105中判斷本地向量LV的信賴度，然後反映至向量非類似旗標F(n)之處理。
藉此，關於信賴度低的本地向量LV，可將其排除在本地向量LV與全域向量GV之非類似的判定之外，結果來說可以提高主要被攝體判定精度。
又，主要被攝體判定部30a係在各領域當中，針對已被判定為本地向量LV相對於全域向量GV呈非類似之領域的影像，例如該當領域全體之影像或從該當領域中抽出的影像，判定成主要被攝體。
例如從該當領域抽出被認為是主要被攝體的影像、例如臉部影像等，藉此，不論領域的分割設定或尺寸等為何，都可適切地抽出主要被攝體影像，進行主要被攝體判 定。
再者，可將從1或複數個該當領域所抽出之影像的全部視為主要被攝體，或可將已選擇之1個影像視為主要被攝體，可隨應於主要被攝體資訊Dm所被交付之應用程式等來做主要被攝體判定。
此外，在實施形態中，雖然是從本地向量LV 相對於全域向量GV而為非類似之領域而設定了主要被攝體，但作為非類似的條件，若被偵測成全域向量GV較大、本地向量LV較小的情況下，則亦可追加「被判定為本地向量LV相對於全域向量GV呈非類似之領域」。
例如使用者以橫搖、縱搖、或隨機運動而追隨被攝體來改變攝像方向時，全域向量GV係較大。另一方面，由於使用者係對於目的被攝體而改變著攝像方向，因此含有該當被攝體之領域的本地向量LV係較小。
若限定如此狀況來進行主要被攝體判定，則除了GV>LV此一條件判斷以外，還進行步驟F108、F109的向量非類似旗標F(n)之處理即可。
亦即，GV>LV時，在步驟F107中若為| S(n)|>Th，則在步驟F108中係令向量非類似旗標F(n)=1。
另一方面，若GV<LV，或並非| S(n)|>Th，則在步驟F109中係令向量非類似旗標F(n)=0。
但是也想定了，反之在攝像裝置10是靜止狀態下等，全域向量GV較小時，要從較大之本地向量LV之領域中選擇出主要被攝體的處理。在這層意義上，作為 非類似之條件，係不要放進全域向量GV較大、本地向量LV較小的條件，較為適切。
甚至，作為非類似的條件，亦可考慮當被偵測成全域向量GV較小、本地向量LV較大的情況下，將條件予以過濾，使其被判定成本地向量LV相對於全域向量GV呈非類似。
又，如上記般地基於向量比較之主要被攝體 判定處理的具體處理例，亦可有其他各種考量。
例如在所定時間條件下，偵測出在持續性或累積性或平均性之如此意義上被判定為穩定性非類似之領域，但亦可隨著時間來改變判定的權重。
例如令代入至圖9的步驟F111、F112中所設定之偏置值OFS的α、β，隨著處理的進行而改變之。
一般當攝像者瞄準被攝體而拿著相機時，無法將最初希望當作主角的被攝體馬上放在中央等之所望位置，攝像者會緩緩調整相機的朝向。若考慮這點，則最初攝像者想要視為「主要被攝體」的被攝體，係在影像內的位置(領域)是呈不穩定。其後，隨著時間進行而緩緩將其捕捉在所望位置。
因此，在主要被攝體判定處理的執行中，時間越前進，則與全域向量GV之運動不同的被攝體之領域的判定權重就越強(亦即將步驟F111之α值緩緩加大)，藉此，能夠成為吻合於攝像者之想法的主要被攝體判定的可能性就會提高。
又，亦可考慮，設定一定之主要被攝體判定 期間，在該期間內，將時間穩定度之計數器CNT(n)之值為最大的領域AR、或所定以上之值的1或複數個領域AR，當作步驟F120之最終判定處理的對象，而判定成主要被攝體的處理例。
<5.第2實施形態>
說明第2實施形態。第2實施形態係為，當作為攝像裝置10之攝像方向是有運動的情況下(攝像方向變動中)，則如第1實施形態般地基於向量比較來進行主要被攝體判定。另一方面，當攝像裝置10的攝像方向是靜止或不怎麼運動的情況下，則針對從影像資料所抽出的候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，在候補影像當中判定主要被攝體，是進行如此處理的例子。
將第2實施形態中的主要被攝體判定部30a的機能構成，示於圖11。
主要被攝體判定部30a係例如以軟體所致之機能構成而如圖11所示般地具備：本地向量取得部51、全域向量取得部52、領域個別比較部53、最終判定部54、位置狀態判定部55、穩定存在度算出部56、動作狀態判定部57。
本地向量取得部51、運動向量偵測部27、領域個別比較部53、係和第1實施形態的圖4相同機能。
位置狀態判定部55、穩定存在度算出部56，係用來進行穩定存在度判定模式之主要被攝體判定處理所需的機能。
位置狀態判定部55，係從圖3所示的候補偵測部28，收取候補影像資訊。然後，針對候補影像資訊所示的候補影像，判定其在攝角空間內的位置狀態。
穩定存在度算出部56係根據位置狀態判定部55所判定出來的各畫格中的候補影像之位置狀態，針對各候補影像，求出跨越複數畫格之影像資料內的穩定存在度。
動作狀態判定部57，係判定目前的攝像裝置10之動作狀態。亦即，是處於攝像裝置10的攝像方向有運動的攝像方向變動中，或是攝像裝置10的攝像方向是靜止或不怎麼運動的狀態，係根據例如來自感測器部14的角速度、加速度偵測值，來做判定。
最終判定部54係基於領域個別比較部53的比較結果，或來自穩定存在度算出部56的穩定存在度之算出結果，來進行主要被攝體的最終判定，輸出主要被攝體資訊Dm。
逐步說明被此種機能構成之主要被攝體判定部30a所執行的處理。
控制部30(主要被攝體判定部30a的動作狀態判定部57)，係例如持續或隨時進行圖12之處理，進行主要被攝體判定所需之模式設定。
圖12的步驟F150中，控制部30係判斷是否為攝像 方向變動中。此判斷係只要在來自感測器部14的角速度或加速度之偵測值是在所定量以內就進行即可。
攝像方向變動中，亦即偵測到使用者以橫 搖、縱搖、或隨機運動的方式來改變攝像裝置10的攝像方向之狀況時，則控制部30係前進至步驟F151，設成向量比較判定模式。
另一方面，並非攝像方向變動中，亦即攝像裝置10是呈靜止，或只是偵測到攝像方向大致以一定的微小運動(例如手振、些微的攝像方向調整等)的情況下，係控制部30係前進至步驟F152，設定成穩定存在度判定模式。
於控制部30(主要被攝體判定部30a)中開始主 要被攝體判定處理時，係隨應於此圖12之處理所致之模式設定，選擇主要被攝體判定的演算法。
在某時點上開始主要被攝體判定處理之際， 若已被設定成向量比較判定模式，則控制部30(主要被攝體判定部30a)，係藉由圖11的本地向量取得部51、全域向量取得部52、領域個別比較部53、最終判定部54的機能，以上記第1實施形態所說明之處理，來進行主要被攝體判定。
另一方面，在開始主要被攝體判定處理之際，若已被設定成穩定存在度判定模式，則控制部30(主要被攝體判定部30a)，係藉由位置狀態判定部55、穩定存在度算出部56、最終判定部54之機能，用以下說明的穩定存在度判定模式的演算法，來進行主要被攝體判定。
以下說明，穩定存在度判定模式下的主要被 攝體判定處理。
此外，在穩定存在度判定模式的處理中，是使用「穩定存在度」來作為自動的主要被攝體判定之指標的值。
所謂此「穩定存在度」，係指在攝角空間(後述)內某個被攝體是位置上處於所定狀態之頻率加以表示的值。係為一指標值，可以用來判定例如是否在影像內以時間性高確實度處於所定之位置狀態。
亦即主要被攝體之候補的候補影像，是用來表示候補影像在攝角空間內之位置狀態，是存在於某個所定位置狀態的累積時間或持續時間、或平均性存在度等的值，被當作該「穩定存在度」而計算的例如累積時間或持續時間越高的影像，係可推定成攝像者主要瞄準的被攝體。
此外上記所謂的「攝角空間」，係意味著攝像影像中所呈現的空間。主要意思是攝像影像中的作為畫面平面的2維空間，或意味著被攝體對於攝像時之相機位置的相對距離的3維空間的意思。
說明在攝像裝置10中，控制部30(主要被攝 體判定部30a)所執行的穩定存在度判定模式下的主要被攝體判定處理。
穩定存在度判定模式下的主要被攝體判定處理的粗略之處理例係以圖13來說明，之後以圖14~圖17來說明具體的處理例。
圖13中圖示了穩定存在度判定模式的主要被 攝體判定處理。
步驟F10中，控制部30(主要被攝體判定部30a)，係將來自圖3所說明之候補偵測部28的某1個畫格的候補影像框資訊，予以擷取。
步驟F11中，控制部30係針對所擷取之候補影像框資訊所示的1或複數個各候補影像框，進行各個攝角空間內的位置計算然後判定位置狀態。
所謂「位置狀態」，係指影像資料中的候補影像在攝角空間內的絕對或相對位置之狀況的總稱。
作為「位置狀態」的具體例係有：
‧與攝角空間內的某判定基準點之相對距離
‧對攝角空間內的某判定基準領域的相對位置關係或相對距離
‧在攝像影像之二維平面內的候補影像之位置
‧被攝體距離(被攝體對攝像時之相機位置的相對距離)
‧被攝體距離與判定基準點或判定基準領域的相對位置關係等等。
此處假設為，判定候補影像相對於被設定在攝角空間內之判定基準點的距離，來作為位置狀態。
在步驟F12中，控制部30係針對各候補影像 框，計算穩定存在度。此時，控制部30係算出位置狀態是滿足所定條件的累積時間資訊，來作為穩定存在度。 又，控制部30，係算出位置狀態是持續而滿足所定條件的持續時間資訊，來作為穩定存在度。
此外，穩定存在度的算出時，作為算出的條件，係也可使用候補影像在攝角空間內的位置資訊、或候補影像的尺寸資訊。
在步驟F13中，控制部30係使用穩定存在度 來判定主要被攝體。
此處步驟F13中的判定係為，將穩定存在度是從主要被攝體判定開始起最早達到所定值的候補影像，判定為主要被攝體的處理。又係為，將穩定存在度之值是在主要被攝體判定期間內呈最高的候補影像，判定為主要被攝體的處理。
又，在主要被攝體的判定時，除了穩定存在度之值，還會採用候補影像在攝角空間內的位置資訊、或候補影像的尺寸資訊。
在穩定存在度之值已達所定值之候補影像尚 未存在的時點，或尚未經過所定之主要被攝體判定期間，該當期間中的穩定存在度之值為最高之候補影像尚無法選定的時點上，在步驟F13之處理中，係還沒有辦法判定為主要被攝體。此時，控制部30係從步驟F14返回F10，重複各處理。亦即，以候補偵測部26擷取下個進行處理之畫格的候補影像框資訊，進行同樣的處理。
在某個時點上發現穩定存在度之值到達所定 值之候補影像的時候，或是經過所定之主要被攝體判定期 間，該當期間中的穩定存在度之值為最高之候補影像係成功選定的時點上，控制部30係從步驟F14前進至F15。然後，將步驟F13中所判定出來的候補影像，設定成主要被攝體。
此外，以上圖13的主要被攝體判定處理，係在進行主要被攝體判定的期間中，一面擷取候補影像資訊，一面執行判定的處理態樣。
除此此外，在某期間中，進行候補影像資訊的擷取(緩衝)。然後，一旦經過了該當期間，則使用所擷取之候補影像資訊來進行主要被攝體判定的處理態樣，也可被考慮。
接著說明，相當於以上圖13的主要被攝體判定處理的具體處理例。
在以下的具體例中，作為候補影像框的位置狀態，係求出與已設定之判定基準點的距離。
又，作為關於各候補影像框的穩定存在度，係算出滿足位置狀態(與判定基準點之距離)是在所定閾值以內此一條件的累積時間資訊。
又，假設將穩定存在度是從主要被攝體判定開始起最早達到所定值的候補影像，判定為主要被攝體。
此處，首先以圖14、圖15、圖16來分別說明候補影像框、與判定基準點之距離、穩定存在度。
圖14係模式性圖示，圖3所示之候補偵測部28所進行的候補影像框的抽出動作。
在圖14中係圖示了，藉由攝像裝置10的光學系11、成像器12之動作，而被輸入至數位訊號處理部20的攝像影像訊號的各畫格FR1、FR2、FR3‧‧‧。候補偵測部28，係對如此被依序輸入的連續之各畫格之各者(或間歇性的各畫格)，進行候補影像之偵測。
例如如圖示，針對畫格FR1，若有3人的人存在時，則將各自的臉部影像部分視為候補影像而予以抽出，將關於該候補影像框E1、E2、E3的候補影像框資訊，予以輸出。例如候補影像框E1的候補影像框資訊，係為例如該候補影像框E1在影像內的位置資訊(x、y位置資訊、被攝體距離資訊)、尺寸資訊(框的寬度、高度、像素數)、屬性資訊等。
候補偵測部28，係針對候補影像框E2、E3也會生成此種候補影像框資訊，交付給控制部30(主要被攝體判定部30a)。
針對後續的畫格FR2、FR3‧‧‧也同樣如此，候補偵測部28係進行候補影像的抽出，針對各個候補影像框，生成候補影像框資訊而交付給控制部30(主要被攝體判定部30a)。
控制部30，係在每次擷取各畫格的候補影像框資訊，就針對各候補影像框算出與判定基準點之距離，來作為位置狀態。
圖15A係圖示了判定基準點SP的例子。此係將影像中央當作判定基準點SP的例子。假設判定基準點SP的 xy座標值為(Cx,Cy)。
例如在畫格FR1的時點上，候補影像框E1,E2,E3之各自的候補影像框資訊被擷取時，控制部30，係算出圖示的各候補影像框E1,E2,E3的重心G起至判定基準點SP之距離Diff1、Diff2、Diff3。
此外，判定基準點SP被設在畫面中央係僅為一例。
亦可例如圖15B所示，在比中央偏左上方之位置，設定判定基準點SP。例如在考量靜止影像之構圖時，通常認為在此種非中央之位置上配置主要被攝體係為較佳。
該圖15B的情況也是，算出各候補影像框(例如E4、E5)與判定基準點SP之距離(例如Diff4、Diff5)。
判定基準點SP係可像是例如圖15A、圖15B般地設定在固定位置，亦可藉由使用者在顯示畫面上的觸控操作等而任意地指定。又，亦可在顯示部34的畫面上對使用者提示數個判定基準點的候補點，由使用者來選擇。甚至亦可考量，隨著影像內容、影像解析結果等而由控制部30來考慮構圖等然後判定最佳的位置，進行自動設定。
亦即關於判定基準點SP係為：
‧在影像中央位置，或從中央偏離之位置等，設定在預先決定的固定位置。
‧使用者任意指定。
‧向使用者提示數個候補點，由使用者來選擇而設 定。
‧控制部30隨應於影像內容來判定最佳位置，自動進行可變設定。
可考慮這些。
作為關於候補影像框E(n)之位置狀態的距離Diff(n)，係在各畫格的時點上依序求出。
圖16係假設候補影像框E1,E2,E3是持續某期間而存在於畫格(FR1,FR2‧‧‧)內，表示所被算出之距離Diff1、Diff2、Diff3的變動之樣子。
例如，想定攝像者以攝像裝置10，在某段期間中，拍攝3人的被攝體之情形。3人的各人，係各自活動，或是攝像者會移動攝像裝置10的被攝體方向、或是手晃等等，而導致在時間軸上，所被算出之各距離Diff1、Diff2、Diff3係有所變動。
在後述的圖17的處理例中，所謂穩定存在度，係為靠近判定基準點SP之狀態的累積時間。因此「靠近/不靠近」的判定，是使用距離閾值Thr-diff。
圖16的下部係圖示了，距離Diff1、Diff2、Diff3之各時點上的是否在距離閾值Thr-diff以內之判定結果。若距離Diff(n)是距離閾值Thr-diff以下，則認為靠近=「1」。
將該判定結果「1」在各時點上進行累積加算後的結果，就成為處理例1中的穩定存在度。
從判定開始至判定結束為止的期間，係隨著 具體的處理例而不同。在後述圖17的處理例中，距離閾值Thr-diff以下之判定結果「1」的累積加算值，係為表示至該時點為止的穩定存在之程度的累積時間，但發現了該累積時間到達所定值之候補影像的時點，就是判定結束的時序。
例如在圖16的例子中，候補影像框E3係持續被判定為「1(=靠近判定基準點SP)」，但在該累積加算值到達某所定值的時點上，判定就被結束，候補影像框E3就被判定成主要被攝體。
此外，此處係假設忽略持續性。例如圖16中的候補影像框E2的距離Diff2，係隨著時點而有「1」「0」之判定，但由於也僅為累積時間，因此當「1」的狀況較多，累積時間是比其他候補影像框更早到達所定值的情況下，候補影像框E2也有可能被判定成主要被攝體。
但是，當然也可考慮把持續性當作穩定存在度之條件來使用的例子。
以圖17來說明控制部30的穩定存在度判定模式下的主要被攝體判定處理的具體例。
控制部30，係一旦於穩定存在度判定模式下開始主要被攝體判定處理，則首先在步驟F401中令計數值Cnt(m)=0。
計數值Cnt(m)係為，上述的與距離Diff之距離閾值Thr-diff的比較判定結果之值予以加算的計數器之值。
此外「m」係表示自然數1,2,3‧‧‧，計數 值Cnt(m)係如候補影像框E1,E2,E3這樣，對所被偵測出來的候補影像框E(m)，分別設定對應之計數值。例如當真測出3個候補影像框E1,E2,E3時，作為計數值係使用Cnt1、Cnt2、Cnt3。在流程圖的說明上，所謂關於計數值Cnt(m)的處理，係為例如分別以Cnt1、Cnt2、Cnt3為對象之處理，這點請先理解。
又，同樣地，所謂距離Diff(m)，係代表3個候補影像框E1,E2,E3的從判定基準點SP起算之距離Diff1、Diff2、Diff3的總稱，所謂關於距離Diff(m)之處理，係表示例如針對距離Diff1、Diff2、Diff3之各者的處理的意思。
又，候補影像框E(m)係表示候補影像框E1, E2,E3‧‧‧，但其係跨越複數畫格，按照被攝體別而被區別，較為理想。例如若以候補偵測部26抽出臉部為例，則當人物A、人物B、人物C是被攝體的情況下，在各畫格中會共通地，人物A的臉部影像部分係被設成候補影像框E1、人物B的臉部影像部分係被設成候補影像框E2、人物C的臉部影像部分係被設成候補影像框E3。即使在中途的某個畫格時，變成只有人物D是納入被攝體之狀態，人物D的臉部影像部分就會變成候補影像框E4。 因此可以設計成，候補偵測部26係不只是單純地偵測出「臉部」而已，還會進行個體(個人)判別。
步驟F402中，控制部30係將來自候補偵測 部28的某個畫格的候補影像框資訊，予以擷取。例如針 對各候補影像框E(m)，作為位置資訊，會取得影像資料的二維(x-y)座標值的x值、y值、作為尺寸資訊而取得候補影像框的寬度w、高度h之資訊。
此外，在候補影像框資訊中亦可包含，被攝體距離(對上記二維(x-y)座標平面正交之z軸方向之值所表示的、對相機位置的被攝體之相對距離：z值)或像素數等。
在步驟F403中，控制部30係針對各候補影像框E(m)，算出重心G的座標。
例如假設藉由候補影像框資訊，作為候補影像框的x,y座標值，是被賦予了方形之候補影像框的左上頂點之座標值。令該x,y座標值為(E(m)_x,E(m)_y)。又如圖15所示，x,y座標係以畫面平面的左上為原點O(x,y座標值係為(0,0))。
又，令候補影像框E(m)的寬度w為E(m)_w、高度h為E(m)_h。
然後，若令候補影像框E(m)的重心G的座標值為(E(m)_cx,E(m)_cy)，則重心G的座標值係為：E(m)_cx=E(m)_cx+E(m)_w/2
E(m)_cy=E(m)_cy+E(m)_h/2
以此方式而被求出。
在步驟F404中，控制部30係算出從各候補影像框E(m)之重心G至判定基準點SP的距離Diff(m)。判定基準點SP的座標值(Cx,Cy)係藉由：Diff(m)=√{(E(m)_cx-Cx)2+(E(m)_cy-Cy)2} 以此方式而被求出。
在步驟F405、F406,F407中，控制部30係確認各候補影像框E(m)的距離Diff(m)是否滿足所定條件。
亦即到判定基準點SP為止的距離Diff(m)，是否靠近判定基準點SP，是使用距離閾值Thr-diff來進行判定。
因此控制部30係在步驟F405中，比較各候補影像框E(m)至判定基準點SP的距離Diff(m)與距離閾值Thr-diff，若Diff(m)<Thr-diff則在步驟F406中設旗標Flg(m)=1(靠近)。又若非Diff(m)<Thr-diff則在步驟F407中設定旗標Flg(m)=0(不靠近)。
接著在步驟F408、F409中，控制部30係算出各候補影像框E(m)的穩定存在度。此情況下，在步驟F408中，針對各候補影像框E(m)，確認是否旗標Flg(m)=1，若旗標Flg(m)=1，則在步驟F409中將計數值Cnt(m)予以增值(+1加算)。若旗標Flg(m)=0，則計數值Cnt(m)係不變更。
該計數值Cnt(m)，係為上述作為累積加算值的穩定存在度之值。亦即，是表示候補影像框E(m)「靠近」於判定基準點SP之狀態之頻率的值。
接著，在步驟F410中控制部30係確認各候補影像框E(m)的計數值Cnt(m)，是否到達計數閾值CTthr。
若非Cnt(m)≧CTthr，亦即各候補影像框E(m)的計數值Cnt(m)的任一者均未到達計數閾值CTthr，則返回步驟 F402。此情況下，基於針對下個畫格而被輸入的候補影像框資訊，和上記同樣地執行步驟F402以後的處理。
穩定存在度所致之主要被攝體判定，係持續 某個時間長而判定，因此若在某程度之時間(畫格數)中，尚未經歷針對候補影像框資訊的處理，則如上述般地從步驟F410返回步驟F402而重複處理。
此處，假設例如圖16所示，某個候補影像框 E3係可為非連續，但在複數畫格當中以高頻率而在攝像影像上存在於靠近判定基準點SP之位置的狀態。如此一來隨著時間演進，候補影像框E3的計數值Cnt3的步驟F409中的增值之機會會發生較多，計數值Cnt3是比計數值Cnt1、Cnt2前進的還要快。
如此一來，在某時點上，計數值Cnt3會最先到達計數閾值CTthr。
此種情況下，控制部30係令處理從步驟F410前進至F420。
步驟F420中，控制部30係將計數值Cnt(m) 已經到達計數閾值CTthr的候補影像框E(m)判定成主要被攝體，進行主要被攝體設定。
然後在步驟F430中，控制部30係將主要被攝體資訊Dm予以輸出，結束主要被攝體判定處理。
若依據以上圖17的處理例，則使用者將主要 想拍攝的被攝體，儘可能地靠近影像中央等之判定基準點SP的狀態下，拿著攝像裝置10(追隨被攝體)，該當被攝 體就會被自動判定成為主要被攝體。
尤其是穩定存在度判定模式下的主要被攝體判定處理，係以「靠近」於判定基準點SP之狀態的累積時間，來判定穩定存在度。若為處於運動狀況的被攝體、或動物等運動較快的被攝體的情況下，有些時候，攝像者想要把主要之被攝體持續放在影像中央達某程度之時間(例如就算是數秒也好)，是有困難的。又，隨著攝像者的攝像技術，有時候會因為手晃劇烈等等，導致被攝體難以維持在影像中央。即使在這類情況下，仍可藉由使用累積時間，就能比較迅速地進行主要被攝體判定。
因此對於以運動較快之被攝體為對象時，或是對比較不熟練的使用者而言，也很理想。
又，主要被攝體判定處理係並非一定要進行一定時間，而是在主要被攝體判定時點上就結束處理，因此隨著被攝體或攝像者的技術，可以迅速地完成主要被攝體判定，還具有如此優點。
此外，作為穩定存在度判定模式下的主要被攝體判定處理的具體處理例，亦可有其他各種考量。
例如，亦可為，作為關於各候補影像框的穩定存在度，係算出持續滿足位置狀態(與判定基準點之距離)是在所定閾值以內此一條件的持續時間資訊。若藉由持續時間來評估是否為穩定存在，則當以運動較少的被攝體為對象時，可容易把對象被攝體持續維持在影像中央等，因此能夠正確設定使用者所期望之主要被攝體的可能性較高。 又，隨著攝像者的技術，可以將主要想拍攝的被攝體持續維持在畫面中央等(靠近判定基準點SP之位置)，因此能夠正確將攝像者所希望之被攝體判定為主要被攝體的機率較高。亦即，攝像技能純熟者，或隨著被攝體不同，能將使用者期望之被攝體判定為主要被攝體的可能性會更高。
又，亦可對穩定存在度之算出，進行加權。 例如，主要被攝體判定處理的執行期間的越後面的時點，則靠近於判定基準點SP這件事情的價值就變得越重等等。
一般當攝像者瞄準被攝體而拿著相機時，無法將最初希望當作主角的被攝體馬上放在中央等之所望位置，攝像者會緩緩調整相機的朝向。若考慮這點，則最初攝像者想要視為「主要被攝體」的被攝體，是會隨著時間演進而被緩緩移到影像中央。
因此，在主要被攝體判定處理的執行中，時間越前進，則靠近於判定基準點SP的價值會變重，能夠成為吻合於攝像者之想法的主要被攝體判定的可能性就會提高。
又，針對穩定存在度之算出，亦可除了距離Diff(m)是否為距離閾值Thr-diff以下之條件以外，加入其他條件。例如亦可加入，被攝體距離是所定範圍內、尺寸是所定範圍內、是特定之影像種別等條件。
又，也可考慮，設定一定之主要被攝體判定期間，將穩定存在度之值為最高的候補影像，判定成主要被攝體的處理例。
又，在上述的處理例中，作為候補影像框的 位置狀態，係為與已設定之判定基準點的位置關係，但亦可為與判定基準領域的位置關係。
例如，設定影像中央等的正方形或圓形等之領域，將其當成判定基準領域。所謂各候補影像框E(m)與判定基準領域之位置關係，係為例如：
‧重心是否進入判定基準領域
‧全體是否進入判定基準領域
‧至少一部分是否進入判定基準領域
‧與判定基準領域外緣的距離是否為所定以內等等。
亦可用如此的位置關係之條件，來求出穩定存在度。
又，作為針對各候補影像框的穩定存在度，係亦可算出位置狀態(例如與判定基準點之距離)的平均值(平均距離)。平均距離係為表示，從時間來看以高頻率處於靠近於判定基準點之位置狀態的指標。例如所謂「平均距離之值較小」，係和上述處理例所述「累積時間較長」的意思相同。然後，亦可將平均距離為最小，且其係滿足在所定閾值以內此一條件的候補影像框，判定為主要被攝體。
在以上的第2實施形態中，控制部30(主要被攝體判定部30a)，係針對相當於攝像方向變動中的影像資料，係基於具有對全域向量GV而被判定為非類似之本地向量LV的領域來判定主要被攝體。
然後在將相當於攝像方向變動中以外的影像資料當作主要被攝體判定處理之對象之際，係針對從影像資料所抽出的候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，在候補影像當中判定主要被攝體。
亦即，隨著攝像裝置10本身有運動和沒運動，而會切換主要被攝體判定的演算法。
例如橫搖中、縱搖中等，攝像方向變動中係追隨著某目的被攝體、尤其是運動中的被攝體之情形的可能性很高，此種情況下，特別是使用運動向量之主要被攝體判定是適切的。
可是當攝像裝置10本身是靜止時，或使用者不怎麼改變攝像裝置10的攝像方向而架好的狀態等，使用者所瞄準的主要被攝體，係被推定為不怎麼有運動。此種情況下，該目的被攝體的影像上之領域的本地向量LV、和全域向量GV的差，就會變得不明確。於是，此種情況係將主要被攝體判定的演算法，切換成穩定存在度判定模式之處理。穩定存在度判定模式之處理，係由上述說明可知，是以位置狀態的穩定性為指標，因此適合對於靜止的被攝體來進行主要被攝體判定。
亦即若依據第2實施形態，則隨應於攝像裝置10的狀況，來執行適切的主要被攝體判定處理，可實現更適切的主要被攝體判定。
<6.第3實施形態>
說明第3實施形態。第3實施形態，係以和向量比較判定模式同樣之處理，求出主要被攝體之候補的領域，基於其來設定候補影像，使用候補影像，以和穩定存在度判定模式同樣之處理來進行主要被攝體判定。
將第3實施形態中的主要被攝體判定部30a的機能構成，示於圖18。
主要被攝體判定部30a係例如以軟體所致之機能構成而如圖18所示般地具備：本地向量取得部51、全域向量取得部52、領域個別比較部53、最終判定部54、位置狀態判定部55、穩定存在度算出部56、候補偵測部58。
本地向量取得部51、運動向量偵測部27、領域個別比較部53、係和第1實施形態的圖4相同機能。
但是領域個別比較部53的偵測結果，係被交付給候補偵測部58。候補偵測部58，係和圖3所示之候補偵測部28相同機能。此處候補偵測部58係被表示成控制部30內的機能，但亦可構成為如圖3所示是數位訊號處理部20中的候補偵測部28。
位置狀態判定部55、穩定存在度算出部56，係用來進行穩定存在度判定模式之主要被攝體判定處理所需的機能，是和圖11中所說明的相同。位置狀態判定部55係從候補偵測部28收取候補影像框資訊。然後穩定存在度算出部56係針對各候補影像框資訊所示的候補影像，算出穩定存在度。
最終判定部54，係基於穩定存在度算出部56的處理結果來進行主要被攝體判定。
此第3實施形態的主要被攝體判定處理，示於圖19。
控制部30(主要被攝體判定部30a)，係首先作為步驟F100是進行向量比較判定處理。
該所謂向量比較判定處理，係為圖9中以單點鍊線所圍繞之步驟F101~F118之處理。雖然避免重複說明，但藉由此向量比較判定處理，被判定為本地向量LV相對於全域向量GV是穩定性非類似之領域的資訊，亦即時間穩定度判定旗標J(n)之資訊，會被獲得。
在步驟F200中，控制部30係藉由候補偵測部58的機能，從時間穩定度判定旗標J(n)=1的領域AR中抽出影像。
例如控制部30係針對已被設成時間穩定度判定旗標J(n)=1的領域AR的影像，進行臉部影像偵測、人體影像偵測等而抽出影像。
臉部偵測，人體偵測等，可藉由對攝像影像資料進行影像解析的圖案比對之手法等來實現。藉由抽換圖案比對時所使用的字典，亦可成為犬臉偵測、貓臉偵測等方式而抽出影像。
又，亦可考慮使用前後畫格中的該當領域AR之影像，例如以畫格差分所致之運動體偵測之手法，偵測出運動體，抽出該當運動體之影像；亦可採用一種稱作顯著圖 (Saliency)的注視領域抽出之手法。影像的抽出、選定之手法係可有多種考量。
在步驟F300中，控制部30，係將如此抽出的1或複數個影像，視為主要被攝體之候補的候補影像(候補影像框E(m))。
步驟F400中，控制部30係藉由位置狀態判 定部55及穩定存在度算出部56的機能，針對如上記所被設定的候補影像(候補影像框E(m))，進行穩定存在度算出處理。此步驟F400，係為圖17中被單點鍊線所圍繞之步驟F401~F410之處理。避免重複說明，但某時點上會從步驟F410，前進至步驟F420。
圖19的步驟F420、F430也是和圖17的步驟F420、F430相同。
亦即圖17所述之穩定存在度的計數值Cnt(m)已經到達計數閾值CTthr的候補影像框E(m)判定成主要被攝體，進行主要被攝體設定。
然後在步驟F430中，控制部30係將主要被攝體資訊Dm予以輸出，結束主要被攝體判定處理。
如以上所述，在第3實施形態中，控制部30(主要被攝體判定部30a)，係在畫面分割而成之各領域AR1~AR20當中，將已被判定為本地向量LV相對於全域向量GV呈非類似之領域的影像，當作候補影像。然後針對各候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，在候補影像當中判定主要被攝 體。
若依據此種第3實施形態，則可先用向量比較判定處理粗略地偵測出主要被攝體之候補，其後，從候補影像之中，以穩定存在度判定模式之處理進行精確度高的主要被攝體判定。
藉由執行向量比較判定處理與穩定存在度判定處理之雙方，可實現高精度的主要被攝體判定。
<7.對程式及電腦裝置之適用>
以上說明了影像處理裝置1、攝像裝置10的實施形態，但上述的主要被攝體判定處理，係可藉由硬體來執行，也可藉由軟體來執行。
實施形態的程式係為，令例如CPU(Central Processing Unit)、DSP(Digital Signal Processor)等之演算處理裝置，執行上述實施形態所示之處理所需的程式。
亦即此程式係為，令演算處理裝置執行：取得表示影像全體之運動的全域運動之資訊；取得表示影像中的各領域之運動的本地運動之資訊；基於全域運動與本地運動之比較結果來判定主要被攝體之處理的程式。
具體而言，實施形態的程式，係只要是令演算處理裝置執行圖2、圖9、或圖19所示之處理的程式即可。
藉由此種程式，就可使用演算處理裝置來實現執行上述主要被攝體判定處理的裝置。
此種程式係可預先被記錄在內建於電腦裝置等之機器中的做為記錄媒體之HDD、或具有CPU的微電腦內的ROM等中。
又或者可暫時性或永久性地被儲存(記錄)在軟碟片、CD-ROM(Compact Disc Read Only Memory)、MO(Magnet optical)碟、DVD(Digital Versatile Disc)、藍光碟片、磁碟、半導體記憶體、記憶卡等可移除式記錄媒體中待用。此種可移除式記錄媒體，係可以所謂套裝軟體的方式來提供。
又，此種程式係除了從可移除式記錄媒體安裝至個人電腦等以外，還可從下載網站，透過LAN(Local Area Network)、網際網路等之網路而下載。
又若依據此種程式，則可適合於實施形態之影像處理裝置的廣泛提供。例如，藉由將程式下載至個人電腦、攜帶型資訊處理裝置、行動電話機、遊戲機器、視訊機器、PDA(Personal Digital Assistant)等中，就可使該當攜帶型資訊處理裝置等，變成本揭露之影像處理裝置。
例如，在如圖20所示的電腦裝置中，就可執行和圖1之影像處理裝置1或攝像裝置10的主要被攝體判定處理相同的處理。
圖20中，電腦裝置70的CPU71，係聽令於ROM72內所記憶之各種程式，或從記憶部78載入至RAM73之程式，而執行各種處理。RAM73中，還適宜地記憶著CPU71在執行各種處理時所必需的資料等。
CPU71、ROM72、及RAM73，係透過匯流排74而彼此連接。該匯流排74，係還連接著輸出入介面75。
輸出入介面75上，係連接著由鍵盤、滑鼠等所成之輸入部76、由CRT(Cathode Ray Tube)或LCD、或有機EL面板等所成之顯示器、以及油揚聲器等所成之輸出部77、由硬碟等所構成之記憶部78、由數據機等所構成之通訊部79。通訊部79，係透過包含網際網路的網路而進行通訊處理。
輸出入介面75上係還因應需要而連接驅動機80；可適宜裝著磁碟、光碟、光磁碟、或者半導體記憶體等之可移除式媒體81，從其中所讀出之電腦程式，是可依照需要而被安裝至記憶部78中。
在以軟體來執行上述的主要被攝體判定處理時，構成該軟體的程式，係可從網路或記錄媒體來安裝。
該記錄媒體，係如圖20所示，是有別於裝置本體，是由用來對使用者配送程式而發佈之、記錄著程式之磁碟(包含軟碟片)、光碟(包含藍光碟片(Blu-ray Disc(註冊商標)、CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc))、光磁碟(包含MD(Mini Disc))、或者是由半導體記憶體等所成之可移除式媒體81所構成。或者，亦可由以預先組裝在裝置本體中之狀態而配送給使用者的記錄有程式之ROM72、或包含在記憶部78裡的硬碟等來構成。
此種電腦裝置70，係藉由通訊部79所致之收 訊動作，或驅動機80(可移除式媒體81)或是記錄部78的再生動作等，而輸入了動畫資料之際，CPU71就會基於程式而執行上述主要被攝體判定部(2,30a)的機能。亦即，藉由執行如圖2、圖9、圖19所示的處理，就可針對所被輸入之影像資料，在自動地進行主要被攝體判定。
<8.變形例>
上述的實施形態，係可考慮有各種變形例。
首先針對向量比較判定處理，雖然是比較本地向量LV與全域向量GV的向量值(方向及量)，但亦可考慮僅比較方向、或僅比較量(純量)的例子。
僅比較方向的情況下，係可為，例如，判定本地向量LV與全域向量GV這2個向量的夾角θ，是否為所定角度以上，設定向量非類似旗標F(n)的此種處理。
純量比較時也同樣地，只要設計成判定本地向量LV與全域向量GV的純量值的差分是否為所定值以上，設定向量非類似旗標F(n)之處理即可。
領域AR的分割亦可做多樣考量。
上記例係說明領域AR1~AR20的20分割之例子，但分割數當然沒有限定。亦可為4分割、6分割、8分割、9分割‧‧‧30分割、40分割等。
領域的分割數越多，本地向量LV與全域向量GV的比較處理負擔會越增加，但當變焦狀態或被攝體較小等情況下，也可進行高精確度的主要被攝體判定。反之分割數 越少則處理負擔會越輕。
分割的領域，係亦可並非全部都是同一面積或同一領域形狀。亦可考慮例如影像的端部係將1領域設成廣範圍，畫面的中央部係分割成細緻領域等。若考量主要被攝體存在之位置是在畫面中央附近的機率較高，則在畫面中央部做細緻的領域分割，是適切的。
又，亦可考慮進行臉部偵測等之處理，將臉部領域視為1個領域AR來使用的例子。例如在數個被偵測到的臉部領域當中，將其本地向量是與全域向量不同的臉部領域，判定成主要被攝體。
向量比較判定處理中所使用的閾值Th+,Th-(參照圖7，圖8、圖9的步驟F107)、時間穩定度判定所需之所定時間Tj(參照圖9的步驟F114)之設定，係隨應於攝像裝置10或影像處理裝置1的產品、使用樣態等來適宜變更，較為理想。又，亦可設計成可讓使用者設定所定的值。
藉由閾值Th+,Th-之設定，就可變更認定主要被攝體之影像的基準。又，藉由所定時間Tj之設定，就可選擇是要讓迅速的判定優先，還是要讓精確度高的判定優先。
亦可考慮將第2、第3實施形態予以組合的處理例。
例如橫搖中等情況且以圖12之處理而被設成向量比較判定模式時，係進行第3實施形態之處理，當已被設成 穩定存在度判定模式時，係進行圖17之處理的例子。
又，雖然說明了，主要被攝體資訊係亦可利用於影像效果處理或影像編輯處理，但為此而以再生影像為對象來進行主要被攝體判定處理，也很合適。
此種以再生影像為對象的主要被攝體判定處理，係在圖1的影像處理裝置、圖20的資訊處理裝置等中，也是當然被想定。
又，針對主要被攝體判定處理的結果，亦可對其後所拍攝的已被記錄之靜止影像資料或動畫資料，當作詮釋資料(metadata)而予以附加。亦即將表示主要被攝體之資訊，附加至靜止影像檔案等。
又，亦可設計成，在顯示透視檢視影像、同時進行主要被攝體判定處理的期間中，讓攝像者之操作所致之主要被攝體指定操作成為可能。
又，在實施形態中，雖然主要想定了靜止影像攝影來說明判定主要被攝體的處理，但即使在動畫攝像所需的待機中、或是動畫攝像及記錄執行中，作為從所拍攝之複數畫格中進行主要被攝體判定的處理，亦可適用上記實施形態之處理。
此外，本技術係亦可採取如下之構成。
(1)一種影像處理裝置，其特徵為，具備：全域運動偵測部，係偵測出表示影像全體之運動的全域運動；和本地運動偵測部，係偵測出表示影像中的各領域之運 動的本地運動；和主要被攝體判定部，係基於上記全域運動與上記本地運動來判定主要被攝體。
(2)如上記(1)所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中判定出上記本地運動相對於上記全域運動呈非類似之領域。
(3)如上記(1)或(2)所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中判定出上記本地運動相對於上記全域運動呈穩定性非類似之領域。
(4)如上記(3)所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中，將被判定為在所定時間條件下呈持續性或累積性或平均性地非類似的領域，判定為穩定性非類似。
(5)如上記(1)至(4)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部，係基於被認為高信賴度之上記本地運動與上記全域運動，來判定主要被攝體。
(6)如上記(1)至(5)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中，將從已被判定為上記本地運動相對於上記全域運動呈非類似之領域中所抽出的影像，判定為主要被攝體。
(7)如上記(1)至(5)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當 中，將已被判定為上記本地運動相對於上記全域運動呈非類似之領域當中所選擇之領域的影像，判定為主要被攝體。
(8)如上記(1)至(7)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部，係將相當於攝像方向變動中的影像資料當作主要被攝體判定處理之對象之際，基於具有被判定為相對於上記全域運動呈非類似之上記本地運動的領域，來判定主要被攝體。
(9)如上記(8)所記載之影像處理裝置，其中，上記主要被攝體判定部，係將相當於攝像方向變動中以外的影像資料當作主要被攝體判定處理之對象之際，針對從影像資料所抽出的候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，從該候補影像中判定出主要被攝體。
(10)如上記(1)至(9)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中將已被判定為上記本地運動相對於上記全域運動呈非類似之領域的影像，當作候補影像，針對各候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，從該候補影像中判定出主要被攝體。
(11)如上記(1)至(10)之任一項所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中，偵測出上記全域運動較大而上記本地運動較小的情況下，基於被判定為上記本地運動相對於上記全域運動呈非 類似之領域，來判定主要被攝體。
(12)如上記(1)至(11)之任一項所記載之影像處理裝置，其中，上記本地運動，係指藉由影像解析處理而被偵測出來的影像中的各領域的本地向量；上記全域運動，係指使用各領域之本地向量而被偵測出來的全域向量。
(13)如上記(1)至(11)之任一項所記載之影像處理裝置，其中，上記全域運動偵測部，係以用來偵測獲得影像資料之攝像裝置之運動的運動感測器所形成。

Claims (15)

  1. 一種影像處理裝置，具備：全域運動偵測部，係偵測出表示影像全體之運動的全域運動；和本地運動偵測部，係偵測出表示影像中的各領域之運動的本地運動；和主要被攝體判定部，係基於上記全域運動與上記本地運動來判定主要被攝體。
  2. 如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中判定出上記本地運動相對於上記全域運動呈非類似之領域。
  3. 如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中判定出上記本地運動相對於上記全域運動呈穩定性非類似之領域。
  4. 如請求項3所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中，將被判定為在所定時間條件下呈持續性或累積性或平均性地非類似的領域，判定為穩定性非類似。
  5. 如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係基於被認為高信賴度之上記本地運動與上記全域運動，來判定主要被攝體。
  6. 如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中，將從已被判定 為上記本地運動相對於上記全域運動呈非類似之領域中所抽出的影像，判定為主要被攝體。
  7. 如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中，將已被判定為上記本地運動相對於上記全域運動呈非類似之領域當中所選擇之領域的影像，判定為主要被攝體。
  8. 如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係將相當於攝像方向變動中的影像資料當作主要被攝體判定處理之對象之際，基於具有被判定為相對於上記全域運動呈非類似之上記本地運動的領域，來判定主要被攝體。
  9. 如請求項8所記載之影像處理裝置，其中，上記主要被攝體判定部，係將相當於攝像方向變動中以外的影像資料當作主要被攝體判定處理之對象之際，針對從影像資料所抽出的候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，從該候補影像中判定出主要被攝體。
  10. 如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係在上記各領域當中將已被判定為上記本地運動相對於上記全域運動呈非類似之領域的影像，當作候補影像，針對各候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用該穩定存在度，從該候補影像中判定出主要被攝體。
  11. 如請求項1所記載之影像處理裝置，其中，上記 主要被攝體判定部，係在上記各領域當中，偵測出上記全域運動較大而上記本地運動較小的情況下，基於被判定為上記本地運動相對於上記全域運動呈非類似之領域，來判定主要被攝體。
  12. 如請求項1所記載之影像處理裝置，其中，上記本地運動，係指藉由影像解析處理而被偵測出來的影像中的各領域的本地向量；上記全域運動，係指使用各領域之本地向量而被偵測出來的全域向量。
  13. 如請求項1所記載之影像處理裝置，其中，上記全域運動偵測部，係以用來偵測獲得影像資料之攝像裝置之運動的運動感測器所形成。
  14. 一種影像處理方法，其係：偵測出表示影像全體之運動的全域運動；偵測出表示影像中的各領域之運動的本地運動；基於上記全域運動與上記本地運動來判定主要被攝體。
  15. 一種程式，係令演算處理裝置執行以下處理：取得表示影像全體之運動的全域運動之資訊；取得表示影像中的各領域之運動的本地運動之資訊；基於上記全域運動與上記本地運動來判定主要被攝體。
TW102107666A 2012-04-09 2013-03-05 影像處理裝置、影像處理方法、程式 TW201345242A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012088247A JP2015111746A (ja) 2012-04-09 2012-04-09 画像処理装置、画像処理方法、プログラム

Publications (1)

Publication Number Publication Date
TW201345242A true TW201345242A (zh) 2013-11-01

Family

ID=49327493

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102107666A TW201345242A (zh) 2012-04-09 2013-03-05 影像處理裝置、影像處理方法、程式

Country Status (4)

Country Link
US (2) US9648229B2 (zh)
JP (1) JP2015111746A (zh)
TW (1) TW201345242A (zh)
WO (1) WO2013153919A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474817A (zh) * 2017-09-06 2019-03-15 原相科技股份有限公司 光学传感装置、方法及光学侦测模块

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503028B (zh) * 2011-05-04 2017-03-15 斯泰克欧洲控股一有限责任公司 对图像的临床相关性进行自动检测和测试的系统和方法
JP5987306B2 (ja) * 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP6140935B2 (ja) * 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
WO2014109125A1 (ja) * 2013-01-09 2014-07-17 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP6295443B2 (ja) * 2013-03-26 2018-03-20 パナソニックＩｐマネジメント株式会社 画像生成装置、撮影装置、画像生成方法及びプログラム
US9762811B2 (en) * 2013-03-26 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Image generation device, imaging device, image generation method, and program for generating a new image from a captured image
CN108139335B (zh) * 2015-09-30 2020-09-25 富士胶片株式会社 图像登录装置、图像登录方法、图像登录系统及摄像终端
EP3359602A1 (en) * 2015-10-08 2018-08-15 OCV Intellectual Capital, LLC Post-coating composition for reinforcement fibers
US10055821B2 (en) * 2016-01-30 2018-08-21 John W. Glotzbach Device for and method of enhancing quality of an image
US9699371B1 (en) * 2016-03-29 2017-07-04 Sony Corporation Image processing system with saliency integration and method of operation thereof
JP6700929B2 (ja) * 2016-04-19 2020-05-27 キヤノン株式会社 動きベクトル検出装置、撮像装置、動きベクトル検出方法、プログラム、および、記憶媒体
JP2018010165A (ja) * 2016-07-13 2018-01-18 キヤノン株式会社 像振れ補正装置およびその制御方法、ならびに撮像装置
JP6878842B2 (ja) * 2016-11-09 2021-06-02 コニカミノルタ株式会社 画像処理装置、認証方法および認証プログラム
CN106875422B (zh) * 2017-02-06 2022-02-25 腾讯科技（上海）有限公司 人脸跟踪方法和装置
US10764499B2 (en) 2017-06-16 2020-09-01 Microsoft Technology Licensing, Llc Motion blur detection
CN109255797B (zh) * 2017-07-14 2021-08-06 富士通株式会社 图像处理装置及方法、电子设备
EP3707895B1 (en) 2018-03-11 2021-07-28 Google LLC Static video recognition
US11070729B2 (en) 2018-07-27 2021-07-20 Canon Kabushiki Kaisha Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus
CN114080796A (zh) 2019-07-12 2022-02-22 索尼集团公司 成像装置、成像方法和程序
KR20210019826A (ko) * 2019-08-13 2021-02-23 삼성전자주식회사 Ar 글래스 장치 및 그 동작 방법
JP2021197623A (ja) * 2020-06-12 2021-12-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
KR20210155284A (ko) * 2020-06-15 2021-12-22 한화테크윈 주식회사 영상처리장치
JP2022086311A (ja) * 2020-11-30 2022-06-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
WO2024049014A1 (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 촬영 구도를 제어하는 전자 장치 및 이의 제어 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187303A (ja) * 1997-12-22 1999-07-09 Canon Inc 画像処理装置および方法並びに記憶媒体
KR100393066B1 (ko) * 2001-06-11 2003-07-31 삼성전자주식회사 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
DE60314851D1 (de) * 2003-05-19 2007-08-23 St Microelectronics Sa Bildverarbeitungsverfahren für numerische Bilder mit Belichtungskorrektur durch Erkennung von Hautbereichen des Gegenstandes
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8149911B1 (en) * 2007-02-16 2012-04-03 Maxim Integrated Products, Inc. Method and/or apparatus for multiple pass digital image stabilization
JP2009033369A (ja) * 2007-07-26 2009-02-12 Sony Corp 記録装置、再生装置、記録再生装置、撮像装置、記録方法およびプログラム
US8482620B2 (en) * 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
JP2009290827A (ja) 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
JP2011146827A (ja) 2010-01-13 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011146826A (ja) 2010-01-13 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011160379A (ja) 2010-02-04 2011-08-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011166305A (ja) 2010-02-05 2011-08-25 Sony Corp 画像処理装置および撮像装置
JP5143172B2 (ja) 2010-03-19 2013-02-13 三洋電機株式会社 撮像装置及び画像再生装置
JP5246275B2 (ja) * 2011-01-25 2013-07-24 株式会社ニコン 撮像装置およびプログラム
US20150134651A1 (en) * 2013-11-12 2015-05-14 Fyusion, Inc. Multi-dimensional surround view based search

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474817A (zh) * 2017-09-06 2019-03-15 原相科技股份有限公司 光学传感装置、方法及光学侦测模块
CN109474817B (zh) * 2017-09-06 2020-11-17 原相科技股份有限公司 光学传感装置、方法及光学侦测模块

Also Published As

Publication number Publication date
US20150016683A1 (en) 2015-01-15
US10848662B2 (en) 2020-11-24
US20170214848A1 (en) 2017-07-27
JP2015111746A (ja) 2015-06-18
WO2013153919A1 (ja) 2013-10-17
US9648229B2 (en) 2017-05-09

Similar Documents

Publication Publication Date Title
TW201345242A (zh) 影像處理裝置、影像處理方法、程式
US11012614B2 (en) Image processing device, image processing method, and program
JP5867424B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5987306B2 (ja) 画像処理装置、画像処理方法、プログラム
JP6131948B2 (ja) 表示制御装置、表示制御方法、プログラム
TW201351980A (zh) 影像處理裝置、影像處理方法、程式
CN107439006B (zh) 使用激光自动聚焦减少散焦的方法和设备
US9942460B2 (en) Image processing device, image processing method, and program
JP2016201662A (ja) 撮像装置およびその制御方法
JP6274272B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2009157130A (ja) 電子カメラ
JP2011188035A (ja) 撮像装置及びパノラマ画像合成方法並びにそのプログラム
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
JP2012170130A (ja) 撮像装置
JP2018056650A (ja) 光学装置、撮像装置および制御方法