JP5206095B2 - 構図判定装置、構図判定方法、プログラム - Google Patents
構図判定装置、構図判定方法、プログラム Download PDFInfo
- Publication number
- JP5206095B2 JP5206095B2 JP2008115298A JP2008115298A JP5206095B2 JP 5206095 B2 JP5206095 B2 JP 5206095B2 JP 2008115298 A JP2008115298 A JP 2008115298A JP 2008115298 A JP2008115298 A JP 2008115298A JP 5206095 B2 JP5206095 B2 JP 5206095B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- size
- detected
- image
- composition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術が求められることになる。
また、特許文献2には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物上の上側から20%の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となる。
また、特許文献3には、認識対象の被写体の基準被写体距離に対して許容範囲に収まる被写体距離の被写体を、上記認識対象の被写体とともに主要被写体に指定する構成、また、検出された顔領域のサイズが閾値以上である被写体を、認識対象の被写体とともに主要被写体に指定する構成が記載されている。
つまり、取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、上記被写体検出手段により検出される被写体ごとに、その実寸に相当するものとしてみることのできる実サイズを検出する被写体実サイズ検出手段と、上記被写体実サイズ検出手段により検出された実サイズに応じて、上記被写体検出手段により検出される被写体から必要被写体を選別する被写体選別手段と、上記被写体選別手段により選別された必要被写体に基づき構図を判定する構図判定手段と、上記被写体検出手段により検出される被写体ごとの被写体距離を検出する被写体距離検出手段と、上記被写体検出手段により検出される被写体ごとの上記画像内における被写体のサイズである画像内サイズを検出する被写体サイズ検出手段と、を備え、上記被写体検出手段は、検出する被写体ごとに、その実寸での大きさの違いに関連した所定の属性の判定を行うようにされ、上記被写体実サイズ検出手段は、上記被写体検出手段により検出される被写体ごとに、上記被写体距離と上記画像内サイズを少なくとも利用して上記実サイズを求めることにより、実サイズの検出を行うようにされ、上記被写体選別手段は、上記被写体距離及び上記画像内サイズを少なくとも利用して求められた上記実サイズについて、上記判定された属性に応じた係数を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている。
つまり、取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、上記被写体検出手段により検出される被写体ごとの、上記画像内サイズを検出する被写体サイズ検出手段と、上記被写体サイズ検出手段により検出された上記画像内サイズに応じて、上記被写体検出手段により検出される被写体から必要被写体を選別する被写体選別手段と、上記被写体選別手段により選別された必要被写体に基づき構図を判定する構図判定手段と、を備え、上記被写体検出手段は、検出する被写体ごとに、その実寸での大きさの違いに関連した所定の属性の判定を行うようにされ、上記被写体選別手段は、上記画像内サイズについて、上記判定された属性に応じた係数を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている。
「構図」は、フレーミングともいわれるもので、例えば画枠内における被写体の配置状態をいう。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野角」は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まるものをいう。
例えば、構図は、画像視野角によって決まる画枠内に収まる被写体の配置状態を指すものとなる。
例えば、撮像により得られた画像の画枠内において、現実の人である被写体だけではなく、その近くに置いてある顔写真なども存在するような場合を考えてみる。この場合には、単純に顔検出のみにより被写体検出を行った場合には、構図判定の対象となる被写体として、現実の人だけではなく、上記の顔写真の顔の部分も検出することになる。
この場合において、本来求められる最適構図としては、顔写真については除外して、現実の人の被写体のみが画枠内にて適切に収まるように考慮したものとなる。しかし、実際には、顔写真も被写体として検出したことに基づいて、現実の人と顔写真とが画枠内にて適切に収まるように考慮した構図判定結果が得られることになってしまう。
この図には、構図判定を実行する部位として構図判定ブロック200が示されている。この構図判定ブロック200は、画像データを取り込んで構図判定を実行するものとされており、図示するようにして、被写体検出処理部201、被写体距離検出部202A、構図判定処理部203から成るものとしている。
ここでの被写体検出処理は、先ず画像データの画内容から、人としての被写体を弁別して検出する処理をいうものであり、ここでの検出結果として得られる情報(検出個別被写体情報)は、人としての被写体の数と、個々の被写体(個別被写体)ごとについての画枠内での位置情報(例えば画枠内の位置であれば画素のマトリクスの下でのX座標、Y座標により表現できる)、及び個別被写体ごとについての画像(画枠)内におけるサイズ(占有面積)などとなる。
そして、この場合の被写体検出処理部201は、上記検出個別被写体情報の集合から成る情報を検出被写体情報として出力する。
ここでの被写体距離とは、被写体検出処理部201に入力される画像を撮像装置により撮像して得たとされるときの、撮像装置における光学系において撮像光が入射するとされる位置(撮像位置ということにする)から被写体までの直線距離をいう。なお、より厳密には、例えば撮像装置における光学系(レンズ)の前側主点から被写体までの直線距離とみなすこともできる。
ちなみに、オートフォーカス制御としては、コントラスト方式と測距方式とが知られている。コントラスト方式は、例えばフォーカスレンズの位置を移動させながら、そのときに撮像により得られる画像における被写体部分の領域の輝度レベル差(コントラスト)がピークとなるフォーカスレンズの位置を探索する。この探索されたフォーカスレンズの位置が合焦状態に対応する。本実施形態における被写体距離は、フォーカスレンズの位置から求めることができる。
また、測距方式としては、アクティブ方式とパッシブ方式とが知られている。
アクティブ方式は、測距装置側から被写体側に投光を行って得られた反射光の入射位置を検出し、この検出情報に基づいて被写体までの距離を測定する。なお、被写体側に照射する光としては、可視光のほか、赤外線光を利用できる。また、光のほかに、超音波、電波なども使用できる。
また、パッシブ方式として、例えば位相差検出方式は、被写体の像を複数の光学系を用いて、それぞれ異なる水平位置に結像させる。被写体像が結像される位置にはそれぞれラインセンサが配置されており、これらのラインセンサにより結像光に応じた信号が得られる。従って、これらのラインセンサも、同一水平軸に沿って配置される。これらのラインセンサは、例えば視野内における或る高さの1水平ラインの結像光を検出して検出信号を出力する。このようにしてラインセンサから得られた信号に基づいて、光学系ごとに対応する像についての相互の位相差を検出する。この位相差の検出には、ラインセンサから得られた信号を利用した所定の演算(相関演算)を実行する。そして、この検出結果に基づいて被写体までの距離が測定される。
一例として、コントラスト方式に基づくのであれば、被写体距離検出部202Aとしては、コントラスト方式に基づいたオートフォーカス制御に必要となる機構部及び信号処理部を有して構成することになる。つまり、例えば撮像装置におけるフォーカスレンズとこれを駆動する駆動機構部、及び上記撮像装置により撮像して得られる画像データ(撮像画像データ)についてのコントラストを検出する信号処理機能と、この検出結果に応じてフォーカスレンズ駆動のための制御を上記駆動機構部に対して行うことのできる制御機能とを有するものとして構成する。
そのうえで、被写体検出部201に入力される画像データとしては、そのときに上記撮像装置により撮像して得られる撮像画像データとし、被写体距離検出部202Aは、被写体検出部201からの検出被写体情報とともに、上記撮像画像データを入力するようにする。
被写体距離検出部202Aは、入力した撮像画像データにより得られる画枠内の画像において、入力した検出被写体情報が示す検出個別被写体ごとの位置に対応する部分画像領域を先ず特定する。そして、しかるべきタイミングで、フォーカスレンズを所定の範囲において動かすようにして駆動しながら、そのときに得られる上記部分画像領域ごとのコントラストを検出していき、各部分画像領域ごとに検出したコントラストがピークとなるフォーカスレンズ位置の情報を得る。このようにして得たフォーカスレンズ位置ごとに被写体距離を求める。なお、光学的な原理に基づいて被写体距離はフォーカスレンズ位置から一義的に求めることができる。このようにして、被写体距離検出部201は、検出個別被写体ごとの被写体距離の情報を得ることができる。
なお、構図判定処理部203としての構図判定の処理は、例えばCPU(Central Processing Unit)がプログラムを実行することにより実現できる。つまり、ソフトウェアにより実現できる。また、必要に応じて、ソフトウェア若しくはハードウェアによる画像信号処理を併用する構成とされてもよい。
この図に示す構成は、上記図1に示した構成を基としたうえで、図1においては構図判定処理部203が行うべきものとなる必要被写体を選別する処理を、被写体選別処理部204として抜き出したものとしてみることができる。
つまり、この場合においては、先ず、図1と同様に、被写体検出処理部201が取り込んだ画像データに基づいて被写体検出処理を行って検出被写体情報を出力し、被写体距離検出部202Aも、被写体検出処理部201により検出された個別被写体(検出個別被写体)ごとの被写体距離を検出し、被写体距離検出情報を出力する。
被写体選別処理部204は、検出被写体情報と被写体距離検出情報を利用して、被写体検出処理部201により検出された個別被写体のうちから、構図判定のためには不要とされる被写体(不要被写体)は除外して、必要被写体を選別するための処理(選別処理)を実行する。そして、被写体選別処理部204は、この被写体選別処理によって必要被写体であるとして選別された個別被写体ごとについての検出個別被写体情報を、構図判定処理部203に出力する。
なお、この図に示す処理手順例は、あくまでも一例であり、図4に示す構図判定ブロック200が実行する処理手順は、これに限定されるべきではない。図4としては、あくまでも、結果的に、構図判定処理部203が、被写体検出処理部201からの検出被写体情報と、被写体距離検出部202A(選別パラメータの検出部)からの被写体距離検出情報(選別パラメータの情報)とに基づいて必要被写体のみを対象として最適構図を判定するようにさればよい。この点については、以降説明する第2の実施形態、及び第3の実施形態についても同様である。
また、ここで述べている、図1、図2におけるブロック構成と図3のステップとの対応関係は、順当に考えられる1つの例であって、それ以外の対応が採られてよい。この点についても、以降において説明するブロック図とフローチャートとの関係において、同様である。
被写体検出処理部201は、ステップS102により上述の被写体検出処理を実行し、ステップS103により、その検出結果である検出被写体情報を出力する。
ステップS201においては、先ず、初期設定として、選別対象とする検出個別被写体の順番を示す変数nについて1を代入する。
ステップS202においては、現在の変数nについて個別被写体総数を越えたか否かについて判別することとしている。ここでの個別被写体総数とは、被写体検出処理部201により検出された個別被写体(検出個別被写体)の総数をいうものであり、被写体検出処理部201から取り込んだ検出被写体情報から分かる。
ステップS202において否定の判別結果が得られた場合には、選別が行われていない検出個別被写体が未だ残っている、ということになる。そこでこの場合には、ステップS203に進む。
Dmin<Dn<Dmax
の条件(条件式)が成立するか否かについて判別する。
ここで、ステップS203において肯定の判別結果が得られた場合には、n番目の検出個別被写体は、撮像装置にて撮像しているとされる位置(撮像位置)から近すぎもせず、遠すぎもせず、構図を決める際の主体として有効な被写体として撮像されるのに適切な距離の範囲に在るということを意味する。ここでは、このような適切な被写体距離の範囲に在る検出個別被写体を必要被写体として扱うものとする。つまり、Dmin<Dn<Dmaxの条件を満たす検出個別被写体は、必要被写体であるものとして推定される。
そして、ステップS203において肯定の判別結果が得られた場合にはステップS204に進んで、このn番目の検出個別被写体を必要被写体、即ち、構図判定の対象とすべき対象個別被写体として設定する。この処理の実際としては、例えば、このn番目の検出個別被写体についての検出個別被写体情報を、構図判定処理部203が実行する構図判定処理のために出力するものとなる。
この後、ステップS205にて変数nについてインクリメントしたうえでステップS202に進む。
被写体が撮像位置から一定以上に遠い距離に在るということは、構図内において主体となる被写体として扱うには被写体距離が遠すぎるということを意味している。
具体例として、レストランなどにおいて、本来の被写体が客として座っているテーブルとは違う他のテーブルに座っている客であるとか、後で立っている店員などが個別被写体として検出された場合に、この個別被写体が、撮像位置から一定以上に遠い距離に在るものとして判断される。
また、被写体が撮像位置から一定以内の近い距離に在るということも、構図内において主体となる被写体として扱うには被写体距離が遠すぎるということを意味している。これは、例えば撮像視野内において、本来の被写体よりもはるか手前において、例えば顔写真などがあるような状況を挙げることができる。この場合、顔写真に対応して検出された個別被写体が、撮像位置から一定以内の近い距離に在るものとして判定される。
そして、このようにして否定の判別結果が得られた場合には、ステップS204をスキップしてステップS205に進む。これにより、今回のn番目の検出個別被写体は、必要被写体(対象個別被写体)として設定されないことになる。つまり、構図判定処理のために、その検出個別被写体情報は構図判定処理部203に対して出力されない。ステップS205では変数nをインクリメントしたうえで、ステップS202に戻る。
このようにして、図4に示す被写体選別処理では、検出個別被写体ごとに、被写体距離が適正範囲内に在るか否かについての判定が行われ、適正範囲内に在るものについて、必要被写体、つまり、対象個別被写体として設定(選別)するものである。
なお、被写体検出処理部201の検出結果として、個別被写体が1つも検出されない場合がある。この場合には、最初のステップS202にて肯定の判別結果が得られることとなって、図3のステップS105に進むことになる。このとき、結果的に、対象個別被写体の設定数は0となる。
ステップS105としての被写体選別処理を実行した後は、ステップS106以降の手順を実行する。ここではステップS106、及びステップS107の手順を構図判定処理部203が実行するものとしてみることができる。
ここで否定の判別結果が得られた場合には、構図判定の対象となるべき個別被写体が無かったということになるので、ステップS101に戻る。
これに対して肯定の判別結果が得られた場合には、構図判定の対象となるべき個別被写体が存在することになるので、ステップS107に進む。
ステップS107では、上記ステップS106により設定された対象個別被写体の検出被写体情報を利用して、所定のアルゴリズムにより構図判定のための処理を実行する。
なお、構図判定のアルゴリズムについての例、また、構図判定の結果の利用例などについては後述する。
先ず、図5には、被写体検出処理により検出された被写体(個別被写体)のうちで、撮像位置から一定以上遠い距離に被写体が存在する場合を示している。
ここで、図5(a)には、破線により検出画枠300Aが示されている。この検出画枠300Aは、被写体検出処理部201が入力する画像データの画像に応じた画枠である。そして、この検出画枠300A内にて、被写体検出処理部201により、図のようにして被写体(個別被写体)1、2、3が検出されたものとする。なお、ここでは、被写体については、例えば顔検出に基づいて得られるものとした検出枠に相当する矩形形状の枠により示している。
また、図5(b)(c)(d)に、それぞれ、コントラスト方式に基づいて検出された被写体1、2、3の各被写体距離D1、D2、D3を示す。これらの図は、被写体1、2、3が検出された部分画像領域ごとについて、フォーカスレンズを移動させていくことで検出されるコントラストの変化が縦軸に示されている。横軸は、フォーカスレンズの位置に応じて決まる被写体距離を示している。
この場合、被写体選別処理によっては、対象個別被写体(必要被写体)として被写体2、3が選別されることになる。
そして、その後の構図判定処理としては、被写体2、3のみを対象として被写体1は除外して構図判定を行うことになる。例えば図5(a)においては、構図判定の結果を、判定構図画枠300Bと被写体1、2、3との関係により示している。判定構図画枠300Bとは、構図判定の結果として得られる画像に応じた画枠となる。
この判定構図画枠300B内においては、被写体2、3がほぼ中央となるようにして配置されているが、これは被写体2、3を対象として扱って構図を判定したことを意味する。これに対して被写体1は、例えばこの図では、その一部分のみが判定構図画枠300B内にかかっているが、これは、被写体1が構図判定の対象として除外されていることを表している。
図6(a)に示すようにして、ここでも、検出画枠300Aにおいて、3つの被写体1、2、3が検出されたものとしている。また、図6(b)(c)(d)に、コントラスト方式に基づいて検出された被写体1、2、3の各被写体距離D1、D2、D3が示される。
すると、この場合においても、被写体選別処理によって、被写体2,3のみが対象個別被写体として選別され、構図判定処理としては、被写体1を除外し、被写体2,3のみを対象として行うことになる。
この構図判定処理の結果は、図6(a)における判定構図画枠300Bと、各被写体1、2、3との関係によって示されている。
この場合にも、判定構図画枠300Bにおいては、そのほぼ中央にて被写体2,3が配置されている。これに対して、被写体1は判定構図画枠300Bからほぼ外れている。
この図に示される構図判定ブロック200は、被写体検出処理部201、被写体サイズ検出部202B、及び構図判定処理部203から成るものとしている。この構成は、例えば第1の実施形態に対応する図1において、被写体距離検出部202Aが被写体サイズ検出部202Bに置き換わったものとしてみることができる。
なお、先にも述べたように、検出個別被写体ごとの画像内におけるサイズは、被写体検出処理部201による被写体検出処理が顔検出に基づくようなものである場合には、この被写体検出処理の段階で得ることが可能である。この場合、被写体サイズ検出部202Bは、被写体検出処理部201に含まれるものとして考えることができる。あるいは、被写体サイズ検出部202Bについて、被写体検出処理部201から入力した検出被写体情報から、検出個別被写体ごとのサイズの情報を抜き出して取得するような構成とすることも考えられる。
もちろん、例えば、検出個別被写体の画像内のサイズが得られないような被写体検出処理のアルゴリズムの場合には、被写体サイズ検出部202Bが例えば画像データを入力して、改めて検出個別被写体ごとのサイズを検出するように構成することになる。この際、被写体サイズ検出部202Bがサイズ検出にあたって、検出個別被写体ごとの位置の情報を外部から取得する必要があれば、検出被写体情報における検出個別被写体ごとの位置情報を利用できる。
この図に示す構成は、上記図7においては構図判定処理部203が行うべきものとなる必要被写体を選別する処理を、被写体選別処理部204として抜き出したものとしてみることができる。
そして、構図判定処理部203は、第1の実施形態と同様、被写体選別処理部204から出力される対象個別被写体ごとの検出個別被写体情報に基づき、対象個別被写体(必要被写体)のみを対象とした構図判定処理を行う。
ステップS301〜S303は、図3のステップS101〜S103と同様にして、被写体検出処理部201が画像データを取り込んで被写体検出処理を実行し、検出被写体情報を出力する。
ステップS401は、先の図4のステップS201と同様にして、選別対象とする検出個別被写体の順番を示す変数nについて1を代入する手順となる。また、ステップS402は、図4のステップS202と同様に、現在の変数nについて個別被写体総数を越えているか否かを判別する手順となる。ここで否定の判別結果が得られれば、ステップS403に進む。
ここで、下限閾値K1は、必要被写体であるとして推定するには小さすぎるとされる被写体のサイズに基づいて決められている。従って、Sn>K1の条件式が成立して肯定の判別結果が得られる場合とは、そのn番目の個別被写体は、必要被写体として扱える程度のサイズを有しているということになる。そこで、この場合には、ステップS404に進んで、このn番目の検出個別被写体を対象個別被写体(必要被写体)として設定することとして、その検出個別被写体情報を構図判定処理のために出力するものである。ステップS404の後は、ステップS405により変数nをインクリメントしてステップS402に戻る。
このようにして、ステップS403以降の手順は、個別被写体総数分繰り返される。そして、ステップS402にて肯定の判別結果が得られると、図に示す処理を抜けることになる。
この図10に示される被写体選別処理では、検出個別被写体ごとに、その画像内におけるサイズが、必要被写体として推定できる程度の大きさを有しているものを対象個別被写体(必要被写体)として設定(選別)するものである。
ステップS305の被写体選別処理を実行した後は、ステップS306、またステップS307の手順を実行する。
これらステップS306、S307の手順は、先の図3の場合のステップS106、S107と同様の処理を構図判定処理部203が実行するものとなる。
図12(a)に示すようにして、ここでは、被写体検出処理によって、検出画枠300Aにおいて、3つの被写体1、2、3が検出されたものとしている。
また、被写体1、2、3ごとに検出された画像内のサイズは、被写体に対応する枠内において、それぞれ、S1、S2、S3として示している。ここでは、被写体1のサイズS1は下限閾値K1以下であるが、被写体2、3のサイズS2、S3については、それぞれ、下限閾値K1を越えているものとする。
この場合、被写体選別処理によっては、被写体2,3のみが対象個別被写体(必要被写体)として選別されることになる。そして、構図判定処理としては、被写体1を除外し、被写体2,3のみを対象として行うことになる。
しかし、場合によっては、逆に、画面(画枠)内にて一定以上に大きな被写体が存在する場合、このような被写体のほうを必要被写体から除外することのほうが好ましい状況もあると考えられる。
図11におけるステップS501、S502、S504、S505は、図10のステップS401、S402、S404、S405と同様となる。
そして、ステップS503においては、n番目の検出個別被写体のサイズSnと上限閾値K2(K1<K2)とについて、Sn<K2の条件(条件式)が成立するか否かについて判別することとしている。上限閾値K2は、必要被写体として扱う(推定する)には大きすぎるとされる被写体のサイズを基にして設定される。
ここで、上記Sn<K2が成立するとして肯定の判別結果が得られた場合には、n番目の検出個別被写体のサイズSnには、必要被写体として推定できる一定以下の適正なサイズにあるということになるので、ステップS504に進むことになる。これに対して、否定の判別結果が得られた場合には、n番目の検出個別被写体は、ステップS504をスキップしてステップS505に進む。
図13(a)では、被写体検出処理によって、検出画枠300Aにおいて、2つの被写体1、2が検出されたものとしている。被写体1、2ごとに検出された画像内のサイズは、被写体に対応する枠内において、それぞれ、S1、S2として示している。そして、ここでは、被写体1のサイズS1は上限閾値K2以上であるが、被写体2のサイズS2については、上限閾値K2未満であるものとする。この場合、被写体選別処理によっては、被写体2のみが対象個別被写体として選別され、構図判定処理としては、被写体1を除外し、被写体2のみを対象として行うことになる。
なお、この図13(a)では、検出画枠300Aと判定構図画枠300Bの大きさが異なっている。これは、構図判定の結果として、検出画枠300Aとしての画像を撮像していたときよりも、画角を狭く(ズーム倍率を大きく)変更したことを表している。
つまり、例えば図11のステップS503において( )内に示すようにして、n番目の検出個別被写体のサイズSn、下限閾値K1、上限閾値K2とについて、
K1<Sn<K2
の条件が成立するか否かについて判別し、肯定の判別結果が得られたのであれば、ステップS504に進み、否定の判別結果が得られたのであれば、ステップS504をスキップしてステップS505に進むようにすればよい。このような選別処理であれば、検出個別被写体のうちから必要被写体を選別するのにあたり、被写体として推定するには小さすぎるものと大きすぎるものとの両者を排除することができる。
一具体例としては、ステップS403、S503での判別処理にあたり、下限閾値K1、上限閾値K2については標準画角(ズーム倍率値=1)のときに対応させて設定しておく。そして、ズーム制御によって得られる画角の情報をズーム倍率値Zに換算して取り込み、ステップS403では、Sn>K1・Zの条件式が成立するか否かを判別し、ステップS503では、Sn<K2・Zの条件式が成立するか否かを判別するようにして構成する。また、ステップS403では、条件式をSn/Z>K1とし、ステップS503ではSn/Z<K2としてもよい。このことから理解されるように、ズーム倍率値Zを用いたこれらの条件式は、ズーム可変に応じて変化する画像内サイズSnについて、閾値(下限閾値K1、上限閾値K2)との比較が適正に行われるようにして補正しているものとしてみることができる。
この図に示される構図判定ブロック200は、図示するようにして、被写体検出処理部201、被写体距離検出部202A、被写体サイズ検出部202B、構図判定処理部203、及び被写体実サイズ算出部205を有して成るものとしている。
なお、ここでの被写体実サイズ算出部205は、「実サイズ」としては、検出個別被写体が現実に有するとされる実寸サイズにほぼ正確な値を求めることもできるが、後述のようにして、例えば検出個別被写体の被写体距離とサイズとに基づき、実寸に相当するものとしてみることのできる値であって、より簡易に扱える値を求めるようにすることもできる。
ステップS601〜S603は、例えば図3のステップS101〜S103などと同様にして、被写体検出処理部201が画像データを取り込んで被写体検出処理を実行し、検出被写体情報を出力する。
ステップS605においては、被写体サイズ検出部202Bにより、検出個別被写体ごとの画像内におけるサイズの情報を取得し、被写体サイズ情報として出力する。
なお、ここではフローチャートによる表記の都合上、ステップS604、S605は、順次的な処理として示されているが、図14、図15との対応では、同時的に併行して実行すべき処理として考えてよい。
そこで被写体実サイズ算出部205は、n番目の検出個別被写体の実サイズSrnについて、同じn番目の検出個別被写体の被写体距離をDn、サイズ(垂直画素数)をFynとして、
Srn=Dn・Fyn・・・(式1)
により求めるようにされる。
Srn=sprt(Dn^2・Sn)・・・(式2)
により求めることも可能である。なお、上記(式2)において、Dnはn番目の検出個別被写体について検出された被写体距離を示し、Snは、面積として検出されたn番目の検出個別被写体の画像内サイズを示す。また、Sprtは平方根であることを示し、^はべき乗であることを示す。
Srn=Sy・{(Dn・Fyn)/py}・・・(式3)
この図において、ステップS701、S702、S704、S705は、例えば図4におけるステップS201、S202、S204、S205と同様となる。
Kmax>Srn>Kmin
の条件が成立するか否かについて判別する。
ここで、上限閾値Kmaxは、通常の被写体ではあり得ないとされる程度に大きい実サイズを考慮して設定され、下限閾値Kminは、通常の被写体ではあり得ないとされる程度に小さい実サイズを考慮して設定される。
そこで、本実施形態としては、ステップS703にて肯定の判別結果が得られた場合には、n番目の検出個別被写体について、ステップS704により、対象個別被写体として設定するようにされる。
そこで、ステップS703にて否定の判別結果が得られた場合には、ステップS704をスキップしてステップS705に進むようにされる。
このようにして、図17に示される被写体選別処理では、検出個別被写体ごとに、その画実サイズが、必要被写体として推定できる程度の適切な範囲に収まっているものを対象個別被写体(必要被写体)として設定(選別)するものである。
ステップS607の被写体選別処理を実行した後は、ステップS608、またステップS609の手順を実行する。
これらステップS608、S609の手順は、先の図3の場合のステップS106、S107と同様の処理を構図判定処理部203が実行するものとなる。
先ず、図20により、実サイズが必要被写体として推定できない程度に小さいものを除外して構図判定を行った例を示す。
図20(a)では、被写体検出処理によって、検出画枠300Aにおいて、3つの被写体1、2、3が検出されたものとしている。被写体1、2、3ごとに検出された画像内のサイズは、ここでは、例えば顔検出に基づいて検出された被写体に対応する矩形の検出枠の垂直画素数により表すものとする。この垂直画素数によるサイズについては、被写体1はFy1、被写体2はFy2、被写体3はFy3として示している。また、図20(b)(c)(d)には、コントラスト方式に基づいて検出された被写体1、2、3の各被写体距離D1、D2、D3を示している。
また、一方のサイズについては、被写体2,3のサイズFy2,Fy3は、その被写体距離D2、D3と照らし合わせてみて必要被写体として推定できるような適切なサイズであるのに対して、被写体1のサイズFy1は、その被写体距離D1と照らし合わせてみると、必要被写体として推定するのには小さすぎるサイズであるとする。
図21(a)においても、被写体検出処理によって、検出画枠300Aにおいて、3つの被写体1、2、3が検出されたものとしている。被写体1、2、3ごとに検出された画像内のサイズ(垂直画素数)は、ここでも、それぞれFy1、Fy2、Fy3として示している。また、図21(b)(c)(d)には、コントラスト方式に基づいて検出された被写体1、2、3の各被写体距離D1、D2、D3を示している。
また、サイズについては、被写体2,3のサイズFy2,Fy3は、その被写体距離D2、D3と照らし合わせてみて必要被写体として推定できるような適切なサイズであるのに対して、被写体1のサイズFy1は、その被写体距離D1と照らし合わせてみると、必要被写体として推定するのには大きすぎるサイズであるとする。
この場合も、被写体選別処理の結果としては、被写体2、3が必要被写体(対象個別被写体)として選別され、被写体1については除外されることになる。そして、構図判定処理としては、被写体1を除外し、被写体2,3のみを対象として行う。
図22(a)(b)は、ともに被写体距離=1mの位置にある被写体1、2を撮像して得られた画像とする。この画像の画枠300は、垂直方向が240px、水平方向が320pxであるとする。この画枠300内に存在する被写体1、2の画像内サイズ(垂直画素数)を比較すると、被写体1のほうが160pxと大きく、被写体2の方が40pxと小さい。ここでは、先ず、被写体距離=1mを基準とする。そのうえで、この基準の被写体距離=1により撮像したとする被写体の画像内サイズが、160px以上のものと、40px以下のものを必要被写体から除外することとする。
これらの被写体は、被写体距離=1により撮像したときに、画像内での垂直方向におけるサイズが、画枠垂直方向に対して2/3(=160/240)以上となるような被写体、また、画枠垂直方向に対して1/6(=40/240)以下となるような被写体であることになる。このような被写体は、必要被写体として適正な範囲の実寸サイズから外れているものであり、写真、ポスターなどである可能性が高く、必要被写体からは除外すべきものとして扱う。
これに応じて、上限閾値Kmax、下限閾値Kminの具体値として、それぞれ、Kmax=160、Kmin=40を設定することになる。
この場合、ステップS703において利用するKmax>Srn>Kminの条件式は、実際には160>Srn>40であることになる。
なお、前述のように、実サイズSrnは、例えば被写体距離Dn(m)と、画像内サイズ(垂直画素数)Fynの乗算(Dn・Fyn)により表される。
上記の条件式によると、被写体1の実サイズSr1は、D1・Fy1=1×160=160となり、ステップS703においては、否定の判別結果が得られる。つまり、必要被写体からは除外される。また、被写体2の実サイズSr2は、D2・Fy2=1×40=40となり、ステップS703においては、これも否定の判別結果が得られ、必要被写体からは除外される。
このようにして、上限閾値Kmax=160、下限閾値Kmin=40を設定することにより、「被写体距離=1により撮像したとする被写体の画像内サイズが、160px以上のものと、40px以下のものを必要被写体から除外する」という規則に適ったステップS703の処理結果が得られているものである。
また、図22(d)は、図22(b)と同じ下限閾値Kminに対応する被写体2を被写体距離=2mに位置させた状態で撮影して得られる画像の様子を示したものとされる。この場合にも、画枠300内の被写体2の画像内サイズ(垂直画素数)は、図22(a)の40pxに対して1/2の20pxとなる。
今回の規則設定「被写体距離=1により撮像したとする被写体の画像内サイズが、160px以上のものと、40px以下のものを必要被写体から除外する」に従えば、飛車距離=2mで撮像した被写体については、図22(c)に示される80px以上のサイズの被写体、及び図22(d)に示される20px以下のサイズの被写体が必要被写体から除外されることになる。
上記の計算により得られる被写体1、2の実サイズSrnからも理解されるようにして、実際のステップS703の処理によっては、図22(c)に示す被写体1より大きなサイズの被写体、若しくは図22(d)の被写体2より小さなサイズの被写体はいずれも否定の判別結果が得られることとなって、上記の規則設定のとおりに必要被写体からは除外される。
図18において、ステップS801、S802、S804、S805は、図17のステップS701、S702、S704、S705と同じ処理となる。
そして、ステップS803においては、そのときに撮像装置にて設定されている画角に対応して求められるズーム倍率値Zの値を取り込むこととして、
Kmax>Srn/Z>Kmin
の条件が成立するか否かについて判別するようにする。なお、この場合の上限閾値Kmax、下限閾値Kminは、ズーム倍率が1倍、つまりZ=1のときに対応して設定する。
この条件式であれば、ズーム倍率の変更にかかわらず、常に、実サイズは、ズーム倍率値Z=1とされるときの値に補正され、常に、適正に上限閾値Kmax、下限閾値Kminと比較させることが可能となる。これにより、この被写体選別のアルゴリズムを採用した構図判定を、ズーム(画角変更)機能を有する撮像装置を利用する場合にも適用することが可能になる。
なお、例えば上記の条件式についてKmax・Z>Srn>Kmin・Zとしてもよい。
一般に、大人と子供では顔の大きさは異なる。つまり、被写体としてみたときには、同じ被写体距離であっても、検出される画像内サイズは相当に異なるものとなる。従って、第2の実施形態、若しくは第3の実施形態のようにして、選別パラメータに画像内サイズの要素を含むものについては、大人・子供の判定結果を加味して被写体選別を実行することで、さらに、本実施形態の被写体選別の精度を高めることが可能になる。
そこで、第3の実施形態に大人・子供の判定結果を応用した被写体選別のアルゴリズムを適用した場合の構成例について説明しておくこととする。
この図において、ステップS901、S902、S905、S906は、例えば図17のステップS701、S702、S704.S705と同様となる。
ステップS903では、n番目の検出個別被写体に対応する検出個別被写体情報における大人・子供属性情報を参照して、大人、子供のいずれであるのかを認識し、その認識結果に基づいて属性係数Anを設定する。
なお、属性係数Anは、予め、大人、子供に応じてそれぞれ異なる値が設定されている。大人に対応する属性係数Anと子供に対応する属性係数Anとでは、子供のほうが大きな値を設定するようにされる。
Kmax>Srn・An>Kmin
の条件(条件式)が成立するか否かについて判別し、成立する場合にはステップS905により、n番目の検出個別被写体を必要被写体(対象個別被写体)として設定するが、否定の判別結果が得られた場合には、ステップS905の手順をスキップしてステップS906に進めることとする。
この場合、Kmax>Srn・An>Kminの条件式は、大人に対応してはKmax>Srn>Kminとなり、子供に対応してはKmax>1.5・Srn>Kminとなる。つまり、この場合においてステップS904において用いられる条件式におけるSrn・Anの項は、子供の顔の実サイズを、大人の顔の実サイズに変換、正規化することで、同じ上限閾値Kmax、下限閾値Kminを使用できるようにしたものである。従って、ステップS904において用いる条件式(一般式)としては、例えば、Kmax/An>Srn>Kmin/Anとしてもよい。
n番目の検出個別被写体が子供であることに対応して、条件式がKmax>1.5・Srn>Kminとされたうえで、先ず、1.5・Srn≧Kmaxとなって否定の判別結果が得られる場合には、その子供である検出個別被写体の実サイズは、通常想定されるサイズよりも大きいということになる。これは、例えば、比較的大きく引き延ばされた子供の顔写真、ポスターなどを個別被写体として検出したような場合を考えることができる。
また、1.5・Srn≦Kminとなって否定の判別結果が得られる場合には、その子供である検出個別被写体の実サイズは、通常想定されるサイズよりも小さいということになる。これは、大人の場合に準じて、やはり、非常に小さなサイズの子供の顔写真などが個別被写体として検出された場合を考えることができる。
このようにして、ステップS904によっては、サイズの異なる子供と大人が混在して個別被写体として検出される状況であっても、此に対応して実サイズに基づく被写体選別処理が適切に行われる。
被写体1は、対応する検出個別被写体情報の大人・子供属性情報により子供であることが示されているものとする。これに対して被写体2は、対応する検出個別被写体情報の大人・子供属性情報により大人であることが示されているものとする。
また、被写体1、2について検出された被写体距離は、ともに1mであるとする。また、画像内サイズ(垂直画素数)は、被写体1、2ともに120pxと検出されたものとする。
この場合には、被写体1、2はいずれも同じ被写体距離ではあるが、それぞれが大人、子供であるので、本来(いずれも現実の人)であれば、その実サイズ異なることに応じて画像内サイズも異なってくるべきである。しかし、検出された画像内サイズは、ともに120pxとされて、同じ画像内サイズになっている。ここで、画枠垂直サイズが240pxであるのに対してその1/2である120pxとなるサイズは、例えば現実の大人としては一般的な実寸の被写体を撮像したときに得られるものとする。すると、子供である被写体1のほうは、現実の人としては、例外的に大きいことになる。これは、ここでは、例えば被写体1が比較的大きめに引き延ばされた写真などであることが原因であるとする。このような写真などの被写体は、必要被写体からは排除すべきものとされる。
Sr1・An=D1・Fy1・An=1×120×1.5=180
となる。すると、1.5・Srnの項の値は180となって、上限閾値Kmax=160より大きいこととなり、ステップS904において否定の判別結果が得られる。つまり、例えば子供の顔写真などであることが推定される被写体1は、必要被写体(対象個別被写体)として設定されることなく除外される。
Sr2・An=D2・Fy2・An=1×120×1=120
となり、Kmax>Srn・An>Kminが成立するので、肯定の判別結果が得られることになる。従って、この大人の被写体1は、必要被写体(対象個別被写体)として設定され、構図判定処理に用いられることになる。
なお、この図の場合においても、構図判定の結果として、被写体2の画像内サイズを大きくするためにズーム倍率は高く設定されているものであり、このために、図における判定構図画枠300Bは、相対的に検出画枠300Aよりも小さいものとして示されている。確認のために述べておくと、現実の検出画枠300Aと判定構図画枠300Bもサイズとしては、320px×240pxで変わらない。また、判定構図画枠300Bにおいて存在する被写体2のサイズ(垂直画素数)は、ズーム倍率に応じて、120pxよりも多い所定値となる。
即ち、この場合にも、被写体検出処理部201による被写体検出処理の際に、検出個別被写体ごとに大人、子供の属性判定を行って、検出個別被写体情報ごとに大人・子供属性情報を含める。これとともに、例えば図10のステップS403を実行するのに先立って、大人・子供の属性に応じた属性係数Anを求める。そして、ステップS403においては、面積として表されるサイズSnについて、Sn>K1・An^2(^はべき乗であることを示す)が成立するか否かについて判定するようにされる。なお、面積によるサイズSnに代えて、例えば垂直(又は水平)画素数Fynとするのであれば、Fyn>K1・Anが成立するか否かについて判定する。図11のステップS503の場合についても、これに準ずる。
上記のように選別パラメータとしての被写体距離、画像内サイズ、実サイズに基づいて被写体を選別することによっては、例えば、被写体距離が極端に近かったり遠かったりする被写体であるとか、通常範囲を超えて画像内サイズ、若しくは実サイズが大きかったり小さかったりする被写体が必要被写体から除外される。このことから、選別パラメータを利用した被写体選別は、選別パラメータとして得られた値が、必要被写体に対応して適正であるとして設定された値(範囲値)に該当するものである否かを判別しているといえる。
そして、上記の被写体選別処理によっては、必要被写体として適正、適当なもののみが的確に選別されることとなり,その結果、例えば構図判定装置として、これまでよりも性能的に優れ、また、より使い易いものを提供できる。
先ずは、本実施形態の構図判定を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用したものについて説明する。この本実施形態に対応する撮像システムによっては、構図判定により判定した構図に合わせて静止画の撮像記録が可能とされる。
この図に示されるように、本実施形態の撮像システムは、デジタルスチルカメラ1と雲台10とから成る。
デジタルスチルカメラ1は、本体正面側のパネルに設けられているレンズ部3によって撮像して得られる撮像光に基づいて静止画像データを生成し、これを内部に装填されている記憶媒体に記憶させることが可能とされている。つまり、写真として撮影した画像を、静止画像データとして記憶媒体に記憶保存させる機能を有する。このような写真撮影を手動で行うときには、ユーザは、本体上面部に設けられているシャッター(レリーズ)ボタンを押し操作する。
雲台10のパン・チルト機構により与えられるデジタルスチルカメラ1のパン方向、チルト方向それぞれの動き方は例えば図25(a)(b)に示されるものとなる。図25(a)(b)は、雲台10に取り付けられているとされるデジタルスチルカメラ1を抜き出して、それぞれ、平面方向、側面方向より見たものである。
先ずパン方向については、デジタルスチルカメラ1の本体横方向と図25(a)に示される直線X1とが同じ向きとなる位置状態を基準にして、例えば回転軸Ct1を回転中心として回転方向+αに沿った回転が行われることで、右方向へのパンニングの動きが与えられる。また、回転方向−αに沿った回転が行われることで、左方向へのパンニングの動きが与えられる。
また、チルト方向については、デジタルスチルカメラ1の本体縦方向が垂直方向の直線Y1と一致する位置状態を基準にして、例えば回転軸Ct2を回転中心として回転方向+βへの回転が行われることで、下方向へのパンニングの動きが与えられる。また、回転方向−βへの回転が行われることで、上方向へのパンニングの動きが与えられる。
なお、図25(a)(b)に示される、±α方向、及び±β方向のそれぞれにおける最大可動回転角度については言及していないが、被写体の捕捉の機会をできるだけ多くするべきことを考慮するのであれば、できるだけ最大可動回転角度を大きく取ることが好ましいことになる。
この図において、デジタルスチルカメラ1は、撮像ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、及び通信制御処理ブロック64を備えて成るものとされている。
つまり、判定結果が示す構図となる撮像方向をデジタルスチルカメラ1が向くための、雲台10のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、判定結果が示す構図となる画角を得るためのズーム位置を求め、このズーム位置となるようにして、撮像ブロック61が備えるとされるズーム機構を制御する。
通信制御ブロック71は、デジタルスチルカメラ1側の通信制御ブロック64との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック72に対して出力する。
このパン・チルト制御処理ブロック72は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、判定された構図に応じた水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。
この図では、先ず、構図判定ブロック64が、ステップS1001により、撮像画像データを取り込む。
次のステップS1002においては、構図判定ブロック62により、被写体検出処理、選別パラメータの検出、及び被写体選別処理を実行する。これらの処理については、第1〜第3の実施形態において述べたとおりに、被写体検出処理部201、被写体距離検出部202A、被写体サイズ検出部202B、実サイズ検出部205、被写体選別処理部204、構図判定処理部203などが必要に応じて適宜実行するものとなる。
構図判定処理部203は、上記ステップS1002における被写体選別処理に応じて出力される、選別された検出個別被写体の検出個別被写体情報の取り込みを行うが、その結果として、有効な検出個別被写体情報が1つも存在しない場合には、対象個別被写体(現実被写体)は残っていないということになる。これに対して、有効な検出個別被写体情報が存在しているのであれば、対象個別被写体は有るということになる。
これに対して、ステップS1003にて少なくとも1つの個別被写体が検出されたことで肯定の判別結果が得られたのであれば、ステップS1004以降の手順に進む。
ステップS1005は、パン・チルト・ズーム制御ブロック63における処理となる。つまり、パン・チルト・ズーム制御ブロック63は、構図判定結果に応じた撮像視野角が得られるようにするための制御、即ち構図合わせのためのパン・チルト・ズーム制御を実行する。
上記ステップS1005による構図合わせの制御が開始されて以降においては、ステップS1006により、実際にそのときの撮像画像データの画像として得られている構図が、ステップS1007により判定した構図と同じであるみなされる状態(例えば一定以上の近似度となる状態)となったか否か(構図がOKであるか否か)を判別することとしている。なお、この判別は、例えば構図判定処理部203において、構図判定結果を出力した後に得られる対象個別被写体の検出個別被写体情報の位置情報の変化などを検出することで実現できる。
これに対して、ステップS1006において構図がOKになったとの判別結果が得られた場合には、ステップS1007により、レリーズ動作、つまり、そのときに得られている撮像画像データを静止画として記録する動作の実行を指示する。このレリーズ指示の処理も、例えばここでは、構図判定処理部203が実行するものとして捉えればよい。
なお、撮像記録の指示(レリーズ動作の指示)は、例えば図26の構成の下では、パン・チルト・ズーム制御ブロック63が、構図合わせのためのパン・チルト・ズーム制御が完了したタイミングでもって、例えば撮像ブロック61などのしかるべき部位に対して行うようにされればよい。あるいは、構図判定ブロック62において、撮像画像データの画像において得られている実際の構図と、判定した最適構図との近似度が一定以上になったと判断したタイミングで、レリーズの指示が行われるようにしてもよい。
この図では、先ず、デジタルスチルカメラ1において、撮像ブロック61により得られる撮像画像データを、通信制御処理ブロック64から雲台10側の通信制御ブロック71に対して送信するようにされている。
通信制御処理ブロック71により受信された撮像画像データは、構図判定ブロック73に対して出力される。この構図判定ブロック73も、先に第1〜第3の実施形態として図1、図2、図7、図8、図14、図15に示した構図判定ブロック200のいずれかの構成が適用されるもので、入力した撮像画像データを基として必要被写体のみを対象とする構図判定処理を実行する。そして、この場合には、構図判定結果に基づいて、例えば、図26のパン・チルト・ズーム制御ブロック63のようにして、判定された構図が得られる撮像方向とするためのパン機構部とチルト機構部の移動量を求め、この移動量を指示するパン・チルト制御信号をパン・チルト制御処理ブロック72に対して出力する。これにより、構図制御処理ブロック73にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図28に示す撮像システムは、デジタルスチルカメラ1から雲台10に撮像画像データを送信させることとして、雲台10側により、取り込んだ撮像画像データに基づく構図判定とこれに応じたパン・チルト制御(構図制御)とを実行するようにして構成しているものである。また、この図28に示す構成においては、撮像視野角の制御(構図制御)として、ズーム(画角)制御を行っていないが、これは、実施形態のもとでは、構図制御として、パン・チルト・ズームの各制御が必須ではないことを示している。例えば、条件・状況に応じては、パン制御のみ、チルト制御のみ、あるいはズーム制御のみによっても、判定された構図に応じた構図制御を実現できるものである。
このシステムにおいては、雲台10側において撮像ブロック75が備えられる。この撮像ブロック75は、例えば図26、図28の撮像ブロックと同様に、撮像のための光学系と撮像素子(イメージセンサ)を備えて、撮像光に基づいた信号(撮像信号)を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。
撮像ブロック75により生成される撮像画像データは、構図判定ブロック73に出力される。
なお、撮像ブロック75が撮像光を取り込む方向(撮像方向)は、例えば雲台10に載置されるデジタルスチルカメラの撮像方向とできるだけ一致するようにして設定することが好ましい。
但し、この場合の構図判定ブロック73は、デジタルスチルカメラ1にレリーズ動作を実行させるタイミング(撮像ブロック75からの撮像画像データの画像について、判定構図が得られたとするタイミング)に対応しては、通信制御処理ブロック71経由でデジタルスチルカメラ1に対して、レリーズ指示信号を送信させる。デジタルスチルカメラ1では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行し、そのときに撮像ブロック75により得られているとされる撮像画像データを基とした画像データの撮像記録を実行する。
このようにして他の変形例では、構図判定及び構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台10側で完結して行うことができる。
また、デジタルスチルカメラ1の撮像素子(イメージセンサ22)から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台10若しくはこれに準ずる、デジタルスチルカメラ1以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ1単体により本実施形態としての構図制御を完結させることが可能となる。
また、画角制御(ズーム制御)についても、ズームレンズの駆動に代えて、撮像画像データから一部画像領域を切り出すという画像処理を実行することによって実現可能である。
また、デジタルスチルカメラ1の光学系部におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
先ず、図30は、実施形態としての構図判定を、デジタルスチルカメラなどの撮像装置単体に対して適用したもので、例えば撮像モード時において撮像装置により撮像している画像が、判定結果に応じた適正な構図になったときに、このことを表示によってユーザに通知しようとするものである。
このために撮像装置が備えるべき構成として、ここでは構図判定ブロック81、通知制御処理ブロック82、表示部83を示している。ここでの構図判定ブロック81が、図1、図2、図7、図8、図14、図15に示した第1〜第3の実施形態における構図判定ブロック200としてのいずれかの構成を採るものとされる。
このような状態の下、構図判定ブロック81では、先ず、そのときに撮像して得られる撮像画像データを取り込んで、本実施形態に対応する一連の構図判定の処理を実行して、最適構図を判定する。
そのうえで、さらに、この場合の構図判定ブロック81としては、そのときに実際に得られている撮像画像データの画内容の構図と、判定された最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定する。なお、例えば実際においては、撮像画像データの画内容の構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては多様なアルゴリズムを考えることができるので、ここでは、その具体例については特に言及しない。
このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック82に対して出力される。通知制御処理ブロック82は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部83にて行われるように表示制御を実行する。なお、通知制御処理ブロック82は、撮像装置が備えるマイクロコンピュータ(CPU)などによる表示制御機能と、表示部83に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。
また、表示部83は、例えば本実施形態のデジタルスチルカメラ1の表示部33に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部83において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、良好な構図の写真撮影を簡単に行うことが可能になる。
先ず、この図に示す構成においては、図30と同様に、構図判定ブロック81により、入力される撮像画像データを基にして最適構図を判定する処理を実行するとともに、その後のタイミングにおいて得られる撮像画像データの画内容が上記の最適構図であるか否かを判定するようにされる。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック84に対して通知する。
レリーズ制御処理ブロック84は、撮像画像データを記録するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック84は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、例えば最適な構図の画像が撮像されたときには、自動的にその撮像画像の記録が行われるようにした撮像装置を得ることができる。
ファイル作成処理ブロック103は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック102から入力された構図編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ(構図編集メタデータ)が含まれる構造を有したものが得られることになる。
図に示す編集装置110は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック111に入力する。メタデータ分離処理ブロック111は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック112に対して出力し、撮像画像データについてはトリミング処理ブロック113に対して出力する。
トリミング処理ブロック113は、先の図32のトリミング処理ブロック91と同様に、メタデータ分離処理ブロック111側から入力した撮像画像データから、上記メタデータ分離処理ブロック112から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を1つの独立した画像データである、編集撮像画像データとして出力する。
なお、図33に示す編集装置としての機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
この図に示す撮像装置120には、動画像データが入力される。この動画像データは、例えば同じ撮像装置120が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置120における構図判定ブロック122、及びファイル作成・記録処理ブロック124に対して入力される。
この場合の構図判定ブロック122は、先の図1、図2、図7、図8、図14、図15のいずれかに示した構図判定ブロック200の構成により、入力されてくる動画像データの画像について、必要被写体のみを対象とする構図判定を行って最適構図を求める。そのうえで、さらに、上記動画像データの画像の実際に構図について、判定した最適構図との差違を比較することにより、良否判定を行う。例えば後述する構図判定の具体例との対応では、構図判定により、最適構図に対応した、画像内の対象個別被写体の占有率(サイズ)、被写体間距離などのパラメータが求められる。そこで、上記の比較の際には、これらの最適構図に対応するパラメータと、動画像データの画像において現に得られているパラメータとを比較すればよい。
そして、この比較結果として双方のパラメータが一定以上の類似度を有していれば良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
構図判定ブロック122は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック123に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図画像区間)がどこであるのかを示す情報(良好構図画像区間指示情報)を出力する。良好構図画像区間指示情報)は、例えば動画像データにおける良好構図画像区間としての開始位置と終了位置を示す情報などとされる。
動画像記録処理ブロック124は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック123からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ(或いは動画像ファイルと独立したファイル)として記録する構成も考えられる。
また、図34に示されるようにして、撮像装置120に対して構図判定ブロック122を備える構成では、構図判定ブロック122により良好構図画像区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、構図判定ブロック122により良好構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。
この場合には、印刷装置130が、印刷すべき画像として、静止画像ファイルを取り込むこととされている。この静止画像ファイルは、例えば撮像装置100により生成して記録されたものを含み、図示するようにして、静止画としての画像データの実体と、メタデータとを有する構造を持っている。従って、このメタデータは、図32、図33に示した静止画像ファイルにおけるものと同意義の内容の構図編集メタデータを含んでいるものである。
このような動作により、印刷装置130によっては、入力した画像データの画内容から、最適構図が得られているとされる画像部分が自動的に抜き出されて、1枚の画として印刷されることになる。
先ず、図36により、デジタルスチルカメラ1についてのより実際的な内部構成例をブロックとして示す。
この図において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)の変更制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
信号処理部24では、A/Dコンバータ23から出力されるデジタルの撮像信号について、例えば1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成することができる。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画像データの形式に変換する。そして、このようにして生成した撮像画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる撮像画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
このためには、制御部27が撮像画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された撮像画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図25(a)に示したパン(横)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図25(b)に示したチルト(縦)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動量と移動方向に対応した制御信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される制御信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転角度で回転し、この結果、チルト機構部56も、これに対応した移動量と移動方向により動くようにして駆動される。
図26のデジタルスチルカメラ1における撮像ブロック61は、例えば図36における光学系部21、イメージセンサ22、A/Dコンバータ23、及び信号処理部24において撮像画像データを得るまでの信号処理段から成る部位が対応する。
図26のデジタルスチルカメラ1における構図判定ブロック62は、例えば図36の信号処理部24における被写体検出(ここでは大人・子供判定などの属性判定処理も含むものとする)、静止検出、被写体選別、マスキングなどを始めとする所要の処理に対応する画像信号処理機能と、制御部(CPU)27が実行するものとされる構図判定に関連する所要の処理機能が対応する。
図26のデジタルスチルカメラ1における通信制御処理ブロック64は、例えば図36における雲台対応通信部34と、この雲台対応通信部34を利用する通信のために制御部27が実行する処理機能が対応する。
図26の雲台10における通信制御ブロック71は、例えば図37における通信部52と、この通信部を利用した通信のために制御部51が実行する処理が対応する。
図26のパン・チルト制御処理ブロック72は、例えば図37における制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部53、チルト機構部56の動きをコントロールするための信号をパン用駆動部55、チルト用駆動部58に対して出力する。
ここで、被写体検出処理部201が、図38(a)に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が1つ存在した画を撮影して得られたものである。また、図38(a)(及び図38(b))には、1画面をマトリクス状に区切った状態を示しているが、これは、撮像画像データとしての画面が、所定数による水平・垂直画素の集合から成るものであることを模式的に示している。
図38(a)に示す画内容の撮像画像データを対象に被写体検出(顔検出)を行うことによっては、図において示される1つの個別被写体SBJの顔が検出されることになる。即ち、顔検出処理によって1つの顔が検出されることを以て、ここでは1つの個別被写体が検出されることとしている。そして、このようにして個別被写体を検出した結果としては、個別被写体の数、向き、位置、画像内のサイズの情報を得るようにされる。
また、個別被写体ごとの位置情報としては、先に述べたように、画枠内の位置情報、また絶対位置情報となるが、これらの位置情報が具体的に示すものとしては、個別被写体SBJの重心であることとする。
例えば、撮像画像の画枠内における個別被写体SBJの重心Gとしては、先にも述べたように、(X,Y)により表現されることになる。なお、確認のために、この場合の重心G(X,Y)の基準となる撮像画像データの画面上のX,Y原点座標P(0,0)は、例えば図39に示すようにして、画面サイズに対応したX軸方向(水平方向)の幅(水平画サイズ)Cxの中間点と、Y軸方向(垂直方向)の幅(垂直画サイズ)Cyの中間点との交点であることとしている。
また、この重心Gについての個別被写体の画像内における位置の定義であるとか、重心Gをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。
また、個別被写体ごとのサイズについては、例えば顔検出処理により顔部分であるとして特定、検出される部分領域の水平又は垂直方向の画素数を求めればよい。若しくは、水平画素数×垂直画素数に対応した面積相当の数値を求めるようにしてもよい。なお、本実施形態においては、このサイズは、被写体サイズ検出部202Bとしての機能によって求めるべきものとなる。
また、個別被写体ごとの顔方向に関しては、先にも述べたように、顔検出処理に基づいて、例えば左、右の何れであるのかが検出されることになる。
さらに、例えば顔認識技術などを応用して、検出された顔の特徴量などを求めることにより、大人・子供判定などを行って大人・子供属性情報を得ることも可能になる。
また、このようにして、2以上の個別被写体が検出される場合には、これら複数の個別被写体をひとまとまりの被写体(総合被写体)としてみた場合の重心である、総合被写体重心Gt(Xg,Yg)を求めるようにされる。
この総合被写体重心Gtをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個別被写体のうちで、画面の左端と右端の両端に位置する個別被写体の重心を結ぶ線分上の中間点を総合被写体重心Gtとして設定した場合を示している。この総合被写体重心Gtは、例えば後述するようにして構図制御において利用することができる情報であり、個別被写体の重心の情報が取得されれば演算により求められる情報である。従って、総合被写体重心Gtについては、被写体検出処理部201により求め、これを検出情報として出力することとしてもよいが、構図制御処理ブロック62が、検出情報として取得した個別被写体の重心の位置を示す情報のうちから、左右両端に位置する個別被写体の重心に関する情報を利用して求めるようにしてもよい。
なお、ほかには例えば、複数の個別被写体のサイズに応じて重み付け係数を与え、この重み付け係数を利用して、例えばサイズの大きな個別被写体に総合被写体重心Gtの位置が近くなるように配慮した設定手法も考えることができる。
また、個別被写体のサイズについては、例えば個別被写体SBJ0、SBJ1ごとに、その検出された顔が占有するとされる画素数を求めることとすればよい。
確認のために、ここでの構図制御とは、構図判定処理と、この構図判定処理により判定した最適構図となるように構図合わせを行うための制御処理とを合わせていう。
なお、例えばこの図に示される画枠内においては、実際には、不要被写体として検出された個別被写体が存在している可能性があるが、ここでは、例えば図を見やすくすることの便宜などを考えて、ここでの不要被写体の図示は省略している。
また、本実施形態にあっては、デジタルスチルカメラ1を取り付けた雲台10を通常に設置した場合には、横長の画像が撮像されるようにしてデジタルスチルカメラ1の向きが設定される。従って、第1例や後述する第2例の構図制御にあっては、撮像により横長の画像が得られることを前提とする。
構図判定としてこの被写体位置の判定に関しては、検出された顔方向の情報を利用する。この図40の場合の対象個別被写体SBJs0は、顔方向が左であるとして検出されているものとする。このとき、この図40に示される画内容の画面を実際に見たとした場合、これを見る者からは、画面において、対象個別被写体SBJs0の顔が左側を向いているようにして見えることになる。ちなみに、この対象個別被写体SBJs0としての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
また、この被写体位置調整にあたっては、画像中の原点座標P(0,0)を通過する垂直線、即ちY軸線と一致する直線であって、被写体位置調整の基準線となる画像領域分割線Ldを仮想的に設定する。
そして、この場合のようにして顔方向が左であると検出された場合には、対象個別被写体SBJs0の重心Gが、上記画像領域分割線Ldに対応する位置(X=0)から、水平オフセット量Δxで表される右方向への移動量に従って移動させた位置(水平シフト位置)となるのが最適構図であると判定する。そして、この位置に上記重心Gを配置させるための構図合わせを行う。このためには、重心Gが、上記水平シフト位置にくるようにして、雲台10のパン機構を駆動させる制御を実行する。
そのうえで、さらに、本実施形態では、図40に例示するように、対象個別被写体の顔方向が左であれば、その重心Gの水平方向における位置について、Y軸線に沿った画像領域分割線Ldにより2分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせることで、画面においては、検出被写体SBJの顔が向いている方向である左側において空間が得られるようにしている。このような構図とすることで、例えば、顔方向が左であるとされる対象個別被写体SBJsの重心Gを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、画像領域分割線Ldに対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
例えば、図40は、水平画枠サイズCxを三等分するようにされた画面縦方向に沿った2本の仮想線のうち、右側の仮想線上において重心Gが位置するようにして、水平オフセット量Δxが設定されているものである。これにより、個別被写体の顔方向に応じた水平方向における被写体位置として最適とされる構図の1つが得られることになるわけである。
なお、上記の総合被写体画像部分をどのようにして定義してそのサイズを求めるのかについてはいくつか考えられるが、例えば、検出された複数の対象個別被写体ごとの画像部分のサイズを足し合わせるようにして求めることができる。あるいは、検出された複数の個別被写体が全て含まれるようにして仮想的に描いた線により囲まれる画像部分のサイズとして求めることも考えられる。
この図41(a)に示される2つの対象個別被写体SBJs0、SBJs1の顔方向は、何れも左であると検出されているものとする。つまり、2つある対象個別被写体の全ての顔方向が同一とされており、これらの顔方向がこの場合には左とされているものである。
この場合には、図40に示した1つの対象個別被写体SBJsの顔方向が左であった場合に準じて、画面左側に空間ができるように、対象個別被写体SBJs0、SBJs1から成る総合被写体画像部分を、顔方向が示す「左」とは反対となる、画像領域分割線Ldの右側に寄せて位置させるようにする。つまり、この被写体配置が最適構図であるとしてこの場合には判定されているものである。このためには、例えば図示しているように、右側に所定量ずらすための水平オフセット量Δxを設定した上で、2つの対象個別被写体SBJs0、SBJs1から成る総合被写体画像部分の重心である、総合被写体重心Gtについて、画像領域分割線Ldである原点座標P(0,0)を通過する垂直線(Y軸線)から水平オフセット量Δxだけ移動した位置にくるように、パン制御を行うようにされる。
また、図示はしていないが、2つの対象個別被写体SBJs0、SBJs1の顔方向が何れも右で同一である場合には、図41(a)の位置に対して、画像領域分割線Ldを基準にして線対称となる位置(Y軸線に対して左側の画面領域において同じ水平オフセット量Δxの絶対値分移動した位置)に総合被写体重心Gtが在る状態を最適構図として判定するので、この状態となるようにしてパン制御を行うことになる。
この場合の水平方向における総合被写体画像部分の位置については、図示するようにして、2つの対象個別被写体SBJs0、SBJs1の総合被写体重心Gtが、画像領域分割線Ld上に位置する状態が最適構図であると判定し、この状態となるようにして調整(パン制御)を行う。
これにより得られる構図では、2つの対象個別被写体SBJs0、SBJs1から成る総合被写体画像部分は、水平方向において画面のほぼ中央に位置することとなる。しかし、被写体が複数とされて、かつ、これらの被写体が同一の方向を向いていないような画の場合、総合被写体画像部分が中央にきたとしても、その構図は相応に良好なものとなる。
この場合の構図制御としても、先ず、対象個別被写体SBJs0、SBJs1、SBJs2から成る総合被写体画像部分のサイズについて、個別被写体数が3である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
この場合には、図41(a)の場合に準じて、対象個別被写体SBJs0、SBJs1から成る画像領域部分を画像領域分割線Ldよりも右側の画像領域に寄せて位置させるようにして、水平オフセット量Δxの設定(判定)と、これによって決まる(判定される)所要位置への総合被写体重心Gtの移動のためのパン制御を行うようにされる。また、仮に3つの対象個別被写体SBJs0、SBJs1、SBJs2の顔方向が全て右で同一である場合には、総合被写体重心Gtは、図42の位置に対して、画像領域分割線Ldを基準にして線対称となる水平位置に在るようにしてパン制御が行われることになる。
また、このときに設定される水平オフセット量Δxは、図41(a)の対象個別被写体が2つの場合よりも、小さな絶対値を設定するようにされる。これにより、例えば対象個別被写体数が3とされる場合に応じて、水平方向における被写体位置はより最適となって、良好な構図が得られることになる。
そして、構図制御として、対象個別被写体数が複数(2以上)の場合には、対象個別被写体の顔方向が全て同一ならば、上記の位置調整に倣い、総合被写体重心Gtの水平オフセットを行うようにされ、全て同一でないならば、水平オフセットを行うことなく、総合被写体重心Gtには画像領域分割線Ldに対応したX座標を与えて、総合被写体画像部分が画面(画枠)内のほぼ中央に在るようにする。
ステップS1101では、イメージセンサ22からの撮像信号に基づいた撮像画像データを取り込んで取得する。ステップS1102では、上記ステップS1101により取得した撮像画像データを利用して被写体検出処理、及び被写体選別処理を実行する。ここでの被写体検出処理は、これまでの説明のようにして、被写体検出処理部201が実行するものとなる。また、ここでの被写体検出処理では、先にも述べたように、検出個別被写体ごとの顔方向についても検出して、その情報を得るようにされている。また、被写体選別処理は、これまでの説明に従って被写体選別処理部211が実行するものとなる。
なお、上記被写体探索のためのパン・チルト制御として、雲台10のパン・チルト機構をどのようなパターンで動かすのかについては、例えば探索が効率的に行われることを配慮して決めることとすればよい。
また、ステップS1106においては、モードフラグfについて0を設定(f=0)し、ステップS1101に戻るようにされる。
このようにして、撮像画像データの画内容において少なくとも1つの個別被写体が検出されるまでは、ステップS1101〜ステップS1106の手順が繰り返される。このとき、デジタルスチルカメラ1と雲台10から成るシステムは、被写体探索のために、デジタルスチルカメラ1がパン方向及びチルト方向に動かされている状態となっている。
f==0であると判別された場合には、構図制御として、最初のラフな被写体捕捉モードを実行すべき場合であることを示すものであり、図のようにしてステップS1108から始まる手順を実行する。
ステップS1108においては、総合被写体重心Gtが、撮像画像データの画面(撮像画像データの画内容を表したとするときに得られる画面)における原点座標P(0,0)(図39参照)に位置しているか否かについての判別を行う。ここで、総合被写体重心Gtは、未だ原点座標に位置していないとして否定の判別結果が得られた場合には、ステップS1109により、総合被写体重心Gtが原点座標に位置するようにして、雲台10のパン・チルト機構を動かすための制御を実行し、ステップS1101に戻る。このようにして、個別被写体の存在が検出されている状態での最初の構図制御の手順である捕捉モードは、総合被写体重心Gtを、先ずは初期の基準位置である原点座標に対して位置させるようにして雲台10のパン・チルト機構を制御することで、検出された対象個別被写体が写っているとされる画像領域を画面内の中央に位置させようとするものである。
モードフラグf==0の状態で個別被写体が検出される状態では、被写体検出処理部201は、下記の(数1)により示される演算を行って、パン方向における必要移動量Spanとチルト方向における必要移動量Stiltを求めるようにされる。下記の(数1)において、nは選別された対象対象個別被写体数を示し、P(Xi,Yi)は0番からn−1番までの番号が与えられた対象個別被写体のうちのi番目の対象個別被写体の重心のX,Y座標を示す。確認のために、図39に示したように、この場合における原点座標(0,0)は、画面における水平方向における中点と垂直方向における中点との交点となる。
そして、ステップS1108において、総合被写体重心Gtが原点座標に位置したとして肯定の判別結果が得られたとされると、ステップS1110によりモードフラグfについて1を設定(f=1)してステップS1101に戻る。このステップS1110によりモードフラグfについて1が設定された状態は、構図制御における最初の手順である捕捉モードは完了し、次の第1の構図の調整制御(構図調整モード)を実行すべき状態であることを示す。
ステップS1112においては、検出されている対象個別被写体数が1であることに対応した目標被写体サイズを設定する。ここでの目標被写体サイズとは、画面における総合被写体画像部分のサイズとして構図的に最適であるとみなされるものをいい、例えば図40との対応では、「(1つの)対象個別被写体SBJs0の撮像画像データの画面内における占有率が、最適とみなされる所定の範囲値」に相当する。
なお、このときには、総合被写体重心Gtの水平方向(左右方向)における位置に関しては、ステップS1109にて設定されたX座標(X=0)に対応する位置を維持するようにしてズーム制御を行うようにされる。これにより、対象個別被写体を左右方向においてほぼ中央に位置させた状態を維持することができる。また、被写体探索動作の実行時においては、ステップS1104によりズームアウト制御が行われるので、ステップS1114としてのズーム制御に際してはズームイン制御となる場合が多いと考えられる。しかし、何らかの原因で、そのときに検出された個別被写体のサイズが、目標被写体サイズよりも大きくなっている状態に応じてステップS1113にて否定の判別結果が得られた場合、ステップS1114ではズームアウトを実行させて、実際の対象個別被写体のサイズが目標被写体サイズとなるように制御することになる。
そして、ステップS1113において肯定の判別結果が得られたのであればステップS1115以降の手順に進むようにされる。
ここで、本実施形態における第1例の構図制御にあっては、水平オフセット量Δxについては、下記の(式4)により求めるものとする。
θx=D×(Cx/6)/n・・・(式4)
上記(式4)において、Dは、顔方向若しくは複数の顔方向の組み合わせ(関係性)に基づいて、+1、−1、0のいずれかが設定される係数である。Cxは、水平画サイズを示す。Cx/6の項は、三分割法に基づいて得られる縦方向に沿った仮想線のX座標に対応したものである。nは、選別(設定)されている対象個別被写体数を示す。
すると、選別された1つの対象個別被写体の顔方向が左である場合には、θx=−Cx/6となる。この水平オフセット量Δxは、原点座標P(0,0)を通過する垂直線(画像領域分割線Ld:Y軸線)から、Cx/6だけ右に移動した垂直線の位置を示すことになるが、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、右側にある仮想線と同じになる。
一方、選別された1つの対象個別被写体の顔方向が右である場合には、水平オフセット量Δx=Cx/6となり、原点座標P(0,0)を通過する垂直線(画像領域分割線Ld:Y軸線)から、Cx/6だけ左に移動した垂直線の位置を示すことになる。そして、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、左側にある仮想線と同じになる。
ステップS1117では、水平オフセット量Δxに対応するX座標上に総合被写体重心Gtが位置する状態となるようにパン制御を実行し、ステップS1101に戻る。
そして、上記ステップS1117の制御により、水平オフセット量Δxに対応するX座標上に総合被写体重心Gtが位置する状態に至ったとされると、ステップS1116にて肯定の判別結果が得られることになる。このようにしてステップS1116にて肯定の判別結果が得られたときには、対象個別被写体(SBJ)の重心は、図40により示したようにして、その顔方向に応じて、画像領域分割線Ldから水平オフセット量Δxだけ左又は右に移動した位置にあることになる。
ステップS1119においては、目標被写体サイズを設定する処理を行う。対象個別被写体数が2以上とされる場合、最適構図を得るための目標被写体サイズは、例えば対象個別被写体数に応じて異なってくるものとされる。そこで、ステップS1119においては、ステップS1102において検出された個別被写体数に応じた所定の目標被写体サイズを設定する。また、確認のために述べておくと、対象個別被写体数が2以上の場合の目標被写体サイズは、検出されている全ての個別被写体から成る総合被写体画像部分を対象としたものとなる。
ステップS1120において否定の判別結果が得られた場合には、ステップS1121に進む。ステップS1121においては、ステップS1114に準じて、このとき検出されている対象個別被写体の総合被写体画像部分のサイズが、ステップS1119により設定された目標被写体サイズとなるようにズームレンズの駆動制御(ズーム制御)を実行し、ステップS1101に戻る。
これに対して、ステップS1120において肯定の判別結果が得られた場合には、ステップS1122に進む。
先ず、ステップS1122において肯定の判別結果が得られた場合には、ステップS1123以降の手順を実行する。ステップS1123においては、先に述べた(式4)により水平オフセット量Δxを設定する。
この場合には、(式4)における係数Dには、検出されている同一の顔方向が、左、右の何れを示しているのかに応じて、+1と−1のいずれかが代入される。また、nには、検出されている対象個別被写体数に応じた2以上の数が代入されることになる。このことからも理解されるように、(式4)によっては、対象個別被写体数が多くなるのに応じて、求められるθxの絶対値は小さくなる。つまり、図40、図41(a)、図42によっても説明したように、対象個別被写体数が多くなるのに応じて、総合被写体画像部分の左右における画像領域分割線Ldからのオフセット量は少なくなっていくようにされる。
なお、このステップS1124の処理にあっても、(式4)による演算を行うことで、θx=0を設定することができる。つまり、ステップS1122にて否定の判別結果が得られた場合(即ち複数の顔方向が同一でない場合)には、ステップS1124にて、係数Dについて0を代入して(式4)の演算を行うようにアルゴリズムを構成するものである。
ステップS1123、又はステップS1124の手順を実行した後は、ステップS1125以降の手順に進む。
ステップS1128にて否定の判別結果が得られた場合には、ステップS1129により、設定された垂直オフセット量Δyだけ重心がオフセットされるようにして、雲台10のチルト機構が動くようにチルト制御を実行し、ステップS1101に戻る。そして、ステップS1128において肯定の判別結果が得られた段階では、総合被写体画像部分の水平方向における位置と、垂直方向における位置との双方について、最適構図に対応したものが得られている、さらに、総合被写体画像部分のサイズも最適構図に対応したものが得られていることになる。即ち、最適構図が得られている状態となる。
上記ステップS1130で否定の判別結果が得られた場合には、処理をステップS1101へ戻す。これにより、レリーズ動作を実行できる条件が満たされる状態となるのを待機することができる。そして、ステップS1130において肯定の判別結果が得られると、ステップS1131によりレリーズ動作を実行する。このようにして、本実施形態では、最適構図の撮像画像データを記録することができる。
レリーズ動作が終了したとされると、ステップS1132により所要のパラメータについて初期設定を行う。この処理により、モードフラグfについては初期値の0が設定される。また、ズームレンズの位置も、予め設定された初期位置に戻される。
そして、ステップS1132の処理を実行した後は処理をステップS1101へ戻す。このようにして処理をステップS1132からステップS1101へ戻すことにより、被写体を探索し、この探索により検出されることとなった対象個別被写体の向いている方向と対象個別被写体数に応じた最適構図を得て撮像記録(レリーズ動作)を行うという動作が、自動的に繰り返し実行されることになる。
このことからすると、図43の手順におけるパン・チルト制御は、
第2例の構図制御に対応する事例として、図44には、3つの対象個別被写体SBJs0、SBJs1、SBJs2が選別された状態を示している。これらの対象個別被写体のうち、対象個別被写体SBJs0、SBJs2について検出されている顔方向は左であるのに対して、対象個別被写体SBJs1について検出されている顔方向は右であるものとする。この場合、全ての対象個別被写体の顔方向が同一にはなっていないので、第1の構図制御の場合であれば、図41(b)などで説明したように、総合被写体重心Gtは、原点座標Pを通過する垂直線(画像領域分割線Ld:Y軸線)上に在るように構図が設定される。
この図45に示される手順のうちで、ステップS1221−1、S1222−2を除くステップS1201〜S1232までの手順は、図43におけるステップS1101〜S1132までの手順と、それぞれ同じとなる。
そして、ステップS1221−1とこれに続くステップS1222−2は、ステップS1222において否定の判別結果が得られた場合において実行すべき手順として挿入されている。つまり、ステップS1222−1、S1222−2は、対象個別被写体数が複数の場合であって、先ずは、総合被写体画像部分のサイズ調整が完了した段階において、これらの個別被写体の顔方向の関係性として、全ての顔方向が同一ではなかった場合に実行されるものである。
このためには、例えば、先にも述べたように、検出されている複数の対象個別被写体ごとの顔方向の関係性として、同一の顔方向を持つ対象個別被写体の組のうちで、その組を成す対象個別被写体数が、全ての対象個別被写体数における所定割合以上を示すものがあるかどうかについて判断し、このような対象個別被写体の組があれば、この組の対象個別被写体の顔方向を、有効な基準顔方向として決定するようにされる。また、このような対象個別被写体の組が無ければ、基準顔方向も無いものとする決定を行うようにされる。
なお、上記の所定割合について、実際にどのような値を設定するのかについては、実際における対象個別被写体数及び対象個別被写体ごとの顔方向の関係性との対応で、どのような構図が適当となるのかを考慮したうえで、適宜決定されて良い。また、この所定割合としての値は、基本的には固定の1つの値が設定されればよいが、例えば、決定された対象個別被写体数などに応じて、異なる所定値が設定されるようにされてもよい。
ここで、肯定の判別結果が得られた場合には、ステップS1223に進む。この場合のステップS1223においては、ステップS1222−1にて決定された基準顔方向に基づいて係数Dを決定して、水平オフセット量Δxを求めて設定する。
一方、ステップS1222−2において否定の判別結果が得られた場合には、先のステップS1222−1にて、左若しくは右を示す有効な基準顔方向を決定することができなかったことになる。そこで、この場合には、ステップS1224に進むことで、水平オフセット量Δxについては0を設定する。このようにして、ステップS1222−1、S1222−2を挿入することで、図44により説明したような第2例の構図制御が実現されることになるものである。
例えば図40のようにして1つの対象個別被写体が検出された場合において、さらに顔方向については正面であることが検出された場合であるが、1つには、水平方向における被写体位置を、画面のほぼ中央に位置させる(重心Gがほぼ画像領域分割線Ld(Y軸線)上に在るようにする)ことが考えられる。しかし、このような構図は、良くない構図の代表的なものとされることが多い。そこで、検出される個別被写体が1つである場合において、顔方向が正面の場合には、図40と同様の構図、若しくは、図40の構図に対して画像領域分割線Ldを基準に線対称となるような構図とするようにして水平オフセット量Δxを決定することも考えられる。このようにすれば、三分割法に則った良好な構図が得られる。
また、2以上の対象個別被写体が検出されている場合に、例えば全ての対象個別被写体の顔方向が正面を示している、あるいは基準顔方向が正面である場合には、(式4)の係数Dを0に設定したうえでの水平オフセット量θを求めるようにして構成することが考えられる。
また、顔方向として上下方向についても検出可能とされている場合には、この上下方向における顔方向の検出結果に応じて、本願発明に基づいた構図制御を行うことも可能である。この場合には、水平方向に沿った画像領域分割線Ld(例えば原点座標を通過する水平方向の線(X軸線)とすることができる)を基準にして、上下方向での総合被写体重心Gtの移動を行うことになる。
さらに、顔方向について、左右方向と上下方向とを合成した斜め方向の検出も可能とされているときには、この斜め方向が検出された顔方向に応じた構図制御も行うことが可能である。この場合には、検出された斜めの顔方向に直交して画面を横切る線((例えば原点座標を通過する線)を画像領域分割線Ldとして設定し、この画像領域分割線Ldにより分割された画像領域の何れか一方の側に総合被写体重心Gtを移動させるようにすることが考えられる。
さらに、例えば、顔方向について、左右方向(あるいは上下方向)において、例えば2段階、若しくは3段階よりも多い段階により、向きの検出を行えるようにされている場合には、このようにして検出された向きの段階(度合い)に応じて水平オフセット量Δx(若しくは垂直オフセット量Δy)を可変するようなアルゴリズムを採用することが考えられる。
また、基準線の通過する基準点は、この場合には、図39にて示したように、画面における原点座標としているが、この基準点の位置については、例えばより良好な構図を得ることなどを目的として、原点座標以外の位置が設定されても良いものである。
また、本願発明のもとで判定される構図(最適構図)は、必ずしも、三分割法などの構図設定手法に対して、対象個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図(最適構図)としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
しかし、これまでの説明から自明なように、本願発明に基づいては、先の第1〜第3の実施形態により不要被写体として扱っていた被写体のほうを必要被写体であるとみなして構図判定の対象として選別するように構成することも当然に可能である。先の第1〜第3実施形態における必要被写体を選別することは、即ち、同じ第1〜第3実施形態において不要被写体として扱っていた被写体も選別しているものとしてみることができるからである。そして、このような構成も、本願発明に基づく構図判定の構成として各種の装置に適用できるものであり、その用途によって有用となるものである。
また、このことに関して、本願発明に基づく構図判定としては、例えばユーザ操作や、所定の機器の動作条件などに基づいた判別に応じて、構図判定の対象とする被写体を、必要被写体と不要被写体とで切り換えられるようにする構成も考えることができる。
このようなプログラムは、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてDSP対応の不揮発性の記憶領域やフラッシュメモリ30などに記憶させることが考えられる。また、USBやIEEE1394などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
Claims (7)
- 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、
上記被写体検出手段により検出される被写体ごとに、その実寸に相当するものとしてみることのできる実サイズを検出する被写体実サイズ検出手段と、
上記被写体実サイズ検出手段により検出された実サイズに応じて、上記被写体検出手段により検出される被写体から必要被写体を選別する被写体選別手段と、
上記被写体選別手段により選別された必要被写体に基づき構図を判定する構図判定手段と、
上記被写体検出手段により検出される被写体ごとの被写体距離を検出する被写体距離検出手段と、
上記被写体検出手段により検出される被写体ごとの上記画像内における被写体のサイズである画像内サイズを検出する被写体サイズ検出手段と、
を備え、
上記被写体検出手段は、検出する被写体ごとに、その実寸での大きさの違いに関連した所定の属性の判定を行うようにされ、
上記被写体実サイズ検出手段は、上記被写体検出手段により検出される被写体ごとに、上記被写体距離と上記画像内サイズを少なくとも利用して上記実サイズを求めることにより、実サイズの検出を行うようにされ、
上記被写体選別手段は、上記被写体距離及び上記画像内サイズを少なくとも利用して求められた上記実サイズについて、上記判定された属性に応じた係数を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている、
構図判定装置。 - 上記被写体選別手段は、上記実サイズについて、撮像により上記画像データを得るための撮像装置において設定されているズーム倍率値を利用して補正したうえで、上記判別を行うようにされている請求項1に記載の構図判定装置。
- 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体ごとに、その実寸に相当するものとしてみることのできる実サイズを検出する被写体実サイズ検出手順と、
上記被写体実サイズ検出手順により検出された実サイズに応じて、上記被写体検出手順により検出される被写体から必要被写体を選別する被写体選別手順と、
上記被写体選別手順により選別された必要被写体に基づき構図を判定する構図判定手順と、
上記被写体検出手順において検出される被写体ごとの被写体距離を検出する被写体距離検出手順と、
上記被写体検出手順において検出される被写体ごとの上記画像内における被写体のサイズである画像内サイズを検出する被写体サイズ検出手順と、
上記被写体検出手順において検出される被写体ごとに、その実寸での大きさの違いに関連した所定の属性の判定を行う属性判定手順と、
を実行し、
上記被写体実サイズ検出手順においては、上記被写体検出手順において検出される被写体ごとに、上記被写体距離と上記画像内サイズを少なくとも利用して上記実サイズを求めることにより、実サイズの検出を行うようにされ、
上記被写体選別手順においては、上記被写体距離及び上記画像内サイズを少なくとも利用して求められた上記実サイズについて、上記属性判定手順において判定された係数を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている、
構図判定方法。 - 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体ごとに、その実寸に相当するものとしてみることのできる実サイズを検出する被写体実サイズ検出手順と、
上記被写体実サイズ検出手順により検出された実サイズに応じて、上記被写体検出手順により検出される被写体から必要被写体を選別する被写体選別手順と、
上記被写体選別手順により選別された必要被写体に基づき構図を判定する構図判定手順と、
上記被写体検出手順において検出される被写体ごとの被写体距離を検出する被写体距離検出手順と、
上記被写体検出手順において検出される被写体ごとの上記画像内における被写体のサイズである画像内サイズを検出する被写体サイズ検出手順と、
上記被写体検出手順において検出される被写体ごとに、その実寸での大きさの違いに関連した所定の属性の判定を行う属性判定手順と、
を構図判定装置に実行させ、
上記被写体実サイズ検出手順においては、上記被写体検出手順において検出される被写体ごとに、上記被写体距離と上記画像内サイズを少なくとも利用して上記実サイズを求めることにより、実サイズの検出を行うようにされ、
上記被写体選別手順においては、上記被写体距離及び上記画像内サイズを少なくとも利用して求められた上記実サイズについて、上記属性判定手順において判定された係数を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている、
プログラム。 - 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手段と、
上記被写体検出手段により検出される被写体ごとの、上記画像内サイズを検出する被写体サイズ検出手段と、
上記被写体サイズ検出手段により検出された上記画像内サイズに応じて、上記被写体検出手段により検出される被写体から必要被写体を選別する被写体選別手段と、
上記被写体選別手段により選別された必要被写体に基づき構図を判定する構図判定手段と、
を備え、
上記被写体検出手段は、検出する被写体ごとに、その実寸での大きさの違いに関連した所定の属性の判定を行うようにされ、
上記被写体選別手段は、上記画像内サイズについて、上記判定された属性に応じた係数を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている、
構図判定装置。 - 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体ごとの、上記画像内サイズを検出する被写体サイズ検出手順と、
上記被写体サイズ検出手順により検出された上記画像内サイズに応じて、上記被写体検出手順により検出される被写体から必要被写体を選別する被写体選別手順と、
上記被写体選別手順により選別された必要被写体に基づき構図を判定する構図判定手順と、
上記被写体検出手順において検出される被写体ごとに、その実寸での大きさの違いに関連した所定の属性の判定を行う属性判定手順と、
を実行し、
上記被写体選別手順においては、上記画像内サイズについて、上記判定された属性に応じた係数を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている、
構図判定方法。 - 取り込んだ画像データに基づく画像内における被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体ごとの、上記画像内サイズを検出する被写体サイズ検出手順と、
上記被写体サイズ検出手順により検出された上記画像内サイズに応じて、上記被写体検出手順により検出される被写体から必要被写体を選別する被写体選別手順と、
上記被写体選別手順により選別された必要被写体に基づいて構図を判定する構図判定手順と、
上記被写体検出手順において検出される被写体ごとに、その実寸での大きさの違いに関連した所定の属性の判定を行う属性判定手順と、
を構図判定装置に実行させ、
上記被写体選別手順においては、上記画像内サイズについて、上記判定された属性に応じた係数を利用して補正したうえで、必要被写体に対応して適正であるとされる値であるか否かの判別を行うようにされている、
プログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008115298A JP5206095B2 (ja) | 2008-04-25 | 2008-04-25 | 構図判定装置、構図判定方法、プログラム |
US12/423,150 US8594390B2 (en) | 2008-04-25 | 2009-04-14 | Composition determination device, composition determination method, and program |
BRPI0900750-4A BRPI0900750A2 (pt) | 2008-04-25 | 2009-04-22 | dispositivo de determinação de composição, método de determinação de composição, e, programa que faz um dispositivo de determinação de composição executar |
EP09158642A EP2120210B1 (en) | 2008-04-25 | 2009-04-23 | Composition determination device, composition determination method, and program |
RU2009115762/09A RU2009115762A (ru) | 2008-04-25 | 2009-04-24 | Устройство определения композиции, способ определения композиции и программа |
CN2009101369192A CN101567973B (zh) | 2008-04-25 | 2009-04-24 | 构图确定装置以及构图确定方法 |
US14/062,599 US9679394B2 (en) | 2008-04-25 | 2013-10-24 | Composition determination device, composition determination method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008115298A JP5206095B2 (ja) | 2008-04-25 | 2008-04-25 | 構図判定装置、構図判定方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009267787A JP2009267787A (ja) | 2009-11-12 |
JP2009267787A5 JP2009267787A5 (ja) | 2011-06-16 |
JP5206095B2 true JP5206095B2 (ja) | 2013-06-12 |
Family
ID=40823568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008115298A Expired - Fee Related JP5206095B2 (ja) | 2008-04-25 | 2008-04-25 | 構図判定装置、構図判定方法、プログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US8594390B2 (ja) |
EP (1) | EP2120210B1 (ja) |
JP (1) | JP5206095B2 (ja) |
CN (1) | CN101567973B (ja) |
BR (1) | BRPI0900750A2 (ja) |
RU (1) | RU2009115762A (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5347802B2 (ja) * | 2009-07-27 | 2013-11-20 | ソニー株式会社 | 構図制御装置、撮像システム、構図制御方法、プログラム |
JP5434338B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像方法、プログラム |
JP5434339B2 (ja) * | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像システム、撮像方法、プログラム |
WO2011062586A1 (en) * | 2009-11-20 | 2011-05-26 | Hewlett-Packard Development Company, L.P. | Determining a visual balance of an image |
US8605158B2 (en) | 2009-12-28 | 2013-12-10 | Sony Corporation | Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode |
JP2011193125A (ja) * | 2010-03-12 | 2011-09-29 | Sony Corp | 画像処理装置および方法、プログラム、並びに撮像装置 |
JP2011217229A (ja) * | 2010-04-01 | 2011-10-27 | Victor Co Of Japan Ltd | 撮像装置および表示方法 |
WO2012002047A1 (ja) * | 2010-06-30 | 2012-01-05 | Necソフト株式会社 | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム |
US9715751B2 (en) | 2011-07-13 | 2017-07-25 | Apple Inc. | Zooming to faces depicted in images |
WO2013042766A1 (ja) | 2011-09-22 | 2013-03-28 | オリンパス株式会社 | 画像処理装置、画像処理システム、及び画像読出し装置 |
JP5809906B2 (ja) * | 2011-09-22 | 2015-11-11 | オリンパス株式会社 | 画像読出し装置及び画像処理システム |
US20130205201A1 (en) * | 2012-02-08 | 2013-08-08 | Phihong Technology Co.,Ltd. | Touch Control Presentation System and the Method thereof |
EP2821748B1 (en) * | 2012-03-01 | 2019-07-31 | Nissan Motor Co., Ltd | Range finding device and range finding method |
CN106416303B (zh) * | 2014-05-26 | 2022-07-05 | 雅马哈株式会社 | 连接确认系统、连接确认程序、连接确认方法和连接检测设备 |
JP6436761B2 (ja) * | 2014-12-24 | 2018-12-12 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム |
CN110536069B (zh) | 2014-12-24 | 2022-05-03 | 佳能株式会社 | 变焦控制装置、变焦控制装置的控制方法和记录介质 |
JP6107844B2 (ja) * | 2015-01-28 | 2017-04-05 | カシオ計算機株式会社 | 検出装置、検出制御方法、及びプログラム |
JP6478777B2 (ja) | 2015-04-13 | 2019-03-06 | キヤノン株式会社 | 制御装置及びその制御方法、プログラム |
JP6702736B2 (ja) * | 2016-01-26 | 2020-06-03 | キヤノン株式会社 | 撮像制御装置および撮像装置の制御方法、プログラム |
CN108206910B (zh) * | 2016-12-20 | 2021-04-06 | 北京小米移动软件有限公司 | 图像拍摄的方法及装置 |
KR102666977B1 (ko) | 2017-01-09 | 2024-05-20 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 영상 촬영 방법 |
US10218901B2 (en) * | 2017-04-05 | 2019-02-26 | International Business Machines Corporation | Picture composition adjustment |
JP6885896B2 (ja) * | 2017-04-10 | 2021-06-16 | 富士フイルム株式会社 | 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム |
US10321069B2 (en) * | 2017-04-25 | 2019-06-11 | International Business Machines Corporation | System and method for photographic effects |
JP6897442B2 (ja) * | 2017-09-12 | 2021-06-30 | 株式会社Jvcケンウッド | 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム |
CN108896961B (zh) * | 2018-06-29 | 2022-03-01 | 天津大学 | 一种基于信号功率估计的提高可见光定位精度的方法 |
CN109165557A (zh) * | 2018-07-25 | 2019-01-08 | 曹清 | 景别判断系统及景别判断方法 |
CN109743493A (zh) * | 2018-08-27 | 2019-05-10 | 幻想动力(上海)文化传播有限公司 | 自动摄影构图方法、装置、自动摄影设备、电子装置及计算机可读存储介质 |
US11070717B2 (en) * | 2019-04-23 | 2021-07-20 | Adobe Inc. | Context-aware image filtering |
CN110533637B (zh) * | 2019-08-02 | 2022-02-11 | 杭州依图医疗技术有限公司 | 一种检测对象的方法及装置 |
US11825212B2 (en) * | 2021-10-18 | 2023-11-21 | International Business Machines Corporation | Automatic creation of a tiled image based on user interests |
CN114419143A (zh) * | 2022-01-18 | 2022-04-29 | 浙江吉利控股集团有限公司 | 深度测量方法、深度测量设备及存储介质 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0614698B2 (ja) | 1983-05-13 | 1994-02-23 | 株式会社日立製作所 | 自動追尾カメラ |
JP2001268425A (ja) | 2000-03-16 | 2001-09-28 | Fuji Photo Optical Co Ltd | 自動追尾装置 |
JP2003179811A (ja) | 2001-12-10 | 2003-06-27 | Cta Co Ltd | 画像合成装置 |
JP3970046B2 (ja) * | 2002-02-19 | 2007-09-05 | オリンパス株式会社 | カメラ |
TW523635B (en) | 2002-03-28 | 2003-03-11 | Asia Optical Co Inc | Camera with ranging function |
JP4196714B2 (ja) * | 2003-04-15 | 2008-12-17 | 株式会社ニコン | デジタルカメラ |
JP2005033508A (ja) | 2003-07-14 | 2005-02-03 | Minolta Co Ltd | 撮像装置 |
KR100839772B1 (ko) | 2003-07-15 | 2008-06-20 | 오므론 가부시키가이샤 | 대상 결정 장치 및 촬상 장치 |
JP4428159B2 (ja) * | 2003-11-05 | 2010-03-10 | セイコーエプソン株式会社 | 画像データ生成装置、画質補正装置、画像データ生成方法および画質補正方法 |
JP2005167517A (ja) | 2003-12-01 | 2005-06-23 | Olympus Corp | 画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム |
JP4489608B2 (ja) | 2004-03-31 | 2010-06-23 | 富士フイルム株式会社 | ディジタル・スチル・カメラ,画像再生装置および顔画像表示装置ならびにそれらの制御方法 |
JP2006253805A (ja) * | 2005-03-08 | 2006-09-21 | Olympus Corp | 撮影装置及び撮影方法 |
JP4687451B2 (ja) * | 2005-12-27 | 2011-05-25 | カシオ計算機株式会社 | 撮像装置、及びスルー画像表示方法 |
JP4554529B2 (ja) * | 2006-02-06 | 2010-09-29 | 富士フイルム株式会社 | 撮像装置 |
JP4864502B2 (ja) * | 2006-03-23 | 2012-02-01 | 富士フイルム株式会社 | 撮像装置および撮像条件案内方法 |
US8306280B2 (en) * | 2006-04-11 | 2012-11-06 | Nikon Corporation | Electronic camera and image processing apparatus |
JP2007282118A (ja) | 2006-04-11 | 2007-10-25 | Nikon Corp | 電子カメラおよび画像処理装置 |
JP4207980B2 (ja) | 2006-06-09 | 2009-01-14 | ソニー株式会社 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
JP4682097B2 (ja) * | 2006-06-29 | 2011-05-11 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
JP5115139B2 (ja) | 2007-10-17 | 2013-01-09 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP4894712B2 (ja) | 2007-10-17 | 2012-03-14 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP4508257B2 (ja) | 2008-03-19 | 2010-07-21 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP4640456B2 (ja) | 2008-06-25 | 2011-03-02 | ソニー株式会社 | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム |
JP4983784B2 (ja) | 2008-12-18 | 2012-07-25 | ソニー株式会社 | 撮像システム、画像提示方法、制御装置、プログラム |
JP5453953B2 (ja) | 2009-06-24 | 2014-03-26 | ソニー株式会社 | 可動機構部制御装置、可動機構部制御方法、プログラム |
JP2011009929A (ja) | 2009-06-24 | 2011-01-13 | Sony Corp | 可動機構部制御装置、可動機構部制御方法、プログラム |
JP5359645B2 (ja) | 2009-07-23 | 2013-12-04 | ソニー株式会社 | 構図判定装置、撮像システム、構図判定方法、プログラム |
JP5347802B2 (ja) | 2009-07-27 | 2013-11-20 | ソニー株式会社 | 構図制御装置、撮像システム、構図制御方法、プログラム |
JP5446546B2 (ja) | 2009-07-28 | 2014-03-19 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム、撮像システム |
JP5434339B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像システム、撮像方法、プログラム |
JP5434338B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像方法、プログラム |
JP5407640B2 (ja) | 2009-07-29 | 2014-02-05 | ソニー株式会社 | 画像対応装置、動作設定方法、プログラム |
US8605158B2 (en) | 2009-12-28 | 2013-12-10 | Sony Corporation | Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode |
JP2011139231A (ja) | 2009-12-28 | 2011-07-14 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
JP2011188065A (ja) | 2010-03-05 | 2011-09-22 | Sony Corp | 撮像制御装置、被写体検出方法、プログラム |
JP5533048B2 (ja) | 2010-03-08 | 2014-06-25 | ソニー株式会社 | 撮像制御装置、撮像制御方法 |
JP5577900B2 (ja) | 2010-07-05 | 2014-08-27 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム |
-
2008
- 2008-04-25 JP JP2008115298A patent/JP5206095B2/ja not_active Expired - Fee Related
-
2009
- 2009-04-14 US US12/423,150 patent/US8594390B2/en active Active
- 2009-04-22 BR BRPI0900750-4A patent/BRPI0900750A2/pt not_active IP Right Cessation
- 2009-04-23 EP EP09158642A patent/EP2120210B1/en not_active Not-in-force
- 2009-04-24 RU RU2009115762/09A patent/RU2009115762A/ru not_active Application Discontinuation
- 2009-04-24 CN CN2009101369192A patent/CN101567973B/zh not_active Expired - Fee Related
-
2013
- 2013-10-24 US US14/062,599 patent/US9679394B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2120210A3 (en) | 2011-01-12 |
US8594390B2 (en) | 2013-11-26 |
US20140119601A1 (en) | 2014-05-01 |
US20090268943A1 (en) | 2009-10-29 |
CN101567973A (zh) | 2009-10-28 |
EP2120210B1 (en) | 2013-01-02 |
JP2009267787A (ja) | 2009-11-12 |
BRPI0900750A2 (pt) | 2010-07-20 |
US9679394B2 (en) | 2017-06-13 |
RU2009115762A (ru) | 2010-10-27 |
EP2120210A2 (en) | 2009-11-18 |
CN101567973B (zh) | 2012-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5206095B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP4508257B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP5115139B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP4894712B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
CN103081455B (zh) | 从手持设备所捕获的多个图像进行肖像图像合成 | |
JP4553346B2 (ja) | 焦点調節装置及び焦点調節方法 | |
JP2010010936A (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム | |
JP2012249175A (ja) | 撮像装置、表示方法およびプログラム | |
JP4692849B2 (ja) | 立体画像記録装置および立体画像記録方法 | |
KR20170000311A (ko) | 디지털 촬영 장치 및 그 동작 방법 | |
JP2014050022A (ja) | 画像処理装置、撮像装置、およびプログラム | |
CN101141565A (zh) | 图像处理装置和图像处理方法、计算机程序及摄像装置 | |
JP2009258005A (ja) | 三次元測定装置及び三次元測定方法 | |
JP6257260B2 (ja) | 撮像装置及びその制御方法 | |
JP5440588B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP2010200084A (ja) | 撮像装置 | |
JP5098917B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP2019041188A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP2018042092A (ja) | 画像処理装置、撮像装置、制御方法およびプログラム | |
JP2011160334A (ja) | カメラ | |
JP2010217915A (ja) | 撮像装置及びその制御方法 | |
JP2011061857A (ja) | 画像処理装置、画像処理方法、プログラム、撮像装置 | |
JP2009284075A (ja) | 撮影装置および撮影方法 | |
JP2009267824A (ja) | 撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110422 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120824 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121214 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |