JP5190882B2 - Compound eye photographing apparatus, control method therefor, and program - Google Patents
Compound eye photographing apparatus, control method therefor, and program Download PDFInfo
- Publication number
- JP5190882B2 JP5190882B2 JP2008286227A JP2008286227A JP5190882B2 JP 5190882 B2 JP5190882 B2 JP 5190882B2 JP 2008286227 A JP2008286227 A JP 2008286227A JP 2008286227 A JP2008286227 A JP 2008286227A JP 5190882 B2 JP5190882 B2 JP 5190882B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- photographing
- images
- determining
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、被写体を異なる位置から撮影することにより、3次元表示が可能な複数の画像を取得する複眼撮影装置およびその制御方法並びに複眼撮影装置の制御方法をコンピュータに実行させるためのプログラムに関するものである。 The present invention relates to a compound eye photographing apparatus that acquires a plurality of images that can be displayed in three dimensions by photographing a subject from different positions, a control method thereof, and a program for causing a computer to execute the control method of the compound eye photographing apparatus. It is.
複数の画像を組み合わせて3次元表示することにより、視差を利用して立体視できることが知られている。このような立体視は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を3次元表示することにより生成することができる。 It is known that stereoscopic viewing can be performed using parallax by combining a plurality of images and displaying them three-dimensionally. In such a stereoscopic view, a plurality of images are acquired by photographing the same subject from different positions using a plurality of cameras, and the plurality of images are three-dimensionally obtained using the parallax of the subjects included in the plurality of images. It can be generated by displaying.
また、このような3次元表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは、所定の間隔にて配置された複数の撮影部を備え、複数の撮影部が取得した画像から3次元表示用画像を生成し、生成した3次元表示用画像をモニタに3次元表示することができる。 In addition, a compound eye camera having a plurality of photographing units that performs photographing for performing such three-dimensional display has been proposed. Such a compound eye camera includes a plurality of photographing units arranged at predetermined intervals, generates a three-dimensional display image from images acquired by the plurality of photographing units, and uses the generated three-dimensional display image as a monitor. Three-dimensional display is possible.
このような複眼カメラにおいては、複数の撮影部における焦点位置および露出等の撮影条件が一致しないと、複数の画像間において明るさが異なったり、合焦する被写体が異なったりするため、3次元表示を行った際に、適切に立体視を行うことができない。このため、複数の撮影部が撮影した画像において重複する領域を用いて、各撮影部の焦点位置を検出する手法が提案されている(特許文献1参照)。また、複数の撮影部のうちの1つの撮影部の合焦動作を行い、他の撮影部についてはその1つの撮影部と同様の合焦動作を行う手法も提案されている(特許文献2参照)。
しかしながら、特許文献1に記載された手法においては、各撮影部の画角に複数の被写体が含まれる場合、各撮影部が撮影した画像の重複範囲が大きいと、重複範囲に複数の被写体が含まれる可能性がある。このような場合、各撮影部において異なる被写体に合焦するように焦点位置が決定されてしまうおそれがある。また、特許文献2に記載された手法においては、撮影部間の光学系の個体差により、1つの撮影部の焦点位置と他の撮影部の焦点位置とが必ずしも一致しない場合があるため、他の撮影部において、1つの撮影部と同一の被写体に合焦しないおそれがある。
However, in the method described in
本発明は上記事情に鑑みなされたものであり、複数の撮影部を備えた複眼撮影装置において、共通する被写体を用いて撮影条件を決定できるようにすることを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to make it possible to determine photographing conditions using a common subject in a compound eye photographing apparatus including a plurality of photographing units.
本発明による複眼撮影装置は、互いに異なる位置において撮影を行うことにより、3次元表示が可能な複数の画像を取得する複数の撮影手段と、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから所定被写体を検出する被写体検出手段と、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された1つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、該基準被写体における少なくとも1つの特徴点を検出する特徴点検出手段と、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定する被写体決定手段と、
前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定する撮影条件決定手段とを備えたことを特徴とするものである。
A compound eye photographing device according to the present invention includes a plurality of photographing means for obtaining a plurality of images that can be three-dimensionally displayed by photographing at different positions;
Subject detection means for detecting a predetermined subject from each of the plurality of images acquired by the plurality of photographing means for determining photographing conditions;
When a plurality of the predetermined subjects are detected from each of the plurality of images, a reference for determining the photographing condition for one predetermined subject detected from a reference image serving as a reference among the plurality of images A feature point detection means for determining a subject and detecting at least one feature point in the reference subject;
Subject determination means for determining a corresponding subject corresponding to the reference subject by searching for a corresponding point corresponding to the feature point in the predetermined subject detected from an image other than the reference image;
An imaging condition determining unit that determines the imaging condition of each of the plurality of imaging units based on the reference subject and the corresponding subject is provided.
「特徴点」とは、所定被写体に固有の特徴を表すものであり、例えば所定被写体を顔とした場合、左右目頭、左右目尻および左右口角等を特徴点として用いることができる。また、所定被写体に含まれるエッジを含む領域を特徴点として用いることもできる。 The “feature point” represents a characteristic unique to a predetermined subject. For example, when the predetermined subject is a face, the left and right eye heads, the left and right eye corners, and the left and right mouth corners can be used as feature points. In addition, a region including an edge included in a predetermined subject can be used as a feature point.
なお、本発明による複眼撮影装置においては、前記撮影条件が焦点位置である場合、前記撮影条件決定手段を、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定する手段としてもよい。 In the compound eye photographing apparatus according to the present invention, when the photographing condition is a focal position, the photographing condition determining unit is configured to focus each of the plurality of photographing units so as to focus on the reference subject and the corresponding subject. It may be a means for determining the focal position.
また、本発明による複眼撮影装置においては、前記撮影条件が露出条件である場合、前記撮影条件決定手段を、前記基準被写体および前記対応被写体が所定の明るさとなるように、前記複数の撮影手段のそれぞれの露出値を決定する手段としてもよい。 Further, in the compound eye photographing apparatus according to the present invention, when the photographing condition is an exposure condition, the photographing condition determining means includes the plurality of photographing means so that the reference subject and the corresponding subject have a predetermined brightness. It is good also as a means to determine each exposure value.
また、本発明による複眼撮影装置においては、前記所定被写体を人物の顔としてもよい。 In the compound eye photographing apparatus according to the present invention, the predetermined subject may be a human face.
本発明による複眼撮影装置の制御方法は、互いに異なる位置において撮影を行うことにより、3次元表示が可能な複数の画像を取得し、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから所定被写体を検出し、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された1つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、
該基準被写体における少なくとも1つの特徴点を検出し、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定し、
前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定することを特徴とするものである。
The method for controlling a compound eye photographing apparatus according to the present invention obtains a plurality of images that can be three-dimensionally displayed by photographing at different positions.
Detecting a predetermined subject from each of the plurality of images acquired by the plurality of photographing means to determine a photographing condition;
When a plurality of the predetermined subjects are detected from each of the plurality of images, a reference for determining the photographing condition for one predetermined subject detected from a reference image serving as a reference among the plurality of images Decide on the subject,
Detecting at least one feature point in the reference subject;
Determining a corresponding subject corresponding to the reference subject by searching for a corresponding point corresponding to the feature point in the predetermined subject detected from an image other than the reference image;
The imaging conditions of each of the plurality of imaging units are determined based on the reference subject and the corresponding subject.
なお、本発明による複眼撮影装置の制御方法をコンピュータに実行させるためのプログラムとして提供してもよい。 In addition, you may provide as a program for making a computer perform the control method of the compound eye imaging device by this invention.
本発明によれば、撮影条件を決定するために複数の撮影手段が取得した複数の画像のそれぞれから所定被写体が検出され、複数の画像のそれぞれから複数の所定被写体が検出された場合に、複数の画像のうちの基準となる基準画像から検出された1つの所定被写体が、撮影条件を決定するための基準被写体に決定される。そして、基準被写体における少なくとも1つの特徴点が検出され、基準画像以外の他の画像から検出された所定被写体において、特徴点に対応する対応点を探索することにより、他の画像において基準被写体に対応する対応被写体が決定され、基準被写体および対応被写体に基づいて、複数の撮影手段のそれぞれの撮影条件が決定される。これにより、各撮影手段においては共通する被写体を用いて撮影条件が決定されるため、各撮影手段が取得した画像においては、共通する被写体に焦点位置を合わせたり、共通する被写体の露出を一致させたりすることができる。したがって、複数の画像を用いて3次元表示を行った場合に、共通する被写体を良好に立体視することができる。 According to the present invention, when a predetermined subject is detected from each of a plurality of images acquired by a plurality of imaging units to determine a shooting condition, and a plurality of predetermined subjects are detected from each of the plurality of images, a plurality of subjects are detected. One predetermined subject detected from a reference image serving as a reference among the images is determined as a reference subject for determining shooting conditions. Then, at least one feature point in the reference subject is detected, and in a predetermined subject detected from another image other than the reference image, a corresponding point corresponding to the feature point is searched, thereby corresponding to the reference subject in another image. The corresponding subject is determined, and the photographing conditions of the plurality of photographing means are determined based on the reference subject and the corresponding subject. As a result, the photographing conditions are determined by using a common subject in each photographing means. Therefore, in the image acquired by each photographing means, the focus position is adjusted to the common subject or the exposure of the common subject is matched. Can be. Therefore, when a three-dimensional display is performed using a plurality of images, the common subject can be stereoscopically viewed satisfactorily.
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の実施形態による複眼撮影装置を適用した複眼カメラの内部構成を示す概略ブロック図である。図1に示すように本実施形態による複眼カメラ1は、2つの撮影部21A,21B、撮影制御部22、画像処理部23、圧縮/伸長処理部24、フレームメモリ25、メディア制御部26、内部メモリ27、および表示制御部28を備える。なお、撮影部21A,21Bは、所定の基線長および輻輳角を持って被写体を撮影可能なように配置されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a schematic block diagram showing an internal configuration of a compound eye camera to which a compound eye photographing apparatus according to an embodiment of the present invention is applied. As shown in FIG. 1, the compound-
図2は撮影部21A,21Bの構成を示す図である。図2に示すように、撮影部21A,21Bは、フォーカスレンズ10A,10B、ズームレンズ11A,11B、絞り12A,12B、シャッタ13A,13B、CCD14A,14B、アナログフロントエンド(AFE)15A,15BおよびA/D変換部16A,16Bをそれぞれ備える。また、撮影部21A,21Bは、フォーカスレンズ10A,10Bを駆動するフォーカスレンズ駆動部17A,17B、ズームレンズ11A,11Bを駆動するズームレンズ駆動部18A,18B、および絞り12A,12Bを駆動する絞り駆動部19A,19Bを備える。
FIG. 2 is a diagram illustrating the configuration of the photographing
フォーカスレンズ10A,10Bは被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部17A,17Bによって光軸方向に移動可能である。フォーカスレンズ駆動部17A,17Bは、後述する撮影制御部22が行うAF処理により決定された焦点位置を表す合焦データに基づいてフォーカスレンズ10A,10Bの移動を制御する。
The
ズームレンズ11A,11Bは、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部18A,18Bによって光軸方向に移動可能である。ズームレンズ駆動部18A,18Bは不図示のズームレバーが操作されることによるCPU34からの指示に基づいて、ズームレンズ11A,11Bの移動を制御する。
The
絞り12A,12Bは、撮影制御部22が行うAE処理により得られる絞り値データに基づいて、絞り駆動部19A,19Bにより絞り径の調整が行われる。
In the
シャッタ13A,13Bはメカニカルシャッタであり、不図示のシャッタ駆動部により、AE処理により得られるシャッタ速度に応じて駆動される。
The
CCD14A,14Bは、多数の受光素子を2次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、CCD14A,14Bの前面にはR,G,B各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
The
AFE15A,15Bは、CCD14A,14Bから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理(以下アナログ処理とする)を施す。
The
A/D変換部16A,16Bは、AFE15A,15Bによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部21Aにより取得されるデジタルの画像データにより表される画像を第1の画像G1、撮影部21Bにより取得される画像データにより表される画像を第2の画像G2とする。
The A /
撮影制御部22は、AF処理部22AおよびAE処理部22Bからなる。AF処理部22Aは入力部35に含まれるレリーズボタンの半押し操作により撮影部21A,21Bがプレ撮影を行うことにより取得したプレ画像に基づいて、プレ画像上の合焦領域を決定するとともにフォーカスレンズ10A,10Bの焦点位置を決定し、撮影部21A,21Bに出力する。AE処理部22Bは、プレ画像に基づいて絞り値およびシャッタ速度を露出値として決定し、撮影部21A,21Bに出力する。
The
また、撮影制御部22は、レリーズボタンの全押し操作により、撮影部21A,21Bに対して第1および第2の画像G1,G2の本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部22は、撮影部21Aに対して撮影範囲を確認させるための、第1および第2の画像G1,G2よりも画素数が少ないスルー画像を、所定時間間隔(例えば1/30秒間隔)にて順次取得させる指示を行う。
In addition, the
なお、撮影制御部22のAF処理部22Aは、スルー画像の撮影中においてもAF処理を行う。この場合のAF処理は、プレ画像に基づくAF処理と比較して、簡易な演算により行われるものである。
Note that the
画像処理部23は、撮影部21A,21Bが取得した第1および第2の画像G1,G2のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部23における処理後の第1および第2の画像についても、処理前の参照符号G1,G2を用いるものとする。
The
圧縮/伸長処理部24は、画像処理部23によって処理が施され、後述するように3次元表示のために第1および第2の画像G1,G2の本画像から生成された3次元表示用画像を表す画像データに対して、例えば、JPEG等の圧縮形式で圧縮処理を行い、3次元表示を行うための3次元画像ファイルを生成する。この3次元画像ファイルは、第1および第2の画像G1,G2の画像データおよび3次元表示用画像の画像データを含むものとなる。また、この画像ファイルには、Exifフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。
The compression /
フレームメモリ25は、撮影部21A,21Bが取得した第1および第2の画像G1,G2を表す画像データに対して、前述の画像処理部23が行う処理を含む各種処理を行う際に使用する作業用メモリである。
The
メディア制御部26は、記録メディア29にアクセスして3次元画像ファイル等の書き込みと読み込みの制御を行う。
The
内部メモリ27は、複眼カメラ1において設定される各種定数、およびCPU34が実行するプログラム等を記憶する。
The
表示制御部28は、撮影時においてフレームメモリ25に格納された第1および第2の画像G1,G2をモニタ20に2次元表示させたり、記録メディア29に記録されている第1および第2の画像G1,G2をモニタ20に2次元表示させたりする。また、表示制御部28は、後述するように3次元処理が行われた第1および第2の画像G1,G2をモニタ20に3次元表示したり、記録メディア29に記録されている3次元画像ファイルをモニタ20に3次元表示することも可能である。なお、2次元表示と3次元表示との切り替えは自動で行ってもよく、後述する入力部35を用いての撮影者からの指示により行ってもよい。ここで、3次元表示が行われている場合、レリーズボタンが押下されるまでは、第1および第2の画像G1,G2のスルー画像がモニタ20に3次元表示される。
The
なお、表示モードが3次元表示に切り替えられた場合には、後述するように第1および第2の画像G1,G2の双方が表示に用いられ、2次元表示に切り替えられた場合は第1および第2の画像G1,G2のいずれか一方が表示に用いられる。 When the display mode is switched to the three-dimensional display, both the first and second images G1 and G2 are used for display as described later, and when the display mode is switched to the two-dimensional display, the first and second images are used. One of the second images G1 and G2 is used for display.
また、本実施形態による複眼カメラ1は3次元処理部30を備える。3次元処理部30は、第1および第2の画像G1,G2をモニタ20に3次元表示させるために、第1および第2の画像G1,G2に3次元処理を行う。ここで、本実施形態における3次元表示としては、公知の任意の方式を用いることができる。例えば、第1および第2の画像G1,G2を並べて表示して裸眼平衡法により立体視を行う方式、またはモニタ20にレンチキュラーレンズを貼り付け、モニタ20の表示面の所定位置に画像G1,G2を表示することにより、左右の目に第1および第2の画像G1,G2を入射させて3次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ20のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ20の表示面に第1および第2の画像G1,G2をバックライトの左右への分離にあわせて交互に表示することにより、3次元表示を実現するスキャンバックライト方式等を用いることができる。
Further, the
なお、モニタ20は3次元表示の方式に応じた加工がなされている。例えば、3次元表示の方式がレンチキュラー方式の場合には、モニタ20の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ20の表示面に取り付けられている。
The
また、本実施形態による複眼カメラ1は顔検出部31、特徴点検出部32および被写体決定部33を備える。
The
顔検出部31は、テンプレートマッチングによる手法、あるいは顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、第1および第2の画像G1,G2から顔を検出し、検出した顔を囲む所定範囲の領域を顔領域として検出する。ここで、顔領域は、AE処理およびAF処理により、顔の明るさを適切にしたり、顔に合焦させたりするための撮影条件を決定するために使用される領域である。なお、第1および第2の画像G1,G2に複数の人物が含まれる場合、顔検出部31は、すべての顔領域を検出する。
The
特徴点検出部32は、顔検出部31が1つの画像から複数の顔領域を検出した場合、第1および第2の画像G1,G2のうちの基準となる第1の画像G1から検出した複数の顔領域のうちの1つの顔領域を基準顔領域に決定し、基準顔領域から顔を構成する主要な顔部品の位置を顔の特徴点として検出する。ここで、特徴点検出部32は、第1の画像G1の最も中心に位置する顔領域または最も大きい顔領域を基準顔領域に決定する。本実施形態においては、画像G1の最も中心に近い位置にある顔領域を基準顔領域に決定するものとする。例えば、図3に示すように第1の画像G1から3つの顔領域F1〜F3が検出された場合、最も中心に近い位置にある顔領域F3を基準顔領域BF0に決定する。
When the
なお、特徴点検出部32は、具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法、あるいは顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭、左右目尻および左右口角の計6個の特徴点の位置を特徴点として検出する。例えば、図3に示すように基準顔領域BF0である顔領域F3から6個の特徴点T1〜T6を検出する。なお、これらの6個の特徴点の他、左右小鼻および上唇等を特徴点に加えてもよい。
Note that the feature
被写体決定部33は、基準顔領域BF0に含まれる特徴点T1〜T6に対応する対応点の探索を、第2の画像G2から検出されたすべての顔領域に対して順次行い、対応点が探索された顔領域を基準顔領域BF0に対応する対応顔領域CF0に決定する。例えば、図4に示すように第2の画像G2から3つの顔領域F11〜F13が検出された場合、左側に位置する顔領域F11から順に、特徴点T1〜T6に対応する対応点を探索する。なお、対応点の探索は、特徴点T1〜T6を中心とする所定範囲の領域を基準顔領域BF0から切り出し、切り出した領域をテンプレートとして、各顔領域F11〜F13とのテンプレートマッチングを行い、相関値が所定のしきい値以上となる顔領域F11〜F13上の画素を探索することにより行う。
The
ここで、図4に示すように第2の画像G2から顔領域F11〜F13が検出された場合、最も中心に近い位置にある顔領域は顔領域F12であるが、基準顔領域BF0に対応する対応顔領域CF0は顔領域F13となる。なお、対応点が検出されなかった場合、被写体決定部33は、第2の画像G2における最も中心に近い顔領域F12を対応顔領域CF0に決定する。
Here, as shown in FIG. 4, when face areas F11 to F13 are detected from the second image G2, the face area closest to the center is the face area F12, but corresponds to the reference face area BF0. Corresponding face area CF0 is face area F13. If the corresponding point is not detected, the
被写体決定部33は、基準顔領域BF0および対応顔領域CF0の位置を表す情報を撮影制御部22に出力する。撮影制御部22は、基準顔領域BF0および対応顔領域CF0に基づいて、撮影部21A,21Bの本撮影時における撮影条件を決定する。具体的には、撮影制御部22のAF処理部22Aは、第1の画像G1における基準顔領域BF0および第2の画像G2における対応顔領域CF0に合焦するように、撮影部21A,21Bのフォーカスレンズ10A,10Bの焦点位置を決定する。また、撮影制御部22のAE処理部22Bは、第1の画像G1における基準顔領域BF0および第2の画像G2における対応顔領域CF0の明るさがあらかじめ定められた所定の明るさとなるように、露出値すなわち絞り値およびシャッタ速度を決定する。
The
CPU34は、レリーズボタン等を含む入力部35からの信号に応じて複眼カメラ1の各部を制御する。
The
データバス36は、複眼カメラ1を構成する各部およびCPU34に接続されており、複眼カメラ1における各種データおよび各種情報のやり取りを行う。
The
次いで、本実施形態において行われる処理について説明する。図5は本実施形態において行われる処理を示すフローチャートである。なお、本発明は第1および第2の画像G1,G2のプレ画像を用いて撮影条件を決定する処理に特徴を有するため、以降の説明においては、プレ画像が撮影されて撮影条件が決定されるまでの処理についてのみ説明する。 Next, processing performed in the present embodiment will be described. FIG. 5 is a flowchart showing processing performed in the present embodiment. Since the present invention is characterized by the process of determining the shooting conditions using the pre-images of the first and second images G1 and G2, in the following description, the shooting conditions are determined by shooting the pre-image. Only the processing up to this point will be described.
レリーズボタンが半押し操作され、撮影部21A,21Bが第1および第2の画像G1,G2のプレ画像を取得することによりCPU34が処理を開始し、まず、顔検出部31が第1および第2の画像G1,G2から顔領域を検出する(ステップST1)。次いで、CPU34は各画像G1,G2から顔領域が複数検出されたか否かを判定し(ステップST2)、ステップST2が否定されると、その旨の情報を撮影制御部22に出力する。撮影制御部22は、第1および第2の画像G1,G2に基づいて撮影条件を決定し(ステップST3)、処理を終了する。
The release button is pressed halfway down, and the photographing
ステップST2が肯定されると、特徴点検出部32が、第1の画像G1から検出された複数の顔領域のうちの基準となる基準顔領域BF0を決定し(ステップST4)、基準顔領域BF0の特徴点T1〜T6を検出する(ステップST5)。次いで、被写体決定部33が、第2の画像G1から検出された複数の顔領域のうち、処理対象となる顔領域を最初の顔領域に決定し(ステップST6)、特徴点T1〜T6に対応する対応点の探索を行う(ステップST7)。そして対応点が探索されたか否かを判定し(ステップST8)、ステップST8が否定されると、すべての顔領域について対応点の探索が終了したか否かを判定し(ステップST9)、ステップST9が否定されると処理の対象を次の顔領域に変更し(ステップST10)、ステップST7に戻る。
If step ST2 is affirmed, the feature
ステップST8が肯定されると、現在処理の対象となっている顔領域を基準顔領域BF0に対応する対応顔領域CF0に決定し(ステップST11)、基準顔領域BF0および対応顔領域CF0の位置を表す情報を撮影制御部22に出力する。撮影制御部22は第1の画像G1の基準顔領域BF0および第2の画像G2の対応顔領域CF0に基づいて撮影条件を決定し(ステップST12)、処理を終了する。
If step ST8 is affirmed, the face area currently being processed is determined as the corresponding face area CF0 corresponding to the reference face area BF0 (step ST11), and the positions of the reference face area BF0 and the corresponding face area CF0 are determined. Information to be output is output to the
なお、ステップST9が肯定されると、基準顔領域BF0に対応する対応顔領域CF0が第2の画像G2に存在しないことから、被写体決定部33は、第2の画像G2における最も中心に近い顔領域を対応顔領域CF0に決定し(ステップST13)、基準顔領域BF0および対応顔領域CF0の位置を表す情報を撮影制御部22に出力する。撮影制御部22はステップST12の処理を行い、処理を終了する。
If step ST9 is affirmed, the corresponding face area CF0 corresponding to the reference face area BF0 does not exist in the second image G2, so that the
このように、本実施形態によれば、プレ撮影により取得された第1の画像G1から検出した顔領域のうちの基準となる基準顔領域BF0を決定し、基準顔領域BF0から特徴点T1〜T6を検出し、同様にプレ撮影により取得された第2の画像G2から検出された顔領域において、特徴点T1〜T6に対応する対応点を探索することにより、第2の画像G2において基準顔領域BF0に対応する対応顔領域CF0を決定し、基準顔領域BF0および対応顔領域CF0に基づいて、撮影部21A,21Bの本撮影時の撮影条件を決定するようにしたものである。このため、撮影部21A,21Bにおいては共通する被写体を用いて撮影条件が決定されることとなり、その結果、各撮影部21A,21Bが取得した第1および第2の画像G1,G2の本画像においては、共通する被写体に焦点位置を合わせたり、共通する被写体の露出を一致させたりすることができる。したがって、複数の画像を用いて3次元表示を行った場合に、共通する被写体を良好に立体視することができる。
As described above, according to the present embodiment, the reference face area BF0 serving as a reference among the face areas detected from the first image G1 acquired by the pre-photographing is determined, and the feature points T1 to T1 are determined from the reference face area BF0. A reference face is detected in the second image G2 by detecting T6 and searching for corresponding points corresponding to the feature points T1 to T6 in the face area detected from the second image G2 obtained by pre-shooting. The corresponding face area CF0 corresponding to the area BF0 is determined, and based on the reference face area BF0 and the corresponding face area CF0, shooting conditions at the time of actual shooting of the
なお、上記実施形態においては、複眼カメラ1に2つの撮影部21A,21Bを設け、2つの画像G1,G2を用いて3次元表示を行っているが、3以上の撮影部を設け、3以上の画像を用いて3次元表示を行う場合にも本発明を適用することができる。この場合、3以上の撮影部により取得された複数の画像のうち、1つの画像を基準画像として基準顔領域BF0を決定し、他の画像に対して順次対応顔領域CF0を決定するようにすればよい。
In the above-described embodiment, the two-
また、上記実施形態においては顔領域を検出しているが、自動車および動物の顔等、顔以外の被写体を検出し、被写体が第1および第2の画像G1,G2においてそれぞれ複数検出された場合に、上記と同様に基準となる被写体およびこれに対応する被写体を決定し、基準となる被写体および対応する被写体に基づいて撮影条件を決定するようにしてもよい。 In the above embodiment, the face area is detected. However, when a subject other than the face such as a car or an animal face is detected, and a plurality of subjects are detected in the first and second images G1 and G2, respectively. In addition, the reference subject and the corresponding subject may be determined in the same manner as described above, and the shooting conditions may be determined based on the reference subject and the corresponding subject.
また、上記実施形態においては、プレ撮影により取得された第1および第2の画像G1,G2のプレ画像を用いて撮影条件を決定しているが、動画像撮影時のように撮影条件の決定を動的に行う場合、スルー画像を用いて撮影条件を決定するようにしてもよい。 In the above embodiment, the shooting conditions are determined using the pre-images of the first and second images G1 and G2 acquired by the pre-shooting. However, the shooting conditions are determined as in moving image shooting. In the case of dynamically performing the shooting, a shooting condition may be determined using a through image.
以上、本発明の実施形態について説明したが、コンピュータを、上記の顔検出部31、特徴点検出部32および被写体決定部33に対応する手段として機能させ、図5に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。
Although the embodiment of the present invention has been described above, the computer is caused to function as a unit corresponding to the
1 複眼カメラ
21A,21B 撮影部
22 撮影制御部
28 表示制御部
30 3次元処理部
31 顔検出部
32 特徴点検出部
33 被写体決定部
DESCRIPTION OF
Claims (3)
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから、人物の顔である所定被写体を検出する被写体検出手段と、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された1つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、該基準被写体における少なくとも1つの特徴点を検出する特徴点検出手段と、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定する被写体決定手段と、
前記基準被写体および前記対応被写体を特定した後に、前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定するに際し、前記撮影条件が焦点位置である場合、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定する撮影条件決定手段とを備えたことを特徴とする複眼撮影装置。 A plurality of photographing means for obtaining a plurality of images capable of three-dimensional display by photographing at different positions;
Subject detection means for detecting a predetermined subject, which is a person's face, from each of the plurality of images acquired by the plurality of photographing means for determining photographing conditions;
When a plurality of the predetermined subjects are detected from each of the plurality of images, a reference for determining the photographing condition for one predetermined subject detected from a reference image serving as a reference among the plurality of images A feature point detection means for determining a subject and detecting at least one feature point in the reference subject;
Subject determination means for determining a corresponding subject corresponding to the reference subject by searching for a corresponding point corresponding to the feature point in the predetermined subject detected from an image other than the reference image;
After determining the reference subject and the corresponding subject, when determining the shooting condition of each of the plurality of photographing means based on the reference subject and the corresponding subject, when the shooting condition is a focal position, A compound eye photographing apparatus comprising: photographing condition determining means for determining a focal position of each of the plurality of photographing means so as to focus on a reference subject and the corresponding subject .
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから人物の顔である所定被写体を検出し、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された1つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、
該基準被写体における少なくとも1つの特徴点を検出し、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定し、
前記基準被写体および前記対応被写体を特定した後に、前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定するに際し、前記撮影条件が焦点位置である場合、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定することを特徴とする複眼撮影装置の制御方法。 By capturing images at different positions, a plurality of images that can be displayed in three dimensions are obtained,
Detecting a predetermined subject that is a person's face from each of the plurality of images acquired by the plurality of photographing means to determine photographing conditions;
When a plurality of the predetermined subjects are detected from each of the plurality of images, a reference for determining the photographing condition for one predetermined subject detected from a reference image serving as a reference among the plurality of images Decide on the subject,
Detecting at least one feature point in the reference subject;
Determining a corresponding subject corresponding to the reference subject by searching for a corresponding point corresponding to the feature point in the predetermined subject detected from an image other than the reference image;
After determining the reference subject and the corresponding subject, when determining the shooting condition of each of the plurality of photographing means based on the reference subject and the corresponding subject, when the shooting condition is a focal position, A control method for a compound eye photographing apparatus , wherein a focal position of each of the plurality of photographing means is determined so as to focus on a reference subject and the corresponding subject .
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから人物の顔である所定被写体を検出する手順と、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された1つの所定被写体を、前記撮影条件を決定するための基準被写体に決定する手順と、
該基準被写体における少なくとも1つの特徴点を検出する手順と、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定する手順と、
前記基準被写体および前記対応被写体を特定した後に、前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定するに際し、前記撮影条件が焦点位置である場合、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定する手順とを有する複眼撮影装置の制御方法をコンピュータに実行させることを特徴とするプログラム。 A procedure for acquiring a plurality of images that can be displayed in three dimensions by shooting at different positions;
A procedure for detecting a predetermined subject that is a face of a person from each of the plurality of images acquired by the plurality of photographing means to determine a photographing condition;
When a plurality of the predetermined subjects are detected from each of the plurality of images, a reference for determining the photographing condition for one predetermined subject detected from a reference image serving as a reference among the plurality of images The procedure to determine the subject,
Detecting at least one feature point in the reference subject;
Determining a corresponding subject corresponding to the reference subject by searching for a corresponding point corresponding to the feature point in the predetermined subject detected from an image other than the reference image;
After determining the reference subject and the corresponding subject, when determining the shooting condition of each of the plurality of photographing means based on the reference subject and the corresponding subject, when the shooting condition is a focal position, A program for causing a computer to execute a control method of a compound eye photographing apparatus including a procedure for determining a focal position of each of the plurality of photographing means so as to focus on a reference subject and the corresponding subject .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008286227A JP5190882B2 (en) | 2008-11-07 | 2008-11-07 | Compound eye photographing apparatus, control method therefor, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008286227A JP5190882B2 (en) | 2008-11-07 | 2008-11-07 | Compound eye photographing apparatus, control method therefor, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010114712A JP2010114712A (en) | 2010-05-20 |
JP5190882B2 true JP5190882B2 (en) | 2013-04-24 |
Family
ID=42302915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008286227A Expired - Fee Related JP5190882B2 (en) | 2008-11-07 | 2008-11-07 | Compound eye photographing apparatus, control method therefor, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5190882B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2011152168A1 (en) * | 2010-06-04 | 2013-07-25 | 富士フイルム株式会社 | Stereo imaging digital camera and operation control method thereof |
JP5917017B2 (en) * | 2011-05-11 | 2016-05-11 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
JP6025400B2 (en) * | 2012-05-29 | 2016-11-16 | キヤノン株式会社 | Work position detection device and work position detection method |
JP6245892B2 (en) * | 2013-08-21 | 2017-12-13 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
KR102144101B1 (en) * | 2019-02-15 | 2020-08-12 | 주식회사 비플러스랩 | Facial recognition method and facial recognition device using the same |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3035434B2 (en) * | 1993-10-13 | 2000-04-24 | キヤノン株式会社 | Compound eye imaging device |
JPH08194274A (en) * | 1995-01-13 | 1996-07-30 | Olympus Optical Co Ltd | Stereoscopic image pickup device |
JPH08242468A (en) * | 1995-03-01 | 1996-09-17 | Olympus Optical Co Ltd | Stereoscopic image pickup device |
JP2002051255A (en) * | 2000-07-31 | 2002-02-15 | Olympus Optical Co Ltd | Main object detectable camera |
-
2008
- 2008-11-07 JP JP2008286227A patent/JP5190882B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010114712A (en) | 2010-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4625515B2 (en) | Three-dimensional imaging apparatus, method, and program | |
JP5492300B2 (en) | Apparatus, method, and program for determining obstacle in imaging area at the time of imaging for stereoscopic display | |
JP4888191B2 (en) | Imaging device | |
JP5243003B2 (en) | Image processing apparatus and method, and program | |
JP4787180B2 (en) | Imaging apparatus and imaging method | |
JP2010068182A (en) | Three-dimensional imaging device, method, and program | |
US20080278587A1 (en) | Focus adjustment apparatus, method, and program | |
JP5295426B2 (en) | Compound eye imaging apparatus, parallax adjustment method and program thereof | |
JP2016072965A (en) | Imaging apparatus | |
JP4895312B2 (en) | Three-dimensional display device, method and program | |
US20130113793A1 (en) | Image processing device, image processing method, and image processing program | |
JP5214547B2 (en) | Image display apparatus and method, and program | |
JP2011087128A (en) | Pantoscopic camera and method for discrimination of object | |
JP5190882B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
WO2005112475A9 (en) | Image processor | |
JP2014235224A (en) | Imaging device and control program | |
JP5191864B2 (en) | Three-dimensional display device, method and program | |
JP2009239390A (en) | Compound eye photographing apparatus, control method therefor, and program | |
JP5049231B2 (en) | Three-dimensional display device, method and program | |
JP4847500B2 (en) | Three-dimensional display device, method and program | |
US20130120374A1 (en) | Image processing device, image processing method, and image processing program | |
JP2010102137A (en) | Three-dimensional photographing device, method and program | |
JP4925070B2 (en) | Three-dimensional imaging apparatus, method, and program | |
JP2009169884A (en) | Photographing device, control method of photographing device, and image reproduction device, method and program | |
JP2010034838A (en) | Electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD15 | Notification of revocation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7435 Effective date: 20110421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130123 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160208 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |