JP5190882B2 - Compound eye photographing apparatus, control method therefor, and program - Google Patents

Compound eye photographing apparatus, control method therefor, and program Download PDF

Info

Publication number
JP5190882B2
JP5190882B2 JP2008286227A JP2008286227A JP5190882B2 JP 5190882 B2 JP5190882 B2 JP 5190882B2 JP 2008286227 A JP2008286227 A JP 2008286227A JP 2008286227 A JP2008286227 A JP 2008286227A JP 5190882 B2 JP5190882 B2 JP 5190882B2
Authority
JP
Japan
Prior art keywords
subject
photographing
images
determining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008286227A
Other languages
Japanese (ja)
Other versions
JP2010114712A (en
Inventor
真樹 小濱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008286227A priority Critical patent/JP5190882B2/en
Publication of JP2010114712A publication Critical patent/JP2010114712A/en
Application granted granted Critical
Publication of JP5190882B2 publication Critical patent/JP5190882B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、被写体を異なる位置から撮影することにより、3次元表示が可能な複数の画像を取得する複眼撮影装置およびその制御方法並びに複眼撮影装置の制御方法をコンピュータに実行させるためのプログラムに関するものである。   The present invention relates to a compound eye photographing apparatus that acquires a plurality of images that can be displayed in three dimensions by photographing a subject from different positions, a control method thereof, and a program for causing a computer to execute the control method of the compound eye photographing apparatus. It is.

複数の画像を組み合わせて3次元表示することにより、視差を利用して立体視できることが知られている。このような立体視は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を3次元表示することにより生成することができる。   It is known that stereoscopic viewing can be performed using parallax by combining a plurality of images and displaying them three-dimensionally. In such a stereoscopic view, a plurality of images are acquired by photographing the same subject from different positions using a plurality of cameras, and the plurality of images are three-dimensionally obtained using the parallax of the subjects included in the plurality of images. It can be generated by displaying.

また、このような3次元表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは、所定の間隔にて配置された複数の撮影部を備え、複数の撮影部が取得した画像から3次元表示用画像を生成し、生成した3次元表示用画像をモニタに3次元表示することができる。   In addition, a compound eye camera having a plurality of photographing units that performs photographing for performing such three-dimensional display has been proposed. Such a compound eye camera includes a plurality of photographing units arranged at predetermined intervals, generates a three-dimensional display image from images acquired by the plurality of photographing units, and uses the generated three-dimensional display image as a monitor. Three-dimensional display is possible.

このような複眼カメラにおいては、複数の撮影部における焦点位置および露出等の撮影条件が一致しないと、複数の画像間において明るさが異なったり、合焦する被写体が異なったりするため、3次元表示を行った際に、適切に立体視を行うことができない。このため、複数の撮影部が撮影した画像において重複する領域を用いて、各撮影部の焦点位置を検出する手法が提案されている(特許文献1参照)。また、複数の撮影部のうちの1つの撮影部の合焦動作を行い、他の撮影部についてはその1つの撮影部と同様の合焦動作を行う手法も提案されている(特許文献2参照)。
特開平7−67023号公報 特開平7−15749号公報
In such a compound-eye camera, if the photographing conditions such as the focal positions and the exposures in the plurality of photographing units do not match, the brightness is different between the plurality of images or the subject to be focused is different. When performing this, stereoscopic viewing cannot be performed appropriately. For this reason, there has been proposed a method for detecting the focal position of each imaging unit using overlapping regions in images captured by a plurality of imaging units (see Patent Document 1). In addition, a technique has been proposed in which a focusing operation of one imaging unit among a plurality of imaging units is performed, and a focusing operation similar to that of the one imaging unit is performed for the other imaging units (see Patent Document 2). ).
JP-A-7-67023 JP-A-7-15749

しかしながら、特許文献1に記載された手法においては、各撮影部の画角に複数の被写体が含まれる場合、各撮影部が撮影した画像の重複範囲が大きいと、重複範囲に複数の被写体が含まれる可能性がある。このような場合、各撮影部において異なる被写体に合焦するように焦点位置が決定されてしまうおそれがある。また、特許文献2に記載された手法においては、撮影部間の光学系の個体差により、1つの撮影部の焦点位置と他の撮影部の焦点位置とが必ずしも一致しない場合があるため、他の撮影部において、1つの撮影部と同一の被写体に合焦しないおそれがある。   However, in the method described in Patent Document 1, when a plurality of subjects are included in the angle of view of each photographing unit, if the overlapping range of images captured by each photographing unit is large, the plurality of subjects are included in the overlapping range. There is a possibility. In such a case, the focus position may be determined so that a different subject is focused on each photographing unit. Further, in the method described in Patent Document 2, the focal position of one imaging unit and the focal position of another imaging unit may not necessarily match due to individual differences in optical systems between imaging units. In such a photographing unit, there is a possibility that the same subject as one photographing unit is not focused.

本発明は上記事情に鑑みなされたものであり、複数の撮影部を備えた複眼撮影装置において、共通する被写体を用いて撮影条件を決定できるようにすることを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to make it possible to determine photographing conditions using a common subject in a compound eye photographing apparatus including a plurality of photographing units.

本発明による複眼撮影装置は、互いに異なる位置において撮影を行うことにより、3次元表示が可能な複数の画像を取得する複数の撮影手段と、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから所定被写体を検出する被写体検出手段と、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された1つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、該基準被写体における少なくとも1つの特徴点を検出する特徴点検出手段と、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定する被写体決定手段と、
前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定する撮影条件決定手段とを備えたことを特徴とするものである。
A compound eye photographing device according to the present invention includes a plurality of photographing means for obtaining a plurality of images that can be three-dimensionally displayed by photographing at different positions;
Subject detection means for detecting a predetermined subject from each of the plurality of images acquired by the plurality of photographing means for determining photographing conditions;
When a plurality of the predetermined subjects are detected from each of the plurality of images, a reference for determining the photographing condition for one predetermined subject detected from a reference image serving as a reference among the plurality of images A feature point detection means for determining a subject and detecting at least one feature point in the reference subject;
Subject determination means for determining a corresponding subject corresponding to the reference subject by searching for a corresponding point corresponding to the feature point in the predetermined subject detected from an image other than the reference image;
An imaging condition determining unit that determines the imaging condition of each of the plurality of imaging units based on the reference subject and the corresponding subject is provided.

「特徴点」とは、所定被写体に固有の特徴を表すものであり、例えば所定被写体を顔とした場合、左右目頭、左右目尻および左右口角等を特徴点として用いることができる。また、所定被写体に含まれるエッジを含む領域を特徴点として用いることもできる。   The “feature point” represents a characteristic unique to a predetermined subject. For example, when the predetermined subject is a face, the left and right eye heads, the left and right eye corners, and the left and right mouth corners can be used as feature points. In addition, a region including an edge included in a predetermined subject can be used as a feature point.

なお、本発明による複眼撮影装置においては、前記撮影条件が焦点位置である場合、前記撮影条件決定手段を、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定する手段としてもよい。   In the compound eye photographing apparatus according to the present invention, when the photographing condition is a focal position, the photographing condition determining unit is configured to focus each of the plurality of photographing units so as to focus on the reference subject and the corresponding subject. It may be a means for determining the focal position.

また、本発明による複眼撮影装置においては、前記撮影条件が露出条件である場合、前記撮影条件決定手段を、前記基準被写体および前記対応被写体が所定の明るさとなるように、前記複数の撮影手段のそれぞれの露出値を決定する手段としてもよい。   Further, in the compound eye photographing apparatus according to the present invention, when the photographing condition is an exposure condition, the photographing condition determining means includes the plurality of photographing means so that the reference subject and the corresponding subject have a predetermined brightness. It is good also as a means to determine each exposure value.

また、本発明による複眼撮影装置においては、前記所定被写体を人物の顔としてもよい。   In the compound eye photographing apparatus according to the present invention, the predetermined subject may be a human face.

本発明による複眼撮影装置の制御方法は、互いに異なる位置において撮影を行うことにより、3次元表示が可能な複数の画像を取得し、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから所定被写体を検出し、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された1つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、
該基準被写体における少なくとも1つの特徴点を検出し、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定し、
前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定することを特徴とするものである。
The method for controlling a compound eye photographing apparatus according to the present invention obtains a plurality of images that can be three-dimensionally displayed by photographing at different positions.
Detecting a predetermined subject from each of the plurality of images acquired by the plurality of photographing means to determine a photographing condition;
When a plurality of the predetermined subjects are detected from each of the plurality of images, a reference for determining the photographing condition for one predetermined subject detected from a reference image serving as a reference among the plurality of images Decide on the subject,
Detecting at least one feature point in the reference subject;
Determining a corresponding subject corresponding to the reference subject by searching for a corresponding point corresponding to the feature point in the predetermined subject detected from an image other than the reference image;
The imaging conditions of each of the plurality of imaging units are determined based on the reference subject and the corresponding subject.

なお、本発明による複眼撮影装置の制御方法をコンピュータに実行させるためのプログラムとして提供してもよい。   In addition, you may provide as a program for making a computer perform the control method of the compound eye imaging device by this invention.

本発明によれば、撮影条件を決定するために複数の撮影手段が取得した複数の画像のそれぞれから所定被写体が検出され、複数の画像のそれぞれから複数の所定被写体が検出された場合に、複数の画像のうちの基準となる基準画像から検出された1つの所定被写体が、撮影条件を決定するための基準被写体に決定される。そして、基準被写体における少なくとも1つの特徴点が検出され、基準画像以外の他の画像から検出された所定被写体において、特徴点に対応する対応点を探索することにより、他の画像において基準被写体に対応する対応被写体が決定され、基準被写体および対応被写体に基づいて、複数の撮影手段のそれぞれの撮影条件が決定される。これにより、各撮影手段においては共通する被写体を用いて撮影条件が決定されるため、各撮影手段が取得した画像においては、共通する被写体に焦点位置を合わせたり、共通する被写体の露出を一致させたりすることができる。したがって、複数の画像を用いて3次元表示を行った場合に、共通する被写体を良好に立体視することができる。   According to the present invention, when a predetermined subject is detected from each of a plurality of images acquired by a plurality of imaging units to determine a shooting condition, and a plurality of predetermined subjects are detected from each of the plurality of images, a plurality of subjects are detected. One predetermined subject detected from a reference image serving as a reference among the images is determined as a reference subject for determining shooting conditions. Then, at least one feature point in the reference subject is detected, and in a predetermined subject detected from another image other than the reference image, a corresponding point corresponding to the feature point is searched, thereby corresponding to the reference subject in another image. The corresponding subject is determined, and the photographing conditions of the plurality of photographing means are determined based on the reference subject and the corresponding subject. As a result, the photographing conditions are determined by using a common subject in each photographing means. Therefore, in the image acquired by each photographing means, the focus position is adjusted to the common subject or the exposure of the common subject is matched. Can be. Therefore, when a three-dimensional display is performed using a plurality of images, the common subject can be stereoscopically viewed satisfactorily.

以下、図面を参照して本発明の実施形態について説明する。図1は本発明の実施形態による複眼撮影装置を適用した複眼カメラの内部構成を示す概略ブロック図である。図1に示すように本実施形態による複眼カメラ1は、2つの撮影部21A,21B、撮影制御部22、画像処理部23、圧縮/伸長処理部24、フレームメモリ25、メディア制御部26、内部メモリ27、および表示制御部28を備える。なお、撮影部21A,21Bは、所定の基線長および輻輳角を持って被写体を撮影可能なように配置されている。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a schematic block diagram showing an internal configuration of a compound eye camera to which a compound eye photographing apparatus according to an embodiment of the present invention is applied. As shown in FIG. 1, the compound-eye camera 1 according to this embodiment includes two photographing units 21A and 21B, a photographing control unit 22, an image processing unit 23, a compression / decompression processing unit 24, a frame memory 25, a media control unit 26, an internal A memory 27 and a display control unit 28 are provided. The photographing units 21A and 21B are arranged so as to photograph a subject with a predetermined baseline length and convergence angle.

図2は撮影部21A,21Bの構成を示す図である。図2に示すように、撮影部21A,21Bは、フォーカスレンズ10A,10B、ズームレンズ11A,11B、絞り12A,12B、シャッタ13A,13B、CCD14A,14B、アナログフロントエンド(AFE)15A,15BおよびA/D変換部16A,16Bをそれぞれ備える。また、撮影部21A,21Bは、フォーカスレンズ10A,10Bを駆動するフォーカスレンズ駆動部17A,17B、ズームレンズ11A,11Bを駆動するズームレンズ駆動部18A,18B、および絞り12A,12Bを駆動する絞り駆動部19A,19Bを備える。   FIG. 2 is a diagram illustrating the configuration of the photographing units 21A and 21B. As shown in FIG. 2, the photographing units 21A and 21B include focus lenses 10A and 10B, zoom lenses 11A and 11B, diaphragms 12A and 12B, shutters 13A and 13B, CCDs 14A and 14B, analog front ends (AFE) 15A and 15B, and A / D converters 16A and 16B are provided. The photographing units 21A and 21B also include focus lens driving units 17A and 17B that drive the focus lenses 10A and 10B, zoom lens driving units 18A and 18B that drive the zoom lenses 11A and 11B, and diaphragms that drive the apertures 12A and 12B. Drive units 19A and 19B are provided.

フォーカスレンズ10A,10Bは被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部17A,17Bによって光軸方向に移動可能である。フォーカスレンズ駆動部17A,17Bは、後述する撮影制御部22が行うAF処理により決定された焦点位置を表す合焦データに基づいてフォーカスレンズ10A,10Bの移動を制御する。   The focus lenses 10A and 10B are for focusing on a subject, and can be moved in the optical axis direction by focus lens driving units 17A and 17B including a motor and a motor driver. The focus lens driving units 17A and 17B control the movement of the focus lenses 10A and 10B based on the focusing data representing the focal position determined by the AF process performed by the imaging control unit 22 described later.

ズームレンズ11A,11Bは、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部18A,18Bによって光軸方向に移動可能である。ズームレンズ駆動部18A,18Bは不図示のズームレバーが操作されることによるCPU34からの指示に基づいて、ズームレンズ11A,11Bの移動を制御する。   The zoom lenses 11A and 11B are for realizing a zoom function, and can be moved in the optical axis direction by zoom lens driving units 18A and 18B including a motor and a motor driver. The zoom lens driving units 18A and 18B control the movement of the zoom lenses 11A and 11B based on an instruction from the CPU 34 when a zoom lever (not shown) is operated.

絞り12A,12Bは、撮影制御部22が行うAE処理により得られる絞り値データに基づいて、絞り駆動部19A,19Bにより絞り径の調整が行われる。   In the apertures 12A and 12B, the aperture diameters are adjusted by the aperture drivers 19A and 19B based on aperture value data obtained by the AE process performed by the imaging control unit 22.

シャッタ13A,13Bはメカニカルシャッタであり、不図示のシャッタ駆動部により、AE処理により得られるシャッタ速度に応じて駆動される。   The shutters 13A and 13B are mechanical shutters, and are driven by a shutter driving unit (not shown) according to the shutter speed obtained by the AE process.

CCD14A,14Bは、多数の受光素子を2次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、CCD14A,14Bの前面にはR,G,B各色のフィルタが規則的に配列されたカラーフィルタが配設されている。   The CCDs 14A and 14B have a photoelectric surface in which a large number of light receiving elements are two-dimensionally arranged, and subject light is imaged on the photoelectric surface and subjected to photoelectric conversion to obtain an analog photographing signal. In addition, color filters in which R, G, and B color filters are regularly arranged are arranged on the front surfaces of the CCDs 14A and 14B.

AFE15A,15Bは、CCD14A,14Bから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理(以下アナログ処理とする)を施す。   The AFEs 15A and 15B perform processing for removing noise of the analog photographing signal and processing for adjusting the gain of the analog photographing signal (hereinafter referred to as analog processing) for the analog photographing signals output from the CCDs 14A and 14B.

A/D変換部16A,16Bは、AFE15A,15Bによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部21Aにより取得されるデジタルの画像データにより表される画像を第1の画像G1、撮影部21Bにより取得される画像データにより表される画像を第2の画像G2とする。   The A / D converters 16A and 16B convert the analog photographing signals subjected to the analog processing by the AFEs 15A and 15B into digital signals. Note that an image represented by digital image data acquired by the photographing unit 21A is a first image G1, and an image represented by image data acquired by the photographing unit 21B is a second image G2.

撮影制御部22は、AF処理部22AおよびAE処理部22Bからなる。AF処理部22Aは入力部35に含まれるレリーズボタンの半押し操作により撮影部21A,21Bがプレ撮影を行うことにより取得したプレ画像に基づいて、プレ画像上の合焦領域を決定するとともにフォーカスレンズ10A,10Bの焦点位置を決定し、撮影部21A,21Bに出力する。AE処理部22Bは、プレ画像に基づいて絞り値およびシャッタ速度を露出値として決定し、撮影部21A,21Bに出力する。   The imaging control unit 22 includes an AF processing unit 22A and an AE processing unit 22B. The AF processing unit 22A determines the focus area on the pre-image and the focus based on the pre-image acquired by the photographing units 21A and 21B performing pre-photographing by half-pressing the release button included in the input unit 35. The focal positions of the lenses 10A and 10B are determined and output to the photographing units 21A and 21B. The AE processing unit 22B determines the aperture value and the shutter speed as the exposure value based on the pre-image, and outputs them to the photographing units 21A and 21B.

また、撮影制御部22は、レリーズボタンの全押し操作により、撮影部21A,21Bに対して第1および第2の画像G1,G2の本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部22は、撮影部21Aに対して撮影範囲を確認させるための、第1および第2の画像G1,G2よりも画素数が少ないスルー画像を、所定時間間隔(例えば1/30秒間隔)にて順次取得させる指示を行う。   In addition, the shooting control unit 22 instructs the shooting units 21A and 21B to perform main shooting for acquiring the main images of the first and second images G1 and G2 by fully pressing the release button. Before the release button is operated, the shooting control unit 22 displays a through image having a smaller number of pixels than the first and second images G1 and G2 for allowing the shooting unit 21A to check the shooting range. Then, an instruction to sequentially acquire at a predetermined time interval (for example, 1/30 second interval) is given.

なお、撮影制御部22のAF処理部22Aは、スルー画像の撮影中においてもAF処理を行う。この場合のAF処理は、プレ画像に基づくAF処理と比較して、簡易な演算により行われるものである。   Note that the AF processing unit 22A of the shooting control unit 22 performs AF processing even during shooting of a through image. The AF process in this case is performed by simple calculation as compared with the AF process based on the pre-image.

画像処理部23は、撮影部21A,21Bが取得した第1および第2の画像G1,G2のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部23における処理後の第1および第2の画像についても、処理前の参照符号G1,G2を用いるものとする。   The image processing unit 23 adjusts white balance, gradation correction, sharpness correction, and color correction on the digital image data of the first and second images G1 and G2 acquired by the imaging units 21A and 21B. Etc. are applied. It should be noted that reference numerals G1 and G2 before processing are also used for the first and second images after processing in the image processing unit 23.

圧縮/伸長処理部24は、画像処理部23によって処理が施され、後述するように3次元表示のために第1および第2の画像G1,G2の本画像から生成された3次元表示用画像を表す画像データに対して、例えば、JPEG等の圧縮形式で圧縮処理を行い、3次元表示を行うための3次元画像ファイルを生成する。この3次元画像ファイルは、第1および第2の画像G1,G2の画像データおよび3次元表示用画像の画像データを含むものとなる。また、この画像ファイルには、Exifフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。   The compression / decompression processing unit 24 is processed by the image processing unit 23, and a three-dimensional display image generated from the main images of the first and second images G1 and G2 for three-dimensional display as will be described later. Is compressed in a compression format such as JPEG, and a three-dimensional image file for three-dimensional display is generated. The three-dimensional image file includes image data of the first and second images G1 and G2 and image data of a three-dimensional display image. In addition, a tag in which incidental information such as shooting date and time is stored is assigned to the image file based on the Exif format or the like.

フレームメモリ25は、撮影部21A,21Bが取得した第1および第2の画像G1,G2を表す画像データに対して、前述の画像処理部23が行う処理を含む各種処理を行う際に使用する作業用メモリである。   The frame memory 25 is used when various processes including the process performed by the image processing unit 23 described above are performed on the image data representing the first and second images G1 and G2 acquired by the imaging units 21A and 21B. This is a working memory.

メディア制御部26は、記録メディア29にアクセスして3次元画像ファイル等の書き込みと読み込みの制御を行う。   The media control unit 26 accesses the recording medium 29 and controls writing and reading of a 3D image file or the like.

内部メモリ27は、複眼カメラ1において設定される各種定数、およびCPU34が実行するプログラム等を記憶する。   The internal memory 27 stores various constants set in the compound-eye camera 1, a program executed by the CPU 34, and the like.

表示制御部28は、撮影時においてフレームメモリ25に格納された第1および第2の画像G1,G2をモニタ20に2次元表示させたり、記録メディア29に記録されている第1および第2の画像G1,G2をモニタ20に2次元表示させたりする。また、表示制御部28は、後述するように3次元処理が行われた第1および第2の画像G1,G2をモニタ20に3次元表示したり、記録メディア29に記録されている3次元画像ファイルをモニタ20に3次元表示することも可能である。なお、2次元表示と3次元表示との切り替えは自動で行ってもよく、後述する入力部35を用いての撮影者からの指示により行ってもよい。ここで、3次元表示が行われている場合、レリーズボタンが押下されるまでは、第1および第2の画像G1,G2のスルー画像がモニタ20に3次元表示される。   The display control unit 28 two-dimensionally displays the first and second images G1 and G2 stored in the frame memory 25 at the time of shooting on the monitor 20 or the first and second images recorded on the recording medium 29. The images G1 and G2 are displayed two-dimensionally on the monitor 20. In addition, the display control unit 28 displays the first and second images G1 and G2 that have been subjected to the three-dimensional processing as described later on the monitor 20 in a three-dimensional manner or the three-dimensional image recorded in the recording medium 29. It is also possible to display the file on the monitor 20 three-dimensionally. The switching between the two-dimensional display and the three-dimensional display may be performed automatically, or may be performed by an instruction from the photographer using the input unit 35 described later. Here, when the three-dimensional display is performed, the through images of the first and second images G1 and G2 are three-dimensionally displayed on the monitor 20 until the release button is pressed.

なお、表示モードが3次元表示に切り替えられた場合には、後述するように第1および第2の画像G1,G2の双方が表示に用いられ、2次元表示に切り替えられた場合は第1および第2の画像G1,G2のいずれか一方が表示に用いられる。   When the display mode is switched to the three-dimensional display, both the first and second images G1 and G2 are used for display as described later, and when the display mode is switched to the two-dimensional display, the first and second images are used. One of the second images G1 and G2 is used for display.

また、本実施形態による複眼カメラ1は3次元処理部30を備える。3次元処理部30は、第1および第2の画像G1,G2をモニタ20に3次元表示させるために、第1および第2の画像G1,G2に3次元処理を行う。ここで、本実施形態における3次元表示としては、公知の任意の方式を用いることができる。例えば、第1および第2の画像G1,G2を並べて表示して裸眼平衡法により立体視を行う方式、またはモニタ20にレンチキュラーレンズを貼り付け、モニタ20の表示面の所定位置に画像G1,G2を表示することにより、左右の目に第1および第2の画像G1,G2を入射させて3次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ20のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ20の表示面に第1および第2の画像G1,G2をバックライトの左右への分離にあわせて交互に表示することにより、3次元表示を実現するスキャンバックライト方式等を用いることができる。   Further, the compound eye camera 1 according to the present embodiment includes a three-dimensional processing unit 30. The three-dimensional processing unit 30 performs three-dimensional processing on the first and second images G1 and G2 in order to display the first and second images G1 and G2 on the monitor 20 in three dimensions. Here, as the three-dimensional display in the present embodiment, any known method can be used. For example, the first and second images G1 and G2 are displayed side by side and stereoscopically viewed by the naked eye balance method, or a lenticular lens is attached to the monitor 20 and the images G1 and G2 are placed at predetermined positions on the display surface of the monitor 20. By displaying the lenticular method, it is possible to use a lenticular method in which the first and second images G1 and G2 are incident on the left and right eyes to realize three-dimensional display. Further, the optical path of the backlight of the monitor 20 is optically separated so as to correspond to the left and right eyes, and the first and second images G1 and G2 are separated on the display surface of the monitor 20 to the left and right of the backlight. By alternately displaying in accordance with the above, it is possible to use a scan backlight system that realizes three-dimensional display.

なお、モニタ20は3次元表示の方式に応じた加工がなされている。例えば、3次元表示の方式がレンチキュラー方式の場合には、モニタ20の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ20の表示面に取り付けられている。   The monitor 20 is processed according to a three-dimensional display method. For example, when the three-dimensional display method is the lenticular method, a lenticular lens is attached to the display surface of the monitor 20, and when the scan backlight method is used, an optical element for changing the light beam direction of the left and right images. Is attached to the display surface of the monitor 20.

また、本実施形態による複眼カメラ1は顔検出部31、特徴点検出部32および被写体決定部33を備える。   The compound eye camera 1 according to the present embodiment includes a face detection unit 31, a feature point detection unit 32, and a subject determination unit 33.

顔検出部31は、テンプレートマッチングによる手法、あるいは顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、第1および第2の画像G1,G2から顔を検出し、検出した顔を囲む所定範囲の領域を顔領域として検出する。ここで、顔領域は、AE処理およびAF処理により、顔の明るさを適切にしたり、顔に合焦させたりするための撮影条件を決定するために使用される領域である。なお、第1および第2の画像G1,G2に複数の人物が含まれる場合、顔検出部31は、すべての顔領域を検出する。   The face detection unit 31 detects a face from the first and second images G1 and G2 by a template matching method or a method using a face discriminator obtained by machine learning learning using a large number of sample images of a face. An area of a predetermined range surrounding the detected face is detected as a face area. Here, the face area is an area used for determining the photographing condition for adjusting the brightness of the face appropriately or focusing on the face by the AE process and the AF process. When the first and second images G1 and G2 include a plurality of persons, the face detection unit 31 detects all face regions.

特徴点検出部32は、顔検出部31が1つの画像から複数の顔領域を検出した場合、第1および第2の画像G1,G2のうちの基準となる第1の画像G1から検出した複数の顔領域のうちの1つの顔領域を基準顔領域に決定し、基準顔領域から顔を構成する主要な顔部品の位置を顔の特徴点として検出する。ここで、特徴点検出部32は、第1の画像G1の最も中心に位置する顔領域または最も大きい顔領域を基準顔領域に決定する。本実施形態においては、画像G1の最も中心に近い位置にある顔領域を基準顔領域に決定するものとする。例えば、図3に示すように第1の画像G1から3つの顔領域F1〜F3が検出された場合、最も中心に近い位置にある顔領域F3を基準顔領域BF0に決定する。   When the face detection unit 31 detects a plurality of face regions from one image, the feature point detection unit 32 detects a plurality of features detected from the first image G1 serving as a reference among the first and second images G1 and G2. One of the face areas is determined as a reference face area, and the positions of main facial parts constituting the face from the reference face area are detected as face feature points. Here, the feature point detection unit 32 determines the face area located at the center or the largest face area of the first image G1 as the reference face area. In the present embodiment, the face area located closest to the center of the image G1 is determined as the reference face area. For example, as shown in FIG. 3, when three face areas F1 to F3 are detected from the first image G1, the face area F3 located closest to the center is determined as the reference face area BF0.

なお、特徴点検出部32は、具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法、あるいは顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭、左右目尻および左右口角の計6個の特徴点の位置を特徴点として検出する。例えば、図3に示すように基準顔領域BF0である顔領域F3から6個の特徴点T1〜T6を検出する。なお、これらの6個の特徴点の他、左右小鼻および上唇等を特徴点に加えてもよい。   Note that the feature point detection unit 32, specifically, for each facial part obtained by a template matching method using each facial part template or machine learning learning using a large number of sample images of facial parts. For example, by using a discriminator or the like, the positions of a total of six feature points, for example, left and right eyes, left and right eye corners, and left and right mouth corners, are detected as feature points. For example, as shown in FIG. 3, six feature points T1 to T6 are detected from the face area F3 which is the reference face area BF0. In addition to these six feature points, left and right noses and upper lips may be added to the feature points.

被写体決定部33は、基準顔領域BF0に含まれる特徴点T1〜T6に対応する対応点の探索を、第2の画像G2から検出されたすべての顔領域に対して順次行い、対応点が探索された顔領域を基準顔領域BF0に対応する対応顔領域CF0に決定する。例えば、図4に示すように第2の画像G2から3つの顔領域F11〜F13が検出された場合、左側に位置する顔領域F11から順に、特徴点T1〜T6に対応する対応点を探索する。なお、対応点の探索は、特徴点T1〜T6を中心とする所定範囲の領域を基準顔領域BF0から切り出し、切り出した領域をテンプレートとして、各顔領域F11〜F13とのテンプレートマッチングを行い、相関値が所定のしきい値以上となる顔領域F11〜F13上の画素を探索することにより行う。   The subject determining unit 33 sequentially searches corresponding points corresponding to the feature points T1 to T6 included in the reference face region BF0 with respect to all the face regions detected from the second image G2, and the corresponding points are searched. The determined face area is determined as the corresponding face area CF0 corresponding to the reference face area BF0. For example, as shown in FIG. 4, when three face areas F11 to F13 are detected from the second image G2, corresponding points corresponding to the feature points T1 to T6 are searched in order from the face area F11 located on the left side. . The search for corresponding points is performed by cutting out a region in a predetermined range centering on the feature points T1 to T6 from the reference face region BF0, using the cut out region as a template, performing template matching with each of the face regions F11 to F13, and performing correlation. This is performed by searching for pixels on the face regions F11 to F13 whose values are equal to or greater than a predetermined threshold value.

ここで、図4に示すように第2の画像G2から顔領域F11〜F13が検出された場合、最も中心に近い位置にある顔領域は顔領域F12であるが、基準顔領域BF0に対応する対応顔領域CF0は顔領域F13となる。なお、対応点が検出されなかった場合、被写体決定部33は、第2の画像G2における最も中心に近い顔領域F12を対応顔領域CF0に決定する。   Here, as shown in FIG. 4, when face areas F11 to F13 are detected from the second image G2, the face area closest to the center is the face area F12, but corresponds to the reference face area BF0. Corresponding face area CF0 is face area F13. If the corresponding point is not detected, the subject determining unit 33 determines the face region F12 closest to the center in the second image G2 as the corresponding face region CF0.

被写体決定部33は、基準顔領域BF0および対応顔領域CF0の位置を表す情報を撮影制御部22に出力する。撮影制御部22は、基準顔領域BF0および対応顔領域CF0に基づいて、撮影部21A,21Bの本撮影時における撮影条件を決定する。具体的には、撮影制御部22のAF処理部22Aは、第1の画像G1における基準顔領域BF0および第2の画像G2における対応顔領域CF0に合焦するように、撮影部21A,21Bのフォーカスレンズ10A,10Bの焦点位置を決定する。また、撮影制御部22のAE処理部22Bは、第1の画像G1における基準顔領域BF0および第2の画像G2における対応顔領域CF0の明るさがあらかじめ定められた所定の明るさとなるように、露出値すなわち絞り値およびシャッタ速度を決定する。   The subject determining unit 33 outputs information representing the positions of the reference face region BF0 and the corresponding face region CF0 to the imaging control unit 22. The shooting control unit 22 determines shooting conditions at the time of actual shooting of the shooting units 21A and 21B based on the reference face region BF0 and the corresponding face region CF0. Specifically, the AF processing unit 22A of the imaging control unit 22 focuses on the reference face region BF0 in the first image G1 and the corresponding face region CF0 in the second image G2, so that the imaging units 21A and 21B The focal positions of the focus lenses 10A and 10B are determined. Further, the AE processing unit 22B of the photographing control unit 22 makes the brightness of the reference face region BF0 in the first image G1 and the corresponding face region CF0 in the second image G2 become predetermined predetermined brightness. An exposure value, that is, an aperture value and a shutter speed are determined.

CPU34は、レリーズボタン等を含む入力部35からの信号に応じて複眼カメラ1の各部を制御する。   The CPU 34 controls each part of the compound eye camera 1 according to a signal from the input part 35 including a release button and the like.

データバス36は、複眼カメラ1を構成する各部およびCPU34に接続されており、複眼カメラ1における各種データおよび各種情報のやり取りを行う。   The data bus 36 is connected to each unit constituting the compound eye camera 1 and the CPU 34, and exchanges various data and various information in the compound eye camera 1.

次いで、本実施形態において行われる処理について説明する。図5は本実施形態において行われる処理を示すフローチャートである。なお、本発明は第1および第2の画像G1,G2のプレ画像を用いて撮影条件を決定する処理に特徴を有するため、以降の説明においては、プレ画像が撮影されて撮影条件が決定されるまでの処理についてのみ説明する。   Next, processing performed in the present embodiment will be described. FIG. 5 is a flowchart showing processing performed in the present embodiment. Since the present invention is characterized by the process of determining the shooting conditions using the pre-images of the first and second images G1 and G2, in the following description, the shooting conditions are determined by shooting the pre-image. Only the processing up to this point will be described.

レリーズボタンが半押し操作され、撮影部21A,21Bが第1および第2の画像G1,G2のプレ画像を取得することによりCPU34が処理を開始し、まず、顔検出部31が第1および第2の画像G1,G2から顔領域を検出する(ステップST1)。次いで、CPU34は各画像G1,G2から顔領域が複数検出されたか否かを判定し(ステップST2)、ステップST2が否定されると、その旨の情報を撮影制御部22に出力する。撮影制御部22は、第1および第2の画像G1,G2に基づいて撮影条件を決定し(ステップST3)、処理を終了する。   The release button is pressed halfway down, and the photographing units 21A and 21B acquire pre-images of the first and second images G1 and G2, whereby the CPU 34 starts processing. First, the face detection unit 31 first and first A face area is detected from the two images G1 and G2 (step ST1). Next, the CPU 34 determines whether or not a plurality of face areas have been detected from the images G1 and G2 (step ST2), and if step ST2 is negative, outputs information to that effect to the imaging control unit 22. The shooting control unit 22 determines shooting conditions based on the first and second images G1 and G2 (step ST3), and ends the process.

ステップST2が肯定されると、特徴点検出部32が、第1の画像G1から検出された複数の顔領域のうちの基準となる基準顔領域BF0を決定し(ステップST4)、基準顔領域BF0の特徴点T1〜T6を検出する(ステップST5)。次いで、被写体決定部33が、第2の画像G1から検出された複数の顔領域のうち、処理対象となる顔領域を最初の顔領域に決定し(ステップST6)、特徴点T1〜T6に対応する対応点の探索を行う(ステップST7)。そして対応点が探索されたか否かを判定し(ステップST8)、ステップST8が否定されると、すべての顔領域について対応点の探索が終了したか否かを判定し(ステップST9)、ステップST9が否定されると処理の対象を次の顔領域に変更し(ステップST10)、ステップST7に戻る。   If step ST2 is affirmed, the feature point detection unit 32 determines a reference face region BF0 to be a reference among the plurality of face regions detected from the first image G1 (step ST4), and the reference face region BF0. Feature points T1 to T6 are detected (step ST5). Next, the subject determination unit 33 determines the face area to be processed among the plurality of face areas detected from the second image G1 as the first face area (step ST6), and corresponds to the feature points T1 to T6. The corresponding point to be searched is searched (step ST7). Then, it is determined whether or not corresponding points have been searched (step ST8). If step ST8 is negative, it is determined whether or not searching for corresponding points has been completed for all face regions (step ST9). Is denied, the processing target is changed to the next face area (step ST10), and the process returns to step ST7.

ステップST8が肯定されると、現在処理の対象となっている顔領域を基準顔領域BF0に対応する対応顔領域CF0に決定し(ステップST11)、基準顔領域BF0および対応顔領域CF0の位置を表す情報を撮影制御部22に出力する。撮影制御部22は第1の画像G1の基準顔領域BF0および第2の画像G2の対応顔領域CF0に基づいて撮影条件を決定し(ステップST12)、処理を終了する。   If step ST8 is affirmed, the face area currently being processed is determined as the corresponding face area CF0 corresponding to the reference face area BF0 (step ST11), and the positions of the reference face area BF0 and the corresponding face area CF0 are determined. Information to be output is output to the imaging control unit 22. The shooting control unit 22 determines shooting conditions based on the reference face area BF0 of the first image G1 and the corresponding face area CF0 of the second image G2 (step ST12), and ends the process.

なお、ステップST9が肯定されると、基準顔領域BF0に対応する対応顔領域CF0が第2の画像G2に存在しないことから、被写体決定部33は、第2の画像G2における最も中心に近い顔領域を対応顔領域CF0に決定し(ステップST13)、基準顔領域BF0および対応顔領域CF0の位置を表す情報を撮影制御部22に出力する。撮影制御部22はステップST12の処理を行い、処理を終了する。   If step ST9 is affirmed, the corresponding face area CF0 corresponding to the reference face area BF0 does not exist in the second image G2, so that the subject determination unit 33 has the face closest to the center in the second image G2. The area is determined as the corresponding face area CF0 (step ST13), and information indicating the positions of the reference face area BF0 and the corresponding face area CF0 is output to the imaging control unit 22. The imaging control unit 22 performs the process of step ST12 and ends the process.

このように、本実施形態によれば、プレ撮影により取得された第1の画像G1から検出した顔領域のうちの基準となる基準顔領域BF0を決定し、基準顔領域BF0から特徴点T1〜T6を検出し、同様にプレ撮影により取得された第2の画像G2から検出された顔領域において、特徴点T1〜T6に対応する対応点を探索することにより、第2の画像G2において基準顔領域BF0に対応する対応顔領域CF0を決定し、基準顔領域BF0および対応顔領域CF0に基づいて、撮影部21A,21Bの本撮影時の撮影条件を決定するようにしたものである。このため、撮影部21A,21Bにおいては共通する被写体を用いて撮影条件が決定されることとなり、その結果、各撮影部21A,21Bが取得した第1および第2の画像G1,G2の本画像においては、共通する被写体に焦点位置を合わせたり、共通する被写体の露出を一致させたりすることができる。したがって、複数の画像を用いて3次元表示を行った場合に、共通する被写体を良好に立体視することができる。   As described above, according to the present embodiment, the reference face area BF0 serving as a reference among the face areas detected from the first image G1 acquired by the pre-photographing is determined, and the feature points T1 to T1 are determined from the reference face area BF0. A reference face is detected in the second image G2 by detecting T6 and searching for corresponding points corresponding to the feature points T1 to T6 in the face area detected from the second image G2 obtained by pre-shooting. The corresponding face area CF0 corresponding to the area BF0 is determined, and based on the reference face area BF0 and the corresponding face area CF0, shooting conditions at the time of actual shooting of the shooting units 21A and 21B are determined. For this reason, in the photographing units 21A and 21B, photographing conditions are determined using a common subject, and as a result, the main images of the first and second images G1 and G2 acquired by the photographing units 21A and 21B. In, the focus position can be adjusted to a common subject, and the exposure of the common subject can be matched. Therefore, when a three-dimensional display is performed using a plurality of images, the common subject can be stereoscopically viewed satisfactorily.

なお、上記実施形態においては、複眼カメラ1に2つの撮影部21A,21Bを設け、2つの画像G1,G2を用いて3次元表示を行っているが、3以上の撮影部を設け、3以上の画像を用いて3次元表示を行う場合にも本発明を適用することができる。この場合、3以上の撮影部により取得された複数の画像のうち、1つの画像を基準画像として基準顔領域BF0を決定し、他の画像に対して順次対応顔領域CF0を決定するようにすればよい。   In the above-described embodiment, the two-eye camera 1 is provided with the two photographing units 21A and 21B, and three-dimensional display is performed using the two images G1 and G2, but three or more photographing units are provided. The present invention can also be applied to the case where three-dimensional display is performed using these images. In this case, the reference face area BF0 is determined using one image as a reference image among a plurality of images acquired by three or more photographing units, and the corresponding face area CF0 is sequentially determined for the other images. That's fine.

また、上記実施形態においては顔領域を検出しているが、自動車および動物の顔等、顔以外の被写体を検出し、被写体が第1および第2の画像G1,G2においてそれぞれ複数検出された場合に、上記と同様に基準となる被写体およびこれに対応する被写体を決定し、基準となる被写体および対応する被写体に基づいて撮影条件を決定するようにしてもよい。   In the above embodiment, the face area is detected. However, when a subject other than the face such as a car or an animal face is detected, and a plurality of subjects are detected in the first and second images G1 and G2, respectively. In addition, the reference subject and the corresponding subject may be determined in the same manner as described above, and the shooting conditions may be determined based on the reference subject and the corresponding subject.

また、上記実施形態においては、プレ撮影により取得された第1および第2の画像G1,G2のプレ画像を用いて撮影条件を決定しているが、動画像撮影時のように撮影条件の決定を動的に行う場合、スルー画像を用いて撮影条件を決定するようにしてもよい。   In the above embodiment, the shooting conditions are determined using the pre-images of the first and second images G1 and G2 acquired by the pre-shooting. However, the shooting conditions are determined as in moving image shooting. In the case of dynamically performing the shooting, a shooting condition may be determined using a through image.

以上、本発明の実施形態について説明したが、コンピュータを、上記の顔検出部31、特徴点検出部32および被写体決定部33に対応する手段として機能させ、図5に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。   Although the embodiment of the present invention has been described above, the computer is caused to function as a unit corresponding to the face detection unit 31, the feature point detection unit 32, and the subject determination unit 33, and the process shown in FIG. 5 is performed. A program is also one embodiment of the present invention. A computer-readable recording medium in which such a program is recorded is also one embodiment of the present invention.

本発明の実施形態による複眼撮影装置を適用した複眼カメラの内部構成を示す概略ブロック図1 is a schematic block diagram showing an internal configuration of a compound eye camera to which a compound eye photographing apparatus according to an embodiment of the present invention is applied. 撮影部の構成を示す図Diagram showing the configuration of the shooting unit 第1の画像における顔領域および特徴点の検出を説明するための図The figure for demonstrating the detection of the face area | region and feature point in a 1st image 第2の画像における顔領域の検出を説明するための図The figure for demonstrating the detection of the face area | region in a 2nd image 本実施形態において行われる処理を示すフローチャートA flowchart showing processing performed in the present embodiment

符号の説明Explanation of symbols

1 複眼カメラ
21A,21B 撮影部
22 撮影制御部
28 表示制御部
30 3次元処理部
31 顔検出部
32 特徴点検出部
33 被写体決定部
DESCRIPTION OF SYMBOLS 1 Compound eye camera 21A, 21B Image pick-up part 22 Image pick-up control part 28 Display control part 30 Three-dimensional processing part 31 Face detection part 32 Feature point detection part 33 Subject determination part

Claims (3)

互いに異なる位置において撮影を行うことにより、3次元表示が可能な複数の画像を取得する複数の撮影手段と、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから、人物の顔である所定被写体を検出する被写体検出手段と、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された1つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、該基準被写体における少なくとも1つの特徴点を検出する特徴点検出手段と、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定する被写体決定手段と、
前記基準被写体および前記対応被写体を特定した後に、前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定するに際し、前記撮影条件が焦点位置である場合、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定する撮影条件決定手段とを備えたことを特徴とする複眼撮影装置。
A plurality of photographing means for obtaining a plurality of images capable of three-dimensional display by photographing at different positions;
Subject detection means for detecting a predetermined subject, which is a person's face, from each of the plurality of images acquired by the plurality of photographing means for determining photographing conditions;
When a plurality of the predetermined subjects are detected from each of the plurality of images, a reference for determining the photographing condition for one predetermined subject detected from a reference image serving as a reference among the plurality of images A feature point detection means for determining a subject and detecting at least one feature point in the reference subject;
Subject determination means for determining a corresponding subject corresponding to the reference subject by searching for a corresponding point corresponding to the feature point in the predetermined subject detected from an image other than the reference image;
After determining the reference subject and the corresponding subject, when determining the shooting condition of each of the plurality of photographing means based on the reference subject and the corresponding subject, when the shooting condition is a focal position, A compound eye photographing apparatus comprising: photographing condition determining means for determining a focal position of each of the plurality of photographing means so as to focus on a reference subject and the corresponding subject .
互いに異なる位置において撮影を行うことにより、3次元表示が可能な複数の画像を取得し、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから人物の顔である所定被写体を検出し、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された1つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、
該基準被写体における少なくとも1つの特徴点を検出し、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定し、
前記基準被写体および前記対応被写体を特定した後に、前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定するに際し、前記撮影条件が焦点位置である場合、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定することを特徴とする複眼撮影装置の制御方法。
By capturing images at different positions, a plurality of images that can be displayed in three dimensions are obtained,
Detecting a predetermined subject that is a person's face from each of the plurality of images acquired by the plurality of photographing means to determine photographing conditions;
When a plurality of the predetermined subjects are detected from each of the plurality of images, a reference for determining the photographing condition for one predetermined subject detected from a reference image serving as a reference among the plurality of images Decide on the subject,
Detecting at least one feature point in the reference subject;
Determining a corresponding subject corresponding to the reference subject by searching for a corresponding point corresponding to the feature point in the predetermined subject detected from an image other than the reference image;
After determining the reference subject and the corresponding subject, when determining the shooting condition of each of the plurality of photographing means based on the reference subject and the corresponding subject, when the shooting condition is a focal position, A control method for a compound eye photographing apparatus , wherein a focal position of each of the plurality of photographing means is determined so as to focus on a reference subject and the corresponding subject .
互いに異なる位置において撮影を行うことにより、3次元表示が可能な複数の画像を取得する手順と、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから人物の顔である所定被写体を検出する手順と、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された1つの所定被写体を、前記撮影条件を決定するための基準被写体に決定する手順と、
該基準被写体における少なくとも1つの特徴点を検出する手順と、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定する手順と、
前記基準被写体および前記対応被写体を特定した後に、前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定するに際し、前記撮影条件が焦点位置である場合、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定する手順とを有する複眼撮影装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
A procedure for acquiring a plurality of images that can be displayed in three dimensions by shooting at different positions;
A procedure for detecting a predetermined subject that is a face of a person from each of the plurality of images acquired by the plurality of photographing means to determine a photographing condition;
When a plurality of the predetermined subjects are detected from each of the plurality of images, a reference for determining the photographing condition for one predetermined subject detected from a reference image serving as a reference among the plurality of images The procedure to determine the subject,
Detecting at least one feature point in the reference subject;
Determining a corresponding subject corresponding to the reference subject by searching for a corresponding point corresponding to the feature point in the predetermined subject detected from an image other than the reference image;
After determining the reference subject and the corresponding subject, when determining the shooting condition of each of the plurality of photographing means based on the reference subject and the corresponding subject, when the shooting condition is a focal position, A program for causing a computer to execute a control method of a compound eye photographing apparatus including a procedure for determining a focal position of each of the plurality of photographing means so as to focus on a reference subject and the corresponding subject .
JP2008286227A 2008-11-07 2008-11-07 Compound eye photographing apparatus, control method therefor, and program Expired - Fee Related JP5190882B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008286227A JP5190882B2 (en) 2008-11-07 2008-11-07 Compound eye photographing apparatus, control method therefor, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008286227A JP5190882B2 (en) 2008-11-07 2008-11-07 Compound eye photographing apparatus, control method therefor, and program

Publications (2)

Publication Number Publication Date
JP2010114712A JP2010114712A (en) 2010-05-20
JP5190882B2 true JP5190882B2 (en) 2013-04-24

Family

ID=42302915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008286227A Expired - Fee Related JP5190882B2 (en) 2008-11-07 2008-11-07 Compound eye photographing apparatus, control method therefor, and program

Country Status (1)

Country Link
JP (1) JP5190882B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011152168A1 (en) * 2010-06-04 2013-07-25 富士フイルム株式会社 Stereo imaging digital camera and operation control method thereof
JP5917017B2 (en) * 2011-05-11 2016-05-11 キヤノン株式会社 Image processing apparatus, control method therefor, and program
JP6025400B2 (en) * 2012-05-29 2016-11-16 キヤノン株式会社 Work position detection device and work position detection method
JP6245892B2 (en) * 2013-08-21 2017-12-13 キヤノン株式会社 Image processing apparatus, control method therefor, and program
KR102144101B1 (en) * 2019-02-15 2020-08-12 주식회사 비플러스랩 Facial recognition method and facial recognition device using the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3035434B2 (en) * 1993-10-13 2000-04-24 キヤノン株式会社 Compound eye imaging device
JPH08194274A (en) * 1995-01-13 1996-07-30 Olympus Optical Co Ltd Stereoscopic image pickup device
JPH08242468A (en) * 1995-03-01 1996-09-17 Olympus Optical Co Ltd Stereoscopic image pickup device
JP2002051255A (en) * 2000-07-31 2002-02-15 Olympus Optical Co Ltd Main object detectable camera

Also Published As

Publication number Publication date
JP2010114712A (en) 2010-05-20

Similar Documents

Publication Publication Date Title
JP4625515B2 (en) Three-dimensional imaging apparatus, method, and program
JP5492300B2 (en) Apparatus, method, and program for determining obstacle in imaging area at the time of imaging for stereoscopic display
JP4888191B2 (en) Imaging device
JP5243003B2 (en) Image processing apparatus and method, and program
JP4787180B2 (en) Imaging apparatus and imaging method
JP2010068182A (en) Three-dimensional imaging device, method, and program
US20080278587A1 (en) Focus adjustment apparatus, method, and program
JP5295426B2 (en) Compound eye imaging apparatus, parallax adjustment method and program thereof
JP2016072965A (en) Imaging apparatus
JP4895312B2 (en) Three-dimensional display device, method and program
US20130113793A1 (en) Image processing device, image processing method, and image processing program
JP5214547B2 (en) Image display apparatus and method, and program
JP2011087128A (en) Pantoscopic camera and method for discrimination of object
JP5190882B2 (en) Compound eye photographing apparatus, control method therefor, and program
WO2005112475A9 (en) Image processor
JP2014235224A (en) Imaging device and control program
JP5191864B2 (en) Three-dimensional display device, method and program
JP2009239390A (en) Compound eye photographing apparatus, control method therefor, and program
JP5049231B2 (en) Three-dimensional display device, method and program
JP4847500B2 (en) Three-dimensional display device, method and program
US20130120374A1 (en) Image processing device, image processing method, and image processing program
JP2010102137A (en) Three-dimensional photographing device, method and program
JP4925070B2 (en) Three-dimensional imaging apparatus, method, and program
JP2009169884A (en) Photographing device, control method of photographing device, and image reproduction device, method and program
JP2010034838A (en) Electronic camera

Legal Events

Date Code Title Description
RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20110421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130123

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees