JP5275789B2 - camera - Google Patents

camera Download PDF

Info

Publication number
JP5275789B2
JP5275789B2 JP2008334298A JP2008334298A JP5275789B2 JP 5275789 B2 JP5275789 B2 JP 5275789B2 JP 2008334298 A JP2008334298 A JP 2008334298A JP 2008334298 A JP2008334298 A JP 2008334298A JP 5275789 B2 JP5275789 B2 JP 5275789B2
Authority
JP
Japan
Prior art keywords
image
camera
unit
main subject
composition information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008334298A
Other languages
Japanese (ja)
Other versions
JP2010157850A5 (en
JP2010157850A (en
Inventor
将臣 冨澤
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2008334298A priority Critical patent/JP5275789B2/en
Publication of JP2010157850A publication Critical patent/JP2010157850A/en
Publication of JP2010157850A5 publication Critical patent/JP2010157850A5/ja
Application granted granted Critical
Publication of JP5275789B2 publication Critical patent/JP5275789B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、複数の異なる視点から撮影された画像に基づいて立体画像を得ることが可能なカメラに関する。 The present invention relates to a camera capable of obtaining a stereoscopic image based on the captured image from a plurality of different viewpoints.

複数の異なる視点から同一の被写体を撮影することによって、立体表示可能な静止画像又は動画像(立体画像)を撮影する技術が知られている。   A technique for capturing a still image or a moving image (stereoscopic image) that can be stereoscopically displayed by capturing the same subject from a plurality of different viewpoints is known.

立体画像を撮影する方法としては、例えば特許第3722498号公報に開示されているように、1台のカメラを所定の距離だけ移動させながら複数の視点で撮影する方法が知られている。また、立体画像を撮影する方法としては、所定の距離だけ離間して配設された2つの撮像レンズを備えたカメラを用いて撮影する方法や、2台のカメラを所定の距離だけ離間させた状態に固定して撮影する方法が知られている。   As a method of photographing a stereoscopic image, for example, as disclosed in Japanese Patent No. 3722498, a method of photographing from a plurality of viewpoints while moving one camera by a predetermined distance is known. In addition, as a method of photographing a stereoscopic image, a method of photographing using a camera having two imaging lenses arranged apart from each other by a predetermined distance, or two cameras separated from each other by a predetermined distance. There is a known method for shooting in a fixed state.

また、立体画像を生成する画像処理の技術の発達や立体画像を表示する表示装置の発達によって、使用者が一般的な静止画又は動画を鑑賞することと同様に、容易に立体画像を鑑賞することが可能となりつつある。
特許第3722498号公報
Also, with the development of image processing technology for generating a stereoscopic image and the development of a display device for displaying a stereoscopic image, a user can easily appreciate a stereoscopic image in the same way as a user appreciates a general still image or moving image. It is becoming possible.
Japanese Patent No. 3722498

例えば、特許第3722498号公報に開示されている立体画像を撮影するための技術では、1台のカメラを移動させながら複数の視点で撮影を行うため、複雑な構成が必要であり、準備を含め撮影に至るまでの操作が煩雑となってしまう。また、2つの撮像レンズを備えたカメラや、互いの位置が固定された2台のカメラを用いて立体画像を撮影するための技術でもやはり、専用の複雑な構成が必要となる。   For example, in the technology for taking a stereoscopic image disclosed in Japanese Patent No. 3722498, since a single camera is moved and taken from a plurality of viewpoints, a complicated configuration is required, including preparation. The operation up to the shooting is complicated. In addition, a dedicated complex configuration is also required in a technique for capturing a stereoscopic image using a camera including two imaging lenses and two cameras whose positions are fixed.

本発明は、上記問題点に鑑みてなされたものであり、小型な装置構成で容易に立体画像を撮影することが可能なカメラを提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a camera capable of easily capturing the stereoscopic image in a small device configuration.

本発明のカメラは、被写体を撮影し第1の画像を得る撮像部と、1つ又は複数の外部機器により撮影された第2の画像を受信可能な通信部と、前記第1の画像及び第2の画像の主要被写体を認識し、前記主要被写体と、背景と、の位置関係からなる構図情報を算出する画像処理部と、前記第1の画像及び前記第2の画像の前記主要被写体が同一であり、かつ前記構図情報の比較から前記第1の画像及び第2の画像の前記主要被写体と前記背景との位置関係が立体視可能な状態であると判断した場合に、前記第1の画像と前記第2の画像とによって立体画像の生成が可能であると判定する判定部と、前記判定部の判定結果を表示する表示部と、前記第1の画像の構図情報及び前記第2の画像の構図情報の比較から、前記主要被写体と当該カメラと前記外部機器との間の相対的な高さ方向の位置関係を推定する位置推定部と、を具備し、前記表示部は、当該カメラと前記外部機器との位置関係が水平となる最適位置への当該カメラ又は前記外部機器の移動を促すアドバイス表示を行うThe camera of the present invention includes an imaging unit that captures a subject and obtains a first image, a communication unit that can receive a second image captured by one or more external devices, the first image and the first image An image processing unit that recognizes a main subject of the second image and calculates composition information including a positional relationship between the main subject and the background; and the main subject of the first image and the second image is the same. And the first image is determined when the positional relationship between the main subject and the background of the first image and the second image is stereoscopically viewable from the comparison of the composition information. And the second image, a determination unit that determines that a stereoscopic image can be generated, a display unit that displays a determination result of the determination unit , composition information of the first image, and the second image From the composition information of the main subject and the camera Anda position estimation unit that estimates a relative height direction of the positional relationship between the external device, wherein the display unit, to an optimum position where the positional relationship between the camera and the external device is horizontal The advice display that prompts the user to move the camera or the external device is performed .

本発明のカメラの好ましい形態について図面を参照して説明する。なお、以下の説明に用いた各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。   A preferred embodiment of the camera of the present invention will be described with reference to the drawings. In each drawing used for the following description, the scale is different for each component in order to make each component large enough to be recognized on the drawing. It is not limited only to the quantity of the component described in the figure, the shape of the component, the ratio of the size of the component, and the relative positional relationship of each component.

図1は、本発明に係るカメラを用いた撮影の様子を示す図である。図2は、本発明に係るカメラを用いた撮影の様子を上方から見た状態を模式的に示す図である。図3は、カメラの概略的な構成を説明するブロック図である。図4は、2台のカメラの相対位置が最適位置である場合の撮影結果の例を示す図である。図5は、2台のカメラの位置関係が水平でない場合の撮影結果の例を示す図である。図6は、アドバイス表示の例を示す図である。図7及び図8は、カメラの撮影時の動作を説明するフローチャートである。図9は、撮影モード設定処理を説明するフローチャートである。図10は、比較判定処理を説明するフローチャートである。図11は、立体画像の生成可能な領域を表示する例を示す図である。   FIG. 1 is a view showing a state of photographing using a camera according to the present invention. FIG. 2 is a diagram schematically showing a state of shooting using the camera according to the present invention as viewed from above. FIG. 3 is a block diagram illustrating a schematic configuration of the camera. FIG. 4 is a diagram illustrating an example of a photographing result when the relative position of the two cameras is the optimum position. FIG. 5 is a diagram illustrating an example of a photographing result when the positional relationship between the two cameras is not horizontal. FIG. 6 is a diagram illustrating an example of advice display. 7 and 8 are flowcharts for explaining the operation at the time of shooting by the camera. FIG. 9 is a flowchart illustrating the shooting mode setting process. FIG. 10 is a flowchart illustrating the comparison determination process. FIG. 11 is a diagram illustrating an example of displaying a region where a stereoscopic image can be generated.

本発明に係るカメラ1は、静止画像及び動画像の少なくとも一方(以下、単に画像と称する)を撮影可能な装置であって、例えば図1及び図2に示すように、複数のカメラ1により複数の異なる視点から同一の主要被写体100を撮影し、得られた画像から少なくとも主要被写体の立体的な表示が可能な画像(以下、単に立体画像と称する)を得るためのものである。   A camera 1 according to the present invention is an apparatus capable of capturing at least one of a still image and a moving image (hereinafter simply referred to as an image). For example, as shown in FIG. 1 and FIG. The same main subject 100 is photographed from different viewpoints, and an image capable of displaying at least the main subject in three dimensions (hereinafter simply referred to as a stereoscopic image) is obtained from the obtained images.

以下では、一例として、図3に示す同様の構成を有する2台のカメラ1を使用して立体画像を取得する構成を説明するものとし、2台のカメラ1を区別する必要がある場合には、被写体100に向かって右側に位置するカメラ1をカメラ1Rと称し、被写体100に向かって左側に位置するカメラ1をカメラ1Lと称するものとする(図2参照)。   In the following, as an example, a configuration for obtaining a stereoscopic image using two cameras 1 having the same configuration shown in FIG. 3 will be described, and when it is necessary to distinguish between the two cameras 1. The camera 1 positioned on the right side of the subject 100 is referred to as a camera 1R, and the camera 1 positioned on the left side of the subject 100 is referred to as a camera 1L (see FIG. 2).

なお、図1及び図2には、二人の撮影者101R及び101Lによりカメラ1R及び1Lが保持されている様子を示しているが、カメラ1R及び1Lの少なくとも一方は三脚等に固定される構成であってもよいし、一人の撮影者がカメラ1R及び1Lを保持してもよい。また、立体画像の取得は、3台以上のカメラ1により行われるものであってもよい。   1 and 2 show a state in which the cameras 1R and 1L are held by the two photographers 101R and 101L, but at least one of the cameras 1R and 1L is fixed to a tripod or the like. Alternatively, a single photographer may hold the cameras 1R and 1L. Further, the acquisition of the stereoscopic image may be performed by three or more cameras 1.

図3に示すように、カメラ1は、撮像部4と、表示部5と、記録部6と、操作判定部7と、通信部8と、カメラ1の各部構成の動作を制御するための制御部2と、を具備して構成されている。また図示しないが、カメラ1には、カメラ1の各部構成の動作に必要な電力を供給するための電源部が配設されている。   As shown in FIG. 3, the camera 1 is a control for controlling the operation of each component of the imaging unit 4, the display unit 5, the recording unit 6, the operation determination unit 7, the communication unit 8, and the camera 1. Part 2. Although not shown, the camera 1 is provided with a power supply unit for supplying power necessary for the operation of each component of the camera 1.

撮像部4は、撮像素子部42、撮像レンズ部41及びレンズ駆動部43を具備して構成されている。撮像素子部42は、複数の画素部が配列されて構成される受光面を具備し、該受光面上に結像された光学像を電気信号に光電変換し画像として出力する。   The imaging unit 4 includes an imaging element unit 42, an imaging lens unit 41, and a lens driving unit 43. The imaging element unit 42 includes a light receiving surface configured by arranging a plurality of pixel units, photoelectrically converts an optical image formed on the light receiving surface into an electrical signal, and outputs the image as an image.

撮像レンズ41は、レンズを具備し前記撮像素子42の受光面上に被写体像を結像するためのものである。撮像レンズ41は、電動モータ等のアクチュエータを具備したレンズ駆動部43により、合焦距離が変化するように少なくとも一部が移動可能である。   The imaging lens 41 includes a lens and forms a subject image on the light receiving surface of the imaging element 42. At least a part of the imaging lens 41 can be moved by a lens driving unit 43 including an actuator such as an electric motor so that the focusing distance changes.

なお、撮像レンズ41は、焦点距離が変化するいわゆるズームレンズであってもよく、その場合には、ズーム動作はレンズ駆動部43により行われてもよい。また、撮像部4には絞り装置、NDフィルタ、シャッタ装置、ローパスフィルタ、ミラー、プリズム等が適宜に配設される。撮像部4により得られた画像は、後述する制御部2へ出力される。   Note that the imaging lens 41 may be a so-called zoom lens in which the focal length changes, and in that case, the zoom operation may be performed by the lens driving unit 43. The imaging unit 4 is appropriately provided with a diaphragm device, an ND filter, a shutter device, a low-pass filter, a mirror, a prism, and the like. An image obtained by the imaging unit 4 is output to the control unit 2 described later.

表示部5は、画像を表示することが可能な表示装置であり、例えば液晶表示装置や有機EL表示装置等により構成されている。表示部5は、撮像部4により得られた画像を逐次更新しながら表示するファインダ表示(ライブビュー表示)や、撮影結果の表示や、撮影条件や動作モード等の表示を行う。   The display unit 5 is a display device that can display an image, and includes, for example, a liquid crystal display device or an organic EL display device. The display unit 5 performs finder display (live view display) for displaying images obtained by the imaging unit 4 while sequentially updating them, displaying shooting results, and displaying shooting conditions and operation modes.

記録部6は、情報を記録可能な装置であり、半導体の不揮発メモリや、小型のハードディスクドライブ等の記録媒体を具備して構成されている。なお、記録部6はカメラ1とは別体であって、有線又は無線の通信形式によりカメラ1との間で情報の授受が可能なものであってもよい。   The recording unit 6 is a device capable of recording information, and includes a recording medium such as a semiconductor non-volatile memory and a small hard disk drive. The recording unit 6 may be separate from the camera 1 and may be capable of exchanging information with the camera 1 by a wired or wireless communication format.

操作判定部7は、使用者によるレリーズや動作モード切替等の指示操作の入力を判定する装置であり、スイッチやセンサ等を具備して構成されている。操作判定部7の構成は特に限定されるものではないが、例えばプッシュスイッチ、レバースイッチ、タッチパネル、地磁気センサ、加速度センサ及び圧力センサ等を具備して構成される。なお、操作判定部7には、カメラ1を有線又は無線により遠隔操作可能な、いわゆるリモートコントロール装置が含まれてもよい。   The operation determination unit 7 is a device that determines an input of an instruction operation such as release or operation mode switching by a user, and includes a switch, a sensor, and the like. The configuration of the operation determination unit 7 is not particularly limited, and includes, for example, a push switch, a lever switch, a touch panel, a geomagnetic sensor, an acceleration sensor, a pressure sensor, and the like. Note that the operation determination unit 7 may include a so-called remote control device that can remotely operate the camera 1 by wire or wirelessly.

通信部8は、有線又は無線の所定の通信形式により外部機器との間で画像や後述する構図情報のような情報を送受信することが可能な装置である。なお、通信部8により用いられる通信形式は、電波によるものに限られるものではなく、赤外光や可視光等の光を用いた通信形式であってもよい。   The communication unit 8 is a device capable of transmitting and receiving information such as an image and composition information described later with an external device in a predetermined wired or wireless communication format. Note that the communication format used by the communication unit 8 is not limited to that using radio waves, and may be a communication format using light such as infrared light or visible light.

また、通信部8は、カメラ1の動作を制御するための情報を送受信可能であってもよい。言い換えれば、カメラ1は、通信部8を介して外部機器である他のカメラ1の動作を制御する情報を送信可能であり、かつ通信部8により受信された他のカメラ1からの情報に基づいて動作可能である。   The communication unit 8 may be capable of transmitting and receiving information for controlling the operation of the camera 1. In other words, the camera 1 can transmit information for controlling the operation of another camera 1 that is an external device via the communication unit 8, and is based on information from the other camera 1 received by the communication unit 8. Can operate.

制御部2は、演算装置、記憶装置、入出力装置及び電力制御装置等を具備して構成され、所定のプログラムに基づいて上述したカメラ1の各部構成の動作を制御する制御装置である。   The control unit 2 is configured to include an arithmetic device, a storage device, an input / output device, a power control device, and the like, and is a control device that controls the operation of each unit configuration of the camera 1 described above based on a predetermined program.

制御部2は、後述するカメラ1の動作を実現するために必要な手段として、画像処理部30、表示制御部21、位置推定部22及び時計部23を具備して構成されている。なお、画像処理部30、表示制御部21、位置推定部22及び時計部23の制御部2への実装は、ハードウェア的なものであってもよいしソフトウェア的なものであってもよい。   The control unit 2 includes an image processing unit 30, a display control unit 21, a position estimation unit 22, and a clock unit 23 as means necessary for realizing the operation of the camera 1 described later. The mounting of the image processing unit 30, the display control unit 21, the position estimation unit 22, and the clock unit 23 in the control unit 2 may be hardware or software.

画像処理部30は、撮像部4により撮影された画像、通信部8により外部機器から受信した画像、及び記録部6に記録された画像に対し所定の画像処理を行うものであり、コントラスト算出部31、顔認識部32、構図情報算出部33、及び判定部34を具備して構成されている。   The image processing unit 30 performs predetermined image processing on the image captured by the imaging unit 4, the image received from the external device by the communication unit 8, and the image recorded in the recording unit 6. The contrast calculation unit 31, a face recognition unit 32, a composition information calculation unit 33, and a determination unit 34.

コントラスト算出部31は、画像中の所定の複数の座標位置におけるコントラスト値を算出し、画像のコントラスト分布を算出するものである。コントラスト算出部31により算出されたコントラスト分布の情報は、後述する構図情報算出部33に用いられる。なお、コントラスト分布の情報は、いわゆるコントラスト検出方式のオートフォーカス動作に用いられてもよい。   The contrast calculation unit 31 calculates a contrast value at a plurality of predetermined coordinate positions in the image, and calculates a contrast distribution of the image. The information on the contrast distribution calculated by the contrast calculation unit 31 is used for the composition information calculation unit 33 described later. The information on the contrast distribution may be used for a so-called contrast detection type autofocus operation.

顔認識部32は、パターンマッチング等により画像中における人物の顔と推定される部分を認識し、その場所や大きさを判定するものである。顔認識部32による認識結果は、後述する構図情報算出部33に用いられる。なお、顔認識部32による認識結果は、オートフォーカス動作における合焦位置の決定や、露出条件の決定に用いられてもよい。   The face recognition unit 32 recognizes a portion estimated as a human face in an image by pattern matching or the like, and determines its location and size. The recognition result by the face recognition unit 32 is used in a composition information calculation unit 33 described later. Note that the recognition result obtained by the face recognition unit 32 may be used for determination of a focus position or determination of exposure conditions in an autofocus operation.

構図情報算出部33は、画像中の主要被写体と、前景及び背景の少なくとも一方とを認識し、主要被写体と、前景及び背景の少なくとも一方との位置関係からなる構図情報を算出するものである。   The composition information calculation unit 33 recognizes a main subject in the image and at least one of the foreground and the background, and calculates composition information including a positional relationship between the main subject and at least one of the foreground and the background.

構図情報算出部33における、画像中の主要被写体、前景及び背景を認識する方法は特に限定されるものではないが、例えば顔認識部32により画像中に所定の大きさ以上の人物の顔の存在が認識され、かつこの顔の存在する領域のコントラスト値が所定の値よりも高い場合、この顔を主要被写体として認識し、それ以外の領域を前景または背景として認識することが可能である。   The method for recognizing the main subject, foreground, and background in the image in the composition information calculation unit 33 is not particularly limited. For example, the presence of a human face of a predetermined size or more in the image by the face recognition unit 32 And the contrast value of the area where the face exists is higher than a predetermined value, the face can be recognized as the main subject, and the other area can be recognized as the foreground or background.

そして、構図情報は、例えば顔認識部32により主要被写体として認識された人物の顔についての画像内の位置や画像に対し顔が占める割合等の情報と、主要被写体として認識された人物の顔の周辺に存在するパターンや色の分布の情報との組み合わせにより構成される。   The composition information includes, for example, information such as the position in the image of the face of the person recognized as the main subject by the face recognition unit 32 and the ratio of the face to the image, and the face of the person recognized as the main subject. It is composed of a combination of patterns and color distribution information existing in the vicinity.

また、画像中の主要被写体、前景及び背景の認識は、例えば直前に撮影されたの一つ又は複数の画像と最新の画像との比較により画像中の複数の領域の動きベクトルを算出することで行うことも可能であるし、オートフォーカス動作により得られた距離情報に基づいて行うことも可能である。   The main subject, foreground and background in the image are recognized by, for example, calculating motion vectors of a plurality of regions in the image by comparing one or a plurality of images taken immediately before with the latest image. It is also possible to do this, or based on distance information obtained by the autofocus operation.

構図情報算出部33における、前記主要被写体と、前景及び背景の少なくとも一方と、の位置関係の算出の方法は特に限定されるものではないが、例えば画像の背景と認識した領域において色相が所定の範囲内に収まる塊を背景を代表する代表物として判定することで、主要被写体に対して背景の代表物がどの位置にあるのかを算出することができる。   The method of calculating the positional relationship between the main subject and at least one of the foreground and the background in the composition information calculation unit 33 is not particularly limited. For example, the hue is predetermined in an area recognized as the background of the image. By determining a lump that falls within the range as a representative object representing the background, it is possible to calculate where the representative object of the background is located with respect to the main subject.

判定部34は、構図情報算出部33により算出された複数の画像についての構図情報を比較し、比較した画像の組み合わせによって立体画像の生成が可能であるか否かを算出する。   The determination unit 34 compares the composition information for a plurality of images calculated by the composition information calculation unit 33, and calculates whether a stereoscopic image can be generated by combining the compared images.

画像間における立体画像の生成の可否は例えば、画像中に同一の主要被写体が存在するか否か、画像中における主要被写体の大きさが同等であるか否か、主要被写体の距離に対して有効な視差が得られているか否か、撮影間隔が所定の値以下であるか否か、等の条件により決定される。   Whether or not a three-dimensional image can be generated between images, for example, whether the same main subject exists in the image, whether or not the size of the main subject in the image is the same, and effective for the distance of the main subject It is determined depending on conditions such as whether or not a good parallax is obtained and whether or not the shooting interval is a predetermined value or less.

表示制御部21は、表示部5の表示画像の制御を行うものである。詳しくは後述するが、表示制御部21は、画像以外に、判定部34により行われた立体画像の生成の可否の判定結果等を表示部5に表示させる。   The display control unit 21 controls the display image on the display unit 5. Although described in detail later, the display control unit 21 causes the display unit 5 to display a determination result of whether or not a stereoscopic image can be generated performed by the determination unit 34 in addition to the image.

位置推定部22は、構図情報算出部33により算出された複数の画像についての構図情報を比較し、比較した組み合わせの画像が撮影された時点における、主要被写体とカメラ1と外部機器との間の相対的な位置関係を推定するものである。   The position estimation unit 22 compares the composition information for a plurality of images calculated by the composition information calculation unit 33, and the image between the main subject, the camera 1, and the external device at the time when the compared combination images are captured. The relative positional relationship is estimated.

時計部23は、撮影部4により撮影された画像の日時を記録するためのものである。カメラ1により撮影される画像には、この時計部23から読み取られた日時が撮影日時情報として付加される。   The clock unit 23 is for recording the date and time of the image captured by the imaging unit 4. The date and time read from the clock unit 23 is added to the image shot by the camera 1 as shooting date and time information.

なお、時計部23は、通信部8を介した通信により他のカメラ1に配設された時計部23と同期するように調整が行われることが好ましいが、例えばGPS機能、いわゆる電波時計等に使用される標準電波を受信する機能、又は通信回線上のNTPサーバに接続する機能等を備え、個々のカメラ1が備える時計部23の調整が行われる構成であってもよい。   Note that the clock unit 23 is preferably adjusted so as to be synchronized with the clock unit 23 provided in another camera 1 by communication via the communication unit 8, but for example, a GPS function, a so-called radio clock, etc. It may have a function of receiving a standard radio wave used, a function of connecting to an NTP server on a communication line, and the like, and adjusting the clock unit 23 provided in each camera 1.

以下に、上述した構成を有する制御部2の動作を説明する。なお、以下の説明では、一例として2台のカメラ1R及び1Lによって、図2に示すように、人物が主要被写体100であってその後方に位置する樹木が背景110となる画像が撮影されるものとする。   Below, operation | movement of the control part 2 which has the structure mentioned above is demonstrated. In the following description, as an example, two cameras 1R and 1L are used to capture an image in which a person is a main subject 100 and a tree located behind the subject is a background 110, as shown in FIG. And

2台のカメラ1R及び1Lによって撮影された画像120R及び120Lから立体画像を生成する場合、カメラ1R及び1Lが互いに略水平な位置関係かつ主要被写体100から略同一の距離にあり、さらに撮像レンズ部41の焦点距離が略同一であることが好ましい。   When generating a stereoscopic image from the images 120R and 120L photographed by the two cameras 1R and 1L, the cameras 1R and 1L are in a substantially horizontal positional relationship with each other and at substantially the same distance from the main subject 100, and an imaging lens unit It is preferable that the focal lengths of 41 are substantially the same.

この好ましい条件では、図4に示すように、画像120R及び120Lにおける主要被写体100の大きさが略同一であり、かつ主要被写体100に対する背景110の大きさ及び上下方向(天地方向)の相対位置が略一致する。   Under these preferable conditions, as shown in FIG. 4, the size of the main subject 100 in the images 120R and 120L is substantially the same, and the size of the background 110 and the relative position in the vertical direction (top and bottom direction) with respect to the main subject 100 are It almost agrees.

すなわち、画像120R及び120Lにおける主要被写体100の大きさが略同一でない場合、判定部34は、対応する画像の組み合わせから立体画像の生成が不可能であると判定する。さらにこの場合、位置推定部22は、カメラ1R及び1Lの撮像レンズ部41の焦点距離が異なっているか、主要被写体100からのカメラ1R及び1Lの距離が異なっていると推定する。そして、位置推定部22は、カメラ1R及び1Lの主要被写体100に対する距離を揃えるよう使用者に促すアドバイス表示を表示部5に表示する。   That is, when the sizes of the main subject 100 in the images 120R and 120L are not substantially the same, the determination unit 34 determines that a stereoscopic image cannot be generated from a combination of corresponding images. Furthermore, in this case, the position estimation unit 22 estimates that the focal lengths of the imaging lens units 41 of the cameras 1R and 1L are different or that the distances of the cameras 1R and 1L from the main subject 100 are different. Then, the position estimation unit 22 displays an advice display that prompts the user to align the distances of the cameras 1R and 1L with respect to the main subject 100 on the display unit 5.

また、図5に示すように、画像120R及び120Lにおける主要被写体100に対する背景110の上下方向の相対位置が略同一でない場合、判定部34は、対応する画像の組み合わせから立体画像の生成が不可能であると判定する。さらにこの場合、位置推定部22は、カメラ1R及び1Lが互いに略水平な位置関係にないと推定する。そして、位置推定部22は、カメラ1R及び1Lの高さを揃えるよう使用者に促すアドバイス表示を表示部5に表示する。   As shown in FIG. 5, when the vertical relative position of the background 110 with respect to the main subject 100 in the images 120R and 120L is not substantially the same, the determination unit 34 cannot generate a stereoscopic image from a combination of corresponding images. It is determined that Further, in this case, the position estimation unit 22 estimates that the cameras 1R and 1L are not in a substantially horizontal positional relationship. Then, the position estimation unit 22 displays on the display unit 5 an advice display that prompts the user to align the heights of the cameras 1R and 1L.

図5に示すような場合、位置推定部22は、カメラ1Lに対してカメラ1Rが相対的に低い位置にあると推定する。そして、位置推定部22は、カメラ1Rの表示部5にカメラ1Rを構える位置を高くするように促すアドバイス表示を表示する、又はカメラ1Lの表示部5にカメラ1L位置を構える位置を低くするように促すアドバイス表示を表示する。   In the case as illustrated in FIG. 5, the position estimation unit 22 estimates that the camera 1R is at a relatively low position with respect to the camera 1L. Then, the position estimation unit 22 displays an advice display that prompts the user to raise the position where the camera 1R is held on the display unit 5 of the camera 1R, or lowers the position where the camera 1L position is held on the display unit 5 of the camera 1L. The advice display prompting is displayed.

アドバイス表示の形態としては、例えば、図6に示すように、カメラ1Lの表示部5において、画像120Lのライブビュー表示に背景110の最適位置を重畳して表示し、その最適位置に背景110を合致させるために必要な動作を文字121及び模式図122により表示する形態が考えられる。   As a form of the advice display, for example, as shown in FIG. 6, the display unit 5 of the camera 1L displays the optimum position of the background 110 superimposed on the live view display of the image 120L, and the background 110 is displayed at the optimum position. A mode in which an operation necessary for matching is displayed with the characters 121 and the schematic diagram 122 is conceivable.

一般に背の低い人がカメラを高く構えるよりも、背の高い人がカメラを低く構える方が移動可能な距離が長く、また姿勢も楽であることから、相対的に高い位置にあるカメラ1Lに低く構えるようアドバイス表示を行うことが好ましい。   In general, a taller person holding a camera lower than a taller person holding the camera higher has a longer movable distance and easier posture. It is preferable to display the advice so that it is held low.

なお、カメラ1が撮影時の手ぶれ等による像のふれを補正するブレ補正機能を具備している場合、当該ブレ補正機能を用いて構図が最適位置により近づくように画像の撮影範囲を自動的に移動させることも可能である。ブレ補正機能は、カメラ1の振れ量に応じて撮像レンズ部41又は撮像素子42を移動させる形態のものであってもよいし、カメラ1の振れ量に応じて撮像素子42におけるキャプチャ領域を電子的に移動させる形態であってもよい。   If the camera 1 has a shake correction function that corrects image blur due to camera shake or the like during shooting, the image shooting range is automatically set so that the composition approaches the optimum position using the shake correction function. It is also possible to move it. The blur correction function may be configured to move the imaging lens unit 41 or the image sensor 42 in accordance with the shake amount of the camera 1, and the capture area in the image sensor 42 is electronically changed in accordance with the camera 1 shake amount. It may be a form that is moved.

また、撮像部4が撮影する画像の容量及びフレームレートに対して通信部8の情報の送受信の速度が十分なものであれば、判定部34及び位置推定部22は、構図情報ではなく撮像部4が撮影した画像を直接受信し、該画像に基づいて上記処理を行う形態であってもよい。   If the transmission / reception speed of the information of the communication unit 8 is sufficient for the capacity and frame rate of the image captured by the imaging unit 4, the determination unit 34 and the position estimation unit 22 are not the composition information but the imaging unit. 4 may directly receive the captured image and perform the above processing based on the image.

次に、図7及び図8に示すフローチャートに沿って、上述した構成を有するカメラ1の撮影時の動作のメインルーチンを説明する。まず、ステップS01において、カメラ1の動作モードが撮影モードであるか否かを判定する。   Next, the main routine of the operation at the time of shooting of the camera 1 having the above-described configuration will be described along the flowcharts shown in FIGS. First, in step S01, it is determined whether or not the operation mode of the camera 1 is a shooting mode.

ステップS01の判定において、使用者の入力操作やスリープ状態への自動移行のために撮影モードから他の動作モードに切り替わっていた場合には、ステップS02へ移行する。ステップS02では、表示部5における表示を画像を再生して表示する再生モードや、省電力モード等の他のモードへ切換可能な状態とする。   If it is determined in step S01 that the shooting mode has been switched to another operation mode for the user's input operation or automatic transition to the sleep state, the process proceeds to step S02. In step S02, the display on the display unit 5 can be switched to a playback mode in which an image is reproduced and displayed, or to another mode such as a power saving mode.

そしてステップS03において、カメラ1の動作モードが撮影モード設定モードであるか否かを判定する。ここで、撮影モード設定モードとは、使用者がカメラ1の撮影時の動作条件等を設定するためのモードであり、本発明では、他のカメラ1との通信を確立(ペア確立)するモードが含まれる。   In step S03, it is determined whether or not the operation mode of the camera 1 is the shooting mode setting mode. Here, the shooting mode setting mode is a mode for the user to set operation conditions and the like at the time of shooting of the camera 1. In the present invention, a mode for establishing communication (establishing a pair) with another camera 1. Is included.

ステップS03において、カメラ1の動作モードが撮影モード設定モードではないと判定した場合には、撮影モードを終了し、カメラ1の動作モードを他の動作モードに切り換える。   If it is determined in step S03 that the operation mode of the camera 1 is not the shooting mode setting mode, the shooting mode is ended and the operation mode of the camera 1 is switched to another operation mode.

一方、ステップS03において、カメラ1の動作モードが撮影モード設定モードではないと判定した場合には、図9のフローチャートに示す、撮影モード設定処理を実行する。   On the other hand, if it is determined in step S03 that the operation mode of the camera 1 is not the shooting mode setting mode, the shooting mode setting process shown in the flowchart of FIG. 9 is executed.

撮影モード設定処理では、まずステップS40において、立体画像撮影の設定モードが選択されているか否かを判定する。ここで、立体画像撮影の設定モードではない場合には、ステップS41へ移行し、選択されている設定モードの処理を実行する。   In the shooting mode setting process, first, in step S40, it is determined whether or not a stereoscopic image shooting setting mode is selected. If it is not the stereoscopic image shooting setting mode, the process proceeds to step S41, and processing of the selected setting mode is executed.

一方、ステップS40の判定において、立体画像撮影の設定モードであると判定した場合には、ステップS42へ移行し、通信部8を介して外部機器である他のカメラ1との通信のペアリング処理を開始するためのリクエスト電波を送信する。そして、ステップS43に示すように、リクエスト電波に対する他のカメラ1から反応があった場合に、次のステップS44へと移行する。   On the other hand, if it is determined in step S40 that the mode is the stereoscopic image shooting setting mode, the process proceeds to step S42 to perform communication pairing processing with another camera 1 that is an external device via the communication unit 8. Send a request radio wave to start. And as shown to step S43, when there exists reaction from the other camera 1 with respect to a request radio wave, it transfers to the following step S44.

ステップS44では、自機からのリクエスト電波に対する反応があった他のカメラ1のうち、電波強度の最も高いものと通信を開始する。なお、この他のカメラ1との通信の確立時には、パスコード入力による認証等の接続制限機能が設けられてもよい。   In step S44, communication is started with the camera 1 having the highest radio wave intensity among the other cameras 1 that have responded to the request radio wave from the own device. It should be noted that a connection restriction function such as authentication by passcode input may be provided when establishing communication with the other camera 1.

通信の確立後、ステップS45において、表示部5にカメラ1(自機)をマスターとするか否かを選択を使用者に問う表示を行う。ここで、マスターとは、一対のカメラ1のうちの詳しくは後述する構図情報の比較処理等を実行する側のことを称するものとし、他方の側をスレーブと称するものとする。また、以下の説明において、カメラ1Rがマスター、カメラ1Lがスレーブとなるように設定されるものとする。   After the communication is established, in step S45, a display asking the user whether to use the camera 1 (own device) as a master is displayed on the display unit 5. Here, the master refers to the side of the pair of cameras 1 that performs composition information comparison processing, which will be described later, and the other side is referred to as a slave. In the following description, it is assumed that the camera 1R is set as a master and the camera 1L is set as a slave.

そして、ステップS46において使用者から操作判定部7を介して自機をマスターとはしない(自機をスレーブとする)という操作入力がなされたと判定した場合には、ステップS47へ移行し、通信を確立中の他のカメラ1において、他のカメラ1がマスターとなるよう設定がなされているか否かを確認する。   If it is determined in step S46 that an operation input has been made by the user via the operation determination unit 7 that the own device is not set as a master (the own device is set as a slave), the process proceeds to step S47 and communication is performed. It is confirmed whether the other camera 1 being established is set so that the other camera 1 becomes the master.

ステップS47において、他のカメラ1がマスターとなるとの設定がなされている場合には、ステップS51へ移行して他のカメラとのペアリングを確立し、以降このペアリングの対象である他のカメラ1との通信を継続する。   If it is determined in step S47 that the other camera 1 is set as the master, the process proceeds to step S51 to establish pairing with the other camera, and thereafter the other camera that is the target of this pairing. Communication with 1 continues.

一方、ステップS47において、他のカメラ1も自機と同様にマスターとはならないとの設定がなされている場合には、ステップS48において表示部5にペアリングの確立ができない旨の警告表示を行い、ステップS46へ戻る。   On the other hand, if it is set in step S47 that the other cameras 1 are not set to be the master as in the case of the own device, a warning message indicating that pairing cannot be established is displayed on the display unit 5 in step S48. Return to step S46.

また、ステップS46の判定において、使用者から操作判定部7を介して自機をマスターとするという操作入力がなされたと判定した場合には、ステップS49へ移行し、通信を確立中の他のカメラ1において、他のカメラ1がスレーブとなるよう設定がなされているか否かを確認する。   If it is determined in step S46 that the user has made an operation input using the own device as a master via the operation determination unit 7, the process proceeds to step S49, and another camera that has established communication. 1, it is confirmed whether or not the other camera 1 is set to be a slave.

ステップS49において、他のカメラ1がスレーブとなるとの設定がなされている場合には、ステップS51へ移行して他のカメラとのペアリングを確立し、以降このペアリングの対象である他のカメラ1との通信を継続する。   If it is determined in step S49 that the other camera 1 is set as a slave, the process proceeds to step S51 to establish pairing with another camera, and thereafter another camera that is the target of this pairing. Communication with 1 continues.

一方、ステップS49において、他のカメラ1も自機と同様にマスターとなるとの設定がなされている場合には、ステップS50において表示部5にペアリングの確立ができない旨の警告表示を行い、ステップS46へ戻る。   On the other hand, if it is determined in step S49 that the other camera 1 is also set to be the master like its own device, a warning is displayed in step S50 to indicate that pairing cannot be established. Return to S46.

以上で、撮影モード設定処理が終了する。再び図7及び図8に示すカメラ1の撮影時の動作のメインルーチンを説明する。   Thus, the shooting mode setting process ends. The main routine of the operation at the time of shooting by the camera 1 shown in FIGS. 7 and 8 will be described again.

ステップS01の判定において、カメラ1の動作モードが撮影モードであると判定した場合には、ステップS11へ移行し、表示部5においてライブビュー表示を開始する。そして、ステップS12において、上述した他のカメラとの通信の確立時に自機がマスターとなる設定がなされたか否かを判定する。   If it is determined in step S01 that the operation mode of the camera 1 is the shooting mode, the process proceeds to step S11 and the display unit 5 starts live view display. In step S12, it is determined whether or not a setting has been made so that the own device becomes a master when communication with another camera is established.

ステップS12の判定において、自機がマスターとなる設定がなされている場合にはステップS13へ移行する。ステップS13では、通信部8を介して、スレーブとなる他のカメラ1へ最新の画像の構図情報を送信するように要求を出し、ステップS14へ移行する。   If it is determined in step S12 that the own device is set as a master, the process proceeds to step S13. In step S13, a request is made to transmit the latest image composition information to another camera 1 serving as a slave via the communication unit 8, and the process proceeds to step S14.

ステップS14では、図10のフローチャートに示す比較判定処理を実行する。   In step S14, the comparison determination process shown in the flowchart of FIG. 10 is executed.

比較判定表示処理では、まずステップS60において、スレーブである他のカメラ1からの構図情報が取得できたか否かを判定する。ここで、他のカメラ1からの構図情報が取得できない場合には、ステップS61へ移行し、表示部5に、単独のカメラ1(自機)のみによって通常の2次元の画像の撮影を行うための表示を行う。   In the comparison determination display process, first, in step S60, it is determined whether composition information from another camera 1 as a slave has been acquired. If composition information from another camera 1 cannot be acquired, the process proceeds to step S61, and a normal two-dimensional image is captured on the display unit 5 only by the single camera 1 (own device). Is displayed.

一方、ステップS60の判定において、他のカメラ1からの構図情報が取得できた場合には、ステップS62において、判定部34により自機の撮像部4により取得された最新の画像の構図情報と、他のカメラ1(スレーブ)から取得した最新の構図情報とを比較する。   On the other hand, if composition information from another camera 1 can be acquired in the determination in step S60, the composition information of the latest image acquired by the imaging unit 4 of the own device by the determination unit 34 in step S62, The latest composition information acquired from another camera 1 (slave) is compared.

そして、ステップS63において、構図情報の比較により、主要被写体の大きさが略一致するか否かを判定する。ここで、主要被写体の大きさが略一致しない場合には、ステップS64へ移行し、自機と他のカメラ1との間で、主要被写体への距離又は焦点距離(画角)が異なるため立体画像の生成が不可能である旨の警告を、表示部5に表示する。   In step S63, it is determined whether or not the sizes of the main subjects substantially match by comparing the composition information. Here, if the size of the main subject does not substantially match, the process proceeds to step S64, and the distance to the main subject or the focal length (view angle) differs between the own device and the other camera 1, so that the three-dimensional. A warning that an image cannot be generated is displayed on the display unit 5.

次に、ステップS65において、構図情報の比較から、主要被写体に対する背景の上下方向の位置が略一致するか否かを判定する。ここで、主要被写体に対する背景の位置の上下方向の位置が略一致しない場合には、ステップS66へ移行し、自機と他のカメラ1との間で、主要被写体に対する高さ(天地方向の位置)が異なるため立体画像の生成が不可能である旨の警告を、表示部5に表示する。   Next, in step S65, it is determined from the comparison of the composition information whether the vertical position of the background with respect to the main subject substantially matches. If the vertical position of the background relative to the main subject does not substantially match, the process proceeds to step S66, and the height relative to the main subject (position in the vertical direction) is determined between the own device and the other camera 1. ) Are different, a warning that a stereoscopic image cannot be generated is displayed on the display unit 5.

次に、ステップS67において、判定部34による構図情報の比較の結果に基づいて、自機の撮像部4により取得された最新の画像と、他のカメラ1(スレーブ)により取得された最新の画像とから立体画像の生成が可能であるか否かを判定する。   Next, in step S67, the latest image acquired by the imaging unit 4 of the own device and the latest image acquired by another camera 1 (slave) based on the comparison result of the composition information by the determination unit 34. From this, it is determined whether or not a stereoscopic image can be generated.

ステップS67において、立体画像の生成が可能であると判定した場合には、図11に示すように、表示部5のライブビュー表示に、立体画像の生成可能な領域を示す表示123(図11中網掛けの領域)を重畳して表示し、図7及び8に示すフローチャートに戻る。   If it is determined in step S67 that a stereoscopic image can be generated, as shown in FIG. 11, a display 123 (in FIG. 11) showing a region where a stereoscopic image can be generated is displayed on the live view display of the display unit 5. (Shaded area) is superimposed and displayed, and the process returns to the flowcharts shown in FIGS.

一方、ステップS67において、立体画像の生成が不可能であると判定した場合には、図6に示すような、上述したアドバイス表示を表示部5に表示し、図7及び8に示すフローチャートに戻る。   On the other hand, if it is determined in step S67 that a three-dimensional image cannot be generated, the above-described advice display as shown in FIG. 6 is displayed on the display unit 5, and the process returns to the flowcharts shown in FIGS. .

以上で、比較判定処理が終了する。再び図7及び図8に示すカメラ1の撮影時の動作のメインルーチンを説明する。   Thus, the comparison determination process ends. The main routine of the operation at the time of shooting by the camera 1 shown in FIGS. 7 and 8 will be described again.

ステップS14の比較判定処理の実行後は、ステップS15において、操作判定部7を介して使用者から撮影開始の操作入力がなされたか否かを判定する。撮影開始の操作入力がなされていないと判定した場合は、ステップS11へ戻る。   After the execution of the comparison determination process in step S14, it is determined in step S15 whether or not an operation input for starting photographing has been made by the user via the operation determination unit 7. If it is determined that an operation input for starting shooting has not been made, the process returns to step S11.

ステップS15において、撮影開始の操作入力がなされたと判定した場合は、ステップS16へ移行し、撮像部4により取得された画像を記録部6に記録する。   If it is determined in step S15 that an operation input for starting photographing has been made, the process proceeds to step S16, and the image acquired by the imaging unit 4 is recorded in the recording unit 6.

ステップS17において、前記比較判定処理における立体画像の生成の判定が可能であったか否かを判定する。比較判定処理において、立体画像の生成が可能とされていた場合には、ステップS18において、スレーブである他のカメラ1に最新の画像を送信するよう要求し、スレーブから受信した画像を、ステップS16で記録した自機により撮影した画像と関連付けて記録部6に記録する。一方、比較判定処理において、立体画像の生成が不可能とされていた場合には、ステップS18をスキップする。   In step S <b> 17, it is determined whether it is possible to determine whether to generate a stereoscopic image in the comparison determination process. If it is determined in the comparison determination process that a stereoscopic image can be generated, in step S18, the other camera 1 that is the slave is requested to transmit the latest image, and the image received from the slave is received in step S16. The image is recorded in the recording unit 6 in association with the image photographed by the own device recorded in the above. On the other hand, if it is determined in the comparison determination process that a stereoscopic image cannot be generated, step S18 is skipped.

そして、ステップS19において、操作判定部7を介して使用者から撮影終了の操作入力がなされたか否かを判定する。撮影終了の操作入力がなされていないと判定した場合は、ステップS16へ戻り画像の記録を繰り返す。一方、撮影終了の操作入力がなされたと判定した場合は、当該メインルーチンを終了し、メインルーチンを繰り返す。   In step S <b> 19, it is determined whether or not an operation input for ending photographing has been made by the user via the operation determination unit 7. If it is determined that the operation input for ending photographing has not been made, the process returns to step S16 to repeat image recording. On the other hand, if it is determined that an operation input for ending photographing has been made, the main routine is terminated and the main routine is repeated.

なお、ステップS14の比較判定処理により、立体画像の生成の判定が可能と判定された場合には、ステップS15をスキップし、自動的に画像の記録部6への記録を開始する構成であってもよい。   Note that if it is determined by the comparison determination process in step S14 that generation of a stereoscopic image can be determined, step S15 is skipped, and recording of an image to the recording unit 6 is automatically started. Also good.

次に、ステップS12の判定において、自機がスレーブとなる設定がなされている場合について説明する。自機がスレーブとなる設定がなされている場合には、ステップS31に移行する。   Next, a description will be given of a case where in the determination of step S12, the own device is set to be a slave. If it is set that the own device is a slave, the process proceeds to step S31.

ステップS31では、マスターである他のカメラ1から構図情報の送信要求を受信したか否かを判定する。マスターからの構図情報の送信要求を受信していた場合は、ステップS32へ移行し、最新の画像に基づいて構図情報算出部33により算出した構図情報を、通信部8を介してマスターへ送信する。そしてステップS33へ移行する。また、ステップS31の判定において、マスターからの構図情報の送信要求を受信していなかった場合は、ステップS32をスキップしてステップS33へ移行する。   In step S31, it is determined whether or not a composition information transmission request has been received from another master camera 1. When the composition information transmission request from the master has been received, the process proceeds to step S32, and the composition information calculated by the composition information calculation unit 33 based on the latest image is transmitted to the master via the communication unit 8. . Then, control goes to a step S33. If it is determined in step S31 that a composition information transmission request from the master has not been received, step S32 is skipped and the process proceeds to step S33.

ステップS33では、自機の操作判定部7を介して使用者から撮影開始の操作入力がなされたか否かを判定する。撮影開始の操作入力がなされていないと判定した場合は、ステップS11へ戻る。   In step S33, it is determined whether or not an operation input for starting photographing has been made by the user via the operation determination unit 7 of the own device. If it is determined that an operation input for starting shooting has not been made, the process returns to step S11.

ステップS33において、撮影開始の操作入力がなされたと判定した場合は、ステップS34へ移行し、撮像部4により取得された画像を記録部6に記録する。そして、ステップS35において、操作判定部7を介して使用者から撮影終了の操作入力がなされたか否かを判定する。撮影終了の操作入力がなされていないと判定した場合は、ステップS34へ戻り画像の記録を繰り返す。一方、撮影終了の操作入力がなされたと判定した場合は、当該メインルーチンを終了し、メインルーチンを繰り返す。   If it is determined in step S33 that an operation input for starting photographing has been made, the process proceeds to step S34, and the image acquired by the imaging unit 4 is recorded in the recording unit 6. In step S <b> 35, it is determined whether or not an operation input for ending photographing has been made by the user via the operation determination unit 7. When it is determined that the operation input for ending the shooting has not been made, the process returns to step S34 and the image recording is repeated. On the other hand, if it is determined that an operation input for ending photographing has been made, the main routine is terminated and the main routine is repeated.

以上に説明したカメラ1は、複数の異なる視点から撮影された画像に基づいて立体画像を得ることが可能であって、自機で撮影した画像と他のカメラ1で撮影した画像の主要被写体100を認識し、主要被写体100と、前景及び背景の少なくとも一方と、の位置関係からなる構図情報を算出し、構図情報の比較から、立体画像の生成が可能であるか否かを判定し、その結果を表示部に表示することを特徴とする。この特徴により、専用の構成を用いて2台以上のカメラ1の位置決めを厳密に行うことなく、表示部の表示に基づいて立体画像の撮影を容易に行うことができる。   The camera 1 described above can obtain a stereoscopic image based on images taken from a plurality of different viewpoints, and the main subject 100 of an image taken by the own device and an image taken by another camera 1. , Calculate composition information including a positional relationship between the main subject 100 and at least one of the foreground and the background, and determine whether a stereoscopic image can be generated from the comparison of the composition information, The result is displayed on the display unit. With this feature, it is possible to easily shoot a stereoscopic image based on the display on the display unit without strictly positioning two or more cameras 1 using a dedicated configuration.

また、この特徴を実現するために、2次元の画像を撮影可能ないわゆる一般的なカメラに付加しなければならない構成は、図3に示すように制御部2の一部と通信部8のみである。このため、本発明に係るカメラ1の大きさは従来のカメラと同等であり、立体画像の撮影のために大がかりな構成を必要とした従来に比して利便性が向上する。   Further, in order to realize this feature, a configuration that must be added to a so-called general camera capable of taking a two-dimensional image is only a part of the control unit 2 and the communication unit 8 as shown in FIG. is there. For this reason, the size of the camera 1 according to the present invention is the same as that of the conventional camera, and the convenience is improved as compared with the conventional case in which a large-scale configuration is required for taking a stereoscopic image.

なお、本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うカメラ及びカメラシステムもまた本発明の技術的範囲に含まれるものである。   Note that the present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the spirit or idea of the invention that can be read from the claims and the entire specification. A camera system is also included in the technical scope of the present invention.

本発明に係るカメラ及びカメラシステムは、上述の実施形態で説明した形態に限らず、撮像装置(カメラ機能)を備えた録音機器、携帯電話、PDA、パーソナルコンピューター、ゲーム機、デジタルメディアプレーヤー、テレビ、GPS、時計等の電子機器にも適用可能であることは言うまでもない。   The camera and camera system according to the present invention are not limited to the form described in the above-described embodiment, but are a recording device, a mobile phone, a PDA, a personal computer, a game machine, a digital media player, a television equipped with an imaging device (camera function). Needless to say, the present invention is also applicable to electronic devices such as GPS and watches.

本発明に係るカメラを用いた撮影の様子を示す図である。It is a figure which shows the mode of imaging | photography using the camera which concerns on this invention. 本発明に係るカメラを用いた撮影の様子を上方から見た状態を模式的に示す図である。It is a figure which shows typically the state which looked at the mode of imaging | photography using the camera which concerns on this invention from upper direction. カメラの概略的な構成を説明するブロック図である。It is a block diagram explaining the schematic structure of a camera. 2台のカメラの相対位置が最適位置である場合の撮影結果の例を示す図である。It is a figure which shows the example of the imaging | photography result in case the relative position of two cameras is an optimal position. 2台のカメラの位置関係が水平でない場合の撮影結果の例を示す図である。It is a figure which shows the example of the imaging | photography result when the positional relationship of two cameras is not horizontal. アドバイス表示の例を示す図である。It is a figure which shows the example of an advice display. カメラの撮影時の動作を説明するフローチャートである。It is a flowchart explaining the operation | movement at the time of imaging | photography of a camera. カメラの撮影時の動作を説明するフローチャートである。It is a flowchart explaining the operation | movement at the time of imaging | photography of a camera. 撮影モード設定処理を説明するフローチャートである。It is a flowchart explaining an imaging mode setting process. 比較判定処理を説明するフローチャートである。It is a flowchart explaining a comparison determination process. 立体画像の生成可能な領域を表示する例を示す図である。It is a figure which shows the example which displays the area | region which can produce | generate a stereo image.

符号の説明Explanation of symbols

1(1R、1L) カメラ、
2 制御部、
4 撮像部、
5 表示部、
6 記録部、
7 操作判定部、
8 通信部、
21 表示制御部、
22 位置推定部、
23 時計部、
30 画像処理部、
31 コントラスト算出部、
32 顔認識部、
33 構図情報算出部、
34 判定部、
41 撮像レンズ部、
42 撮像素子、
43 レンズ駆動部、
100 主要被写体、
110 背景。
1 (1R, 1L) camera,
2 control unit,
4 Imaging unit,
5 Display section,
6 Recording section,
7 Operation determination part,
8 Communication Department,
21 display control unit,
22 position estimation unit,
23 Clock part,
30 Image processing unit,
31 contrast calculation unit,
32 Face recognition unit,
33 Composition information calculation unit,
34 judgment part,
41 imaging lens unit,
42 image sensor,
43 Lens drive unit,
100 main subjects,
110 Background.

Claims (1)

被写体を撮影し第1の画像を得る撮像部と、
1つ又は複数の外部機器により撮影された第2の画像を受信可能な通信部と、
前記第1の画像及び第2の画像の主要被写体を認識し、前記主要被写体と、背景と、の位置関係からなる構図情報を算出する画像処理部と、
前記第1の画像及び前記第2の画像の前記主要被写体が同一であり、かつ前記構図情報の比較から前記第1の画像及び第2の画像の前記主要被写体と前記背景との位置関係が立体視可能な状態であると判断した場合に、前記第1の画像と前記第2の画像とによって立体画像の生成が可能であると判定する判定部と、
前記判定部の判定結果を表示する表示部と、
前記第1の画像の構図情報及び前記第2の画像の構図情報の比較から、前記主要被写体と当該カメラと前記外部機器との間の相対的な高さ方向の位置関係を推定する位置推定部と、
を具備し、
前記表示部は、当該カメラと前記外部機器との位置関係が水平となる最適位置への当該カメラ又は前記外部機器の移動を促すアドバイス表示を行うことを特徴とするカメラ。
An imaging unit for capturing a subject and obtaining a first image;
A communication unit capable of receiving a second image taken by one or more external devices;
An image processing unit that recognizes a main subject of the first image and the second image and calculates composition information including a positional relationship between the main subject and a background;
The main subject of the first image and the second image is the same, and the positional relationship between the main subject of the first image and the second image and the background is three-dimensionally based on a comparison of the composition information. A determination unit that determines that a three-dimensional image can be generated by the first image and the second image when it is determined that the state is visible;
A display unit for displaying a determination result of the determination unit;
A position estimation unit that estimates a relative height-direction positional relationship between the main subject, the camera, and the external device from a comparison of the composition information of the first image and the composition information of the second image. When,
Equipped with,
The display unit performs an advice display for prompting movement of the camera or the external device to an optimum position where a positional relationship between the camera and the external device is horizontal .
JP2008334298A 2008-12-26 2008-12-26 camera Expired - Fee Related JP5275789B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008334298A JP5275789B2 (en) 2008-12-26 2008-12-26 camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008334298A JP5275789B2 (en) 2008-12-26 2008-12-26 camera

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013101902A Division JP5591376B2 (en) 2013-05-14 2013-05-14 Camera and camera system

Publications (3)

Publication Number Publication Date
JP2010157850A JP2010157850A (en) 2010-07-15
JP2010157850A5 JP2010157850A5 (en) 2011-11-17
JP5275789B2 true JP5275789B2 (en) 2013-08-28

Family

ID=42575431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008334298A Expired - Fee Related JP5275789B2 (en) 2008-12-26 2008-12-26 camera

Country Status (1)

Country Link
JP (1) JP5275789B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5728280B2 (en) * 2011-04-20 2015-06-03 京セラ株式会社 Stereoscopic image capturing system, portable communication terminal, stereoscopic image capturing method for stereoscopic image capturing system, stereoscopic image capturing program for portable communication terminal, and stereoscopic image capturing method for portable communication terminal
WO2013125298A1 (en) 2012-02-23 2013-08-29 Necカシオモバイルコミュニケーションズ株式会社 Terminal device, image capture system, and image capture method
KR102084632B1 (en) * 2012-11-12 2020-03-04 삼성전자주식회사 Method and apparatus of generating 3d images using a plurality of mobile devices
EP2731336B1 (en) * 2012-11-12 2017-10-18 Samsung Electronics Co., Ltd Method and apparatus for generating 3D images using plurality of mobile devices
KR102145542B1 (en) * 2014-08-14 2020-08-18 삼성전자주식회사 Image photographing apparatus, image photographing system for photographing using a plurality of image photographing apparatuses and methods for photographing image thereof
JP6720966B2 (en) * 2015-04-28 2020-07-08 ソニー株式会社 Information processing apparatus, information processing method, and program
JP6610713B2 (en) * 2018-06-20 2019-11-27 カシオ計算機株式会社 Image processing apparatus, image processing method, and program
JP2020031332A (en) * 2018-08-22 2020-02-27 シャープ株式会社 Electronic equipment, control device for electronic equipment, control program, and control method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554123A (en) * 1991-08-27 1993-03-05 Canon Inc Image synthesizer
JP3894364B2 (en) * 2002-02-04 2007-03-22 富士フイルム株式会社 camera
JP2003244500A (en) * 2002-02-13 2003-08-29 Pentax Corp Stereo image pickup device
JP2004129027A (en) * 2002-10-04 2004-04-22 Sharp Corp Portable device and three-dimensional image formation system using the same
JP4436080B2 (en) * 2003-06-30 2010-03-24 日本放送協会 Stereoscopic image reproduction distortion output device, stereoscopic image reproduction distortion output method, and stereoscopic image reproduction distortion output program
JP2006148701A (en) * 2004-11-22 2006-06-08 Fuji Photo Film Co Ltd System and method of calibrating position of digital camera

Also Published As

Publication number Publication date
JP2010157850A (en) 2010-07-15

Similar Documents

Publication Publication Date Title
JP5275789B2 (en) camera
JP5683025B2 (en) Stereoscopic image capturing apparatus and stereoscopic image capturing method
JP4448844B2 (en) Compound eye imaging device
EP2590421B1 (en) Single-lens stereoscopic image capture device
US20110280564A1 (en) Interchangeable lens unit, imaging device, method for controlling interchangeable lens unit, program, and storage medium storing program
US8213787B2 (en) Camera system and image forming apparatus
US8810683B2 (en) Method of controlling image capturing based on a distance to an object
US20110267432A1 (en) Camera and camera system
US8743181B2 (en) Image pickup apparatus
JP2011211541A (en) Imaging device, method for controlling the same, program, and recording medium
JP2010157851A (en) Camera and camera system
JP2013090122A (en) Imaging apparatus and program
JP2011205395A (en) Imaging apparatus, and program
JP7009142B2 (en) Image pickup device and image processing method
US20130088580A1 (en) Camera body, interchangeable lens unit, image capturing device, method for controlling camera body, program, and recording medium on which program is recorded
JP5580486B2 (en) Image output apparatus, method and program
JP5704885B2 (en) Imaging device, imaging method, and imaging control program
JP5591376B2 (en) Camera and camera system
JP6376753B2 (en) Imaging apparatus, display control apparatus control method, and recording apparatus control method
JP2013175805A (en) Display device and image pickup device
JP2013118561A (en) Electronic camera and control method of electronic camera
JP2006033395A (en) Image pickup device and stereoscopic image pickup system
JP2012129601A (en) Imaging apparatus
JP2015028548A (en) Imaging apparatus
KR20150016871A (en) Photographing apparatus, display apparatus, photographing method, and photographing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130516

R151 Written notification of patent or utility model registration

Ref document number: 5275789

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees