JP5785786B2 - Imaging apparatus, display method, and program - Google Patents

Imaging apparatus, display method, and program Download PDF

Info

Publication number
JP5785786B2
JP5785786B2 JP2011126728A JP2011126728A JP5785786B2 JP 5785786 B2 JP5785786 B2 JP 5785786B2 JP 2011126728 A JP2011126728 A JP 2011126728A JP 2011126728 A JP2011126728 A JP 2011126728A JP 5785786 B2 JP5785786 B2 JP 5785786B2
Authority
JP
Japan
Prior art keywords
image
unit
display
imaging
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011126728A
Other languages
Japanese (ja)
Other versions
JP2012253693A (en
Inventor
佳之 福谷
佳之 福谷
健世 伊藤
健世 伊藤
松音 英明
英明 松音
宮内 裕司
裕司 宮内
野中 修
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011126728A priority Critical patent/JP5785786B2/en
Publication of JP2012253693A publication Critical patent/JP2012253693A/en
Application granted granted Critical
Publication of JP5785786B2 publication Critical patent/JP5785786B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、互いに視野が異なる領域を撮像して画像データを生成する複数の撮像部を備えた撮像装置、表示方法およびプログラムに関する。   The present invention relates to an image pickup apparatus, a display method, and a program including a plurality of image pickup units that pick up images of regions having different visual fields and generate image data.

近年、デジタルカメラ等の撮像装置として、2つの撮像手段を備えたものが知られている。たとえば、第1の撮像手段で被写体に面する正面側を撮像する一方、第2の撮像手段で撮影者に面する背面側を撮像することができる技術が知られている(特許文献1参照)。この技術では、第1の撮像手段で撮像した正面側の前方画像に、第2の撮像手段で撮像した背面側の背面画像を合成して一つの表示モニタで表示させることで、前方画像と背面画像とを確認することができるようにしている。   In recent years, an image pickup apparatus such as a digital camera that includes two image pickup means is known. For example, a technique is known in which a first imaging unit can image a front side facing a subject and a second imaging unit can image a back side facing a photographer (see Patent Document 1). . In this technique, the front image and the rear image are synthesized by combining the front image on the front side imaged by the first imager and the rear image on the rear surface imaged by the second imager and displaying them on one display monitor. The image can be confirmed.

特開2004−147046号公報JP 2004-147046 A

ところで、上述した技術では、正面画像と背面画像とを合成した合成画像を表示モニタに表示させているため、撮影者が常に合成画像内に写っていた。しかしながら、撮影者は、撮影の構図に自分を入れたくない場合もある。一方で、撮影者は、自分もいたことを画像として記憶しておきたい場合もある。   By the way, in the above-described technique, since the composite image obtained by combining the front image and the back image is displayed on the display monitor, the photographer is always shown in the composite image. However, the photographer may not want to put himself in the composition of the shooting. On the other hand, the photographer may want to memorize what he / she was as an image.

本発明は、上記に鑑みてなされたものであって、撮影者の意図した構図を維持しつつ、撮影者自身の画像も付加することもできる撮像装置、表示方法およびプログラムを提供することを目的とする。   The present invention has been made in view of the above, and it is an object of the present invention to provide an imaging apparatus, a display method, and a program that can add a photographer's own image while maintaining the composition intended by the photographer. And

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、所定の視野領域を撮像して第1の画像データを生成する第1の撮像部と、前記第1の撮像部と異なる視野領域を撮像して第2の画像データを生成する第2の撮像部と、を備えた撮像装置であって、前記第1の画像データに対応する第1の画像および前記第2の画像データに対応する第2の画像を表示可能な表示部と、前記表示部の表示画面上に設けられ、前記表示部が表示する画像の変更を指示する指示信号の入力を受け付ける入力部と、前記表示部が前記第1の画像を表示している場合において、前記入力部から前記指示信号の入力を受け付けたとき、当該撮像装置を中心にして見たときの前記第1の画像および前記第2の画像にそれぞれ写る被写体の位置関係を反映させた状態で前記第2の画像の少なくとも一部を前記表示部に表示させる表示制御部と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes a first imaging unit that images a predetermined visual field region to generate first image data, and the first imaging A second imaging unit that captures a field of view different from the unit and generates second image data, wherein the first image corresponding to the first image data and the second image data A display unit capable of displaying a second image corresponding to the image data; an input unit which is provided on the display screen of the display unit and receives an input of an instruction signal for instructing a change of the image displayed by the display unit; In the case where the display unit displays the first image, when the input of the instruction signal is received from the input unit, the first image when viewed mainly with respect to the imaging device and the Positional relationship of subjects in each second image A display control unit in a state that reflects and displays at least a part of said second image on said display unit, characterized by comprising a.

また、本発明にかかる撮像装置は、上記発明において、前記表示制御部は、前記第2の画像の少なくとも一部を前記表示部に表示させる際に、前記第2の画像の表示領域を徐々に増やしながら表示させることを特徴とする。   In the imaging device according to the present invention, in the above invention, when the display control unit displays at least a part of the second image on the display unit, the display area of the second image is gradually increased. It is characterized by being displayed while increasing.

また、本発明にかかる撮像装置は、上記発明において、前記表示制御部は、前記第2の画像の少なくとも一部を所定時間だけ表示させた後に、前記第1の画像に切換えることを特徴とする。   In the imaging device according to the present invention as set forth in the invention described above, the display control unit displays at least a part of the second image for a predetermined time, and then switches to the first image. .

また、本発明にかかる撮像装置は、上記発明において、前記表示制御部は、前記第2の画像を前記被写体の位置関係を反映させた状態で前記表示部に表示させる際に、前記第1の画像における縦横比率を変化させ、この変化によって生じる画面内の空き領域に前記第2の画像を表示させることを特徴とする。   In the imaging device according to the present invention, in the above invention, when the display control unit displays the second image on the display unit in a state in which the positional relationship of the subject is reflected, The aspect ratio of the image is changed, and the second image is displayed in an empty area in the screen caused by the change.

また、本発明にかかる撮像装置は、上記発明において、前記表示制御部は、前記第1の画像に対して前記第2の画像に関する画像情報を重畳して表示させ、前記入力部は、前記画像情報の一部がタッチされた場合、前記指示信号の入力を受け付けることを特徴とする。   Moreover, in the imaging device according to the present invention, in the above invention, the display control unit causes the image information related to the second image to be displayed superimposed on the first image, and the input unit displays the image. When a part of the information is touched, the input of the instruction signal is received.

また、本発明にかかる撮像装置は、上記発明において、前記第2の画像に含まれる被写体の顔を検出する顔検出部と、前記顔検出部が検出した被写体の顔を含む顔領域を、前記第2の画像から切出して前記画像情報としての顔画像を生成するトリミング部と、前記トリミング部が生成した前記顔画像を、前記第1の画像に写る被写体との位置関係を反映させた前記第1の画像の表示領域に合成する画像合成部と、をさらに備えたことを特徴とする。   In the image pickup apparatus according to the present invention, in the above invention, a face detection unit that detects a face of a subject included in the second image, and a face region that includes the face of the subject detected by the face detection unit, A trimming unit that cuts out from a second image and generates a face image as the image information, and the face image generated by the trimming unit reflects the positional relationship between a subject in the first image. And an image composition unit for compositing with the display area of one image.

また、本発明にかかる撮像装置は、上記発明において、前記表示制御部は、前記画像情報として前記第1の画像における端部を仮想的に折り返した折れ部を表示させることを特徴とする。   In the imaging device according to the present invention as set forth in the invention described above, the display control unit displays a folded portion obtained by virtually folding an end portion of the first image as the image information.

また、本発明にかかる撮像装置は、上記発明において、前記第2の撮像部は、撮影者が面する当該撮像装置の背面部に設けられていることを特徴とする。   The imaging device according to the present invention is characterized in that, in the above invention, the second imaging unit is provided on a back surface of the imaging device facing the photographer.

また、本発明にかかる撮像装置は、上記発明において、前記第2の撮像部は、前記第1の撮像部の光軸と直交する軸の周りの全周にわたる視野領域を撮影して前記第2の画像データを生成することを特徴とする。   In the image pickup apparatus according to the present invention, in the above invention, the second image pickup unit picks up a field of view over the entire circumference around an axis orthogonal to the optical axis of the first image pickup unit. Image data is generated.

また、本発明にかかる撮像装置は、上記発明において、前記第2の画像は、円環状をなし、前記第2の画像を、帯状の表示領域を有する画像に変換する画像変換部をさらに備えたことを特徴とする。   The imaging apparatus according to the present invention further includes an image conversion unit that converts the second image into an image having a band-shaped display area, wherein the second image has an annular shape. It is characterized by that.

また、本発明にかかる表示方法は、互いに異なる視野領域を撮像することによって第1および第2の画像データを生成することが可能な撮像装置が実行する表示方法であって、前記第1の画像データに対応する第1の画像および前記第2の画像データに対応する第2の画像を表示可能な表示ステップと、前記表示ステップで表示する画像の変更を指示する指示信号の入力を受け付ける入力ステップと、前記表示ステップで前記第1の画像を表示している場合において、前記入力ステップから前記指示信号の入力を受け付けたとき、当該撮像装置を中心にして見たときの前記第1の画像および前記第2の画像にそれぞれ写る被写体の位置関係を反映させた状態で前記第2の画像の少なくとも一部を前記表示部に表示させる表示制御ステップと、を含むことを特徴とする。   The display method according to the present invention is a display method executed by an imaging apparatus capable of generating first and second image data by imaging different visual field regions, wherein the first image is displayed. A display step capable of displaying a first image corresponding to the data and a second image corresponding to the second image data, and an input step for receiving an input of an instruction signal instructing a change of the image displayed in the display step In the case where the first image is displayed in the display step, when the input of the instruction signal is received from the input step, the first image when viewed mainly with respect to the imaging device and A display control step of causing the display unit to display at least a part of the second image in a state in which the positional relationship of the subject captured in each of the second images is reflected; Characterized in that it contains.

また、本発明にかかるプログラムは、互いに異なる視野領域を撮像することによって第1および第2の画像データを生成することが可能な撮像装置に実行させるプログラムであって、前記第1の画像データに対応する第1の画像および前記第2の画像データに対応する第2の画像を表示可能な表示ステップと、前記表示ステップで表示する画像の変更を指示する指示信号の入力を受け付ける入力ステップと、前記表示ステップで前記第1の画像を表示している場合において、前記入力ステップから前記指示信号の入力を受け付けたとき、当該撮像装置を中心にして見たときの前記第1の画像および前記第2の画像にそれぞれ写る被写体の位置関係を反映させた状態で前記第2の画像の少なくとも一部を前記表示部に表示させる表示制御ステップと、を実行させることを特徴とする。   A program according to the present invention is a program that is executed by an imaging apparatus capable of generating first and second image data by imaging different visual field regions, and includes the first image data. A display step capable of displaying a corresponding first image and a second image corresponding to the second image data; an input step for receiving an input of an instruction signal instructing a change of an image displayed in the display step; In the case where the first image is displayed in the display step, when the input of the instruction signal is received from the input step, the first image and the first image when viewed from the imaging device as a center A display control step for displaying at least a part of the second image on the display unit in a state in which the positional relationship of the subject captured in each of the two images is reflected. Characterized in that to execute, when.

本発明によれば、表示制御部が、表示部によって前記第1の画像が表示されている場合において、入力部から指示信号の入力を受け付けたとき、撮像装置を中心にして見たときの第1の画像と第2の画像にそれぞれ写る被写体の位置関係を反映させた状態で第2の画像の少なくとも一部を表示部に表示させる。撮影者の意図した構図を維持しつつ、撮影者自身の画像も付加することもできるという効果を奏する。   According to the present invention, when the display control unit receives the instruction signal from the input unit when the first image is displayed on the display unit, the display control unit looks at the imaging device as a center. At least a part of the second image is displayed on the display unit in a state in which the positional relationship of the subject captured in each of the first image and the second image is reflected. While maintaining the composition intended by the photographer, it is possible to add the photographer's own image.

図1は、本発明の実施の形態1にかかる撮像装置の被写体に面する側の構成を示す図である。FIG. 1 is a diagram illustrating a configuration of a side facing a subject of the imaging apparatus according to the first embodiment of the present invention. 図2は、本発明の実施の形態1にかかる撮像装置の撮影者に面する側の構成を示す図である。FIG. 2 is a diagram illustrating a configuration on the side facing the photographer of the imaging apparatus according to the first embodiment of the present invention. 図3は、本発明の実施の形態1にかかる撮像装置の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of the imaging apparatus according to the first embodiment of the present invention. 図4は、本発明の実施の形態1にかかる撮像装置が行う処理の概要を示すフローチャートである。FIG. 4 is a flowchart illustrating an outline of processing performed by the imaging apparatus according to the first embodiment of the present invention. 図5は、撮影者が撮像装置を用いて撮影する際の状況を示す図である。FIG. 5 is a diagram illustrating a situation when the photographer photographs using the imaging device. 図6は、図5に示す状況下で表示部が時系列に沿って順次表示するライブビュー画像のうち代表的な一枚の画像を示す図である。FIG. 6 is a diagram showing one representative image among the live view images that the display unit sequentially displays in time series under the situation shown in FIG. 図7は、本発明の実施の形態1にかかる撮像装置の背面撮影部が生成する画像の一例を示す図である。FIG. 7 is a diagram illustrating an example of an image generated by the rear photographing unit of the imaging apparatus according to the first embodiment of the present invention. 図8は、本発明の実施の形態1にかかる撮像装置の画像合成部が顔画像を正面画像に合成する際に参照する撮像装置を中心にした見たときの正面画像および副画像に写る被写体の位置関係を模式的に説明する図である。FIG. 8 shows a subject that appears in the front image and the sub-image when the image composition unit of the imaging device according to the first embodiment of the present invention is viewed centering on the imaging device that is referred to when the face image is synthesized with the front image. It is a figure explaining typically a positional relationship. 図9は、図8の矢視A方向の平面図である。9 is a plan view in the direction of arrow A in FIG. 図10は、本発明の実施の形態1にかかる撮像装置の画像合成部が生成する合成画像の一例を示す図である。FIG. 10 is a diagram illustrating an example of a combined image generated by the image combining unit of the imaging apparatus according to the first embodiment of the present invention. 図11は、本発明の実施の形態1にかかる撮像装置の表示制御部が合成画像から副画像への切換えを模式的に説明する図である。FIG. 11 is a diagram schematically illustrating the switching from the composite image to the sub-image by the display control unit of the imaging apparatus according to the first embodiment of the present invention. 図12は、本発明の実施の形態1の変形例1にかかる撮像装置の表示部が表示する合成画像の一例を示す図である。FIG. 12 is a diagram illustrating an example of a composite image displayed by the display unit of the imaging apparatus according to the first modification of the first embodiment of the present invention. 図13は、本発明の実施の形態1の変形例1にかかる撮像装置の表示制御部が合成画像から副画像への切換えを模式的に説明する図である。FIG. 13 is a diagram schematically illustrating switching from the composite image to the sub-image by the display control unit of the imaging apparatus according to the first modification of the first embodiment of the present invention. 図14は、本発明の実施の形態1の変形例2にかかる撮像装置の被写体に面する側の構成を示す図である。FIG. 14 is a diagram illustrating a configuration on the side facing the subject of the imaging apparatus according to the second modification of the first embodiment of the present invention. 図15は、本発明の実施の形態1の変形例2にかかる撮像装置を用いて撮影する場合において、撮像装置を中心にして見たときの正面画像および副画像に写る被写体の位置関係を模式的に説明する図である。FIG. 15 is a schematic diagram showing the positional relationship between the subject imaged in the front image and the sub-image when the image pickup apparatus according to the second modification of the first embodiment of the present invention is used for shooting. FIG. 図16は、画像合成部が生成する合成画像の一例を示す図である。FIG. 16 is a diagram illustrating an example of a composite image generated by the image composition unit. 図17は、表示制御部が合成画像から副画像への切換えを模式的に説明する図である。FIG. 17 is a diagram schematically illustrating how the display control unit switches from a composite image to a sub-image. 図18は、本発明の実施の形態2にかかる撮像装置の被写体に面する側の構成を示す図である。FIG. 18 is a diagram illustrating a configuration on the side facing the subject of the imaging apparatus according to the second embodiment of the present invention. 図19は、本発明の実施の形態2にかかる撮像装置の撮影者に面する側の構成を示す図である。FIG. 19 is a diagram illustrating a configuration on the side facing the photographer of the imaging apparatus according to the second embodiment of the present invention. 図20は、本発明の実施の形態2にかかる撮像装置の構成を示すブロック図である。FIG. 20 is a block diagram illustrating a configuration of the imaging apparatus according to the second embodiment of the present invention. 図21は、全方位撮像部の光学系の構成を説明する模式図である。FIG. 21 is a schematic diagram illustrating the configuration of the optical system of the omnidirectional imaging unit. 図22は、本発明の実施の形態2にかかる撮像装置が行う処理の概要を示すフローチャートである。FIG. 22 is a flowchart illustrating an outline of processing performed by the imaging apparatus according to the second embodiment of the present invention. 図23は、全方位撮像部が生成する全方位画像の一例を示す図である。FIG. 23 is a diagram illustrating an example of an omnidirectional image generated by the omnidirectional imaging unit. 図24は、画像合成部が生成する合成画像の一例を示す図である。FIG. 24 is a diagram illustrating an example of a composite image generated by the image composition unit. 図25は、表示制御部が合成画像を表示する際に参照する撮像装置を中心にして見たときの正面画像および副画像として全方位画像に写る被写体の位置関係を模式的に説明する図である。FIG. 25 is a diagram schematically illustrating the positional relationship of the subject that appears in the omnidirectional image as the front image and the sub-image when viewed from the imaging device that is referred to when the display control unit displays the composite image. is there. 図26は、表示制御部が表示部に表示させる合成画像の一例を示す図である。FIG. 26 is a diagram illustrating an example of a composite image displayed on the display unit by the display control unit. 図27は、表示制御部が合成画像から全方位画像への切換えを模式的に説明する図である。FIG. 27 is a diagram schematically illustrating how the display control unit switches from a composite image to an omnidirectional image.

以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the drawings. The present invention is not limited to the embodiments described below. In the description of the drawings, the same parts are denoted by the same reference numerals.

(実施の形態1)
図1は、本発明の実施の形態1にかかる撮像装置1の被写体に面する側(前面側)の構成を示す図である。図2は、本発明の実施の形態1にかかる撮像装置1の撮影者に面する側(背面側)の構成を示す図である。図3は、本発明の実施の形態1にかかる撮像装置1の構成を示すブロック図である。
(Embodiment 1)
FIG. 1 is a diagram illustrating a configuration on the side facing the subject (front side) of the imaging apparatus 1 according to the first embodiment of the present invention. FIG. 2 is a diagram illustrating a configuration of a side (back side) facing the photographer of the imaging apparatus 1 according to the first embodiment of the present invention. FIG. 3 is a block diagram illustrating a configuration of the imaging apparatus 1 according to the first embodiment of the present invention.

図1〜図3に示すように、撮像装置1は、撮像部2と、タイマー3と、操作入力部4と、背面撮像部5と、表示部6と、タッチパネル7と、記憶部8と、制御部9と、を備える。   As shown in FIGS. 1 to 3, the imaging device 1 includes an imaging unit 2, a timer 3, an operation input unit 4, a rear imaging unit 5, a display unit 6, a touch panel 7, a storage unit 8, And a control unit 9.

撮像部2は、所定の視野領域を撮像して画像データ(以下、「正面画像データ」という)を生成する。撮像部2は、レンズ部21と、レンズ駆動部22と、絞り23と、絞り駆動部24と、シャッタ25と、シャッタ駆動部26と、撮像素子27と、撮像駆動部28と、信号処理部29と、を有する。なお、本実施の形態1では、撮像部2が第1の撮像部として機能する。   The imaging unit 2 captures a predetermined visual field and generates image data (hereinafter referred to as “front image data”). The imaging unit 2 includes a lens unit 21, a lens driving unit 22, a diaphragm 23, a diaphragm driving unit 24, a shutter 25, a shutter driving unit 26, an imaging element 27, an imaging driving unit 28, and a signal processing unit. 29. In the first embodiment, the imaging unit 2 functions as a first imaging unit.

レンズ部21は、フォーカスおよびズーム可能な複数のレンズ群によって構成され、所定の視野領域から光を集光する。レンズ駆動部22は、ステッピングモータまたはDCモータを用いて構成され、レンズ部21のレンズ群を光軸L1上に沿って移動させることにより、レンズ部21のピント位置や焦点距離等の変更を行う。   The lens unit 21 includes a plurality of lens groups that can be focused and zoomed, and collects light from a predetermined field of view. The lens driving unit 22 is configured by using a stepping motor or a DC motor, and changes the focus position, focal length, and the like of the lens unit 21 by moving the lens group of the lens unit 21 along the optical axis L1. .

絞り23は、レンズ部21が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部24は、ステッピングモータ等によって構成され、絞り23を駆動する。   The diaphragm 23 adjusts exposure by limiting the amount of incident light collected by the lens unit 21. The aperture drive unit 24 is configured by a stepping motor or the like, and drives the aperture 23.

シャッタ25は、撮像素子27の状態を露光状態または遮光状態に設定する。シャッタ駆動部26は、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ25を駆動する。   The shutter 25 sets the state of the image sensor 27 to an exposure state or a light shielding state. The shutter drive unit 26 is configured by a stepping motor or the like, and drives the shutter 25 according to a release signal.

撮像素子27は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等によって構成される。撮像素子27は、レンズ部21が集光した光を受光して光電変換を行うことによって、光を電気信号(アナログ信号)に変換する。撮像駆動部28は、撮像素子27を駆動するタイミングパルスを生成し、撮像素子27が光電変換した電気信号を信号処理部29に出力させる。   The image sensor 27 is configured by a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). The image sensor 27 receives light collected by the lens unit 21 and performs photoelectric conversion to convert the light into an electrical signal (analog signal). The imaging drive unit 28 generates a timing pulse for driving the imaging device 27 and causes the signal processing unit 29 to output an electrical signal photoelectrically converted by the imaging device 27.

信号処理部29は、アナログアンプやA/D変換器等によって構成される。信号処理部29は、撮像素子27から出力される電気信号に増幅(ゲイン調整)等の信号処理を施した後、A/D変換を行うことによってデジタルの正面画像データに変換して制御部9に出力する。   The signal processing unit 29 is configured by an analog amplifier, an A / D converter, or the like. The signal processing unit 29 performs signal processing such as amplification (gain adjustment) on the electrical signal output from the image sensor 27, and then converts the electrical signal into digital front image data by performing A / D conversion. Output to.

タイマー3は、計時機能および撮影日時の判定機能を有する。タイマー3は、撮像された画像データに日時データを付加させるため、制御部9に日時データを出力する。   The timer 3 has a timekeeping function and a shooting date / time determination function. The timer 3 outputs the date / time data to the control unit 9 in order to add the date / time data to the captured image data.

操作入力部4は、撮像装置1の電源状態をオン状態またはオフ状態に切換える電源スイッチ41と、撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチ42と、撮像装置1に設定された各種撮影モードを切換える撮影モード切換スイッチ43と、を有する。   The operation input unit 4 includes a power switch 41 that switches the power state of the imaging apparatus 1 to an on state or an off state, a release switch 42 that receives an input of a release signal that gives a shooting instruction, and various types of shooting set in the imaging apparatus 1. And a shooting mode switch 43 for switching modes.

背面撮像部5は、撮像部2と異なる視野領域を撮像して背面画像データ(以下、「副画像データ」という)を生成する。背面撮像部5は、撮像部2と同一の構成によって実現され、レンズ部21と、レンズ駆動部22と、絞り23と、絞り駆動部24、シャッタ25と、シャッタ駆動部26と、撮像素子27と、撮像駆動部28と、信号処理部29と、を有する。なお、本実施の形態1では、背面撮像部5が第2の撮像部として機能する。   The rear imaging unit 5 captures a visual field area different from that of the imaging unit 2 and generates rear image data (hereinafter referred to as “sub-image data”). The rear imaging unit 5 is realized by the same configuration as the imaging unit 2, and includes a lens unit 21, a lens driving unit 22, a diaphragm 23, a diaphragm driving unit 24, a shutter 25, a shutter driving unit 26, and an imaging element 27. And an imaging drive unit 28 and a signal processing unit 29. In the first embodiment, the rear imaging unit 5 functions as a second imaging unit.

表示部6は、撮像部2が生成する正面画像データに対応する正面画像および背面撮像部5が生成する副画像データに対応する副画像を表示する。表示部6は、撮像装置1の操作情報および撮影に関する情報を適宜表示する。   The display unit 6 displays a front image corresponding to the front image data generated by the imaging unit 2 and a sub image corresponding to the sub image data generated by the rear imaging unit 5. The display unit 6 appropriately displays operation information of the imaging device 1 and information related to shooting.

タッチパネル7は、表示部6の表示画面上に重ねて設けられる。タッチパネル7は、ユーザが表示部6に表示される情報に基づいて接触(タッチ)した位置を検出し、この接触位置に応じた指示信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態1では、いずれの方式のタッチパネルであっても適用可能である。なお、本実施の形態1では、タッチパネル7が入力部として機能する。   The touch panel 7 is provided so as to overlap the display screen of the display unit 6. The touch panel 7 detects a position touched by the user based on information displayed on the display unit 6 and receives an input of an instruction signal corresponding to the contact position. In general, the touch panel includes a resistance film method, a capacitance method, an optical method, and the like. In the first embodiment, any type of touch panel is applicable. In the first embodiment, the touch panel 7 functions as an input unit.

記憶部8は、撮像装置1の内部に固定的に設けられるフラッシュメモリおよびRAM(Random Access Memory)等の半導体メモリを用いて実現される。記憶部8は、制御部9が実行中のデータを記憶する。記憶部8は、撮像部2や背面撮像部5が撮像した画像データを記憶する画像データ記憶部81と、撮像装置1が実行する各種プログラムを記憶するプログラム記憶部82と、被写体の顔の検出を行う際に参照する顔画像情報およびユーザによって予め登録された被写体の顔の特徴を記憶する特徴情報を記憶する顔情報記憶部83と、を有する。なお、記憶部8は、外部から装着されるメモリカード等のコンピュータで読取可能な記憶媒体を含むものであってもよい。   The storage unit 8 is realized by using a flash memory and a semiconductor memory such as a RAM (Random Access Memory) that are fixedly provided inside the imaging apparatus 1. The storage unit 8 stores data being executed by the control unit 9. The storage unit 8 includes an image data storage unit 81 that stores image data captured by the imaging unit 2 and the rear imaging unit 5, a program storage unit 82 that stores various programs executed by the imaging device 1, and detection of a subject's face. And a face information storage unit 83 for storing feature information for storing face image information to be referred to when performing and a facial feature of a subject registered in advance by a user. The storage unit 8 may include a computer-readable storage medium such as a memory card mounted from the outside.

制御部9は、CPU(Central Processing Unit)等を用いて構成される。制御部9は、操作入力部4やタッチパネル7からの指示信号や切換信号等に応じて撮像装置1を構成する各部に対応する指示やデータの転送等を行って撮像装置1の動作を統括的に制御する。   The control unit 9 is configured using a CPU (Central Processing Unit) or the like. The control unit 9 comprehensively controls the operation of the imaging apparatus 1 by performing instructions and data transfer corresponding to each part of the imaging apparatus 1 in accordance with an instruction signal, a switching signal, or the like from the operation input unit 4 or the touch panel 7. To control.

制御部9の詳細な構成について説明する。制御部9は、画像処理部91と、顔検出部92と、トリミング部93と、画像合成部94と、表示制御部95と、画像関連付け部96と、を有する。   A detailed configuration of the control unit 9 will be described. The control unit 9 includes an image processing unit 91, a face detection unit 92, a trimming unit 93, an image composition unit 94, a display control unit 95, and an image association unit 96.

画像処理部91は、撮像部2および背面撮像部5それぞれから入力される正面画像データおよび副画像データに対して各種の画像処理を施す。具体的には、画像処理部91は、正面画像データおよび副画像データそれぞれに対して、エッジ強調処理、ホワイトバランス処理およびγ補正処理を含む画像処理を行う。画像処理部91は、JPEG(Joint Photographic Experts Group)方式等に基づいて、正面画像データおよび副画像データそれぞれの圧縮処理や伸長処理を行う。   The image processing unit 91 performs various types of image processing on the front image data and the sub image data input from the imaging unit 2 and the rear imaging unit 5 respectively. Specifically, the image processing unit 91 performs image processing including edge enhancement processing, white balance processing, and γ correction processing on the front image data and the sub image data. The image processing unit 91 performs compression processing and decompression processing of each of the front image data and the sub image data based on a JPEG (Joint Photographic Experts Group) method or the like.

顔検出部92は、正面画像および副画像それぞれに含まれる被写体の顔を検出する。具体的には、顔検出部92は、正面画像および背面側画像それぞれに含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部92は、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部92は、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。   The face detection unit 92 detects the face of the subject included in each of the front image and the sub-image. Specifically, the face detection unit 92 detects a human face included in each of the front image and the back image by pattern matching. Note that the face detection unit 92 may detect not only a human face but also a face such as a dog or a cat. Further, the face detection unit 92 may detect a human face using a known technique other than pattern matching.

トリミング部93は、顔検出部92が検出した被写体の顔を一部に含む顔領域を副画像から切出して顔画像を生成する。トリミング部93は、顔検出部92が副画像から被写体の顔を複数検出した場合、副画像から各顔領域をそれぞれ切出して顔画像を生成してもよい。   The trimming unit 93 cuts out a face area partially including the face of the subject detected by the face detection unit 92 from the sub-image to generate a face image. When the face detection unit 92 detects a plurality of faces of the subject from the sub image, the trimming unit 93 may generate a face image by cutting out each face area from the sub image.

画像合成部94は、トリミング部93が生成した顔画像を、正面画像の指定位置に合成した合成画像を生成する。   The image composition unit 94 generates a composite image in which the face image generated by the trimming unit 93 is combined with the designated position of the front image.

表示制御部95は、表示部6が正面画像を表示している場合において、タッチパネル7から表示部6が表示する画像の変更を指示する指示信号の入力を受け付けたとき、撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた状態で副画像の少なくとも一部を表示部6に表示させる。具体的には、表示制御部95は、表示部6の表示画面において、撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた方向から副画像の少なくとも一部を表示部6に表示させる。   In the case where the display unit 6 displays a front image, the display control unit 95 focuses on the imaging device 1 when receiving an instruction signal for instructing a change in the image displayed on the display unit 6 from the touch panel 7. At least a part of the sub-image is displayed on the display unit 6 in a state in which the positional relationship of the subject captured in the front image and the sub-image is reflected. Specifically, the display control unit 95 on the display screen of the display unit 6 displays the sub-image from the direction reflecting the positional relationship of the subject that is captured in the front image and the sub-image when viewed from the imaging device 1 as the center. Is displayed on the display unit 6.

画像関連付け部96は、正面画像データに、副画像データを関連付けた画像ファイルを生成し、この生成した画像ファイルを画像データ記憶部81に記憶する。具体的には、画像関連付け部96は、Extended MPファイルフォーマートに基づいて、正面画像データに副画像データを関連付けた画像ファイルを生成し、この生成した画像ファイルを画像データ記憶部81に記憶する。   The image association unit 96 generates an image file in which the sub image data is associated with the front image data, and stores the generated image file in the image data storage unit 81. Specifically, the image association unit 96 generates an image file in which the sub image data is associated with the front image data based on the Extended MP file format, and stores the generated image file in the image data storage unit 81. .

以上の構成を有する撮像装置1に、音声入出力機能、フラッシュ機能、着脱自在な電子ビューファインダ(EVF)およびインターネットを介してパーソナルコンピュータ等の外部処理装置(図示せず)と双方向に通信可能な通信部等を具備させてもよい。   The image pickup apparatus 1 having the above configuration can bidirectionally communicate with an external processing device (not shown) such as a personal computer via a voice input / output function, a flash function, a removable electronic viewfinder (EVF), and the Internet. A communication unit or the like may be provided.

つぎに、本実施の形態1にかかる撮像装置1が行う処理について説明する。図4は、撮像装置1が行う処理の概要を示すフローチャートである。   Next, processing performed by the imaging apparatus 1 according to the first embodiment will be described. FIG. 4 is a flowchart illustrating an outline of processing performed by the imaging apparatus 1.

図4において、撮像装置1が撮影モードに設定されている場合(ステップS101:Yes)について説明する。この場合、表示制御部95は、撮像部2が微小な時間間隔で連続的に生成する正面画像データに対応するライブビュー画像を表示部6に表示させる(ステップS102)。   In FIG. 4, the case where the imaging device 1 is set to the shooting mode (step S <b> 101: Yes) will be described. In this case, the display control unit 95 causes the display unit 6 to display a live view image corresponding to the front image data that the imaging unit 2 continuously generates at a minute time interval (step S102).

図5は、撮影者が撮像装置1を用いて撮影する際の状況を示す図である。図6は、図5に示す状況下で表示部6が時系列に沿って順次表示するライブビュー画像のうち代表的な一枚の画像W1を示す図である。図5および図6に示すように家族写真を撮影する場合において、撮影者K1(お父さん)は、たとえば図6のライブビュー画像W1を見ながら被写体K2(お母さん)および被写体K3(子供)を撮影するときの構図を決定する。   FIG. 5 is a diagram illustrating a situation when the photographer photographs using the imaging apparatus 1. FIG. 6 is a diagram showing one representative image W1 among the live view images that the display unit 6 sequentially displays in time series under the situation shown in FIG. When taking a family photo as shown in FIGS. 5 and 6, the photographer K1 (dad) photographs the subject K2 (mother) and the subject K3 (child) while viewing the live view image W1 in FIG. 6, for example. Determine the composition of the moment.

続いて、レリーズスイッチ42が操作されることにより、レリーズ信号が入力された場合(ステップS103:Yes)、撮像装置1は、制御部9の制御のもと、撮像部2が生成した正面画像データを取得する(ステップS104)。   Subsequently, when a release signal is input by operating the release switch 42 (step S <b> 103: Yes), the imaging device 1 controls the front image data generated by the imaging unit 2 under the control of the control unit 9. Is acquired (step S104).

その後、制御部9は、撮像装置1に背面撮像部5を起動させて副画像データを取得する副画像同時記憶モードが設定されているか否かを判断する(ステップS105)。撮像装置1に副画像同時記憶モードが設定されていると制御部9が判断した場合(ステップS105:Yes)、撮像装置1は、後述するステップS106へ移行する。一方、撮像装置1に副画像同時記憶モードが設定されていないと制御部9が判断した場合(ステップS105:No)、撮像装置1は、後述するステップS111へ移行する。   Thereafter, the control unit 9 determines whether or not the sub-image simultaneous storage mode for acquiring the sub-image data by activating the rear imaging unit 5 in the imaging device 1 is set (step S105). When the control unit 9 determines that the sub-image simultaneous storage mode is set in the imaging apparatus 1 (step S105: Yes), the imaging apparatus 1 proceeds to step S106 described later. On the other hand, when the control unit 9 determines that the sub-image simultaneous storage mode is not set in the imaging device 1 (step S105: No), the imaging device 1 proceeds to step S111 described later.

ステップS106において、撮像装置1は、制御部9の制御のもと、背面撮像部5が生成した副画像データを取得する。たとえば、図7に示すように、撮像装置1は、背面撮像部5が生成した副画像データに対応する副画像として撮影者K1が写る副画像W2を取得する。   In step S <b> 106, the imaging device 1 acquires the sub image data generated by the rear imaging unit 5 under the control of the control unit 9. For example, as illustrated in FIG. 7, the imaging device 1 acquires a sub-image W2 in which the photographer K1 is captured as a sub-image corresponding to the sub-image data generated by the rear imaging unit 5.

続いて、画像関連付け部96は、正面画像データに、副画像データを対応付けた画像ファイルを作成し、この作成した画像ファイルを画像データ記憶部81に記憶させる(ステップS107)。   Subsequently, the image association unit 96 creates an image file in which the sub-image data is associated with the front image data, and stores the created image file in the image data storage unit 81 (step S107).

その後、表示制御部95は、取得した正面画像データに対応する正面画像を所定時間(たとえば3秒)だけ表示部6にレックビュー表示させる(ステップS108)。なお、表示制御部95は、副画像データに対応する副画像を所定時間(たとえば3秒)だけ表示部6にレックビュー表示させてもよい。   Thereafter, the display control unit 95 causes the display unit 6 to display a front view corresponding to the acquired front image data on the display unit 6 for a predetermined time (for example, 3 seconds) (step S108). Note that the display control unit 95 may display the sub image corresponding to the sub image data on the display unit 6 for a predetermined time (for example, 3 seconds).

続いて、制御部9は、電源スイッチ41が操作されることにより、撮像装置1の電源がオフ状態であるか否かを判断する(ステップS109)。撮像装置1の電源がオフ状態であると制御部9が判断した場合(ステップS109:Yes)、撮像装置1は、本処理を終了する。一方、撮像装置1の電源がオフ状態でないと制御部9が判断した場合(ステップS109:No)、撮像装置1は、ステップS110へ移行する。   Subsequently, the control unit 9 determines whether or not the power supply of the imaging apparatus 1 is in an off state by operating the power switch 41 (step S109). When the control unit 9 determines that the power of the imaging device 1 is off (step S109: Yes), the imaging device 1 ends this process. On the other hand, when the control unit 9 determines that the power supply of the imaging apparatus 1 is not in the off state (step S109: No), the imaging apparatus 1 proceeds to step S110.

ステップS110において、制御部9は、撮影モード切換スイッチ43からモード切換信号が入力された場合、モード切換信号に応じて撮影・再生モードの切換操作を受け付ける一方、撮影モード切換スイッチ43を介してモード切換信号が入力されていない場合、現在のモードを維持する。ステップS110の後、撮像装置1は、ステップS101へ戻る。   In step S110, when a mode switching signal is input from the shooting mode switching switch 43, the control unit 9 accepts a shooting / playback mode switching operation in accordance with the mode switching signal, while the mode is switched via the shooting mode switching switch 43. When no switching signal is input, the current mode is maintained. After step S110, the imaging apparatus 1 returns to step S101.

ステップS103において、所定時間(たとえば2秒)内にレリーズスイッチ42を介してレリーズ信号が入力されていない場合(ステップS103:No)、撮像装置1は、ステップS109へ移行する。   In step S103, when a release signal is not input via the release switch 42 within a predetermined time (for example, 2 seconds) (step S103: No), the imaging apparatus 1 proceeds to step S109.

ステップS105において、撮像装置1に副画像同時記憶モードが設定されていないと制御部9が判断した場合(ステップS105:No)について説明する。この場合、制御部9は、撮像部2から取得した正面画像データを画像データ記憶部81に記憶させる(ステップS111)。その後、撮像装置1は、ステップS108へ移行する。   A case where the control unit 9 determines that the sub-image simultaneous storage mode is not set in the imaging apparatus 1 in step S105 (step S105: No) will be described. In this case, the control unit 9 stores the front image data acquired from the imaging unit 2 in the image data storage unit 81 (step S111). Thereafter, the imaging apparatus 1 proceeds to step S108.

つぎに、撮像装置1が撮影モードに設定されておらず(ステップS101:No)、再生モードに設定されている場合(ステップS112:Yes)について説明する。この場合、表示制御部95は、画像データ記憶部81が記憶する各画像ファイルの画像データに対応する画像を縮小した縮小画像(サムネイル画像)の一覧を表示部6に表示させる(ステップS113)。   Next, the case where the imaging apparatus 1 is not set to the shooting mode (step S101: No) and is set to the reproduction mode (step S112: Yes) will be described. In this case, the display control unit 95 causes the display unit 6 to display a list of reduced images (thumbnail images) obtained by reducing the images corresponding to the image data of each image file stored in the image data storage unit 81 (step S113).

続いて、操作入力部4またはタッチパネル7を介して拡大して表示する画像ファイルの縮小画像が選択された場合(ステップS114:Yes)、制御部9は、選択された画像ファイル内に正面画像データと副画像データとが記憶されているか否かを判断する(ステップS115)。選択された画像ファイル内に正面画像データと副画像データとが記憶されていると制御部9が判断した場合(ステップS115:Yes)、撮像装置1は、後述するステップS116へ移行する。一方、選択された画像ファイル内に正面画像データと副画像データとが記憶されていないと制御部9が判断した場合(ステップS115:No)、撮像装置1は、後述するステップS125へ移行する。   Subsequently, when a reduced image of the image file to be enlarged and displayed is selected via the operation input unit 4 or the touch panel 7 (step S114: Yes), the control unit 9 includes the front image data in the selected image file. And sub-image data are stored (step S115). When the control unit 9 determines that the front image data and the sub image data are stored in the selected image file (step S115: Yes), the imaging device 1 proceeds to step S116 described later. On the other hand, when the control unit 9 determines that the front image data and the sub image data are not stored in the selected image file (step S115: No), the imaging device 1 proceeds to step S125 described later.

ステップS116において、トリミング部93は、顔検出部92が副画像から検出した被写体の顔を一部に含む顔領域を副画像から切出して顔画像を生成する。具体的には、図7に示すように、トリミング部93は、顔検出部92が副画像W2から検出した被写体K1の顔を一部に含む顔領域を副画像W2から切出して顔画像を生成する。   In step S <b> 116, the trimming unit 93 generates a face image by cutting out from the sub-image a face area that partially includes the face of the subject detected by the face detection unit 92 from the sub-image. Specifically, as illustrated in FIG. 7, the trimming unit 93 generates a face image by cutting out from the sub-image W2 a face area that partially includes the face of the subject K1 detected by the face detection unit 92 from the sub-image W2. To do.

続いて、画像合成部94は、トリミング部93が生成した被写体K1の顔画像を、撮影時において撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた正面画像の表示領域に合成して合成画像を生成する(ステップS117)。   Subsequently, the image composition unit 94 reflects the positional relationship between the subject imaged in the front image and the sub-image when the face image of the subject K1 generated by the trimming unit 93 is viewed centering on the imaging device 1 at the time of photographing. A synthesized image is generated by synthesizing with the display area of the front image that has been made (step S117).

図8は、画像合成部94が顔画像を正面画像に合成する際に参照する撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を模式的に説明する図である。図9は、図8の矢視A方向の平面図である。なお、図8において、点線で表す領域W1が撮像部2の撮影領域を示し、点線で表す領域W2が背面撮像部5の撮影領域を示す。   FIG. 8 schematically illustrates the positional relationship between the subject imaged in the front image and the sub-image when viewed from the imaging device 1 that is referred to when the image composition unit 94 composes the face image with the front image. FIG. 9 is a plan view in the direction of arrow A in FIG. In FIG. 8, a region W <b> 1 indicated by a dotted line indicates a shooting region of the imaging unit 2, and a region W <b> 2 indicated by a dotted line indicates a shooting region of the rear imaging unit 5.

図8および図9に示すように、画像合成部94は、顔画像を正面画像W1に合成する際に、撮影時において撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた正面画像の表示領域に顔画像を合成する。たとえば、画像合成部94は、図7に示す状況のように被写体K1の顔が副画像W2の左側に写っている場合において、撮像装置1を中心にして撮像部2を仮想的に回転(矢印(a))させたとき、被写体K1が正面画像W1内において仮想的に写る正面画像W1の表示領域に顔画像A1を合成する(図8および図9を参照)。具体的には、図10に示すように、画像合成部94は、正面画像W1における右端部の近傍に顔画像A1を合成して合成画像W3を生成する。   As shown in FIG. 8 and FIG. 9, when compositing the face image with the front image W1, the image composition unit 94 appears in the front image and the sub-image when viewed mainly with the imaging device 1 at the time of photographing. The face image is combined with the display area of the front image reflecting the positional relationship of the subject. For example, when the face of the subject K1 is shown on the left side of the sub-image W2 as in the situation shown in FIG. 7, the image composition unit 94 virtually rotates the imaging unit 2 around the imaging device 1 (arrows). (A)), the face image A1 is combined with the display area of the front image W1 in which the subject K1 is virtually shown in the front image W1 (see FIGS. 8 and 9). Specifically, as illustrated in FIG. 10, the image composition unit 94 generates a composite image W3 by compositing the face image A1 in the vicinity of the right end portion of the front image W1.

ステップS117の後、表示制御部95は、画像合成部94が合成した合成画像W3を表示部6に表示させる(ステップS118)。   After step S117, the display control unit 95 causes the display unit 6 to display the combined image W3 combined by the image combining unit 94 (step S118).

続いて、制御部9は、表示部6が表示する合成画像W3内における顔画像A1に対してスライド操作が行われたか否かを判断する(ステップS119)。顔画像A1に対してスライド操作が行われたと制御部9が判断した場合(ステップS119:Yes)、表示制御部95は、ユーザによるスライド操作の軌跡に応じて、撮影時において撮像装置1を中心にして見たときの正面画像W1と副画像W2に写る被写体の位置関係を反映させた状態で合成画像W3から副画像W2に切換えて表示部6に表示させる(ステップS120)。   Subsequently, the control unit 9 determines whether or not a slide operation has been performed on the face image A1 in the composite image W3 displayed by the display unit 6 (step S119). When the control unit 9 determines that the slide operation has been performed on the face image A1 (step S119: Yes), the display control unit 95 focuses on the imaging device 1 at the time of shooting according to the locus of the slide operation by the user. In this state, the composite image W3 is switched to the sub-image W2 and displayed on the display unit 6 in a state reflecting the positional relationship of the subject shown in the front image W1 and the sub-image W2 (step S120).

図11は、表示制御部95が合成画像W4から副画像W2への切換えを模式的に説明する図である。図11に示すように、表示制御部95は、顔画像A1に対するスライド操作の軌跡に応じて、副画像W2の表示領域を左端部から徐々に増やしながら副画像W2の少なくとも一部を表示させながら、合成画像W3の表示領域を左端部から徐々に減少させながら表示させる(図11(a)→図11(b))。これにより、表示制御部95は、撮影時において撮像装置1を中心にした見たときの正面画像および副画像に写る被写体の位置関係を反映させた方向から滑らかに画面遷移を行うことができる。   FIG. 11 is a diagram for schematically explaining switching from the composite image W4 to the sub-image W2 by the display control unit 95. As shown in FIG. 11, the display control unit 95 displays at least a part of the sub-image W2 while gradually increasing the display area of the sub-image W2 from the left end according to the locus of the slide operation on the face image A1. Then, the display area of the composite image W3 is displayed while gradually decreasing from the left end (FIG. 11 (a) → FIG. 11 (b)). Thereby, the display control unit 95 can smoothly perform screen transition from the direction reflecting the positional relationship of the subject that appears in the front image and the sub-image when viewed with the imaging device 1 as the center at the time of shooting.

ステップS120の後、制御部9は、ユーザが顔画像A1から指を離したか否かを判断する(ステップS121)。ユーザが顔画像A1から指を離したと制御部9が判断した場合(ステップS121:Yes)、表示制御部95は、撮像装置1を中心にして見たときの正面画像および副画像に写る被写体の位置関係を反映させた状態で副画像W2から合成画像W3に切換える(ステップS122)。具体的には、表示制御部95は、表示部6の表示画面における右端部から瞬時に移動したように副画像W2の表示領域を減少させながら表示させる。その後、撮像装置1は、ステップS123へ移行する。一方、ユーザが顔画像A1に対してタッチを維持しながら表示画面上を移動させていると制御部9が判断した場合(ステップS121:No)、撮像装置1は、この判断を続ける。   After step S120, the control unit 9 determines whether or not the user has lifted his / her finger from the face image A1 (step S121). When the control unit 9 determines that the user has lifted his / her finger from the face image A1 (step S121: Yes), the display control unit 95 displays the subject that appears in the front image and the sub-image when viewed with the imaging device 1 as the center. The sub image W2 is switched to the composite image W3 in a state where the positional relationship is reflected (step S122). Specifically, the display control unit 95 displays the display area of the sub-image W2 while reducing the display area so as to move instantaneously from the right end of the display screen of the display unit 6. Thereafter, the imaging apparatus 1 proceeds to step S123. On the other hand, when the control unit 9 determines that the user moves on the display screen while maintaining the touch on the face image A1 (step S121: No), the imaging device 1 continues this determination.

ステップS123において、制御部9は、画像の切換操作が行われたか否かを判断する。具体的には、制御部9は、操作入力部4から他の画像を切換える切換信号が入力されたか否かを判断する。画像の切換操作が行われたと制御部9が判断した場合(ステップS123:Yes)、撮像装置1は、ステップS124へ移行する。一方、操作入力部4を介して画像の切換操作が行われていないと制御部9が判断した場合(ステップS123:No)、撮像装置1は、ステップS119へ戻る。   In step S123, the control unit 9 determines whether an image switching operation has been performed. Specifically, the control unit 9 determines whether or not a switching signal for switching another image is input from the operation input unit 4. When the control unit 9 determines that an image switching operation has been performed (step S123: Yes), the imaging device 1 proceeds to step S124. On the other hand, when the control unit 9 determines that an image switching operation is not performed via the operation input unit 4 (step S123: No), the imaging device 1 returns to step S119.

ステップS124において、制御部9は、撮像装置1が再生モードに設定されているか否かを判断する。撮像装置1が再生モードに設定されていると制御部9が判断した場合(ステップS124:Yes)、撮像装置1は、ステップS113へ戻る。一方、撮像装置1が再生モードに設定されていないと制御部9が判断した場合(ステップS124:No)、撮像装置1は、ステップS109へ移行する。   In step S124, the control unit 9 determines whether or not the imaging device 1 is set to the reproduction mode. When the control unit 9 determines that the imaging device 1 is set to the reproduction mode (step S124: Yes), the imaging device 1 returns to step S113. On the other hand, when the control unit 9 determines that the imaging device 1 is not set to the reproduction mode (step S124: No), the imaging device 1 proceeds to step S109.

ステップS119において、顔画像A1に対してスライド操作が行われていないと制御部9が判断した場合(ステップS119:No)、撮像装置1は、ステップS123へ移行する。   In step S119, when the control unit 9 determines that the slide operation is not performed on the face image A1 (step S119: No), the imaging device 1 proceeds to step S123.

ステップS115において、選択された画像ファイル内に副画像データが記憶されていないと制御部9が判断した場合(ステップS115:No)、表示制御部95は、正面画像データに対応する正面画像を全画面に拡大して表示部6に表示させる(ステップS125)。その後、撮像装置1は、ステップS124へ移行する。   In step S115, when the control unit 9 determines that the sub image data is not stored in the selected image file (step S115: No), the display control unit 95 displays all the front images corresponding to the front image data. The image is enlarged and displayed on the display unit 6 (step S125). Thereafter, the imaging apparatus 1 proceeds to step S124.

ステップS114において、画像ファイルが選択されない場合(ステップS114:No)について説明する。この場合、制御部9は、所定時間(たとえば5秒)経過したか否かを判断する(ステップS126)。所定時間経過したと制御部9が判断した場合(ステップS126:Yes)、撮像装置1は、ステップS109へ移行する。一方、所定時間経過していないと制御部9が判断した場合(ステップS126:No)、撮像装置1は、ステップS114へ戻る。   A case where no image file is selected in step S114 (step S114: No) will be described. In this case, the control unit 9 determines whether or not a predetermined time (for example, 5 seconds) has elapsed (step S126). When the control unit 9 determines that the predetermined time has elapsed (step S126: Yes), the imaging device 1 proceeds to step S109. On the other hand, when the control unit 9 determines that the predetermined time has not elapsed (step S126: No), the imaging device 1 returns to step S114.

以上説明した本発明の実施の形態1によれば、表示制御部95が、表示部6によって正面画像が表示されている場合において、タッチパネル7から副画像の切換えを指示する指示信号の入力を受け付けたとき、撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた状態で副画像の少なくとも一部を表示部6に表示させる。これにより、撮影者の意図した構図を維持しつつ、撮影者自身の画像も付加することもでき、家族写真のように撮影時における思い出を共用することができる再生を行うことができる。   According to the first embodiment of the present invention described above, the display control unit 95 accepts an input of an instruction signal instructing switching of the sub image from the touch panel 7 when the front image is displayed on the display unit 6. At this time, at least a part of the sub-image is displayed on the display unit 6 in a state in which the positional relationship between the subjects captured in the front image and the sub-image when viewed from the imaging device 1 is reflected. Thus, while maintaining the composition intended by the photographer, the photographer's own image can also be added, and reproduction that can share memories at the time of photographing like a family photograph can be performed.

さらに、本発明の実施の形態1によれば、ユーザが正面画像を鑑賞している場合において、他方の副画像を見たくなったときに、顔画像A1に対してスライド操作を行うことで、すぐに副画像を確認することができる。   Furthermore, according to Embodiment 1 of the present invention, when the user is viewing the front image, when the user wants to see the other sub-image, by performing a slide operation on the face image A1, The sub-image can be confirmed immediately.

また、本発明の実施の形態1によれば、表示制御部95が、表示部6によって表示されている正面画像に副画像が関連付けられていることを示す情報を重畳して表示する。これにより、撮影者は、実際に撮影した正面画像を確認することができるとともに、副画像を表示可能であることを直感的に把握することができる。   Moreover, according to Embodiment 1 of this invention, the display control part 95 superimposes and displays the information which shows that the sub image is linked | related with the front image currently displayed by the display part 6. FIG. As a result, the photographer can confirm the actually captured front image and intuitively understand that the sub-image can be displayed.

なお、上述した実施の形態1では、ユーザが顔画像A1に対してスライド操作の軌跡に応じて、表示制御部95が副画像W2を徐々に表示部6に表示させていたが、たとえばユーザが顔画像A1の領域内をタッチした場合、表示制御部95は、表示部6が表示している合成画像W3に変えて、撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた方向から副画像W2を瞬時(たとえば0.5〜1秒以内)に表示させてもよい。   In the first embodiment described above, the display control unit 95 gradually displays the sub image W2 on the display unit 6 according to the locus of the slide operation on the face image A1 by the user. When the inside of the area of the face image A1 is touched, the display control unit 95 changes to the composite image W3 displayed on the display unit 6 as a front image and a sub image when viewed with the imaging device 1 as the center. The sub image W2 may be displayed instantaneously (for example, within 0.5 to 1 second) from the direction reflecting the positional relationship of the captured subject.

また、上述した実施の形態1では、ユーザが顔画像A1に対してスライド操作の軌跡に応じて、表示制御部95が副画像W2を徐々に表示部6に表示させていたが、単に顔画像A1のみを移動させてもよい。この場合、ユーザが顔画像A1から指を離した場合、表示制御部95は、顔画像A1を画像合成部94が正面画像W1に合成した合成位置に戻るように表示部6に表示させてもよい。   In the first embodiment described above, the display control unit 95 gradually displays the sub image W2 on the display unit 6 according to the locus of the slide operation on the face image A1 by the user. Only A1 may be moved. In this case, when the user lifts his / her finger from the face image A1, the display control unit 95 may cause the display unit 6 to display the face image A1 so as to return to the combination position where the image combination unit 94 combined the front image W1. Good.

(実施の形態1の変形例1)
上述した実施の形態1において、表示部6によって表示されている正面画像に副画像を対応付けて記憶されていることを示す情報を顔画像に変えて他の画像に変更することも可能である。
(Modification 1 of Embodiment 1)
In the first embodiment described above, it is possible to change the information indicating that the sub-image is stored in association with the front image displayed by the display unit 6 to a face image and change to another image. .

図12は、本発明の実施の形態1の変形例1にかかる撮像装置1の表示部6が表示する合成画像の一例を示す図である。   FIG. 12 is a diagram illustrating an example of a composite image displayed by the display unit 6 of the imaging apparatus 1 according to the first modification of the first embodiment of the present invention.

図12に示すように、表示制御部95は、表示部6によって表示されている合成画像W10に副画像W11を対応付けて記憶されていることを示す情報として折れ部R1を表示させる。表示制御部95は、ユーザが折れ部R1にタッチしながら表示画面の左方向に向けてスライド操作させた場合、タッチパネル7から入力される指示信号に応じて、折れ部R1が左方向に向けてめくられるように折れ部R1の表示面積を拡大しながら、副画像W11を表示部6に表示させる。具体的には、図13に示すように、ユーザが折れ部R1にタッチしながら表示画面の左方向(矢印(a))に向けてスライド操作した場合、表示制御部95は、タッチパネル7から入力される指示信号に応じて、折れ部R1が左方向に向けてめくられるように折れ部R1の表示面積を拡大する。この際、表示制御部95は、表示部6が表示している主画像W10に対応付けて記憶された副画像W11の表示面積を拡大して表示させる。これにより、ユーザは、ページをめくるように折れ部R1を移動させることで、副画像W11を確認することができる。   As illustrated in FIG. 12, the display control unit 95 displays the folded portion R <b> 1 as information indicating that the composite image W <b> 10 displayed by the display unit 6 is stored in association with the sub-image W <b> 11. When the user performs a sliding operation toward the left direction of the display screen while touching the folding portion R1, the display control unit 95 causes the folding portion R1 to turn to the left according to an instruction signal input from the touch panel 7. The sub image W11 is displayed on the display unit 6 while the display area of the folded portion R1 is enlarged so as to be turned. Specifically, as illustrated in FIG. 13, when the user performs a sliding operation toward the left direction (arrow (a)) of the display screen while touching the folding portion R <b> 1, the display control unit 95 inputs from the touch panel 7. In response to the instruction signal, the display area of the fold portion R1 is enlarged so that the fold portion R1 is turned leftward. At this time, the display control unit 95 enlarges and displays the display area of the sub-image W11 stored in association with the main image W10 displayed on the display unit 6. Thereby, the user can confirm the sub image W11 by moving the folding part R1 so as to turn the page.

(実施の形態1の変形例2)
上述した実施の形態1において、撮像装置1における背面撮像部5の位置を変更することも可能である。
(Modification 2 of Embodiment 1)
In the first embodiment described above, the position of the rear imaging unit 5 in the imaging device 1 can be changed.

図14は、本発明の実施の形態1の変形例2にかかる撮像装置100の被写体に面する側の構成を示す図である。本発明の実施の形態1の変形例2にかかる撮像装置100は、上述した実施の形態1と同様の構成を有する。なお、図面の記載において、同一の部分には同一の符号を付している。   FIG. 14 is a diagram illustrating a configuration on the side facing the subject of the imaging apparatus 100 according to the second modification of the first embodiment of the present invention. The imaging apparatus 100 according to the second modification of the first embodiment of the present invention has the same configuration as that of the first embodiment described above. In the description of the drawings, the same portions are denoted by the same reference numerals.

図14に示すように、撮像装置100は、背面撮像部5を側面に設けている。具体的には、背面撮像部5は、撮像部2の光軸L1と直交する撮像装置100の側面に設けられる。このように構成された撮像装置100を用いて撮影する際の撮影状況について説明する。   As illustrated in FIG. 14, the imaging apparatus 100 includes the rear imaging unit 5 on the side surface. Specifically, the rear imaging unit 5 is provided on the side surface of the imaging device 100 that is orthogonal to the optical axis L <b> 1 of the imaging unit 2. A shooting situation when shooting using the imaging apparatus 100 configured as described above will be described.

図15は、撮像装置100を用いて撮影する場合において、撮像装置100を中心に見たときの正面画像と副画像との位置関係を模式的に説明する図である。なお、図15において、点線で示す領域W20が撮像部2の撮影領域を示し、点線で示す領域W21が背面撮像部5の撮影領域を示す。   FIG. 15 is a diagram schematically illustrating the positional relationship between the front image and the sub-image when the image capturing apparatus 100 is viewed centering on the image capturing apparatus 100. In FIG. 15, a region W <b> 20 indicated by a dotted line indicates a shooting region of the imaging unit 2, and a region W <b> 21 indicated by a dotted line indicates a shooting region of the rear imaging unit 5.

図15に示すように、撮影者K1が撮像装置100で被写体K3を撮影するような場合において、被写体K3を横で見ていた被写体K2を背面撮像部5で撮影することも可能である。このような状況下で撮像装置100が撮像した正面画像データおよび副画像データを用いて、表示制御部95が表示部6に表示させる画像について説明する。   As shown in FIG. 15, when the photographer K1 photographs the subject K3 with the imaging device 100, it is also possible to photograph the subject K2 viewed from the side with the rear imaging unit 5. An image that the display control unit 95 displays on the display unit 6 using the front image data and sub-image data captured by the imaging device 100 under such a situation will be described.

図15に示すように、表示制御部95は、撮像時において撮像装置100を中心に見たとき、正面に被写体K3がおり、左側に被写体K2がいるので、表示部6が表示する主画像の左側に折れ部R2を表示させる。具体的には、図16に示すように、表示制御部95は、撮影時において撮像装置100を中心にして見たときの主画像W20および副画像W21に写る被写体の位置関係を反映させた方向に折れ部R2を主画像W20上に表示させる。   As shown in FIG. 15, the display control unit 95 has the subject K3 on the front and the subject K2 on the left side when the imaging device 100 is viewed at the time of imaging, so that the main image displayed on the display unit 6 is displayed. The folded part R2 is displayed on the left side. Specifically, as shown in FIG. 16, the display control unit 95 reflects the positional relationship of the subject captured in the main image W20 and the sub-image W21 when the image capturing apparatus 100 is viewed at the time of shooting. The folded portion R2 is displayed on the main image W20.

さらに、図17に示すように、表示制御部95は、折れ部R2に対するスライド操作(矢印(a))に応じて、正面画像W20の縦横比率を変化させながら正面画像W20を表示させるとともに、正面画像W20の縦横比率の変換によって生じる画面内の空き領域に副画像W21を表示部6に表示させる。ここで、縦横比率とは、正面画像W40の縦に対する横の比率である。これにより、ユーザに対して、撮影時における正面画像W20および副画像W21にそれぞれ写る被写体の位置関係を直感的に把握させることができるとともに、正面画像W20および副画像W21を同時に確認させることができる。   Further, as shown in FIG. 17, the display control unit 95 displays the front image W20 while changing the aspect ratio of the front image W20 in accordance with the slide operation (arrow (a)) with respect to the folding portion R2, and also displays the front image W20. The sub image W21 is displayed on the display unit 6 in an empty area in the screen generated by the conversion of the aspect ratio of the image W20. Here, the aspect ratio is a ratio of the aspect ratio of the front image W40 to the aspect ratio. As a result, the user can intuitively grasp the positional relationship between the subjects captured in the front image W20 and the sub image W21 at the time of shooting, and can simultaneously confirm the front image W20 and the sub image W21. .

(実施の形態2)
つぎに、本発明の実施の形態2について説明する。本発明の実施の形態2にかかる撮像装置は、上述した背面撮像部に変えて全方位撮像部を備える。さらに、本発明の実施の形態2にかかる撮像装置は、制御部の構成が上述した撮像装置と異なる。このため、以下においては、上述した実施の形態1と異なる構成を説明後、本発明の実施の形態にかかる撮像装置による動作について説明する。なお、図面の記載において、同一の部分には同一の符号を付している。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. The imaging apparatus according to the second embodiment of the present invention includes an omnidirectional imaging unit instead of the above-described rear imaging unit. Furthermore, the imaging apparatus according to the second embodiment of the present invention is different from the imaging apparatus described above in the configuration of the control unit. For this reason, in the following, after describing a configuration different from that of the first embodiment described above, the operation of the imaging apparatus according to the embodiment of the present invention will be described. In the description of the drawings, the same portions are denoted by the same reference numerals.

図18は、本発明の実施の形態2にかかる撮像装置200の被写体に面する側(前面側)の構成を示す図である。図19は、本発明の実施の形態2にかかる撮像装置200の撮影者に面する側(背面側)の構成を示す図である。図20は、本発明の実施の形態2にかかる撮像装置の構成を示すブロック図である。   FIG. 18 is a diagram illustrating a configuration on the side facing the subject (front side) of the imaging apparatus 200 according to the second embodiment of the present invention. FIG. 19 is a diagram illustrating a configuration on the side facing the photographer (back side) of the imaging apparatus 200 according to the second embodiment of the present invention. FIG. 20 is a block diagram illustrating a configuration of the imaging apparatus according to the second embodiment of the present invention.

図18〜図20に示すように、撮像装置200は、撮像部2と、タイマー3と、操作入力部4と、表示部6と、タッチパネル7と、記憶部8と、全方位撮像部300と、通信部400と、制御部500と、を備える。   As illustrated in FIGS. 18 to 20, the imaging device 200 includes an imaging unit 2, a timer 3, an operation input unit 4, a display unit 6, a touch panel 7, a storage unit 8, and an omnidirectional imaging unit 300. The communication unit 400 and the control unit 500 are provided.

全方位撮像部300は、撮像部2の光軸L1と直交する光軸L3の周りの全周にわたる視野領域を撮像して第2の画像データとしての全方位画像データを生成する。全方位撮影部300は、撮像部2と同様に、光学系と、絞りと、シャッタと、撮像素子と、信号処理部と、を有する。図21は、全方位撮像部300の光学系310の構成を説明する模式図である。   The omnidirectional imaging unit 300 captures a field of view around the entire circumference of the optical axis L3 orthogonal to the optical axis L1 of the imaging unit 2, and generates omnidirectional image data as second image data. Similar to the imaging unit 2, the omnidirectional imaging unit 300 includes an optical system, a diaphragm, a shutter, an imaging device, and a signal processing unit. FIG. 21 is a schematic diagram illustrating the configuration of the optical system 310 of the omnidirectional imaging unit 300.

図21に示す光学系310は、光軸L3を中心軸として回転対称な形状をなしており、光軸L3の周りの全方位(水平画角360度)を視野領域として光を集光する軸対称自由曲面レンズ311と、軸対称自由曲面レンズ311に凹面を向けた正メニスカスレンズ312と、両凸正レンズ313および軸対称自由曲面レンズ311に凹面を向けた負メニスカスレンズ314からなる接合レンズ315と、両凸正レンズ316および両凹負レンズ317からなる接合レンズ318と、を有する。   The optical system 310 shown in FIG. 21 has a rotationally symmetric shape with the optical axis L3 as the central axis, and collects light with the omnidirectional (horizontal field angle 360 degrees) around the optical axis L3 as the visual field region. A cemented lens 315 including a symmetric free-form surface lens 311, a positive meniscus lens 312 having a concave surface facing the axially symmetric free-form surface lens 311, and a negative meniscus lens 314 having a concave surface facing the biconvex positive lens 313 and the axisymmetric free-form surface lens 311. And a cemented lens 318 composed of a biconvex positive lens 316 and a biconcave negative lens 317.

軸対称自由曲面レンズ311は、屈折率が1より大きい樹脂等の透明媒体によって形成され、遠方からの光束が入射する第1透過面311aと、第1透過面311aから入射した光束が入射して反射する第1反射面311bと、第1反射面311bで反射された光束が入射する第2反射面311cと、第2反射面311cで反射された光束が入射する第2透過面311dと、を有する。   The axially symmetric free-form surface lens 311 is formed of a transparent medium such as a resin having a refractive index larger than 1, and a first transmission surface 311a on which a light beam from a distance is incident and a light beam incident from the first transmission surface 311a are incident. A first reflecting surface 311b that reflects, a second reflecting surface 311c on which the light beam reflected by the first reflecting surface 311b enters, and a second transmitting surface 311d on which the light beam reflected by the second reflecting surface 311c enters. Have.

以上の構成を有する全方位撮像部300は、光軸L3の周りの全周にわたる視野領域から光を集光し、この集光した光を撮像素子(図示せず)が光電変換した後、所定の信号処理を施してA/D変換することにより、円環状をなす全方位画像データを生成する。全方位撮像部300は、通信部400を介して制御部500に全方位画像データを出力する。なお、全方位撮像部300の詳細な構成は、たとえば特開2006−243689号公報に開示されている。また、全方位撮像部300は、通信部400を介して撮像装置200と接続される。さらに、本実施の形態2では、全方位撮像部300が第2の撮像部として機能する。   The omnidirectional imaging unit 300 having the above configuration condenses light from the visual field region around the entire circumference around the optical axis L3, and after the collected light is photoelectrically converted by an imaging device (not shown), a predetermined value is obtained. The omnidirectional image data having an annular shape is generated by performing A / D conversion by performing the above signal processing. The omnidirectional imaging unit 300 outputs omnidirectional image data to the control unit 500 via the communication unit 400. The detailed configuration of the omnidirectional imaging unit 300 is disclosed in, for example, Japanese Patent Application Laid-Open No. 2006-243690. The omnidirectional imaging unit 300 is connected to the imaging apparatus 200 via the communication unit 400. Furthermore, in the second embodiment, the omnidirectional imaging unit 300 functions as a second imaging unit.

通信部400は、撮像装置200に装着される全方位撮像部300との通信を行うための通信インターフェースである。   The communication unit 400 is a communication interface for performing communication with the omnidirectional imaging unit 300 attached to the imaging device 200.

制御部500は、画像処理部91と、顔検出部92と、トリミング部93と、画像合成部94と、表示制御部95と、画像関連付け部96と、画像変換部501と、を有する。   The control unit 500 includes an image processing unit 91, a face detection unit 92, a trimming unit 93, an image composition unit 94, a display control unit 95, an image association unit 96, and an image conversion unit 501.

画像変換部501は、全方位撮像部300が生成した全方位画像データに対応する全方位画像を帯状に変換した変換画像を生成する。具体的には、画像変換部501は、円環状の全方位画像を帯状に変換した変換画像を生成する。   The image conversion unit 501 generates a converted image obtained by converting the omnidirectional image corresponding to the omnidirectional image data generated by the omnidirectional imaging unit 300 into a belt shape. Specifically, the image conversion unit 501 generates a converted image obtained by converting an annular omnidirectional image into a belt shape.

以上の構成を有する撮像装置が行う処理について説明する。図22は、撮像装置200が行う処理の概要を示すフローチャートである。   Processing performed by the imaging apparatus having the above configuration will be described. FIG. 22 is a flowchart illustrating an outline of processing performed by the imaging apparatus 200.

図22において、撮像装置200が撮影モードに設定されている場合(ステップS201:Yes)について説明する。この場合、制御部500は、撮像装置200が正面画像に副画像として全方位画像を対応付けて記憶する副画像同時記憶モードに設定されているか否かを判断する(ステップS202)。撮像装置200が副画像同時記憶モードに設定されていると制御部500が判断した場合(ステップS202:Yes)、撮像装置200は、後述するステップS203へ移行する。一方、撮像装置200が副画像同時記憶モードに設定されていないと制御部500が判断した場合(ステップS202:No)、撮像装置200は、後述するステップS215へ移行する。   In FIG. 22, the case where the imaging device 200 is set to the shooting mode (step S201: Yes) will be described. In this case, the control unit 500 determines whether or not the imaging apparatus 200 is set to a sub-image simultaneous storage mode in which an omnidirectional image is stored in association with a front image as a sub-image (step S202). When the control unit 500 determines that the imaging apparatus 200 is set to the sub-image simultaneous storage mode (step S202: Yes), the imaging apparatus 200 proceeds to step S203 described later. On the other hand, when the control unit 500 determines that the imaging device 200 is not set to the sub-image simultaneous storage mode (step S202: No), the imaging device 200 proceeds to step S215 described later.

ステップS203において、撮像装置200は、制御部500の制御のもと、撮像部2が生成する正面画像データと全方位撮像部300が生成した全方位画像データとを取得する。たとえば、図23に示すように、撮像装置200は、全方位撮像部300が生成した全方位画像データに対応する全方位画像W21を取得する。全方位画像W21は、円環状をなす撮影領域に被写体K1〜K3が写っている。   In step S <b> 203, the imaging apparatus 200 acquires the front image data generated by the imaging unit 2 and the omnidirectional image data generated by the omnidirectional imaging unit 300 under the control of the control unit 500. For example, as illustrated in FIG. 23, the imaging apparatus 200 acquires an omnidirectional image W21 corresponding to the omnidirectional image data generated by the omnidirectional imaging unit 300. In the omnidirectional image W21, subjects K1 to K3 are shown in an annular shooting region.

続いて、画像変換部501は、全方位画像W21の形状を円環状から帯状に変換して変換画像を生成する(ステップS204)。具体的には、図23に示すように、画像変換部501は、全方位画像W21の所定位置、たとえば切出し線Cから切断して帯状をなす画像に変換することによって変換画像を生成する。なお、画像変換部501が全方位画像W21から切断する位置は、適宜設定することが可能である。さらに、画像変換部501は、顔検出部92の検出結果、たとえば被写体K3を正面画像W30および全方位画像W21それぞれから検出した場合、被写体K3が変換画像の中央に表示されるように切出してもよい。   Subsequently, the image conversion unit 501 converts the shape of the omnidirectional image W21 from an annular shape to a belt shape to generate a converted image (step S204). Specifically, as shown in FIG. 23, the image conversion unit 501 generates a converted image by converting the image into a band-shaped image by cutting from a predetermined position of the omnidirectional image W21, for example, the cut line C. The position where the image conversion unit 501 cuts from the omnidirectional image W21 can be set as appropriate. Furthermore, when the detection result of the face detection unit 92, for example, the subject K3 is detected from the front image W30 and the omnidirectional image W21, the image conversion unit 501 cuts out the subject K3 so that it is displayed at the center of the converted image. Good.

その後、画像合成部94は、撮像部2が生成した正面画像に画像変換部501が変換した変換画像を合成して合成画像を生成する(ステップS205)。具体的には、図24に示すように、画像合成部94は、正面画像W30における上部の外縁領域に変換画像W31を合成して合成画像W32を生成する。なお、画像合成部94は、変換画像W31を正面画像W30における下部の外縁領域に合成して合成画像を生成してもよい。   Thereafter, the image composition unit 94 synthesizes the converted image converted by the image conversion unit 501 with the front image generated by the imaging unit 2 to generate a combined image (step S205). Specifically, as shown in FIG. 24, the image composition unit 94 generates a composite image W32 by compositing the converted image W31 with the upper outer edge region of the front image W30. Note that the image composition unit 94 may generate a composite image by combining the converted image W31 with the lower outer edge region of the front image W30.

続いて、表示制御部95は、画像合成部94が生成した合成画像W32を表示部6に表示させる(ステップS206)。これにより、ユーザは、表示部6が表示する合成画像W32を確認することで、正面画像W30と全方位画像W31とを直感的に把握することができる。   Subsequently, the display control unit 95 displays the composite image W32 generated by the image composition unit 94 on the display unit 6 (step S206). Thereby, the user can grasp | ascertain intuitively the front image W30 and the omnidirectional image W31 by confirming the synthetic | combination image W32 which the display part 6 displays.

その後、レリーズスイッチ42が操作されることにより、レリーズ信号が入力された場合(ステップS207:Yes)、撮像装置200は、制御部500の制御のもと、撮像部2が生成した正面画像データを取得する(ステップS208)。   Thereafter, when a release signal is input by operating the release switch 42 (step S207: Yes), the imaging device 200 uses the control unit 500 to control the front image data generated by the imaging unit 2. Obtain (step S208).

続いて、制御部500は、撮像装置200が副画像同時記憶モードに設定されているか否かを判断する(ステップS209)。撮像装置200が副画像同時記憶モードに設定されている場合(ステップS209:Yes)、撮像装置200は、後述するステップS210へ移行する。一方、撮像装置200が副画像同時記憶モードに設定されていないと制御部500が判断した場合(ステップS209:No)、撮像装置200は、後述するステップS216へ移行する。   Subsequently, the control unit 500 determines whether or not the imaging apparatus 200 is set to the sub-image simultaneous storage mode (step S209). When the imaging apparatus 200 is set to the sub-image simultaneous storage mode (step S209: Yes), the imaging apparatus 200 proceeds to step S210 described later. On the other hand, when the control unit 500 determines that the imaging device 200 is not set to the sub-image simultaneous storage mode (step S209: No), the imaging device 200 proceeds to step S216 described later.

ステップS210において、撮像装置200は、制御部500の制御のもと、全方位撮像部300が生成した全方位画像データを取得する。   In step S <b> 210, the imaging apparatus 200 acquires the omnidirectional image data generated by the omnidirectional imaging unit 300 under the control of the control unit 500.

続いて、画像関連付け部96は、撮像部2から取得した正面画像データに、全方位撮像部300から取得した全方位画像データを対応付けた画像ファイルを生成し、この画像ファイルを画像データ記憶部81に記憶する(ステップS211)。   Subsequently, the image association unit 96 generates an image file in which the omnidirectional image data acquired from the omnidirectional imaging unit 300 is associated with the front image data acquired from the imaging unit 2, and the image file is stored in the image data storage unit. 81 (step S211).

その後、表示制御部95は、取得した正面画像データに対応する正面画像を所定時間(たとえば3秒)だけ表示部6にレックビュー表示させる(ステップS212)。なお、表示制御部95は、画像変換部501が全方位画像W20を変換した帯状の変換画像W31を所定時間(たとえば3秒)だけ表示部6にレックビュー表示させてもよい。   Thereafter, the display control unit 95 displays the front image corresponding to the acquired front image data on the display unit 6 for a predetermined time (for example, 3 seconds) in a rec view display (step S212). Note that the display control unit 95 may cause the display unit 6 to perform a rec view display of the belt-shaped converted image W31 obtained by converting the omnidirectional image W20 by the image converting unit 501 for a predetermined time (for example, 3 seconds).

続いて、制御部500は、電源スイッチ41が操作されることにより、撮像装置200の電源がオフ状態であるか否かを判断する(ステップS213)。撮像装置200の電源がオフ状態であると制御部500が判断した場合(ステップS213:Yes)、撮像装置200は、本処理を終了する。一方、撮像装置200の電源がオフ状態でないと制御部500が判断した場合(ステップS213:No)、撮像装置200は、ステップS214へ移行する。   Subsequently, the control unit 500 determines whether or not the power of the imaging apparatus 200 is in an off state by operating the power switch 41 (step S213). When the control unit 500 determines that the power of the imaging apparatus 200 is off (step S213: Yes), the imaging apparatus 200 ends this process. On the other hand, when the control unit 500 determines that the power of the imaging device 200 is not turned off (step S213: No), the imaging device 200 proceeds to step S214.

ステップS214において、制御部500は、撮影モード切換スイッチ43からモード切換信号が入力された場合、モード切換信号に応じて撮影・再生モードの切換操作を受け付ける一方、撮影モード切換スイッチ43を介してモード切換信号が入力されていない場合、現在のモードを維持する。ステップS214の後、撮像装置200は、ステップS201へ戻る。   In step S214, when a mode switching signal is input from the shooting mode switching switch 43, the control unit 500 accepts a shooting / playback mode switching operation in accordance with the mode switching signal, while the mode is switched via the shooting mode switching switch 43. When no switching signal is input, the current mode is maintained. After step S214, the imaging apparatus 200 returns to step S201.

ステップS202において、撮像装置200に副画像同時記憶モードが設定されていないと制御部500が判断した場合(ステップS202:No)について説明する。この場合、表示制御部95は、撮像部2が微小な時間間隔で連続的に生成する正面画像データに対応するライブビュー画像を表示部6に表示させる(ステップS215)。その後、撮像装置200は、ステップS207へ移行する。   A case where the control unit 500 determines in step S202 that the sub-image simultaneous storage mode is not set in the imaging apparatus 200 (step S202: No) will be described. In this case, the display control unit 95 causes the display unit 6 to display the live view image corresponding to the front image data that the imaging unit 2 continuously generates at a minute time interval (step S215). Thereafter, the imaging apparatus 200 proceeds to step S207.

ステップS209において、撮像装置200に副画像同時記憶モードが設定されていないと制御部500が判断した場合(ステップS209:No)について説明する。この場合、制御部500は、撮像部2から取得した正面画像データを記憶させた画像ファイルを作成して画像データ記憶部81に記憶する(ステップS216)。その後、撮像装置200は、ステップS212へ移行する。   A case where the control unit 500 determines in step S209 that the sub-image simultaneous storage mode is not set in the imaging apparatus 200 (step S209: No) will be described. In this case, the control unit 500 creates an image file storing the front image data acquired from the imaging unit 2 and stores the image file in the image data storage unit 81 (step S216). Thereafter, the imaging apparatus 200 proceeds to step S212.

つぎに、撮像装置1が撮影モードに設定されておらず(ステップS201:No)、再生モードに設定されている場合(ステップS217:Yes)について説明する。この場合、表示制御部95は、画像データ記憶部81が記憶する各画像ファイルの画像データに対応する画像を縮小した縮小画像の一覧を表示部6に表示させる(ステップS218)。   Next, the case where the imaging apparatus 1 is not set to the shooting mode (step S201: No) and is set to the reproduction mode (step S217: Yes) will be described. In this case, the display control unit 95 causes the display unit 6 to display a list of reduced images obtained by reducing the images corresponding to the image data of each image file stored in the image data storage unit 81 (step S218).

続いて、操作入力部4またはタッチパネル7を介して拡大して表示する画像ファイルの縮小画像が選択された場合(ステップS219:Yes)、制御部500は、選択された画像ファイル内に正面画像データと副画像データとしての全方位画像データとが記憶されているか否かを判断する(ステップS220)。選択された画像ファイル内に正面画像データと副画像データとしての全方位画像データとが記憶されていると制御部500が判断した場合(ステップS220:Yes)、撮像装置200は、後述するステップS221へ移行する。一方、選択された画像ファイル内に正面画像データのみ記憶されていると制御部500が判断した場合(ステップS220:No)、撮像装置200は、後述するステップS229へ移行する。   Subsequently, when the reduced image of the image file to be enlarged and displayed is selected via the operation input unit 4 or the touch panel 7 (step S219: Yes), the control unit 500 includes the front image data in the selected image file. And omnidirectional image data as sub-image data are stored (step S220). When the control unit 500 determines that front image data and omnidirectional image data as sub-image data are stored in the selected image file (step S220: Yes), the imaging apparatus 200 performs step S221 described later. Migrate to On the other hand, when the control unit 500 determines that only front image data is stored in the selected image file (step S220: No), the imaging apparatus 200 proceeds to step S229 described later.

ステップS221において、画像合成部94は、正面画像に全方位画像を合成した合成画像を生成し、表示制御部95は、画像合成部94が生成した合成画像を表示部6に表示させる(ステップS222)。   In step S221, the image composition unit 94 generates a composite image by combining the omnidirectional image with the front image, and the display control unit 95 displays the composite image generated by the image composition unit 94 on the display unit 6 (step S222). ).

図25は、表示制御部95が合成画像を表示する際に参照する撮影時における撮像装置200を中心にして見たときの正面画像および副画像としての全方位画像にそれぞれ写る被写体の位置関係を模式的に説明する図である。図26は、表示制御部95が表示部6に表示させる合成画像W40の一例を示す図である。なお、図25において、点線で表す領域W30が撮像部2による撮影領域を示し、一点鎖線で表す領域W20が全方位撮像部300の撮影領域を示す。   FIG. 25 shows the positional relationship between the subjects captured in the front image and the omnidirectional image as the sub-image when viewed from the imaging device 200 at the time of shooting, which is referred to when the display control unit 95 displays the composite image. It is a figure explaining typically. FIG. 26 is a diagram illustrating an example of the composite image W40 that the display control unit 95 displays on the display unit 6. In FIG. 25, a region W30 represented by a dotted line represents a photographing region by the imaging unit 2, and a region W20 represented by an alternate long and short dash line represents a photographing region of the omnidirectional imaging unit 300.

図25に示すように、表示制御部95は、表示部6に合成画像W40を表示させる際に、撮影時において撮像装置200を中心にして見たときの正面画像W20および全方位画像W30にそれぞれ写る被写体K1〜K3の位置関係を反映させた状態で合成画像W40の少なくとも一部を表示部6に表示させる。この際、図26に示すように、表示制御部95は、全方位画像W20が全方位撮像部300によって撮像装置200を中心に全方位(360度)撮影されているので、合成画像W40の両端部それぞれに副画像としての全方位画像W20があることを示す情報として折れ部R11,R12を表示する。   As shown in FIG. 25, when displaying the composite image W40 on the display unit 6, the display control unit 95 displays the front image W20 and the omnidirectional image W30 when viewed from the imaging device 200 at the time of shooting, respectively. At least a part of the composite image W40 is displayed on the display unit 6 in a state where the positional relationship between the captured subjects K1 to K3 is reflected. At this time, as shown in FIG. 26, the display control unit 95 captures the omnidirectional image W20 in all directions (360 degrees) around the imaging device 200 by the omnidirectional imaging unit 300. Folded portions R11 and R12 are displayed as information indicating that there is an omnidirectional image W20 as a sub image in each portion.

ステップS222の後、制御部500は、表示部6が表示する合成画像W40内における折れ部R11または折れ部R12に対してスライド操作が行われたか否かを判断する(ステップS223)。たとえば、折れ部R11に対してスライド操作が行われたと制御部500が判断した場合(ステップS223:Yes)、表示制御部95は、ユーザによるスライド操作に応じて、撮影時において撮像装置200を中心にして見たときの正面画像W30および副画像としての全方位画像W20に写る被写体K1〜K3の位置関係を反映させながら全方位画像W41の少なくとも一部を表示部6に表示させる(ステップS224)。   After step S222, the control unit 500 determines whether or not a slide operation has been performed on the folded portion R11 or the folded portion R12 in the composite image W40 displayed by the display unit 6 (step S223). For example, when the control unit 500 determines that a slide operation has been performed on the folding portion R11 (step S223: Yes), the display control unit 95 focuses on the imaging device 200 during shooting according to the slide operation by the user. At least a part of the omnidirectional image W41 is displayed on the display unit 6 while reflecting the positional relationship between the subjects K1 to K3 shown in the front image W30 and the omnidirectional image W20 as a sub-image when viewed in this manner (step S224). .

図27は、表示制御部95が合成画像W40から全方位画像W41への切換えを模式的に説明する図である。図27に示すように、表示制御部95は、折れ部R11に対するスライド操作に応じて、表示部6の表示画面における左端部から全方位画像W41を徐々に表示させつつ、正面画像W40の縦横比率を縮小しながら表示部6に表示させる(図27(a)→図27(b))。さらに、表示制御部95は、折れ部R11に対するスライド操作の移動量に応じて、全方位画像W41の領域を所定間隔毎に縦横比率を変化させながら表示部6に表示させる。これにより、撮影時において撮像装置200を中心に見たときの正面画像W30および副画像として全方位画像W20にそれぞれ写る被写体K1〜K3の位置関係を反映させた状態で滑らかに画面遷移を行うことができる。   FIG. 27 is a diagram schematically illustrating switching of the display control unit 95 from the composite image W40 to the omnidirectional image W41. As illustrated in FIG. 27, the display control unit 95 displays the omnidirectional image W41 gradually from the left end portion of the display screen of the display unit 6 in response to the slide operation on the folding unit R11, and the aspect ratio of the front image W40. Is displayed on the display unit 6 while being reduced (FIG. 27 (a) → FIG. 27 (b)). Further, the display control unit 95 causes the display unit 6 to display the area of the omnidirectional image W41 while changing the aspect ratio at predetermined intervals according to the movement amount of the sliding operation with respect to the folding part R11. Thereby, the screen transition is smoothly performed in a state in which the positional relationship of the subjects K1 to K3 reflected in the omnidirectional image W20 as the front image W30 and the sub-image when viewed from the center of the imaging device 200 at the time of shooting is reflected. Can do.

続いて、制御部500は、ユーザが折れ部R11または折れ部R12から指を離したか否かを判断する(ステップS225)。ユーザが折れ部R11または折れ部R12から指を離したと制御部500が判断した場合(ステップS225:Yes)、表示制御部95は、撮像装置200を中心にして見たときの正面画像および全方位画像に写る被写体の位置関係を反映させた状態で全方位画像W41から合成画像W40に切換える(ステップS226)。その後、撮像装置200は、ステップS227へ移行する。一方、ユーザが折れ部R11または折れ部R12に対してタッチを維持しながら表示画面上を移動させていると制御部500が判断した場合(ステップS225:No)、撮像装置200は、ステップS224へ戻る。   Subsequently, the control unit 500 determines whether or not the user has lifted his / her finger from the folded part R11 or the folded part R12 (step S225). When the control unit 500 determines that the user has lifted his / her finger from the folded portion R11 or the folded portion R12 (step S225: Yes), the display control unit 95 displays the front image and the entire image when viewed mainly with the imaging device 200. The omnidirectional image W41 is switched to the composite image W40 while reflecting the positional relationship of the subject in the azimuth image (step S226). Thereafter, the imaging apparatus 200 proceeds to step S227. On the other hand, when the control unit 500 determines that the user is moving on the display screen while maintaining touch with respect to the folded portion R11 or the folded portion R12 (step S225: No), the imaging apparatus 200 proceeds to step S224. Return.

ステップS227〜ステップS230は、上述したステップS123〜S126それぞれに対応するため、説明を省略する。   Steps S227 to S230 correspond to the above-described steps S123 to S126, respectively, and thus description thereof is omitted.

ステップS217において、撮像装置1が再生モードに設定されていない場合(ステップS217:No)、撮像装置1はステップS213に移行する。   In step S217, when the imaging device 1 is not set to the reproduction mode (step S217: No), the imaging device 1 proceeds to step S213.

以上説明した本発明の実施の形態2では、表示制御部95が、表示部6によって正面画像が表示されている場合において、タッチパネル7から副画像の切換えを指示する指示信号の入力を受け付けたとき、撮像装置1を中心にして見たときの正面画像および副画像に写る被写体の位置関係を反映させた状態で副画像としての全方位画像の少なくとも一部を表示部6に表示させる。これにより、撮影者の意図した構図を維持しつつ、撮影者自身の画像も付加することもでき、家族写真のように撮影時における思い出を共用することができる再生を行うことができる。   In the second embodiment of the present invention described above, when the display control unit 95 receives an input of an instruction signal instructing switching of the sub image from the touch panel 7 when the front image is displayed on the display unit 6. Then, at least a part of the omnidirectional image as the sub-image is displayed on the display unit 6 in a state in which the positional relationship between the subject imaged in the front image and the sub-image when viewed from the imaging device 1 is reflected. Thus, while maintaining the composition intended by the photographer, the photographer's own image can also be added, and reproduction that can share memories at the time of photographing like a family photograph can be performed.

また、上述した実施の形態2では、全方位撮像部300で全周囲(360度)を撮像していたが、たとえば視野領域が少なくとも略90度を超える4つの撮像部を設けることにより、撮影部2の光軸L1と直交する軸の周りの全周にわたる第2の視野領域を撮影してもよい。   In Embodiment 2 described above, the omnidirectional imaging unit 300 images the entire circumference (360 degrees). However, for example, by providing four imaging units having a visual field area of at least approximately 90 degrees, the imaging unit You may image | photograph the 2nd visual field area over the perimeter around the axis | shaft orthogonal to 2 optical axis L1.

(その他の実施の形態)
なお、上述した実施の形態では、撮像した画像データを再生する再生モードで行っていたが、たとえば撮影モードで表示部6が表示するライブビュー画像上で上述した処理を行ってもよい。これにより、リアルタイムで正面画像と副画像とを確認しながら撮影を行うことができる。
(Other embodiments)
In the above-described embodiment, the processing is performed in the playback mode in which the captured image data is played back. However, for example, the above-described processing may be performed on the live view image displayed on the display unit 6 in the shooting mode. Thereby, it is possible to perform photographing while confirming the front image and the sub-image in real time.

また、上述した実施の形態では、表示部6が表示する静止画像の切換えで上述した処理を行っていたが、たとえば動画の切換えで上述した処理を行ってもよい。この場合、表示制御部95は、表示部6が第1の動画(正面側)を表示している場合において、タッチパネル7から動画の切換えの指示信号の入力を受け付けたとき、表示部6に第2の動画(背面側または全方位画像)を表示部6に所定時間、たとえば第2の動画の再生が終了するまで表示部6に表示させてもよい。   In the above-described embodiment, the above-described process is performed by switching the still image displayed on the display unit 6, but the above-described process may be performed by switching a moving image, for example. In this case, when the display unit 6 is displaying the first moving image (front side) and the display control unit 95 receives an input of a moving image switching instruction signal from the touch panel 7, the display control unit 95 displays the first moving image on the display unit 6. Two moving images (back side or omnidirectional image) may be displayed on the display unit 6 for a predetermined time, for example, until the reproduction of the second moving image is completed.

また、上述した実施の形態では、表示部6が表示する静止画像のみの切換えであったが、静止画像および動画をそれぞれ組み合わせて上述した処理を行ってもよい。   In the above-described embodiment, only the still image displayed on the display unit 6 is switched. However, the above-described processing may be performed by combining still images and moving images.

また、上述した実施の形態では、表示部6が表示する画像の切換えに対して説明したが、たとえば電子ビューファインダにおいても同様の画像の切換えを行ってもよい。   In the embodiment described above, switching of images displayed on the display unit 6 has been described. However, for example, similar switching of images may be performed in an electronic viewfinder.

また、上述した実施の形態では、フローチャートの説明において、「まず、」や「つぎに、」等の表現を用いて説明している場合もあるが、これは便宜的なものにすぎず、この順序を変えて行ってもよい。   In the above-described embodiment, the description of the flowchart may be described using expressions such as “first”, “next”, etc., but this is merely for convenience, and this The order may be changed.

また、上述した実施の形態では、撮像装置としてデジタルカメラとして説明していたが、たとえばデジタル一眼レフカメラ、デジタルビデオカメラおよび2つの撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。   In the above-described embodiment, the digital camera is described as the imaging device. However, for example, a digital single-lens reflex camera, a digital video camera, and an electronic device such as a mobile phone or a tablet-type mobile device having two shooting functions. Can be applied.

1,100,200 撮像装置
2 撮像部
3 タイマー
4 操作入力部
5 背面撮像部
6 表示部
7 タッチパネル
8 記憶部
9,500 制御部
21 レンズ部
22 レンズ駆動部
23 絞り
24 絞り駆動部
25 シャッタ
26 シャッタ駆動部
27 撮像素子
28 撮像駆動部
29 信号処理部
41 電源スイッチ
42 レリーズスイッチ
43 撮影モード切換スイッチ
81 画像データ記憶部
82 プログラム記憶部
83 顔情報記憶部
91 画像処理部
92 顔検出部
93 トリミング部
94 画像合成部
95 表示制御部
96 画像関連付け部
300 全方位撮像部
400 通信部
501 画像変換部
DESCRIPTION OF SYMBOLS 1,100,200 Imaging device 2 Imaging part 3 Timer 4 Operation input part 5 Back surface imaging part 6 Display part 7 Touch panel 8 Storage part 9,500 Control part 21 Lens part 22 Lens drive part 23 Diaphragm 24 Diaphragm drive part 25 Shutter 26 Shutter Drive unit 27 Imaging element 28 Imaging drive unit 29 Signal processing unit 41 Power switch 42 Release switch 43 Shooting mode changeover switch 81 Image data storage unit 82 Program storage unit 83 Face information storage unit 91 Image processing unit 92 Face detection unit 93 Trimming unit 94 Image composition unit 95 Display control unit 96 Image association unit 300 Omnidirectional imaging unit 400 Communication unit 501 Image conversion unit

Claims (12)

所定の視野領域を撮像して第1の画像データを生成する第1の撮像部と、前記第1の撮像部と異なる視野領域を撮像して第2の画像データを生成する第2の撮像部と、を備えた撮像装置であって、
前記第1の画像データに対応する第1の画像および前記第2の画像データに対応する第2の画像を表示可能な表示部と、
前記表示部の表示画面上に設けられ、前記表示部が表示する画像の変更を指示する指示信号の入力を受け付ける入力部と、
前記表示部が前記第1の画像を表示している場合において、前記入力部から前記指示信号の入力を受け付けたとき、当該撮像装置の天地方向を中心にして見たときの前記第1の画像および前記第2の画像それぞれ写る被写体の左右の位置関係を反映させた状態で前記第2の画像の少なくとも一部を前記表示部に表示させる表示制御部と、
を備えたことを特徴とする撮像装置。
A first imaging unit that captures a predetermined visual field and generates first image data, and a second imaging unit that captures a visual field different from the first imaging unit and generates second image data And an imaging device comprising:
A display unit capable of displaying a first image corresponding to the first image data and a second image corresponding to the second image data;
An input unit that is provided on a display screen of the display unit and receives an input of an instruction signal that instructs to change an image displayed by the display unit;
In the case where the display unit displays the first image, when the instruction signal is input from the input unit, the first image when viewed from the top and bottom of the imaging device. And a display control unit that displays at least a part of the second image on the display unit in a state in which the right and left positional relationship of the subject reflected in each of the second images is reflected,
An imaging apparatus comprising:
前記表示制御部は、前記第2の画像の少なくとも一部を前記表示部に表示させる際に、前記第2の画像の表示領域を徐々に増やしながら表示させることを特徴とする請求項1に記載の撮像装置。   2. The display control unit according to claim 1, wherein when the display unit displays at least part of the second image on the display unit, the display control unit displays the second image while gradually increasing a display area. Imaging device. 前記表示制御部は、前記第2の画像の少なくとも一部を所定時間だけ表示させた後に、前記第1の画像に切換えることを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the display control unit switches to the first image after displaying at least a part of the second image for a predetermined time. 前記表示制御部は、前記第2の画像を前記被写体の位置関係を反映させた状態で前記表示部に表示させる際に、前記第1の画像における縦横比率を変化させ、この変化によって生じる画面内の空き領域に前記第2の画像を表示させることを特徴とする請求項1〜3のいずれか一つに記載の撮像装置。   When the display control unit displays the second image on the display unit while reflecting the positional relationship of the subject, the display control unit changes the aspect ratio of the first image, and the change in the screen caused by the change occurs. The image pickup apparatus according to claim 1, wherein the second image is displayed in an empty area. 前記表示制御部は、前記第1の画像に対して前記第2の画像に関する画像情報を重畳して表示させ、
前記入力部は、前記画像情報の一部がタッチされた場合、前記指示信号の入力を受け付けることを特徴とする請求項1〜4のいずれか一つに記載の撮像装置。
The display control unit superimposes and displays image information related to the second image on the first image;
The imaging apparatus according to claim 1, wherein the input unit receives an input of the instruction signal when a part of the image information is touched.
前記第2の画像に含まれる被写体の顔を検出する顔検出部と、
前記顔検出部が検出した被写体の顔を含む顔領域を、前記第2の画像から切出して前記画像情報としての顔画像を生成するトリミング部と、
当該撮像装置の天地方向を中心にしてみたときに、前記第1の画像に写る被写体と前記第2の画像に写る被写体との左右の位置関係を反映させるように前記トリミング部によって生成された前記顔画像を前記第1の画像の表示領域に合成する画像合成部と、
をさらに備えたことを特徴とする請求項5に記載の撮像装置。
A face detection unit for detecting the face of the subject included in the second image;
A trimming unit that cuts out a face area including the face of the subject detected by the face detection unit from the second image, and generates a face image as the image information;
When tried about the vertical direction of the imaging device, generated by the trimming portion so that reflects the positional relationship of the left and right with the subject caught on the first object and the second caught on the image of the image An image composition unit for compositing the face image with the display area of the first image;
The imaging apparatus according to claim 5, further comprising:
前記表示制御部は、前記画像情報として前記第1の画像における端部を仮想的に折り返した折れ部を表示させることを特徴とする請求項5に記載の撮像装置。   The imaging apparatus according to claim 5, wherein the display control unit displays a folded portion obtained by virtually folding an end portion of the first image as the image information. 前記第2の撮像部は、撮影者が面する当該撮像装置の背面部に設けられていることを特徴とする請求項1〜7のいずれか一つに記載の撮像装置。   The imaging device according to claim 1, wherein the second imaging unit is provided on a back surface of the imaging device facing the photographer. 前記第2の撮像部は、前記第1の撮像部の光軸と直交する軸の周りの全周にわたる視野領域を撮影して前記第2の画像データを生成することを特徴とする請求項1〜7のいずれか一つに記載の撮像装置。   2. The second image pickup unit generates the second image data by shooting a visual field region around an entire circumference around an axis orthogonal to the optical axis of the first image pickup unit. The imaging device according to any one of? 7. 前記第2の画像は、円環状をなし、
前記第2の画像を、帯状の表示領域を有する画像に変換する画像変換部をさらに備えたことを特徴とする請求項9に記載の撮像装置。
The second image has an annular shape,
The imaging apparatus according to claim 9, further comprising an image conversion unit that converts the second image into an image having a band-shaped display area.
互いに異なる視野領域を撮像することによって第1および第2の画像データを生成することが可能な撮像装置が実行する表示方法であって、
前記第1の画像データに対応する第1の画像および前記第2の画像データに対応する第2の画像を表示可能な表示ステップと、
前記表示ステップで表示する画像の変更を指示する指示信号の入力を受け付ける入力ステップと、
前記表示ステップで前記第1の画像を表示している場合において、前記入力ステップから前記指示信号の入力を受け付けたとき、当該撮像装置の天地方向を中心にして見たときの前記第1の画像および前記第2の画像それぞれ写る被写体の左右の位置関係を反映させた状態で前記第2の画像の少なくとも一部を示部に表示させる表示制御ステップと、
を含むことを特徴とする表示方法。
A display method executed by an imaging apparatus capable of generating first and second image data by imaging different visual field regions,
A display step capable of displaying a first image corresponding to the first image data and a second image corresponding to the second image data;
An input step for receiving an input of an instruction signal for instructing a change of an image to be displayed in the display step;
In the case where the first image is displayed in the display step, when the input of the instruction signal is received from the input step, the first image when viewed from the top and bottom direction of the imaging device a display control step of displaying at least a portion of said second image in tables radical 113 in and conditions the reflecting the second image left and right positional relationship between the object caught on each
A display method comprising:
互いに異なる視野領域を撮像することによって第1および第2の画像データを生成することが可能な撮像装置に実行させるプログラムであって、
前記第1の画像データに対応する第1の画像および前記第2の画像データに対応する第2の画像を表示可能な表示ステップと、
前記表示ステップで表示する画像の変更を指示する指示信号の入力を受け付ける入力ステップと、
前記表示ステップで前記第1の画像を表示している場合において、前記入力ステップから前記指示信号の入力を受け付けたとき、当該撮像装置の天地方向を中心にして見たときの前記第1の画像および前記第2の画像それぞれ写る被写体の左右の位置関係を反映させた状態で前記第2の画像の少なくとも一部を示部に表示させる表示制御ステップと、
を実行させることを特徴とするプログラム。
A program to be executed by an imaging device capable of generating first and second image data by imaging different visual field regions,
A display step capable of displaying a first image corresponding to the first image data and a second image corresponding to the second image data;
An input step for receiving an input of an instruction signal for instructing a change of an image to be displayed in the display step;
In the case where the first image is displayed in the display step, when the input of the instruction signal is received from the input step, the first image when viewed from the top and bottom direction of the imaging device a display control step of displaying at least a portion of said second image in tables radical 113 in and conditions the reflecting the second image left and right positional relationship between the object caught on each
A program characterized by having executed.
JP2011126728A 2011-06-06 2011-06-06 Imaging apparatus, display method, and program Expired - Fee Related JP5785786B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011126728A JP5785786B2 (en) 2011-06-06 2011-06-06 Imaging apparatus, display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011126728A JP5785786B2 (en) 2011-06-06 2011-06-06 Imaging apparatus, display method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015147130A Division JP6091561B2 (en) 2015-07-24 2015-07-24 Display device, display method, and program

Publications (2)

Publication Number Publication Date
JP2012253693A JP2012253693A (en) 2012-12-20
JP5785786B2 true JP5785786B2 (en) 2015-09-30

Family

ID=47526054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011126728A Expired - Fee Related JP5785786B2 (en) 2011-06-06 2011-06-06 Imaging apparatus, display method, and program

Country Status (1)

Country Link
JP (1) JP5785786B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102036054B1 (en) * 2012-12-21 2019-11-26 삼성전자 주식회사 Method for recoding a video in the terminal having a dual camera and device thereof
JP6351260B2 (en) * 2013-12-26 2018-07-04 キヤノン株式会社 Imaging apparatus and control method thereof
JP6238735B2 (en) * 2013-12-26 2017-11-29 キヤノン株式会社 Imaging apparatus and control method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05161143A (en) * 1991-12-03 1993-06-25 Sharp Corp Video camera equipment
JP2001265481A (en) * 2000-03-21 2001-09-28 Nec Corp Method and device for displaying page information and storage medium with program for displaying page information stored
JP2005094741A (en) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd Image pickup device and image synthesizing method
WO2008111112A1 (en) * 2007-03-09 2008-09-18 Pioneer Corporation Video processing device, display device control method, and program
JP5107806B2 (en) * 2008-06-23 2012-12-26 オリンパスイメージング株式会社 Image processing device
JP5452183B2 (en) * 2009-11-19 2014-03-26 オリンパスイメージング株式会社 Imaging device

Also Published As

Publication number Publication date
JP2012253693A (en) 2012-12-20

Similar Documents

Publication Publication Date Title
JP5233720B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP5907738B2 (en) Imaging apparatus, display method, and program
US8553134B2 (en) Imager processing a captured image
JP6112819B2 (en) Electronic device, driving method and program
US8890993B2 (en) Imaging device and AF control method
CN110536069B (en) Zoom control device, control method of zoom control device, and recording medium
JP6088733B2 (en) Imaging device
JP6071436B2 (en) Imaging apparatus, imaging method, and program
US20120307101A1 (en) Imaging device, display method, and computer-readable recording medium
CN103533217B (en) Camera device, image capture method
JP6099528B2 (en) Imaging apparatus, imaging method, and program
JP2009033491A (en) Imaging apparatus and imaging method
JP2008287064A (en) Imaging apparatus
JP2018152787A (en) Imaging device, external device, imaging system, imaging method, operation method, and program
JP2007281647A (en) Electronic camera and image processing apparatus
JP5785786B2 (en) Imaging apparatus, display method, and program
JP5883564B2 (en) Imaging device
JP6091561B2 (en) Display device, display method, and program
JP2009053296A (en) Imaging device and control method for same
JP6577991B2 (en) Imaging apparatus, imaging method, and program
JP7447901B2 (en) Imaging device, aperture mechanism control method
JP2015037219A (en) Imaging apparatus, imaging method, and program
JP5754027B2 (en) Imaging apparatus, imaging method, and imaging program
JP2007057933A (en) Camera having electronic view finder
JP2009048126A (en) Photographing equipment and method of controlling same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150422

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150727

R150 Certificate of patent or registration of utility model

Ref document number: 5785786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees