JPWO2017200049A1 - 撮像装置およびその設定画面 - Google Patents

Abstract

複数の撮像部を備えた撮像装置において、撮影時あるいは再生時の使い勝手を改善することを目的とする。
上記目的を達成するために、複数の撮像部を備えた撮像装置において、予め設定可能な複数の撮影モードを設定する設定手段を設け、設定された撮影モードに応じて複数の撮像部を制御する手段と、操作手段とを設けた。これにより、ユーザが所望の撮影モードを選択することにより、簡単な操作で複数の撮像部を連動して撮像することを可能とし、また、複数の撮像部を独立に、あるいは同時に制御して撮影することが可能となり、使い勝手のよい撮像装置を提供することができる。

Description

本発明は、複数の撮像部を備えた撮像装置において、複数の撮像部を各々異なる動作モードによって制御し撮像する技術に関する。

ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いて被写体を撮影するデジタルカメラ等の撮像装置は、一般に単一の撮像素子と光学系から構成される単一の撮像部を有する。これに対し、複数の撮像部を備えた撮像装置も提案されている。本技術分野における背景技術として、特開平１０−１３４１８７号公報（特許文献１）がある。特許文献１には、広角視野のカメラと狭角視野のカメラを備え、奥行き情報を高精度で推定できる装置について開示している。

特開平１０−１３４１８７号公報

特許文献１の装置では、広角視野と精度のよい奥行きとが推定できる。しかし、撮影時あるいは再生時の使い勝手については考慮されていなかった。

本発明は、上記の課題を達成するために、その一例を挙げるならば、第１撮像部と、第２撮像部と、表示部と、画像信号処理回路と、制御回路と、操作部と、モード設定部と、記録部と、を有する撮像装置であって、第１撮像部と第２撮像部は所定間隔をもって同一方向を撮像するように配置され、画像信号処理回路は、第１撮像部が撮像した信号から第１の画像信号を生成し、第２撮像部が撮像した信号から第２の画像信号を生成し、第１撮像部が撮像した信号と第２撮像部が撮像した信号とから第３の信号を生成し、制御回路は、モード設定部からの入力により予め設定可能な複数の撮影モードに応じて、操作部による１回の撮像操作によって第１撮像部および第２撮像部と、画像信号処理回路と、記録部とを制御し、複数の撮影モードは、第１の画像信号を記録する撮影モードと、第１の画像信号と第２の画像信号を記録するモードと、第３の信号を記録するモードと、を含むように構成する。

本発明によれば、簡単な操作で複数の撮像部を同時に制御して撮影することが可能となり、使い勝手のよい撮像装置を提供することができる。

実施例１に係わる撮像装置の構成を示すブロック図である。 実施例１における撮像装置の一例を示す外観図である。 実施例１における撮像装置の他の一例を示す外観図である。 実施例１における撮影モードの一覧である。 実施例１における通常撮影２の動作のタイミングを示す説明図である。 実施例１に係わる高速連写モードにおける撮像部の撮像タイミングを示す説明図である。 実施例２における撮影モードの一覧である。 実施例２における画像信号処理回路の構成の一例を示すブロック図である。 実施例２における画像例である。 図９の画像に対する距離ヒストグラムを示す図である。 実施例２における合成後の出力画像例である。 実施例２における距離適応処理モードにおけるユーザインターフェースの画面表示例である。 実施例２における距離適応処理モードにおけるユーザインターフェースの他の画面表示例である。 実施例３における撮影モードの一覧である。 実施例３における第１撮像部と第２撮像部の設定を個別に行なう際のメニュー画面の一例である。 実施例１から実施例３におけるモニタリング時の画面表示の例である。 実施例４における撮像形態の説明図である。 実施例４における撮像装置の一例を示す外観図である。 実施例４における撮像装置の他の一例を示す外観図である。 実施例５における撮像装置の一例を示す外観図である。 実施例６における撮像装置の構成を示すブロック図である。 実施例６における通常撮影モードの一覧である。 実施例６における同時撮影モードの一覧である。 実施例６における焦点距離とズーム倍率の関係の説明図である。 実施例６における静止画撮影モードの画面表示の説明図である。 実施例６における動画撮影モードの画面表示の説明図である。 実施例６における動画撮影モードでの広角画像記録中の表示画面の説明図である。 実施例６における動画撮影モードでの狭角画像記録中の表示画面の説明図である。 実施例６における静止画同時撮影モードの画面表示の説明図である。 実施例６における静止画同時撮影モードでの２画面表示の説明図である。 実施例６における動画同時撮影モードの画面表示の説明図である。 実施例６における動画同時撮影モードの動画同時記録中の画面表示の説明図である。 実施例６における動画静止画同時撮影モードの画面表示の説明図である。 実施例６における再生モードの画面表示の説明図である。 実施例６における再生モードの他の画面表示の説明図である。 実施例７における撮像装置の概観図である。 実施例８における撮像装置の概観図である。 実施例８における撮像装置の他の概観図である。 実施例８における撮影モード画面表示の説明図である。

以下、本発明の実施例について、図面を参照しながら説明する。

図１は、本実施例に係わる撮像装置の構成を示すブロック図である。本実施例の撮像装置１は２つの撮像部を備えている。２ａ、２ｂはレンズ部、３ａ、３ｂは撮像部である。なお、撮像部３ａ、３ｂは、所定間隔をもって同一方向を撮像するように配置されている。レンズ部２ａ、２ｂは、フォーカスレンズを含む複数枚のレンズから構成され、制御回路６によってフォーカスレンズの位置を制御してフォーカシング動作を行う。

撮像部３ａ、３ｂは、ＣＭＯＳやＣＣＤ等の撮像素子により構成する。撮像部３ａ、３ｂの撮像面には光電変換素子が２次元状に配列されており、各々レンズ部２ａ、２ｂを介して入力し撮像面に結像された被写体の光学像を光電変換して撮像信号に変換する。撮像部３ａ、３ｂには、アナログ信号をデジタル信号に変換するＡＤ変換回路が内蔵されており、デジタル化された撮像信号を出力する。また、撮像部３ａ、３ｂでは、位相差ＡＦ（オートフォーカス）用の画素を配置した撮像素子を用いてＡＦの高速化を図ってもよい。撮像部３ａ、３ｂにメモリを内蔵し撮像した信号の入出力の高速化を図ってもよい。なお、ＡＤ変換回路を内蔵していない撮像素子を用いる場合には、ＡＤ変換回路を撮像部３ａ、３ｂの外部に設ければよい。撮像部３ａ、３ｂ及びレンズ部２ａ、２ｂは、動作モードに応じて制御回路６によって制御する。

インターフェース回路４は、撮像装置の動作モードに応じ撮像部３ａ、３ｂからの入力力信号を画像信号処理回路５に出力する。この際、動作モードに応じ撮像部３ａ、３ｂで撮像した撮像信号の一方または両方を出力する。この動作は制御回路６によって制御する。

画像信号処理回路５は、インターフェース回路４からの出力信号に対し、フィルタリング、感度設定に応じた増幅、ホワイトバランス補正等の各種の信号処理を行う。また、画像信号処理回路５は、動作モードに応じて表示用の映像信号、あるいは記録用の映像信号である動画データ、静止画データを生成する。これら表示用の映像信号、記録用の映像信号は、撮像部３ａ、３ｂ各々に対応した映像信号、及び撮像部３ａ、３ｂの出力信号を合成して生成した映像信号を含むものである。

画像信号処理回路５には、制御回路６、ディスプレイ８、ＤＲＡＭやフラッシュメモリ等のメモリ１２、符号化復号化回路１５、記録再生回路１０等が接続されており、各部との高速な連携処理が可能である。画像信号処理回路５と制御回路６のハードウェア構成としては、両者をワンチップ化したＬＳＩとしてもよいし、個別のＬＳＩで構成してもよい。なお、画像信号処理回路５、記録再生回路１０については、撮像装置の性能要求に応じ、２つの撮像部に対応して２系統の信号処理、記録回路を設け、同時に２系統の信号処理を行えるように構成してもよい。

制御回路６にはレンズ部２ａ、２ｂ、撮像部３ａ、３ｂ、インターフェース回路４、画像信号処理回路５、姿勢検出部７、操作入力部９、位置情報入力部１３、無線通信部１４等が接続されている。制御回路６は、動作モードに応じて、接続されているこれらの各部の制御を行う。また制御回路６は、画像信号処理回路５を経由し、または直接的にディスプレイ８、符号化復号化回路１５、記録再生回路１０を制御する。姿勢検出部７はジャイロセンサーと電子コンパスを含み、撮像装置の撮影方向（方位角、仰角）、画像の傾きを検出することができる。
このように本実施例では、制御回路６により、ユーザ操作により予め設定した動作モードに応じ、符号化復号化回路１５は撮像部３ａ、３ｂ、画像信号処理回路５、ディスプレイ８、記録再生回路１０等を制御し、１回の撮影動作により、撮像部３ａにおいて撮像した画像信号、撮像部３ｂにおいて撮像した画像信号、撮像部３ａと撮像部３ｂとにおいて撮像した画像信号を合成して生成した画像信号のいずれかを表示、あるいは記録するように制御する。

符号化復号化回路１５は、信号処理された映像信号に対し記録用の符号化処理を行うとともに、再生された画像データの復号化処理を行う。記録再生回路１０は、撮影した画像データを記録媒体１１に記録するとともに、記録媒体１１に記録された画像を再生する。

操作入力部９は、ユーザの操作入力を受け付けるものである。具体的には、後述するように、モード設定ダイヤル、シャッターボタン、モード設定ボタン等が操作入力部９に相当する。モード設定ダイヤルには、撮像装置１に対する設定のうち、ユーザによる使用頻度の高い操作を割り当てればよい。

ディスプレイ８は、例えばタッチパネルと液晶パネル等の表示部とを一体化したディスプレイであり、ディスプレイ８の他に光学式あるいは電子式のファインダーを更に備えても良い。なお、表示部の方式は液晶に限定するものではなく、有機ＥＬ等の任意の方式を用いてもよい。また、タッチパネルは例えば静電容量方式や感圧方式等を用いてもよい。

図２は本実施例における撮像装置の一例を示す外観図であり、（Ａ）は背面図、（Ｂ）は右側面図、（Ｃ）は正面図である。図２において、撮像装置１は、背面側にはタッチパネルを一体化したディスプレイ８が配置されている。

レンズ部２ａ、２ｂは、各々ほぼ同一の光軸方向を持つように所定間隔で配置する。なお、レンズ部２ａ、２ｂは固定式としてもよいし、着脱式としてもよい。撮像装置１の操作入力部９としては、モード設定ダイヤル３１、シャッターボタン３２、操作ボタン３３、動画撮影ボタン３４が設けられている。３５は電源スイッチである。モード設定ダイヤル３１は、撮像装置１の撮影モードの種類等を選択するものである。シャッターボタン３２は本体右側上部に設けてあり、これを押下して撮影の操作を行う。操作ボタン３３は、中央のボタンと上下左右四方向のボタンを有しており、メニュー画面の表示や選択を行うためのものである。なお、撮像装置１の上面側に電子ビューファインダを設けても良い。

撮像装置１の動作モードには少なくとも撮影モードと再生モードがあり、さらに撮影モードには複数のモードがある。これらの動作モードの切り替えは、モード設定ダイヤル３１を用いて切り替える構成とすればよい。再生モードについては専用の再生モードボタンを設けてもよい。
撮影モードの種類と、その詳細については後述するが、ここでは撮影モードの動作の概要について説明する。制御回路６は、操作入力部９により所定の撮影モードに設定されたことを検出すると、撮像部３ａ、３ｂ、画像信号処理回路５、ディスプレイ８、符号化復号化回路１５、記録再生回路１０等に対し、撮影モードに応じた制御を行う。撮影モードでは静止画撮影と動画撮影が可能である。

制御回路６は、撮像部３ａまたは３ｂから所定の周期で撮像信号を読み出し、インターフェース回路４を経て画像信号処理回路５にて所定の信号処理を行ない、表示用のフォーマットに変換してディスプレイ８にリアルタイムで動画像を表示する。ユーザはこの動画像をモニタしながら以下のような動作によって撮影する。

静止画を撮影するときは、ユーザはシャッターボタン３２を押下する。制御回路６は操作入力部９の出力からシャッターボタン３２が押下されたことを検知し、ユーザが設定した撮影条件に従って絞り値やシャッター速度などが設定される。シャッターボタン３２は半押しと全押しの２つの状態があるものを用いて、半押し状態のときにフォーカスやシャッター速度等の設定を決定するよう制御してもよい。これらの設定は、制御回路６がレンズ部２ａ、２ｂや撮像部３ａ、３ｂを制御することにより実行される。シャッターボタン操作により、撮像部３ａ、３ｂのいずれの撮像部により撮像するか、あるいは撮像部３ａ、３ｂの両方の撮像部によって撮像するか、どのような信号処理を行うか、どの信号を記録するか等は、予め設定された撮影モードに従って制御される。撮像部３ａ、３ｂによって撮像された静止画の撮像信号は、画像信号処理回路５によって所定の静止画信号処理が施された後、符号化復号化回路１５によって静止画用の符号化を行う。静止画信号処理、符号化処理等を行う際のバッファメモリとしてメモリ１２を使用する。符号化方式は例えばＪＰＥＧ方式を採用するが、ＪＰＥＧ以外の方式としてＭＰＥＧや高画質のＲＡＷ形式で記録してもよい。符号化された静止画データは、メモリ１２を経由し記録再生回路１０により記録媒体１１に記録される。

動画を撮影するときは、動画撮影ボタン３４を押下して撮影を開始し、再度押下して撮影を停止する。動画像は、例えばＨ２６４やＨ２６５等のＭＰＥＧ、その他の任意の動画用フォーマットで符号化すればよい。動画撮影の場合も、符号化復号化回路１５によって所定のフォーマットで符号化され、符号化された動画データは、メモリ１２を経由し記録再生回路１０により記録媒体１１に記録される。

制御回路６は、操作入力部９からの入力により再生モードに設定されたことを検出すると、記録再生回路１０により記録媒体１１に記録された静止画や動画を読み出す。そして、符号化復号化回路１５によって復号化した後、ディスプレイ８に表示するように制御する。

以上、説明したように、本実施例による撮像装置は、複数の撮像部を有し、予め設定した動作モードによりシャッターボタン操作等による１回の撮影動作で複数の撮像部を連動して撮像することを可能とする。

図３は本実施例における撮像装置１の他の一例を示す外観図であり、（Ａ）は背面図、（Ｂ）は正面図である。図３の例では、図２の例に対し縦長の形状であり、ディスプレイ８’が図２（Ａ）の例に対し相対的に大きい。また図３の例では、図２に示したモード設定ダイヤル３１、シャッターボタン３２、操作ボタン３３、動画撮影ボタン３４を備えていないが、ディスプレイ８’にこれらの操作ボタンに相当するアイコン等を表示し、タッチパネル操作により所望の入力が可能なように構成する。

次に、本実施例における撮影モードについて説明する。図４は、本実施例における撮影モードの一覧である。撮影モードには通常撮影１、通常撮影２、同時撮影、高速連写、動画/静止画撮影の５つのモードがある。図４には、これら各モードにおいて、２つの撮像部の動作と、記録画像、各モードにおける制御の概要を記載している。第１撮像部は図１における撮像部３ａに、第２撮像部は撮像部３ｂに対応する。また、“有効”は撮像動作することを、“無効”は撮像動作を行わないことを表している。また、記録画像について、“第１”または“第２”は第１撮像部または第２撮像部において撮像した画像を記録することを、“第１第２”は第１および第２撮像部で撮像した画像の両方を記録することを意味する。

通常撮影１は、単一の撮像部を備えたカメラと同様の動作で第１撮像部のみを有効とする撮影モードであり、静止画撮像の際は第１の撮像部でモニタと静止画撮像を実行し、動画撮像の際も第１の撮像部でモニタと動画撮像を実行するものである。このモードは単一の撮像部を備えた公知である任意の撮像装置と同様であるため詳細な説明は省略する。なお、ここでは第１撮像部を“有効”としたが、第１撮像部を“無効”とし、第２撮像部を“有効”としてもよい。この撮影モードでは、一方の撮像部のみを動作させるので、電力低減のため有利である。

通常撮影２は、第１撮像部、第２撮像部の両方を“有効”とするが、第１撮像部はモニタ用として使用し、第２撮像部を静止画撮像用として使用するものである。図５は本実施例における通常撮影２の動作のタイミングを示す説明図であり、横軸は時間を表している。このモードにおいて第１撮像部は、モニタ用の動画像を生成するため、所定の周期でフレーム画像を読み出す。露光は読み出しと並行しフレーム周期で行う。読み出された動画像は、図１の画像信号処理回路５で表示用の画像に変換し、ディスプレイ８に表示する。ユーザはこの動画像をモニタし、所望のタイミング（図５のシャッターオン）でシャッターボタンを押下したものとする。第２撮像部は、シャッターオンを制御回路６で検出した後に露光を開始し、設定されたシャッター速度に相当する露光時間の露光が終了すると撮像された静止画信号を読み出す。読み出しに要する時間は、静止画の画素数と読み出し速度で決まるが、一般に第１撮像部におけるモニタ用動画のフレームより長い時間を要する。

単一の撮像部を備えた撮像装置では、静止画の撮像と、撮像前のモニタを同一の撮像部で実行するため、静止画撮像中はモニタが中断し、次の撮影のシャッターチャンスを逃す可能性があった。本実施例の動作によれば、静止画撮像中も連続してモニタ可能であり、シャッターチャンスを逃しにくくなる。

次に、同時撮影モードについて説明する。同時撮影モードは、第１撮像部、第２撮像部で同時に撮像する。このモードでは、第１撮像部はモニタと静止画撮像を、第２撮像部は第１撮像部の撮像と同一のタイミングで静止画撮像を行う。このモードでは、第１撮像部と第２撮像部の撮影条件（例えばシャッター速度、絞り、ＩＳＯ感度、エフェクト等）を変更して同時に撮像することが可能となる。

次に、高速連写モードについて説明する。図６は本実施例における高速連写モードにおける第１撮像部、第２撮像部の撮像タイミングを示す説明図である。このモードでは、第１撮像部と第２撮像部とで交互に撮像する。単一の撮像部における静止画撮像を最速で行う際の撮像の１サイクルをＴとすると、１秒間に撮像可能な静止画の枚数は１／Ｔである。この場合、信号処理や記録に要する時間が撮像の周期に対し十分な処理能力があるものとする。高速連写モードでは第１撮像部と第２撮像部との撮像タイミングをＴ／２ずらすことにより、撮像部が単一である場合に対して約２倍の速度で高速連写が可能となる。

次に動画静止画撮影モードについて説明する。このモードでは、第１撮像部で動画撮像、第２撮像部で静止画撮像を行うものである。動画撮像と静止画撮像とで異なる撮像部を使用するため、動画撮像中の任意のタイミングで静止画の撮像が可能である。このとき単一の撮像部で撮像する場合と異なり、静止画を撮影するタイミングで動画の一部が欠けたり、あるいは、動画撮影中に記録する静止画のサイズが制約を受ける恐れが無い。本モードにおいて、静止画撮像はシャッターボタン３２押下のタイミングで実行され、動画の撮影開始、終了はシャッターボタン３２を押下することによって実行する。

本実施例では、シャッターボタン３２の操作により、単一の撮像部を備えた撮像装置の操作と同様の簡単な操作で複数の撮像部による撮像が可能であり、使い勝手のよい撮像装置を提供することができる。また、静止画撮影中にモニタが途切れずシャッターチャンスを逃すことが少ない、高速の撮影が可能になる等のメリットがある。

なお、本実施例では、撮影モードの具体例として通常撮影１、通常撮影２、同時撮影、高速連写、動画/静止画撮影の５つのモードについて説明したが、これら５つのモードの全てを備えていてもよいし、一部のモードを有していてもよい。

このように、本実施例は、複数の撮像部を備えた撮像装置において、予め設定可能な複数の撮影モードを設定する設定手段を設け、設定された撮影モードに応じて複数の撮像部を制御する手段と、操作手段とを設けた。これによって、操作手段による１回の撮影指示に対し複数の撮像部を連動して撮像することを可能とした。

言い換えれば、第１撮像部と、第２撮像部と、表示部と、画像信号処理回路と、制御回路と、操作部と、モード設定部と、記録部と、を有する撮像装置であって、第１撮像部と第２撮像部は所定間隔をもって同一方向を撮像するように配置され、画像信号処理回路は、第１撮像部が撮像した信号から第１の画像信号を生成し、第２撮像部が撮像した信号から第２の画像信号を生成し、第１撮像部が撮像した信号と第２撮像部が撮像した信号とから第３の信号を生成し、制御回路は、モード設定部からの入力により予め設定可能な複数の撮影モードに応じて、操作部による１回の撮像操作によって第１撮像部および第２撮像部と、画像信号処理回路と、記録部とを制御し、複数の撮影モードは、第１の画像信号を記録する撮影モードと、第１の画像信号と第２の画像信号を記録するモードと、第３の信号を記録するモードと、を含むように構成する。

これにより、簡単な操作で複数の撮像部を同時に制御して撮影することが可能となり、使い勝手のよい撮像装置を提供することができる。

本発明の他の実施例について説明する。本実施例における撮像装置の構成は図１に示した実施例１の場合と同様である。実施例１との相違点である撮影モードの内容について図７を用いて説明する。図７は、本実施例における撮影モードの一覧である。本実施例における撮影モードには測距、背景ぼかし、距離適応、ＨＤＲ、３Ｄの５つのモードがある。

測距モードは、第１撮像部で静止画や動画の撮像を行ない、第１撮像部、第２撮像部を用いて撮像した画像の中の各部の距離情報を算出する。算出した距離情報は第１撮像部で撮像した画像情報と共に記録する。距離情報は、第１撮像部と第２撮像部の視差情報を用いて、ステレオマッチング等の公知の手法により画素毎或いは複数の隣接画素からなる領域毎の距離情報として算出する。このようにして算出した距離情報は、撮像した画像データ共に画像ファイル内に、あるいは別ファイルとして記録する。別ファイルとして記録する３次元情報のファイルのファイル形式は任意であるが、例えば３Ｄプリント等に用いるＳＴＬ形式等のポリゴンデータに変換して記録してもよい。

この測距モードでは、撮影時、あるいは再生時に、画像上の任意の位置の距離情報を知ることができる。例えば、ユーザが画面上の任意のポイントをタッチパネル上で指定したときに、撮影位置から被写体まで等、指定したポイントまでの距離をディスプレイ上に表示するインターフェースを設けてもよい。

なお、この測距モードにおいて、記録する画像は第１撮像部により撮像した画像としたが、第１撮像部で撮像した画像に代えて第２撮像部で撮像した画像のみを記録してもよいし、第１、第２の撮像部で撮像した２つの画像を両方記録してもよい。

この測距モードでは第１撮像部または第２撮像部で撮像した画像を記録すると共に、第１撮像部と第２撮像部で撮像した２つの画像から、各画素あるいは画素領域に対応する距離情報を算出し記録する。このようにして撮影した画像の任意のポイントについて距離情報を知ることができる。なお、距離の測定方法については、レーザー光等の発光部と受光部を設け、発光から受光までの時間差により測距するアクティブ方式の測距を併用し、特に遠距離の測距精度を向上させてもよい。

次に、背景ぼかしモードについて説明する。このモードは、先に説明した測距モードと同様に第１撮像部及び第２撮像部で撮像した画像を用いて距離情報を計算する。この距離情報を用いて背景をぼかす処理を行なう。この処理の詳細について説明する。

図８は、図１における画像信号処理回路５の構成の一例を示すブロック図である。図８において、１００は静止画/動画信号処理回路、１０１は距離情報生成回路、１０２は距離ヒストグラム生成回路、１０３は遠距離画像処理回路、１０４近距離画像処理回路、１０５は画像ヒストグラム生成回路、１０６は合成回路、１０７は表示信号生成回路である。静止画/動画信号処理回路１００は第１あるいは第２撮像部が出力する静止画像データ、動画像データから記録用の静止画像データ、動画像データを生成する。静止画/動画信号処理回路１００は、制御回路６（図１）の制御に従い、メモリ１２（図１）に適宜画像データをバッファしながら信号処理を実行する。静止画/動画信号処理回路１００では被写体認識等の信号処理部を内蔵し、種々の被写体を認識したり、人物認識処理を行なってもよい。

距離情報生成回路１０１は、第１撮像部の撮像画像と第２撮像部の撮像画像から画素毎、あるいは隣接する複数の画素から構成される画素グループ単位で距離情報を生成する。距離情報を生成する際には、第１撮像部と第２撮像部において同一タイミングで撮像した画像を用いる。以下の説明において、第１撮像部において所定のタイミングで生成したフレーム画像を第１画像、第２撮像部において第１画像と同一タイミングで生成した画像を第２画像と呼ぶ。距離情報は第１画像と第２画像から公知の方法を用いて生成すればよい。一例として、第１画像と第２画像とから３角測量の原理により求めればよい。距離情報生成回路１０１の入力信号として、第１撮像部から入力された第１画像データと第２撮像部から入力された第２画像データとを入力する入力部を有している。また、距離情報生成回路１０１は、入力された第１、第２画像データのメモリ１２（図１）への読み出し、書き込みが可能な入出力インターフェースを備える。これによって、第１画像と第２画像の任意の画素に対し各種の処理が可能となる。ここでは、パターンマッチング処理により、第１画像の各画素が、第２画像のどの画素に対応するかを求める。第１撮像部と第２撮像部とは、一定の距離Ｂの間隔で光軸方向に対し平行に配置されており、第１画像における任意の画素ｐ１は、パターンマッチングにより求めた第１画像の任意の画素ｐ１に対応する第２画像の画素をｐ２としたとき、δの視差を含むものとする。距離情報生成回路１０１は、このδを画素毎に生成する。このとき、撮像部と被写体との距離Ｚは、三角測量の原理により、Ｚ＝Ｂ×ｆ÷δの関係から算出することができる。ここでｆは撮像部の焦点距離であり、第１撮像部と第２撮像部との焦点距離は等しいものとする。このようにして距離画像を画素毎に算出することにより第１画像の任意の画素の距離情報が得られる。

距離ヒストグラム生成回路１０２は、距離ヒストグラム、即ち距離に対し当該距離の画素数の情報、言い換えれば、距離に対する画素の頻度を算出する。図９に画像例、図１０にこの画像に対する距離ヒストグラムを示す。この画像は、被写体として人物１１１と遠景のビル１１２を含んでいる。図１０の距離ヒストグラムにおいて、１１１’は人物に対応する部分であって近距離にある。１１２’はビルに対応する部分であって遠距離にある。

静止画/動画信号処理回路１００は、画像データを所定の被写体距離に属する複数の信号群に分離する分離手段を有し、以降の遠距離画像処理回路１０３と近距離画像処理回路１０４によって距離に応じて異なる信号処理を施す。

遠距離画像処理回路１０３は遠距離にある部分画像の信号処理を行なう。本背景ぼかしモードでは、この遠距離画像処理回路１０３により背景に相当する遠距離画像に対し強めのローパスフィルタ処理を施す。画像ヒストグラム生成回路１０５は、例えば輝度に対しその輝度を有する画像内の画素数、あるいは画素の頻度を算出する。ＲＧＢ信号に対するヒストグラムを算出しディスプレイに表示できるようにしてもよい。

近距離画像処理回路１０４は近距離にある画像の部分の信号処理を行なう。本背景ぼかしモードでは、この近距離画像処理回路１０４により被写体に相当する、例えば人物等の近距離画像に対し被写体に適した任意の信号処理を施す。例えば、図１０の距離ヒストグラムにおいて、このようにして、遠距離画像処理回路１０３により、背景に相当する遠距離画像に対し強めのローパスフィルタ処理を施す。

近距離画像処理回路１０４と遠距離画像処理回路１０３によって距離に応じて異なる信号処理を施された画像を合成回路１０６によって合成し、表示信号生成回路１０７によりディスプレイ８（図１）に表示する表示用の画像を生成する。図１１に合成後の出力画像例を示す。１３０はディスプレイに表示される合成後の画像であり、１３１は人物に対応する部分である。１３２はビル等の背景に対応する部分であり、背景に相当するためフィルター処理によりぼかしている。

合成回路１０６には距離ヒストグラム生成回路１０２と画像ヒストグラム生成回路１０５の出力も接続されており、画像の表示だけでなく、距離ヒストグラムや画像ヒストグラムを単独で、または画像に重畳してディスプレイに表示することができる。このような表示は、ユーザがディスプレイに表示する表示内容を選択的に切り換えるためのメニューを表示し、ユーザが選択できるよう構成することにより実現できる。なお、画像ヒストグラムと距離ヒストグラムは別々に表示してもよいし、例えば横軸を距離、縦軸を輝度として色により画素数を表す等の方法により画像ヒストグラムと距離ヒストグラムを一体化して距離と輝度の２次元ヒストグラム表示としてもよい。

遠距離画像処理回路１０３、および近距離画像処理回路１０４におけるローパスフィルタの強度等の信号処理の強度や種類は、またこれらの信号処理を切り換えるヒストグラム上の距離は、距離ヒストグラム生成回路１０２によって算出するヒストグラムの形状により適応的に変化させても良い。また、静止画/動画信号処理内の人物認識処理と組み合わせ、人物被写体を検出したときと、人物が検出されないときとで処理を変化させてもよい。

なお、図８において遠距離画像処理回路１０３、および近距離画像処理回路１０４と２段階の距離に対し異なる信号処理が可能である構成としたが、３段階以上に分け距離に応じ他段階の異なる処理を行なえる構成としてもよい。

この背景ぼかしモードを用いることにより、人物被写体等の近景を浮き立たせ背景をぼかして撮影することができ、サイズの小さい撮像素子を用いた場合にもあたかも一眼レフカメラで撮影したかのような背景をぼかした画像を生成することができる。

次に、距離適応処理モードについて説明する。先に説明した背景ぼかしモードは人物被写体等の近景を浮き立たせ背景をぼかすものであるのに対し、距離適応処理モードは背景ぼかしをより汎用化したものである。ユーザの好みに応じ、背景ぼかしと同様の処理を含め、被写体の距離に応じて異なる処理を可能とし、近景をぼかす等の処理も可能とする。このため、ユーザが処理内容を変更できるようなインターフェースを設ける。

図１２は距離適応処理モードにおけるユーザインターフェースの画面表示例である。例えば、メニュー画面からユーザが図１２の画面を表示させるようなメニューを設けてこの画面を表示させるものとする。図１２において、８’はディスプレイの表示画面であり、表示画面には映像表示領域１４０、距離ヒストグラム表示領域１４３、特定距離の画像表示領域１４５の３つの領域を有している。入力画像は、先に説明した図９の画像と同一の画像である。映像表示領域１４０に表示されている画像は、信号処理後の画像である。距離ヒストグラム表示領域１４３には、図１０に示した例と同様に距離ヒストグラムを表示し、同時に選択枠１４４を表示する。この選択枠１４４は、ユーザによるタッチパネル操作により位置を変更可能とする。ここで選択された距離ヒストグラム領域上の位置に対応する画像を距離ヒストグラム表示領域１４３に表示する。距離ヒストグラム表示領域１４３において、人物に相当する近距離部分を選択枠１４４で選択しているので、特定距離の画像表示領域１４５には、人物部分の入力画像１４１’が表示されている。１４６は画質調整表示であり、ここでは画質調整項目の一例として、ぼかしのためのローパスフィルタの強度を調整するメニューを表示している。ユーザはタッチパネル操作により、ローパスフィルタの強度を調整でき、映像表示領域１４０により画質調整の効果を確認できる。なお、ローパスフィルタ以外に色の補正等の任意の画像処理のメニューを表示させてもよい。

図１３は、図１２が距離ヒストグラム表示領域１４３で人物部分を選択した場合の画面表示例であるのに対し、選択枠１４４’でビルを含む背景領域を選択している場合の画面表示例である。このため、特定距離の画像表示領域１４５にはビルを含む背景部分の入力画像１４２’が表示される。

この距離適応処理モードでは、画像上の被写体距離に応じて分離可能な任意の領域毎に、ユーザが好みに応じた処理を施すことができ、背景ぼかしに加え、被写体の色を補正したり近景をぼかしたりすることが可能となる。このモードにおいても、背景ぼかしと同様、処理は距離に応じて２段階ではなく他段階としてもよい。また、ユーザインターフェースにおいて、処理前の画像と処理後の画像を並べて表示し、画像処理の効果をより比較しやすいようにしてもよい。また、距離ヒストグラムを表示せずに距離を選択するようにしてよい。

図７において、ＨＤＲ（High Dynamic Range）は第１撮像部と第２撮像部とで異なる撮像条件で撮像した画像を合成し、黒つぶれや白飛びの少ない画像を生成するモードである。なお、ここで撮像条件とは、撮影環境を意味するものではなく、シャッター速度、絞り、ＩＳＯ感度等、撮影に関する撮像装置の設定条件を意味する。

露光時間を長くすると、一般にＳ／Ｎの良い画像が得られるが、飽和しやすく高輝度部の再現性が悪くなりやすい。露光時間を短くすると一般に高輝度部の再現性の良い画像が得られるが、低輝度部のＳ／Ｎが悪くなりやすい。そこで、このＨＤＲモードでは第１撮像部と第２撮像部とで露光時間の異なる画像を撮像する。例えば第１撮像部で高速シャッター、第２撮像部で低速シャッターに設定、あるいは第１撮像部の絞り値を大きく、第２撮像部の絞り値を小さく、あるいは第１撮像部のＩＳＯ感度を高く、第２撮像部のＩＳＯ感度を低くし、あるいはこれらの組み合わせを変えてダイナミックレンジの大きい画像とダイナミックレンジは小さいがＳ／Ｎの良い画像を第１撮像部と第２撮像部の各々で撮像し合成する。合成する際には画像ヒストグラムに応じ、低輝度部と高輝度部とで共に輝度、色の再現性とＳ／Ｎのバランスがよく実効的にダイナミックレンジの広い画像を生成するものである。

単一の撮像部のみを有する撮像装置において、露光時間を変化させた画像を連続して撮像し合成することも可能であるが、被写体に動きがある場合、露光時間の異なる連続した画像に変化が生じ、２重像となりダイナミックレンジ拡大の効果が得られない場合が発生しやすい。これに対し本実施例では第１撮像部と第２撮像部とで同時に撮像できるので、ダイナミックレンジ拡大でき、この際に２重像が生じにくい効果がある。

なお、本実施例において図７を用いて説明したが、これらのモードの全てを搭載した撮像装置であってもよいし、これらのうちの一部のモードを有する撮像装置であってもよい。また、これらもモードを組み合わせたモードであってもよい。例えば、背景ぼかしとＨＤＲとを組み合わせることも可能である。第１撮像部で高速シャッター画像と低速シャッター画像を連続して撮像し合成することで公知のダイナミックレンジ拡大処理を行ないつつ、第１撮像部と第２の撮像部から得られる距離情報を用いて背景ぼかしを行なうことができる。さらに、実施例１において説明した図４に記載のモードを適宜組み合わせてもよい。

次に、３Ｄモードは第１撮像部で右眼用、第２撮像部で左眼用の画像を記録するモードである。この３Ｄモードで撮影した画像を撮影、あるいは再生するときに、ディスプレイ８に第１撮像部の右眼用画像と、第２撮像部の左眼用画像を左右に並べて表示し、左眼で左眼画像のみ、右眼で右眼画像のみを見ることができるよう左右の画像の干渉を防ぐ専用のビューアをディスプレイ上に装着して３Ｄ画像を観賞できるようにしてもよい。

以上のように、本実施例は、実施例１と同様に、操作手段による１回の撮影指示に対し複数の撮像部を連動して撮像することを可能とし、簡単な操作で複数の撮像部を同時に制御して複数の撮影モードで撮影することが可能となり、使い勝手のよい撮像装置を提供することができる。

本発明の他の実施例について説明する。本実施例における撮像装置の構成は図１に示した実施例１の場合と同様である。実施例１、２との相違点である撮影モードの内容について図１４を用いて説明する。本実施例における撮影モードにはプログラムＡＥ、絞り優先、シャッター優先、デュアル、マニュアルの５つのモードがある。

プログラムＡＥモードは、第１撮像部と第２撮像部において、各々異なる２つのプログラム線図に従って撮影する撮影モードである。このときのプログラム線図は任意である。複数のプログラム線図からユーザが２つを選択できるようにしてもよい。なお、このモードにおいて、第１撮像部と第２の撮像部においてフォーカスモードや、タイマーの設定は個別に設定できるようにしてもよく、例えば第１撮像部をマニュアルフォーカス、第２撮像部をオートフォーカスとしたり、第１撮像部をタイマー設定なし、第２撮像部をタイマー設定し、第１撮像部のシャッターボタンオンによる撮影の後、タイマー設定による所定時間の後に第２撮像部により撮影することが可能となる。

絞り優先モードは、第１撮像部と第２撮像部において、各々異なる２つの絞り優先ＡＥに従って撮影する撮影モードである。２つの異なる絞り値で同時に撮影することができる。

シャッター優先モードは、第１撮像部と第２撮像部において、各々異なる２つのシャッター優先ＡＥに従って撮影する撮影モードである。２つの異なるシャッター速度で同時に撮影することができる。

デュアルモードは、第１撮像部と第２撮像部において、プログラムＡＥ、絞り優先、シャッター優先、マニュアルの各々異なる２つの動作モードに従って撮影する撮影モードである。例えば、第１撮像部で絞り優先、第２撮像部でシャッター優先に設定して同時に撮影する等、プログラムＡＥ、絞り優先、シャッター優先、マニュアルの中から任意に選択した２つのモードの組み合わせにより同時に撮影することができる。

マニュアルモードは、第１撮像部と第２撮像部において、２種類の異なるマニュアル設定によって撮影条件を設定して同時に撮影するモードである。設定可能な撮影条件は任意であり、ＩＳＯ感度、絞り値、シャッター速度の他、フォーカスやタイマー、画質や特殊効果等の設定が可能である。

本実施例によれば、撮影条件の異なる２種類の撮影モードでの撮影が可能であり、所望の写真が撮影できる頻度を高めることができる。

本実施例において、第１撮像部と第２撮像部の設定を個別に行なう際のメニュー画面の一例を図１５に示す。８００〜８０４は第１撮像部の設定項目であり、順番にＩＳＯ感度、絞り値、シャッター速度、タイマー、ストロボの各設定メニューである。例えば、タッチパネル操作によって所望の項目を選択し、各々の項目の設定を変更可能とすればよい。同様に８０５〜８０９は第２撮像部の設定項目であり、第１撮像部と第２撮像部とで異なる設定を可能としている。マニュアルモードにおいては全ての設定項目の設定が可能であるが、モードに応じ可能な項目は自動的に設定される。例えば、絞り優先モードでは絞り値の設定が可能であるが、シャッター速度の設定は自動で行なわれるため手動設定は受付ないようにする。

なお、本実施例において図１４を用いて説明したが、これらのモードの全てを搭載した撮像装置であってもよいし、これらのうちの一部のモードを有する撮像装置であってもよい。さらに、実施例１、実施例２において説明した図４や図７に記載のモードを組み合わせてもよい。

以上、説明した実施例１から実施例３において、静止画、あるいは動画を撮影する際のモニタリング時の画面表示の例を図１６により説明する。図１６（Ａ）は一画面表示であり、第１撮像部または第２撮像部のうちの一方の画像を表示するものである。図１６（Ａ）において、８はディスプレイ、９２はモード表示ボタンであり、現在設定されているモード名をＯＳＤ表示する。９３はカメラ設定ボタンであり、これを選択すると、図８のメニュー画面を表示する。この選択操作は、例えばディスプレイ８に内蔵されたタッチパネルによって行なう。９４は画面切替ボタンであり、１画面表示における第１撮像部と第２撮像部、及び２画面表示との切替えを行なう。１画面表示時における第１撮像部、第２撮像部の切り替えと、１画面表示２画面表示の切り換えは同一ボタンを押下することで順に切り替えるようにしてもよいし、１画面表示時における第１撮像部、第２撮像部の切り替えと、１画面表示と２画面表示の切り替えは異なる操作ボタンにより行なうようにしてもよい。

図１６（Ｂ）は２画面表示であり、第１撮像部と第２撮像部の画像を２画面同時に表示するものである。撮像モードに応じて１画面表示のみを行なうか、１画面表示と２画面表示の選択ができるかを切り替えるようにしてもよい。例えば、図４の通常撮影１では第１撮像部のみ有効であるため、１画面表示のみで良い。このとき画面切り替えボタンの表示はしない。一方、図１４の各モードは第１撮像部、第２撮像部の両方を使用するので、画面切り替えボタンを表示する。このように、撮影モードによって１画面表示と２画面表示を選択的に切り替えるにすることで使い勝手が向上する。

以上のように、本実施例は、実施例１や２と同様に、操作手段による１回の撮影指示に対し複数の撮像部を連動して撮像することを可能とし、簡単な操作で複数の撮像部を同時に制御して複数の撮影モードで撮影することが可能となり、使い勝手のよい撮像装置を提供することができる。

本実施例は、ハード的に異なる構成の第１撮像部と第２撮像部を用いた実施例について説明する。すなわち、実施例１から実施例３においては、第１撮像部と第２撮像部が基本的に同様のハード構成であるのに対し、本実施例は、第１撮像部と第２撮像部とで異なるハード構成としたものである。

図１７は、本実施例における撮像形態の説明図である。図１７は、図４，７，１４と同様に２つの撮像部の動作と、記録画像、各モードにおける制御の概要を記載している。図１７に記載の撮影形態として、撮像/認識、可視/近赤外、テレ/ワイド、パノラマ、ＯＬＰＦ有無の５つの撮影形態があり、各々以下説明する。

まず、撮像/認識撮影形態では、第１撮像部において通常の撮像を行い、第２撮像部において画像認識処理を行なう。第２撮像部において、ＡＥ、ＡＦ、ＡＷＢ等検波を行なってもよい。第２撮像部を位相差ＡＦ専用センサとして用いても良い。本撮影形態では、実施例１の通常撮像モードと同様の効果が得られる。

次に、可視/近赤外撮影形態では、第１撮像部において可視光の撮像を行い、第２撮像部において近赤外光、あるいは近赤外光から赤外光の撮像を行なう。画像信号処理回路５において第１撮像部と第２撮像部の撮像信号を合成する。第１撮像部において可視光の撮像を行なうので色再現性の良い画像が得られ、第２撮像部において近赤外光、あるいは近赤外光から赤外光の撮像を行なうので高感度の映像が得られる。本撮影形態では、色再現性と高感度を両立できる効果がある。

次に、テレ/ワイド撮影形態では、第１撮像部と、第２撮像部において焦点距離の異なるレンズを用いて撮像する。あるいは、電子ズームとレンズとの組み合わせによって、第１撮像部と、第２撮像部とで等価的に焦点距離の異なる画像を撮像する。記録の際には、第１撮像部と第２撮像部で撮像した各々の画像を記録する。第１撮像部と第２撮像部において同じタイミングで撮影した画像は、関連付けて記録してもよい。本撮影形態においては、焦点距離の異なるレンズを用いて、あるいは電子ズームとレンズとの組み合わせによって等価的に焦点距離の異なる２つの画像を同時に撮像できるので、広角の画像と狭角の画像あるいは撮影シーン全体と特定部分の画像を同時に撮影できる効果がある。

次に、パノラマ撮影形態では、第１撮像部と第２撮像部とを用いて、単一の撮像部で撮影する場合よりも広角の撮像を行なうものであり、ここではパノラマと呼ぶ。第１撮像部と第２撮像部とで撮像範囲が接するか、一部撮像範囲が重複するように第１撮像部と第２撮像部とを配置する。例えば、第１撮像部において左側９０度、第２撮像部において右側９０度の範囲を撮像し、各撮像範囲が接するように水平に撮像部を設置する。撮像した第１撮像部と第２撮像部の映像を画像信号処理回路にて合成することで１８０度の広角の撮像を可能とするものである。本撮影形態では、効果がある。広角のパノラマ画像を１回の撮像で生成できる効果がある。

最後に、ＯＬＰＦ有無撮影形態では、第１撮像部において光学ローパスフィルタを備えた撮像部を用い、第２撮像部において光学ローパスフィルタの無い撮像部を用いて、第１撮像部と第２撮像部において同時に撮像する。第１撮像部と第２撮像部と撮像した画像は別々に記録する。光学ローパスフィルタを用いて撮像すると、撮像時に光学像を画素によってサンプリングする際に生じる折り返しノイズを除去できる。これにより細かい絵柄の被写体を撮影したときに発生する所謂モアレを低減できる。但し、光学ローパスフィルタを用いることにより光学ローパスフィルタの特性により解像度が減少する問題がある。一方、光学ローパスフィルタの無い撮像部を用いて撮像すると、被写体によってはモアレが発生するが、高解像度の画像を得られるメリットがある。本撮影形態では、モアレの少ない画像と高解像度の画像を同時に撮像できるため、被写体に応じより撮影者の意図する撮像画像を選択することができる効果がある。

なお、本実施例のそれぞれの撮影形態において、実施例１から実施例３の内容を組み合わせてもよい。

図１８は本実施例における撮像装置の一例を示す外観図であり、（Ａ）は背面図、（Ｂ）は正面図である。図３と異なる点は、図３においてレンズ部２ａとレンズ部２ｂとを横方向に配置しているのに対し、図１８においては縦方向に配置している点である。レンズ部２ａを固定式、レンズ部２ｂを着脱式のレンズとしてもよい。

図１９は本実施例における撮像装置の他の一例を示す外観図であり、背面図を示している。図２と異なる点は、図２においてレンズ部２ａとレンズ部２ｂとを横方向に配置しているのに対し、図１９においては縦方向に配置している点である。同様に、レンズ部２ａとレンズ部２ｂとで、異なる焦点距離の異なる撮像部を用いても良い。図１８と同様にレンズ部２ａを固定式、レンズ部２ｂを着脱式のレンズとしてもよい。

レンズ部２ａと２ｂを縦方向に配置する場合、２つの撮像部の水平視差が生じないメリットがある。但し、３Ｄ撮像やパノラマ撮像等、２つの撮像部に視差を設けたい場合には適さない。

以上のように、本実施例は、実施例１と同様に、操作手段による１回の撮影指示に対し複数の撮像部を連動して撮像することを可能とし、簡単な操作で複数の撮像部を同時に制御して複数の撮影形態で撮影することが可能となり、使い勝手のよい撮像装置を提供することができる。

本実施例は、撮像装置の他の外観を説明する実施例である。

図２０は本実施例における撮像装置の一例を示す外観図であり、背面図を示している。図１９と異なる点は、レンズ部を２つから３つに増やした点である。レンズ部に対応し、撮像部も撮像部３ａ、３ｂ、３ｃ（図面は省略する）の３つが必要となる。例えば、実施例１から実施例４で説明した動作をレンズ部２ｂと２ｃで行い、レンズ部２ａにおいて、通常の撮影を行なう。レンズ部２ａによる静止画や動画の撮像と、レンズ部２ｂと２ｃによる距離検出や認識処理を独立に行なうことができ、より高速で高性能な撮像が可能となる。

以上、説明したように、本実施例では、複数の撮像部を備えた撮像装置において、撮像部の制御に関する設定を複数の撮像部個別に設定する手段と、複数の撮像部を連動制御する手段と、操作手段とを設けた。これによって、操作手段による１回の撮影指示に対し、複数の撮像部を連動して撮像することを可能とした。

図２１は、本実施例における撮像装置の構成を示すブロック図である。図２１において、図１と同様の機能は同じ符号を付し、その説明は省略する。図２１において図１と異なる点は、画像音声信号処理回路２０と、マイク１６と、スピーカ１７と、近接センサ１８を有し、レンズ部２ａとレンズ部２ｂは各々焦点距離の異なるレンズである点である。レンズ部２ａとレンズ部２ｂの焦点距離は任意であるが、レンズ部２ａに対しレンズ部２ｂは狭角、レンズ部２ｂに対しレンズ部２ａは広角である。また、撮像部３ａと３ｂのサイズ、画素数等のスペックは同一であっても異なるものでもよいが、撮像部３ａは広角画像の撮像部、３ｂは狭角画像の撮像部である。

画像音声信号処理回路２０は、図１の画像信号処理回路５の画像処理以外に音声信号処理機能も備えており、マイク１６からの音声入力に対し符号化等の所定の音声信号処理を行なう。また符号化された音声信号を復号化し、スピーカ１７から出力する。

制御回路６は、図１で説明した機能に加え、近接センサ１８が接続されており、動作モードに応じて、接続されている近接センサ１８の制御を行う。また制御回路６は、画像音声信号処理回路２０を経由し、または直接的にディスプレイ８、符号化復号化回路１５、記録再生回路１０を制御する。

このように、本実施例では、制御回路６により、ユーザ操作により予め設定した動作モードに応じ、符号化復号化回路１５は撮像部３ａ、３ｂ、画像音声信号処理回路２０、ディスプレイ８、記録再生回路１０等を制御する。このような制御によって、撮像部３ａと撮像部３ｂとを独立に制御して撮像したり、撮像部３ａと撮像部３ｂとを連携して撮像したり、撮像部３ａと撮像部３ｂとを同時に制御して静止画や動画の同時撮影を行なったり、一方の撮像部で動画撮影、記録中にもう一方の撮像部で静止画撮影を行なったり、また同時に動画を撮影したりすることが可能となる。また、撮像部３ａにおいて撮像した画像信号や、撮像部３ｂにおいて撮像した画像信号や、撮像部３ａと撮像部３ｂとにおいて撮像した画像信号を合成して生成した画像信号のいずれかを表示、あるいは記録するように制御することができる。

本実施例における撮像装置の一例を示す外観図は、例えば、図１８で示したように、レンズ部２ａ、２ｂを縦に配置し、背面側にはタッチパネルを一体化したディスプレイ８が配置されている構成である。そして、レンズ部２ａ、２ｂは、各々ほぼ同一の光軸方向を持つように所定間隔で配置する。なお、レンズ部２ａ、２ｂは、横並びとしてもよいし、固定式としてもよいし、着脱式としてもよい。また、ユーザ操作は先に説明したタッチパネルによって行なうもの以外に、例えばシャッターボタン等のハードウェアによる操作手段を設けてもよい。

次に、本実施例における撮影モードの詳細について説明する。図２２、図２３は、本実施例における撮影モードの一覧であり、図２２は通常撮影モードの一覧、図２３は同時撮影モードの一覧である。図２２の通常撮影モードは、撮像部３ａと３ｂのいずれか一方で撮影するモードであり、モード１の静止画撮影モード、モード２の動画撮影モードがある。図２３の同時撮影モードは、撮像部３ａと３ｂで広角画像と狭角画像を同時に撮影する動作モードであり、モード３の動画静止画同時撮影、モード４の静止画同時撮影、モード５の動画同時撮影がある。図２２、図２３の表は、左端縦の列に上から撮影モード、広角撮像部、狭角撮像部、動作を記載し、撮影モード１から５について、狭角撮像部と広角撮像部で撮影する静止画、動画の区別と各モードの動作の概要を記載したものである。

先ず、図２２のモード１の静止画撮影モードについて説明する。このモードは、２つの撮像部３ａまたは３ｂのいずれかを用いて広角または狭角の静止画を撮影するモードである。いずれの撮像部を用いるかはズーム操作によって設定されるズーム倍率に依存する。ズームにはズームレンズによりズームする光学ズームと、信号処理によって拡大処理を行なう電子ズームとがあり、両方式の組み合わせを含めいずれの方式を採用してもよいが、以下の説明ではレンズ部２ａと２ｂは固定焦点のレンズとし、ズーム処理は電子ズームによるものとする。広角のレンズ部２ａと狭角のレンズ部２ｂの焦点距離を各々fa、fbとする。広角の方が焦点距離が小さいためfa＜fbである。焦点距離faの状態をズーム倍率１倍とし、撮像部３ａによる電子ズーム倍率をMaとすると、１≦Ma＜（fb/fa）の範囲で電子ズーム倍率を設定すればよい。また、狭角の撮像部３ｂによる電子ズーム倍率をMbとすると、１≦Mb＜Mmの範囲で電子ズーム倍率を設定すればよい。ここでMmは撮像部３ｂに対する電子ズーム倍率の最大値である。Mmの値は任意であるが、電子ズーム倍率を大きくすると解像度が低下するので、画質の許容範囲で最大値Mmを決定すればよい。

図２４に、広角撮像部３ａを基準にズーム倍率を定義した場合の焦点距離とズーム倍率の関係を示す。図２４に示すように、焦点距離fをfa≦f＜fbの範囲でズームする場合は広角撮像部３ａで撮像する。この間、広角撮像部３ａの電子ズーム倍率Maを上記の範囲で制御する。焦点距離ｆをfb≦f＜fｍの範囲でズームする場合は、狭角撮像部３ｂで撮像する。この間、狭角撮像部３ｂの電子ズーム倍率Mbは上述の範囲で制御する。このときのズーム倍率を広角撮像部の焦点距離faの場合をズーム倍率の基準（１倍）とすると、広角撮像部で１倍からfb/fa倍、狭角撮像部でfb/fa倍からfm/fa倍まで連続的にズームすることができる。例えば、３５ｍｍ換算で表した焦点距離faを２０ｍｍ、fbを５０ｍｍとすると広角撮像部の電子ズームは１倍から２．５倍の範囲で制御すればよい。fmを例えば２００ｍｍ相当とすると、狭角撮像部に対する電子ズームは１倍から４倍の範囲で制御すればよく、広角撮像部と狭角撮像部を合わせたズーム倍率は最大１０倍となる。以上の説明では、ズームは電子ズームによるものとしたが、ズームレンズを用いて光学ズームを採用してもよい。

図２５は、モード１の静止画撮影モードにおける１画面表示の説明図であり、図２５（Ａ）は撮像部３ａで撮像した広角画像、図２５（Ｂ）は撮像部３ｂで撮像した狭角画像を表示した場合の例である。図２５（Ａ）と（Ｂ）において８はディスプレイ画面である。５２は被写体の人物である。５３から５６は撮影モード設定アイコンであり、５３は静止画撮影モードアイコン、５４は動画撮影モードアイコン、５５は動画同時撮影モードアイコン、５６は静止画同時撮影モードアイコンである。ユーザが所望の撮影モードアイコンをタッチすることにより、撮影モードを設定することができる。この設定は、タッチパネルによるユーザ操作を制御回路６（図２１）が検出し、撮像部３ａ、３ｂ、インターフェース回路４、画像音声信号処理回路２０を制御することによって行う。図２５の例では、静止画撮影モードアイコン５３が選択されており、選択されたモードのアイコンを輝度を上げる等、どのアイコンが選択されているか判別可能であるように、選択されていないモードのアイコンと区別して表示する。５００は静止画撮影ボタンであり、撮影するときにこのボタンをタッチして撮影、記録する。撮影前の準備状態では、既に説明したとおり撮像部３ａまたは３ｂで撮影中の動画像をディスプレイ上の画像表示部５０にリアルタイムで表示する。図２５（Ａ）において５１は狭角画像領域を表す枠であり、広角画像をモニタしながら、狭角画像の撮影画角を把握できる。なお、狭角画像領域５１を表す枠は、表示させないように切り替えてもよい。また、狭角画像を子画面表示させてもよい。また６０１は再生モードボタンであり、後述する再生モードに移行する際にこのボタンをタッチする。

図２５（Ａ）と（Ｂ）の広角画像表示と、狭角画像表示の切り替えは、ディスプレイ上の画角切り替えボタン５０１または５０２をタッチすることによって切り換える。また、ズーム操作はタッチパネルのピンチイン、ピンチアウトによって行なう。連続的なズーム操作の場合はピンチイン、ピンチアウト、広角画像と狭角画像を瞬時に切り換える場合には画角切り替えボタン５０１、５０２を用いればよい。

図２５（Ｂ）の狭角画像表示において、５８は広角撮影領域であり、狭角画像の上に縮小して重畳表示する。静止画を撮影する場合は、図２５（Ａ）の広角画像表示の場合と同様、シャッターボタンをタッチすることによって狭角画像を撮影、記録する。なお、シャッターボタンの操作は、タッチパネルの押圧を検出することによって２段階の制御を行い、押圧が弱いときにはシャッターボタンの半押し状態、押圧が所定の値以上になったときに全押し状態と判定し、半押し状態で露光制御やフォーカス制御、全押し状態で撮影動作を行なう構成としてもよい。

このモード１の静止画撮影モードでは、画角切り換えボタンやピンチイン、アウトによるズーム操作によって、自動的に撮像部３ａまたは３ｂを切り換えて撮影するので、ユーザは、単一の撮像部を備えたカメラと同様の感覚で装置を操作でき、使い勝手がよい。

次にモード２の動画撮影モードについて説明する。図２６は、動画撮影モードにおける１画面表示の説明図であり、図２６（Ａ）は撮像部３ａで撮像した広角画像、図２６（Ｂ）は撮像部３ｂで撮像した狭角画像を表示した場合の例である。図２５が静止画撮影モードであるのに対し、図２６の場合が動画を撮影するモードである相違点を除けば、広角画像と狭角画像の切り換えや、ピンチイン、ピンチアウトによるズーム操作等は、図２５の静止画撮影モードの例とほぼ同様である。本動画撮影モードにおいては、撮影モード設定アイコンは、動画撮影モードアイコン５４が選択されている。動画撮影を行なう場合には、動画撮影ボタン６００をタッチする。動画撮影ボタン６００がタッチされると、静止画撮影の場合と同様、制御回路６がこれを検出し、撮像部、信号処理部等の制御を行ない、動画像の撮像、信号処理、記録等の動作が実行される。なお、動画撮影ボタン６００は、図２５の静止画撮影ボタン５００の縁を変えることで区別表示している。

図２７は、動画撮影モードにおける表示画面であり、広角画像の記録中の表示画面を示したものである。図２７（Ａ）が広角画像の画面、図２７（Ｂ）が広角画像撮影中に画角切り換えボタン５０１により狭角画像表示に切り換えた場合の画面表示例である。図２７（Ａ）は、動画記録中の画面であるため、動画撮影終了ボタン７００が表示されている。また、７０は経過時間表示であり、撮影開始からの経過時間を表示する。動画の撮影、記録を終了する際には動画撮影終了ボタン７００をタッチする。なお、図２７（Ｂ）の狭角画像表示においては、狭角画像の記録は実行されていないので、動画撮影終了ボタンは表示されない。但し、静止画の撮影は可能であり、静止画撮影ボタン５００をタッチすることにより、広角画像の動画撮影、記録中に、狭角画像の静止画撮影が可能である。また、このとき、図２７（Ａ）と同様の広角画像表示を縮小した広角画像の縮小画像７０１を重畳表示し、広角の動画を撮影中であることがわかるようにする。また、５０３は、表示されている画面がどのモードかを示すための表示モードアイコンであって、図２７（Ａ）の場合は、動画撮影モードであることを示し、図２７（Ｂ）の場合は、狭角画像の静止画撮影が可能な静止画撮影モードであることを示している。

図２７（Ａ）の広角画像の動画撮影中の画面において、ピンチアウト操作によってズームアップした場合、電子ズーム処理が実行され、操作に応じズームした状態で撮影、記録が継続される。さらにズームアップし、狭角画像の焦点距離相当のズーム倍率に達した場合（図２４の点Ｂ）２つの動作が考えられる。１つは広角画像の撮像部３ａによる撮像を継続する動作であり、もう１つは狭角画像の撮像部３ｂに動画撮影動作を引き継ぎ、記録を継続するものであり、いずれの方法を採用してもよい。

図２７（Ａ）において、広角動画記録中に広角静止画の撮影、記録することも可能である。但し、広角動画の撮影、記録中であるため、記録する静止画の画像サイズ等については制約を受ける。これに対し、狭角撮像部では撮影、記録動作を行なっていないので、広角動画記録中に高画質の狭角静止画の撮影、記録が可能である。

図２８は、動画撮影モードの表示画面であり、図２７が広角画像記録中の表示画面であるのに対し、図２８（Ａ）は狭角画像記録中の表示画面を示したものである。狭角画像の記録を終了する際には動画撮影終了ボタン７００をタッチすればよい。画角切り換えボタン５０２により図２８（Ｂ）の画面に切り替え、広角画像を表示することができる。図２８（Ｂ）の広角画像は録画中ではないので動画撮影終了ボタンは表示されない。但しこのとき、狭角画像の動画撮影中の広角画像の静止画撮影が可能である。

以上説明したモード２の動画撮影モードでは、広角動画の撮影、記録中に狭角静止画を任意のタイミングで撮影可能であり、また同様に狭角動画の撮影、記録中に広角静止画を任意のタイミングで撮影可能である。このように動画の撮影、記録中に静止画の撮影が可能であり、この動画撮影モードは、図２３に記載のモード３の動画静止画の同時撮影モードを兼ねている。

なお、動画撮影中に撮影した静止画は、再生時に関連付けて再生する場合のために、グループ化しておくことが望ましい。このため、記録する動画、静止画ファイルに同グループに属することを示す情報を記録したり、また静止画を撮影したタイミングを情報を動画像に記録してもよい。

次に、図２３に記載のモード４の静止画同時撮影モードについて説明する。図２９は、静止画同時撮影モードにおける表示画面の説明図である。図２９（Ａ）、（Ｂ）において静止画同時撮影モードアイコン５６が選択されている他、画面表示の内容は図２５の静止画撮影モードと同様である。静止画撮影モードにおいてシャッターボタンをタッチして撮影すると、広角、または狭角の静止画のいずれかを撮影するのに対し、この静止画同時撮影モードにおいては、１回のシャッターボタン操作で、広角と狭角の静止画の両方を同時に撮影し、記録することができる。なお、同時に撮影した広角、狭角の静止画は、再生時に関連付けて再生する場合のために、グループ化しておくことが望ましい。このため、記録する動画、静止画ファイルに同グループに属することを示す情報を記録してもよい。

なお、モード１の静止画撮影モードと、モード４の静止画同時撮影モードの２つのモードの表示画面が似通ったものであると、ユーザにとってどちらのモードに設定されているかわかりにくい。そこで、撮影モードアイコン以外に、例えば２つのモードでシャッターボタンの形状やシャッター音を相違させる等により、現状の設定モードを認識しやすくしてもよい。また、記録、再生を高速化するため、記録再生回路と記録媒体を複数設け、広角の静止画と狭角の静止画とを異なる記録媒体に記録するようにしてもよい。

図３０は、静止画同時撮影モードにおける２画面表示の説明図である。この表示方法は、図２９（Ａ）と図２９（Ｂ）の広角画像、狭角画像の夫々の画面を２画面並べて同時に表示したものである。この表示は、例えば図２９（Ａ）の画面において狭角画像領域５１をタッチし、画面の端に移動したときに図３０（Ａ）の２画面表示に移行する、あるいは専用の表示切替ボタン（図省略）を設ける等の方法により切り替え表示可能とすればよい。

図３０（Ａ）は、画像が縦長の表示となっているのに対し、図３０（Ｂ）は本来の画像のアスペクト比で縮小表示したものである。このとき表示スペースに関連撮影情報を表示してもよい。図３０（ｂ）では、関連撮影情報表示として焦点距離表示２１０、露光レベル表示２１１、水準器表示２１２を表示しているが、その他の任意の撮影情報を表示してもよい。

図３１は、図２３に記載のモード５の動画同時撮影モードにおける１画面表示の説明図である。図３１（Ａ）は広角画像の表示画面、図３１（Ｂ）は狭角画像の表示画面である。モードアイコンは、動画同時撮影モードアイコン５５を選択する点、動画撮影ボタン６００をタッチし動画撮影、記録を開始する点を除き、画面表示の内容は図２９の静止画同時撮影モードの表示とほぼ同様である。この撮影モードでは、動画撮影ボタン６００をタッチし動画撮影すると、広角撮像部３ａと狭角撮像部３ｂの両方の撮像部で広角動画と狭角動画を同時に撮影し記録する。また、記録、再生を高速化するため、記録再生回路と記録媒体を複数設け、広角の動画と狭角の動画とを異なる記録媒体に記録するようにしてもよい。

図３２は、動画同時撮影モードにおける動画同時録画中の表示画面であり、図３２（Ａ）は広角画像の表示画面、図３２（Ｂ）は狭角画像の表示画面である。なお動画録画中の静止画撮影も可能である。但し、広角、狭角いずれの撮像部も動画撮影動作中であり、撮影する静止画のサイズやタイミングは制約を受ける。

図３３は、図２３に記載のモード３の動画静止画同時撮影モードにおける１画面表示の説明図である。動画静止画同時撮影モードは、図２７、図２８を用いて動画撮影モードの中の動作として既に説明したが、それに対し図３３は動画静止画同時撮影モード専用のアイコン５７を設けた例である。このように動画静止画同時撮影専用のモードを設ける場合は、動画撮影モードの中の静止画撮影機能は省略してもよい。

以上説明した実施例において、図２２及び図２３に示した５つの撮影モードを有する撮像装置について説明したが、これら全ての撮影モードを備えていなくてもよく、例えば静止画に関連するモード１の静止画撮影モードとモード４の静止画同時撮影モードのみでもよいし、モード１，２，３，４を備える等、これらの５つのモードの１つ以上を有するものであればよい。

次に、本実施例の再生モードについて説明する。図３４は本実施例における再生モード画面表示の説明図である。再生モード画面を表示するには、例えば、図２５等の撮影モード画面から再生モードボタン６０１をタッチし、制御回路によってこれを検出して再生モードに移行すればよい。図３４（Ａ）において１５０、１５１、１６０〜１６４等はサムネイル画像であり、記録媒体に記録された複数の画像データの縮小データであるサムネイル画像を２次元上に配列し、表示したものである。なお、各画像の配列順序は、記録時刻順に行なうものとする。同図のサムネイル画像の絵柄は図示しないが、実際には各サムネイル画像が再生され、縮小画像として表示される。１５２は静止画アイコン、１５３は動画アイコンであり、各サムネイルに対応する画像データが静止画か動画かを表している。なお、図３４では、静止画か動画かを区別するためのアイコンをサムネイルに付加したが、静止画か動画かを区別することができるその他の表示方法を採用してもよい。

図３４（Ａ）の画面において、表示モードボタン１５４をタッチすることにより、図３４（Ｂ）の画面に切り換えることができる。図３４（Ｂ）において、１５６は静止画同時撮影モードアイコン、１５７は動画同時撮影モードアイコン、１５９は動画静止画同時撮影モードアイコンであり、各サムネイルに対応する画像が撮影された撮影モードを示すものである。図３４（Ｂ）のサムネイル１６６は、図３４（Ａ）の２つのサムネイル１６０，１６１に対応する。これらの画像は静止画同時撮影モードにおいて撮影された２枚の画像に対応する。同様に、図３４（Ｂ）のサムネイル１６７、１６９は、各々図３４（Ａ）のサムネイル１６２と１５１、１６４と１６５に対応する。

図３５は、本実施例における再生モード画面表示の他の表示方法の説明図である。図３５（Ａ）は、図３４（Ｂ）と同等の内容を表す別の表示方法であって、広角画像のサムネイル内に狭角画像の領域と、動画、静止画の区別アイコンを付加して表示したものである。図３４（Ｂ）におけるサムネイル画像１６６，１６７，１６９が図３５（Ａ）のサムネイル画像１７６，１７７，１７９に各々対応する。

図３５（Ｂ）は図３５（Ａ）のサムネイル画像１７７を選択すると、表示される、サムネイル画像１７７の画像に対応する広角動画の代表画面である。再生ボタン１８０をタッチすると、この広角動画を再生することができる。１８１が狭角画像領域を表す枠であり、狭角画像の再生ボタン１８２を表示し、ここをタッチすることで直接狭角の動画を再生できるようにしてもよい。なお、静止画でも同様に、まずは広角で表示し、狭角画像の再生ボタンにより狭角の静止画を再生する。

なお、図３４（Ｂ）、図３５（Ａ）において、各サムネイルに撮影モードを区別するアイコンを付加して表示したが、このような表示に代えて、例えば特定のサムネイルを選択したときにそのサムネイル画像の撮影モード情報を表示してもよい。

以上のように、本実施例は、広角画像の撮像部と、狭角画像の撮像部とを備えた撮像装置において、狭角または広角の静止画を撮影する第１の撮影モードと、狭角または広角の動画を撮影する第２の撮影モードと、狭角の静止画と広角の静止画とを同時に撮影する第３の撮影モードと、広角の動画と狭角の静止画を同時にまたは狭角の動画と広角の静止画を同時に撮影する第４の撮影モードとによって撮像動作を行なうように制御する。また、これらのユーザ設定によりこれらの撮影モードの選択を可能とする。

すなわち、狭角画像を撮像する第１の撮像部と、広角画像を撮像する第２の撮像部と、信号処理部と、制御部と、操作入力部と、記録部と、を有する撮像装置であって、信号処理部は、第１の撮像部が撮像した信号から第１の静止画データと第１の動画データとを生成し、第２の撮像部が撮像した信号から第２の静止画データと第２の動画データとを生成し、制御部は、操作入力部から入力された撮影モードに応じて第１の撮像部と、第２の撮像部と、信号処理部と、記録部とを制御し、撮影モードは、第１の静止画データまたは第２の静止画データを記録部に記録する第１撮影モードと、第１の動画データまたは第２の動画データを記録部に記録する第２撮影モードと、第１の動画データの記録中に第２の静止画データを記録部に記録するか、または第２の動画データの記録中に第１の静止画データを記録部に記録する第３撮影モードと、第１の静止画データと第２の静止画データを同時に記録部に記録する第４撮影モードを有するように構成する。

これにより、ユーザ設定により所望の撮影モードを選択することにより、簡単な操作で複数の撮像部を独立に、あるいは同時に制御して撮影することが可能となり、使い勝手のよい撮像装置を提供することができる。

図３６は本実施例における撮像装置の概観図である。図３６において、（Ａ）は背面図、（Ｂ）は右側面図、（Ｃ）は正面図である。撮像装置の背面側にはタッチパネルを一体化したディスプレイ８が配置されている。
本実施例における撮像装置の、実施例６との相違点は、レンズ部２ａ，２ｂにさらに２ｃを追加し、撮像部３ａ，３ｂにさらに３ｃを追加した点である。図３６において、レンズ部２ａ，２ｃは超広角のレンズであり、撮像部３ａと３ｃで撮像した画像を合成することにより、いわゆる全天球画像を生成することができる。本実施例では、広角画像の撮像部として撮像部３ａと３ｃで撮像した全天球画像を用い、狭角画像として撮像部３ｂで撮像した画像を用いるものである。その他の部分については実施例６と同様であり、説明を省略する。

図３７は本実施例における撮像装置の概観図である。図３７において、（Ａ）は背面図、（Ｂ）は右側面図、（Ｃ）は正面図であり、図３６と同様に、撮像装置の背面側にはタッチパネルを一体化したディスプレイ８が配置されている。

本実施例は、実施例７と同様、広角画像の撮像部として全天球型の撮像部を用いる。実施例７との相違点は、レンズ部２ｂを、図３７（Ｂ）に示すように本体の側面に設けた点である。本実施例の構成によれば、狭角撮像部のレンズが広角撮像部のレンズとほぼ９０度の方向となり、狭角撮像部で広角撮像部の死角を撮像しやすく、また広角撮像部の撮影の際に、撮影者が広角画像の撮影の障害になりにくいという利点がある。

また、ディスプレイ８は可動式としてもよい。図３８は、図３７のディスプレイを可動式とし、ディスプレイ８を可動部１８５に設置し９０度程度側面方向に回転させたもので、本体側面を左側から見た側面図である。このようにディスプレイを可動式とすることで、撮影操作が容易となる。また、電子ビューファインダー１８６を本体側面に設けてもよい。なお、レンズ部２ｂは電子ビューファインダー１８６の反対側側面に設ける。その他の部分については実施例６と同様であり、説明を省略する。

図３９は本実施例における撮影画面の説明図である。本実施例における撮影モードでは、実施例６において説明した撮影モードと同様の表示を行なえばよいが、図３９に示す２画面表示を行なってもよい。図３９（Ａ）において１９０は狭角画像の表示領域であり、１９２は全天空画像表示領域であり、広角画像の表示領域でもある。広角画像の表示領域には、撮像部３ａ，３ｃで撮像し、合成処理した全天空画像を表示する。また、１９０の狭角画像表示領域には、撮像部３ｂで撮像した狭角画像を表示する。全天空画像表示領域１９２における全天空画像の表示は、ドラッグ操作により全天空画像を任意の視点から見た映像に変換することを可能とする。全天空画像表示領域１９２において、１９０の狭角画像表示領域に対応する画像が表示されているときには、対応する狭角画像の領域を枠１９１で表示する。

図３９（Ｂ）は、図３９（Ａ）の全天空画像表示領域１９２をピンチアウト動作により拡大したときの表示例であり、例えば図３９（Ａ）の領域１９３を拡大し図３９（Ｂ）の１９５の領域に表示するものである。

以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。

１：撮像装置、２ａ，２ｂ，２ｃ：レンズ部、３ａ，３ｂ，３ｃ：撮像部、４：インターフェース回路、５：画像信号処理回路、６：制御回路、７：姿勢検出部、８：ディスプレイ、９：操作入力部、１０：記録再生回路、１１：記録媒体、１２：メモリ、１３：位置情報入力部、１４：無線通信部、１５：符号化復号化回路、１６：マイク、１７：スピーカ、１８：近接センサ、２０：画像音声信号処理回路、３１：モード設定ダイヤル、３２：シャッターボタン、３３：操作ボタン、３４：動画撮影ボタン、３５：電源スイッチ、５０：画像表示部、５１：狭角画像領域、５２：被写体、５３：静止画撮影モードアイコン、５４：動画撮影モードアイコン、５５：動画同時撮影モードアイコン、５６：静止画同時撮影モードアイコン、９２：モード表示ボタン、９３:カメラ設定ボタン、９４:画面切替ボタン、１４０：映像表示領域、１４１：人物部分の入力画像、１４２：背景部分の入力画像、１４３：距離ヒストグラム表示領域、１４４：選択枠、１４５：画像表示領域、１４６：画質調整表示、８００〜８０４：第１撮像部の設定項目、８０５〜８０９：第２撮像部の設定項目、１８６：電子ビューファインダー、１９０：狭角画像表示領域、１９２：全天空画像表示領域、５００：静止画撮影ボタン、５０１、５０２：画角切り替えボタン、６００：動画撮影ボタン、６０１：再生モードボタン、７００：動画撮影終了ボタン

インターフェース回路４は、撮像装置の動作モードに応じ撮像部３ａ、３ｂからの入力信号を画像信号処理回路５に出力する。この際、動作モードに応じ撮像部３ａ、３ｂで撮像した撮像信号の一方または両方を出力する。この動作は制御回路６によって制御する。

図３６は本実施例における撮像装置の概観図である。図３６において、（Ａ）は背面図、（Ｂ）は右側面図、（Ｃ）は正面図である。撮像装置の背面側にはタッチパネルを一体化したディスプレイ８が配置されている。
本実施例における撮像装置の、実施例６との相違点は、レンズ部２ａ，２ｂにさらに２ｃを追加し、撮像部３ａ，３ｂにさらに３ｃを追加した点である。図３６において、レンズ部２ａ，２ｃは超広角のレンズであり、撮像部３ａと３ｃで撮像した画像を合成することにより、いわゆる全天球画像を生成することができる。本実施例では、広角画像として撮像部３ａと３ｃで撮像した全天球画像を用い、狭角画像として撮像部３ｂで撮像した画像を用いるものである。その他の部分については実施例６と同様であり、説明を省略する。

図３９は本実施例における撮影画面の説明図である。本実施例における撮影モードでは、実施例６において説明した撮影モードと同様の表示を行なえばよいが、図３９に示す２画面表示を行なってもよい。図３９（Ａ）において１９０は狭角画像の表示領域であり、１９２は全天球画像表示領域であり、広角画像の表示領域でもある。広角画像の表示領域には、撮像部３ａ，３ｃで撮像し、合成処理した全天球画像を表示する。また、１９０の狭角画像表示領域には、撮像部３ｂで撮像した狭角画像を表示する。全天球画像表示領域１９２における全天球画像の表示は、ドラッグ操作により全天球画像を任意の視点から見た映像に変換することを可能とする。全天球画像表示領域１９２において、１９０の狭角画像表示領域に対応する画像が表示されているときには、対応する狭角画像の領域を枠１９１で表示する。

図３９（Ｂ）は、図３９（Ａ）の全天球画像表示領域１９２をピンチアウト動作により拡大したときの表示例であり、例えば図３９（Ａ）の領域１９３を拡大し図３９（Ｂ）の１９５の領域に表示するものである。

１：撮像装置、２ａ，２ｂ，２ｃ：レンズ部、３ａ，３ｂ，３ｃ：撮像部、４：インターフェース回路、５：画像信号処理回路、６：制御回路、７：姿勢検出部、８：ディスプレイ、９：操作入力部、１０：記録再生回路、１１：記録媒体、１２：メモリ、１３：位置情報入力部、１４：無線通信部、１５：符号化復号化回路、１６：マイク、１７：スピーカ、１８：近接センサ、２０：画像音声信号処理回路、３１：モード設定ダイヤル、３２：シャッターボタン、３３：操作ボタン、３４：動画撮影ボタン、３５：電源スイッチ、５０：画像表示部、５１：狭角画像領域、５２：被写体、５３：静止画撮影モードアイコン、５４：動画撮影モードアイコン、５５：動画同時撮影モードアイコン、５６：静止画同時撮影モードアイコン、９２：モード表示ボタン、９３:カメラ設定ボタン、９４:画面切替ボタン、１４０：映像表示領域、１４１：人物部分の入力画像、１４２：背景部分の入力画像、１４３：距離ヒストグラム表示領域、１４４：選択枠、１４５：画像表示領域、１４６：画質調整表示、８００〜８０４：第１撮像部の設定項目、８０５〜８０９：第２撮像部の設定項目、１８６：電子ビューファインダー、１９０：狭角画像表示領域、１９２：全天球画像表示領域、５００：静止画撮影ボタン、５０１、５０２：画角切り替えボタン、６００：動画撮影ボタン、６０１：再生モードボタン、７００：動画撮影終了ボタン

Claims (20)

1. 第１撮像部と、第２撮像部と、表示部と、画像信号処理回路と、制御回路と、操作部と、モード設定部と、記録部と、を有する撮像装置であって、
   前記第１撮像部と第２撮像部は所定間隔をもって同一方向を撮像するように配置され、
   前記画像信号処理回路は、前記第１撮像部が撮像した信号から第１の画像信号を生成し、前記第２撮像部が撮像した信号から第２の画像信号を生成し、前記第１撮像部が撮像した信号と前記第２撮像部が撮像した信号とから第３の信号を生成し、
   前記制御回路は、前記モード設定部からの入力により予め設定可能な複数の撮影モードに応じて、前記操作部による１回の撮像操作によって前記第１撮像部および前記第２撮像部と、前記画像信号処理回路と、前記記録部とを制御し、
   前記複数の撮影モードは、前記第１の画像信号を記録する撮影モードと、前記第１の画像信号と前記第２の画像信号を記録するモードと、前記第３の信号を記録するモードと、 を含むことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記第３の信号は、前記第１の画像信号と前記第２の画像信号とから生成した被写体の距離に関する情報であり、
   前記表示部は、前記第１の画像信号から生成した表示画像と、前記被写体の距離に関する情報とを表示することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記第３の信号は、前記第１の画像信号における各画素に対応する被写体距離情報であることを特徴とする撮像装置。
4. 請求項３に記載の撮像装置であって、
   前記第３の信号は、さらに被写体の距離に対する画素の頻度を表す距離ヒストグラム情報を含むことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記画像信号処理回路は、前記第３の信号に基き、前記第１の画像信号において所定の被写体距離の範囲にある第４の画像信号を生成し、
   前記表示部は、前記第４の画像信号を表示することを特徴とする撮像装置。
6. 請求項５に記載の撮像装置であって、
   前記表示部は、前記距離ヒストグラム情報と、前記第４の画像信号とを同一画面に表示することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置であって、
   前記表示部は、前記距離ヒストグラム情報の所定の距離範囲を選択するインターフェースを表示し、
   前記表示部は、前記インターフェースにより選択された距離ヒストグラム情報の所定の輝度範囲に属する前記第４の画像信号を表示することを特徴とする撮像装置。
8. 請求項７に記載の撮像装置であって、
   前記画像信号処理回路は、前記第１の画像信号を所定の被写体距離に属する複数の信号群に分離する分離手段と、前記複数の信号群毎に異なる信号処理を施した後に合成した第５の画像信号を生成する信号処理手段を含むことを特徴とする撮像装置。
9. 第１撮像部と、第２撮像部と、操作部と、モード設定部と、を有する撮像装置における撮像方法であって、
   前記モード設定部からの入力により予め設定可能な複数の撮影モードに応じて、前記操作部による１回の撮像操作によって前記第１撮像部および前記第２撮像部を制御し、
   前記複数の撮影モードは、前記第１撮像部が撮像した信号から第１の画像信号を生成し該第１の画像信号を記録する撮影モードと、前記第１撮像部と第２撮像部が撮像した信号から第１の画像信号と第２の画像信号を生成し該第１の画像信号と該第２の画像信号を記録するモードと、前記第１撮像部が撮像した信号と前記第２撮像部が撮像した信号とから第３の信号を生成し該第３の信号を記録するモードと、を含むことを特徴とする撮像方法。
10. 狭角画像を撮像する第１の撮像部と、広角画像を撮像する第２の撮像部と、信号処理部と、制御部と、操作入力部と、記録部と、を有する撮像装置であって、
    前記信号処理部は、前記第１の撮像部が撮像した信号から第１の静止画データと第１の動画データとを生成し、前記第２の撮像部が撮像した信号から第２の静止画データと第２の動画データとを生成し、
    前記制御部は、前記操作入力部から入力された撮影モードに応じて前記第１の撮像部と、前記第２の撮像部と、前記信号処理部と、前記記録部とを制御し、
    前記撮影モードは、前記第１の静止画データまたは前記第２の静止画データを前記記録部に記録する第１撮影モードと、
    前記第１の動画データまたは前記第２の動画データを前記記録部に記録する第２撮影モードと、
    前記第１の動画データの記録中に前記第２の静止画データを前記記録部に記録するか、または前記第２の動画データの記録中に前記第１の静止画データを前記記録部に記録する第３撮影モードと、
    前記第１の静止画データと前記第２の静止画データを同時に前記記録部に記録する第４撮影モードを有することを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置であって、
    前記撮影モードは、さらに、前記第１の動画データと前記第２の動画データを同時に前記記録部に記録する第５撮影モードを有することを特徴とする撮像装置。
12. 請求項１０または１１に記載の撮像装置であって、
    前記第１の撮像部と前記第２の撮像部は同一方向を撮像するように配置されていることを特徴とする撮像装置。
13. 請求項１０または１１に記載の撮像装置であって、
    前記第１撮影モードにおいて、前記操作入力部は、画像を拡大または縮小するズーム倍率を可変するズーム操作入力部を有し、
    前記信号処理部は、前記操作入力部により入力したズーム倍率に応じ、前記第１の撮像部または前記第２の撮像部の出力信号から拡大した前記第１の静止画データまたは前記第２の静止画データを生成し、
    前記ズーム倍率が所定の値より小さいときには、前記第１の撮像部によって撮像した前記第１の静止画データを前記記録部に記録し、
    前記ズーム倍率が所定の値より大きいときには、前記第２の撮像部によって撮像した前記第２の静止画データを前記記録部に記録することを特徴とする撮像装置。
14. 請求項１０または１１に記載の撮像装置であって、
    前記第２撮影モードにおいて、前記操作入力部は、画像を拡大または縮小するズーム倍率を可変するズーム操作入力部を有し、
    前記信号処理部は、前記操作入力部により入力したズーム倍率に応じ、前記第１の撮像部または前記第２の撮像部の出力信号から拡大した前記第１の動画データまたは前記第２の動画データを生成し、
    前記ズーム倍率が所定の値より小さいときには、前記第１の撮像部によって撮像した前記第１の動画データを前記記録部に記録し、
    前記ズーム倍率が所定の値より大きいときには、前記第２の撮像部によって撮像した前記第２の動画データを前記記録部に記録することを特徴とする撮像装置。
15. 請求項１３または１４に記載の撮像装置であって、
    前記第２の撮像部の出力信号に対する前記信号処理部による拡大処理の前記ズーム倍率に対して上限値を設定し、
    前記上限値は、前記第１の撮像部に対する焦点距離に相当するズーム倍率以下に設定することを特徴とする撮像装置。
16. 狭角画像を撮像する第１の撮像部と、広角画像を撮像する第２の撮像部と、信号処理部と、制御部と、操作入力部と、記録部と、再生部と、表示部と、を有する撮像装置であって、
    前記信号処理部は、前記第１の撮像部が撮像した信号から第１の静止画データと第１の動画データとを生成し、前記第２の撮像部が撮像した信号から第２の静止画データと第２の動画データとを生成し、
    前記制御部は、前記操作入力部から入力された撮影モードに応じて前記第１の撮像部と、前記第２の撮像部と、前記信号処理部と、前記記録部とを制御し、
    前記撮影モードは、前記第１の静止画データまたは前記第２の静止画データを前記記録部に記録する第１撮影モードと、
    前記第１の動画データまたは前記第２の動画データを前記記録部に記録する第２撮影モードと、
    前記第１の動画データの記録中に前記第２の静止画データを前記記録部に記録するか、または前記第２の動画データの記録中に前記第１の静止画データを前記記録部に記録する第３撮影モードと、
    前記第１の静止画データと前記第２の静止画データを同時に前記記録部に記録する第４撮影モードを有し、
    前記再生部は、前記記録部に記録した複数の画像データを前記記録部から読み出して再生し、
    前記表示部による表示は、前記複数の画像データの縮小画像を表示するサムネール表示モードを有し、
    前記サムネール表示モードにおいて、表示される前記複数の縮小画像が撮影された前記撮影モードを識別する撮影モード表示を表示することを特徴とする撮像装置。
17. 請求項１６に記載の撮像装置であって、
    前記撮影モードは、さらに、前記第１の動画データと前記第２の動画データを同時に前記記録部に記録する第５撮影モードを有することを特徴とする撮像装置。
18. 請求項１６または１７に記載の撮像装置であって、
    前記撮影モードを識別する撮影モード表示は、前記複数の縮小画像のそれぞれに表示されることを特徴とする撮像装置。
19. 請求項１６または１７に記載の撮像装置であって、
    前記撮影モードを識別する撮影モード表示は、任意の縮小画像を選択したときに、該選択された縮小画像に表示されることを特徴とする撮像装置。
20. 狭角画像を撮像する第１の撮像部と、広角画像を撮像する第２の撮像部と、信号処理部と、制御部と、操作入力部と、記録部と、表示部とを有する撮像装置の設定画面であって、
    前記信号処理部は、前記第１の撮像部が撮像した信号から第１の静止画データと第１の動画データとを生成し、前記第２の撮像部が撮像した信号から第２の静止画データと第２の動画データとを生成し、
    前記制御部は前記操作入力部から入力された撮影モードに応じて前記第１の静止画データと前記第１の動画データと前記第２の静止画データと前記第２の動画データの何れか１つまたは２つを前記記録部に記録し、
    前記撮影モードは、前記第１の静止画データまたは前記第２の静止画データを記録する第１撮影モードと、
    前記第１の動画データまたは前記第２の動画データを記録する第２撮影モードと、
    前記第１の動画データの記録中に前記第２の静止画データを記録するか、または前記第２の動画データの記録中に前記第１の静止画データを記録する第３撮影モードと、
    前記第１の静止画データと前記第２の静止画データを同時に記録する第４撮影モードを有し、
    前記表示部は、前記撮影モードを選択する表示と、画角切換えを選択する表示を有することを特徴とする撮像装置の設定画面。

Images