JP6230266B2 - 撮像装置、画像処理装置、および制御方法 - Google Patents

Description

本発明は、立体映像処理が可能な撮像装置、画像処理装置、および制御方法に関する。

近年、３次元（３Ｄ）シネマや３Ｄディスプレイ等、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラ等でも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。

立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、左目用画像データと右目用画像データが用意される。各画像をユーザが左目と右目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式等のように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法等が知られている。

一方、立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献１および２に開示されている。特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号に基づく左目用画像、右目用画像をそれぞれ用いることで、ユーザは立体映像の鑑賞が可能となる。

また、特許文献２は、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第１の画像とに基づいて、第２の画像を生成することができる。

特開昭５８−２４１０５号公報 特表２００８−５１８３１７号公報

立体映像を鑑賞するには、ユーザが左目で鑑賞するための左目用画像と、右目で鑑賞するための右目用画像を用意する必要がある。一方、撮影画像の縦横比、すなわちアスペクト比を選択可能なデジタルカメラでは、アスペクト比に応じて、撮像後の画像処理の手前でトリミング加工を施す方法や、画像処理後の記録画像に対してトリミング加工を施す方法がある。

立体視表示が可能な映像を出力できるカメラにおいて、アスペクト比を複数設定できる機能を備える場合、設定されたアスペクト比によっては、表示画像の立体感が得られなくなる場合が生じ得る。以下、その理由について図９を参照して説明する。

図９は撮影画像を模式的に示す図であり、カメラからの距離が異なる３つの被写体を例示する。図９（Ｃ）の矢印Ｚは奥行き方向を表し、被写体１１０５はカメラから最も遠い被写体を表す。被写体１１０７はカメラに最も近い被写体を表し、被写体１１０６は、被写体１１０５と１１０７との間の距離に位置する被写体を表す。被写体１１０７が最も右に位置し、被写体１１０５が最も左に位置する。

図９（Ａ）は、アスペクト比を、例えば３：２に設定して画像枠１１０３ａ内で被写体を撮影した構図を例示する。画像枠１１０３ａ内にて、各被写体像には被写体１１０５、１１０６、１１０７と同じ符号を使用しており、上から符号の順に並んでいる。図９（Ｂ）は、アスペクト比を、例えば１：１に設定して画像枠１１０３ｂ内で被写体を撮影した構図を例示する。つまり、画像枠１１０３ａに対して、上下方向の線１１０１および線１１０２の内側の画像だけが撮影されるので、画像枠１１０３ｂは、画像枠１１０３ａに比べて左右方向の撮影範囲が狭い。よって、画像枠１１０３ａに写っている被写体１１０７の画像は、画像枠１１０３ｂから削除される。画像枠１１０３ａの場合と同様の立体画像処理により、画像枠１１０３ｂの構図について処理を行った場合、被写体１１０７が画角から外れてしまう。このため、被写体１１０５および１１０６についての奥行き量が計算され、画像枠１１０３ａの場合に比べて十分な立体感が得られなくなる可能性がある。

そこで、本発明の目的は、アスペクト比の設定に応じて視差補正を行うことで立体感を損なわない画像処理を行う装置およびその制御方法を提供することである。

上記課題を解決するために、本発明の一実施形態に係る装置は、複数の光電変換部の出力信号から異なる視点の画像信号を取得する取得手段と、前記異なる視点の画像信号を合成して合成画像データを生成する画像処理手段と、前記異なる視点の画像信号から被写体の視差量を算出する視差量算出手段と、撮影した画像に係る第１アスペクト比から、画像の記録又は再生に係る第２アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正手段を備える。前記視差補正手段は、前記第１アスペクト比および前記第２アスペクト比から決定される補正パラメータにより前記視差量を補正する際、前記第１アスペクト比での画像のうち、前記第２アスペクト比への変更により前記画像枠から除外される画像範囲が大きいほど、前記視差量を大きくする。

本発明によれば、アスペクト比の設定に応じて視差補正を行うことにより、立体感を損なわない画像処理を行える。

図２ないし図８と併せて本発明の実施形態を説明するために、撮像素子の全体構成を概略的に例示した図である。 撮像素子の１画素の構成例（Ａ）、および画素アレイ（Ｂ）の配置を概略的に示す図である。 物体の結像関係を模式的に示す図である。 撮像装置の概略構成例を示す図である。 ステレオ画像を模式的に例示した図である。 ステレオ表示装置での鑑賞時の様子を模式的に例示した図である。 視差補正処理について概念的に例示した図である。 撮像装置の処理例を示すフローチャートである。 アスペクト比の設定に応じた構図を概念的に例示した図である。

以下に、本発明の実施形態を、添付図面に基づいて詳細に説明する。

図１は、本実施形態の撮像装置で使用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器等を列毎に有する。

シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モード等を外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００には、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。

図２は撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）とを有する。

図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像の信号を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像の信号を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチ等を備える。

画素アレイ１０１は、２次元画像を提供するため、図２（Ｂ）に示す多数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。画素３０１から３０４にて、ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、各画素において、左目用画像データを出力する第１の光電変換部（ＰＤ２０３）と、右目用画像データを出力する第２の光電変換部（ＰＤ２０４）とを有する。

次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を表した概念図である。

画素アレイ１０１は、マイクロレンズ２０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。

図３において、各マイクロレンズ２０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。

射出瞳４０６から出る光束のうち、光軸４０９を境界線として、図３の上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、撮影光学系の射出瞳の異なる領域からの光束をそれぞれ受光する。

図４は、本実施形態の撮像装置の構成例を示す図である。以下、図４を参照してデジタルカメラへの適用例について説明する。撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。

レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理や補正、データ圧縮等を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。

システム制御部５０９は各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを実行することで処理を行う。システム制御部５０９は、画像合成回路５１３によって生成される合成画像と、視差マップ生成回路５１４によって生成される視差マップとに基づいて、立体視表示に使用する左目用画像と右目用画像の各データを生成する。また、システム制御部５０９は、左目用画像と右目用画像の再生制御を行うことで、ユーザは表示画面上で立体画像を鑑賞できる。なお、システム制御部５０９は、左目用画像データと右目用画像データに基づいて位相差を検出して、位相差ＡＦ（オートフォーカス）を実現することもできる。

記憶部５０８は、画像データを一時的に記憶するメモリを備える。記録媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データ等を記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、外部装置との間でデータを送受する。表示部５１８は、表示制御回路５１７からの表示用データに従って、各種情報や撮影画像を表示する。

撮像信号処理回路５０６は、撮像素子５０５が出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。記憶部５０８は、撮像信号処理回路５０６の出力データ、画像合成回路５１３によって生成された合成画像データ、視差マップ生成回路５１４によって生成された視差マップデータを記憶する。

画像合成回路５１３は、左目用画像と右目用画像とを合成し、合成画像データを生成する。視差マップ生成回路５１４は視差量算出処理を行う。視差マップ生成回路５１４は、合成画像での被写体像の位置を基準として左目用画像／右目用画像での被写体像の位置ずれ量を視差量として算出する。算出した視差量に関する情報は視差マップデータとして記憶部５０８に記憶される。視差補正回路５１５は、視差マップ生成回路５１４で算出した視差量と補正パラメータを用いて視差量を補正する。視差量の補正処理の詳細については後述する。測光装置５１６は、露出制御に用いる測光値を取得してシステム制御部５０９に出力する。

次に、本実施形態における撮影時のデジタルカメラの動作について図８を参照して説明する。
メイン電源が投入されると、制御系回路部の電源がオン状態となる。更に撮像信号処理回路５０６等の撮像処理系回路の電源がオン状態となり、カメラシステムがスタンバイ状態となる（Ｓ１３０１）。システム制御部５０９は、ユーザが図示しないレリーズボタンを操作したか否かを判定する（Ｓ１３０２）。撮影動作を開始させる操作指示があった場合、Ｓ１３０３に進み、当該操作指示がない場合、Ｓ１３０２の判定処理が繰り返される。

システム制御部５０９は、撮像素子５０５からの出力データに基づいて焦点状態検出および焦点調節動作に係る演算処理を行う（Ｓ１３０３）。この演算処理では、カメラから被写体までの距離に応じた合焦位置等が算出され、フォーカスレンズの駆動量が算出される。システム制御部５０９は、演算結果に従ってレンズ駆動装置５０２を介してレンズ部５０１の駆動制御を行う。次に、Ｓ１３０３の演算処理が終了したか否かについて判定され（Ｓ１３０４）、処理が終了した場合、撮影動作が開始し、Ｓ１３０５に進む。また、Ｓ１３０３の演算処理が終了していない場合、Ｓ１３０４の判定処理が繰り返されて待ち処理となる。

Ｓ１３０５で撮影動作が終了すると、撮像信号処理回路５０６は、撮像素子５０５が出力した画像信号に画像処理を施す。システム制御部５０９はステレオ画像（左目用画像と右目用画像）のデータを取得して、記憶部５０８に書き込む制御を行う。Ｓ１３０６にてシステム制御部５０９はステレオ画像のデータ取得が終了したか否かを判定し、データ取得が終了した場合、Ｓ１３０７に処理を進め、データ取得が未終了の場合、Ｓ１３０６の判定処理が繰り返される。Ｓ１３０７にてシステム制御部５０９は、Ｓ１３０３での演算結果に基づいてカメラから被写体までの距離（被写体距離）を算出する。次のＳ１３０８でシステム制御部５０９は、Ｓ１３０７で算出した被写体距離と、撮影レンズの焦点距離等の情報を用いて撮影時の画角を求め、画角に応じた補正パラメータを算出する。補正パラメータの算出方法については後述する。

次に、視差マップ生成回路５１４は視差量の検出、および視差マップの生成処理を行う（Ｓ１３０９）。視差マップ生成回路５１４が検出した視差量と前記補正パラメータにより、視差補正回路５１５は、左目用画像と右目用画像の各々に対して、視差量補正を行う（Ｓ１３１０）。これにより、視差マップデータが修正される（Ｓ１３１１）。次のＳ１３１２でシステム制御部５０９は撮影終了について判定し、撮影終了の指示があった場合、Ｓ１３１３に処理を進め、また撮影動作を続行する場合、Ｓ１３１２の判定処理が繰り返される。Ｓ１３１３でシステム制御部５０９は、撮像装置への電源供給を停止し、必要な情報を記憶部５０８に保存するシャットダウン処理を実行する。

次に、本実施形態における画像処理について説明する。
撮像素子５０５は、ＰＤからの全ての画像信号を出力する。図２（Ｂ）に示す例では、各ＰＤ、つまり３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒという具合に、画像信号が順番に出力される。撮像信号処理回路５０６は、撮像素子５０５の出力信号から画像データを取得し、左目用画像データと右目用画像データへのデータ分離処理を行う。左目用画像のデータは、図２（Ｂ）におけるＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌの出力（左ＰＤ出力）のみを選択的に処理した画像データである。また、右目用画像データは、図２（Ｂ）におけるＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒの出力（右ＰＤ出力）のみを選択的に処理した画像データである。左目用画像データと右目用画像データは別々に記憶部５０８に保持される。

記憶部５０８に記憶された左目用画像データおよび右目用画像データは、画像合成回路５１３に送られて合成画像データが生成される。生成された合成画像データは記憶部５０８に保存される。画像合成回路５１３が実行する画像処理は、左目用画像データと右目用画像データに対して画素毎の加算平均値を求める処理である。撮像素子５０５から読み出した画像データにて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成処理によって被写体の形状が補間されて、正しい形状の画像データが生成される。

次に、視差マップ生成回路５１４は左目用画像データと右目用画像データを用いて、視差マップを生成する。求められた視差マップデータは記憶部５０８に保存される。視差マップに保存される情報について、図５を用いて説明する。

図５は撮影画像を模式的に示す図である。図５（Ａ）は、画像枠６０１内にて、カメラからの距離が異なる３つの被写体６０２、６０３、６０４を撮影した画像を示す。各被写体と相似の小図形は、顔位置等に相当するそれぞれの特徴点を例示する。図５（Ｃ）の矢印Ｚは奥行き方向を表し、被写体６０２はカメラから最も遠い被写体を表す。被写体６０４はカメラに最も近い被写体を表し、被写体６０３は、被写体６０２と６０４との間の距離に位置する被写体を表す。

図５（Ｂ）は、図５（Ａ）の画像枠６０１で示す構図を撮影した場合に得られるステレオ画像を、画像枠６０５、６０６にそれぞれ示す。画像枠６０５内の画像は左目用画像であり、画像枠６０６内の画像は右目用画像である。画像枠６０５内の左目用画像には、各被写体６０２、６０３、６０４に各々相当する像６０７Ｌ、６０８Ｌ、６０９Ｌが写っている。また画像枠６０６内の右目用画像には、各被写体６０２、６０３、６０４に各々相当する像６０７Ｒ、６０８Ｒ、６０９Ｒが写っている。図中の一点鎖線は、画像枠６０５、６０６における被写体像の位置関係を表しており、左目用画像と右目用画像での被写体像のシフト量を視差量と定義する。視差量６１０は、被写体６０２に関する、左目用画像と右目用画像での位置ずれ量、つまり像６０７Ｌと６０７Ｒの視差を表す。同様に視差量６１１は被写体６０４に関し、像６０９Ｌと６０９Ｒの位置ずれ量を表す。なお、被写体６０３については、左目用画像と右目用画像との間で、視差量がゼロの状態を示している。

視差マップ生成回路５１４は視差量を求める際、画像枠６０５内の左目用画像と画像枠６０６内の右目用画像に含まれる被写体像の位置を検出し、被写体像同士のシフト量を求めることで視差量を算出する。具体的には、視差マップ生成回路５１４に左目用画像データと右目用画像データが入力された場合、視差量６１０と６１１が算出される。そして、合成画像における被写体像の重心、つまり左目用画像での重心と右目用画像での重心との中点を基準として、左目用画像または右目用画像での被写体像の重心までの距離が演算により求められる。視差量６１０の半分の量６１２を示すデータと、視差量６１１の半分の量６１３を示すデータが、視差マップの情報として記憶部５０８に保存される。
図５（Ｂ）に示す視差量６１０は、カメラから最も遠い被写体の立体映像を表示させた場合の、見かけ上の奥行き量に対応する。また、視差量６１１は、カメラから最も近い被写体の立体映像を表示させた場合の、見かけ上の飛び出し量に対応する。つまり、左目用画像と右目用画像との視差量は、被写体を右目と左目で見た場合の視差を表しており、見かけ上の奥行き量や飛び出し量を決定する。

図６を参照して、左目用画像および右目用画像がステレオ表示装置に表示された場合に、観察者に立体感を与える、一般的な視覚効果について説明する。
図６はステレオ表示装置での鑑賞時の様子を模式的に示し、ステレオ表示装置と観察者を上から俯瞰した図である。観察者９０２は、ステレオ表示装置のスクリーン面９０１を観察し、その左目９０３Ｌと右目９０３Ｒの位置をそれぞれに示す。スクリーン面９０１に映し出される各被写体像が、右目９０３Ｌと右目９０３Ｒに投影される様子を点線で模式的に示す。

スクリーン面９０１には、左目用画像、右目用画像が表示されて、観察者の左目９０３Ｌ、右目９０３Ｒのみに各々投影される。図６では、異なる被写体像の特徴点９０４ＬおよびＲ、９０５ＬおよびＲ、９０６ＬおよびＲをそれぞれ例示し、これらは観察者の注視点に対応している。つまり、左目用画像における被写体の特徴点９０４Ｌ、９０５Ｌ、９０６Ｌの映像は左目９０３Ｌに投影され、右目用画像における被写体の特徴点９０４Ｒ、９０５Ｒ、９０６Ｒの映像は右目９０３Ｒに投影される。観察者には、左目用画像での特徴点９０４Ｌと右目用画像での特徴点９０４Ｒに対応する被写体像の位置９０４が、スクリーン面９０１よりも奥に見える。また、観察者には、左目用画像での特徴点９０５Ｌと右目用画像での特徴点９０５Ｒに対応する被写体像の位置９０５が、スクリーン面９０１上に見える。さらに、観察者には、左目用画像での特徴点９０６Ｌと右目用画像での特徴点９０６Ｒに対応する被写体像の位置９０６が、スクリーン面９０１よりも手前に飛び出して見える。これらの被写体像の奥行き量や飛び出し量は、左目用画像と右目用画像における被写体像の視差量に依存する。

次に、アスペクト比の設定情報に応じた視差補正処理について説明する。なお、画像の記録時または再生時におけるアスペクト比の設定については、システム制御部５０９が画角や構図等に応じて自動的に設定するか、またはユーザの操作指示に従って設定する。
視差補正回路５１５は、例えば、下表１に示す補正パラメータを使って視差補正の演算処理を行う。補正パラメータの値は、撮影画像に係る第１アスペクト比から、画像の記録時または再生時の第２アスペクト比へ変更した場合に画像枠からトリミングにより除外される画像範囲が存在すると判定された場合に、視差量を補正するために決定される。

表１に例示する参照テーブルは、補正パラメータとして、変更後の第２アスペクト比と視差量の情報を含む。例えば、第２アスペクト比の種類は、列１００１に複数記載され、また、各アスペクト比に対応する視差量が列１００２に記載されている。撮影した画像、つまり第１アスペクト比での画像のうち、変更後の画像枠内に入りきらずにデータが削除される範囲が大きい第２アスペクト比ほど、視差量は大きい値に設定されている。視差補正回路５１５は、第１アスペクト比および第２アスペクト比から決定した補正パラメータに基づいて視差量を補正する。例えば、表１中の行１００３には、第２アスペクト比が１：１の場合におけるパラメータ値が記載されている。以下、補正パラメータ１００６の値に基づく視差補正処理について、図７を参照して説明する。

図７（Ａ）は、画像枠７０４内に示す複数の被写体を撮影して得られる構図を例示する。画像枠７０４内には、各被写体像７０７と７０８を示す。各被写体と相似の小図形は特徴点を例示する。図７（Ｂ）は画像枠７０５内に左目用画像を示し、被写体像７０７Ｌおよび７０８Ｌは図７（Ａ）の被写体像７０７と７０８にそれぞれ相当する。図７（Ｃ）は画像枠７０６内に右目用画像を示し、被写体像７０７Ｒおよび７０８Ｒは、図７（Ａ）の被写体像７０７と７０８にそれぞれ対応する。但し、被写体像７０８の視差量はゼロとする。図７（Ｄ）および（Ｅ）はアスペクト比が１：１に設定された場合の画像枠１２０１および１２０２をそれぞれ示す。図７（Ｄ）の画像枠１２０１内には、視差補正された左目用画像を示し、図７（Ｅ）の画像枠１２０２内には、視差補正された右目用画像を示す。

視差補正回路５１５には、図７（Ｂ）に示す画像枠７０５内の左目用画像のデータと、図７（Ｃ）に示す画像枠７０６内の右目用画像のデータが入力される。ここで、視差補正回路５１５は、前記補正パラメータに応じた視差量に補正するために、各々の画像枠内で被写体像のシフト処理を行う。被写体像７０７についての視差を補正する場合を、具体的に説明する。画像枠７０５内での被写体像と画像枠７０６内での被写体像には、視差量７０９が存在する。この視差量７０９は、画像枠内での被写体像７０７Ｌと７０７Ｒとの位置差に相当し、補正パラメータに基づいて視差補正が行われる。視差補正回路５１５は、表１の行１００３に示すアスペクト比１：１に対応する補正パラメータ１００６の値を参照して図７（Ｄ）および図７（Ｅ）に示すように被写体像のシフト操作を行う。つまり、図７（Ｄ）では、被写体像７０７Ｌを図７の左側へ移動させるシフト操作により被写体像１２０３Ｌに変更され、図７（Ｅ）では、被写体像７０７Ｒを図７の右側へ移動させるシフト操作により被写体像１２０３Ｒに変更される。これらの図では、奥行き量をさらに強調するための、被写体像のシフト操作を示す。ここで、視差量１２０５は視差補正後の視差量を示しており、表１の補正パラメータ１００６の値に基づいて決定される。例えば、補正パラメータ１００６の値については直接に視差量１２０５を示すデータを使用するか、あるいはシフト比率を示すデータを使用してもよい。シフト比率の場合、視差量１２０５の値を視差量７０９の値で除算した数値が補正パラメータ１００６の値となり、視差補正時にて視差量に乗算する係数として使用される。また、補正パラメータ１００６については一定の比率であってもよいし、映像の見かけ上の飛び出し量および奥行き量に応じた数次の関数式で表してもよい。補正パラメータ１００６が最終的な飛び出し量および奥行き量を決定する要素であれば、算出形態の如何は問わない。

図７の例では、視差補正方法として左目用画像および右目用画像での被写体像の単純なシフト操作を説明したが、これは例示であって補正方法を限定するものではない。例えば、視差補正回路５１５によりアフィン変換等を用いて、空間的に立体感を強調する処理を行うこともできる。視差補正回路５１５は、アスペクト比に対応する補正パラメータに基づいて左目用画像と右目用画像に係る視差量補正を行う。視差補正回路５１５により補正された視差量のデータは記憶部５０８に保存される。

記憶部５０８には、画像合成回路５１３によって生成された合成画像データと、視差マップ生成回路５１４によって生成され、視差補正回路５１５で視差量が補正された視差マップデータが記憶されている。システム制御部５０９は記録媒体制御Ｉ／Ｆ部５１０を制御して、合成画像データおよび視差マップデータを半導体メモリ等の着脱可能な記録媒体５１１に記録する処理を行う。また、外部Ｉ／Ｆ部５１２がコンピュータ等の外部機器にデータを出力することにより、画像加工処理を行うことができる。

画像データの再生時には、システム制御部５０９は記録媒体制御Ｉ／Ｆ部５１０を制御して合成画像データと視差マップデータを読み出して記憶部５０８に保存し、これらのデータから左目用画像データと右目用画像データが生成される。視差マップの情報は、合成画像における被写体像の重心位置と、左目用画像または右目用画像における当該被写体像の重心位置との間の視差量を示す。具体的には、図５（Ｂ）で説明したように、視差量６１０の２分の１に相当する視差量６１２と、視差量６１１の２分の１に相当する視差量６１３が使用される。合成画像での被写体像は、視差量に従って左目用画像での重心位置に移動されて、左目用画像データが生成される。同様に、視差マップが示す視差量の符号を反転させれば、右目用画像での重心までの視差量となる。これより、合成画像での被写体像は、符号反転した視差量に従って右目用画像での重心位置に移動され、右目用画像データが生成される。

本実施形態では、撮像素子５０５から読み出した画像データを左目用画像データと右目用画像データに振り分けるデータ分離処理を撮像信号処理回路５０６が担当し、左目用画像データと右目用画像データの加算合成処理を画像合成回路５１３が担当する。これに限らず、撮像信号処理回路５０６がデータ分離処理と合成処理を行う形態でも構わない。また、視差マップ生成回路５１４による視差マップデータの生成後に、視差補正回路５１５がアスペクト比に応じた視差量補正を行ったが、視差マップ生成回路５１４が視差マップの生成および視差補正処理を行う構成でもよい。

以上、本実施形態によれば、アスペクト比の設定に応じたトリミング加工により、奥行き感を表現する被写体像を含む画像範囲が画像枠から除外される場合、視差量の補正によって、映像の立体感が損なわれないようにステレオ画像処理を実現できる。

５０１ レンズ部
５０５ 撮像素子
５０６ 撮像信号処理回路
５０８ 記憶部
５０９ システム制御部
５１３ 画像合成回路
５１４ 視差マップ生成回路
５１５ 視差補正回路

Claims (9)

1. 複数の光電変換部の出力信号から異なる視点の画像信号を取得する取得手段と、
   前記異なる視点の画像信号を合成して合成画像データを生成する画像処理手段と、
   前記異なる視点の画像信号から被写体の視差量を算出する視差量算出手段と、
   撮影した画像に係る第１アスペクト比から、画像の記録又は再生に係る第２アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正手段を備え、
   前記視差補正手段は、前記第１アスペクト比および前記第２アスペクト比から決定される補正パラメータにより前記視差量を補正する際、前記第１アスペクト比での画像のうち、前記第２アスペクト比への変更により前記画像枠から除外される画像範囲が大きいほど、前記視差量を大きくすることを特徴とする撮像装置。
2. 複数の光電変換部の出力信号から異なる視点の画像信号を取得する取得手段と、
   前記異なる視点の画像信号を合成して合成画像データを生成する画像処理手段と、
   前記異なる視点の画像信号から被写体の視差量を算出する視差量算出手段と、
   撮影した画像に係る第１アスペクト比から、画像の記録又は再生に係る第２アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正手段を備え、
   前記視差量算出手段は、前記画像処理手段により生成された合成画像データにおける被写体像の位置を基準として、前記異なる視点の画像における当該被写体像の位置ずれ量を視差量として算出し、該視差量を含む視差マップデータを記憶手段に記憶させることを特徴とする撮像装置。
3. 前記視差補正手段は、前記第１アスペクト比および前記第２アスペクト比から決定される補正パラメータにより前記視差量を補正する際、前記第１アスペクト比での画像のうち、前記第２アスペクト比への変更により前記画像枠から除外される画像範囲が大きいほど、前記視差量を大きくすることを特徴とする請求項２に記載の撮像装置。
4. 前記補正パラメータは、前記第２アスペクト比での被写体の視差量を、前記第１アスペクト比での被写体の視差量で除算した比率を示し、
   前記視差補正手段は、前記視差量算出手段が算出した視差量に対して前記比率を乗算して視差補正を行い、補正した視差量を含む視差マップデータを記憶手段に記憶させることを特徴とする請求項１または請求項３に記載の撮像装置。
5. 各マイクロレンズに対して撮像光学系の射出瞳の異なる領域をそれぞれ通過した光束を受光して光電変換する複数の光電変換部を有する撮像手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 複数の光電変換部の出力信号から異なる視点の画像信号を取得する取得手段と、
   前記異なる視点の画像信号を合成して合成画像データを生成する画像処理手段と、
   前記異なる視点の画像信号から被写体の視差量を算出する視差量算出手段と、
   撮影した画像に係る第１アスペクト比から、画像の記録又は再生に係る第２アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正手段を備え、
   前記視差補正手段は、前記第１アスペクト比および前記第２アスペクト比から決定される補正パラメータにより前記視差量を補正する際、前記第１アスペクト比での画像のうち、前記第２アスペクト比への変更により前記画像枠から除外される画像範囲が大きいほど、前記視差量を大きくすることを特徴とする画像処理装置。
7. 複数の光電変換部の出力信号から異なる視点の画像信号を取得する取得手段と、
   前記異なる視点の画像信号を合成して合成画像データを生成する画像処理手段と、
   前記異なる視点の画像信号から被写体の視差量を算出する視差量算出手段と、
   撮影した画像に係る第１アスペクト比から、画像の記録又は再生に係る第２アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正手段を備え、
   前記視差量算出手段は、前記画像処理手段により生成された合成画像データにおける被写体像の位置を基準として、前記異なる視点の画像における当該被写体像の位置ずれ量を視差量として算出し、該視差量を含む視差マップデータを記憶手段に記憶させることを特徴とする画像処理装置。
8. 撮像装置または画像処理装置にて実行される制御方法であって、
   複数の光電変換部の出力信号から異なる視点の画像信号を取得するデータ取得ステップと、
   前記異なる視点の画像信号を合成して合成画像データを生成する画像合成ステップと、
   前記異なる視点の画像信号から被写体の視差量を算出する視差量算出ステップと、
   撮影した画像に係る第１アスペクト比から、画像の記録又は再生に係る第２アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正ステップを有し、
   前記視差補正ステップでは、前記第１アスペクト比および前記第２アスペクト比から決定される補正パラメータにより前記視差量を補正する際、前記第１アスペクト比での画像のうち、前記第２アスペクト比への変更により前記画像枠から除外される画像範囲が大きいほど、前記視差量を大きくする処理が行われることを特徴とする制御方法。
9. 撮像装置または画像処理装置にて実行される制御方法であって、
   複数の光電変換部の出力信号から異なる視点の画像信号を取得するデータ取得ステップと、
   前記異なる視点の画像信号を合成して合成画像データを生成する画像合成ステップと、
   前記異なる視点の画像信号から被写体の視差量を算出する視差量算出ステップと、
   撮影した画像に係る第１アスペクト比から、画像の記録又は再生に係る第２アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正ステップを有し、
   前記視差量算出ステップでは、前記画像合成ステップで生成された合成画像データにおける被写体像の位置を基準として、前記異なる視点の画像における当該被写体像の位置ずれ量を視差量として算出し、該視差量を含む視差マップデータを記憶手段に記憶させる処理が行われることを特徴とする制御方法。
   

Images