JP5470458B2 - 撮像装置、画像処理装置および画像処理方法 - Google Patents

Description

本発明は、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置、その撮像装置で得られた複数視点の平面画像を用いて画像処理を行う画像処理装置および画像処理方法に関する。

従来、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置が知られている。

特許文献１には、単一の撮影光学系を備え、絞りを回転させることで瞳分割を行って、立体視画像を生成する構成が開示されている。

特許文献２には、単一の撮影光学系を備え、マイクロレンズアレイにより瞳分割し、位相差方式の合焦制御を行う構成が開示されている。

特許文献３には、単一の撮影光学系と、その単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１画素群および第２画素群を配列した撮像デバイスとを備え、第１画素群により得られた平面画像および第２画素群により得られた平面画像からなる立体視画像を生成する撮像装置が開示されている。

特許文献４には、特許文献３に記載の撮像装置において、第１画素の出力と第２画素の出力とを加算することが記載されている。

特許文献５には、画像を複数エリアに分割し、輝度レベルが暗いなどの特定エリアに限定して画素加算を行う構成が開示されている。

特表２００９−５２７００７号公報 特開平４−２６７２１１号公報 特開平１０−４２３１４号公報 特開２００８−２９９１８４号公報 特開２００７−２５１６９４号公報

単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置（以下「単眼３Ｄ撮像装置」という）では、複数視点の平面画像から一枚の高解像度画像を生成しようとすると、高解像度平面画像のうちで非合焦部分にノイズパターンが発生してしまう。このようなノイズパターンの発生のしくみについて、以下説明する。

まず、図１８Ａを用いて、瞳分割をしない単眼撮像装置により３つの被写体９_１、９_２、９_３を撮像した場合について、説明しておく。撮像デバイス１６に結像された３つの像９_１ａ、９_２ａ、９_３ａのうち、撮像デバイス１６で焦点が合うのは、合焦面Ｄ上にある被写体９_２の像９_２ａだけである。被写体９_１と撮影レンズ１２との間の距離は被写体９_１と合焦面Ｄとの間の距離よりも長く、その合焦像９_１ｄは撮像デバイス１６よりも撮影レンズ１２に近い位置に形成されるので、被写体９_１の像９_１ａはボケた像となる。また、被写体９_３と撮影レンズ１２との間の距離は被写体９_３と合焦面Ｄとの間の距離よりも短く、その合焦像９_３ｄは撮像デバイス１６よりも撮影レンズ１２から遠い位置に形成されるので、被写体９_３の像９_３ａもボケた像となる。

次に、瞳分割の単眼３Ｄ撮像装置により３つの被写体９_１、９_２、９_３を撮像した場合について、説明する。本例の単眼３Ｄ撮像装置では、図１８Ｂに示すように撮影レンズ１２の瞳をシャッタ９_５によって上方のみに制限した状態と、図１８Ｃに示すように撮影レンズ１２の瞳をシャッタ９_５によって下方のみに制限した状態とがある。このような単眼３Ｄ撮像装置における撮像デバイス１６上の像のボケ量および位置は、図１８Ａに示した単眼撮像装置と異なる。即ち、図１８Ｂに示した状態では、図１９Ｂに示すように、被写体９_１の像９_１ｂは、瞳分割なしの場合（図１９Ａ）の被写体９_１の像９_１ａと比較して、ボケ量が小さくなり且つ位置が図中の下側に移動する。また、被写体９_３の像９_３ｂは、ボケ量が小さくなり且つ位置が図中の上側に移動する。図１８Ｃに示した状態では、図１９Ｃに示すように、被写体９_１の像９_１ｃは、瞳分割なしの場合（図１９Ａ）の被写体９_１の像９_１ａと比較して、ボケ量が小さくなり且つ位置が図中の上側に移動する。また、被写体９_３の像９_３ｃは、ボケ量が小さくなり且つ位置が図中の下側に移動する。

このような単眼３Ｄ撮像装置において、高解像度平面画像を生成するために、図１９Ｂに示した画像と図１９Ｃに示した画像とを合成すると、像９_１ｂと像９_１ｃ、像９_３ｂと像９_３ｃとで、結像位置がズレていることにより、段差状のノイズパターンが発生してしまう。即ち、高解像度平面画像のうちボケた部分に、視差に起因したノイズパターンが発生してしまうという問題がある。

特許文献１〜５には、高解像度平面画像における高解像度の維持と視差に起因するノイズパターンの解消とを両立させることができる構成について、開示がない。

なお、特許文献４に記載の構成では、単純に近傍画素同士で画素加算を行うだけなので、合焦した主要被写体の解像度が画素加算により低下してしまうという問題がある。例えば、２画素混合の場合には、解像度が１／２に低下してしまうことになる。また、特許文献５には、立体視画像を生成可能な単眼３Ｄ撮像装置が開示されておらず、視差に起因するノイズパターンを抑止することできる構成についても記載がない。

本発明はこのような事情に鑑みてなされたもので、視差を有する複数の平面画像を合成した高解像度平面画像における合焦した主要被写体部分の解像度を維持することができるとともに視差に起因したノイズパターンを確実に解消することができる撮像装置、画像処理装置および画像処理方法を提供することを目的とする。

前記目的を達成するために、本発明の一態様は、単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスと、前記第１の撮像画素群の画素信号に基づく第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出する視差量算出部と、前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分をボケている部分であると判定する判定部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える撮像装置を提供する。なお、ボケている「部分」の画素数は限定されない。領域ごとにあるいは画素ごとに、ボケているか否かの判定、および、ぼかし処理を行ってよい。

即ち、前記第１の平面画像および前記第２の平面画像のうち視差量が閾値よりも大きい部分に対してぼかし処理が行われるので、視差を有する第１の平面画像および第２の平面画像を合成した高解像度平面画像における、合焦した主要被写体部分の解像度を維持することができるとともに、視差に起因したノイズパターンを確実に解消することができる。

前記ぼかし処理として、画素値の加算平均、フィルタ処理などが挙げられる。他のぼかし処理でもよい。

本発明の一態様では、前記視差量算出部は、前記第１の平面画像および前記第２の平面画像の各画素の視差量を算出し、前記判定部は、前記視差量が閾値よりも大きい画素はボケている画素であると判定し、前記ぼかし処理部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目し、前記ボケている画素を含む前記画素ペアの画素間で画素値の加算平均を行う。

また、本発明の一態様は、単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスと、前記第１の撮像画素群の画素信号に基づく第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい前記部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える撮像装置を提供する。なお、「撮像画素配置にて共通する部分」とは、第１の平面画像と第２の平面画像とで撮像素子が異なるので、完全に同一な部分という意味ではなく、互いに重なる領域、または、互いに近傍に位置する画素である。

即ち、ボケ量の差が閾値よりも大きい領域に対してぼかし処理が行われるので、視差を有する第１の平面画像および第２の平面画像を合成した高解像度平面画像における、合焦した主要被写体部分の解像度を維持することができるとともに、視差に起因したノイズパターンを確実に解消することができる。

本発明の一態様では、前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目し、前記ボケ量の差として、前記画素ペアを構成している画素間における先鋭度の差を算出する。

本発明の一態様では、前記ぼかし処理は、前記ボケ量の差の絶対値が閾値よりも大きい前記部分における画素値の加算平均またはフィルタ処理である。

本発明の一態様では、前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアの画素間で画素値の加算平均を行う。

本発明の一態様では、前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアのうちボケ量が小さい方の画素のみをぼかすフィルタ処理を行う。即ち、画素ペアのうちボケ量が小さい方の画素のみフィルタ処理が行われ、画素ペアのうちボケ量が大きい方の画素はフィルタ処理が行われないので、視差に起因するノイズパターンを確実に解消しつつ、ボケ量の拡大を最小限に抑えることができる。

本発明の一態様では、前記ぼかし処理部は、少なくともボケ量の差に基づいて、フィルタ係数を決定する。

本発明の一態様では、前記高解像度平面画像を生成する高解像度平面画像撮影モード、前記高解像度平面画像よりも解像度が低い低解像度平面画像を生成する低解像度平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、前記高解像度平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する。

本発明の一態様では、前記高解像度平面画像を生成する平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、前記平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する。

本発明の一態様では、前記撮像デバイスの画素配列は、ハニカム配列である。

本発明の一態様では、前記撮像デバイスの画素配列は、ベイヤ配列である。

また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分の視差量を算出する視差量算出部と、前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定する判定部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える画像処理装置を提供する。

また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分とのボケ量の差であって、前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える画像処理装置を提供する。

また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出するステップと、前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定するステップと、前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理ステップと、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップとを備える画像処理方法を提供する。

また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって、前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出ステップと、前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理ステップと、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップとを備える画像処理方法を提供する。

本発明によれば、視差を有する複数の平面画像を合成した高解像度平面画像における合焦した主要被写体部分の解像度を維持することができるとともに視差に起因したノイズパターンを確実に解消することができる。

本発明に係る撮像装置のハードウェア構成例を示すブロック図 撮像デバイスの構成例を示す図 撮像デバイス（主画素）の構成例を示す図 撮像デバイス（副画素）の構成例を示す図 撮像画素を示した図 図３の要部拡大図（通常画素） 図３の要部拡大図（位相差画素） 第１実施形態における撮像装置の要部ブロック図 ＲＡＷ画像、左画像、右画像および視差マップの説明に用いる説明図 第１実施形態における画像処理例の流れを示すフローチャート 視差マップ生成処理の流れを示すフローチャート 視差量の大きさとボケ量の大きさとの関係の説明に用いる説明図 第２実施形態における撮像装置の要部ブロック図 第２実施形態における画像処理例の流れを示すフローチャート ラプラシアンフィルタのフィルタ行列の一例を示す図 第３実施形態における撮像装置の要部ブロック図 先鋭度の差｜ｋ｜とガウシアンフィルタのパラメータαとの関係を示すグラフ 第３実施形態における画像処理例の流れを示すフローチャート 撮影モード選択処理の流れを示すフローチャート ベイヤ配列の例を示す模式図 ベイヤ配列の別の例を示す模式図 瞳分割なしの撮像系の要部を示す説明図 瞳分割方式の３Ｄ単眼撮像系の要部を示す説明図 瞳分割方式の３Ｄ単眼撮像系の要部を示す説明図 瞳分割なしの撮像系での結像の様子を示す模式図 瞳分割方式の３Ｄ単眼撮像系での結像の様子を示す模式図 瞳分割方式の３Ｄ単眼撮像系での結像の様子を示す模式図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

＜撮像装置の全体構成＞
図１は本発明の一実施形態に係る撮像装置１０の実施の形態を示すブロック図である。

この撮像装置１０は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）４０によって統括制御される。

撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する２段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択操作用の操作部材である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画または動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作用の操作部材）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。

撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影レンズ１２（撮影光学系）、絞り１４を介して固体撮像素子である撮像デバイス１６の受光面に結像される。撮影レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ１．４〜Ｆ１１まで１ＡＶ刻みで６段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、撮像制御部３２を介して撮像デバイス１６での電荷蓄積時間（シャッタ速度）や、撮像デバイス１６からの画像信号の読み出し制御等を行う。

＜単眼３Ｄ撮像デバイスの構成例＞
図２Ａから図２Ｃは撮像デバイス１６の構成例を示す図である。

撮像デバイス１６は、それぞれマトリクス状に配列された奇数ラインの撮像画素（以下「主画素」という）と、偶数ラインの撮像画素（以下「副画素」という）とを有している。これらの主、副画素によってそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができる。

図２Ｂに示すように、撮像デバイス１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられている。一方、図２Ｃに示すように、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が配列ピッチの２分の１ピッチだけライン方向にずれて配置されている。即ち、撮像デバイス１６の画素配列は、ハニカム配列となっている。

図３は撮影レンズ１２、絞り１４、および撮像デバイス１６の主画素ＰＤａ、副画素ＰＤｂの１画素ずつを示した図であり、図４Ａおよび図４Ｂは図３の要部拡大図である。

図４Ａに示すように通常の撮像デバイスの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、撮像デバイス１６の主画素ＰＤａおよび副画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素ＰＤａ、副画素ＰＤｂの受光面の右半分、または左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

なお、上記構成の撮像デバイス１６は、主画素ＰＤａと副画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、本発明はこれに限定されるものではない。例えば、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

図１に戻って、撮像デバイス１６に蓄積された信号電荷は、撮像制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像デバイス１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理（色補間処理）、ＹＣ処理、コントラスト強調処理、輪郭補正処理等の所定の信号処理を行う。

また、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）５６は、カメラ制御プログラム、撮像デバイス１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図等が記憶されている不揮発性メモリである。

ここで、図２Ｂおよび図２Ｃに示すように、撮像デバイス１６の奇数ラインの主画素から読み出される主画像データは、左視点の平面画像（以下「左画像」という）として処理され、偶数ラインの副画素から読み出される副画像データは、右視点の平面画像（以下「右画像」という）として処理される。

デジタル信号処理部２４で処理された左画像および右画像は、ＶＲＡＭ（ｖｉｄｅｏ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３次元（３Ｄ）画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力される。これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左画像及び右画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示装置である。なお、立体表示装置は、これに限定されるものではない。例えば、レンチキュラレンズを使用するものや、ユーザが偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左画像と右画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像デバイス１６は、ＡＦ（ａｕｔｏｍａｔｉｃ ｆｏｃｕｓ ａｄｊｕｓｔｍｅｎｔ）動作およびＡＥ（ａｕｔｏｍａｔｉｃ ｅｘｐｏｓｕｒｅ）動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４は、画面全体のＧ信号を積算し、または画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値および撮像デバイス１６の電子シャッタ（シャッタ速度）を所定のプログラム線図に従って決定する。ＣＰＵ４０は、上記決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいて撮像制御部３２を介して撮像デバイス１６での電荷蓄積時間を制御する。

ＡＦ処理部４２は、コントラストＡＦ処理または位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左画像データおよび右画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左画像データおよび右画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素および副画素に対応する左画像および右画像の２枚分の画像データが画像入力コントローラ２２からメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｉｃ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成される。このＭＰファイルは、メディアインターフェース（メディアＩ／Ｆ）５２を介して読み出され、記録メディア５４に記録される。

以下では、本発明に係る撮像装置を各種の実施形態に分けて説明する。

＜第１実施形態＞
図５は、第１実施形態における撮像装置１０ａの要部ブロック図である。なお、図５において、図１に示した構成要素には同じ符号を付してあり、既に説明した事項について以下ではその説明を省略する。

本例の単眼３Ｄ撮像システム１７は、具体的には、図１の撮影レンズ１２、絞り１４、撮像デバイス１６、アナログ信号処理部１８、Ａ／Ｄ変換器２０を含む。即ち、単眼３Ｄ撮像システム１７は、単一の撮影レンズ１２（撮影光学系）と、単一の撮影レンズ１２の異なる領域を通過した光束をそれぞれ光電変換する主画素群および副画素群を有する撮像デバイス１６を含んいる。

単眼３Ｄ撮像システム１７は、被写体を撮像し、図２Ｂに示した主画素（第１の撮像画素）群から出力された画素信号および図２Ｃに示した副画素（第２の撮像画素）群から出力された画素信号からなるＲＡＷ画像を生成する。ＲＡＷ画像における画素（「画像画素」ともいう）の配置は、図２Ａに示した撮像画素（フォトダイオードＰＤ）の配置に対応している。

ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）６０は、図１のデジタル信号処理部２４を含む。なお、図５ではＣＰＵ４０とＤＳＰ６０とを別の要素として示したが、一体に形成されていてもよい。また、ＤＳＰ６０の構成要素の一部をＣＰＵ４０により構成してもよい。

画素分離部６１は、図６に示すように、図２Ａに示した画素は位置に対応したＲＡＷ画像８０を、図２Ｂに示した主画素群の画素配置に対応した左画像８０Ｌ（第１の平面画像）と、図２Ｃに示した副画素群の画素配置に対応した右画像８０Ｒ（第２の平面画像）とに分離する。

視差マップ生成部６２は、図６に示すように、左画像８０Ｌと右画像８０Ｒとで同一被写体の同一点を示す２つの画素同士の対応関係を検出し、その対応関係を有する画素同士の視差量△Ｘを算出して、各画素と視差量△Ｘとの対応関係を示す視差マップ８８を生成する。言い換えると、視差マップ生成部６２は、左画像８０Ｌおよび右画像８０Ｒの各部分の視差量を算出する。

例えば、図６における左画像８０Ｌの画素Ｐ１ａと右画像８０Ｒの画素Ｐ２ｂとのｘ方向における座標値の差△Ｘが視差量として算出される。本例の第１の視差マップ８８は、左画像８０Ｌの画素配置に対応しており、左画像８０Ｌの各画素ごとの視差量を示す。

ボケ画素判定部６３は、視差マップ生成部６２により生成された視差マップ８８に基づいて、左画像８０Ｌおよび右画像８０Ｒの各画素の視差量（絶対値）を閾値と比較して、視差量（絶対値）が閾値よりも大きい画素はボケている画素であると判定する。即ち、ボケ画素判定部６３は、左画像８０Ｌの画素と右画像８０Ｒの画素とからなる画素ペアであって、撮像デバイス１６において互いに近傍に配置されている主画素および副画素に対応した各画素ペアのうち、少なくとも一方の画素がボケているか否かの判定を行う。例えば、図６において、左画像８０Ｌの画素Ｐ１ａと右画像８０Ｒの画素Ｐ１ｂとが画素ペアであり、また、左画像８０Ｌの画素Ｐ２ａと右画像８０Ｒの画素Ｐ２ｂとが画素ペアである。言い換えると、ボケ画素判定部６３は、左画像８０Ｌおよび右画像８０Ｒのうち、視差量が閾値よりも大きい部分はボケている部分であると判定する。

ボケ均等処理部６４は、撮像デバイス１６において互いに近傍に配置されている主画素および副画素に対応した各画素ペアに注目し、ボケている画素を含む画素ペアに対しては、画素ペアを構成している画素間でボケ量を均等にするぼかし処理を行い、ボケている画素を含まない画素ペアに対しては前記ぼかし処理を行わない。例えば、図６において、左画像８０Ｌの画素Ｐ１ａと右画像８０Ｒの画素Ｐ１ｂとで画素値の加算平均を行い、左画像８０Ｌの画素Ｐ２ａと右画像８０Ｒの画素Ｐ２ｂとで画素値の加算平均を行う。言い換えると、ボケ均等処理部６４は、左画像８０Ｌおよび右画像８０Ｒのうち、ボケている部分に対して、ぼかし処理を行う。

高解像度画像処理部６５は、ボケ均等処理部６４による加算平均処理後の左画像８０Ｌおよび右画像８０Ｒを組み合わせる合成を行うことで、再合成したＲＡＷ画像としての一枚の高解像度平面画像（以下「高解像度平面画像」という）を生成する。ここで、高解像度平面画像は、図２Ａに示した撮像デバイス１６の全画素の画素配置に対応した平面画像データであって、本例では左画像（または右画像）の解像度に対し２倍の解像度を有する。

立体視画像処理部６６は、ボケ均等処理部６４による加算平均処理を施していない左画像８０Ｌおよび右画像８０Ｒからなる立体視画像に対する画像処理を行う。左画像８０Ｌは、図２Ｂに示した主画素ＰＤａの画素配置に対応した平面画像データであり、右画像８０Ｒは、図２Ｃに示した副画素ＰＤｂの画素配置に対応した平面画像データである。

ＹＣ処理部６７は、Ｒ，Ｇ，Ｂ画素信号からなる画像をＹ，Ｃ画像信号の画像に変換する。

図５の画素分離部６１、視差マップ生成部６２、ボケ画素判定部６３、ボケ均等処理部６４および高解像度画像処理部６５によって、Ｒ，Ｇ，Ｂ画素信号からなる２Ｄ画像（高解像度平面画像、２Ｄ低解像度画像）を生成する２Ｄ画像生成装置が構成されている。また、図５の画素分離部６１および立体視画像処理部６６によって、Ｒ，Ｇ，Ｂ画素信号からなる立体視画像を生成する３Ｄ画像生成装置が構成されている。

図７は、第１実施形態における画像処理の流れを示すフローチャートである。本処理は、プログラムに従ってＣＰＵ４０の制御により実行される。

まず、ステップＳ１にて、単眼３Ｄ撮像システム１７により、被写体を撮像して、ＲＡＷ画像８０を取得する。即ち、図２Ａに示した撮像デバイス１６の全画素から出力された画素信号からなるＲＡＷ画像８０が、メモリ４８に格納される。

次に、ステップＳ２にて、画素分離部６１により、ＲＡＷ画像８０を左画像８０Ｌと右画像８０Ｒとに分離する。

次に、ステップＳ３にて、視差マップ生成部６２により、視差マップ８８を生成する。このステップＳ３を図８の詳細フローチャートに示した。まず、左画像８０Ｌおよび右画像８０Ｒのうちのいずれか一方（本例では左画像８０Ｌ）を基準画像として選択して他方（本例では右画像８０Ｒ）を追跡画像とする（ステップＳ１１）。次に、基準画像８０Ｌから注目画素を順次選択する（ステップＳ１２）。次に、基準画像８０Ｌの注目画素と特徴が一致する画素を追跡画像８０Ｒから検出して、基準画像８０Ｌの注目画素と追跡画像８０Ｒの検出された画素との対応関係をメモリ４８に記憶する（ステップＳ１３）。基準画像８０Ｌの全画素の選択が完了したか否かを判定し（ステップＳ１４）、未完了の場合にはステップＳ１２に戻り、完了した場合には視差量△Ｘの算出を行って視差マップ８８を作成する（ステップＳ１５）。即ち、左画像８０Ｌの各画素と視差量△Ｘとの対応関係を示す視差マップ８８が生成される。

ここで、視差量△ＸとＲＡＷ画像８０に生じるノイズとの関係について説明しておく。視差量は、図９に示すように、左画像８０Ｌの画素（例えば８１ｂ、８２ｂ、８３ｂ）と、これらの画素に特徴がそれぞれ一致する右画像８０Ｒの対応画素（例えば８１ｃ、８２ｃ、８３ｃ）との座標位置の差分△Ｘ（例えば△Ｘ_１、△Ｘ_２、△Ｘ_３）である。算出された視差量△Ｘが大きい場合、図２Ａに示した撮像デバイス１６にペアとして配置されている主画素ＰＤａと副画素ＰＤｂとで、撮像デバイス１６の受光面上の位置はほぼ同じ（近傍）であるが、受光量（入射した光量）は大きく異なっていたことになる。つまり、ＲＡＷ画像８０のうち、視差量△Ｘが大きい領域には、段差状のノイズが生じている可能性がある。もしも、このようなノイズを含んだＲＡＷ画像８０を、高解像度平面画像として扱ってコントラスト強調や輪郭補正等の画像処理を加えると、ノイズが目立って現われてしまう。そこで、後述のステップＳ４〜Ｓ７では、高解像度を維持しつつノイズを解消するための画像処理を行う。

ステップＳ４にて、基準画像（例えば左画像８０Ｌ）から注目画素を選択する。

ステップＳ５にて、ボケ画素判定部６３により、基準画像８０Ｌに対応する視差マップ８８に基づいて注目画素の視差量の絶対値｜△Ｘ｜が閾値Ｓよりも大きいか否かを判定し、｜△Ｘ｜が閾値Ｓよりも大きい注目画素はボケているボケ画素であると判定する。例えば、図９に示した左画像８０Ｌ中の画素８_１ｂおよび８_３ｂは、｜△Ｘ｜が閾値Ｓよりも大きいボケ画素と判定される。同様に、右画像８０Ｒの画素８_１ｃ、８_３ｃもボケ画素と判定される。その一方で、｜△Ｘ｜が閾値Ｓよりも小さい画素８_２ｂ、８_２ｃは、ボケていない画素であると判定される。｜△Ｘ｜とノイズ量とは、｜△Ｘ｜が大きくなるほどノイズ量が右肩上がりに（若しくは比例して）大きくなる関係にある。実験や計算により｜△Ｘ｜とノイズ量との対応関係を求め、その対応関係に基づいて閾値Ｓを予め求めてＥＥＰＲＯＭ５６等に予め設定しておく。閾値Ｓの大きさは特に限定されないが、人の両眼で立体融合限界よりも十分に小さい値（立体融合限界の１／ｎ未満）である。

ボケ画素であると判定された場合、ステップＳ６にて、ボケ均等処理部６４により、基準画像８０Ｌのボケ画素の画素値と、撮像デバイス１６の画素配置においてボケ画素のペアとして配置されている他方の平面画像８０Ｒの画素の画素値とを、加算平均する。即ち、画素ペアを構成している画素間でボケ量を均等にするぼかし処理（ボケ均等処理）を行う。

図２Ａに示したように主画素ＰＤａと副画素ＰＤｂとが撮像デバイス１６にてペアで配置されており、左画像８０ＬのＰＤａに対応する画素と右画像８０ＲのＰＤｂに対応する画素とで、画素値が加算平均される。本例の主画素ＰＤａおよび副画素ＰＤｂは、撮像デバイス１６において互いに隣接して配置されている同色の撮像画素である。これらの２つの撮像画素の画素値の平均値は、左画像８０Ｌの画素および右画像８０Ｒの画素の両方に、設定される。

ステップＳ７にて、全画素の選択を完了したか否かを判定する。未完了の場合にはステップＳ４に戻り、完了した場合にはステップＳ８に進む。

ステップＳ８にて、高解像度画像処理部６５により、左画像８０Ｌと右画像８０Ｒとを合成することで、１枚の高解像度平面画像を生成する。

ステップＳ９にて、ＹＣ処理部６７により、Ｒ，Ｇ，Ｂ画素信号からなる高解像度画像を、Ｙ（輝度）信号およびＣ（色差）信号からなる高解像度画像に変換するＹＣ処理を行う。

本実施形態では、高解像度平面画像の全領域のうち、ボケ量が大きい部分のみを加算平均の対象領域として限定するため、ピントが合っている主要被写体の解像度を劣化させることなく、ノイズを抑制することができる。

なお、ボケている「部分」の画素数は限定されない。領域ごとにあるいは画素ごとに、ボケているか否かの判定、および、ぼかし処理を行ってよい。また、ぼかし処理として、画素値の加算平均のみ示したが、後述のフィルタ処理（例えばガウシアンフィルタ）によりぼかし処理を行ってもよい。

＜第２実施形態＞
図１０は、第２実施形態における撮像装置１０ｂの要部ブロック図である。なお、図５に示した第１実施形態の撮像装置１０ａと同じ構成要素には同じ符号を付してあり、第１実施形態にて説明した事項については以下ではその説明を省略する。

先鋭度比較部７２（ボケ量差算出部）は、撮像デバイス１６において互いに近傍に配置されている主画素ＰＤａおよび副画素ＰＤｂにそれぞれ対応した左画像の画素と右画像の画素との間で先鋭度を比較して、先鋭度差を算出する。

画素間の先鋭度差は、画素間のボケ量の差を示しており、先鋭度差が大きいほど画素間でボケ量の差が大きい。即ち、先鋭度比較部７２は、左画像の画素と右画像の画素とからなる画素ペアであって撮像デバイス１６において互いに近傍に配置されている主画素ＰＤａおよび副画素ＰＤｂに対応した各画素ペアに注目し、画素ペアを構成している画素間で、ボケ量の差を示す先鋭度差を算出する。言い換えると、先鋭度比較部７２は、左画像８０Ｌの各部分と右画像８０Ｒの各部分とのボケ量の差であって、撮像デバイス１６の撮像画素配置にて共通する部分間のボケ量の差を算出する。なお、「撮像画素配置にて共通する部分」とは、第１の平面画像と第２の平面画像とで撮像素子が異なるので、完全に同一な部分という意味ではなく、互いに重なる領域、または、互いに近傍に位置する画素である。

本実施形態のボケ画素判定部７３は、先鋭度比較部７２により算出された先鋭度差（ボケ量の差）の絶対値を閾値と比較する。ボケ画素判定部７３は、先鋭度差の絶対値が閾値よりも大きい画素ペアに対しては、画素ペアを構成している画素間で加算平均を行うと判定する。一方、ボケ画素判定部７３は、先鋭度差の絶対値が閾値以下である画素ペアに対しては、加算平均を行わないと判定する。言い換えると、ボケ画素判定部７３は、左画像８０Ｌおよび右画像８０Ｒのうちボケ量の差の絶対値が閾値よりも大きい部分に対して、ぼかし処理を行うと判定する。

ボケ均等処理部６４は、ボケ画素判定部７３の判定結果に応じて、画素ペアを構成している画素間で画素値の加算平均を行う。つまり、ボケ均等処理部６４は、左画像および右画像の各画素に注目し、先鋭度差の絶対値が閾値よりも大きい場合には、撮像デバイス１６において互いに近傍に配置されている主画素ＰＤａおよび副画素ＰＤｂにそれぞれ対応した画素同士を加算平均する。一方、ボケ均等処理部６４は、先鋭度差の絶対値が閾値以下である場合には、加算平均を行わない。即ち、ボケ均等処理部６４は、ボケ量の差の絶対値が閾値よりも大きい部分に対しては、ぼかし処理を行う。

図１１は、第２実施形態における画像処理例の流れを示すフローチャートである。

ステップＳ２１およびＳ２２は、図７に示した第１実施形態のステップＳ１およびＳ２とそれぞれ同様である。

ステップＳ２３にて、基準画像（例えば左画像８０Ｌ）で注目画素を選択する。

ステップＳ２４にて、先鋭度比較部７２により、撮像デバイス１６の画素配置にてペアとして配置されている左画像８０Ｌの画素と右画像８０Ｒの画素とで、先鋭度差を算出する。例えば、左画像８０Ｌの画素および右画像８０Ｒの画素の各々について先鋭度Ｓａ、Ｓｂを算出し、これらの先鋭度の差分(ｋ＝Ｓａ−Ｓｂ)を算出する。

各画素の先鋭度の算出は、ラプラシアンフィルタ処理により行う。ラプラシアンフィルタのフィルタ行列の一例を図１２に示す。ラプラシアンフィルタ処理によりエッジ検出を行うことができ、出力値の絶対値が先鋭度を示す。ボケ量が小さい画素ほど先鋭度が大きくなり、ボケ量が大きい画素ほど先鋭度が小さくなる。なお、ラプラシアンフィルタは本例に限定されるものではない。また、ラプラシアンフィルタ以外のフィルタを用いて先鋭度を算出してもよい。

ステップＳ２５にて、ボケ画素判定部７３により、先鋭度差の絶対値｜ｋ｜が閾値ｋ_ｔｈよりも大きいか否かを判定する。｜ｋ｜が閾値ｋ_ｔｈよりも大きい場合には、ペアの画素間でボケ量の差が大きいので、視差量に起因したノイズが発生している可能性がある。

ステップＳ２６にて、ボケ均等処理部６４により、先鋭度差の絶対値｜ｋ｜が閾値ｋ_ｔｈよりも大きいペアの画素同士で画素値の加算平均を行う。

ステップＳ２７にて、全画素の選択を完了したか否かを判定する。未完了の場合にはステップＳ２３に戻り、完了した場合にはステップＳ２８に進む。

ステップＳ２８およびＳ２９は、図７に示した第１実施形態のステップＳ８およびＳ９とそれぞれ同様である。

本実施形態では、高解像度平面画像の全領域のうち、ボケ量の差が大きい部分のみを加算平均の対象領域として限定することができるため、ピントが合っている主要被写体の解像度を劣化させることなく、ノイズを抑制することができる。

＜第３実施形態＞
次に、第３実施形態について、説明する。第３実施形態では、加算平均ではなく、フィルタ処理を適用して、画素ペアのうちボケ量がより少ない方の画素のみ先鋭度を低下させることで、視差に起因するノイズを抑制する。つまり、ボケ量がより少ない方の画素のみをよりぼかす処理を行う。

図１３は、第３実施形態における撮像装置の要部構成を示すブロック図である。なお、図１０に示した第２実施形態の撮像装置と同じ構成要素には同じ符号を付してあり、説明済みの事項については以下ではその説明を省略する。

本実施形態のボケ画素判定部７３は、先鋭度比較部７２により算出された先鋭度差（ボケ量の差）の絶対値を閾値と比較する。そして、ボケ画素判定部７３は、先鋭度差の絶対値が閾値よりも大きい場合には、先鋭度差の符号が正であるか否かに基づいて、撮像デバイス１６において互いに近傍に配置されている２つの撮像画素にそれぞれ対応した左画像および右画像の２つ画素（画素ペア）のうち、いずれの画素のボケ量が大きいかを判定する。

ぼかしフィルタ処理部７４は、先鋭度差（ボケ量の差）の絶対値が閾値よりも大きい画素ペアに対しては、画素ペアのうちボケ量が小さい方の画素のみをぼかすフィルタ処理を行う。一方、ぼかしフィルタ処理部７４は、先鋭度差の絶対値が閾値以下である画素ペアに対しては、前記フィルタ処理を行わない。

フィルタとして、例えばガウシアンフィルタを用いる。ガウシアンフィルタ係数ｆ（ｘ）を次の数１に示す。

図１４は、先鋭度差｜ｋ｜とガウシアンフィルタのパラメータαとの関係を示すグラフである。｜ｋ｜が閾値ｋ_ｔｈ以上であるとき、｜ｋ｜と比例関係にあるαが求められ、そのαに対応するガウシアンフィルタ係数ｆ（ｘ）を決定する。αからｆ（ｘ）を算出するには、上記数１を用いて演算を行い、算出されたｆ（ｘ）の総和が「１」になるように正規化を行えばよい。

デジタルフィルタの場合は注目画素を中心とした離散位置ごとにｆ（ｘ）が決定される。例えば、５タップフィルタの場合、ｆ（ｘ）＝｛０．１、０．２、０．４、０．２、０．１｝等となる。なお、一般には、画像の明るさが変動しないよう、各係数の総和が「１．０」になるように正規化される。ここでは１次元のフィルタ係数で表現しているが、フィルタ処理を水平方向および垂直方向に順に施すことにより、２次元のフィルタ処理を行ってもよい。また、ガウシアンフィルタ以外のフィルタ（例えばローパスフィルタ）を用いてもよい。

なお、ぼかしフィルタ処理部７４は、ボケ量の差（本例では先鋭度差）、撮影時の焦点距離、および、撮影時の絞り値のうち、少なくともひとつに基づいて、フィルタ係数を決定することが、好ましい。

図１５は、第３実施形態における画像処理の流れを示すフローチャートである。

ステップＳ３１およびＳ３２は、図７に示した第１実施形態のステップＳ１およびＳ２とそれぞれ同様である。

ステップＳ３３にて、左画像を基準画像に設定する。

ステップＳ３４にて、基準画像で注目画素を選択する。

ステップＳ３５にて、先鋭度比較部７２により、撮像デバイス１６においてペアで配置されている主画素ＰＤａおよびＰＤｂにそれぞれ対応する左画像８０Ｌの画素と右画像８０Ｒの画素とで、先鋭度差を算出する。（先鋭度差）＝（右画像８０Ｒの画素の先鋭度）−（左画像８０Ｌの画素の先鋭度）である。

ステップＳ３６にて、ボケ画素判定部７３により、先鋭度差の絶対値｜ｋ｜が閾値ｋ_ｔｈよりも大きいか否かを判定する。｜ｋ｜が閾値ｋ_ｔｈよりも大きい場合には、ペアの画素間でボケ量の差が大きいので、視差量に起因したノイズが発生している可能性がある。

ステップＳ３７にて、フィルタ係数を決定する。

ステップＳ３８にて、先鋭度差ｋが正であるか否かを判定する。先鋭度差ｋが正である場合には、ステップＳ３９にて、右画像の画素に対してフィルタ処理を行う。一方、先鋭度差ｋが正でない場合には、ステップＳ４０にて、左画像の画素に対してフィルタ処理を行う。即ち、先鋭度が高い方の画素に対しフィルタ処理を適用して先鋭度を低下させることで、ボケ量の差分を抑制する。

ステップＳ４０にて、全画素の選択を完了したか否かを判定する。未完了の場合にはステップＳ３４に戻り、完了した場合にはステップＳ４１に進む。

ステップＳ４２およびＳ４３は、図７に示した第１実施形態のステップＳ８およびＳ９とそれぞれ同様である。

第３実施形態では、先鋭度比較部７２により、左画像の各部分と右画像の各部分とのボケ量の差であって前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出し、ぼかしフィルタ処理部７４により、左画像および右画像のうちボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行っている。従って、視差に起因するノイズパターンを確実に解消しつつ、ボケ量の拡大を最小限に抑えることができる。

図１６は、図１の撮像装置１０における撮影モード選択処理の流れを示すフローチャートである。本処理は図１のＣＰＵ４０により実行される。なお、本処理は第１実施形態から第３実施のうちでいずれの実施形態で行ってもよい。

電源がオンされると撮像装置１０はスタンバイ状態になる（ステップＳ５１）。スタンバイ状態では、操作部３８により撮影モードの選択指示操作を受け付ける。

選択指示操作を受け付けると、選択指示された撮影モードが２Ｄ撮影モードであるか３Ｄ撮影モードであるかを判定する（ステップＳ５２）。

選択指示された３Ｄ撮影モードである場合には、３Ｄ撮影モードを設定する（ステップＳ５３）。

選択指示された２Ｄ撮影モードである場合には、記録画素数が（撮像デバイス１６の有効画素数／２）よりも大きいか否かを判定する（ステップＳ５４）。記録画素数が（撮像デバイス１６の有効画素数／２）よりも大きい場合には、２Ｄ高解像度撮影モードを設定する（ステップＳ５５）。一方、記録画素数が（撮像デバイス１６の有効画素数／２）以下の場合には、２Ｄ低解像度撮影モードを設定する（ステップＳ５６）。２Ｄ低解像度撮影モードでは、記録する２Ｄ画像の解像度を、例えば２Ｄ高解像度撮影モードの１／２に設定する。

３Ｄ撮影モードでは、左画像および右画像の各々に対し、通常のベイヤ処理を行う。

２Ｄ低解像度撮影モード処理では、全画素に対し、加算平均処理を行うことで、視差に起因するパタンノイズの発生を抑える。

本例では、高解像度平面画像を生成する２Ｄ高解像度撮影モード（高解像度平面画像撮影モード）、高解像度平面画像よりも解像度が低い２Ｄ低解像度画像を生成する２Ｄ低解像度撮影モード（低解像度平面画像撮影モード）、および、３Ｄ画像（立体視画像）を生成する３Ｄ撮影モード（立体視画像撮影モード）を有し、２Ｄ高解像度撮影モードが設定されている場合に、高解像度平面画像が生成される。

本発明は、図１６に示した場合には特に限定されない。例えば、高解像度平面画像を生成する２Ｄ画像撮影モード、および、３Ｄ画像を生成する３Ｄ撮影モードを有し、２Ｄ画像撮影モードが設定されているときに、高解像度平面画像を生成するようにしてもよい。

なお、本発明において、瞳分割の方式は、図３、図４Ａおよび図４Ｂに示した瞳分割用の遮光部材１６Ａを用いる態様には特に限定されない。例えば、マイクロレンズＬおよびフォトダイオードＰＤのうちで少なくとも一方の配置や形状により瞳分割する態様でもよいし、機械的な絞り１４により瞳分割する態様でもよいし、それ以外の態様でもよい。

また、撮像デバイス１６における撮像画素の配列は、図２に示したハニカム配列である場合には、限定されない。図１７Ａまたは図１７Ｂに配列の一部を模式的に示すベイヤ配列であってもよい。具体的には、偶数列全体としての画素配列（主画素配列）および奇数列全体としての画素配列（副画素配列）がいずれもベイヤ配列である、ダブルのベイヤ配列となっている。図１７Ａおよび図１７Ｂにおいて、Ｒ、Ｇ，Ｂは、それぞれ赤、緑、青のフィルタを有する撮像画素であって、互いに隣接するＲ−Ｒ、Ｇ−Ｇ、Ｂ−Ｂの２つの画素（即ち近傍の同色画素）により画素ペアが構成されている。画素ペアのうち一方の画素信号により左画像の画素が構成され、他方の画素信号により右画像の画素が構成される。

また、撮像デバイス１６は、ＣＣＤ撮像デバイスに特に限定されない。例えば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像デバイスであってもよい。

また、前述の第１実施形態から第３実施形態において、判定に用いる閾値は、例えば、モニタサイズ（表示画面のサイズ）、モニタ解像度（表示画面の解像度）、観視距離（表示画面を見る距離）、ユーザの立体視融合限界（個人差がある）などの算出条件に基づいて、ＣＰＵ４０により算出される。これらの算出条件の設定は、ユーザ設定および自動設定のいずれでもよい。ユーザ設定の場合には、操作部３８により設定操作が行われ、その設定内容がＥＥＰＲＯＭ５６に記憶される。モニタサイズおよびモニタ解像度（表示画面の解像度）は、モニタ（図１のＬＣＤ３０）等から情報を自動的に取得してもよい。また、ユーザ設定されなかった算出条件（または自動取得できなかった算出条件）については、標準的な条件を適用してもよい。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０（１０ａ、１０ｂ、１０ｃ）…撮像装置、１２…撮像レンズ、１６…撮像デバイス、４０…ＣＰＵ、６０…ＤＳＰ、６２…視差マップ生成部、６３、７３…ボケ画素判定部、６４…ボケ均等処理部、６５…高解像度処理部、６６…立体視画像処理部、７２…先鋭度比較部、７４…ぼかしフィルタ処理部、８０…ＲＡＷ画像、８０Ｌ…左画像（第１の平面画像）、８０Ｒ…右画像（第２の平面画像）、８８…視差マップ

Claims (17)

1. 単一の撮影光学系と、
   前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスと、
   前記第１の撮像画素群の画素信号に基づく第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、
   前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出する視差量算出部と、
   前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分をボケている部分であると判定する判定部と、
   前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、
   ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
   を備える撮像装置。
2. 前記ぼかし処理は、前記視差量が閾値よりも大きい部分における画素値の加算平均またはフィルタ処理である、請求項１に記載の撮像装置。
3. 前記視差量算出部は、前記第１の平面画像および前記第２の平面画像の各画素の視差量を算出し、
   前記判定部は、前記視差量が閾値よりも大きい画素はボケている画素であると判定し、
   前記ぼかし処理部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目し、前記ボケている画素を含む前記画素ペアの画素間で画素値の加算平均を行う、請求項１に記載の撮像装置。
4. 単一の撮影光学系と、
   前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスと、
   前記第１の撮像画素群の画素信号に基づく第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、
   前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、
   前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい前記部分に対してぼかし処理を行うぼかし処理部と、
   ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
   を備える撮像装置。
5. 前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目し、前記ボケ量の差として、前記画素ペアを構成している画素間における先鋭度の差を算出する、請求項４に記載の撮像装置。
6. 前記ぼかし処理は、前記ボケ量の差の絶対値が閾値よりも大きい前記部分における画素値の加算平均またはフィルタ処理である、請求項４または５に記載の撮像装置。
7. 前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、
   前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアの画素間で画素値の加算平均を行う、請求項４または５に記載の撮像装置。
8. 前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、
   前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアのうちボケ量が小さい方の画素のみをぼかすフィルタ処理を行う、請求項４または５に記載の撮像装置。
9. 前記ぼかし処理部は、少なくともボケ量の差に基づいて、フィルタ係数を決定する、請求項８に記載の撮像装置。
10. 前記高解像度平面画像を生成する高解像度平面画像撮影モード、前記高解像度平面画像よりも解像度が低い低解像度平面画像を生成する低解像度平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、
    前記高解像度平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する、請求項１ないし９のうちいずれか１項に記載の撮像装置。
11. 前記高解像度平面画像を生成する平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、
    前記平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する、請求項１ないし１０のうちいずれか１項に記載の撮像装置。
12. 前記撮像デバイスの画素配列は、ハニカム配列である、請求項１ないし１１のうちいずれか１項に記載の撮像装置。
13. 前記撮像デバイスの画素配列は、ベイヤ配列である、請求項１ないし１１のうちいずれか１項に記載の撮像装置。
14. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分の視差量を算出する視差量算出部と、
    前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定する判定部と、
    前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、
    ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
    を備える画像処理装置。
15. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分とのボケ量の差であって、前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、
    前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理部と、
    ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
    を備える画像処理装置。
16. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、
    前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出するステップと、
    前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定するステップと、
    前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理ステップと、
    ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップと、
    を備える画像処理方法。
17. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、
    前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって、
    前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出ステップと、
    前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理ステップと、
    ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップと、
    を備える画像処理方法。

Images