JP6255753B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、画像処理装置および撮像装置に関する。

３Ｄ映像を撮影できる撮像装置において、撮影中に大きな手振れが発生した場合に、左右の画像間の視差を調整するものがある（例えば、特許文献１参照）。
特許文献１ 特開２０１２−９０２５９号公報

しかしながら、上記撮像装置においては、手振れにより像光が撮像素子に対してブレるので、左右のそれぞれの画像自体がブレた画像になるという課題がある。

本発明の第１の態様においては、同一の対象に対する視差を示す視差量を含む視差画像を取得する視差画像取得部と、撮像時の手振れを補正する手振れ補正量を取得する補正量取得部と、前記補正量取得部により取得された前記手振れ補正量に基づいて、前記視差画像取得部により取得された前記視差画像の前記視差量を補正した補正画像を生成する補正画像生成部とを備え、前記視差画像取得部は、複数の前記視差画像を取得した場合にそれらが関連付けられているか否かを判断し、前記補正画像生成部は、前記視差画像取得部により前記複数の視差画像が関連付けられていると判断された場合に、前記複数の視差画像を関連付けて複数の前記補正画像を生成し、いずれの撮像時の前記手振れ補正量も予め定められた閾値内であれば、時間的に連続する前後の前記視差画像の視差の変化量が一定以下になるように視差量を補正する画像処理装置が提供される。

本発明の第２の態様においては、撮像装置であって、上記画像処理装置と、入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、入射光の断面領域内の部分領域からの光を、対応する複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有し、対象を撮影して視差画像を生成する撮影部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラの構成を説明する図である。 撮像素子の一部を拡大した様子を概念的に表す概念図である。 ２Ｄ画像データと視差画像データの生成処理の例を説明する図である。 デフォーカスの概念を説明する図である。 視差画素が出力する光強度分布を示す図である。 手振れ時および手振れ補正時におけるデフォーカスの概念を説明する図である。 図６（ｃ）の部分拡大図である。 画像処理部の機能ブロック図である。 手振れ補正量を説明する概念図である。 デジタルカメラの動作のフローチャートの一例を示す。 図１０のフローチャートのステップＳ１１６で視差量を補正する方法の一例を示す。 図１１の視差量の補正による画素値の変化を示す説明図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、デジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、１つのシーンについて複数の視点数の画像を一度の撮影により生成する。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

デジタルカメラ１０は、撮影光学系としての撮影レンズ２０および手振れ補正用の補正レンズ３０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。デジタルカメラ１０は、被写体光束の周辺を遮光する絞り２２をさらに備える。撮影レンズ２０、補正レンズ３０および絞り２２は、デジタルカメラ１０に対して一体的に着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、ＡＦセンサ２１１、駆動部２５０、手振れセンサ２５２および画像処理部２６０を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。当該座標軸はデジタルカメラ１０に固定された座標軸であって、図１における撮影における構図との関係はＸ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、補正レンズ３０と共に、シーンからの被写体光束をその焦点面近傍に結像させる。図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

補正レンズ３０は、ＸＹ面内に移動可能であって、ユーザの手振れによる撮像素子１００上での像のブレを光学的に補正する。なお、撮影レンズ２０と補正レンズ３０とをまとめて撮影光学系と呼ぶことがある。

絞り２２は、撮影光学系の瞳近傍に配され、撮像素子１００へ入射する被写体光束の周辺領域を遮光する。絞り２２の絞り量は可変であって、制御部２０１からの制御により設定される。当該絞り２２の一例は虹彩絞りであるが、これに限られない。

撮像素子１００は、撮影光学系の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２６０は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。

ＡＦセンサ２１１は、例えば、被写体空間に対して複数の測距点が設定された位相差センサである。ＡＦセンサ２１１は、それぞれの測距点において被写体像のデフォーカス量を検出する。なお、撮像素子１００がＡＦセンサを兼ねてもよく、その場合には別個のＡＦセンサ２１１を設けなくてよい。

手振れセンサ２５２は、ジャイロセンサ等を含み、主にユーザの手振れによるデジタルカメラ１０の姿勢の変化を検知して、制御部２０１に出力する。姿勢の変化には、Ｘ軸周りのピッチング、Ｙ軸周りのヨーイング、Ｘ軸方向およびＹ軸方向のシフト等が含まれる。

駆動部２５０は、手振れセンサ２５２により検知されたデジタルカメラ１０の姿勢の変化に対して補正レンズ３０を駆動することにより、撮像素子１００で撮像される像のブレを補正する。この場合に、制御部２０１は、手振れセンサ２５２により検知されたデジタルカメラ１０の姿勢の変化の方向および量に応じて、補正レンズ３０の移動の方向および量を算出する。駆動部２５０は制御部２０１により算出された移動の方向および量で補正レンズ３０を駆動する。補正レンズ３０の当該移動の方向および量を、手振れ補正量と呼ぶことがある。

制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦセンサ２１１のデフォーカス量に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２６０で画像データに処理されるまでの一連のシーケンスを管理する。

画像処理部２６０は、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子１１０を形成する。基本格子１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。

基本格子１１０は、視差画素と視差なし画素を含む。視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光する画素である。視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を有する開口マスクが設けられている。開口マスクは、例えば、カラーフィルタに重ねて設けられる。本実施形態においては、開口マスクにより、部分光束が画素中心に対して−Ｘ側に到達するように規定された視差Ｌｔ画素と、部分光束が画素中心に対して＋Ｘ側に到達するように規定された視差Ｒｔ画素の２種類が存在する。一方、視差なし画素は、開口マスクが設けられていない画素であり、撮影レンズ２０を透過する入射光束の全体を受光する画素である。

なお、視差画素は、光軸から偏位した部分光束を受光するにあたり、開口マスクに限らず、受光領域と反射領域が区分された選択的反射膜、偏位したフォトダイオード領域など、様々な構成を採用し得る。すなわち、視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光できるように構成されていれば良い。

基本格子１１０内の画素をＰ_ＩＪで表す。例えば、−Ｘおよび＋Ｙの端の画素はＰ_１１であり、＋Ｘおよび−Ｙの端の画素はＰ_８１である。図に示すように、視差画素は以下のように配列されている。
Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。

撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、基本格子１１０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子１１０内においてランダム性を有して配置されると良い。ランダム性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。

図３は、２Ｄ画像データと視差画像データの生成処理の例を説明する図である。図３を用いて、撮像素子１００から出力されるＲＡＷ元画像データから、２Ｄ画像データと視差画像データを含むＲＡＷ画像データセットを生成する処理の概念を説明する。

基本格子１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００のデジタル画像信号をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００のデジタル画像信号を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、視差Ｒｔ画素と視差Ｌｔ画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像を示す視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２６０は、撮像素子１００の画素配列順にそのデジタル画像信号が羅列されたＲＡＷ元画像データを受け取り、デジタル画像信号を画素値として複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像を示す２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。

２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２６０は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、Ｘ方向およびＹ方向に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_６１、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、Ｘ方向およびＹ方向に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_５６、Ｐ_７４、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２６０は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。

本実施形態においては、画像処理部２６０は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎプレーンデータ、赤色の基準画像プレーンデータとしてのＲｎプレーンデータ、および青色の基準画像プレーンデータとしてのＢｎプレーンデータの３つを生成する。

図の右列は、視差画素データとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

ＧＬｔプレーンデータを生成するにあたり、画像処理部２６０は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、基本格子１１０をＸＹ面内で４等分し、−Ｘおよび＋Ｙ側の１６画素分をＰ_１１の出力値で代表させ、＋Ｘおよび−Ｙ側の１６画素分をＰ_５５の出力値で代表させる。そして、＋Ｘおよび＋Ｙ側の１６画素分並びに−Ｘおよび−Ｙ側の１６画素分は、Ｘ方向およびＹ方向に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２６０は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、基本格子１１０をＸＹ面内で４等分し、＋Ｘおよび＋Ｙ側の１６画素分をＰ_５１の出力値で代表させ、−Ｘおよび−Ｙ側の１６画素分をＰ_１５の出力値で代表させる。そして、−Ｘおよび＋Ｙ側の１６画素分並びに＋Ｘおよび−Ｙ側の１６画素分は、Ｘ方向およびＹ方向に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

ＲＬｔプレーンデータを生成するにあたり、画像処理部２６０は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_２７の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２６０は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_６３の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

ＢＬｔプレーンデータを生成するにあたり、画像処理部２６０は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_３２の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２６０は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_７６の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。

本実施形態においては、画像処理部２６０は、これらのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。さらに、上記プレーンデータを時系列的に並べて動画を生成してもよい。

図４は、デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本実施形態の光学系においては、実際の被写体光束はレンズ瞳の全体を通過するので、視差画素に到達するまでは、視差仮想瞳に対応する光強度分布が互いに区別されるのではない。しかし、視差画素は、それぞれが有する開口マスクの作用により、視差仮想瞳を通過した部分光束のみを光電変換した画像信号を出力する。したがって、視差画素の出力が示す画素値分布は、それぞれ対応する視差仮想瞳を通過した部分光束の光強度分布と比例関係にあると考えても良い。

図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、それぞれの視差画素の出力は、対応する像点の画素を中心として急峻な画素値分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図４（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す画素値分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す画素値分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の画素値分布が、互いに等距離に離間して現れる。また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の画素値分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。別言すれば、デフォーカスに応じて、ぼけ量と視差量は連動して変化する。すなわち、ぼけ量と視差量は、一対一に対応する関係を有する。

また、図４（ｂ）（ｃ）は、物点が焦点位置から遠ざかる方向へずれる場合を示すが、物点が焦点位置から近づく方向へずれる場合は、図４（ｄ）に示すように、図４（ｂ）（ｃ）と比べて、視差Ｌｔ画素が示す画素値分布と視差Ｒｔ画素が示す画素値分布の相対的な位置関係が逆転する。このようなデフォーカス関係により、視差画像を鑑賞するときに鑑賞者は、焦点位置より奥に存在する被写体を遠くに視認し、手前に存在する被写体を近くに視認する。

図４（ｂ）（ｃ）で説明した画素値分布の変化をそれぞれグラフ化すると、図５のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値（画素値）を表す。この出力値は上述の通り実質的に光強度に比例する。

分布曲線８０４と分布曲線８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線８０６は、図４（ｂ）の状況に対する視差なし画素の画素値分布、すなわち被写体光束の全体を受光した場合の画素値分布と略相似形状を示す。

分布曲線８０７と分布曲線８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線８０９は、図４（ｃ）の状況に対する視差なし画素の画素値分布と略相似形状を示す。

図６は、手振れ時および手振れ補正時におけるデフォーカスの概念を説明する図である。図６（ａ）は、説明のため上記図４（ｂ）を再掲した。図６（ｂ）は、手振れによりデジタルカメラ１０がＹ軸周りの回転すなわちヨーイングした状態を示す。図（ｃ）は、手振れによりヨーイングした状態に対して手振れ補正を実行した状態を示す。

図６（ａ）に示すように物点の像光が撮像素子１００のＸ方向の中心の位置Ｘ０近傍に入力されている場合を考える。図６（ａ）の状態から、図６（ｂ）に示すように、デジタルカメラ１０が手振れにより図中の左回りにヨーイングしたとする。当該手振れにより、物点の像光は撮像素子１００上において位置Ｘ０から−Ｘ方向の位置Ｘ１近傍に移動する。

当該ヨーイングを手振れセンサ２５２が検知することにより、駆動部２５０が補正レンズ３０を撮像素子１００の撮像面に平行な＋Ｘ方向に移動する。これにより、レンズ瞳も図６（ｃ）の矢印の方向に移動し、上記物点の像光が図６（ａ）の位置Ｘ０に近い位置Ｘ２に移動する。従って、当該ヨーイングによる像光のブレが補正される。なお、位置Ｘ２を位置Ｘ０に一致させるように補正レンズ３０を移動することが好ましいが、他の条件を優先させる等により完全に一致させなくてもよい。

図７は、図６（ｃ）の破線の円内を拡大して示す拡大図である。なお、図７においては、撮像素子１００の撮像面が図中の上下方向となるように描いた。

図７に示すように、補正レンズ３０が中心位置から移動すると、像光の入力の位置は手振れ前にほぼ一致するものの、撮像素子１００への像光の入力の角度が変わる。補正レンズ３０が撮像素子１００の撮像面に平行に＋Ｘ方向に移動したことによって、視差Ｒｔ画素に入力する主光線の角度θＲおよび視差Ｌｔ画素に入力する主光線の角度θＬは、手振れ前の主光線の角度から変化する。さらに、図７に示す例において、視差Ｒｔ画素に入力する主光線の角度θＲが視差Ｌｔ画素に入力する主光線の角度θＬよりも大きくなっている。

ここで、視差画素の感度には像光が入力する角度に対する依存性があるので、手振れ補正の前後における上記角度の変化によって、視差画素から出力される視差画像の視差量が変化する。よって、連写、動画等の互いに関連付けられた複数の視差画像間において、それぞれの視差画像に対する手振れ補正によって視差量が異なることになる。よって、当該複数の視差画像を見る観察者に不快感または違和感を与えるおそれがある。

そこで、本実施形態においては、手振れ補正量に基づいて視差画像の視差量を補正した補正画像を生成する。この場合に、元の視差画像の視差量よりも補正画像の視差量が小さくなるように補正することが好ましい。さらに、互いに関連付けられた複数の視差画像間で視差量が予め定められた範囲内となるように、複数の視差画像の視差量が補正されることが好ましい。これに代えてまたはこれに加えて、手振れ補正量が大きいほど視差量を低減した補正画像を生成することが好ましい。

図８は、画像処理部２６０の機能ブロック図である。画像処理部２６０は、視差画像取得部２６１、補正量取得部２６２、補正画像生成部２６４およびテーブル格納部２６６を有する。

視差画像取得部２６１は、メモリ２０３またはメモリカード２２０から、ＲＡＷ画像データセットを取得する。補正量取得部２６２は、ＲＡＷ画像データセットのヘッダ部分に書き込まれた手振れ補正量を取得する。補正画像生成部２６４は、当該手振れ補正量に基づいてＲＡＷ画像データセットの視差量を補正した補正画像データセットを生成する。テーブル格納部２６６は、手振れ補正量と補正する視差量との関係が対応付けられた対応テーブルを格納する。

図９は、手振れ補正量を説明する概念図である。図９において、撮像素子１００の撮像面の中心位置に対する、補正レンズ３０単体の中心位置の関係が描かれている。

図９において、手振れ補正前は、補正レンズ３０の中心位置Ｖ０は撮像素子１００の中心位置にある。その後、撮影の露光中における手振れ補正により、図中の実線の軌跡を描いて露光終了時に位置Ｖ１に来ていたとする。

この場合に、視差量を補正するのに用いる手振れ補正量として、例えば、Ｘ軸方向の最大値Ｖｍａｘと±の方向の情報とが用いられる。これに代えてまたはこれに加えて、軌跡を時間積分した位置Ｖ２のＸ軸方向の値、言い換えれば時間平均値Ｖａｖｇと±の方向の情報とが用いられてもよい。また、軌跡自体が手振れ補正量として用いられてもよい。

上記手振れ補正量と、視差の変化量との関係を実験的にまたは解析的に把握することにより、当該手振れ補正量に対する、視差の補正量を設定する。この場合に、手振れ補正量に対して、視差画像の画面全体に対して一律に視差量を補正する補正量を設定してもよいし、画面の領域毎に異なる補正量を設定してもよい。画面の領域毎に異なる補正量を設定する場合に、手振れ補正の方向に応じて画面の当該領域が設定されてもよい。

図１０は、デジタルカメラ１０の動作のフローチャートの一例を示す。図１０の動作は、レリーズボタンの押し下げが操作部２０８に入力されることにより開始する。

手振れセンサ２５２はデジタルカメラ１０の姿勢を検知して、制御部２０１に出力する（Ｓ１０２）。制御部２０１は手振れセンサ２５２からの出力に基づいて手振れを補正する補正レンズ３０の手振れ補正量を算出し、駆動部２５０は補正レンズ３０を駆動して手振れ補正量だけ移動させる（Ｓ１０４）。制御部２０１は手振れ補正量をメモリ２０３に記録する（Ｓ１０５）。撮像条件により設定された露光が終了するまで（Ｓ１０６：Ｎｏ）、上記ステップＳ１０２からＳ１０５が繰り返される。

露光が終了した場合に（Ｓ１０６：Ｙｅｓ）、画像処理部２６０は、撮像素子１００から出力されたＲＡＷ元画像データから、図３に示すＲＡＷ画像データセットを生成する（Ｓ１０８）。ＲＡＷ画像データセットがメモリ２０３またはメモリカード２２０に書き込まれる。この場合に、ＲＡＷ画像データセットのヘッダ部分に、手振れ補正量、および、当該ＲＡＷ画像データセットが連写または動画のうちの１フレームである場合にはその旨、が書き込まれる。

視差画像取得部２６１は、メモリ２０３またはメモリカード２２０に書き込まれたＲＡＷ画像データセットを取得する（Ｓ１０９）。さらに、視差画像取得部２６１は、ＲＡＷ画像データセットが他のＲＡＷ画像データセットと関連付けされているか否かを判断する（Ｓ１１０）。この場合に、視差画像取得部２６１は、ＲＡＷ画像データセットのヘッダ部分を参照して、連写または動画のうちの１フレームである旨が書き込まれている場合に、他のＲＡＷ画像データセットと関連付けされていると判断し（Ｓ１１０：Ｙｅｓ）、連写または動画のうちの１フレームである旨が書き込まれていない場合に、関連付けされていないと判断する（Ｓ１１０：Ｎｏ）。

視差画像取得部２６１が他のＲＡＷ画像データセットと関連付けされていると判断した場合に（Ｓ１１０：Ｙｅｓ）、補正量取得部２６２は、ＲＡＷ画像データセットの手振れ補正量を取得する（Ｓ１１２）。この場合に、補正量取得部２６２は、ＲＡＷ画像データセットのヘッダ部分から手振れ補正量を読み出して、対応テーブルに対応した手振れ補正量を算出する。例えば、ＲＡＷ画像データのヘッダ部分に手振れ補正の軌跡が記録されており、対応テーブルが手振れ補正量の最大値Ｖｍａｘまたは平均値Ｖａｖｇと視差の補正量とを対応付けている場合には、補正量取得部２６２は、読み出した手振れ補正の軌跡から図８のように最大値Ｖｍａｘまたは平均値Ｖａｖｇを算出して、補正画像生成部２６４に引き渡す。

補正画像生成部２６４は、テーブル格納部２６６に格納されている対応テーブルを参照することにより、上記手振れ補正量に対応する視差の補正量を特定する（Ｓ１１４）。補正画像生成部２６４は、当該視差の補正量でＲＡＷ画像データセットを補正した補正画像データセットを生成する（Ｓ１１６）。

補正画像生成部２６４は、上記ステップＳ１１６で生成した補正画像データセット、または、上記ステップＳ１１０で関連付けがないと判断された場合には視差画像取得部２６１が取得したＲＡＷ画像データセットをメモリカード２２０に保存する（Ｓ１１８）。以上により、本フローチャートによる動作が終了する。

図１１は、図１０のフローチャートのステップＳ１１６で視差量を補正する方法の一例を示す。図１２は、図１１の視差量の補正による画素値の変化を示す説明図である。

特に、図１１および図１２の例において、立体調整パラメータを導入することにより、主要被写体のぼけを感じさせない範囲で視差量を任意に補正した補正画像データセットが生成される。

対応テーブルには、手振れ補正量に対して、視差画像全体に対して一律に適用する立体調整パラメータＣが対応付けられている。立体調整パラメータＣは、０．５＜Ｃ＜１の範囲で設定されることが好ましい。また、当該対応テーブルにおいて、手振れ補正量が大きいほど、立体調整パラメータＣは小さいことが好ましい。

図１１を用いて、補正画像データセットのうち赤色の右視差画像データおよび赤色の左視差画像データの生成処理の例を示す。

赤色の視差画像データは、視差画像取得部２６１が取得したＲＡＷ画像データセットのＲｎプレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの輝度値とを用いて生成する。具体的には、例えば左視差画像データの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＬｔ_ｍｎを算出する場合、まず、補正画像生成部２６４は、Ｒｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_ｍｎを抽出する。次に、補正画像生成部２６４は、ＲＬｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から輝度値ＲＬｔ_ｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から輝度値ＲＲｔ_ｍｎを抽出する。そして、画像処理部２６０は、画素値Ｒｎ_ｍｎに、輝度値ＲＬｔ_ｍｎとＲＲｔ_ｍｎを立体調整パラメータＣで分配した値を乗じて、画素値ＲＬｃｔ_ｍｎを算出する。具体的には、以下の式（１）により算出する。
ＲＬｃｔ_ｍｎ＝２Ｒｎ_ｍｎ×｛Ｃ・ＲＬｔ_ｍｎ＋（１−Ｃ）・ＲＲｔ_ｍｎ｝／（ＲＬｔ_ｍｎ＋ＲＲｔ_ｍｎ）…（１）

同様に、右視差画像データの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＲｃｔ_ｍｎを算出する場合も、補正画像生成部２６４は、画素値Ｒｎ_ｍｎに輝度値ＲＬｔ_ｍｎと輝度値ＲＲｔ_ｍｎを立体調整パラメータＣで分配した値を乗じて算出する。具体的には、以下の式（２）により算出する。
ＲＲｃｔ_ｍｎ＝２Ｒｎ_ｍｎ×｛Ｃ・ＲＲｔ_ｍｎ＋（１−Ｃ）・ＲＬｔ_ｍｎ｝／（ＲＬｔ_ｍｎ＋ＲＲｔ_ｍｎ）…（２）

補正画像生成部２６４は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ_０，ｊ_０）まで順次実行する。

赤色の右視差画像データおよび左視差画像データの生成処理が完了したら、次に緑色の右視差画像データと左視差画像データ、および、青色の右視差画像データと左視差画像データを同様に生成する。以上の処理により、視差情報を含む補正画像データセットが完成する。

図１２（ａ）は、焦点位置から一定量だけずれた位置に存在する物点からのある白色被写体光束を受光した場合の、Ｇ（Ｌｔ）画素、Ｇ（Ｒｔ）画素、Ｒ（Ｌｔ）画素、Ｒ（Ｒｔ）画素、Ｂ（Ｌｔ）画素およびＢ（Ｒｔ）画素のそれぞれの出力値を並べたグラフである。

図１２（ｂ）は、図１２（ａ）における物点からのある白色被写体光束を受光した場合の、視差無し画素であるＲ（Ｎ）画素、Ｇ（Ｎ）画素およびＢ（Ｎ）画素の出力値を並べたグラフである。このグラフも、各色の画素値分布を表すと言える。

Ｃ＝０．８として対応する画素ごとに上述の処理を施すと、図１２（ｃ）のグラフで表される光強度分布となる。図１２および上記式（１）（２）から分かるように、０．５＜Ｃ＜１の範囲で立体調整パラメータＣが１に近いほど視差量が大きく、０．５に近いほど視差量が小さくなる。すなわち、立体調整パラメータＣは、視差Ｌｔ画素の示す視差量と視差Ｒｔ画素の示す視差量とに基づいた視差量を視差なし画素に割り付ける場合の、視差Ｌｔ画素の示す視差量と視差Ｒｔ画素の示す視差量との重みを調整している。そして、立体調整パラメータＣが１に近いほど視差Ｌｔ画素の示す視差量と視差Ｒｔ画素の示す視差量の一方の重みが大きく、０．５に近いほどそれらの重みが近い視差量が、視差なし画素に割り付けられる。

以上、本実施形態によれば、手振れによる撮像素子１００上の像光のブレを補正しつつ、当該手振れ補正による視差量の変化による不快感および違和感を低減することができる。

上記対応テーブルは、手振れ補正量と視差の補正量とが対応付けられている。これに代えて、対応テーブルにおいて、デジタルカメラ１０のブレ量と視差の補正量とが対応付けられていてもよい。この場合に、ＲＡＷ画像データセットのヘッダ部には、デジタルカメラ１０のブレ量が書き込まれる。また、デジタルカメラ１０のブレ量に対して手振れ補正をした場合における視差変化に基づいた視差の補正量を予め算出しておき、対応テーブルにおいて、デジタルカメラ１０のブレ量と当該視差の補正量とが対応付けられる。

上記フローチャートのステップＳ１１６において、手振れ補正量が予め定められた範囲にある場合、例えば閾値よりも大きい場合に、視差をなくした２Ｄ画像を補正画像にしてもよい。この場合に、ＲＡＷ画像データセットのうちのＲｎプレーンデータ、ＧｎプレーンデータおよびＢｎプレーンデータを補正画像データセットとしてもよい。これに代えて、上記立体調整パラメータＣを０．５とすることにより視差をなくしたＲＧＢの画像データを補正画像データセットとしてもよい。一方、手振れ補正量が他の予め定められた範囲にある場合、例えば上記閾値よりも小さい第２の閾値よりも小さい場合に、視差画像を補正しなくてもよい。

立体調整パラメータＣ以外を用いて視差量を補正してもよい。例えば、ＲＡＷ元画像データセットが、視差量を画像から分離した視差量のマップとして有している場合に、当該マップの視差量を直接補正して、所定の範囲となるようにしてもよい。

なお、上記実施形態において、補正レンズ３０がＸ軸方向に移動する場合の視差量の補正について説明した。これに代えてまたはこれに加えて、補正レンズ３０がＹ軸方向に移動する場合に、視差量を補正してもよい。この場合に、補正レンズ３０のＹ軸方向の移動と視差量の変化との関係を実験的にまたは解析的に特定しておき、当該関係に基づいてＹ方向の移動量である手振れ補正量と、視差の補正量との対応テーブルを格納しておけばよい。

上記実施形態において、補正レンズ３０はＸＹ面内で移動する例を説明した。これに代えて、補正レンズ３０がＸＹ面内に対して傾きながら移動する場合に上記実施形態を適用してもよい。この場合も、補正レンズ３０の傾きながらの移動と視差量の変化との関係を実験的にまたは解析的に求めておき、当該関係に基づいてＹ方向の移動量である手振れ補正量と、視差の補正量との対応テーブルを格納しておけばよい。補正レンズ３０を設けることに代えてまたはこれに加えて、撮像素子１００を移動することにより手振れを補正する場合に上記実施形態を適用してもよい。

上記実施形態において、ＲＡＷ画像データセットが他のＲＡＷ画像データセットと関連付けされている場合に、視差量を補正した。これに代えて、他のＲＡＷ画像データセットと関連付けされているか否かに関わらず、視差量を補正してもよい。

上記実施形態において、撮像素子１００から出力された画像信号により生成されたＲＡＷ画像データセットの視差量を補正した。これに代えてまたはこれに加えて、撮像素子１００以外で生成されたＲＡＷ画像データセットを外部から取得し、視差量を補正してもよい。ＲＡＷ画像データセットに限られず、他の画像フォーマットのデータセットに対して視差量を補正してもよい。

また、上記実施形態においては、視差画像取得部２６１が、ＲＡＷ画像データセットのヘッダ部分を参照して、連写または動画のうちの１フレームである旨が書き込まれている場合に、他のＲＡＷ画像データセットと関連付けされていると判断した。これに代えてまたはこれに加えて、視差画像取得部２６１は、ＲＡＷ画像データセットのヘッダ部分に書き込まれた撮影時間が互いに一定時間内であるものを、互いに関連付けられたＲＡＷ画像データセットであると判断してもよい。この場合に、いずれかの撮像時における手振れ補正量が閾値以上であった場合には、当該時間内に撮像して生成されたＲＡＷ画像データセットのいずれに対しても２Ｄ画像に補正してもよい。一方、いずれの撮像時における手振れ補正量も閾値以内であった場合には、時間的にひとつ前のＲＡＷ画像データセットに対して次のＲＡＷ画像データセットの視差の変化量が一定以下になるように、当該次のＲＡＷ画像データセットの視差量を補正してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、２２ 絞り、３０ 補正レンズ、１００ 撮像素子、１１０ 基本格子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２５０ 駆動部、２５２ 手振れセンサ、２６０ 画像処理部、２６１ 視差画像取得部、２６２ 補正量取得部、２６４ 補正画像生成部、２６６ テーブル格納部、８０４ 分布曲線、８０５ 分布曲線、８０６ 合成分布曲線、８０７ 分布曲線、８０８ 分布曲線、８０９ 合成分布曲線

Claims (5)

1. 同一の対象に対する視差を示す視差量を含む視差画像を取得する視差画像取得部と、
   撮像時の手振れを補正する手振れ補正量を取得する補正量取得部と、
   前記補正量取得部により取得された前記手振れ補正量に基づいて、前記視差画像取得部により取得された前記視差画像の前記視差量を補正した補正画像を生成する補正画像生成部と
   を備え、
   前記視差画像取得部は、複数の前記視差画像を取得した場合にそれらが関連付けられているか否かを判断し、
   前記補正画像生成部は、前記視差画像取得部により前記複数の視差画像が関連付けられていると判断された場合に、前記複数の視差画像を関連付けて複数の前記補正画像を生成
   し、いずれの撮像時の前記手振れ補正量も予め定められた閾値内であれば、時間的に連続する前後の前記視差画像の視差の変化量が一定以下になるように視差量を補正する画像処理装置。
2. 前記手振れ補正量と補正する前記視差量との関係が対応付けられた対応テーブルを格納する格納部をさらに備え、
   前記補正画像生成部は、前記対応テーブルを参照して前記補正画像を生成する請求項１に記載の画像処理装置。
3. 前記補正画像は、前記手振れ補正量が大きいほど前記視差量を低減した前記補正画像を生成する請求項１または２に記載の画像処理装置。
4. 前記補正画像生成部は、前記手振れ補正量が予め定められた範囲である場合に、視差をなくした補正画像を生成する請求項１から３のいずれか１項に記載の画像処理装置。
5. 請求項１から４のいずれか１項に記載の画像処理装置と、
   入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、前記入射光の断面領域内の部分領域からの光を、対応する前記複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有し、前記対象を撮影して前記視差画像を生成する撮影部と
   を備える撮像装置。

Images