JP6331279B2 - 撮像装置、撮像方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

単眼立体撮像装置において、絞りの開口量を変更することにより、立体感が変化することが知られている（例えば、特許文献１参照）。
特許文献１ 国際公開番号ＷＯ２０１２／００２０７

ここで、立体感を積極的に変化させるべく、絞りの開口量を変更することが考えられる。しかしながらその場合には、絞りの開口量を変更することにより露光量等の撮像条件まで変更されるという課題がある。

本発明の第１の態様においては、入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、入射光の断面領域内の部分領域からの光を、対応する複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有し、対象を撮影して視差画像を生成する撮影部と、同一の対象に対する視差を示す視差量を含む視差画像を取得する画像取得部と、画像取得部により取得された視差画像に含まれる視差量が予め定められた範囲にあるか否かを判断する視差量判断部と、視差量判断部により視差量が範囲にないと判断された場合に、アオリを用いて撮像すべき旨を警告する警告部とを備える撮像装置が提供される。
本発明の第２の態様においては、入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、入射光の断面領域内の部分領域からの光を、対応する複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有し、対象を撮影して視差画像を生成する撮影部と、同一の対象に対する視差を示す視差量を含む視差画像を取得する画像取得部と、画像取得部により取得された視差画像に含まれる視差量が予め定められた範囲にあるか否かを判断する視差量判断部と、視差量判断部により視差量が範囲にないと判断された場合に、アオリを用いて撮像するように、視差画像を撮像した撮像部における撮像素子の駆動部または撮影レンズの駆動部を駆動する駆動信号を出力する警告部とを備える撮像装置が提供される。

本発明の第３の態様においては、入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、入射光の断面領域内の部分領域からの光を、対応する複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有する撮像部で対象を撮影して視差画像を生成する撮影段階と、同一の対象に対する視差を示す視差量を含む視差画像を取得する画像取得段階と、画像取得段階により取得された視差画像に含まれる視差量が予め定められた範囲にあるか否かを判断する視差量判断段階と、視差量判断段階により視差量が範囲にないと判断された場合に、アオリを用いて撮像すべき旨を警告する警告段階とを備える画像処理方法が提供される。

本発明の第４の態様においては、入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、入射光の断面領域内の部分領域からの光を、対応する複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有する撮像部で対象を撮影して視差画像を生成する撮影機能と、同一の対象に対する視差を示す視差量を含む視差画像を取得する画像取得機能、画像取得機能により取得された視差画像に含まれる視差量が予め定められた範囲にあるか否かを判断する視差量判断機能、および、視差量判断機能により視差量が範囲にないと判断された場合に、アオリを用いて撮像すべき旨を警告する警告機能をコンピュータに実現させるプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラの構成を説明する図である。 撮像素子の一部を拡大した様子を概念的に表す概念図である。 ２Ｄ画像データと視差画像データの生成処理の例を説明する図である。 デフォーカスの概念を説明する図である。 視差画素が出力する光強度分布を示す図である。 （ａ）は、撮影レンズにアオリを用いていない場合のフォーカスの状態をＸ方向からみた概念図であり、（ｂ）はそれを−Ｙ方向からみた概念図である。 （ａ）は、撮影レンズにアオリを用いた場合のフォーカスの状態をＸ方向からみた概念図であり、（ｂ）はそれを−Ｙ方向からみた概念図である。 （ａ）は、図７（ａ）と同じアオリを用いた場合の他の物点のフォーカスの状態をＸ方向からみた概念図であり、（ｂ）はそれを−Ｙ方向からみた概念図である。 撮像素子からの距離（−Ｚ）と視差量との関係を示す。 画像処理部の機能ブロックを示す。 対応テーブルを視覚的に示したアオリマップを示す。 画像処理部の動作の一例を示すフローチャートであり、 視差量の算出の一例を概念的に示す概念図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、デジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、１つのシーンについて複数の視点数の画像を一度の撮影により生成する。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。デジタルカメラ１０は、被写体光束の周辺を遮光する絞り２２をさらに備える。撮影レンズ２０および絞り２２は、デジタルカメラ１０に対して一体的に着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、ＡＦセンサ２１１および画像処理部２０５を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。当該座標軸はデジタルカメラ１０に固定された座標軸であって、図１における撮影における構図との関係はＸ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮影レンズ２０は、撮像素子１００に対して一つまたは複数のレンズを、Ｘ軸周りおよびＹ軸周りに傾けることができる。これにより、撮像素子１００の撮像面に共役な合焦面を、撮像素子１００に対してＸ軸周りおよびＹ軸周りに傾けた、アオリによる撮影をすることができる。そのようなレンズは、チルトレンズと呼ばれることがある。図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

絞り２２は、撮影光学系の瞳近傍に配され、撮像素子１００へ入射する被写体光束の周辺領域を遮光する。絞り２２の絞り量は可変であって、制御部２０１からの制御により設定される。当該絞り２２の一例は虹彩絞りであるが、これに限られない。

撮像素子１００は、撮影光学系の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。

ＡＦセンサ２１１は、例えば、被写体空間に対して複数の測距点が設定された位相差センサである。ＡＦセンサ２１１は、それぞれの測距点において被写体像のデフォーカス量を検出する。なお、撮像素子１００がＡＦセンサを兼ねてもよく、その場合には別個のＡＦセンサ２１１を設けなくてよい。

制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦセンサ２１１のデフォーカス量に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２０５で画像データに処理されるまでの一連のシーケンスを管理する。

画像処理部２０５は、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

一連の撮影シーケンスは、操作部２０８が撮影者の操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子１１０を形成する。基本格子１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。

基本格子１１０は、視差画素と視差なし画素を含む。視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光する画素である。視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を有する開口マスクが設けられている。開口マスクは、例えば、カラーフィルタに重ねて設けられる。本実施形態においては、開口マスクにより、部分光束が画素中心に対して−Ｘ側に到達するように規定された視差Ｌｔ画素と、部分光束が画素中心に対して＋Ｘ側に到達するように規定された視差Ｒｔ画素の２種類が存在する。一方、視差なし画素は、開口マスクが設けられていない画素であり、撮影レンズ２０を透過する入射光束の全体を受光する画素である。

なお、視差画素は、光軸から偏位した部分光束を受光するにあたり、開口マスクに限らず、受光領域と反射領域が区分された選択的反射膜、偏位したフォトダイオード領域など、様々な構成を採用し得る。すなわち、視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光できるように構成されていれば良い。

基本格子１１０内の画素をＰ_ＩＪで表す。例えば、−Ｘおよび＋Ｙの端の画素はＰ_１１であり、＋Ｘおよび−Ｙの端の画素はＰ_８１である。図に示すように、視差画素は以下のように配列されている。
Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。

撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、基本格子１１０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子１１０内においてランダム性を有して配置されると良い。ランダム性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。

図３は、２Ｄ画像データと視差画像データの生成処理の例を説明する図である。図３を用いて、撮像素子１００から出力されるＲＡＷ元画像データから、２Ｄ画像データと視差画像データを含むＲＡＷ画像データセットを生成する処理の概念を説明する。

基本格子１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００のデジタル画像信号をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００のデジタル画像信号を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、視差Ｒｔ画素と視差Ｌｔ画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像を示す視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にそのデジタル画像信号が羅列されたＲＡＷ元画像データを受け取り、デジタル画像信号を画素値として複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像を示す２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。

２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、Ｘ方向およびＹ方向に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_６１、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、Ｘ方向およびＹ方向に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_５６、Ｐ_７４、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。

本実施形態においては、画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎプレーンデータ、赤色の基準画像プレーンデータとしてのＲｎプレーンデータ、および青色の基準画像プレーンデータとしてのＢｎプレーンデータの３つを生成する。

図の右列は、視差画素データとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、基本格子１１０をＸＹ面内で４等分し、−Ｘおよび＋Ｙ側の１６画素分をＰ_１１の出力値で代表させ、＋Ｘおよび−Ｙ側の１６画素分をＰ_５５の出力値で代表させる。そして、＋Ｘおよび＋Ｙ側の１６画素分並びに−Ｘおよび−Ｙ側の１６画素分は、Ｘ方向およびＹ方向に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、基本格子１１０をＸＹ面内で４等分し、＋Ｘおよび＋Ｙ側の１６画素分をＰ_５１の出力値で代表させ、−Ｘおよび−Ｙ側の１６画素分をＰ_１５の出力値で代表させる。そして、−Ｘおよび＋Ｙ側の１６画素分並びに＋Ｘおよび−Ｙ側の１６画素分は、Ｘ方向およびＹ方向に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_２７の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_６３の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_３２の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_７６の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。

本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。さらに、上記プレーンデータを時系列的に並べて動画を生成してもよい。

図４は、デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本実施形態の光学系においては、実際の被写体光束はレンズ瞳の全体を通過するので、視差画素に到達するまでは、視差仮想瞳に対応する光強度分布が互いに区別されるのではない。しかし、視差画素は、それぞれが有する開口マスクの作用により、視差仮想瞳を通過した部分光束のみを光電変換した画像信号を出力する。したがって、視差画素の出力が示す画素値分布は、それぞれ対応する視差仮想瞳を通過した部分光束の光強度分布と比例関係にあると考えても良い。

図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、それぞれの視差画素の出力は、対応する像点の画素を中心として急峻な画素値分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図４（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す画素値分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す画素値分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の画素値分布が、互いに等距離に離間して現れる。また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の画素値分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。別言すれば、デフォーカスに応じて、ぼけ量と視差量は連動して変化する。すなわち、ぼけ量と視差量は、一対一に対応する関係を有する。なお、視差量の符号は、焦点位置よりも物点が撮像素子１００側にある場合に正とし、焦点位置よりも物点が撮像素子１００から遠くなる側にある場合を負とする。

また、図４（ｂ）（ｃ）は、物点が焦点位置から遠ざかる方向へずれる場合を示すが、物点が焦点位置から近づく方向へずれる場合は、図４（ｄ）に示すように、図４（ｂ）（ｃ）と比べて、視差Ｌｔ画素が示す画素値分布と視差Ｒｔ画素が示す画素値分布の相対的な位置関係が逆転する。このようなデフォーカス関係により、視差画像を鑑賞するときに鑑賞者は、焦点位置より奥に存在する被写体を遠くに視認し、手前に存在する被写体を近くに視認する。

図４（ｂ）（ｃ）で説明した画素値分布の変化をそれぞれグラフ化すると、図５のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値（画素値）を表す。この出力値は上述の通り実質的に光強度に比例する。

分布曲線８０４と分布曲線８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線８０６は、図４（ｂ）の状況に対する視差なし画素の画素値分布、すなわち被写体光束の全体を受光した場合の画素値分布と略相似形状を示す。

分布曲線８０７と分布曲線８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線８０９は、図４（ｃ）の状況に対する視差なし画素の画素値分布と略相似形状を示す。

図６から図８は、撮影レンズ２０のアオリと視差との関係を示す。なお、説明の都合上、図６（ａ）、図７（ａ）および図８（ａ）には撮影レンズ２０に対する視差仮想瞳と当該視差仮想瞳を通過する光束の外包線を示しているが、図６（ｂ）、図７（ｂ）および図８（ｂ）には視差仮想瞳を通過する光束の主光線を示している。

図６（ａ）は、撮影レンズ２０にアオリを用いていない場合のフォーカスの状態をＸ方向からみた概念図である。図６（ｂ）はそれを−Ｙ方向からみた概念図である。図６（ａ）の状態において、物点Ｍ０、Ｍ１が同じＸＹ面内にあり、当該ＸＹ面が合焦面であるとする。すなわち、物点Ｍ０、Ｍ１が撮像素子１００と光学的に共役な面にあるとする。

この場合には、図６（ｂ）に示すように、物点Ｍ０からの被写体光束が撮像素子１００上の位置Ｘ０で互いに近接する視差Ｒｔ画素および視差Ｌｔ画素に入射する。よって、撮像素子１００を用いた視差画像において物点Ｍ０の画像はＸ方向の視差量を持たない。同様に、物点Ｍ１からの被写体光束が撮像素子１００上の位置Ｘ１で互いに近接する視差Ｒｔ画素および視差Ｌｔ画素に入射するので、物点Ｍ１の画像はＸ方向の視差量を持たない。

図７（ａ）は、撮影レンズ２０にアオリを用いた場合のフォーカスの状態をＸ方向からみた概念図であり、図７（ｂ）はそれを−Ｙ方向からみた概念図である。アオリとして、光軸をＸ軸周りに−Ｙ側に傾ける（すなわち、図中の矢印方向）、いわゆる下チルトを例示した。

撮影レンズ２０の下チルトにより、図７（ａ）に示すように合焦面はＸ軸周りに傾く。下チルト後に合焦面を物点Ｍ０に合せると、物点Ｍ１の方は合焦点面からずれる。特に、物点Ｍ１が物点Ｍ０よりも−Ｙ方向に位置することに対応して、物点Ｍ１よりも合焦面が撮像素子１００の側に来る。従って、物点Ｍ１からの被写体光束は撮像素子１００よりも手前で結像し、撮像素子１００へは、ぼけた範囲Ｘ２に入射する。

これは図７（ｂ）で示すように、物点Ｍ１の被写体光束が撮像素子１００の位置Ｘ２Ｌの視差Ｌｔ画素に入射するとともに、当該位置Ｘ２Ｌとは離れた位置Ｘ２Ｒの視差Ｒｔ画素に入射することに対応する。すなわち、下チルトにより、物点Ｍ１の画像の視差量の絶対値を０から増やしたことになる（合焦点よりも後なので視差量の値は負）。

図８（ａ）は、図７（ａ）と同じアオリを用いた場合の、他の物点Ｍ３のフォーカスの状態をＸ方向からみた概念図である。図８（ｂ）は図８（ａ）を−Ｙ方向からみた概念図である。

物点Ｍ３は物点Ｍ１よりもＺ方向すなわち撮像素子１００側にある。よって、アオリを用いない場合に、合焦面を物点Ｍ０に合せたときの、撮像素子１００を用いた視差画像において物点Ｍ３の画像はＸ方向の視差量を有する。

撮影レンズ２０が下チルトした状態において物点Ｍ０上に合焦面が位置しているときに、物点Ｍ３も当該合焦面にあるとする。図８（ａ）（ｂ）に示すように、物点Ｍ３の被写体光束は、撮像素子１００上の位置Ｘ３で互いに近接する視差Ｒｔ画素および視差Ｌｔ画素に入射する。よって、物点Ｍ３が物点Ｍ１よりも撮像素子１００側にあるにも関わらず、物点Ｍ３の画像はＸ方向の視差量を持たない。すなわち、下チルトにより、物点Ｍ３の画像の視差量の絶対値を０へ減らしたことになる。

図９は、撮像素子１００からの距離（−Ｚ）と視差量との関係を示す。撮影レンズ２０のアオリがない状態において、合焦面を物点Ｍ０に合せると、距離と視差量との関係は実線Ｄ０のようになる。この場合、視差量は距離によって略決まり、Ｙ方向の位置、より具体的には撮像素子１００からの向きにほとんど依存しない。

これに対し、撮影レンズ２０を下チルトすると、Ｙ方向の位置、より具体的には撮像素子１００からの向きにより、距離と視差量との関係が異なる。例えば、物点Ｍ３の方向について、距離と視差量との関係は実線Ｄ１のようになる。図９に示す例で、物点Ｍ３に対する視差量が正の値から０へ変化した。

以上、図６から図９の説明のように、撮影レンズ２０の下チルトにより視差画像上の上下方向に沿って視差量を変化させることができる。撮影レンズ２０の上チルトにより、視差画像上の上下方向に沿って視差量を下チルトとは逆に変化させることができる。同様に、撮影レンズ２０の左右スイングにより、視差画像上の左右方向に沿って視差量を変化させることができる。

このように、撮影レンズ２０にアオリを用いることにより、撮像素子１００による撮像画像における視差量を変化させることができる。よって、本実施形態においては、視差量が予め定められた範囲にない場合に、アオリを用いて当該視差量を調整すべき旨を警告する。

図１０は、画像処理部２０５の機能ブロックを示す。画像処理部２０５は、図１から図５で説明した機能に加えて、画像取得部２４０、視差量判断部２４２、警告部２４４、光学系判断部２４８、テーブル格納部２４６を有する。なお、図１０に示す各ブロックは、ＣＤ−ＲＯＭ等の媒体またはネットワークを介してデジタルカメラ１０にインストールされたコンピュータプログラムにより実行されてもよい。

画像取得部２４０は、メモリ２０３またはメモリカード２２０から視差量を含む視差画像を取得する。視差量判断部２４２は、画像取得部２４０から取得された視差画像に含まれる視差量が予め定められた範囲にあるか否かを判断する。光学系判断部２４８は、撮影レンズ２０でアオリが可能であるか否かを判断する。テーブル格納部２４６は、画像上の位置とアオリの方向とが対応付けられた対応テーブルを格納する。

警告部２４４は、視差量判断部２４２により視差量が予め定められた範囲にないと判断された場合に、テーブル格納部２４６の上記対応テーブルを参照し、アオリを用いて撮像すべき旨を表示部２０９上に警告する。この場合に警告部２４４は、光学系判断部２４８により撮影レンズ２０でアオリが可能であると判断された場合に警告し、可能であると判断されなかった場合に警告しない。

図１１は、テーブル格納部２４６に格納される対応テーブルを視覚的に示したアオリマップ３３０を示す。アオリマップ３３０では視差画像に対応する領域が９分割されており、分割された領域のそれぞれに、撮像レンズ２０のアオリの方向が対応付けられている。

これにより、視差量が最大値となる視差画像上の位置と、当該位置における視差量を低減するアオリの方向とが対応付けられる。視差画像上の位置と当該位置における視差量を低減するアオリの方向とは、実験的または解析的に特定される。

なお、対応テーブルにおける、視差画像に対応する領域の分割数は９個に限られず、それより多くても少なくてもよい。また、アオリの方向に加えてアオリの量も対応付けられていてもよい。アオリの量も実験的または解析的に特定される。

図１２は画像処理部２０５の動作の一例を示すフローチャートであり、図１３は当該フローチャートで用いられる視差量の算出の一例を概念的に示す概念図である。当該動作は、操作部２０８が撮影者の操作を受け付けたことにより、撮像素子１００の画像信号に基づいて図３の視差画像データが生成されたときに開始する。

画像取得部２４０は、メモリ２０３またはメモリカード２２０から、撮像素子１００の画像信号に基づいて生成された視差画像データを取得する（Ｓ１００）。視差量判断部２４２は、画像取得部２４０から取得された視差画像データに含まれる視差量を算出する（Ｓ１０２）。

視差量を算出する方法の一例は、図１３に示す視差マップ３０６を用いる方法である。図１３に示す例において、視差量判断部２４２は、視差画像データのうちの、ＧＬｔプレーンデータおよびＧＲｔプレーンデータに基づいて、視差マップ３０６を生成する。

視差量判断部２４２は、対象ブロックに含まれる画素のうち画素値を有する対象画素３１１を決定し、この対象画素３１１に対して局所ウィンドウ３１２を定める。そして、局所ウィンドウ３１２を基準として２画像間でマッチング処理を行い、対象画素３１１を含む対象ブロックにおける視差画素量を決定する。具体的には、視差量判断部２４２は、Ｌｔプレーン画像上の局所ウィンドウ３１２に対応してＧＲｔプレーンデータが示すＧＲｔプレーン画像上に局所ウィンドウ３１４を設定して、局所ウィンドウ３１４を局所ウィンドウ３１２に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。そして、マッチングが良いと判断される局所ウィンドウ３１４の位置を定め、その中心座標である探索画素３１３の座標値を算出する。視差画素量は、対象画素３１１の座標値と探索画素３１３の座標値との差を視差ブロック単位に換算して決定される。そして、視差量判断部２４２は、ＧＬｔプレーン画像上において対象画素３１１を左上から右下まで順次走査しながら上記のマッチング処理を逐次実行して、ＧＬｔプレーン画像とＧＲｔプレーン画像の視差画素量を算出する。

視差量判断部２４２は、当該視差画素量を対象画素３１１の座標に対応付けることにより、視差マップ３０６を生成する。視差マップ３０６は、上述の算出結果として、例えば図の例において、各被写体である少年３０１、少女３０２、女性３０３および背景３０４の各被写体領域に対応した視差画素量として表現される。図１３の例においては、少年３０１に合焦していることに対応して、少年３０１の領域では視差画素量が０となり、少年３０１より撮像素子１００側に存在する少女３０２の領域では＋１、撮像素子１００から遠い側に存在する女性３０３の領域では−１、さらに遠方の背景は−４の値を示している。なお、視差画素量は視差量の一例であり、符号は上記図９等と同じとした。

上記ステップＳ１０２において、視差量判断部２４２は、上記視差マップ３０６における視差画素量の最大値を特定する。さらに、視差量判断部２４２は、当該最大値が予め定められた閾値より大きいか否かを判断する（Ｓ１０４）。

ステップＳ１０４において当該最大値が予め定められた閾値より大きいと判断された場合に（Ｓ１０４：Ｙｅｓ）、光学系判断部２４８は、撮影レンズ２０でアオリが可能であるか否かを判断する（Ｓ１０６）。この場合に、光学系判断部２４８は制御部２０１を介して撮影レンズ２０のメモリから、アオリが可能であるか否かの情報を読み出す。なお、制御部２０１自体が撮影レンズ２０のアオリが可能であるか否かの情報をすでに有している場合には、制御部２０１からの情報に基づいて判断してもよい。

ステップＳ１０６においてアオリが可能であると判断された場合に（Ｓ１０６：Ｙｅｓ）、視差量判断部２４２は、閾値よりも大きい視差画素量を有する部分の、視差画像上における位置を特定する（Ｓ１０７）。この場合に、視差画像における位置と視差マップ３０６における位置とが対応しているので、視差量判断部２４２は、上記ステップＳ１０２で特定した最大値を有する、視差マップ３０６の位置を、視差画像上における位置として警告部２４４に出力する。

警告部２４４は、視差量判断部２４２により特定された上記位置に基づいて、撮影レンズ２０のアオリの方向を特定する（Ｓ１０８）。この場合に、警告部２４４は、テーブル格納部２４６の上記対応テーブルを参照してアオリの方向を特定する。例えば、アオリを用いない場合において図８（ａ）に示した物点Ｍ３の視差量が最大値である場合に、図１１に示すように、アオリの方向を「下チルト」に特定する。なお、視差量判断部２４２により特定された位置が複数個ある場合、または、広がりを持つ領域である場合には、例えば、それらの図形的な重心位置に基づいてアオリの方向を特定してもよい。

警告部２４４は、ステップＳ１０８で特定したアオリの方向と共に、アオリを用いて撮像すべき旨を、ＬＣＤ駆動回路２１０を介して表示部２０９に表示する（Ｓ１１０）。当該ステップＳ１１０の後、上記ステップＳ１０４またはＳ１０６の判断がＮｏの場合に、スローチャートによる動作を終了する。

以上、本実施形態によれば、視差画像における視差量が予め定められた範囲でない場合に、アオリを用いる旨を警告するので、撮影者にアオリを用いて視差量を調整すべき旨を促進することができる。アオリを用いて視差量を調整するので、絞り等で視差量を調整する場合に比べて、撮影者が希望している露出等の撮像条件を大きく変更せずに、視差量を調整した撮像画像を得ることができる。また、視差画素における開口の偏りの方向、すなわちＹ軸周りのアオリにより、視差画素の感度の非対称性を補償することもできる。

さらに、図１０から図１３に記載の形態によれば、アオリの方向も表示されるので、被写体に依存した視差量の調整ができる。さらに、撮影者が容易にアオリを用いることができる。

また、図１０から図１３に記載の形態によれば、視差量の最大値が閾値よりも大きい場合にアオリを用いる旨を警告する。よって、再生時に画面からの飛び出しが大きくて観察者に不快感を与える視差画像に代えて、アオリを用いて視差量を抑えた視差画像を生成することを促すことができる。

「視差画素量の最大値が予め定められた閾値より大きいか否か」は、「視差量が予め定められた範囲にあるか否か」の一例である。「視差量が予め定められた範囲にあるか否か」の判断の例はこれに限られない。他の例として、「視差画素量の絶対値の最大値が予め定められた閾値より大きいか否か」を判断してもよい。さらに他の例として、「視差画素量の最大値と最小値との差が予め定められた閾値より大きいか否か」を判断してもよい。さらに、図１３の視差画素量に代えて、他の方法で算出された視差量を用いてもよい。

図１０から図１３に記載の形態によれば、アオリの方向は、視差画素量の最大値の、視差画像上の位置に基づいて特定される。アオリの方向の決定の方法はこれに限られない。他の例として、アオリの方向は、視差画像上における視差画素量の最小値から最大値に向かうベクトルに基づいて特定されてもよい。この場合に、上記対応テーブルにおいて当該ベクトルの方向に視差仮想瞳が傾くようにアオリの方向が対応づけられてもよい。

なお、上記実施形態において、視差量の調整は絞り２２の開口と組み合わせて用いられてもよい。撮像素子１００においては、絞り２２の開口が小さくなるほど視差量の絶対値が小さくなる。そこで例えば、上記ステップＳ１０７において視差量の最大値の位置が図１１における中央付近である場合または閾値を越える視差量の位置が視差画像の複数の位置に散らばっている場合等には絞り２２の開口を絞る旨を警告し、それ以外の場合にアオリを用いる旨を警告してもよい。

また、撮影者による本撮影に先立って、撮像素子１００の画像信号に基づいて画像を逐次生成して表示部２０９に表示する、いわゆるスルー画表示またはライブビュー表示を用いる場合には、当該画像生成時に図１２の動作を逐次実行して、警告を要する場合に表示部２０９に表示をしてもよい。また、上記実施形態は動画撮影に適用されてもよい。

上記実施形態において、アオリの例として軸周りの回転、すなわち、チルトまたはスイングについて説明した。アオリの他の例として、撮影レンズ２０をＸＹ面内に平行移動する、シフトが用いられてもよい。この場合も、シフトとそれによる視差量の変化を実験的または解析的に特定し、対応テーブルを作成してもよい。なお、いずれの場合もテーブル形式でない別の方法を用いてもよい。

また、上記実施形態においては、撮影レンズ２０にアオリが用いられた。これに代えてまたはこれに加えて、撮像素子１００側が変位することによりアオリが用いられてもよい。

撮影レンズ２０のアオリまたは撮像素子１００のアオリを駆動部による駆動で制御できるようにしてもよい。この場合に、警告部２４４は、当該駆動部にアオリを制御する駆動信号を出力してもよい。これにより、撮影者がアオリを制御することなく、視差量が調整された視差画像を得ることができる。なおこの場合に、警告部２４４は表示部２０９への警告の表示を省略してもよい。また、アオリの段階を複数に分けて、複数回の撮像を自動的に実行してもよい。

上記駆動部に加えて、デジタルカメラ１０または撮影レンズ２０は、視差を強調するか抑制するかを設定する視差量設定部を有してもよい。当該設定は例えば撮影者からの入力によりなされる。視差量設定部は、視差を強調する設定がなされている場合に、視差が強調される方向にアオリを駆動する駆動信号を駆動部に与える。例えば、主要な被写体が図７の物点Ｍ１であった場合に、視差を強調すべく図７のようにアオリを用いるべく撮影レンズ２０を駆動する。一方、視差量設定部は、視差を抑制する設定がなされている場合に、視差が抑制される方向にアオリを駆動する駆動信号を駆動部に与える。例えば、主要な被写体が図８の物点Ｍ３であった場合に、視差を強調すべく図８のようにアオリを用いるべく撮影レンズ２０を駆動する。なお、視差量設定部の駆動信号と警告部２４４の駆動信号とが競合する場合には、いずれか一方を優先することが好ましい。いずれの駆動信号を優先するかは、初期設定されており、後から撮影者が変更できるようになっていてもよい。

撮影レンズ２０のアオリまたは撮像素子１００のアオリを駆動部による駆動で制御できるか否かは、光学系判断部２４８が撮影レンズ２０のメモリまたは制御部２０１からの情報を取得することにより判断してもよい。なお、駆動部による駆動で制御できると判断されなかった場合に、警告部２４４は当該制御信号を出力しなくてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、２２ 絞り、１００ 撮像素子、１１０ 基本格子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２４０ 画像取得部、２４２ 視差量判断部、２４４ 警告部、２４６ テーブル格納部、２４８ 光学系判断部、３０１ 少年、３０２ 少女、３０３ 女性、３０４ 背景、３０６ 視差マップ、３１１ 対象画素、 ３１２ 局所ウィンドウ、３１３ 探索画素、３１４ 局所ウィンドウ、３３０ アオリマップ、８０４ 分布曲線、８０５ 分布曲線、８０６ 合成分布曲線、８０７ 分布曲線、８０８ 分布曲線、８０９ 合成分布曲線

Claims (7)

1. 入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、前記入射光の断面領域内の部分領域からの光を、対応する前記複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有し、対象を撮影して視差画像を生成する撮影部と、
   同一の前記対象に対する視差を示す視差量を含む前記視差画像を取得する画像取得部と、
   前記画像取得部により取得された前記視差画像に含まれる前記視差量が予め定められた範囲にあるか否かを判断する視差量判断部と、
   前記視差量判断部により前記視差量が前記範囲にないと判断された場合に、アオリを用いて撮像すべき旨を警告する警告部と
   を備える撮像装置。
2. 前記視差画像を生成した撮像装置でアオリが可能であるか否かを判断する光学系判断部をさらに備え、
   前記視差量判断部により前記視差量が前記範囲にないと判断された場合であっても、前記光学系判断部がアオリができると判断しなかった場合、警告部は、アオリを用いて撮像すべき旨を警告しない請求項１に記載の撮像装置。
3. 入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、前記入射光の断面領域内の部分領域からの光を、対応する前記複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有し、対象を撮影して視差画像を生成する撮影部と、
   同一の対象に対する視差を示す視差量を含む視差画像を取得する画像取得部と、
   前記画像取得部により取得された前記視差画像に含まれる前記視差量が予め定められた範囲にあるか否かを判断する視差量判断部と、
   前記視差量判断部により前記視差量が前記範囲にないと判断された場合に、アオリを用いて撮像するように、前記視差画像を撮像した撮像部における撮像素子の駆動部または撮影レンズの駆動部を駆動する駆動信号を出力する警告部と
   を備える撮像装置。
4. 前記視差量判断部は、前記範囲にない視差量を有する部分の、前記視差画像上における位置を特定し、
   前記警告部は、前記視差量判断部により特定された前記位置に基づいて、アオリの方向を出力する請求項１から３のいずれか一項に記載の撮像装置。
5. 画像上の位置とアオリの方向とが対応付けられた対応テーブルを格納する格納部をさらに備え、
   前記警告部は、前記対応テーブルを参照することにより、前記視差量判断部により特定された前記位置に基づいて、アオリの方向を特定する請求項４に記載の撮像装置。
6. 入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、前記入射光の断面領域内の部分領域からの光を、対応する前記複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有する撮像部で対象を撮影して視差画像を生成する撮影段階と、
   同一の対象に対する視差を示す視差量を含む視差画像を取得する画像取得段階と、
   前記画像取得段階により取得された前記視差画像に含まれる前記視差量が予め定められた範囲にあるか否かを判断する視差量判断段階と、
   前記視差量判断段階により前記視差量が前記範囲にないと判断された場合に、アオリを用いて撮像すべき旨を警告する警告段階と
   を備える撮像方法。
7. 入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、前記入射光の断面領域内の部分領域からの光を、対応する前記複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有する撮像部で対象を撮影して視差画像を生成する撮影機能と、
   同一の対象に対する視差を示す視差量を含む視差画像を取得する画像取得機能、
   前記画像取得機能により取得された前記視差画像に含まれる前記視差量が予め定められた範囲にあるか否かを判断する視差量判断機能、および、
   前記視差量判断機能により前記視差量が前記範囲にないと判断された場合に、アオリを用いて撮像すべき旨を警告する警告機能
   をコンピュータに実現させるプログラム。

Images