JP6570706B2 - 距離計測装置、撮像装置、距離計測方法、およびプログラム - Google Patents

Description

本発明は、距離計測技術に関連し、特に異なる撮影パラメータで撮影した複数枚の画像から距離情報を計測する技術に関する。

従来、撮像装置によって取得された画像から撮影シーンの距離を取得する手法として特許文献１のようなＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）法が提案されている。ＤＦＤ法は、撮像光学系の撮影パラメータを制御することでぼけの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのぼけの大きさや相関量を算出する。

このぼけの大きさや相関量は画像中の被写体の距離に応じて変化するため、その関係を用いて距離が算出できる。ＤＦＤ法による距離計測は、１つの撮像系によって距離を算出することできるため、市販されている撮像装置に組み込むことが可能といった利点を有する。

また、撮影時に撮影パラメータを変えて高速に撮影したとしても、複数枚の画像間には手ぶれや被写体の動きなどによるずれが生じており、ＤＦＤ法での距離計測精度が劣化する。位置ずれの対策としてＤＦＤ法を行う際に画像間の位置合わせを行えばよい。位置合わせの手法としては、特許文献１に記載されているようなブロックマッチング法や、特許文献２のようなアフィン変換による方法などが知られている。

特開２０１３−０４４８４４号公報 特開２００８−３１０４１８号公報

特許文献１に記載のブロックマッチング手法によって１画素単位での位置合わせを行う場合、演算負荷が増加し、処理時間が長くなってしまうという問題がある。

特許文献２に記載のアフィン変換をベースとした位置合わせ手法は、対象物の距離や動きによって位置合わせ精度にばらつきが生じることが懸念される。この方法によって位置合わせされた画像を使ってＤＦＤ法によって距離を算出した場合、位置合わせ精度が低い領域は精度良く距離を求められないという課題がある。

上記のような問題を考慮して、本発明は、異なる撮影パラメータで撮影した複数枚の画像から距離情報を計測する際に、これら複数枚の画像間に位置ずれが残存していた場合でも精度の高い距離計測を可能とすることを目的とする。

上記課題を解決するために、本発明に係る距離計測装置は、フォーカス位置あるいは絞りが異なる撮影パラメータで撮影された第一の画像および第二の画像から距離情報を算出する距離計測装置であって、距離算出対象の画素を含む、前記第一の画像にある第一の局所領域と、当該第一の局所領域に対応する前記第二の画像にある第二の局所領域と、を設定する設定手段と、前記第二の局所領域からのシフト量が所定範囲内の領域である複数のシフト領域を抽出する抽出手段と、前記第一の局所領域と前記複数のシフト領域との相関値をそれぞれ算出する第一算出手段と、前記第一算出手段によって算出された複数の相関値のうち、距離情報の算出に用いる相関値を決定する第一決定手段と、前記第一決定手段によって決定された相関値に基づいて、前記距離算出対象の画素の距離情報を算出する第二算出手段と、を備えることを特徴とする。

また、本発明に係る距離計測方法は、コンピュータによって実行される、フォーカス位
置あるいは絞りが異なる撮影パラメータで撮影された第一の画像および第二の画像から距離情報を算出する距離計測方法であって、距離算出対象の画素を含む、第一の画像にある第一の局所領域と、当該第一の局所領域に対応する第二の画像にある第二の局所領域と、を設定する設定ステップと、前記第二の局所領域からのシフト量が所定範囲内の領域である複数のシフト領域を複数抽出する抽出ステップと、前記第一の局所領域と前記複数のシフト領域との相関値をそれぞれ算出する第一算出ステップと、前記第一算出ステップにおいて算出された複数の相関値のうち、距離情報の算出に用いる相関値を決定する決定ステップと、前記決定ステップにおいて決定された相関値に基づいて、前記距離算出対象の画素の距離情報を算出する第二算出ステップと、を含むことを特徴とする。

本発明によれば、距離計測に利用する画像間に位置ずれが残存していても精度の良い距離計測が可能となる。

実施形態に係る撮像装置の構成を示す図。 実施形態に係る距離計測部の詳細機能ブロック図。 実施形態に係る距離計測処理の流れを示すフローチャート。 第一実施形態における距離マップ生成処理のフローチャート。 第一実施形態におけるシフト領域を説明する図。 第二実施形態における距離マップ生成処理のフローチャート。 第二実施形態におけるサブピクセル精度での相関値決定処理を説明する図。 第三実施形態における距離マップ生成処理のフローチャート。 第三実施形態における第二のＧ２画像のシフト領域を説明する図。 第四実施形態における距離マップ生成処理のフローチャート。

（第一実施形態）
＜システム構成＞
図１は、本発明の第一実施形態に係る撮像装置のシステム構成図である。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、信号処理部１３、距離計測部１４、メモリ１５、入力部１６、表示部１７、記憶部１８を有する。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。本実施形態では、撮像光学系１０として可変焦点の光学系が用いられ、制御部１２のオートフォーカス機能により自動焦点合わせが可能である。オートフォーカスの方式はパッシブ方式でもアクティブ方式でもよい。

撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換素子を有する撮像素子である。撮像素子１１は、カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。

制御部１２は、撮像装置１の各部を制御する機能である。制御部１２の機能としては、
例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッターやフラッシュ（いずれも不図示）の制御、入力部１６や表示部１７や記憶部１８の制御などがある。

信号処理部１３は、撮像素子１１から出力された信号に対して処理を行う手段である。具体的には、アナログ信号のＡ／Ｄ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正および画像間の位置合わせなどを行う。画像間の位置合わせ処理では、一方の画像全体に座標変換（アフィン変換）を施す手法を用いることができる。信号処理部１３から出力されるデジタル画像データは一時的にメモリ１５に蓄積された後、表示部１７への表示、記憶部１８への記録（保存）、距離計測部１４などに出力され、所望の処理が行われる。

距離計測部１４は、画像中の物体までの奥行き方向の距離を算出する機能である。距離計測の詳しい動作については後述する。距離計測部１４は、図２に示すように、領域設定部１４１、シフト領域抽出部１４２、相関値演算部１４３、相関値決定部１４４、および距離算出部１４５を備える。それぞれの機能部の詳しい動作については後述する。

入力部１６は、ユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。

表示部１７は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１７は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。

記憶部１８は、撮影された画像データや、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１８としては、高速に読み書きでき、且つ、大容量の記憶媒体を用いることが好ましい。例えばフラッシュメモリなどを好適に用いることができる。

＜被写体距離の計測方法＞
次に、撮像装置１が行う距離計測処理について、処理の流れを示したフローチャートである図３を参照しながら詳細に説明する。

ユーザが、入力部１６を操作して距離計測の実行を指示し撮影を開始すると、制御部１２がオートフォーカス（ＡＦ）や自動露光制御（ＡＥ）が実行して、フォーカス位置と絞り（Ｆナンバー）を決定する（ステップＳ１１）。その後、ステップＳ１２にて一枚目の画像（第一の画像）の撮影が実行され、撮像素子１１から画像が取り込まれる。ここでは、フォーカス位置や絞りなどの撮影パラメータを撮像装置１が自動的に決定するものとして説明したが、これらの撮影パラメータの一部または全部をユーザが指定しても構わない。

一枚目の撮影が完了すると、制御部１２が撮影パラメータを変更する（ステップＳ１３）。変更される撮影パラメータとは、絞り（Ｆナンバー）、フォーカス位置、焦点距離のうちの少なくともいずれか一つである。あらかじめ定められた方法に従って撮影パラメータを変更してもよいし、入力部１６でユーザが入力した情報に基づいて撮影パラメータを変更してもよい。撮影パラメータの変更が完了すると、処理はステップＳ１４に遷移し、二枚目の画像（第二の画像）の撮影が行われる。

本実施形態では、フォーカス位置を変更して二枚目の画像を撮影する。例えば、一枚目
はオートフォーカスにしたがって主被写体に合焦するように撮影を行い、二枚目は主被写体がぼけるようにフォーカス位置をあらかじめ定められた量だけ変更して撮影を行う。

ここで、高精度な距離計測を行うためには、シャッター速度を高速にし、かつ、撮影間隔を短くすることが望ましい。シャッター速度が高速であるほど、また、撮影間隔が短いほど、手ぶれや被写体ぶれの影響が軽減されるためである。ただし、シャッター速度を上げるために感度を上げると、場合によっては手ぶれ以上にノイズの影響が増加するため、感度を考慮して適切なシャッター速度を設定する必要がある。

二枚の画像が撮影されると、撮影された画像は、距離計測に適した画像となるように信号処理部１３でそれぞれ処理され、一時的にメモリ１５に蓄積される。具体的には現像処理が行われるが、信号処理時にぼけが変化しないようにエッジ強調処理などは避けることが好ましい。また、カラー画像が撮影された場合は、以後の処理に利用する画像は、信号処理された輝度画像でもよいし、ベイヤー配列のデータにデモザイキング処理を施したり特定色の画素を選択したりして生成したＲＧＢ各画像の少なくとも何れか１色の画像でも良い。このとき、撮影した画像のうち少なくとも一枚を、観賞用の画像として信号処理し、メモリ１５に蓄積してもよい。

ステップＳ１５では、距離計測部１４が、メモリ１５に蓄積された距離計測用の二枚の画像から距離マップを算出する。距離マップとは、画像中の被写体の距離情報の分布を表すデータである。なお、距離情報は撮像装置から被写体までの距離であっても良いし、フォーカス位置から被写体までの相対的な距離であっても良い。また物体距離であっても良いし像距離であっても良く、さらにはぼけの大きさや相関量をそのまま用いても良い。算出された被写体距離の分布は表示部１７を通して表示され、また、記録部１９に保存される。

次に、ステップＳ１５で距離計測部１４が行う処理（以下、距離マップ生成処理）について図２および図４を参照して説明する。図２は距離計測部１４の機能ブロック図である。図４は、第一実施形態における距離マップ生成処理の流れを示したフローチャート図である。

フォーカス位置の異なる二画像（第一の画像および第二画像）が入力されると、領域設定ステップＳ２１で、領域設定部１４１は、入力された二画像において同じ座標位置（距離算出対象画素位置）を中心とする局所領域を設定・選択する。具体的には、入力された二画像について同じ座標の画素の周辺の局所領域を第一の画像および第二の画像からそれぞれ抽出する。二画像は高速に連続撮影されおよそ位置があっている状態である。しかしながら完全に一致しているとは限らず、同じ座標位置の局所領域を設定した場合、位置ずれが生じている可能性がある。よって同じ座標位置の局所領域を設定した場合、略同一のシーンを設定していることとなる。なお、局所領域は、距離算出対象画素を中心とした所定の大きさの領域である。

距離算出対象画素を１画素ずつずらしながら、ステップＳ２１の領域選択処理およびそれ以降のステップＳ２２〜Ｓ２５の処理を繰り返し行うことで、入力画像全体の距離画像（距離マップ）を算出することが可能となる。ただし、距離マップは必ずしも入力画像全体に対して算出する必要はなく、入力画像の一部の画素群のみを距離算出対象領域としてもよい。例えば、入力画像について数画素おきに距離を算出してもよいし、入力画像中の一部領域のみについて距離を算出してもよい。距離マップの解像度や、どの領域について距離算出を行うかなどは、入力部１６によりユーザが指定するようにしてもよい。

領域抽出ステップＳ２２では、シフト領域抽出部１４２が、第二の画像に設定された局
所領域近傍の所定範囲内から、同じ大きさの領域（以下、シフト領域と呼ぶ）を複数抽出する。局所領域近傍の所定範囲は、例えば、第二の画像に設定された局所領域からのシフト量が所定領域内の領域とすることができる。以下では、所定範囲として、シフト量が１画素以内の範囲を考える。例えば図５（ａ）の太枠で示した領域５１が第一の画像における局所領域としてステップＳ２１で選択された場合を考える。この場合、領域５１に対応する第二の画像における局所領域として、図５（ｂ）に示す領域５２ｅが選択される。そして、この領域５２ｅから１画素だけずれた範囲内にある領域５２ａ〜５２ｊをシフト領域として抽出する。なお、領域５２ｅ自体もシフト領域に含まれるものとする。

このように、領域５２ｅの周囲（今の例では１画素ずれの範囲）からシフト領域を抽出するのは、位置ずれが１画素は残存していると推定されるが、ずれの方向が分からないためである。図５（ｂ）に示すように設定された領域５２ｅを中心に上下左右、および斜めの８方向に一画素ずつシフトさせた計９つのシフト画像を抽出する。これら９つのシフト領域の中に、第一の画像の局所領域５１と対応する領域があると考えられる。なお、シフト量は、シャッター速度や被写体の動き、撮像装置の動きに依存するため、これらに応じて設定することが好ましい。シフト量は予め固定された値でも良いし、入力部１６からユーザが指定するようにする構成にしても良い。

ただし、シフト量は最大でも領域設定ステップで設定された局所領域（領域５１）の一辺の長さより小さい値（図５（ｂ）では４画素以下）とすることが好ましい。残存する位置ずれ量や演算量を考慮した場合、上下左右方向に１画素または２画素ずつずらすのが好適である。

次に相関値演算ステップＳ２３では、相関値演算部（第一算出手段）１４３が、抽出された第一の画像の局所領域（領域５１）と、第二の画像において抽出された複数のシフト領域（領域５２ａ〜５２ｊ）との相関値ＮＣＣ_ｊを数式１の式で算出する。Ｉ_１、Ｉ_２は、第一の画像の局所領域内の画素の輝度の平均値、第二の画像の局所領域内の画素の輝度の平均値を表している。ｉは、局所領域内の画素の位置を表している。ｊは、全画像中の局所領域の番号を表す添え字である。

ここで、収差が無くデフォーカスした場合のぼけ方がフォーカス前後で同じ場合、像側においてフォーカスを移動して撮影した２つのフォーカス位置の中間でぼけが同等となり、その位置での相関が最も高い値となる。この中間位置から離れるに従い、二画像のぼけ方は変化し相関が低下していく。つまりぼけが同じ位置をピークとしてその位置から前後に離れるに従い相関が低下する。なお、相関値はデフォーカスによるぼけに応じた値となるため、相関値がわかれば対応するデフォーカス量を知ることができ、相対的な距離を算出することが可能となる。

最適値決定ステップＳ２４では、相関値決定部（第一決定手段）１４４が、前記相関演算ステップＳ２３で算出された複数の相関値の中から、距離算出対象画素の距離情報を算出するために最適な相関値を決定する。局所画像間の相関をとった場合、画像間に位置ずれが生じていると相関が大きく低下する。位置をずらして第二の画像から複数のシフト領域を抽出する際に、二画像間の位置ずれがシフト範囲に収まっている場合、相関が最も高いシフト領域が第一の画像の局所領域５１と位置が一致している局所領域となる。よって、本実施形態では、前記相関演算ステップＳ２３で算出された複数の相関値の中から最も
相関の高い値を距離算出に用いる最適な相関値として出力する。

次に、距離算出ステップＳ２５では、距離算出部（第二算出手段）１４５が、最適な相関値に基づいて距離算出対象画素の距離情報を算出する。なお、得られた最適な相関値をそのまま距離情報として出力して利用しても良いし、像面でのフォーカス位置からの相対位置として出力しても良い。なお、相関値と像面でのフォーカス位置からの相対位置はＦナンバーにより異なるため、Ｆナンバーごとに変換テーブルを持ち像面でのフォーカス位置からの相対距離に変換してもよい。更には得られた相対距離を、焦点距離および物体側におけるフォーカス距離を用いて物体距離に変換して出力してもよい。

また、相関値が最大になった第二の画像の局所画像と、第一の領域に設定された局所領域との間のずれ量を、残存位置ずれ量として同時に出力してもよい。例えば、図５（ｂ）において、領域５２ａについて相関値が最大となる場合には、（−１，−１）を残存位置ずれ量として出力する。残存位置ずれ量は、画像合成などの他の画像処理に利用することも可能である。

本実施形態によれば、二画像間に位置ずれが残存した場合であっても、距離算出の相関値演算を行う領域を複数選択し、得られた値から最適な値を算出することにより一画素単位で位置の合った場合の距離情報を算出することが可能となる。正確に位置ずれを合わせるための位置合わせは膨大な計算負荷を要するが、本実施形態の場合は、位置があっていない画像であっても距離情報算出の演算の中で位置のあった領域での距離情報を算出することができる。

（第二実施形態）
次に、本発明の第二実施形態について説明する。第二実施形態は、変更する撮影パラメータがフォーカス位置ではなくＦナンバーを変更するという点と、最適な相関値を算出する方法が、第一実施形態と相違する。また、二枚の画像の位置合わせを行う処理を追加で実行する。撮像装置１の構成は第一実施形態のものと同様のため、同一の符号を用いて説明を行う。

以下、第一実施形態との処理の相違点について説明する。図６は、第二実施形態における、距離マップ生成処理の流れを示したフローチャート図である。

第二実施形態では、ステップＳ１３で撮影パラメータを変更する際に、Ｆナンバーを変更する。すなわち、ステップＳ１４を実行することによって、Ｆナンバーが異なる二枚の画像が取得される。

次に、距離マップ生成処理Ｓ１５について、図６を参照して説明する。
位置合わせステップＳ３１は、二枚の画像の位置を合わせる処理（以下、位置合わせ処理）を行うステップである。二画像の撮影間隔が長く手振れや被写体の動きが生じた場合に、ある程度画像間の位置を合わせるために必要となる。位置合わせは、既知の方法（例えば、電子防振やＨＤＲ撮影用の位置合わせ処理）によって行えばよく、距離計測に特化した処理を行う必要はない。位置合わせ処理は、信号処理部１３が実施しても良いし、距離計測部１４が実施しても良い。

位置合わせの代表的な方法としては、まず画像間の動きベクトル（動き情報）を算出し、これを用いてアフィン変換等の座標変換係数を算出する。その後算出した変換係数をもとに一方の画像を変換して位置合わせを行う。この位置合わせでは、撮像装置の動きや画像中の大部分を占める動きに関して補正することが可能となり、大半の領域においてほぼ位置のあった画像を生成することができる。

このように、位置合わせ処理では、一画素単位で完全に位置合わせする必要はない。なお、一画素単位での位置合わせを行うには処理量が膨大であり撮像装置内においてリアルタイムでの処理は難しくなるため、前述のような座標変換による処理が好適である。

ステップＳ３２〜Ｓ３４で行う処理は、第一実施形態におけるステップＳ２１〜Ｓ２３と同様であるため、説明は省略する。ただし、ステップＳ３３での局所領域のずらし量は、ステップＳ３１の位置合わせの性能に応じた値を設定するようにするのがよく、さらには位置合わせの信頼度などに応じて画像の領域ごとに異なるずらし量を設定することも可能である。すなわち、距離計測部１４は、位置合わせの信頼度に応じて、シフト領域を抽出するための所定範囲を決定する範囲決定処理（第二決定処理）を行うことが好ましい。例えば、位置合わせ処理において、変換係数を算出するために利用した動きベクトル周辺の画素は位置ずれが少なく、利用されなかった動きベクトル周辺の画素は位置ずれが大きいことが推定される。よって、範囲決定処理は、このような位置合わせ時の情報（動き情報など）を用いて、位置ずれが小さいと推定される領域のずらし量を少なくして、シフト領域を抽出するための所定範囲を小さく設定することが好ましい。反対に位置ずれが大きいと推定される領域のずらし量を大きくして、シフト領域を抽出するための所定範囲を大きく設定することが好ましい。

次にステップＳ３５では、ステップＳ３４で算出された複数の相関値と局所領域のずらし量から、第一の画像の局所領域と最も合致するシフト領域（最大の相関値を与えるシフト領域）の位置をサブピクセル精度で求める。ここでサブピクセルとは画素分解能以上の単位を表している。画像中の被写体の位置ずれは、サンプリングにより画素単位になるが実際には画素単位ではないため、サブピクセル精度で位置合わせをすることでより精度の高い距離計測を行うことが可能となる。第一の画像の局所領域と最も良く合致するシフト領域の位置は、数式２のように相関値の重心位置を算出することにより求められる。これは位置ずれによる相関値変化が線形だと仮定した場合に、二画像の局所画像間の位置が最も合致した位置を表している。

ここで、Ｃは相関値を表し、ｘ、ｙは各シフト領域の画素シフト量を表している。また、添え字ｉは、シフト領域内での各画素の位置を示すものである。図５のように画素ずらしを行った場合、ｘ、ｙはそれぞれ−１、０、＋１が対応する。例えば、図５（ｂ）に示す９つのシフト領域について、図７（ａ）に示す相関値が得られたとする。図７（ｂ）は、各シフト領域の座標値を表している。すなわち、数式２は、相関値Ｃを重みとして、各シフト領域のｘ座標およびｙ座標の重み付け平均値を求めることになる。図７（ａ）の例では、（０．１８，−０．１５）が重心座標として求められる。

相関値は、図７（ｃ）に示すように、重心位置（ｘ_ｃ、ｙ_ｃ）と各シフト領域の中心位置との間の距離ｒ（シフト量）の一次関数であると想定できる。そこで、９つのシフト領域の中心座標位置と相関値から、最小二乗法を用いて相関値を一次関数Ｃ＝ａｒ＋ｂでフィッティングし、重心位置での相関値を推定する。

そのためにまず、重心位置（ｘ_ｃ、ｙ_ｃ）から画素ずらし位置までの距離ｒを、数式３のように算出する。

そして、最小二乗法によって、一次関数の係数ａおよびｂを算出する。なお、距離０の位置が重心位置となり、ｂのみから重心位置での相関値を求められるので、係数ａは求めずに係数ｂのみを求めるようにしてもよい。係数ｂは、以下の数式４で算出される。このｂの値が、最大の相関値Ｃとなる。図７の例では、重心位置（０．１８，−０．１５）において、最大の相関値０．９１が得られる。

ここで、ｎはシフト領域の数を表す。

なお、位置合わせを距離計測部１４の中で実行してもよいし、予め信号処理部１３で位置合わせまでを行い、位置合わせされた二画像を距離計測部１４に入力しても良い。また、本実施形態のサブピクセル位置での相関値算出に一次関数を用いたがそのほかの多項式を用いてフィッティングを行っても良い。

本実施形態によれば、二画像間の位置合わせを実行することで、連写撮影時に生じた手ぶれや被写体の動きによる位置ずれがある場合にも対処することが可能となる。さらにはサブピクセル単位で位置合わせされた場合の相関値を推定することが可能となり、より高精度な距離計測を可能とする。

（第三実施形態）
第三実施形態は、ベイヤー配列の２つの緑画素を独立にサンプリングした２つの緑輝度画像を入力画像として処理を行う実施形態である。第三実施形態における撮像装置１の構成は、第一実施形態と同様である。

ベイヤー配列の撮像素子には、第一の緑画素、第二の緑画素、赤画素、青画素の４つの画素からなる画素ブロックが複数配置される。ここで以下では、第一の緑画素から得られる画像をＧ１画像と呼び、第二の緑画素から得られる画像をＧ２画像と呼ぶ。また、一枚目の画像のＧ１画像を第一のＧ１画像、二枚目の画像のＧ１画像を第二のＧ１画像と呼ぶ。同様に、一枚目の画像のＧ２画像を第一のＧ２画像、二枚目の画像のＧ２画像を第二のＧ２画像と呼ぶ。

以下、第一実施形態との処理の相違点について説明する。図８は、第三実施形態における、距離マップ生成処理の流れを示したフローチャート図である。
距離計測部１４には第一のＧ１画像と第二のＧ１画像、Ｇ２画像が入力される。なお二つの緑画素におけるカラーフィルタの特性は同じであることが望ましい。画像が入力されると、ステップＳ４１で、第一のＧ１画像と第二のＧ１画像を用いて、最大の相関値を与えるシフト領域の位置を求める。このステップＳ４１の処理は、第一実施形態におけるステップＳ２１〜Ｓ２４の処理と同様である。図９（ａ）を参照して説明する。図９（ａ）は、ベイヤー配列の撮像素子を示したものであり、黒く塗った画素が第一の緑画素（Ｇ１画素）、斜線のハッチングを施した画素が第二の緑画素（Ｇ２画素）である。ここでは、Ｇ１画素９１が測距対象画素として選択されている場合を想定する。この場合、第一実施
形態と同様に、第二のＧ１画像におけるＧ１画素９１を中心とした局所領域と、その周囲のＧ１画素９２ａ〜９２ｈを中心とした局所領域の、合計９個のシフト領域について、相関値が算出される。そして、その中から最大の相関値が得られるシフト領域を決定する。ここでは、第二のＧ１画素９１を中心とした局所領域において最大の相関値が得られたものと想定する。

第一のＧ１画像と第二のＧ１画像の比較から最大の相関値を与える局所領域が求まったら、ステップＳ４２において、シフト領域抽出部１４２は、当該局所領域近傍のシフト領域を第二のＧ２画像から複数抽出する。ここでは、近傍の範囲を１画素とする。図９（ｂ）に示すように、Ｇ１画素９１から１画素の範囲内にあるＧ２画素は、Ｇ２画素９３ａ〜９３ｄの４つなので、これらのＧ２画素を中心とする４つのシフト領域９４ａ〜９４ｄがステップＳ４２において抽出される。

次いで、ステップＳ４３において、相関値演算部１４３は、第一のＧ１画像の局所領域と、ステップＳ４２において抽出されたシフト領域９４ａ〜９４ｄとの相関値を算出する。ステップＳ４４において、相関値決定部１４４は、シフト領域９１およびシフト領域９４ａ〜９４ｄの５つのシフト領域についての相関値の中から最大の相関値を、距離算出に用いるのに適した相関値として決定する。ステップＳ４５において、距離算出部１４５は、ステップＳ４４において決定された相関値を用いて、距離算出対象画素における距離を算出する。

上記の処理を距離算出対象画素の全てについて繰り返すことで、距離マップが得られる。距離計測部１４は、完成した距離マップを出力する（Ｓ４７）。この際、第一実施形態と同様に、最大値の相関値を与えるシフト領域の位置ずれ量を、残存位置ずれ量として出力することも好ましい。

なお、二回目のステップＳ４４における最適値算出において、算出した全相関値または一部の相関値を用いて、第二実施形態で行った重心位置推定と重心位置での相関値推定を行うことも可能である。

本実施形態によれば、ベイヤー配列の１つの緑画素から生成された緑輝度画像を用いて距離計測を行う際に、もう一方の緑輝度画像を用いることにより、サブピクセル精度で位置が合った距離情報を算出することが可能となる。また、ベイヤー配列から得られる緑輝度画像を使用することでより信号処理によるぼけの変化のない画像で距離情報を得ることができるといった効果がある。

（第四実施形態）
第四実施形態は、入力画像がベイヤー配列のＲＡＷ画像であった場合の実施形態である。第四実施形態における撮像装置１の構成は、第一〜第三実施形態と同様である。

以下、第一および第三実施形態との処理の相違点について説明する。図１０は、第四実施形態における、距離マップ生成処理の流れを示したフローチャート図である。距離計測部１４にはベイヤー配列のＲＡＷ画像である第一の画像と第二の画像が入力される。

ステップＳ５１〜Ｓ５４の処理は、第三実施形態と同様である。本実施形態でも、第三実施形態と同様に、画像が入力されると、第一の画像の一つの緑画素（Ｇ１画素）と第二の画像の一つの緑画素（Ｇ１画素）位置を距離算出対象画素として領域設定がなされる。そして、ステップＳ５１では、Ｇ１画素からなる９つのシフト領域（図５（ｂ）参照）の中から、最大の相関値を与える局所領域が決定される。

次に、ステップＳ５２では、最大の相関値を出力した第二の画像のＧ１画素におけるシフト領域画像を中心として、再度図９（ｂ）に示すように周辺４つの第二のＧ２画素からなるシフト領域を抽出する。そして、ステップＳ５３で、この４つの第二のＧ２画像の４つのシフト領域から、相関値を算出する。図５および図９の例の場合では、ここまでで合計１３個のシフト領域について相関値が算出されることになる。

ステップＳ５４では、上記１３個のシフト領域についての相関値に基づいて、最大相関値を与える位置（シフト量）をサブピクセル精度で求める。そして、ステップＳ５５において、シフト量と相関値の関係を求め、最大相関値を推定する。ステップＳ５４およびＳ５５の処理は、第二実施形態で説明した処理（ステップＳ３５およびＳ３６）と基本的に同様の処理である。このようにして推定された最大相関値が、距離算出に用いる最適な相関値として決定される。なお、この時、必ずしもステップＳ５３で算出されたすべての相関値を用いる必要はなく、閾値以上の相関値のみを使用してもよい。相関値の高い上位５つの値を使用することも好適である。ステップＳ５６において、距離算出部１４５は、ステップＳ５５において決定された相関値を用いて、距離算出対象画素における距離を算出する。

上記の処理を距離算出対象画素の全てについて繰り返すことで、距離マップが得られる。距離計測部１４は、完成した距離マップを出力する（Ｓ５８）。この際、最大値の相関値を与える位置（重心位置）のシフト量を、残存位置ずれ量として出力することも好ましい。

本実施形態によれば、一度最適な相関値を算出した後に再度最適な相関値であった局所領域を中心に複数の局所領域を抽出しなおして相関値を複数算出することで、サブピクセル精度で位置合わせされた場合の相関値を推定可能となる。そして、相関値の算出精度が向上するので、距離の算出精度が向上する。また、ベイヤー配列から新たに緑輝度画像を生成することなく、ベイヤー配列まま処理をすることで処理を簡略化できる効果もある。

なお、本実施形態ではベイヤー配列のＲＡＷ画像を入力としたが、ＹＵＶ変換した場合の輝度画像を入力としてＧ１、Ｇ２画素位置の値のみを使って同様の処理を行うことも可能である。

＜変形例＞
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、撮像手段を有さない距離計測装置として実施することもできる。また、距離計測方法として実施することもできるし、当該距離計測方法を距離計測装置に実行させる画像処理プログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、実施形態で説明した各要素技術は、任意に組み合わせてもよい。例えば、変更する撮影パラメータ、サブピクセル位置での推定の有無、位置合わせ処理の有無などを、自由に組み合わせて実施してもよい。

また、上記実施形態の説明では、シフト領域を抽出する近傍範囲として、１画素以内の範囲としているが、２画素以上の範囲としても良い。

また、上記実施形態の説明では、撮像装置が二枚の画像を取得する例を述べたが、取得する画像は三枚以上であってもよい。この場合、撮影した画像から二画像を選択して距離
計測を行う。三枚以上の画像を取得することで、距離計測可能な範囲が広くなるといった効果や、距離精度が向上するといった効果を得ることができる。

＜実装例＞
上述した本発明の距離計測技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、あるいは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明を適用することができる。

また、実施形態の説明では、撮像装置本体に距離計測の機能を組み込んだ構成を示したが、距離計測は撮像装置以外で行ってもよい。たとえば、撮像装置を有するコンピュータに距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、距離の算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能を組み込み、当該コンピュータがネットワークを介して複数枚の画像を取得し、距離計測を行うようにしてもよい。

得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能記録媒体は、いずれも本発明の範疇に含まれる。

１４１ 領域設定部
１４２ シフト領域抽出部
１４３ 相関値演算部
１４４ 相関値決定部
１４５ 距離算出部

Claims (16)

1. フォーカス位置あるいは絞りが異なる撮影パラメータで撮影された第一の画像および第二の画像から距離情報を算出する距離計測装置であって、
   距離算出対象の画素を含む、前記第一の画像にある第一の局所領域と、当該第一の局所領域に対応する前記第二の画像にある第二の局所領域と、を設定する設定手段と、
   前記第二の局所領域からのシフト量が所定範囲内の領域である複数のシフト領域を抽出する抽出手段と、
   前記第一の局所領域と前記複数のシフト領域との相関値をそれぞれ算出する第一算出手段と、
   前記第一算出手段によって算出された複数の相関値のうち、距離情報の算出に用いる相関値を決定する第一決定手段と、
   前記第一決定手段によって決定された相関値に基づいて、前記距離算出対象の画素の距離情報を算出する第二算出手段と、
   を備えることを特徴とする距離計測装置。
2. 前記第一決定手段は、前記複数の相関値の中から最も高い相関値を、距離情報の算出に用いる相関値として決定する、
   ことを特徴とする請求項１に記載の距離計測装置。
3. 前記第一決定手段は、前記複数のシフト領域の位置と、前記複数のシフト領域に対応する複数の相関値と、に基づいて、距離算出に用いる相関値を決定する、
   ことを特徴とする請求項１に記載の距離計測装置。
4. 前記第一決定手段は、前記第一の局所領域との相関値が最も大きくなる第二の画像における局所領域の位置を推定し、当該位置において推定される相関値を、距離算出に用いる相関値として決定する、
   ことを特徴とする請求項３に記載の距離計測装置。
5. 前記所定範囲の大きさを決定する第二決定手段を更に備える、
   ことを特徴とする請求項１から４のいずれか１項に記載の距離計測装置。
6. 前記第一の画像と前記第二の画像の間の動き情報に基づいて、前記第二の画像を座標変換して第一の画像との位置合わせを行う位置合わせ手段を更に備え、
   前記第二決定手段は、局所領域ごとの動き情報に基づいて前記所定範囲の大きさを決定する、
   ことを特徴とする請求項５に記載の距離計測装置。
7. 前記複数のシフト領域のうち最も高い相関値が得られるシフト領域と、前記第一の局所領域との間のずれ量を、残存位置ずれ量として出力する、
   ことを特徴とする請求項１から６のいずれか１項に記載の距離計測装置。
8. 前記第一の画像および前記第二の画像として、第一の緑画素、第二の緑画素、赤画素、青画素からなる画素ブロックが複数配置されたベイヤー配列の撮像素子によって取得された画像の、第一の緑画素から得られる第一の緑輝度画像を用いる、
   ことを特徴とする請求項１から７のいずれか１項に記載の距離計測装置。
9. 前記第一の画像として、第一の緑画素、第二の緑画素、赤画素、青画素からなる画素ブロックが複数配置されたベイヤー配列の撮像素子によって取得された画像の、第一の緑画素から得られる第一の緑輝度画像を用い、
   前記第二の画像として、前記ベイヤー配列の撮像素子によって取得された画像の、第一の緑画素から得られる第一の緑輝度画像と第二の緑画素から得られる第二の緑輝度画像とを用いる、
   ことを特徴とする請求項１から７のいずれか１項に記載の距離計測装置。
10. 前記設定手段は、前記第二の画像として第一の緑輝度画像を用いて、前記第一の局所領域に対応する第二の局所領域を設定し、
    前記抽出手段は、当該第二の局所領域からのシフト量が所定範囲内の領域である複数のシフト領域を抽出し、
    前記第一算出手段は、前記第一の緑輝度画像における前記複数のシフト領域について前記相関値を算出し、最も高い相関値が得られるシフト領域を求め、
    前記抽出手段は、前記第二の画像として第二の緑輝度画像を用いて、前記第一の緑輝度画像において最も高い相関値が得られたシフト領域からのシフト量が所定範囲内の領域である前記第二の緑輝度画像における複数のシフト領域を抽出し、
    前記第一算出手段は、前記第二の緑輝度画像における前記複数のシフト領域について、前記相関値を求め、
    前記第一決定手段は、前記第一の緑輝度画像および前記第二の緑輝度画像を用いて算出される前記複数の相関値に基づいて、距離算出に用いる相関値を決定する、
    ことを特徴とする請求項９に記載の距離計測装置。
11. 前記第一決定手段は、前記第一の緑輝度画像および前記第二の緑輝度画像を用いて算出される前記複数の相関値の中から最も高い相関値を、距離算出に用いる相関値として決定する、
    ことを特徴とする請求項１０に記載の距離計測装置。
12. 前記第一決定手段は、前記複数の相関値と当該相関値の算出に用いたシフト領域の位置に基づいて、距離算出に用いる相関値として決定する、
    ことを特徴とする請求項１０に記載の距離計測装置。
13. 前記第一決定手段は、前記第一の局所領域との相関値が最も大きくなる第二の画像における領域の位置を推定し、当該位置において推定される相関値を、距離算出に用いる相関
    値として決定する、
    ことを特徴とする請求項１２に記載の距離計測装置。
14. 撮像手段と、
    請求項１から１３のいずれか１項に記載の距離計測装置と、
    を備えることを特徴とする撮像装置。
15. フォーカス位置あるいは絞りが異なる撮影パラメータで撮影された第一の画像および第二の画像から距離情報を算出する距離計測方法であって、
    距離算出対象の画素を含む、第一の画像にある第一の局所領域と、当該第一の局所領域に対応する第二の画像にある第二の局所領域と、を設定する設定ステップと、
    前記第二の局所領域からのシフト量が所定範囲内の領域である複数のシフト領域を抽出する抽出ステップと、
    前記第一の局所領域と前記複数のシフト領域との相関値をそれぞれ算出する第一算出ステップと、
    前記第一算出ステップにおいて算出された複数の相関値のうち、距離情報の算出に用いる相関値を決定する決定ステップと、
    前記決定ステップにおいて決定された相関値に基づいて、前記距離算出対象の画素の距離情報を算出する第二算出ステップと、
    を含むことを特徴とする距離計測方法。
16. 請求項１５に記載の距離計測方法の各ステップをコンピュータに実行させるためのプログラム。
    

Images