JP7341033B2 - 視差検出装置、撮像装置、視差検出方法、及びプログラム - Google Patents

Description

本発明は、視差検出装置、撮像装置、視差検出方法、及びプログラムに関する。

撮影画像を取得し、撮影画像から距離情報を算出する撮像装置が提案されている。例えば、撮像装置は、異なる視点からの画像を取得し、画像間の相関値（類似度）から視差量を求め、距離情報を取得する。具体的には、撮像装置は、画像ペアの片方の画像において注目画素を含む部分領域の画像信号を基準画像として抜き出し、他方の画像の部分領域の画像信号を参照画像として抜き出す。撮像装置は、参照画像の抜き出す位置を変え、各位置における相関値を計算する。撮像装置は、各位置における相関値から最も相関が高くなる位置を求めることで、注目画素における視差量を算出する。

また、視差量の算出には、最も相関が高くなる位置の相関値とその隣接する参照画像位置の相関値とを用いて、より高分解能な視差量を推定するサブピクセル推定法が用いられる場合もある。この際、基準画像と参照画像との間で、想定していた視差発生方向とは異なる方向にもズレが生じることがある。このズレは、視差量を算出する際に、被写体に応じた誤差を生じさせる。

これに対し、探索方向を視差方向ではなく、視差方向とは異なる方向のズレ量に合わせて、探索方向を変える方法が提案されている（特許文献１）。また、異なる方向も含めて探索する方法も提案されている（特許文献２）。更に、視差方向と直交する方向にブロックに分けて探索前に画像を補正する方法（特許文献３）も提案されている。更に、基準画像と参照画像の見え方の違いを変形させたブロック形状から最適なものを選択する方法も提案されている（特許文献４）。

特許第５４８９６４１号公報 特開２００３－４４４２号公報 特許第５７９２６６２号公報 特許第４５２４５１４号公報

視差方向と直交する方向における基準画像と参照画像との間のズレ量は、視差量に応じて変動するが、従来の技術は視差量に応じたズレ量の変動を考慮してしない。そのため、従来の技術では、視差量を算出する際に、変動するズレ量に起因する誤差を適切に低減することができない。

本発明はこのような状況に鑑みてなされたものであり、画像間の相関に基づく視差量検出の精度を向上させる技術を提供することを目的とする。

上記課題を解決するために、本発明は、第１の方向において相互に異なる視点を持つ第１の視点画像及び第２の視点画像を取得する第１の取得手段と、撮影範囲の同じ位置に対応する前記第１の視点画像及び前記第２の視点画像の位置間の、デフォーカス量に応じた前記第１の方向における視差量に応じて変動する、前記第１の方向に直交する第２の方向における前記位置間のズレ量を特定するズレ情報を取得する第２の取得手段と、前記第１の視点画像において視差量検出の基準位置に対応する基準領域を選択する選択手段と、前記第２の視点画像の複数の参照位置に対応する複数の参照領域それぞれについて相関算出処理を行う算出手段であって、前記相関算出処理は、前記基準位置と前記参照位置との間の前記第１の方向における視差量に応じた前記基準位置と前記参照位置との間の前記第２の方向におけるズレを低減するように、前記ズレ情報に基づいて前記基準領域及び前記参照領域の少なくとも一方の前記第２の方向における位置を補正する第１の補正処理と、前記第１の補正処理が反映された前記基準領域と前記参照領域との間の相関を算出する算出処理とを含む、算出手段と、前記基準領域と前記複数の参照領域それぞれとの間の前記相関に基づいて、前記基準位置の前記第１の方向における視差量を検出する検出手段と、を備えることを特徴とする視差検出装置。

本発明によれば、画像間の相関に基づく視差量検出の精度を向上させることが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

視差検出装置１００の概略ブロック図。 第１の実施形態に係る撮像素子１０４の画素の構成について説明する図。 視差検出装置１００による視差検出処理のフローチャート。 視差に対するＹズレ量の変化量の例について説明する図。 図３のＳ３０３における画像変形処理の一例を示す図。 （ａ）基準画像及び参照画像の位置関係を示す図、（ｂ）注目画素における視差量に依存したＹズレ量６１５と、Ｓ３０３にて参照画像を補正（変形）した後に残存するＹズレ量６１６とを示す図、（ｃ）参照画像ブロックの設定の具体例を説明する図。 Ｙズレ量が変動する場合の視差検出処理のフローチャート。 第２の実施形態に係る撮像素子１０４の構成を示す図。 補正量Ｚに対する、基準画像及び参照画像それぞれの補正量を示す概念図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
＜＜視差検出装置１００の構成＞＞
図１は、視差検出装置１００の概略ブロック図である。以下では、視差検出装置１００が撮像装置である場合を例に説明を行うが、視差検出装置１００はパーソナルコンピュータなどの他の装置であってもよい。

視差検出装置１００は、制御部１０１、結像光学系１０３、撮像素子１０４、演算処理部１０５、及びメモリ１０６を備え、結像光学系１０３及び撮像素子１０４を用いて被写体１０２の撮影を行うように構成される。

制御部１０１は、制御プログラムを格納した不揮発性メモリを含み、制御プログラムに従って視差検出装置１００の各部を制御する。制御部１０１は、制御プログラムを実行する際に、メモリ１０６をワークメモリとして使用する。

結像光学系１０３は、被写体の像を撮像面である撮像素子１０４に形成する機能を有する。結像光学系１０３は、複数のレンズ群（不図示）及び絞り（不図示）から構成され、撮像素子１０４から所定距離離れた位置に射出瞳を有する。光軸１１０は、結像光学系１０３の光軸である。本明細書では、光軸１１０はｚ軸と平行であるものとする。また、ｘ軸とｙ軸とは互いに直交しており、且つｚ軸（光軸１１０）とも直交している。

図２を参照して、撮像素子１０４の画素の構成について説明する。撮像素子１０４には、複数の画素が配置される。各画素は、図２（ａ）の断面図に示すように、マイクロレンズ２０１、カラーフィルタ２０２、及び光電変換部２０３Ａ、２０３Ｂを含む。撮像素子１０４においては、画素毎にカラーフィルタ２０２によって検出する波長帯域に応じたＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の分光特性が与えられ、各画素が公知の配色パターン（不図示）によって配置されている。本明細書では、各画素がｘｙ平面に配置されているものとして説明を行うが、必ずしもｘｙ平面に配置されている必要はない。光電変換部２０３Ａ、２０３Ｂは、検出する波長帯域に感度を有し、基板２０４上に形成されている。また、各画素は、不図示の配線を備えている。

図２（ｂ）は、光軸１１０と撮像素子１０４の交点（中心像高）から、結像光学系１０３の射出瞳を見た図である。光電変換部２０３Ａ及び光電変換部２０３Ｂには、それぞれ第１の瞳領域２１０を主に通過した第１の光束及び第２の瞳領域２２０を主に通過した第２の光束が入射する。第１の瞳領域２１０及び第２の瞳領域２２０は、それぞれ射出瞳の異なる領域である。光電変換部２０３Ａ及び光電変換部２０３Ｂに入射した光束をそれぞれ光電変換することで、Ａ像及びＢ像が生成される。生成されたＡ像及びＢ像は、演算処理部１０５に伝送される。演算処理部１０５は、Ａ像及びＢ像に基づく演算処理により視差値又は距離値等を算出し、算出結果をメモリ１０６に格納する。また、Ａ像とＢ像とを加算することにより得られる画像は、記録用（閲覧用）の画像として利用することができる。

図２（ｂ）において、第１の重心位置２１１は、第１の瞳領域２１０の重心位置であり、第２の重心位置２２１は、第２の瞳領域２２０の重心位置である。本実施形態においては、第１の重心位置２１１は、射出瞳の中心からｘ軸２００に沿って偏心（移動）している。一方、第２の重心位置２２１は、ｘ軸２００に沿って、第１の重心位置２１１とは逆の方向に偏心（移動）している。第１の重心位置２１１と第２の重心位置２２１とを結ぶ方向を瞳分割方向と呼ぶ。また、第１の重心位置２１１と第２の重心位置２２１との重心間距離が基線長２２２となる。

Ａ像及びＢ像は、デフォーカスによって瞳分割方向と同じ方向（本実施形態ではｘ軸方向）に位置が変化する。この画像間の相対的な位置変化量、即ちＡ像とＢ像との間の視差量は、デフォーカス量に応じた量となる。よって、この視差量を後述の手法により取得し、既知の変換手法によって視差量をデフォーカス量又は距離に変換することができる。

この時、視差方向に対して直交する方向（図中ではＹ方向となる。以下、Ｙ方向と記載する）へのズレの一因として、分割された各瞳の重心位置のＹ方向のズレが考えられる。以下では、このＹ方向のズレをＹズレと呼び、その量をＹズレ量と呼ぶ。例えば、第１の重心位置２１１がＹ方向の正方向に、第２の重心位置２２１がＹ方向の負方向に位置するように光学系の収差等が発生した場合、結像位置でもＹ方向に対するズレを持つことになる。また、第１の重心位置２１１及び第２の重心位置２２１が瞳２３０の中心に対してＹ方向に対称でない場合には、視差０となる距離位置に対してもＹ方向にズレが生じることになる。

＜＜視差検出処理＞＞
図３は、視差検出装置１００による視差検出処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０１が制御プログラムに従って視差検出装置１００の各部を制御することにより実現される。

Ｓ３０１で、制御部１０１は、被写体１０２の撮影を行うことにより、Ｘ方向（第１の０方向）において相互に異なる視点を持つＡ像及びＢ像（第１の視点画像及び第２の視点画像）をからなる画像セットを取得し、メモリ１０６に格納する。以下の説明では、Ａ像が基準画像として用いられ、Ｂ像が参照画像として用いられるものとする。基準画像は、出力される視差情報に画素位置が対応する画像となる。なお、Ａ像及びＢ像のどちらが基準画像となるかは、特に限定されない。

Ｓ３０２で、演算処理部１０５は、後述するＳ３０３及びＳ３０５で用いられるＹズレ補正量を決定する。視差に対するＹズレ量の変化量は既知であるものとする。これは、設計値を基に、例えばシミュレーション等で計算しておいたものでもよい。この際、熱の影響や製造誤差等で生じる個体差の影響も考慮した設計値を基に計算されることが望ましい。事前にチャート等を撮影し、計測したものを用いてもよい。例えば、点像チャートを被写体とし、基準画像と参照画像との間での点像の位置を計測することで、ある視差量に対応するＹズレ量が算出できる。チャートの距離を変え、複数計測することで視差量の変化に対するＹズレ量の変化量を得ることができる。使用するチャートは、点像チャートに限定されず、バーチャート（斜め線又は横線）や円チャート等、どのようなチャートであってもよい。Ｙズレ量の情報は、例えば制御部１０１の不揮発性メモリに保存されており、Ｓ３０２において必要に応じて読み出される。

ここで図４を参照して、視差に対するＹズレ量の変化量の例について説明する。図４において、横軸は視差量に対応し、縦軸はＹズレ量に対応する。図４から理解できるように、撮影範囲の同じ位置に対応する基準画像及び参照画像の位置間のＹ方向（第２の方向）におけるズレ量は、これらの位置間の視差量に応じて変動する。また、図４の例では、直線の傾きとＹ切片を保存することで、視差とＹズレ量との関係を特定可能である。即ち、制御部１０１は、Ｙズレ量を特定するズレ情報として、視差量を横軸としズレ量を縦軸とするグラフにおける傾き及び切片を示す情報を、制御部１０１の不揮発性メモリに保存してもよい。

なお、視差に対するＹズレ量の変化量や対応する補正量の保存に関しては、画素単位での保存であってもよいし、像面上の実際の長さの単位での保存であってもよい。視差に対するＹズレ量の変化量は、一般的には像高毎に異なるため、視差量とＹズレ量との関係を示す情報を像高毎に保存することにより、どの像高においても高精度に視差量を算出することが可能となる。Ｓ３０２におけるＹズレ補正量の決定処理の詳細については後述する。

再び図３を参照して、Ｓ３０３で、演算処理部１０５は、Ｓ３０２で決定された補正量に従って、画像を変形する処理を行う。演算処理部１０５は、基準画像と参照画像との間でのＹズレ量に合わせて、基準画像及び参照画像の少なくとも一方を変形させる（第２の方向における位置を補正する第２の補正処理を行う）ことにより、Ｙズレ量の低減を行う。

図５は、図３のＳ３０３における画像変形処理の一例を示す図である。図５では、基準画像５０１及び参照画像５０２の一部の画素を記載している。各画素の数字は画素値を表している。図５の例では、参照画像５０２が基準画像５０１に対して、＋０．５画素Ｙズレしているものとする。この場合、演算処理部１０５は、Ｙズレ量を補正する（打ち消す）ように参照画像５０２を－０．５画素分変形させることにより、変形参照画像５０３を生成する。具体的には、演算処理部１０５は、参照画像５０２において上下の画素（Ｙ方向において連続する複数の画素値）に基づく線形補間を行うことにより、参照画像５０２を変形させる。例えば、参照画像５０２の画素５２１については、画素５２１及び画素５２２（Ｙ方向において連続する２つの画素値）に基づく線形補間（（０＋０．５）／２）により、画素値０．２５を持つ変形参照画像５０３の画素５３１が得られる。

このように、Ｙズレの補正量の画素数が整数でない場合（即ち、補正対象画像の補正後の画素位置が、補正前の補正対象画像の画素位置からずれている場合）であっても、補間演算を行うことにより、補正対象画像の補正後の画素値を算出することができる。

なお、補間方法は線形補間に限定されず、近傍のより多くの画素を用いる補間方法を採用してもよい。例えば、バイキュービック補間等の任意の補間方法を採用することができる。図５では一部の画素を図示しているが、実際には補正量を持つ画素全てについて変形が行われる。前述したように像高毎に補正量は変わるため、画素毎に補正量が変化する可能性がある。その場合にも、近傍の画素から補正量を変えて補間処理をしていくことで、画像を変形する。線形補間であれば、上下の画素の重みを補正量に従って変化させることで、補正量に応じた変形を実現できる。

ところで、図５の例では、参照画像のみを変形させることでＹズレ補正を行っていたが、この場合、基準画像と参照画像とで補間による差が大きく生じてしまい、検出される視差量に誤差が発生する要因となってしまう。そこで、基準画像と参照画像の両方を変形させることで誤差を低減することができる。具体的には、基準画像に対して参照画像が＋０．５画素Ｙズレしている場合、基準画像を＋０．２５画素分、参照画像を－０．２５画素変形分させることでＹズレ量を補正することができる。これにより、補間による影響を基準画像と参照画像とで同程度にすることができるため、誤差を低減することができる。

再び図３を参照する。Ｓ３０４～Ｓ３０７の処理（注目画素ループの処理）は、全ての注目画素（視差量検出の基準位置となる画素）について処理が完了するまで繰り返し実行される。Ｓ３０４で、演算処理部１０５は、基準画像ブロック（基準位置に対応する基準領域）を選択する。

図６（ａ）は、基準画像及び参照画像の位置関係を示す図である。図６（ａ）には、基準画像６１０Ａ及び参照画像６１０Ｂが図示されている。演算処理部１０５は、基準画像６１０Ａにおいて視差算出を行う画素（注目画素６２０）とその近傍画素とを含む部分領域を抜き出し、基準画像ブロック６１１とする。図６（ａ）では基準画像ブロック６１１を四角形で図示しているが、基準画像ブロックは四角形でなくてもよい。注目画素は、最終的な出力結果（例えば、視差画像や距離画像）の画素数に合わせて、基準画像６１０Ａ上で位置を変えながら、複数選択される。

再び図３を参照すると、Ｓ３０５～Ｓ３０６の処理（視差探索ループの処理）は、視差探索範囲全体について処理が完了するまで繰り返し実行される。Ｓ３０５で、演算処理部１０５は、参照画像ブロック（参照位置に対応する参照領域）を設定する。図４を参照して前述したように、視差量に依存してＹズレ量が変動する。基準画像ブロックと参照画像ブロックとの間のＸ方向のズレが視差に相当する。想定される視差の変化量の範囲を視差探索範囲とすると、演算処理部１０５は、後述するＳ３０６において、視差探索範囲内においてそれぞれの視差量に対するコストを計算する。その際、視差に対してＹズレ量が変化しているため、Ｙズレ量を補正した参照画像ブロックを設定する必要がある。参照画像ブロックは視差に合わせて設定される。例えば、視差が１画素である位置に参照画像ブロックを設定する場合を考える。この場合、基準画像上の注目画素位置（基準位置）と同位置相当の参照画像上の位置からＸ方向に１画素移動した位置を、視差が１画素である位置おける参照画像ブロックの注目画素（参照位置）とする。参照画像ブロックは、基準画像ブロックと同様の形で生成される。

図６（ｂ）は、注目画素における視差量に依存したＹズレ量６１５と、Ｓ３０３にて参照画像を補正（変形）した後に残存するＹズレ量６１６とを示す図である。Ｓ３０３での補正の一例として、特定の視差量（この例では、０画素の視差量）に相当する位置でＹズレ量が０となるように補正が行われた場合が図示されている。１画素の視差量に相当する位置においてはＹズレ量が０ではないため、参照画像ブロックを補正する必要がある。図６（ａ）の参照画像６１０Ｂ上で表現すると、矢印６１４のように参照画像６１０Ｂ上に斜めに参照画像ブロック６１３の注目画素を設定していく形となる。Ｙズレ量を考慮した参照画像ブロックの設定は、元の画像位置に対して、サブピクセルオーダーでＹ方向にずれたようなブロックを生成する必要がある。Ｓ３０３の処理と同様に、近傍の画素を用いる補間処理を行うことで、サブピクセルオーダーのＹズレ量を考慮した参照画像ブロックを設定することができる。

図６（ｃ）を参照して、参照画像ブロックの設定の具体例を説明する。図６（ｃ）は、４×４画素の参照画像ブロックを表している。実線部は参照画像６１０Ｂの元の画素を表し、Ｏ１及びＯ２は、それぞれの画素位置における画素値を表している。点線部はＹズレ量の補正量に基づく補正が行われた場合、つまりＹ方向における位置を補正した（ずらした）参照画像ブロックを表し、Ｐ１はその画素位置における画素値を表している。この場合、画素値Ｏ１及び画素値Ｏ２についてＹズレ量に依存した重み付き平均値を算出することで、Ｙズレ量を補正した場合の参照画像ブロックの画素値Ｐ１を算出することができる。参照画像ブロック内の画素全てについて同様の計算を行うことで、参照画像ブロックを設定することができる。

視差量が変化すると、基準画像ブロックに対応する参照画像ブロックがＸ方向に移動すると共に、Ｙズレ量も変化する。そのため、参照画像ブロックの補間処理に用いる重みも変化する。また、基準画像の注目画素位置が変化すると、視差量とＹズレ量の関係も変化する可能性があるため、その際にも重みが変化する。図６（ｂ）のような場合に、Ｓ３０５では、直線の傾きとＹ切片の情報が必要となる。この情報は、Ｓ３０２で決定された補正量となる。

なお、基準画像ブロックについても、Ｓ３０５の参照画像ブロック設定処理と同様に、参照画像ブロックの注目画素の移動に合わせて、Ｙ方向にずらした基準画像ブロックを生成することもできる。即ち、Ｓ３０３における補正処理と同様に、Ｓ３０５における補正処理（第２の補正処理）においても、演算処理部１０５は、基準画像ブロック及び参照画像ブロックの少なくとも一方のＹ方向における位置を補正することにより、基準画像ブロックの注目画素（基準位置）と参照画像ブロックの注目画素（参照位置）との間のＹズレを低減することができる。この場合、基準画像ブロックの補正量（Ｙ方向にずらす量）は、全体の補正量（Ｓ３０２で決定された補正量）と参照画像ブロックの補正量とに基づいて決定される。基準画像ブロックの補正量を基に、近傍画素の重み付き平均のための重みが決定される。このように、Ｙズレの補正量の画素数が整数でない場合（即ち、補正対象画像ブロック（補正対象領域）の補正後の画素位置が、補正対象画像ブロックを含む基準画像又は参照画像の画素位置からずれている場合）であっても、補間演算を行うことにより、補正対象画像ブロックの補正後の画素値を算出することができる。

Ｓ３０６で、演算処理部１０５は、Ｓ３０４で選択した基準画像ブロックとＳ３０５で設定した参照画像ブロックとの間の相関値を算出する。相関値の算出には、差の絶対値和であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、差の二乗和であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、又は正規化相互相関などの、一般的な算出方法を用いることができる。また、ＣＥＮＳＵＳ変換と呼ばれる変換を画像に施してから、ハミング距離で相関値を算出してもよい。

ところで、Ｓ３０３の画像変形処理において、基準画像と参照画像とで補間による構造の違いが発生することがあり、ピクセルロッキングと呼ばれる視差誤差が発生することがある。ピクセルロッキングは、サブピクセル精度で演算する際に発生する。ＳＡＤに比べて、ＳＳＤや正規化相互相関を用いることで、ピクセルロッキングの影響を低減することができる。また、ＥＥＣ（Ｅｓｔｉｍａｔｉｏｎ Ｅｒｒｏｒ Ｃａｎｃｅｌ）と呼ばれる誤差低減手法を用いることでも、精度を改善することができる。

ＳＡＤの場合、Ｓ３０６で、演算処理部１０５は、差の絶対値を計算する。Ｓ３０５におけるＹズレ補正とＳ３０６における相関値演算とを１つの式にまとめると、下記の式（１）により差の絶対値ＡＤを求めることができる。

ＡＤ＝｜Ａｉｊ－｛（１－ｂ）Ｂｋｌ＋ｂＢｋｍ｝｜ ・・・（１）

ここで、Ａｉｊは基準画像上のＸ方向にｉ番目、Ｙ方向にｊ番目の画素を表す。Ｂｋｌ、Ｂｋｍは、参照画像上のＸ方向にｋ番目、Ｙ方向にそれぞれｌ、ｍ番目の画素を表す。ｂは、Ｓ３０５におけるＹズレ量から算出される補正量に対応した、参照画像の重み付き平均値を計算するための重みに相当する。ＢｋｌとＢｋｍは、図６（ｃ）の例の場合（例えば画素値Ｏ１、Ｏ２を用いる場合）は、縦方向に隣接しており、ｌ＝ｍ＋１となる。

式（１）は、展開して整理することで、下記の式（２）のように表すことができる。

ＡＤ＝｜Ａｉｊ－Ｂｋｌ＋ｂ（Ｂｋｌ－Ｂｋｍ）｜ ・・・（２）

式（２）において、絶対値内の第１項のＡｉｊ－Ｂｋｌと、第２項の差の部分であるＢｋｌ－Ｂｋｍとは、参照画像の注目画素及び基準画像の注目画素が変わるたびに何度も同じ計算が必要となる。そのため、参照画像ブロック設定処理を行う前にこれら２つの項を計算しメモリ１０６に保存しておくことで、参照画像ブロック設定定処理時にはメモリ１０６に保存された計算済みの値を読み出すことで、計算量を大幅に削減することができる。

また、基準画像ブロックについても補正を行う場合には、Ａｉｊ－Ａｉｐ（ｊ＝ｐ＋１）についても事前に計算及び保存を行うことにより、計算量を削減することができる。換言すると、演算処理部１０５は、基準画像及び参照画像のうちの少なくとも一方について、Ｙ方向において連続する２つの画素値の複数の組合せそれぞれについて、これら２つの画素値の差である画素差分値を算出してメモリ１０６に記録する。そして、Ｓ３０５の補正処理において、演算処理部１０５は、メモリ１０６に記録されている画素差分値に対応する２つの画素値に基づく線形な補間演算を行う場合には、この記録されている画素差分値を用いて線形な補間演算を行う。

Ｓ３０７で、演算処理部１０５は、Ｓ３０６で求めた相関値に基づいて、視差量を決定（検出）する。視差量は、既存の手法を用いて決定することができる。例えば、相関値の中で最も高い相関が得られる移動量（基準画像ブロックと参照画像ブロックのＸ方向におけるズレ）とその近傍の移動量に対応する相関値のデータ列を抽出し、既知の内挿手法により、最も相関が高くなる移動量をサブピクセル精度で推定することで、視差量を決定することができる。例えば、相関値の算出にＳＡＤを用いた場合には、既知の内挿手法として、等角直線フィッティングを用いることができる。また、相関値の算出にＳＳＤを用いた場合には、既知の内挿手法として、パラボラフィッティングを用いることができる。相関値の算出方法に応じて、様々な内挿手法が考えられるが、どのような内挿手法によりサブピクセル精度での視差量を決定（算出）してもよい。

注目画素ループ（Ｓ３０４～Ｓ３０７）において、基準画像の注目画素（基準位置）を変えて処理を繰り返すことで、複数の像高位置における視差値を持った視差画像を得ることができる。また、視差量決定処理では、視差量だけでなくデフォーカス情報や被写体距離情報を算出してもよい。視差量からデフォーカス量への換算は、基線長を用いた幾何学的関係に基づいて行うことができる。また、デフォーカス量から被写体距離への変換は、結像光学系１０３の結像関係を用いて行うことができる。

＜＜Ｙズレ補正量決定処理（Ｓ３０２）の詳細＞＞
Ｓ３０２のＹズレ補正量決定処理において、演算処理部１０５は、Ｓ３０３及びＳ３０５それぞれでどのようにＹズレ量を補正するか（どのように補正を分担するか）を決定する。図６（ｂ）の例では、Ｓ３０３において、演算処理部１０５は、視差量が０においてＹズレ量が低減される（ここでは、０となる）ように補正を行っている。このように視差量が０の時にＹズレ量が特定の値となるように補正を行うことで、Ｓ３０５で必要な情報は視差量とＹズレ量との関係の傾きだけとなる。従って、パラメータとして保持する情報量及びメモリアクセス量を減らすことができる。

また、図２の画素構成において、視差量０とは、図１の結像光学系１０３のピント位置付近となり測距において中心的な距離である可能性が高い。また、Ｙズレ量が０となる視差量（特定の視差量）をどこにするかというのは、特定の距離の場合にＹズレ量を０にすることに関連する。計測対象となる被写体距離の発生頻度が高い距離位置のＹズレ量を０とすることで、Ｓ３０５におけるＹズレ補正量を大多数の注目画素で小さくすることができる。即ち、演算処理部１０５は、撮影範囲における視差量の発生頻度に基づいて、Ｙズレ量を低減する特定の視差量を決定することができる。視差探索を発生頻度の高い視差付近から順に行い、相関値が高ければ途中で打ち切る処理を行う場合には、参照画像ブロック設定の際の参照画像のＹ方向へのアクセス量を減らすことができ、効率的に計算を行うことができる。

探索範囲の端（主に視差量の絶対値が大きい場合）では、Ｙズレ量が大きくなる。Ｙズレ量が大きい場合には、注目画素からＹ方向により離れた場所の参照画像中の画素値が必要となるため、なるべくＹズレ量は小さくした方が、メモリアクセスの範囲が小さくなり、計算効率が良くなる。そのため、探索範囲の中央となる視差値でＹズレ量が０となるように設定することで、効率の良い処理を行うことができる。

また、演算処理部１０５は、Ｓ３０１において基準画像及び参照画像を取得する前に、Ｓ３０３及びＳ３０５のための補正量を計算し、例えばメモリ１０６に保存しておいてもよい。この場合、基準画像及び参照画像の取得後にＳ３０２の処理は行われず、演算処理部１０５は、Ｓ３０３及びＳ３０５それぞれで必要な補正量をメモリ１０６から読み出し、それぞれの補正を行うことができる。

＜＜Ｙズレ量が変動する場合の視差検出処理＞＞
ところで、動作中にＹズレ量が熱や振動等の影響で変動する可能性がある。その場合には、Ｓ３０１において基準画像及び参照画像を取得した後にＹズレ量を計算する必要がある。

図７は、Ｙズレ量が変動する場合の視差検出処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０１が制御プログラムに従って視差検出装置１００の各部を制御することにより実現される。また、本フローチャートにおいて、図３と同一又は同様の処理が行われるステップには図３と同一の符号を付す。

Ｓ３０１において基準画像及び参照画像が取得された後に、Ｓ７０１で、演算処理部１０５は、Ｙズレ量算出処理を行う。例えば、演算処理部１０５は、取得した基準画像と参照画像との間で二次元方向（Ｘ方向及びＹ方向）に探索を行う（二次元探索を行う）などして、視差量とＹズレ量との関係を計算していく。必ずしも、取得した画像の全画素で計算を行う必要はなく、一部の画素のみについて計算を行ってもよい。この場合、演算処理部１０５は、計算を行っていない画素については、計算を行った画素のＹズレ量に基づく補間処理を行うことにより、全画素のＹズレ量を生成することができる。

また、Ｓ３０１における画像取得後に常にＳ７０１のＹズレ量算出処理（Ｙズレ情報の更新）を行う必要はなく、演算処理部１０５は、所定のタイミングでＹズレ量算出処理を行うことができる。例えば、動画像のように時系列に画像取得が行われる場合などには、ある間隔毎にＹズレ量算出処理を行ってもよい。事前にＹズレ量を取得する場合と同様に、視差量とＹズレ量の関係を計算していく場合には、同画素位置で複数の視差とＹズレ量を取得する必要がある。例えば、図４のような関係の場合、傾きとＹ切片を算出する必要があるため、少なくとも２つの視差値に対するＹズレ量が必要だが、そのうちどちらか一方のみを変更するようにしてもよい。特に、撮像素子１０４が図２のような構造を持つ場合には、基準画像と参照画像とで光学系が同一のため、傾きに関しては変化が小さいという特徴がある。そのため、Ｙ切片のみを更新する形で高精度な視差演算を行うことが可能である。

以上説明したように、第１の実施形態によれば、視差検出装置１００は、基準画像ブロックを選択し、複数の参照画像ブロックそれぞれについて相関算出処理を行う。相関算出処理は、基準画像の注目画素（基準位置）と参照画像の注目画素（参照位置）との間の視差量に応じた基準位置と参照位置との間のＹズレを低減するように、Ｙズレ情報に基づいて基準画像ブロック及び参照画像ブロックの少なくとも一方のＹ方向における位置を補正する処理（第１の補正処理）を含む。また、相関算出処理は、第１の補正処理が反映された基準画像ブロックと参照画像ブロックとの間の相関を算出する算出処理を含む。これにより、画像間の相関に基づく視差量検出の精度を向上させることが可能となる。

［第２の実施形態］
次に、第２の実施形態について説明する。本実施形態において、視差検出装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。

図８は、第２の実施形態に係る撮像素子１０４の構成を示す図である。但し、本実施形態において、撮像素子１０４の構成は第１の実施形態と同様であってもよい（図２参照）。

図８において、画素Ｃはカラー画素を表している。カラー画素は、必ずしも図２（ａ）のように光電変換部を複数持つ必要はなく、カラーフィルタＲＧＢや広い波長帯域を持つＷ（Ｗｈｉｔｅ）の分光特性が与えられている。カラー画素は、前述した視差算出処理には使われなくてもよい。画素Ｄは、前述した図２（ａ）の構成を有し、前述した測距処理を行うものである。また、画素Ｄは、カラーフィルタを有していてもよいし、全てＷの分光特性が与えられていてもよい。このように、カラー画素と測距用画素とを行毎に分けることにより、出力される全画素の総数を削減することができ、効率的な伝送及び計算を行うことができる。

また、図８では、２行毎に０．５画素分、視差方向（Ｘ方向）にずれた構成を有している。これにより、視差方向の画素密度を倍にすることができ、視差（測距）精度を２倍程度向上することができる。具体的には、２行目の画素Ｄと６行目の画素Ｄのうちの、同じ列にあるものから、４行目の画素Ｄを生成することができる。このような処理を追加し、全ての測距用画素Ｄでこの処理を行うことにより、各画素の視差方向に０．５画素ずれた画素を全ての画素で生成することができる。

図３を参照して、第２の実施形態に係る視差検出処理を説明する。ここでは、主に第１の実施形態と異なる点について説明する。特に記載のない点に関しては、第１の実施形態と同様である。

Ｓ３０１で、制御部１０１は、測距用画素のみのデータを取得する。カラー画像に関しては、別途どのような方法で作成してもよい。また、カラー画像に関しては、画素Ｃだけでなく、画素Ｄの情報を用いてもよい。画素Ｄは、２つの光電変換部を有するが、それらを加算することで、カラー画像と同等の光学特性を持った信号値を得ることができる。

Ｓ３０２のＹズレ補正量決定処理では、演算処理部１０５は、視差に対するＹズレの変化量やそこから算出される補正量に関して、画素Ｃに相当する画素位置に関しては保存しておく必要はない。また、Ｙズレ量を画素単位で保存する場合には、Ｘ方向とＹ方向で画素単位における長さが異なることは考慮する必要がある。

Ｓ３０３の画像変形処理は、２行毎に０．５画素視差方向（Ｘ方向）にずれた構成から視差方向の画素密度を倍にするための、画素ＤのＹ方向の２画素を用いた補間処理と同時に行うこともできる。Ｓ３０２で決定された補正量に従って画素Ｄの補間処理の重みを変えることで、同時の処理が可能となる。補間処理そのものは、第１の実施形態と同様である。また、既に画素Ｄが存在する画素位置に関しても、補正量に従って補間処理が行われる。例えば、６行目の画素Ｄの補正量がＹ軸の正方向であった場合、２行目の画素Ｄ（視差（Ｘ）方向は同じ位置）との補間処理により、画像変形処理が行われる。もし補正量が負方向であれば、１０行目の画素Ｄを用いて画像変形処理が行われる。

第１の実施形態でも説明したが、参照画像だけでなく基準画像についても画像変形処理を行った方が、補間誤差による影響を低減できる。基準画像及び参照画像のいずれも画像変形処理を行う場合、それぞれの補正量には自由度が存在する。

図９は、補正量Ｚに対する、基準画像及び参照画像それぞれの補正量を示す概念図である。補正量Ｚは、基準画像に対する参照画像のトータルの相対的な補正量である。基準画像補正量Ｚａ及び参照画像補正量Ｚｂは、下記の式（３）を満たすように決定される。

Ｚ＝Ｚｂ－Ｚａ ・・・（３）

像補正量Ｚａ及び参照画像補正量Ｚｂの決定については、式（３）の制約を満たしつつ、補間誤差影響が最も小さくなるように決定することが望ましい。一例として、補正量Ｚの半分の位置を０として、そこからの差分をＴとする。Ｔを基準位置とすると、Ｚａ及びＺｂは、以下の式（４）及び式（５）に従って決定することができる。

Ｚａ＝Ｔ－Ｚ／２ ・・・（４）
Ｚｂ＝Ｔ＋Ｚ／２ ・・・（５）

基準位置Ｔの値は、補間誤差影響が最も小さくなるように決定される。例えば、予め複数の基準位置Ｔに関して計算を行い、補間誤差影響が最も小さくなる値を最終的な基準位置Ｔとして選択するなど、任意の決定方法を用いることができる。

例えば、第１の実施形態の場合には、基準画像及び参照画像が同じ量だけ反対側に移動するように補正量を設定することで補間誤差が同等となるため、補間誤差影響が最小となるＴの値は０となる。図８の配列では、図８の状態の画素間隔を１画素と換算した場合、補間誤差影響が最小となるＴの値は±０．５画素となる。

このように、演算処理部１０５は、補間誤差影響（基準画像の補正誤差と参照画像の補正誤差との差）を低減するように、基準画像の補正量及び参照画像の補正量を決定する。画素配列が変わることによって、基準画像と参照画像の補正量の関係の最適解は変化する。

Ｓ３０４以降の処理は、入力の画素数に対して、基準画像及び参照画像の画素数がＸ方向に倍、Ｙ方向に１／４となっていること以外は、第１の実施形態と同様である。

また、図８の例では、カラー画素と測距画素を行毎（視差方向に対して垂直方向に交互になっている方向）に分ける構成、及び交互に０．５画素ずらした構成の両方を含んだ構成に関して説明した。しかしながら、これら２つの構成のうちのいずれか一方の構成だけを持つ撮像素子の場合にも、同様に最適な画像変形処理を実現することができる。

以上説明したように、第２の実施形態によれば、視差検出装置１００は、補間誤差影響（基準画像の補正誤差と参照画像の補正誤差との差）を低減するように、基準画像の補正量及び参照画像の補正量を決定する。これにより、画像間の相関に基づく視差量検出の精度を向上させることが可能となる。また、図８に示す撮像素子の構造を用いる場合には、より高精度な測距を行うことが可能となる。

［その他の実施形態］
視差画像を取得するための撮像装置として、２つ以上の複数の光学系とそれに対応する撮像素子から構成されたステレオカメラを用いることもできる。この構成は、基線長の設計自由度が向上し、測距分解能が向上する観点から優れている。

制御部１０１は、視差検出装置１００内に備えられたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて構成することができる。この構成は、視差検出装置１００の小型化の観点から優れている。

上述の実施形態と被写体にパターンを照射する投影装置とを組み合わせることで、より高精度な測距を行うことができる。例えば、縦線チャートやランダムドットパターンを投影することで、被写体にテクスチャがない領域でも測距が可能となる。縦線チャートの場合は、Ｙズレ量が発生していても視差誤差への影響は少ない。しかし、画像が歪曲している場合や投影装置と撮像装置が正しく校正できていない場合には影響が生じるため、Ｙズレの補正が必要となる。

上述した実施形態において視差量を算出することで、合焦位置近傍の被写体を画像から切り出すなどの処理を施すことができる。デジタルカメラにおいて、得られた視差量を結像光学系１０３や撮像素子１０４にフィードバックし、例えばより高精度なＡｕｔｏ Ｆｏｃｕｓ機能に活用することができる。不図示の光学系コントロール部及び撮像素子コントロール部又はいずれか一方で任意の画角における補正距離に応じた移動量を計算し、光学系内のフォーカスユニット駆動部及び撮像素子駆動部のいずれか一方により、光学系又は撮像素子が移動する。より高精度な視差値を得ることができるため、１回のフィードバックでより正確にピントを合わせることができる。視差量から算出した距離情報を用いて、高精度な被写界情報を取得できるため、不図示のストロボを用いて、最適なストロボ撮影を行うこともできる。

また、自律的に行動計画を作成可能なロボットや自動車が外部環境を認識するための情報取得のために、上述した実施形態を活用することができる。得られた距離情報を用いて、不図示の外部環境認識部で外部環境認識データに変換する。不図示の行動計画作成部で外部環境認識データと事前に与えてある目的に応じた行動計画を作成する。行動計画に応じて、アクチュエータを制御する不図示のアクチュエータ制御部と不図示のアクチュエータにより自律移動を実現する。アクチュエータには、原動機、電気モータ、タイヤ、脚機構が含まれる。デジタルカメラは、誤差を低減した距離情報を取得できるため、外部環境をより安定して認識することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…視差検出装置、１０１…制御部、１０３…結像光学系、１０４…撮像素子、１０５…演算処理部、１０６…メモリ

Claims (20)

1. 第１の方向において相互に異なる視点を持つ第１の視点画像及び第２の視点画像を取得する第１の取得手段と、
   撮影範囲の同じ位置に対応する前記第１の視点画像及び前記第２の視点画像の位置間の、デフォーカス量に応じた前記第１の方向における視差量に応じて変動する、前記第１の方向に直交する第２の方向における前記位置間のズレ量を特定するズレ情報を取得する第２の取得手段と、
   前記第１の視点画像において視差量検出の基準位置に対応する基準領域を選択する選択手段と、
   前記第２の視点画像の複数の参照位置に対応する複数の参照領域それぞれについて相関算出処理を行う算出手段であって、前記相関算出処理は、前記基準位置と前記参照位置との間の前記第１の方向における視差量に応じた前記基準位置と前記参照位置との間の前記第２の方向におけるズレを低減するように、前記ズレ情報に基づいて前記基準領域及び前記参照領域の少なくとも一方の前記第２の方向における位置を補正する第１の補正処理と、前記第１の補正処理が反映された前記基準領域と前記参照領域との間の相関を算出する算出処理とを含む、算出手段と、
   前記基準領域と前記複数の参照領域それぞれとの間の前記相関に基づいて、前記基準位置の前記第１の方向における視差量を検出する検出手段と、
   を備えることを特徴とする視差検出装置。
2. 前記第１の補正処理において、補正対象領域である前記基準領域又は前記参照領域の補正後の画素位置が、前記補正対象領域を含む前記第１の視点画像又は前記第２の視点画像の画素位置からずれている場合、前記算出手段は、前記補正対象領域の補正後の画素値を補間演算により算出する
   ことを特徴とする請求項１に記載の視差検出装置。
3. 前記補間演算は、前記第２の方向において連続する複数の画素値に基づく、
   ことを特徴とする請求項２に記載の視差検出装置。
4. 前記補間演算は、線形な補間演算である
   ことを特徴とする請求項３に記載の視差検出装置。
5. 前記補間演算は、前記第２の方向において連続する２つの画素値に基づく線形な補間演算であり、
   前記視差検出装置は、前記第１の視点画像及び前記第２の視点画像のうちの少なくとも一方について、前記第２の方向において連続する２つの画素値の複数の組合せそれぞれについて、当該２つの画素値の差である画素差分値を算出して記録手段に記録するように制御する制御手段を更に備え、
   前記第１の補正処理において、前記記録手段に記録されている前記画素差分値に対応する２つの画素値に基づく線形な補間演算を行う場合には、前記算出手段は、当該画素差分値を用いて当該線形な補間演算を行う
   ことを特徴とする請求項２に記載の視差検出装置。
6. 前記撮影範囲の同じ位置に対応する前記第１の視点画像及び前記第２の視点画像の位置間の前記第１の方向における視差量が特定の視差量の場合における前記位置間の前記第２の方向におけるズレを低減するように、前記ズレ情報に基づいて前記第１の視点画像及び前記第２の視点画像の少なくとも一方の前記第２の方向における位置を補正する第２の補正処理を行う補正手段を更に備え、
   前記算出手段は、前記ズレ情報及び前記第２の補正処理の補正量に基づいて、前記第１の補正処理のための補正量を決定する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の視差検出装置。
7. 前記特定の視差量は０である
   ことを特徴とする請求項６に記載の視差検出装置。
8. 前記補正手段は、前記撮影範囲における、前記第１の方向における視差量の発生頻度に基づいて、前記特定の視差量を決定する
   ことを特徴とする請求項６に記載の視差検出装置。
9. 前記第２の補正処理において、補正対象画像である前記第１の視点画像又は前記第２の視点画像の補正後の画素位置が、補正前の前記補正対象画像の画素位置からずれている場合、前記補正手段は、前記補正対象画像の補正後の画素値を補間演算により算出する
   ことを特徴とする請求項６乃至８のいずれか１項に記載の視差検出装置。
10. 前記補正手段は、前記撮影範囲の同じ位置に対応する前記第１の視点画像及び前記第２の視点画像の位置間の前記第１の方向における視差量が前記特定の視差量の場合における前記位置間の前記第２の方向におけるズレ量が０になるように、前記第２の補正処理における前記第１の視点画像の補正量及び前記第２の視点画像の補正量を決定する
    ことを特徴とする請求項６乃至９のいずれか１項に記載の視差検出装置。
11. 前記補正手段は、前記第１の視点画像及び前記第２の視点画像の撮像に用いられた撮像素子の画素配列に基づき、前記第１の視点画像の補正誤差と前記第２の視点画像の補正誤差との差を低減するように、前記第２の補正処理における前記第１の視点画像の前記補正量及び前記第２の視点画像の前記補正量を決定する
    ことを特徴とする請求項１０に記載の視差検出装置。
12. 前記算出処理において、前記算出手段は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、又は正規化相互相関に基づいて、前記基準領域と前記参照領域との間の相関を算出する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の視差検出装置。
13. 前記ズレ情報は、前記第１の方向における視差量を横軸としズレ量を縦軸とするグラフにおける傾き及び切片を示す情報を含む
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の視差検出装置。
14. 前記第２の取得手段は、前記第１の視点画像と前記第２の視点画像との間で二次元探索を行うことにより、前記第１の方向における視差量に応じて変動する前記ズレ量を特定して前記ズレ情報を取得する
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の視差検出装置。
15. 前記第２の取得手段は、所定のタイミングで前記ズレ情報を更新する
    ことを特徴とする請求項１４に記載の視差検出装置。
16. 前記ズレ情報は、前記第１の方向における視差量を横軸としズレ量を縦軸とするグラフにおける傾き及び切片を示す情報を含み、
    前記第２の取得手段は、前記第１の視点画像と前記第２の視点画像との間で二次元探索を行うことにより、前記第１の方向における視差量に応じて変動する前記ズレ量を特定して前記ズレ情報を取得し、
    前記第２の取得手段は、所定のタイミングで前記ズレ情報の前記切片を更新する
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の視差検出装置。
17. 前記検出手段は、前記検出した前記第１の方向における視差量に基づいて前記基準位置における被写体距離を算出する
    ことを特徴とする請求項１乃至１６のいずれか１項に記載の視差検出装置。
18. 請求項１乃至１７のいずれか１項に記載の視差検出装置と、
    前記第１の視点画像及び前記第２の視点画像を生成する撮像手段と、
    を備えることを特徴とする撮像装置。
19. 視差検出装置が実行する視差検出方法であって、
    第１の方向において相互に異なる視点を持つ第１の視点画像及び第２の視点画像を取得する第１の取得工程と、
    撮影範囲の同じ位置に対応する前記第１の視点画像及び前記第２の視点画像の位置間の、デフォーカス量に応じた前記第１の方向における視差量に応じて変動する、前記第１の方向に直交する第２の方向における前記位置間のズレ量を特定するズレ情報を取得する第２の取得工程と、
    前記第１の視点画像において視差量検出の基準位置に対応する基準領域を選択する選択工程と、
    前記第２の視点画像の複数の参照位置に対応する複数の参照領域それぞれについて相関算出処理を行う算出工程であって、前記相関算出処理は、前記基準位置と前記参照位置との間の前記第１の方向における視差量に応じた前記基準位置と前記参照位置との間の前記第２の方向におけるズレを低減するように、前記ズレ情報に基づいて前記基準領域及び前記参照領域の少なくとも一方の前記第２の方向における位置を補正する第１の補正処理と、前記第１の補正処理が反映された前記基準領域と前記参照領域との間の相関を算出する算出処理とを含む、算出工程と、
    前記基準領域と前記複数の参照領域それぞれとの間の前記相関に基づいて、前記基準位置の前記第１の方向における視差量を検出する検出工程と、
    を備えることを特徴とする視差検出方法。
20. コンピュータを、請求項１乃至１７のいずれか１項に記載の視差検出装置の各手段として機能させるためのプログラム。

Images