WO2023058348A1

WO2023058348A1 - 撮像装置及び視差ずれ補正方法

Info

Publication number: WO2023058348A1
Application number: PCT/JP2022/031763
Authority: WO
Inventors: 直也多田; 真穂堀永; 裕史大塚
Original assignee: 日立Astemo株式会社
Priority date: 2021-10-05
Filing date: 2022-08-23
Publication date: 2023-04-13
Also published as: JP2023055094A

Abstract

撮像装置１０は、一定距離離れた位置に配置された第１撮像部１１及び第２撮像部１２、第１撮像部１１により撮像された第１パターン２１の画像と第２撮像部１２により撮像された第１パターン２１の画像とに基づいて第１視差を算出する第１視差算出部１３、第１撮像部１１により撮像された第１パターン２１の画像と第２撮像部１２により撮像された第２パターン２２の画像とに基づいて第２視差を算出する第２視差算出部１４、及び、第１視差と第２視差とに基づいて第１撮像部１１と第２撮像部１２との間の視差ずれを補正する補正部１５を備える。

Description

撮像装置及び視差ずれ補正方法

　本発明は、撮像装置及び視差ずれ補正方法に関する。
　本願は、２０２１年１０月５日に出願された日本国特願２０２１－１６４２１７号に基づき優先権を主張し、その内容をここに援用する。

　撮像装置として、例えば車両に搭載された車載ステレオカメラが知られている。車載ステレオカメラは、それに対応したキャリブレーションパラメータによって画像処理を行い、視差画像を取得し、取得した視差画像を用いて被写体までの距離を計測することができるので、衝突被害軽減ブレーキ機能などの運転支援システムに広く用いられている。

　車載ステレオカメラは、フロントガラス越しに車両の周囲を撮像できるように車室内に設置されるので、フロントガラスの歪みの影響を受けて視差のずれが生じてしまう。この視差ずれがあると、被写体までの距離を正しく計測できず、運転支援システムが正しく動作しない可能性がある。このため、正確な視差画像を生成するために、ステレオカメラを車両に搭載した後に光軸をキャリブレーションする（言い換えれば、視差ずれを補正する）必要がある。キャリブレーションには、大別して２種類に分けられ、１つは、チャートをステレオカメラの前方に設置し、静的な環境で実施するキャリブレーションである。もう１つは、公道を走行中などの動的な環境で実施するキャリブレーションである。

　静的な環境で実施するキャリブレーションは、車両の前方（すなわち、ステレオカメラの前方）にチャートを設置し、チャートの設置距離から計算した視差の理想値とステレオカメラで撮像した視差画像の値との差分を補正することで、正しい視差値を取得する。それに関する技術として、例えば特許文献１には、車両の前方に配置したチャートに対し、フロントガラスのある状態とフロントガラスのない状態とで撮像した画像を比較することで、フロントガラスの歪みに起因する視差ずれを正しく補正する方法が開示されている。

特開２０１５－１６９５８３号公報

　しかし、チャートの設置距離（すなわち、ステレオカメラからチャートまでの距離）に誤差があった場合（言い換えれば、チャートの設置ずれがあった場合）、上記の補正方法では視差ずれを正しく補正することができなくなる問題が生じる。

　本発明は、このような技術課題を解決するためになされたものであって、チャートの設置ずれがあった場合においても、視差ずれを正しく補正できる撮像装置及び視差ずれ補正方法を提供することを目的とする。

　本発明に係る撮像装置は、既知距離に配置されるとともに第１パターン及び第２パターンを有するチャートを撮像し、視差ずれの補正を行う撮像装置であって、第１撮像部と、前記第１撮像部から一定距離離れた位置に配置された第２撮像部と、前記第１撮像部により撮像された前記第１パターンの画像と前記第２撮像部により撮像された前記第１パターンの画像とに基づいて、第１視差を算出する第１視差算出部と、前記第１撮像部により撮像された前記第１パターンの画像と前記第２撮像部により撮像された前記第２パターンの画像とに基づいて、第２視差を算出する第２視差算出部と、前記第１視差算出部により算出された第１視差と前記第２視差算出部により算出された第２視差とに基づいて、前記第１撮像部と前記第２撮像部との間の視差ずれを補正する補正部と、を備えることを特徴としている。

　本発明に係る撮像装置では、補正部は第１視差算出部により算出された第１視差と第２視差算出部により算出された第２視差とに基づいて第１撮像部と第２撮像部との間の視差ずれを補正するので、仮にチャートの設置ずれがあった場合であっても、チャートの設置ずれによる影響を受けずに視差ずれを補正することが可能である。その結果、チャートの設置ずれがあった場合においても、視差ずれを正しく補正することができる。

　本発明によれば、チャートの設置ずれがあった場合においても、視差ずれを正しく補正することができる。

ステレオカメラの測距原理を説明するための図である。実施形態に係る撮像装置を示すブロック図である。視差ずれの補正に用いられるチャートの一例を示す図である。撮像装置を用いた視差ずれ補正方法を示す工程図である。第１視差の算出を説明するためのイメージ図である。第２視差の算出を説明するためのイメージ図である。視差ずれ量とチャートの設置ずれ量との関係を示す図である。

　以下、図面を参照して本発明に係る撮像装置及び視差ずれ補正方法の実施形態について説明する。以下の説明において、左右の方向及び位置、水平方向及び水平位置は、撮像装置が搭載された車両から見たものとする。

　本実施形態の撮像装置１０は、例えば自動車の車室内に配置されたステレオカメラを備えるものであって、一定距離離れた状態で配置された左右一対のカメラでフロントガラス越しに車両前方の認識物体を撮像し、撮像した画像に基づき認識物体までの距離を測定するための装置である。ここで、図１を基にステレオカメラの測距原理を説明する。

　図１に示すように、ステレオカメラを構成する左右一対のカメラの間の距離（いわゆる基線長）をＢ（ｍｍ）、左右一対のカメラのレンズの焦点距離をｆ（ｍｍ）、撮像素子（例えばＣＭＯＳ素子）の画素ピッチをδ（ｍｍ／ｐｉｘｅｌ）、撮影画像中心の水平位置をそれぞれｃｘ（ｐｉｘｅｌ）、カメラ前方にある認識物体（すなわち、被写体）Ｐ（Ｘ，Ｚ）を一対のカメラのそれぞれのＣＭＯＳ面に投影したときの水平位置をｘｌ（ｐｉｘｅｌ）、ｘｒ（ｐｉｘｅｌ）としたとき、ｘｌ及びｘｒはそれぞれ以下の式で表すことができる。

　左右の投影位置の差分（ｘｌ－ｘｒ）を視差ｄ（ｐｉｘｅｌ）と呼ぶ。従って、視差ｄは以下の式（３）で求めることができる。

　そして、認識物体Ｐまでの距離Ｚ（ｍｍ）は以下の式（４）で算出することができる。

　図２は実施形態に係る撮像装置を示すブロック図である。本実施形態の撮像装置１０は、左右一対の撮像部（第１撮像部１１、第２撮像部１２）、第１視差算出部１３、第２視差算出部１４、及び補正部１５を備えている。第１撮像部１１と第２撮像部１２は、水平方向に基線長の距離だけ離れて配置されており、ＣＭＯＳ素子などの撮像素子によりそれぞれ構成されている。

　第１視差算出部１３は、第１撮像部１１により撮像された画像と第２撮像部により撮像された画像とに基づいて、第１視差を算出する。具体的には、第１視差算出部１３は、第１撮像部１１により撮像された画像を基準画像とし、濃淡変化がある特徴点を抽出する。次に、第１視差算出部１３は、抽出した特徴点に対し、もう一方の第２撮像部１２により撮像された画像を参照画像としつつ、該参照画像において同一被写体の映り込んだ位置を探索する。探索には、例えばＳＡＤ(Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ)などのテンプレートマッチングを利用することができる。そして、第１視差算出部１３は、抽出した特徴点と参照画像上の映り込んだ位置との差分を第１視差として算出する。

　第２視差算出部１４は、第１撮像部１１により撮像された画像と第２撮像部１２により撮像された画像とに基づいて、第２視差を算出する。具体的には、第２視差算出部１４は、第１撮像部１１により撮像された画像を基準画像とし、濃淡変化がある特徴点を抽出する。次に、第２視差算出部１４は、抽出した特徴点に対し、もう一方の第２撮像部１２により撮像された画像を参照画像としつつ、該参照画像において、例えば同一模様の別の位置にある被写体の映り込んだ位置を探索する。探索には、例えばＳＡＤなどのテンプレートマッチングを利用することができる。そして、第２視差算出部１４は、抽出した特徴点と参照画像上の映り込んだ位置との差分を第２視差として算出する。

　補正部１５は、第１視差算出部１３により算出された第１視差と第２視差算出部１４により算出された第２視差とに基づいて、第１撮像部１１と第２撮像部１２との間の視差ずれを補正する。

　このような構造を有する撮像装置１０は、既知距離に配置されるとともに第１パターン及び第２パターンを有するチャートに対し、第１撮像部１１及び第２撮像部１２でチャートを撮像し、撮像した画像に基づいて、基線長方向（すなわち、左右方向）における第１撮像部１１と第２撮像部１２との間の視差ずれの補正を行う。

　図３は視差ずれの補正に用いられるチャートの一例を示す図である。図３において、左側はチャートの平面図、右側はチャートの正面図である。図３に示すように、チャート２０は、例えば一定の厚さを有する平板であり、撮像装置１０から既知距離Ｚから離れた位置に設置されている。そして、チャート２０の設置ずれがない場合、撮像装置１０に対するチャート２０の設置距離（すなわち、撮像装置１０からチャート２０までの距離）は既知距離Ｚと等しい。

　チャート２０の撮像装置１０に面する主面には、所定のパターン（ここでは、市松模様）が設けられている。ここで、隣接する黒の正方形同士をそれぞれ第１パターン２１と第２パターン２２とし、水平方向における第１パターン２１と第２パターン２２との距離をΔＸとする。なお、チャート２０に設けられたパターンは、市松模様に限らず、特徴点を検出できるものであれば良く、円形などであってもよい。

　以下、図４を基に撮像装置１０を用いた視差ずれ補正方法を説明する。本実施形態の視差ずれ補正方法は、チャート撮像ステップＳ１、第１視差算出ステップＳ２、第２視差算出ステップＳ３、設置ずれ量算出ステップＳ４、設置距離算出ステップＳ５、及び視差ずれ補正ステップＳ６を含む。なお、設置ずれ量算出ステップＳ４、設置距離算出ステップＳ５、及び視差ずれ補正ステップＳ６は、特許請求の範囲に記載の「補正ステップ」を構成する。

　チャート撮像ステップＳ１では、第１撮像部１１及び第２撮像部１２は、撮像装置１０の前方に設置されたチャート２０を撮像する。

　第１視差算出ステップＳ２では、第１視差算出部１３は、第１撮像部１１により撮像された第１パターン２１の画像と第２撮像部１２により撮像された第１パターン２１の画像とに基づいて、第１視差を算出する。

　このとき、第１視差算出部１３は、第１撮像部１１により撮像された第１パターン２１の画像を基準画像、第２撮像部１２により撮像された第１パターン２１の画像を参照画像とし、テンプレートマッチングにより第１視差を算出する。具体的には、第１視差算出部１３は図５に示すように、基線長方向（すなわち、左右方向）における、第１撮像部１１により撮像された画像上の第１パターン２１の位置と第２撮像部１２により撮像された画像上の第１パターン２１の位置との差分を第１視差として算出する。

　第２視差算出ステップＳ３では、第２視差算出部１４は、第１撮像部１１により撮像された第１パターン２１の画像と第２撮像部１２により撮像された第２パターン２２の画像とに基づいて、第２視差を算出する。すなわち、第２視差算出部１４は、第１視差算出部１３と異なって、視差の算出に異なるパターンの撮像画像を用いる。

　図３に示すように第１パターン２１及び第２パターン２２が同一模様であるため、このとき、第２視差算出部１４は、第１撮像部１１により撮像された第１パターン２１の画像を基準画像、第２撮像部１２により撮像された第２パターン２２の画像を参照画像とし、テンプレートマッチングにより第２視差を算出する。

　具体的には、第２視差算出部１４は図６に示すように、基線長方向（すなわち、左右方向）における、第１撮像部１１により撮像された画像上の第１パターン２１の位置と第２撮像部１２により撮像された画像上の第２パターン２２の位置との差分を第２視差として算出する。第２視差を算出する際、上記式（２）は式（５）となり、上記式（３）は式（６）となる。そして、式（６）より、第２視差は基線長（Ｂ＋ΔＸ）の視差（言い換えれば、基線長をΔＸずらしたときの視差）となることが分かる。

　上述のように、ΔＸは、チャート内における第１パターン２１と第２パターン２２との間の距離である。テンプレートマッチングにより第２視差を算出するため、検出誤差が乗ってしまう。この検出誤差の影響を軽減する観点から、ΔＸの値は大きい方が望ましい。

　設置ずれ量算出ステップＳ４では、補正部１５は、第１視差及び第２視差を用いてチャート２０の設置ずれ量を算出する。上記式（３）に対し、例えばチャート２０の設置距離に設置ずれ量ΔＺが発生した場合、下記式（７）に示すように、視差ずれ量Δｄが生じる。

　チャート２０の設置距離が一定値（例えば既知距離Ｚ）である場合、チャート２０の設置ずれ量（ΔＺ）と、第１撮像部１１と第２撮像部１２との視差ずれ量（Δｄ）との関係は図７に示す通りとなる。図７は、視差ずれ量とチャートの設置ずれ量との関係を示す図である。図７において、横軸にチャート２０の設置ずれ量、縦軸に第１撮像部１１と第２撮像部１２との視差ずれ量をそれぞれ示す。

　図７に示すように、設置ずれ量が同一である場合に、基線長Ｂと基線長（Ｂ＋ΔＸ）で比較すると、基線長の長さに応じて視差ずれ量が異なることが分かる。図７中の差分Ｄとは、基線長（Ｂ＋ΔＸ）と基線長Ｂの差分によるものであって、差分Ｄの値の大きさは、設置ずれ量毎に異なる値となる。そこで、第１視差及び第２視差を用いて差分Ｄを算出し、算出した差分Ｄに基づいて設置ずれ量を求めることができる。そして、チャート２０の設置距離を一定値（すなわち、既知距離）として決まっている場合、差分Ｄの値を入力値として設置ずれ量が出力値となるように、変換テーブル又は一次近似式を予め設定することで、設置ずれ量を容易に求めることができる。

　差分Ｄは、基線長がＢである場合の視差ずれ量（以下、単に「基線長Ｂの視差ずれ量」という）と基線長が（Ｂ＋ΔＸ）である場合の視差ずれ量（以下、単に「基線長（Ｂ＋ΔＸ）の視差ずれ量」という）との差である。基線長Ｂの視差ずれ量は、チャート２０の設置距離（既知距離）を式（３）に代入して得られた視差と、ステップＳ２で算出された第１視差（言い換えれば、第１視差算出部１３により算出された第１視差（図５参照））との差である。一方、基線長（Ｂ＋ΔＸ）の視差ずれ量は、チャート２０の設置距離（既知距離）を式（６）に代入して得られた視差と、ステップＳ３で算出された第２視差（言い換えれば、第２視差算出部１４により算出された第２視差（図６参照））との差である。

　そして、差分Ｄが分かれば、補正部１５は上述したように、該差分Ｄに基づき、図７に示す設置ずれ量と視差ずれ量との関係、又は予め設定された変換テーブル若しくは一次近似式を利用し、チャート２０の設置ずれ量を算出する。

　設置距離算出ステップＳ５では、補正部１５は、チャート２０の設置距離を算出する。具体的には、補正部１５は、チャート２０の設置距離（既知距離）にステップＳ４で算出された設置ずれ量を加味することで、チャート２０の設置距離を算出する。

　視差ずれ補正ステップＳ６では、補正部１５は、まず、ステップＳ５で算出されたチャート２０の設置距離と上記式（４）とに基づいて、設置ずれ量を加味した設置距離時の理想視差を算出する。続いて、補正部１５は、算出した理想視差とステップＳ２で算出された第１視差とに基づいて、第１撮像部１１と第２撮像部１２との間の視差ずれ量を算出する。続いて、補正部１５は、算出した視差ずれ量に基づいて、第１撮像部１１と第２撮像部１２との間の視差ずれを補正する。

　本実施形態の撮像装置１０では、補正部１５は第１視差算出部１３により算出された第１視差と第２視差算出部１４により算出された第２視差とに基づいて第１撮像部１１と第２撮像部１２との間の視差ずれを補正するので、仮にチャート２０の設置ずれがあった場合であっても、チャート２０の設置ずれによる影響を受けずに視差ずれを補正することが可能である。その結果、チャート２０の設置ずれがあった場合においても、視差ずれを正しく補正することができる。

　また、撮像装置１０を用いた視差ずれ補正方法によれば、チャート２０の設置ずれがあった場合においても、視差ずれを正しく補正することができる。

　なお、上述のステップＳ３において、第１パターン２１と第２パターン２２とが同一模様である例を説明したが、第１パターン２１と第２パターン２２とは異なる模様であってもよい。第１パターン２１と第２パターン２２とが異なる模様である場合、第２視差算出部１４は、まず、予め用意された第１パターン２１のテンプレート画像を基準画像、第１撮像部１１により撮像された第１パターン２１の画像を参照画像とし、テンプレートマッチングにより第１パターン２１の画像上の位置（例えば座標位置）を検出する。続いて、第２視差算出部１４は、予め用意された第２パターン２２のテンプレート画像を基準画像、第２撮像部１２により撮像された第２パターン２２の画像を参照画像とし、テンプレートマッチングにより第２パターン２２の画像上の位置（例えば座標位置）を検出する。続いて、第２視差算出部１４は、検出した第１パターン２１の画像上の位置と検出した第２パターン２２の画像上の位置との差分を第２視差として算出する。このようにすれば、異なる模様を有する第１パターン２１及び第２パターン２２を用いて第２視差を算出することができる。

　また、上記の実施形態において、撮像装置１０が車室内に配置されてフロントガラス越しにチャート２０を撮像する例を挙げて説明したが、撮像装置１０は、フロントガラスなどの透明体を介さない状態でチャート２０を撮像する場合にも適用することができる。

　また、上記の実施形態において、補正部１５が第１撮像部１１と第２撮像部１２との間の視差ずれ量を算出したとき、撮像装置１０は、その視差ずれ量をオペレーターに知らせるための報知機能を更に有するように構成されてもよい。

　以上、本発明の実施形態について詳述したが、本発明は、上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。

１０：撮像装置、１１：第１撮像部、１２：第２撮像部、１３：第１視差算出部、１４：第２視差算出部、１５：補正部、２０：チャート、２１：第１パターン、２２：第２パターン

Claims

　既知距離に配置されるとともに第１パターン及び第２パターンを有するチャートを撮像し、視差ずれの補正を行う撮像装置であって、
　第１撮像部と、
　前記第１撮像部から一定距離離れた位置に配置された第２撮像部と、
　前記第１撮像部により撮像された前記第１パターンの画像と前記第２撮像部により撮像された前記第１パターンの画像とに基づいて、第１視差を算出する第１視差算出部と、
　前記第１撮像部により撮像された前記第１パターンの画像と前記第２撮像部により撮像された前記第２パターンの画像とに基づいて、第２視差を算出する第２視差算出部と、
　前記第１視差算出部により算出された第１視差と前記第２視差算出部により算出された第２視差とに基づいて、前記第１撮像部と前記第２撮像部との間の視差ずれを補正する補正部と、
を備えることを特徴とする撮像装置。
　前記補正部は、前記第１視差算出部により算出された第１視差と、前記第２視差算出部により算出された第２視差と、前記既知距離に基づいて算出された視差とに基づいて前記チャートの設置ずれ量を算出し、算出した前記チャートの設置ずれ量と前記既知距離とに基づいて前記チャートの設置距離を算出し、算出した前記チャートの設置距離に基づいて前記第１撮像部と前記第２撮像部との間の視差ずれを補正する請求項１に記載の撮像装置。
　前記補正部は、前記第１視差算出部により算出された第１視差と、前記第２視差算出部により算出された第２視差と、前記既知距離に基づいて算出された視差とに基づいて視差ずれ量の差分を算出し、算出した視差ずれ量の差分と予め設定された視差ずれ量とチャートの設置ずれ量との関係とに基づいて、前記チャートの設置ずれ量を算出する請求項２に記載の撮像装置。
　前記補正部は、算出した前記チャートの設置距離と、前記第１視差算出部により算出された第１視差とに基づいて、前記第１撮像部と前記第２撮像部との間の視差ずれ量を算出し、算出した視差ずれ量に基づいて前記第１撮像部と前記第２撮像部との間の視差ずれを補正する請求項２に記載の撮像装置。
　前記第１視差算出部は、前記第１撮像部により撮像された前記第１パターンの画像を基準画像、前記第２撮像部により撮像された前記第１パターンの画像を参照画像とし、テンプレートマッチングにより前記第１視差を算出する請求項１に記載の撮像装置。
　前記第１パターンと前記第２パターンとが同一模様である場合、
　前記第２視差算出部は、前記第１撮像部により撮像された前記第１パターンの画像を基準画像、前記第２撮像部により撮像された前記第２パターンの画像を参照画像とし、テンプレートマッチングにより前記第２視差を算出する請求項１に記載の撮像装置。
　前記第１パターンと前記第２パターンとが異なる模様である場合、
　前記第２視差算出部は、
　予め用意された前記第１パターンのテンプレート画像を基準画像、前記第１撮像部により撮像された前記第１パターンの画像を参照画像とし、テンプレートマッチングにより前記第１パターンの画像上の位置を検出し、
　予め用意された前記第２パターンのテンプレート画像を基準画像、前記第２撮像部により撮像された前記第２パターンの画像を参照画像とし、テンプレートマッチングにより前記第２パターンの画像上の位置を検出し、
　検出した前記第１パターンの画像上の位置と検出した前記第２パターンの画像上の位置との差分を前記第２視差として算出する請求項１に記載の撮像装置。
　既知距離に配置されるとともに第１パターン及び第２パターンを有するチャートを用いて、撮像装置の視差ずれを補正する視差ずれ補正方法であって、
　前記撮像装置に一定距離離れた位置に配置された第１撮像部及び第２撮像部を用いて前記チャートを撮像するチャート撮像ステップと、
　前記第１撮像部により撮像された前記第１パターンの画像と前記第２撮像部により撮像された前記第１パターンの画像とに基づいて、第１視差を算出する第１視差算出ステップと、
　前記第１撮像部により撮像された前記第１パターンの画像と前記第２撮像部により撮像された前記第２パターンの画像とに基づいて、第２視差を算出する第２視差算出ステップと、
　前記第１視差算出ステップで算出された第１視差と前記第２視差算出ステップで算出された第２視差とに基づいて、前記第１撮像部と前記第２撮像部との間の視差ずれを補正する補正ステップと、
を含むことを特徴とする視差ずれ補正方法。
　前記補正ステップは、
　前記第１視差算出ステップで算出された第１視差と、前記第２視差算出ステップで算出された第２視差と、前記既知距離に基づいて算出された視差とに基づいて、前記チャートの設置ずれ量を算出する設置ずれ量算出ステップと、
　前記設置ずれ量算出ステップで算出された前記チャートの設置ずれ量と前記既知距離とに基づいて、前記チャートの設置距離を算出する設置距離算出ステップと、
　前記設置距離算出ステップで算出された前記チャートの設置距離に基づいて、前記第１撮像部と前記第２撮像部との間の視差ずれを補正する視差ずれ補正ステップと、
を有する請求項８に記載の視差ずれ補正方法。
　前記設置ずれ量算出ステップにおいて、前記第１視差算出ステップで算出された第１視差と、前記第２視差算出ステップで算出された第２視差と、前記既知距離に基づいて算出された視差とに基づいて視差ずれ量の差分を算出し、算出した視差ずれ量の差分と予め設定された視差ずれ量とチャートの設置ずれ量との関係とに基づいて、前記チャートの設置ずれ量を算出する請求項９に記載の視差ずれ補正方法。
　前記視差ずれ補正ステップにおいて、前記設置距離算出ステップで算出された前記チャートの設置距離と、前記第１視差算出ステップで算出された第１視差とに基づいて、前記第１撮像部と前記第２撮像部との間の視差ずれ量を算出し、算出した視差ずれ量に基づいて前記第１撮像部と前記第２撮像部との間の視差ずれを補正する請求項９に記載の視差ずれ補正方法。
　前記第１視差算出ステップにおいて、前記第１撮像部により撮像された前記第１パターンの画像を基準画像、前記第２撮像部により撮像された前記第１パターンの画像を参照画像とし、テンプレートマッチングにより前記第１視差を算出する請求項８に記載の視差ずれ補正方法。
　前記第１パターンと前記第２パターンとが同一模様である場合、
　前記第２視差算出ステップにおいて、前記第１撮像部により撮像された前記第１パターンの画像を基準画像、前記第２撮像部により撮像された前記第２パターンの画像を参照画像とし、テンプレートマッチングにより前記第２視差を算出する請求項８に記載の視差ずれ補正方法。
　前記第１パターンと前記第２パターンとが異なる模様である場合、
　前記第２視差算出ステップにおいて、
　予め用意された前記第１パターンのテンプレート画像を基準画像、前記第１撮像部により撮像された前記第１パターンの画像を参照画像とし、テンプレートマッチングにより前記第１パターンの画像上の位置を検出し、
　予め用意された前記第２パターンのテンプレート画像を基準画像、前記第２撮像部により撮像された前記第２パターンの画像を参照画像とし、テンプレートマッチングにより前記第２パターンの画像上の位置を検出し、
　検出した前記第１パターンの画像上の位置と検出した前記第２パターンの画像上の位置との差分を前記第２視差として算出する請求項８に記載の視差ずれ補正方法。