JP6060482B2 - 測距装置、測距システム、測距プログラムおよび視差補正方法 - Google Patents

Description

本発明は、測距装置、測距システム、測距プログラムおよび視差補正方法に関する。

ステレオカメラを利用した測距システムは、近年、様々な分野で広く利用されている。例えば、ステレオカメラを利用した測距システムを搭載した自動車、家電、デジタルカメラなどが実用化されている。

ステレオカメラは、第１レンズおよび第１撮像素子を含む第１撮像系と、第２レンズおよび第２撮像素子を含む第２撮像系とを備える。第１撮像系と第２撮像系とは、焦点距離が等しく、光軸が互いに平行である。第１撮像系と第２撮像系の光軸間の距離は、基線長と呼ばれる。

ステレオカメラを利用した測距システムでは、第１撮像系により撮像された被写体の第１画像と、第２撮像系により撮像された被写体の第２画像とに基づき、被写体までの距離を計測する。具体的には、第１画像と第２画像から、第１撮像素子における被写体の像の位置と第２撮像素子における被写体の像の位置との差分である視差を求める。そして、求めた視差と、上記の基線長と、第１撮像系および第２撮像系の焦点距離とに基づいて、三角測量の原理により被写体までの距離を計測する。

また、ステレオカメラのカメラモジュールとして、第１レンズおよび第２レンズを同一面上に一体形成したレンズアレイを備えるステレオカメラモジュールも提案されている。このレンズアレイを備えるステレオカメラモジュールは、小型化が容易で、様々な機器に搭載可能という利点を持つ一方、温度変化の影響を受けやすいという欠点がある。特にレンズアレイが樹脂により構成されている場合、温度変化によってレンズアレイが伸縮し、計測される距離に誤差が生じる。

このような問題に対し、温度センサをステレオカメラモジュールに搭載して環境温度を検出し、検出した環境温度に応じて補正を行う技術が提案されている。例えば、特許文献１には、撮像素子が実装された基板に温度センサを装着して基板の温度を検出し、検出した温度に基づいて、温度変化に伴う基線長の変化分だけ視差を補正する技術が開示されている。

また、特許文献２には、レンズアレイに温度センサを装着してレンズアレイの温度を検出し、検出した温度に基づいて基線長を補正し、補正後の基線長を用いて距離を算出する技術が開示されている。

しかし、上記の従来技術は、温度変化に応じた基線長の変化分のみを補正する技術であるため、補正が不十分であるという問題があった。すなわち、温度変化によりステレオカメラモジュールを構成する部材が伸縮すると、基線長だけでなく、レンズと撮像素子間の距離（バックフォーカス）や、レンズアレイの材質に応じた屈折率にも変化が生じ、これら基線長の変化以外の要因によっても画像が変化する。しかし、従来技術では基線長の変化分のみを補正するため、高精度な補正を行うことができない。

本発明は、上記に鑑みてなされたものであって、第１画像および第２画像の撮像時の温度に応じて、第１画像および第２画像から算出される視差を高精度に補正して、正確な距離の計測を行うことができる測距装置、測距システム、測距プログラムおよび視差正方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る測距装置は、第１レンズと第１撮像素子とを含む第１撮像系と、前記第１レンズと一体成形された第２レンズと第２撮像素子とを含む第２撮像系と、前記第１撮像素子および前記第２撮像素子とが配置された基板と、前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第１撮像系により撮像された被写体の第１画像と前記第２撮像系により撮像された前記被写体の第２画像とを入力する入力手段と、前記第１画像と前記第２画像とに基づいて、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する視差算出手段と、前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段と、前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値と、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出し、前記視差を、前記第１補正値と前記第２補正値とに基づいて補正して、補正視差を算出する視差補正手段と、前記補正視差と、伸縮のない前記基線長と、前記第１撮像系および前記第２撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段と、を備え、前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、前記第１補正値は、前記基準温度のときの伸縮のない前記基線長に前記第１温度係数を乗算した値に対して前記温度差を乗算した値であり、前記第２補正値は、前記温度差に前記第２温度係数を乗算した値に対して１を加算した値であり、前記視差補正手段は、前記視差から前記第１補正値を減算した値に対して前記第２補正値を除算した値を前記補正視差として算出することを特徴とする。

また、本発明に係る測距システムは、第１レンズと第１撮像素子とを含み、被写体の第１画像を撮像する第１撮像系と、前記第１レンズと一体成形された第２レンズと第２撮像素子とを含み、前記被写体の第２画像を撮像する第２撮像系と、前記第１撮像素子および前記第２撮像素子とが配置された基板と、前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、前記第１画像と前記第２画像とに基づいて、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する視差算出手段と、前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段と、前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値と、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出し、前記視差を、前記第１補正値と前記第２補正値とに基づいて補正して、補正視差を算出する視差補正手段と、前記補正視差と、伸縮のない前記基線長と、前記第１撮像系および前記第２撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段と、を備え、前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、前記第１補正値は、前記基準温度のときの伸縮のない前記基線長に前記第１温度係数を乗算した値に対して前記温度差を乗算した値であり、前記第２補正値は、前記温度差に前記第２温度係数を乗算した値に対して１を加算した値であり、前記視差補正手段は、前記視差から前記第１補正値を減算した値に対して前記第２補正値を除算した値を前記補正視差として算出することを特徴とする。

また、本発明に係る測距プログラムは、コンピュータに、第１レンズと第１撮像素子とを含む第１撮像系と、前記第１レンズと一体成形された第２レンズと第２撮像素子とを含む第２撮像系と、前記第１撮像素子および前記第２撮像素子とが配置された基板と、前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第１撮像系により撮像された被写体の第１画像と前記第２撮像系により撮像された前記被写体の第２画像とを入力する入力手段の機能と、前記第１画像と前記第２画像とに基づいて、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する視差算出手段の機能と、前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段の機能と、前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値と、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出し、前記視差を、前記第１補正値と前記第２補正値とに基づいて補正して、補正視差を算出する視差補正手段の機能と、前記補正視差と、伸縮のない前記基線長と、前記第１撮像系および前記第２撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段の機能と、を実現させ、前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、前記第１補正値は、前記基準温度のときの伸縮のない前記基線長に前記第１温度係数を乗算した値に対して前記温度差を乗算した値であり、前記第２補正値は、前記温度差に前記第２温度係数を乗算した値に対して１を加算した値であり、前記視差補正手段は、前記視差から前記第１補正値を減算した値に対して前記第２補正値を除算した値を前記補正視差として算出する。

また、本発明に係る視差補正方法は、第１レンズと第１撮像素子とを含む第１撮像系と、前記第１レンズと一体成形された第２レンズと第２撮像素子とを含む第２撮像系と、前記第１撮像素子および前記第２撮像素子とが配置された基板と、前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第１撮像系により撮像された被写体の第１画像と前記第２撮像系により撮像された前記被写体の第２画像とを入力し、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する装置において実行される視差補正方法であって、前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出するステップと、前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値を算出するステップと、前記温度差と、予め求めた温度係数とに基づいて、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値を算出するステップと、前記第１補正値と前記第２補正値とに基づいて、前記視差を補正して、補正視差を算出するステップと、を含み、前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、前記第１補正値は、前記基準温度のときの伸縮のない前記基線長に前記第１温度係数を乗算した値に対して前記温度差を乗算した値であり、前記第２補正値は、前記温度差に前記第２温度係数を乗算した値に対して１を加算した値であり、前記補正視差を算出するステップは、前記視差から前記第１補正値を減算した値に対して前記第２補正値を除算した値を前記補正視差として算出することを特徴とする。

本発明によれば、第１画像および第２画像の撮像時の温度に応じて、第１画像および第２画像から算出される視差を高精度に補正して、正確な距離の計測を行うことができるという効果を奏する。

図１は、ステレオカメラモジュールの一構成例を示す図である。 図２は、図１に示した構成のステレオカメラモジュールをモデル化した図である。 図３は、ある基準温度からΔｔだけ温度上昇したときのステレオカメラモジュールをモデル化した図である。 図４は、測距装置の機能的な構成を示すブロック図である。 図５は、視差補正部の演算回路の一構成を示す図である。 図６は、視差補正部の演算回路の他の構成を示す図である。 図７は、第１画像および第２画像から算出される視差と環境温度との関係を示す図である。 図８は、レンズアレイを直接測定した温度と温度センサにより測定した基板の温度との関係を示す図である。

以下に添付図面を参照して、この発明に係る測距装置、測距システム、測距プログラムおよび視差補正方法の実施の形態を詳細に説明する。

測距システムは、ステレオカメラモジュールと、測距装置と、を備える。測距装置は、ステレオカメラモジュールの２つの撮像系（第１撮像系および第２撮像系）により撮像された被写体の画像（第１画像および第２画像）に基づいて、ステレオカメラモジュールから被写体までの距離を計測する。測距装置は、ステレオカメラモジュールと一体に構成（ステレオカメラモジュールに内蔵）されていてもよいし、ステレオカメラモジュールから分離した外部装置として構成され、ステレオカメラモジュールに対して第１画像および第２画像を入力可能に接続されてもよい。以下では、測距装置をステレオカメラモジュールから分離した外部装置として構成した例について説明する。

（ステレオカメラモジュール）
まず、図１を参照してステレオカメラモジュールの構成について説明する。図１は、本実施形態に係るステレオカメラモジュール１００の一構成例を示す図であり、図１（ａ）は、ステレオカメラモジュール１００を正面側から見た正面図、図１（ｂ）は図１（ａ）のＸ−Ｘ線断面図、図１（ｃ）は、ステレオカメラモジュール１００を裏面側から見た裏面図である。

ステレオカメラモジュール１００は、鏡枠１０１により保持されたレンズアレイ１１０および基板１２０を備える。

鏡枠１０１は、例えば、樹脂またはステンレススチール（ＳＵＳ）を矩形の筒状に成形して作製される部品であり、ステレオカメラモジュール１００の側壁部を構成する。鏡枠１０１の内面には、突起１０２が立設されている。レンズアレイ１１０は、この突起１０２上に支持されている。また、基板１２０は、鏡枠１０１の端部に接合され、ステレオカメラモジュール１００の裏面を構成している。

レンズアレイ１１０は、第１レンズ１１１および第２レンズ１１２を一体成形した光学部品である。第１レンズ１１１は、後述する第１撮像素子の撮像面に被写体の像を結像させる機能を持つ。第２レンズ１１２は、後述する第２撮像素子の撮像面に被写体の像を結像させる機能を持つ。レンズアレイ１１０は、例えば、透明樹脂材を成形して作製される。レンズアレイ１１０を構成する透明樹脂材としては、例えば、ＺＥＯＮＥＸ Ｅ４８Ｒ（製品名、日本ゼオン株式会社製、ＺＥＯＮＥＸは日本ゼオン株式会社の登録商標）などが好適である。

基板１２０のレンズアレイ１１０と対向する一方の主面部には、例えばＣＭＯＳイメージセンサとして構成された第１撮像素子１２１および第２撮像素子１２２が実装されている。第１撮像素子１２１は、その撮像面の中心が第１レンズ１１１の光軸中心と一致するように、基板１２０上の位置が定められている。また、第２撮像素子１２２は、その撮像面の中心が第２レンズ１１２の光軸中心と一致するように、基板１２０上の位置が定められている。

第１撮像素子１２１および第２撮像素子１２２は、例えば、同一のシリコンウエハ上に形成されて一体に切り出された構成である。この構成により、レンズアレイ１１０として構成された第１レンズ１１１および第２レンズに対する第１撮像素子１２１および第２撮像素子１２２の位置合わせが容易となる。なお、第１撮像素子１２１と第２撮像素子１２２とを独立して形成して基板１２０に実装することも可能である。

第１レンズ１１１と第１撮像素子１２１は、被写体の第１画像を撮像する第１撮像系を構成する。また、第２レンズ１１２と第２撮像素子１２２は、被写体の第２画像を撮像する第２撮像系を構成する。第１撮像系と第２撮像系とは、焦点距離が等しく、光軸が互いに平行である。第１撮像系と第２撮像系の光軸間の距離は、基線長と呼ばれる。

レンズアレイ１１０の前方（被写体側）には、アパーチャアレイ１３０が配置されている。アパーチャアレイ１３０は、鏡枠１０１の内周に嵌合する矩形の板材として構成される。アパーチャアレイ１３０には、第１撮像系の光軸上で開口する第１アパーチャ１３１と、第２撮像系の光軸上で開口する第２アパーチャ１３２とが設けられている。第１アパーチャ１３１は第１撮像系に入射する光量を制限する絞りの機能を持ち、第２アパーチャ１３２は、第２撮像系に入射する光量を制限する絞りの機能を持つ。

第１撮像系と第２撮像系との間には、第１アパーチャ１３１を介して入射した光が第２撮像系に干渉するのを防止するとともに、第２アパーチャ１３２を介して入射した光が第１撮像系に干渉するのを防止するための遮光壁１０３が設けられている。なお、第１撮像素子１３１と第２撮像素子１３２との間の距離や、第１撮像系および第２撮像系の画角によっては、第１撮像系と第２撮像系とで光の干渉が生じない構成とすることもできる。この場合には、遮光壁１０３は不要となる。

基板１２０の裏面側（第１撮像素子１２１および第２撮像素子１２２の実装面とは逆側の面）には、基板１２０の温度が変化すると抵抗値が変化するサーミスタ１４１が取り付けられている。サーミスタ１４１は、該サーミスタ１４１の抵抗値の変化を、基板１２０の温度変化を表すデジタル値として出力する温度センサ回路１４２に接続されている。ステレオカメラモジュール１００では、これらサーミスタ１４１および温度センサ回路１４２により、基板１２０の温度を測定できるようになっている。以下では、サーミスタ１４１と温度センサ回路１４２との組み合わせを、温度センサ１４０と表記する。

また、基板１２０の裏面側には、記憶部１５０が設けられている。記憶部１５０には、ステレオカメラモジュール１００の各種パラメータが記憶されている。具体的には、例えば、第１撮像系と第２撮像系との間の光軸間の距離である基線長（環境温度が基準温度のときの伸縮のない基線長）、第１撮像系および第２撮像系の焦点距離（環境温度が基準温度のときの焦点距離）、オフセット値、歪み補正のためのカメラキャリブレーションパラメータ、キャリブレーション時における温度センサ１４０の出力値（基準温度）などが、記憶部１５０に記憶されている。

また、基板１２０の裏面側には、ＦＰＣ（フレキシブル配線基板）１６０を介してステレオカメラモジュール１００に接続された測距装置との間の信号伝送を司るインタフェース回路１７０が設けられている。このインタフェース回路１７０によりＦＰＣ１６０を介して測距装置との間で伝送される信号は、第１撮像系により撮像された第１画像の画像信号、第２撮像系により撮像された第２画像の画像信号、カメラ制御信号、温度センサ１４０の出力信号、記憶部１５０に記憶された上記の各種パラメータなどである。

（ステレオ測距の原理と温度変化による影響）
次に、図２および図３を参照して、ステレオカメラモジュール１００を用いたステレオ測距の原理と温度変化の影響について説明する。

図２は、図１に示した構成のステレオカメラモジュール１００をモデル化した図であり、ある基準温度のときの第１撮像系および第２撮像系の位置関係を表している。基準温度のときは、図２に示すように、第１レンズ１１１の主点を通って第１撮像素子１２１の撮像面に垂直に当たる光軸中心（第１撮像系の光軸）が、第１撮像素子１２１の撮像面の中心ＣＬに一致する。また、第２レンズ１１２の主点を通って第２撮像素子１２２の撮像面に垂直に当たる光軸中心（第２撮像系の光軸）が、第２撮像素子１２２の撮像面の中心ＣＲに一致する。第１撮像系の光軸と第２撮像系の光軸とは互いに平行であり、第１レンズ１１１の主点と第２レンズ１１２の主点とを結ぶ線分は、第１撮像系の光軸および第２撮像系の光軸に対して垂直で、第１撮像素子１２１の撮像面および第２撮像素子１２２の撮像面に対して平行となる。

第１レンズ１１１の主点と第２レンズ１１２の主点とを結ぶ線分の長さは、基線長Ｂである。被写体の位置から、第１レンズ１１１の主点と第２レンズ１１２の主点とを結ぶ線分に対して垂直に下ろした垂線は、第１レンズ１１１の主点と第２レンズ１１２の主点とを結ぶ線分の中点と交差する。この交点と被写体の位置との間の距離が、計測の対象となる被写体までの距離Ｚである。また、第１レンズ１１１の主点と第１撮像素子１２１の撮像面の中心ＣＬとの間の距離が第１撮像系の焦点距離ｆ、第２レンズ１１２の主点と第２撮像素子１２２の撮像面の中心ＣＲとの間の距離が第２撮像系の焦点距離ｆとなり、第１撮像系の焦点距離ｆと第２撮像系の焦点距離ｆは等しい値である。

ここで、第１撮像素子１２１の撮像面の中心ＣＬから被写体の像が結像した位置までの距離をｄＬ、第２撮像素子１２２の撮像面の中心ＣＲから被写体の像が結像した位置までの距離をｄＲとすると、第１撮像系により撮像された第１画像における被写体の位置と第２撮像系により撮像された第２画像における被写体の位置との差分である視差ｄｓは、下記式（１）のように表すことができる。
ｄｓ＝ｄＬ＋ｄＲ＝Ｂ・ｆ／Ｚ ・・・（１）

基準温度の環境下では、基線長Ｂと第１撮像系および第２撮像系の焦点距離ｆに変動はなく、固定の値である。したがって、第１撮像系により撮像された第１画像と第２撮像系により撮像された第２画像とから視差ｄｓを求めれば、上記式（１）より、被写体までの距離Ｚを算出することができる。

しかし、ステレオカメラモジュール１００が設置されている環境の温度（環境温度）が変化したときには、ステレオカメラモジュール１００を構成する各部品の材料の線膨張率に応じて、部品が伸縮する。そして、ステレオカメラモジュール１００の構成部品の伸縮により、上記の基線長Ｂが伸縮することになる。例えば、レンズアレイ１１０の材料として広く用いられる上記の透明樹脂材ＺＥＯＮＥＸ Ｅ４８Ｒの線膨張率は６×１０^−５である。一方、基板１２０上の第１撮像素子１２１および第２撮像素子１２２はシリコンで構成されているため、線膨張係数は２．４×１０^−６である。したがって、温度変化による基線長Ｂの伸縮は、おおよそレンズアレイ１１０の伸縮に支配されることがわかる。

また、環境温度が変化すると、レンズアレイ１１０の伸縮により、第１レンズ１１１および第２レンズ１１２の屈折率が変化する。屈折率は、物質の密度が大きくなると大きくなるため、温度が上昇すると屈折率は減少し、温度が下降すると屈折率は増大する。第１レンズ１１１および第２レンズ１１２の屈折率の温度に対する変動率は、極端な高温域や低温域を除く一般的な室温範囲では一定値とみなしてよい。例えば、上記の透明樹脂材ＺＥＯＮＥＸ Ｅ４８Ｒの屈折率の温度係数は、およそ−１×１０^−４である。

また、環境温度が変化すると、レンズアレイ１１０と基板１２０を保持する鏡枠１０１にも伸縮が生じる。鏡枠１０１は、ステンレススチール（ＳＵＳ）により構成されることが多い。ＳＵＳの線膨張係数は１．０×１０^−６〜１．５×１０^−６である。環境温度が変化すると、この鏡枠１０１の線膨張係数に応じた伸縮により、レンズアレイ１１０と基板１２０間の距離、つまり第１レンズ１１１および第２レンズ１１２と第１撮像素子１２１および第２撮像素子１２２間の距離（バックフォーカス）も変動することになる。

第１レンズ１１１や第２レンズ１１２の屈折率が変化するということは、第１レンズ１１１から射出されて第１撮像素子１２１へ入射する光の角度や、第２レンズ１１２から射出されて第２撮像素子１２２へ入射する光の角度が変わるということである。環境温度が上昇し、レンズアレイ１１０が伸張すると、第１レンズ１１１および第２レンズ１１２の密度が小さくなって屈折率が減少する。すなわち、第１レンズ１１１や第２レンズ１１２で光があまり曲がらなくなるため、第１撮像素子１２１や第２撮像素子１２２に投影される像が大きくなる。一方、環境温度が下降する場合は、反対に第１撮像素子１２１や第２撮像素子１２２に投影される像が小さくなる。

第１撮像素子１２１や第２撮像素子１２２に投影される像の、環境温度の変化に起因する変化は、ピンホールカメラのモデルでは焦点距離ｆの変化に相当する。第１レンズ１１１や第２レンズ１１２の屈折率の変化、および、第１レンズ１１１および第２レンズ１１２と第１撮像素子１２１および第２撮像素子１２２間の距離（バックフォーカス）は常温の範囲では小さいため、焦点距離ｆが環境温度に比例して伸張すると考えてよい。したがって焦点距離ｆの膨張率τｆを下記式（２）のように定義できる。ここで、Δｆは焦点距離ｆの変化量、Δｔは環境温度の変化量である。
Δｆ＝τｆ・ｆ・Δｔ ・・・（２）

ここで、環境温度が変化したときに観測される視差ｄｓ’を求めてみる。図３は、ある基準温度からΔｔだけ温度上昇したときのステレオカメラモジュール１００をモデル化した図であり、構成部品に温度膨張が生じたときの第１撮像系および第２撮像系の位置関係を表している。

計測の対象となる被写体までの距離をＺ、ステレオカメラモジュール１００の焦点距離をｆ＋Δｆ（ｆは温度変化前の焦点距離、Δｆは温度変化による焦点距離の変化量）、基線長をＢ＋ΔＢ（Ｂは温度変化前の基線長、ΔＢは温度変化による基線長の変化量）、第１撮像素子１２１の撮像面の中心ＣＬから被写体の像が結像した位置までの距離をｄ１、第２撮像素子１２２の撮像面の中心ＣＲから被写体の像が結蔵した位置までの距離をｄ２、第１撮像素子１２１の撮像面における第１レンズ１１１の光軸上の位置から被写体の像が結像した位置までの距離をｄＬ’、第２撮像素子１２２の撮像面における第２レンズ１２２の光軸上の位置から被写体の像が結像した位置までの距離をｄＲ’とすると、視差ｄｓ’は下記式（３）で表される。
ｄｓ’＝ｄＬ’＋ｄＲ’＋ΔＢ／２・２＝（Ｂ＋ΔＢ）（ｆ＋Δｆ）／Ｚ＋ΔＢ ・・・（３）

ここで、Δｆ・ΔＢ≒０であるとすると、下記式（４）が得られる。
ｄｓ’＝ｄｓ＋ΔＢ＋（Ｂ・Δｆ＋ｆ・ΔＢ）／Ｚ＝ｄｓ（１＋Δｆ／ｆ＋ΔＢ／Ｂ）＋ΔＢ ・・・（４）

したがって、観測される視差ｄｓ’から温度変化前の視差ｄｓ（＝ｄＬ＋ｄＲ）を求める式は、下記式（５）のようになる。
ｄｓ＝ｄｓ’−ΔＢ／（１＋Δｆ／ｆ＋ΔＢ／Ｂ） ・・・（５）

ここで、Δｆ＝τｆ・ｆ・Δｔ（上記式（２））であり、ΔＢ＝Ｂ・τＢ・Δｔ（τＢはレンズアレイ１１０の線膨張率）であるので、τｆ＋τＢ＝τとすると、上記式（５）は下記式（６）のように変形できる。
ｄｓ＝ｄｓ’−Ｂ・τＢ・Δｔ／（１＋τ・Δｔ） ・・・（６）

上記式（６）で示されるように、温度変化に起因する観測される視差の変化量（ｄｓ’−ｄｓ）には、基線長Ｂの伸縮だけでなく、基線長Ｂの伸縮と第１レンズ１１１や第２レンズ１１２の屈折率の変化などによる焦点距離ｆの変化による画像の倍率の変化も影響している。後者の倍率の変化による視差の変化量は、温度変化の大きさに応じて変化するので、温度の変化が大きくなった場合は特に影響を受けることになる。

そこで、本実施形態に係る測距システムでは、基線長Ｂの伸縮だけでなく、画像の倍率の変化も考慮して、観測される視差ｄｓ’を環境温度の変化に応じて補正することで、被写体までの距離を正確に計測できるようにしている。具体的には、ステレオカメラモジュール１００で第１画像および第２画像を撮像する際の温度（本実施形態では基板１２０の温度）を温度センサ１４０により測定して、キャリブレーション時に温度センサ１４０により測定された基準温度との差分（温度差Δｔ）を求める。そして、この温度差Δｔに基づいて、環境温度の変化に起因する基線長Ｂの伸縮による誤差成分を補正するための第１補正値と、環境温度の変化に起因する第１画像および第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出する。そして、第１画像と第２画像とに基づいて算出される視差ｄｓ’を第１補正値と第２補正値とに基づいて補正して、補正視差ｄｓを得る。そして、補正視差ｄｓと、伸縮のない基線長Ｂおよび焦点距離ｆとから、被写体までの距離Ｚを算出する。

本実施形態では、第１画像と第２画像とに基づいて視差ｄｓ’を算出する処理や、第１補正値と第２補正値とに基づいて視差ｄｓ’を補正して補正視差ｄｓを算出する処理、補正視差ｄｓを用いて被写体までの距離Ｚを算出する処理を、ステレオカメラモジュール１００から分離した外部装置である測距装置により行う。以下、この測距装置の具体的な構成例について説明する。

（測距装置）
図４は、本実施形態に係る測距装置２００の機能的な構成を示すブロック図である。測距装置２００は、図４に示すように、第１インタフェース部２０１と、カメラ制御部２０２と、画像信号歪み補正部２０３と、視差演算部２０４と、温度差算出部２０５と、視差補正部２０６と、距離算出部２０７と、第２インタフェース部２０８と、を備える。これらの各部（その全部または一部）は、例えば、測距装置２００がＣＰＵやＲＯＭ、ＲＡＭ、入出力回路などを備えるマイクロコンピュータとして構成されている場合、このマイクロコンピュータで実行されるプログラム（ソフトウェア）により実現することができる。また、測距装置２００が備える上記の各部（その全部または一部）を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアを用いて構成することもできる。

第１インタフェース部２０１は、ステレオカメラモジュール１００との間でＦＰＣ１６０を介した信号伝送を行うためのインタフェースである。第１インタフェース部２０１は、カメラ制御部２０２の制御に応じて、ステレオカメラモジュール１００から第１画像および第２画像を入力する機能を持つ。

カメラ制御部２０２は、ステレオカメラモジュール１００の動作を制御する。カメラ制御部２０２は、第１撮像素子１２１や第２撮像素子１２２からの画像信号の読み出しを制御するとともに、例えば、自動露出、ホワイトバランス、画像信号モード（グレースケール／ＹＵＶカラー／Ｒａｗ画像）など、ステレオカメラモジュール１００による画像の撮像に関する各種機能の設定を実行する。ステレオカメラモジュール１００による画像の撮像に関する各種機能の設定は、例えば、カメラ制御部２０２内のレジスタの値により決定される。

また、カメラ制御部２０２は、測距装置２００の電源が投入された際に、ステレオカメラモジュール１００の基板１２０に搭載された記憶部１５０からステレオカメラモジュール１００の各種パラメータの読み出しを行う。具体的には、カメラ制御部２０２は、測距装置２００の電源投入時に、環境温度が基準温度のときの伸縮のない基線長Ｂ、環境温度が基準温度のときの焦点距離ｆ、オフセット値、歪み補正のためのカメラキャリブレーションパラメータ、キャリブレーション時における温度センサ１４０の出力値（基準温度）などを、ステレオカメラモジュール１００の記憶部１５０から読み出す。ステレオカメラモジュール１００の記憶部１５０から読み出されたこれらの各種パラメータは、測距装置２００内部の図示しないメモリに保存される。

画像信号歪み補正部２０３は、第１インタフェース部２０１から入力された第１画像および第２画像の画像信号の歪みを補正する。画像信号歪み補正部２０３は、電源投入の際にステレオカメラモジュール１００の記憶部１５０から読み出されたカメラキャリブレーションパラメータが図示しないメモリに保存されているので、そのカメラキャリブレーションパラメータをメモリから読み出して画像信号の歪み補正を実行する。画像信号の歪み補正の方式は、例えば、ルックアップテーブル方式、あるいは多項式近似方式など、広く知られている様々な方式を利用することができる。ルックアップテーブル方式で画像信号の歪み補正を実行する場合、記憶部１５０に記憶されているカメラキャリブレーションパラメータはルックアップテーブルの値である。多項式近似方式で画像信号の歪みを実行する場合は、多項式の係数が記憶部１５０に記憶されている。

視差演算部２０４は、画像信号歪み補正部２０３で歪み補正が実行された後の第１画像および第２画像の画像信号に基づいて視差ｄｓ’を算出し、算出した視差ｄｓ’を視差補正部２０６に出力する。視差演算部２０４による視差ｄｓ’の算出は、例えば、第１画像における被写体の位置と第２画像における被写体の位置との差分を画素単位で検出する処理となる。例えば、視差演算部２０４による視差ｄｓ’の算出方式には、画素単位のマッチング位置を検出するためのブロックマッチングアルゴリズムとしてＺＳＳＤ（Zero-mean Sum of Squared Differences）を用いることができる。また、副画素（サブピクセル）単位のマッチング位置を推定するための方式として、広く知られている二次曲線フィッティングを使用することができる。ＺＳＳＤは、第１画像と第２画像とのブロックマッチングに使用するブロックの画素値の平均値を各画素から引いた値を使って、差分二乗和を計算する。この差分二乗和の最小値が得られるマッチングブロックの位置を画素単位のマッチング位置とし、マッチングさせるブロックを１画素左右にずらしたときに得られる差分二乗和の値とを用いて二次曲線フィッティングを行って、サブピクセルのマッチング位置を推定する。このＺＳＳＤ方式は、特に第１画像と第２画像とで明るさが異なるときに有利な方法である。

温度差算出部２０５は、ステレオカメラモジュール１００によって第１画像および第２画像の撮像が行われたときに温度センサ１４０により測定された基板１２０の温度（撮像時温度）を、第１インタフェース部２０１を介して取得する。また、温度差算出部２０５は、測距装置２００の電源投入時にカメラ制御部２０２によってステレオカメラモジュール１００の記憶部１５０から読み出され、測距装置２００内部の図示しないメモリに格納された、キャリブレーション時における温度センサ１４０の出力値（基準温度）をメモリから読み出す。そして、温度差算出部２０５は、撮像時温度と基準温度との差分である温度差Δｔを算出し、算出した温度差Δｔを視差補正部２０６に出力する。

視差補正部２０６は、温度差算出部２０５が算出した温度差Δｔに基づいて、基線長Ｂの伸縮による誤差成分を補正するための第１補正値と、第１画像および第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出し、視差演算部２０４が算出した視差ｄｓ’を、第１補正値と第２補正値とに基づいて補正して、補正視差ｄｓを算出する。すなわち、補正視差演算部２０６は、温度差算出部２０５が算出した温度差Δｔに基づき、上記式（６）で示す演算を実行し、補正視差ｄｓを算出する。上記式（６）の演算で使用するパラメータτ，τＢは、測距装置２００内部の図示しないメモリにあらかじめ格納されている。また、パラメータＢは、環境温度が基準温度のときの伸縮のない基線長であり、測距装置２００の電源投入時にカメラ制御部２０２によってステレオカメラモジュール１００の記憶部１５０から読み出され、測距装置２００内部の図示しないメモリに格納されている。

図５は、視差補正部２０６が上記式（６）の演算を実行する場合の演算回路の構成を示している。この場合、視差補正部２０６は、伸縮のない基線長ＢにτＢを乗算した値に温度差Δｔを乗算して第１補正値を算出する。また、視差補正部２０６は、τに温度差Δｔを乗算した値に１を加算して第２補正値を算出する。そして、視差補正部２０６は、視差演算部２０４が算出した視差ｄｓ’から第１補正値を減算した値に対して第２補正値を除算した値を、補正視差ｄｓとして算出する。

また、τ・Δｔが小さい値の場合は、視差補正部２０６は、上記式（６）の近似式となる下記式（７）を使用して補正視差ｄｓ’を算出することも可能である。ここで、τ・τＢは、十分０に近いとしている。
ｄｓ＝ｄｓ’（１−τ・Δｔ）−Ｂ・τＢ・Δｔ ・・・（７）

図６は、視差補正部２０６が上記式（７）の演算を実行する場合の演算回路の構成を示している。この場合、視差補正部２０６は、τＢに温度差Δｔを乗算した値に伸縮のない基線長Ｂを乗算して第１補正値を算出する。また、視差補正部２０６は、τに温度差Δｔを乗算した値から１を減算して第２補正値を算出する。そして、視差補正部２０６は、視差演算部２０４が算出した視差ｄｓ’に第２補正値を乗算した値から第１補正値を減算した値を、補正視差ｄｓとして算出する。

距離算出部２０７は、視差補正部２０６が算出した補正視差ｄｓと、伸縮のない基線長Ｂと、焦点距離ｆとに基づいて、被写体までの距離Ｚを算出する。被写体までの距離Ｚは、例えば下記式（８）により算出することができる。
Ｚ＝Ｂ・ｆ／（ｄｓ−ｄ_{ｏｆｆｓｅｔ}） ・・・（８）

ここで、ｄ_{ｏｆｆｓｅｔ}は無限遠を撮影したときに得られる視差である。また、Ｂとｆはキャリブレーション時の基線長の値と焦点距離（伸縮のない基線長および焦点距離）である。これらの値は、ステレオカメラモジュール１００のキャリブレーションパラメータと同様に、ステレオカメラモジュール１００の記憶部１５０にあらかじめ記憶されており、測距装置２００の電源投入後、カメラ制御部２０２によって記憶部１５０から読み出されて測距装置２００内部の図示しないメモリに格納される。上記式（８）の演算には、このメモリに格納されている値が用いられる。

第２インタフェース部２０８は、距離算出部２０７が算出した被写体までの距離の情報を、測距装置２００からＦＰＣ２１０を介して外部の情報処理装置に出力するためのインタフェースである。

（温度係数τ、τＢの決定方法）
次に、上記式（６）または上記式（７）の演算により補正視差ｄｓを算出するために使用される温度係数であるτとτＢを決定する方法の具体例について説明する。

環境温度の変化に起因する視差の誤差成分は、上述したように、レンズアレイ１１０の伸縮による影響が支配的である。しかし、環境温度の変化を検出するためにステレオカメラモジュール１００に設けられた温度センサ１４０は、レンズアレイ１１０の温度を直接測定しているわけではない。また、ステレオカメラモジュール１００を構成する各部品の材質が異なれば、それぞれの材質に特有の線膨張率があり、さらにステレオカメラモジュール１００の製造方法によっても、ステレオカメラモジュール１００を構成する各部品の伸縮の仕方が異なってくる。したがって、温度係数であるτとτＢは、あらかじめ実験的に求めておく。以下では、τとτＢを実験的に求める具体的手法について説明する。

ある基準温度のときに、ステレオカメラモジュール１００から所定の距離だけ離れた位置にある被写体を撮像し、得られた第１画像および第２画像から視差を算出しておく。次に、環境温度を上下させて基板１２０の温度を変化させ、複数の環境温度において、同様に被写体を撮像して視差を算出するとともに、温度センサ１４０により測定された温度を記録する。すると、図７に示すようなデータが得られる。図７は、算出される視差と環境温度との関係を示す図である。図７に示すように、温度差が小さい場合は、温度変化に対して視差が直線的に変化するが、温度差が大きくなると、上記式（６）の分母の項の影響が大きくなってくるので、温度差と視差との関係が直線からずれていく。この図７に示すデータに対して、上記式（６）を用いたフィッティングを実行することにより、温度係数τとτＢとを決定することができる。

ここでτＢは、理想的にはレンズアレイ１１０の材質の線膨張係数であるが、温度センサ１４０が基板１２０に装着されているため、温度センサ１４０により測定される温度はレンズアレイ１１０の温度とは異なる。実際に測定すると、熱電対を用いて直接測定したレンズアレイ１１０の温度（以下、レンズ温度という。）と温度センサ１４０により測定される基板１２０の温度（以下、基板温度という。）とは、図８に示すように直線的な関係にあることが分かった。図８は、レンズ温度と基板温度との関係を示す図である。

図８に示すように、レンズ温度と基板温度との関係は、直線的ではあるが、その傾きが１ではない。図８の例では、レンズ温度よりも基板温度の方が温度上昇が急峻で、その傾きは１．１である。したがって、基板温度とレンズ温度との関係は、基板温度＝１．１×レンズ温度＋定数として表すことができる。この場合には、τＢはレンズアレイ１１０の線膨張係数に０．９を乗じた値にほぼ等しいことが実験で確かめられている。もちろん、ステレオカメラモジュール１００の構成が異なる場合には、レンズ温度の変化と基板温度の変化との関係は異なってくるので、τＢの値も異なってくる。このように、補正視差ｄｓを算出するために使用される温度係数であるτとτＢは、あらかじめ実験的に求めておくことができる。

（実施形態の効果）
以上、具体的な例を挙げながら詳細に説明したように、本実施形態に係る測距システムでは、測距装置２００が、ステレオカメラモジュール１００で第１画像および第２画像を撮像する際の温度と基準温度との温度差Δｔに基づいて、環境温度の変化に起因する基線長Ｂの伸縮による誤差成分を補正するための第１補正値と、環境温度の変化に起因する第１画像および第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出する。そして、第１画像と第２画像とに基づいて算出される視差ｄｓ’を、第１補正値と第２補正値とに基づいて補正して補正視差ｄｓを算出し、算出した補正視差ｄｓを用いて被写体までの距離Ｚを算出する。したがって、本実施形態に係る測距システムによれば、第１画像および第２画像の撮像時の温度に応じて、第１画像および第２画像から算出される視差ｄｓ’を高精度に補正して、被写体までの距離Ｚを正確に計測することができる。

また、測距装置２００の視差補正部２０６が、上記式（６）で示す演算を行って、視差ｄｓ’から第１補正値を減算した値に対して第２補正値を除算した値を補正視差ｄｓとして算出する場合には、厳密な計算により極めて正確に視差ｄｓ’を補正して補正視差ｄｓを算出することができる。

また、測距装置２００の視差補正部２０６が、上記式（７）で示す演算を行って、視差ｄｓ’と第２補正値とを乗算した値から第１補正値を減算した値を補正視差ｄｓとして算出する場合には、除算演算を使わずに低コストで補正視差ｄｓを算出することができる。

本実施形態に係る測距システムにおいて、図４に示した測距装置２００の機能的な構成は、一例として、測距装置２００を構成するマイクロコンピュータのＣＰＵが、測距プログラムを実行することにより実現することができる。この場合、マイクロコンピュータのＣＰＵが実行する測距プログラムは、例えば、マイクロコンピュータのＲＯＭなどに予め組み込まれて提供される。

また、測距装置２００を構成するマイクロコンピュータのＣＰＵが実行する測距プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、測距装置２００を構成するマイクロコンピュータのＣＰＵが実行する測距プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、測距装置２００を構成するマイクロコンピュータのＣＰＵが実行する測距プログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。

測距装置２００を構成するマイクロコンピュータのＣＰＵが実行する測距プログラムは、例えば、第１インタフェース部２０１、カメラ制御部２０２、画像信号歪み補正部２０３、視差演算部２０４、温度差算出部２０５、視差補正部２０６、距離算出部２０７および第２インタフェース部２０８を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから測距プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ）上にロードされ、第１インタフェース部２０１、カメラ制御部２０２、画像信号歪み補正部２０３、視差演算部２０４、温度差算出部２０５、視差補正部２０６、距離算出部２０７および第２インタフェース部２０８が主記憶装置上に生成されるようになっている。

以上、本発明の具体的な実施形態について説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。

１００ ステレオカメラモジュール
１１０ レンズアレイ
１１１ 第１レンズ
１１２ 第２レンズ
１２０ 基板
１２１ 第１撮像素子
１２２ 第２撮像素子
１４０ 温度センサ
２００ 測距装置
２０４ 視差演算部
２０５ 温度差算出部
２０６ 視差補正部
２０７ 距離算出部

特開２００７−３２２１２８号公報 特開２００９−２５０７８５号公報

Claims (8)

1. 第１レンズと第１撮像素子とを含む第１撮像系と、前記第１レンズと一体成形された第２レンズと第２撮像素子とを含む第２撮像系と、前記第１撮像素子および前記第２撮像素子とが配置された基板と、前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第１撮像系により撮像された被写体の第１画像と前記第２撮像系により撮像された前記被写体の第２画像とを入力する入力手段と、
   前記第１画像と前記第２画像とに基づいて、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する視差算出手段と、
   前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段と、
   前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値と、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出し、前記視差を、前記第１補正値と前記第２補正値とに基づいて補正して、補正視差を算出する視差補正手段と、
   前記補正視差と、伸縮のない前記基線長と、前記第１撮像系および前記第２撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段と、を備え、
   前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、
   前記第１補正値は、前記基準温度のときの伸縮のない前記基線長に前記第１温度係数を乗算した値に対して前記温度差を乗算した値であり、
   前記第２補正値は、前記温度差に前記第２温度係数を乗算した値に対して１を加算した値であり、
   前記視差補正手段は、前記視差から前記第１補正値を減算した値に対して前記第２補正値を除算した値を前記補正視差として算出することを特徴とする測距装置。
2. 第１レンズと第１撮像素子とを含む第１撮像系と、前記第１レンズと一体成形された第２レンズと第２撮像素子とを含む第２撮像系と、前記第１撮像素子および前記第２撮像素子とが配置された基板と、前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第１撮像系により撮像された被写体の第１画像と前記第２撮像系により撮像された前記被写体の第２画像とを入力する入力手段と、
   前記第１画像と前記第２画像とに基づいて、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する視差算出手段と、
   前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段と、
   前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値と、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出し、前記視差を、前記第１補正値と前記第２補正値とに基づいて補正して、補正視差を算出する視差補正手段と、
   前記補正視差と、伸縮のない前記基線長と、前記第１撮像系および前記第２撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段と、を備え、
   前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、
   前記第１補正値は、前記第１温度係数に前記温度差を乗算した値に対して前記基準温度のときの伸縮のない前記基線長を乗算した値であり、
   前記第２補正値は、前記温度差に前記第２温度係数を乗算した値から１を減算した値であり、
   前記視差補正手段は、前記視差と前記第２補正値とを乗算した値から前記第１補正値を減算した値を前記補正視差として算出することを特徴とする測距装置。
3. 第１レンズと第１撮像素子とを含み、被写体の第１画像を撮像する第１撮像系と、
   前記第１レンズと一体成形された第２レンズと第２撮像素子とを含み、前記被写体の第２画像を撮像する第２撮像系と、
   前記第１撮像素子および前記第２撮像素子とが配置された基板と、
   前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、
   前記第１画像と前記第２画像とに基づいて、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する視差算出手段と、
   前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段と、
   前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値と、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出し、前記視差を、前記第１補正値と前記第２補正値とに基づいて補正して、補正視差を算出する視差補正手段と、
   前記補正視差と、伸縮のない前記基線長と、前記第１撮像系および前記第２撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段と、を備え、
   前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、
   前記第１補正値は、前記基準温度のときの伸縮のない前記基線長に前記第１温度係数を乗算した値に対して前記温度差を乗算した値であり、
   前記第２補正値は、前記温度差に前記第２温度係数を乗算した値に対して１を加算した値であり、
   前記視差補正手段は、前記視差から前記第１補正値を減算した値に対して前記第２補正値を除算した値を前記補正視差として算出することを特徴とする測距システム。
4. 第１レンズと第１撮像素子とを含み、被写体の第１画像を撮像する第１撮像系と、
   前記第１レンズと一体成形された第２レンズと第２撮像素子とを含み、前記被写体の第２画像を撮像する第２撮像系と、
   前記第１撮像素子および前記第２撮像素子とが配置された基板と、
   前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、
   前記第１画像と前記第２画像とに基づいて、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する視差算出手段と、
   前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段と、
   前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値と、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出し、前記視差を、前記第１補正値と前記第２補正値とに基づいて補正して、補正視差を算出する視差補正手段と、
   前記補正視差と、伸縮のない前記基線長と、前記第１撮像系および前記第２撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段と、を備え、
   前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、
   前記第１補正値は、前記第１温度係数に前記温度差を乗算した値に対して前記基準温度のときの伸縮のない前記基線長を乗算した値であり、
   前記第２補正値は、前記温度差に前記第２温度係数を乗算した値から１を減算した値であり、
   前記視差補正手段は、前記視差と前記第２補正値とを乗算した値から前記第１補正値を減算した値を前記補正視差として算出することを特徴とする測距システム。
5. コンピュータに、
   第１レンズと第１撮像素子とを含む第１撮像系と、前記第１レンズと一体成形された第２レンズと第２撮像素子とを含む第２撮像系と、前記第１撮像素子および前記第２撮像素子とが配置された基板と、前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第１撮像系により撮像された被写体の第１画像と前記第２撮像系により撮像された前記被写体の第２画像とを入力する入力手段の機能と、
   前記第１画像と前記第２画像とに基づいて、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する視差算出手段の機能と、
   前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段の機能と、
   前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値と、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出し、前記視差を、前記第１補正値と前記第２補正値とに基づいて補正して、補正視差を算出する視差補正手段の機能と、
   前記補正視差と、伸縮のない前記基線長と、前記第１撮像系および前記第２撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段の機能と、を実現させ、
   前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、
   前記第１補正値は、前記基準温度のときの伸縮のない前記基線長に前記第１温度係数を乗算した値に対して前記温度差を乗算した値であり、
   前記第２補正値は、前記温度差に前記第２温度係数を乗算した値に対して１を加算した値であり、
   前記視差補正手段は、前記視差から前記第１補正値を減算した値に対して前記第２補正値を除算した値を前記補正視差として算出する測距プログラム。
6. コンピュータに、
   第１レンズと第１撮像素子とを含む第１撮像系と、前記第１レンズと一体成形された第２レンズと第２撮像素子とを含む第２撮像系と、前記第１撮像素子および前記第２撮像素子とが配置された基板と、前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第１撮像系により撮像された被写体の第１画像と前記第２撮像系により撮像された前記被写体の第２画像とを入力する入力手段の機能と、
   前記第１画像と前記第２画像とに基づいて、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する視差算出手段の機能と、
   前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段の機能と、
   前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値と、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値とを算出し、前記視差を、前記第１補正値と前記第２補正値とに基づいて補正して、補正視差を算出する視差補正手段の機能と、
   前記補正視差と、伸縮のない前記基線長と、前記第１撮像系および前記第２撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段の機能と、を実現させ、
   前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、
   前記第１補正値は、前記第１温度係数に前記温度差を乗算した値に対して前記基準温度のときの伸縮のない前記基線長を乗算した値であり、
   前記第２補正値は、前記温度差に前記第２温度係数を乗算した値から１を減算した値であり、
   前記視差補正手段は、前記視差と前記第２補正値とを乗算した値から前記第１補正値を減算した値を前記補正視差として算出する測距プログラム。
7. 第１レンズと第１撮像素子とを含む第１撮像系と、前記第１レンズと一体成形された第２レンズと第２撮像素子とを含む第２撮像系と、前記第１撮像素子および前記第２撮像素子とが配置された基板と、前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第１撮像系により撮像された被写体の第１画像と前記第２撮像系により撮像された前記被写体の第２画像とを入力し、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する装置において実行される視差補正方法であって、
   前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出するステップと、
   前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値を算出するステップと、
   前記温度差と、予め求めた温度係数とに基づいて、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値を算出するステップと、
   前記第１補正値と前記第２補正値とに基づいて、前記視差を補正して、補正視差を算出するステップと、を含み、
   前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、
   前記第１補正値は、前記基準温度のときの伸縮のない前記基線長に前記第１温度係数を乗算した値に対して前記温度差を乗算した値であり、
   前記第２補正値は、前記温度差に前記第２温度係数を乗算した値に対して１を加算した値であり、
   前記補正視差を算出するステップは、前記視差から前記第１補正値を減算した値に対して前記第２補正値を除算した値を前記補正視差として算出することを特徴とする視差補正方法。
8. 第１レンズと第１撮像素子とを含む第１撮像系と、前記第１レンズと一体成形された第２レンズと第２撮像素子とを含む第２撮像系と、前記第１撮像素子および前記第２撮像素子とが配置された基板と、前記基板の前記第１撮像素子および前記第２撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第１撮像系により撮像された被写体の第１画像と前記第２撮像系により撮像された前記被写体の第２画像とを入力し、前記第１画像における前記被写体の位置と前記第２画像における前記被写体の位置との差分である視差を算出する装置において実行される視差補正方法であって、
   前記第１画像および前記第２画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出するステップと、
   前記温度差と、予め求めた温度係数とに基づいて、前記第１撮像系と前記第２撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第１補正値を算出するステップと、
   前記温度差と、予め求めた温度係数とに基づいて、前記第１画像および前記第２画像の倍率の変化による誤差成分を補正するための第２補正値を算出するステップと、
   前記第１補正値と前記第２補正値とに基づいて、前記視差を補正して、補正視差を算出するステップと、を含み、
   前記温度係数は、前記第１レンズおよび前記第２レンズの線膨張率を表す第１温度係数と、前記第１レンズおよび前記第２レンズの焦点距離の膨張率と前記第１温度係数との和である第２温度係数とを含み、
   前記第１補正値は、前記第１温度係数に前記温度差を乗算した値に対して前記基準温度のときの伸縮のない前記基線長を乗算した値であり、
   前記第２補正値は、前記温度差に前記第２温度係数を乗算した値から１を減算した値であり、
   前記補正示唆を算出するステップは、前記視差と前記第２補正値とを乗算した値から前記第１補正値を減算した値を前記補正視差として算出することを特徴とする視差補正方法。

Images