JP6772639B2 - 視差演算システム、移動体及びプログラム - Google Patents

Description

本発明は、視差演算システム、移動体及びプログラムに関する。

従来より、車両等の各種移動体には、周囲環境を３次元情報として取得するためのセンサ装置（３次元センサ）として、ステレオカメラや電磁波測距装置（例えば、レーザレーダ測距装置、ミリ波レーダ測距装置）等が搭載されている。

ステレオカメラは、基準画像内の各画素に対応する比較画像内の対応画素を検索し、視差を演算することで、オブジェクトまでの距離を算出する装置である。ステレオカメラの場合、空間分解能及び距離分解能が高いといった特性がある一方で、オブジェクトまでの距離が長いと、空間分解能及び距離分解能が低下するといった特性がある。

電磁波測距装置は、電磁波を出射してから、オブジェクトで反射した反射波を受信するまでの時間を測定することで、オブジェクトまでの距離を算出する装置である。電磁波測距装置の場合、オブジェクトまでの距離に関わらず、距離分解能が高いといった特性がある一方で、空間分解能が低いといった特性がある。

このため、ステレオカメラと電磁波測距装置とを組み合わせることで、互いの特性を活かした視差演算システムを実現することができる。

ここで、電磁波測距装置の場合、オブジェクトまでの距離に関わらず高い距離分解能が維持できる反面、オブジェクトまでの距離が長くなると、受信する反射波の信号強度が低下し、ノイズとの識別が困難になるという問題がある。このため、電磁波測距装置の場合、ノイズの誤検出により、誤った距離情報が出力される可能性がある。

このようなことから、電磁波測距装置を用いて視差演算システムを構築するにあたっては、電磁波測距装置によるノイズの誤検出を低減し、測距精度を向上させることが求められる。

本発明は上記課題に鑑みてなされたものであり、視差演算システムに用いる電磁波測距装置において、測距精度を向上させることを目的とする。

本発明の各実施形態に係る視差演算システムは、以下のような構成を有する。すなわち、
複数の撮像装置の撮影方向に向かって電磁波を照射することで取得した、反射波を示す信号を処理する際の処理範囲を、該複数の撮像装置により撮影された撮影画像を用いて演算された視差のうち演算頻度が最大の視差に基づいて決定する決定手段と、
前記決定手段により決定された処理範囲の信号を処理することで、前記電磁波の照射位置までの距離を算出する算出手段とを有することを特徴とする。

本発明の各実施形態によれば、視差演算システムに用いる電磁波測距装置において、測距精度を向上させることができる。

視差演算システムの外観構成及び取り付け例を示す図である。 視差演算システムのハードウェア構成の一例を示す図である。 ３次元センサの距離分解能及び空間分解能を説明するための図である。 ３次元センサの距離分解能及び空間分解能を説明するための図である。 基準画像内の基準画素領域及び比較画像内の画素領域を示す図である。 レーザレーダ測距部により生成されるレーザ受光信号の一例を示す図である。 距離計算処理部の機能構成を示す図である。 第１コスト算出部の機能構成の詳細を示す図である。 コストＣ（ｐ，ｄ）の算出方法を説明するための図である。 第１合成コスト算出部の機能構成の詳細を示す図である。 第１経路コストＬ_ｒ（ｐ，ｄ）の算出におけるｒ方向を示す図である。 範囲決定部による処理範囲の決定方法を説明するための図である。 範囲決定部により決定された処理範囲を示す図である。 第２コスト算出部の機能構成の詳細を示す図である。 第２合成コスト算出部の機能構成の詳細を示す図である。 基準画素領域ｐにおける第２合成コストＳ'の算出結果を示す図である。 距離計算処理部による視差画像生成処理の流れを示すフローチャートである。

以下、各実施形態の詳細について添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［実施形態］
＜１．視差演算システムの外観構成及び取り付け例＞
はじめに、一実施形態に係る視差演算システムの外観構成及び取り付け例について説明する。図１は、視差演算システムの外観構成及び取り付け例を示す図である。

図１の上部（外観構成）に示すように、視差演算システム１００は、周囲環境を３次元情報として取得するセンサ装置（３次元センサ）として、ステレオカメラ部１１０と、レーザレーダ測距部（レーザレーダ測距装置）１２０とを備える。ステレオカメラ部１１０は、単眼カメラ部（第１の撮像装置）１１１と単眼カメラ部（第２の撮像装置）１１２とを備え、レーザレーダ測距部１２０は、当該単眼カメラ部１１１と単眼カメラ部１１２との間に配置される。

単眼カメラ部１１１、１１２は、同期をとりながら所定のフレーム周期でそれぞれが撮影を行い、撮影画像を生成する。

レーザレーダ測距部１２０は、レーザ光を照射し、その反射光を受光することで、レーザ光の照射位置（所定のオブジェクト）までの距離を測定するＴＯＦ（Time Of Flight）方式のレーザレーダ測距装置である。

図１の下部（取り付け例）に示すように、視差演算システム１００は、例えば、車両１４０のフロントウィンドウの内側中央位置に取り付けられる。このとき、ステレオカメラ部１１０及びレーザレーダ測距部１２０は、いずれも車両１４０の前方方向に向かって取り付けられる。つまり、視差演算システム１００は、ステレオカメラ部１１０の撮影方向と、レーザレーダ測距部１２０のレーザ光の出射方向とが、同じ方向になるように取り付けられる。

＜２．視差演算システムのハードウェア構成＞
次に、視差演算システム１００のハードウェア構成について説明する。図２は、視差演算システムのハードウェア構成の一例を示す図である。

図２に示すように、視差演算システム１００は、カメラステイ２０１と制御基板収納部２０２とを有する。

カメラステイ２０１には、単眼カメラ部１１１、１１２とレーザレーダ測距部１２０とが一体的に取り付けられている。これにより、視差演算システム１００の小型化及び低コスト化を実現している。

制御基板収納部２０２には、レーザ信号処理部２４０、距離計算処理部２５０、メモリ２６０、ＭＰＵ（Micro Processing Unit）２７０が収納されている。レーザ信号処理部２４０をレーザレーダ測距部１２０とは別体に構成することで、レーザレーダ測距部１２０のサイズを小さくすることができる。これにより、本実施形態では、単眼カメラ部１１１と単眼カメラ部１１２との間への、レーザレーダ測距部１２０の配置を実現している。

なお、図２の例では、レーザ信号処理部２４０と距離計算処理部２５０とを、別の回路基板として構成しているが、レーザ信号処理部２４０と距離計算処理部２５０とは、共通の回路基板により構成してもよい。回路基板の枚数を削減することで、低コスト化を図ることが可能となるからである。

続いて、カメラステイ２０１側の各部の詳細について説明する。図２に示すように、単眼カメラ部１１１は、カメラレンズ２１１と、撮像素子２１２と、センサ基板２１３とを備える。カメラレンズ２１１を介して入射された外部の光は、撮像素子２１２において受光され、所定のフレーム周期で光電変換される。光電変換されることで得た信号は、センサ基板２１３において処理され、１フレームごとの撮影画像が生成される。生成された撮影画像は、比較画像として、順次、距離計算処理部２５０に送信される。

なお、単眼カメラ部１１２も、単眼カメラ部１１１と同様の構成を有しており、同期制御信号に基づいて単眼カメラ部１１１と同期して生成された撮影画像は、基準画像として、順次、距離計算処理部２５０に送信される。

レーザレーダ測距部１２０は、光源駆動回路２３１と、レーザ光源２３２と、投光レンズ２３３とを備える。光源駆動回路２３１は、レーザ信号処理部２４０からの同期制御信号に基づいて動作し、レーザ光源２３２に対して変調電流（光源発光信号）を印加する。これにより、レーザ光源２３２ではレーザ光を出射する。レーザ光源２３２より出射されたレーザ光は、投光レンズ２３３を介して外部に出射される。

なお、本実施形態では、レーザ光源２３２として、赤外半導体レーザダイオード（ＬＤ：Laser Diode）が用いられ、レーザ光として波長８００ｎｍ〜９５０ｎｍの近赤外光が出射されるものとする。また、レーザ光源２３２は、光源駆動回路２３１により印加された変調電流（光源発光信号）に応じて、パルス状の波形を有するレーザ光を周期的に出射するものとする。更に、レーザ光源２３２は、数ナノ秒から数百ナノ秒程度の短いパルス幅を有するパルス状のレーザ光を周期的に出射するものとする。

レーザ光源２３２から出射されたパルス状のレーザ光は、投光レンズ２３３を介して投射ビームとして外部に出射された後、所定の照射位置（所定のオブジェクト）に照射される。なお、レーザ光源２３２から出射されるレーザ光は、投光レンズ２３３によって略平行光にコリメートされているため、照射されたオブジェクトにおける照射面積は、予め設定された微小面積に抑えられる。

レーザレーダ測距部１２０は、更に、受光レンズ２３４と、受光素子２３５と、受光信号増幅回路２３６とを備える。所定のオブジェクトに照射されたレーザ光は、一様な方向に散乱する。そして、レーザレーダ測距部１２０から出射されたレーザ光と同じ光路をたどって反射してくる光成分が、反射光として、受光レンズ２３４を介して受光素子２３５に導かれる。

本実施形態では、受光素子２３５として、シリコンＰＩＮフォトダイオードやアバランシェフォトダイオードが用いられる。受光素子２３５は、反射光を光電変換することでレーザ受光信号を生成し、受光信号増幅回路２３６は、生成されたレーザ受光信号を増幅した後、レーザ信号処理部２４０に送信する。

続いて、制御基板収納部２０２側の各部の詳細について説明する。レーザ信号処理部２４０は、算出手段の一例であり、レーザレーダ測距部１２０より送信されたレーザ受光信号に基づいて、所定のオブジェクトまでの距離を算出し、算出した距離情報を距離計算処理部２５０に送信する。なお、レーザ信号処理部２４０では、レーザレーダ測距部１２０より送信されたレーザ受光信号のうち、距離計算処理部２５０から送信された処理範囲内のレーザ受光信号を処理することで、所定のオブジェクトまでの距離を算出する。

距離計算処理部２５０は、例えば、ＦＰＧＡ（Field-Programmable gate array）や、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用の集積回路により構成される。距離計算処理部２５０は、単眼カメラ部１１１、１１２及びレーザ信号処理部２４０に対して、撮影タイミング及びレーザ光の投受光タイミングを制御するための同期制御信号を出力する。また、距離計算処理部２５０は、レーザ信号処理部２４０に対して、レーザ受光信号を処理する際の処理範囲を通知する。

更に、距離計算処理部２５０は、単眼カメラ部１１１より送信された比較画像、単眼カメラ部１１２より送信された基準画像、レーザ信号処理部２４０より送信された距離情報に基づいて、視差画像を生成する。距離計算処理部２５０は、生成した視差画像をメモリ２６０に格納する。

メモリ２６０は、距離計算処理部２５０にて生成された視差画像を格納する。また、メモリ２６０は、距離計算処理部２５０及びＭＰＵ２７０が各種処理を実行する際のワークエリアを提供する。

ＭＰＵ２７０は、制御基板収納部２０２に収納された各部を制御するとともに、メモリ２６０に格納された視差画像を解析する解析処理を行う。

＜３．３次元センサの距離分解能及び空間分解能＞
次に、視差演算システム１００が備える各３次元センサ（ステレオカメラ部１１０、レーザレーダ測距部１２０）の距離分解能及び空間分解能について簡単に説明する。

図３、図４は、３次元センサの距離分解能及び空間分解能を説明するための図である。このうち、図３は、ステレオカメラ部１１０の距離分解能及び空間分解能を説明するための図である。図３（ａ）に示すように、ステレオカメラ部１１０により撮影された撮影画像に基づいて算出される距離情報は、ステレオカメラ部１１０に近い位置ほど、距離分解能が高く、ステレオカメラ部１１０から離れるにつれて、距離分解能が低くなる。

このとき、距離情報の距離分解能は、オブジェクトまでの距離には比例せず、図３（ｂ）のグラフに示すように、所定の距離（例えば、２５［ｍ］）以上離れると、急速に低下する。なお、図３（ｂ）において、横軸は、視差（画素数で示した視差）を表し、縦軸は、オブジェクトまでの距離を表している。図３（ｂ）のグラフの場合、グラフの左下にいくほど距離分解能が高くなり、右上にいくほど距離分解能が低くなる。

つまり、ステレオカメラ部１１０により撮影された撮影画像に基づいて算出される距離情報は、所定の距離以下においては、高い距離分解能を有しているといえる。なお、ステレオカメラ部１１０の場合、距離分解能が高ければ、空間分解能も高くなることから、ステレオカメラ部１１０により撮影された撮影画像に基づいて算出される距離情報は、所定の距離以下においては空間分解能も高いといえる。

一方、図４は、レーザレーダ測距部１２０の距離分解能及び空間分解能を説明するための図である。図４（ａ）に示すように、レーザレーダ測距部１２０により生成されたレーザ受光信号に基づいて算出される距離情報は、レーザレーダ測距部１２０からの距離に関わらず、一定の距離分解能を有する。図４（ｂ）のグラフに示すように、レーザ光を出射してから受光するまでの応答時間は、オブジェクトまでの距離に比例し、その傾きは概ね一定となるからである。なお、図４（ｂ）において、横軸は、レーザ光を出射してから受光するまでの応答時間を表し、縦軸は、オブジェクトまでの距離を表している。

加えて、本実施形態におけるレーザレーダ測距部１２０は、応答時間をナノ秒オーダで測定する。このため、レーザレーダ測距部１２０により生成されたレーザ受光信号に基づいて算出される距離情報は、オブジェクトまでの距離によらず、いずれの距離においても概ねステレオカメラ部１１０よりも高い距離分解能を有することになる。

ただし、レーザレーダ測距部１２０の場合、ステレオカメラ部１１０による撮影と同期してレーザ光を出射するため、ステレオカメラ部１１０による１フレームの撮影の間に出射可能なレーザ光の出射範囲には上限がある。このため、レーザレーダ測距部１２０の場合、高い空間分解能を実現することができない。

このように、視差演算システム１００が備える各３次元センサは、距離分解能及び空間分解能について、それぞれ異なる特性を有している。このため、視差演算システム１００において、それぞれの特性を活かすためには、オブジェクトまでの距離が所定の距離以下においては、ステレオカメラ部１１０により撮影された撮影画像に基づいて算出される距離情報を主として利用するのが効果的である。一方、オブジェクトまでの距離が所定の距離を超える場合には、レーザレーダ測距部１２０により生成されたレーザ受光信号に基づいて算出される距離情報を主として利用するのが効果的である。

＜４．視差演算の特性＞
次に、ステレオカメラ部１１０により撮影された撮影画像に基づき、距離計算処理部２５０にて行われる視差演算の特性について説明する。はじめに、距離計算処理部２５０が視差演算を行う際の、基準画像内の演算対象の画素領域である「基準画素領域」と、比較画像内の画素領域について説明する。

図５は、基準画像内の基準画素領域及び比較画像内の画素領域を示す図である。このうち、図５（ｂ）は、単眼カメラ部１１２より送信された基準画像５２０を示している。基準画像５２０において、画素領域ｐは、距離計算処理部２５０が、現在、演算対象としている画素領域である、「基準画素領域」を示している。図５（ｂ）の例では、座標（ｘ、ｙ）により特定される位置の画素領域を基準画素領域ｐとしている。

一方、図５（ａ）は、単眼カメラ部１１１より送信された比較画像５１０を示している。比較画像５１０において、画素領域５１１は、基準画像５２０内の基準画素領域ｐのｘ座標及びｙ座標と同じｘ座標及びｙ座標を有する比較画像５１０内の画素領域を示している。

位置５１２は、基準画像５２０において、基準画素領域ｐに対応する「対応画素領域」の位置を示している。基準画素領域ｐの位置に対応する実空間のオブジェクト（図５の例では、他車両の側面の一部）と、対応画素領域の位置５１２に対応する実空間のオブジェクトとは、実空間内において一致する。ただし、基準画像５２０の撮影位置と比較画像５１０の撮影位置とは、左右方向にずれているため、比較画像５１０上では、位置５１２は、画素領域５１１に対して視差分、左右方向にずれることになる。

ここで、対応画素領域の位置５１２を精度よく抽出するにあたっては、レーザレーダ測距部１２０により取得される距離情報を利用することが効果的である。基準画素領域ｐに対応する位置（またはその近傍）を照射位置として、レーザレーダ測距部１２０がレーザ光を照射していた場合、当該照射位置について、距離分解能の高い距離情報を取得することができるからである。なお、距離計算処理部２５０にて行われる視差演算は、距離分解能の高い距離情報（レーザレーダ測距部１２０により取得される距離情報）を組み込むことで精度を向上させることができるという特性を有する。

図５（ｂ）の例において、点５３０は、基準画像５２０が撮影されたタイミングで、レーザレーダ測距部１２０により照射されたレーザ光の照射位置を、基準画像５２０に重ねて模式的に示したものである。このような場合、本実施形態における視差演算システム１００では、基準画素領域ｐの視差演算において、点５３０を照射位置とするレーザ受光信号に基づいて算出した距離情報を組み込み、視差演算の精度を向上させる（詳細は後述）。

＜５．レーザ信号処理部により算出される距離情報＞
次に、レーザ信号処理部２４０により算出される距離情報の特性について説明する。上述したとおり、レーザレーダ測距部１２０は、応答時間をナノ秒オーダで測定できるため、オブジェクトまでの距離によらず、いずれの距離においてもステレオカメラ部１１０より高い距離分解能を有する。

しかしながら、レーザレーダ測距部１２０のようにＴＯＦ方式のレーザレーダ測距装置の場合、オブジェクトまでの距離が長くなると、レーザ受光信号の信号強度が低下する。下式（１）は、オブジェクトまでの距離Ｌと、レーザレーダ測距部１２０にて生成されるレーザ受光信号の信号強度Ｐ_ｒとの関係を示す式である。

なお、上式（１）において、Ｓ_ＲＣＶは、受光素子２３５の面積を表し、ηは、受光素子２３５に集光されるレーザ光のうち、受光素子２３５に入力される割合を表す。また、Ｓ_Ｓｎｄは、オブジェクトにおけるレーザ光の照射面積を表し、Ｒ_Ｔｇｔは、オブジェクトの反射率を表す。更に、Ｐ_Ｏは、レーザ光源２３２の出力を表し、Ｔ_ＦＧは、レーザ光源２３２の光利用効率を表す。

上式（１）に示すように、レーザ受光信号の信号強度Ｐ_ｒは、オブジェクトまでの距離Ｌの２乗に反比例して低下する。このため、レーザ信号処理部２４０においては、所定の距離以下であっても、取得したレーザ受光信号の中から、オブジェクトでの反射を示す信号を検出することが困難な場合がある。このような場合、レーザ信号処理部２４０では、ノイズを誤検出することとなり、正しい距離情報を出力することができない。図６を用いて詳細に説明する。

図６は、レーザレーダ測距部により生成されるレーザ受光信号の一例を示す図であり、横軸は、レーザ光を出射してから受光するまでの応答時間を表し、縦軸は、レーザ受光信号の信号強度を表している。

このうち、図６（ａ）は、レーザ光が照射されるオブジェクトまでの距離Ｌが短い場合のレーザ受光信号の一例を示している。図６（ａ）に示すように、レーザ光が照射されるオブジェクトまでの距離Ｌが短い場合、オブジェクトでの反射を示す信号の信号強度（６１１）と、オブジェクト以外での反射を示す信号の信号強度（６１２）との差が大きい。このため、オブジェクトでの反射を示す信号を容易に検出することができる。

一方、図６（ｂ）は、レーザ光が照射されるオブジェクトまでの距離Ｌが長い場合のレーザ受光信号の一例を示している。図６（ｂ）に示すように、レーザ光が照射されるオブジェクトまでの距離Ｌが長い場合、オブジェクトでの反射を示す信号の信号強度（６２１）と、オブジェクト以外での反射を示す信号の信号強度（６２２）との差が小さい。このため、オブジェクトでの反射を示す信号を検出するのは容易ではなく、オブジェクト以外の反射を示す信号を、オブジェクトでの反射を示す信号と誤検出してしまう可能性が高い。この結果、レーザレーダ測距部１２０の高い距離分解能にも関わらず、レーザ信号処理部２４０では誤った距離情報を出力することになる。

このようなことから、本実施形態に係る視差演算システム１００では、レーザ信号処理部２４０により算出される距離情報を、視差演算に組み込むにあたり、正しい距離情報を組み込むことができるよう、レーザ受光信号の処理範囲を限定する。具体的には、本実施形態に係る視差演算システム１００の場合、ステレオカメラ部１１０により撮影された撮影画像に基づいて算出される距離情報に基づいて、レーザ受光信号の処理範囲を決定する。

このように、レーザ受光信号の処理範囲を限定することで、本実施形態によれば、オブジェクト以外の反射を示す信号を、オブジェクトでの反射を示す信号と誤検出してしまう可能性を低減させることができる。この結果、距離計算処理部２５０では、レーザ信号処理部２４０から出力される正しい距離情報を組み込んで視差演算を行うことが可能となる。

＜６．距離計算処理部２５０の機能構成＞
次に、距離計算処理部２５０の機能構成について説明する。図７は、距離計算処理部の機能構成を示す図である。なお、図７では、距離計算処理部の機能構成のうち、視差演算に関する処理を実現するための機能構成についてのみ示し、その他の機能構成（例えば、同期制御信号を送信するための機能等）については省略してある。

図７に示すように、視差演算に関する処理を実現するための機能構成として、距離計算処理部２５０は、処理範囲算出部７１０と視差画像生成部７２０とを有する。

処理範囲算出部７１０は、更に、第１コスト算出部７１１、第１合成コスト算出部７１２、第１視差演算部７１３、範囲決定部７１４を有する。

また、視差画像生成部７２０は、更に、第２コスト算出部７２１、第２合成コスト算出部７２２、第２視差演算部７２３を有する。

以下、処理範囲算出部７１０及び視差画像生成部７２０の各部の詳細について説明する。

＜７．処理範囲算出部７１０の各部の詳細＞
はじめに、処理範囲算出部７１０の各部の詳細について説明する。

（１）第１コスト算出部７１１の機能構成
図８は、第１コスト算出部の機能構成の詳細を示す図である。図８に示すように、第１コスト算出部７１１は、基準画像取得部８０１、比較画像取得部８０２、コストＣ計算部８０３を有する。

基準画像取得部８０１は、単眼カメラ部１１２から基準画像５２０を取得する。また、取得した基準画像５２０から、基準画素領域ｐを抽出する。比較画像取得部８０２は、単眼カメラ部１１１から比較画像５１０を取得する。

コストＣ計算部８０３は、基準画素領域ｐと比較画像５１０内の各画素領域との間でコストＣ（ｐ，ｄ）を算出する。コストＣとは、基準画素領域ｐと比較画像５１０内の各画素領域との間の非類似度を示すパラメータである。

図９は、コストＣ（ｐ，ｄ）の算出方法を説明するための図である。図９（ａ）に示すように、コストＣ計算部８０３は、所定範囲（０〜Ｄ）でシフト量ｄを変化させることで、比較画像５１０内において画素領域５１１を順次シフトさせる。そして、コストＣ計算部８０３は、それぞれのシフト量ｄの位置における画素領域５１１の画素値と、図９（ｂ）の基準画像５２０の基準画素領域ｐの画素値との非類似度として、コストＣ（ｐ，ｄ）を算出する。

なお、コストＣ（ｐ，ｄ）は、例えば、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Distance）等、画素領域間の画素値の差分に基づいて算出する、公知のマッチング方法を用いて算出する。このため、算出されるコストＣ（ｐ，ｄ）は、基準画素領域ｐの画素値と類似するほど低い値となり、類似しないほど高い値となる。

コストＣ計算部８０３は、算出したコストＣ（ｐ，ｄ）を第１合成コスト算出部７１２に通知する。

（２）第１合成コスト算出部７１２の機能構成
第１合成コスト算出部７１２は、第１コスト算出部７１１より通知された各画素領域のコストＣ（ｐ，ｄ）を合成することで第１合成コストＳを算出し、合成結果を得る。第１合成コスト算出部７１２は、例えば、ＳＧＭ（Semi-Global Matching）等の処理方法を用いて、複数の第１経路コストＬ_ｒを算出し、それぞれの第１経路コストＬ_ｒを、基準画素領域ｐに集約させることで、第１合成コストＳを算出する。

図１０は、第１合成コスト算出部の機能構成の詳細を示す図である。図１０に示すように、第１合成コスト算出部７１２は、第１経路コスト計算部１００１と、第１合成コストＳ計算部１００２とを有する。

第１経路コスト計算部１００１は、第１コスト算出部７１１よりコストＣ（ｐ，ｄ）を取得すると、下式（２）に基づいて、第１経路コストＬ_ｒ（ｐ，ｄ）を算出する。

ここで、上式（２）は、ＳＧＭを用いた経路コストＬ_ｒの一般的な式である。また、上式（２）においてＰ_１、Ｐ_２は固定のパラメータである。

上式（２）のもと、第１経路コスト計算部１００１では、基準画素領域ｐのコストＣ（ｐ，ｄ）に、図１１に示されているｒ方向の各画素領域における第１経路コストＬ_ｒの最小値を加算することで、第１経路コストＬ_ｒ（ｐ，ｄ）を求める。なお、図１１は、第１経路コストＬ_ｒ（ｐ，ｄ）の算出におけるｒ方向を示す図である。

図１１に示すように、第１経路コスト計算部１００１では、基準画素領域ｐのｒ方向（例えば、ｒ_１３５方向）の一番端の画素領域において第１経路コストＬ_ｒ（例えば、Ｌ_ｒ１３５（ｐ−２ｒ，ｄ））を求める。続いて、第１経路コスト計算部１００１では、ｒ方向に沿って第１経路コストＬ_ｒ（Ｌ_ｒ１３５（ｐ−ｒ，ｄ））を求める。本実施形態において、第１経路コスト計算部１００１は、これらの処理を繰り返すことで得られる第１経路コストＬ_ｒ（例えば、Ｌ_ｒ１３５（ｐ，ｄ））を、８方向について算出し、第１経路コストＬ_ｒ０（ｐ，ｄ）〜Ｌ_ｒ３１５（ｐ，ｄ）を得る。

第１合成コストＳ計算部１００２は、第１経路コスト計算部１００１において求めた８方向の第１経路コストＬ_ｒ０（ｐ，ｄ）〜Ｌ_ｒ３１５（ｐ，ｄ）に基づいて、下式（３）により第１合成コストＳ（ｐ，ｄ）を算出する。

第１合成コストＳ計算部１００２は、算出した第１合成コストＳ（ｐ，ｄ）を、第１視差演算部７１３に通知する。

（３）第１視差演算部７１３の機能
第１視差演算部７１３は、第１合成コスト算出部７１２により算出された第１合成コストＳ（ｐ，ｄ）に基づいて、基準画素領域ｐに対応する比較画像５１０内の対応画素領域を抽出し、基準画素領域ｐの視差を演算する。

なお、第１コスト算出部７１１及び第１合成コスト算出部７１２は、基準画像５２０内の他の基準画素領域についても同様の処理を行う。そして、第１視差演算部７１３では、各基準画素領域について、それぞれの視差（第１視差）を演算し、演算結果を範囲決定部７１４に通知する。

（４）範囲決定部７１４の機能
範囲決定部７１４は、第１視差演算部７１３より通知された視差（第１視差）の演算結果のうち、基準画素領域ｐ及びその周辺の画素領域の視差を抽出し、処理範囲を決定する。図１２を参照しながら、具体的に説明する。

図１２は、範囲決定部による処理範囲の決定方法を説明するための図であり、基準画像５２０のうち、レーザレーダ測距部１２０によりレーザ光が照射された照射位置（点５３０）及びその周辺の画素領域を示している。

図１２に示すように、基準画像５２０のうち、点５３０の座標（ｘ_ｌ，ｙ_ｌ）により特定される位置に対応する実空間のオブジェクトにレーザ光が照射されたとする。なお、座標（ｘ_ｌ，ｙ_ｌ）は、基準画素領域ｐの座標（ｘ，ｙ）と一致していてもよいし、多少ずれていてもよい。

このような場合、範囲決定部７１４では、照射位置（ｘ_ｌ，ｙ_ｌ）を中心として、横方向に±１／２ａ画素分、縦方向に±ｂ画素分の画素領域を抽出する。

範囲決定部７１４は、更に、第１視差演算部７１３において演算されたそれぞれの視差のうち、抽出した画素領域について演算された視差を抽出する。なお、図１２の例は、紙面の都合上、範囲決定部７１４が抽出した画素領域について演算された視差のうち、左上の画素領域、右上の画素領域、左下の画素領域、右下の画素領域についてそれぞれ演算された視差のみを示している。

範囲決定部７１４は、更に、抽出した視差の中から、演算頻度が最大の視差を抽出する。

そして、範囲決定部７１４は、決定手段として機能することで、演算頻度が最大の視差±１画素に相当する距離を、レーザ信号処理部２４０がレーザ受光信号を処理する際の処理範囲として決定する。

具体的には、範囲決定部７１４は、抽出した視差のうち、演算頻度が最大の視差＋１画素に相当する最小距離から、演算頻度が最大の視差−１画素に相当する最大距離までの範囲を、レーザ受光信号を処理する際の処理範囲に決定する。

更に、範囲決定部７１４は、決定した処理範囲をレーザ信号処理部２４０に通知する。これにより、レーザ信号処理部２４０は、レーザ受光信号のうち、通知された処理範囲を対象として、オブジェクトでの反射を示す信号を検出し、例えば、点５３０の距離情報を算出する。なお、レーザ信号処理部２４０は、通知された処理範囲を規定する最小距離と最大距離とをそれぞれ光速で除算することで時間範囲に変換した処理範囲を対象として、オブジェクトでの反射を示す信号を検出する。

図１３は、範囲決定部により決定された処理範囲を示す図である。図１３において、横軸は、レーザ光を出射してから受光するまでの応答時間を表し、縦軸は、レーザ受光信号の信号強度を表している。図１３において、処理範囲１３１０、１３２０は、範囲決定部７１４により決定された処理範囲（時間範囲に変換した処理範囲）である。

なお、図１３（ａ）は、レーザ光が照射されるオブジェクトまでの距離Ｌが短い場合のレーザ受光信号の一例を示している。図１３（ａ）に示すように、レーザ光が照射されるオブジェクトまでの距離Ｌが短い場合、処理範囲１３１０において、オブジェクトでの反射を示す信号の信号強度（６１１）と、オブジェクト以外での反射を示す信号の信号強度（１３１２）との差は更に大きくなる。このため、オブジェクトでの反射を示す信号の検出が更に容易になる。

また、図１３（ｂ）は、レーザ光が照射されるオブジェクトまでの距離Ｌが長い場合のレーザ受光信号の一例を示している。図１３（ｂ）に示すように、レーザ光が照射されるオブジェクトまでの距離Ｌが長い場合であっても（例えば、点５３０についても）、処理範囲１３２０によれば、信号強度（６２１）と信号強度（１３２２）との差を大きくすることができる。つまり、オブジェクトでの反射を示す信号の信号強度と、オブジェクト以外での反射を示す信号の信号強度との差を大きくすることができる。このため、オブジェクトでの反射を示す信号を容易に検出することが可能となり、オブジェクト以外での反射を示す信号を、オブジェクトでの反射を示す信号と誤検出してしまう可能性を低減させることができる。

なお、上記説明では、範囲決定部７１４が抽出した視差のうち、演算頻度が最大の視差±１画素に相当とする距離を処理範囲に決定する場合について説明したが、処理範囲の決定方法はこれに限定されない。例えば、範囲決定部７１４は、下式（４）に基づいて算出される視差に相当する距離を処理範囲を決定するようにしてもよい。

上式（４）において、ｄ_ｍｏｄｅは、基準画素領域ｐ及びその周辺の画素領域について演算された視差のうち、演算頻度が最大の視差である。ｗは、演算頻度が最大の視差から、標準偏差に対して、どれくらいの幅をもたせるかを示す係数である。ｎ'は、基準画素領域ｐ及びその周辺の画素領域について演算された整数の視差のうち、演算頻度が最大の視差に対して、±１画素以内に入っている視差の数を表している。ｄ'は、基準画素領域ｐ及びその周辺の画素領域について演算された整数の視差のうち、演算頻度が最大の視差に対して、±１画素以内に入っている視差を表している。

上式（４）によれば、視差のばらつきが大きい場合に、処理範囲を広くし、視差のばらつきが小さい場合に、処理範囲を狭くすることができる。

＜８．視差画像生成部７２０の各部の詳細＞
続いて、視差画像生成部７２０の各部の詳細について説明する。

（１）第２コスト算出部７２１の機能構成
図１４は、第２コスト算出部の機能構成の詳細を示す図である。図１４に示すように、第２コスト算出部７２１は、基準画像取得部１４０１、比較画像取得部１４０２、コストＣ計算部１４０３、コストＣ調整部１４０４を有する。また、第２コスト算出部７２１は、距離情報取得部１４１１、コストＣ_ｌ計算部１４１２、重み付け加算部１４２０を有する。

基準画像取得部１４０１は、単眼カメラ部１１２から基準画像５２０を取得する。また、取得した基準画像５２０から、基準画素領域ｐを抽出する。比較画像取得部１４０２は、単眼カメラ部１１１から比較画像５１０を取得する。

コストＣ計算部１４０３は、基準画素領域ｐのコストＣ（ｐ，ｄ）を算出する。なお、コストＣ（ｐ，ｄ）の算出方法は、図９を用いて説明済みであるため、ここでは、コストＣ（ｐ，ｄ）の算出方法の説明を省略する。

コストＣ調整部１４０４は、コストＣ計算部１４０３により算出された基準画素領域ｐのコストＣ（ｐ，ｄ）を、信頼度に基づいて調整する。コストＣ調整部１４０４は、下式（５）を用いて調整することで、調整後のコストＣ'（ｐ，ｄ）を得る。

ここで、Ｄは、シフト量の最大値を表している。ｋはシフト量のカウント値を表している。また、Ｑ（ｐ）は、基準画素領域ｐのコストＣ（ｐ，ｄ）の信頼度を示している。信頼度Ｑ（ｐ）は、例えば、下式（６）を用いて算出される。

ここで、Ｃ_ｍｉｎ１、Ｃ_ｍｉｎ２は、所定範囲（０〜Ｄ）でシフト量ｄを変化させることで算出されたそれぞれのコストＣ（ｐ，ｄ）のうち、最も低いコストと２番目に低いコストを表している。なお、上式（６）に基づいて算出される信頼度Ｑ（ｐ）は、Ｃ_ｍｉｎ１、Ｃ_ｍｉｎ２に基づいて算出した値を、０〜１．０未満に正規化し、信頼度が高いほど１．０に近づくよう補正したうえで、上式（５）に用いられるものとする。

コストＣ調整部１４０４により調整された調整後のコストＣ'（ｐ，ｄ）は、例えば、基準画素領域ｐがテクスチャが少ない領域（隣り合う画素領域間の画素値の変化が少ない領域）にあり、信頼度Ｑ（ｐ）が低い場合には、より大きな値となる。

距離情報取得部１４１１は、レーザ信号処理部２４０より距離情報を取得する。レーザ信号処理部２４０より取得する距離情報は、処理範囲を限定したことで誤検出の可能性が低減された距離情報である。ここでは、レーザ信号処理部２４０より取得した距離情報を、Ｚ_ｌとおく。距離情報取得部１４１１は、取得した距離情報Ｚ_ｌをコストＣ_ｌ計算部１４１２に通知する。

コストＣ_ｌ計算部１４１２は、距離情報取得部１４１１より通知された距離情報Ｚ_ｌに基づいて、コストＣ_ｌを算出する。コストＣ_ｌとは、取得した距離情報Ｚ_ｌに基づいて導出される位置にある比較画像５１０内の画素領域と、基準画素領域ｐとの非類似度を示すパラメータである。

具体的には、コストＣ_ｌ計算部１４１２では、まず、距離情報Ｚ_ｌに基づいて、下式（７）を用いてシフト量ｄ_ｌを算出する。これにより、距離情報Ｚ_ｌに基づいて導出される位置にある比較画像５１０内の画素領域が抽出される。

上式（７）において、Ｂは、カメラレンズ２１１とカメラレンズ２２１との間の基線長である。ｆは、カメラレンズ２１１、カメラレンズ２２１の焦点距離である。

コストＣ_ｌ計算部１４１２は、続いて、シフト量ｄ_ｌにおけるコストＣ_ｌ（ｐ，ｄ_ｌ）を算出する。上述したコストＣ（ｐ，ｄ）の算出と同様に、コストＣ_ｌ計算部１４１２では、シフト量ｄ_ｌの位置における画素領域５１１の画素値と基準画素領域ｐの画素値との非類似度として、コストＣ_ｌ（ｐ，ｄ_ｌ）を算出する。

重み付け加算部１４２０は、コストＣ調整部１４０４において調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣ_ｌ計算部１４１２において算出されたコストＣ_ｌ（ｐ，ｄ_ｌ）とを用いて、下式（８）に基づいて重み付け加算し、重み付けコストを算出する。

ここで、ｗ_ｄは、コストＣ調整部１４０４により調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣ_ｌ計算部１４１２により算出されたコストＣ_ｌ（ｐ，ｄ_ｌ）のいずれを優先するかを示す重み係数である。コストＣ調整部１４０４により調整された調整後のコストＣ'（ｐ，ｄ）を優先させる場合には、ｗ_ｄの値を大きくする。一方、コストＣ_ｌ計算部１４１２により算出されたコストＣ_ｌ（ｐ，ｄ_ｌ）を優先させる場合には、ｗ_ｄの値を小さくする。

具体的には、シフト量ｄ≠ｄ_ｌの場合、ｗ_ｄの値を大きくする。これにより、比較画像５１０内の画素領域５１１のうち、シフト量ｄ≠ｄ_ｌの画素領域の重み付けコストをより大きくすることができる。なお、調整後のコストＣ'（ｐ，ｄ）は、例えば、テクスチャが少ない領域等においてより大きな値となっており、ｗ_ｄの値を大きくして調整後のコストＣ'（ｐ，ｄ）を優先させることで、シフト量ｄ≠ｄ_ｌの画素領域の重み付けコストはより大きな値となる。

一方、シフト量ｄ＝ｄ_ｌの場合、ｗ_ｄの値を小さくする。これにより、比較画像５１０内の画素領域５１１のうち、シフト量ｄ＝ｄ_ｌの画素領域の重み付けコストをより小さくすることができる。なお、コストＣ_ｌ計算部１４１２により算出されたコストＣ_ｌ（ｐ，ｄ_ｌ）は、コストＣ調整部１４０４により算出された調整後のコストＣ'（ｐ，ｄ）よりも小さい値となっている。このため、ｗ_ｄの値を小さくしてコストＣ_ｌ計算部１４１２により算出されたコストＣ_ｌ（ｐ，ｄ_ｌ）を優先させることで、シフト量ｄ＝ｄ_ｌの画素領域の重み付けコストはより小さな値となる。

つまり、上式（８）によれば、シフト量ｄ＝ｄ_ｌの画素領域とそれ以外の画素領域との間のコストの差を、重み付けコストとして、より顕在化させることができる。

この結果、第２合成コスト算出部７２２により算出される第２合成コストＳ'から対応画素領域を抽出する際に、比較画像５１０内のｄ＝ｄ_ｌの画素領域が抽出しやすくなる。つまり、基準画素領域ｐに対応する対応画素領域の位置５１２を精度よく抽出することが可能となる。

なお、上式（８）において、ｗ_ｄの値は、固定値であってもよいし、距離情報Ｚ_ｌの値に応じて変更してもよい。あるいは、周囲環境に応じて（例えば、日中か夜間かに応じて）変更するように構成してもよい。

重み付け加算部１４２０は、上式（８）に基づいて算出した重み付けコストを、第２合成コスト算出部７２２に通知する。

（２）第２合成コスト算出部７２２の機能構成
第２合成コスト算出部７２２は、第２コスト算出部７２１より通知された各画素領域の重み付けコストを合成することで第２合成コストＳ'を算出し、合成結果を得る。第２合成コスト算出部７２２は、例えば、ＳＧＭ（Semi-Global Matching）等の処理方法を用いて、複数の第２経路コストＬ_ｒ'を算出し、それぞれの第２経路コストＬ_ｒ'を、基準画素領域ｐに集約させることで、第２合成コストＳ'を算出する。

図１５は、第２合成コスト算出部の機能構成の詳細を示す図である。図１５に示すように、第２合成コスト算出部７２２は、第２経路コスト計算部１５０１と、第２合成コストＳ'計算部１５０２とを有する。

第２経路コスト計算部１５０１は、重み付け加算部１４２０より重み付けコストを取得すると、下式（９）に基づいて、第２経路コストＬ_ｒ'（ｐ，ｄ）を算出する。

ここで、上式（９）は、ＳＧＭを用いた経路コストの一般的な式において、コストＣ（ｐ，ｄ）を、重み付けコストに置き換えたものである。また、上式（９）においてＰ_１、Ｐ_２は固定のパラメータである。

上式（９）のもと、第２経路コスト計算部１５０１では、基準画素領域ｐの重み付けコストに、ｒ方向の各画素領域における第２経路コストＬ_ｒ'の最小値を加算することで、ｒ方向の第２経路コストＬ_ｒ'（ｐ，ｄ）を求める。なお、第２経路コスト計算部１５０１では、ｒ_０〜ｒ_３１５方向それぞれについて、第２経路コストを算出することで、第２経路コストＬ_ｒ０'（ｐ，ｄ）〜Ｌ_ｒ３１５'（ｐ，ｄ）を得る。

第２合成コストＳ'計算部１５０２は、第２経路コスト計算部１５０１において求めた８方向の第２経路コストＬ_ｒ０'（ｐ，ｄ）〜Ｌ_ｒ３１５'（ｐ，ｄ）に基づいて、下式（１０）により第２合成コストＳ'（ｐ，ｄ）を算出する。

第２合成コストＳ'計算部１５０２は、算出した第２合成コストＳ'（ｐ，ｄ）を、第２視差演算部７２３に通知する。

（３）第２視差演算部７２３の処理
第２視差演算部７２３は、再演算手段の一例であり、第２合成コスト算出部７２２により算出された第２合成コストＳ'に基づいて、基準画素領域ｐに対応する比較画像５１０内の対応画素領域を抽出し、基準画素領域ｐの視差を再演算する。

図１６は、基準画素領域ｐにおける第２合成コストＳ'の算出結果を示す図である。第２視差演算部７２３は、所定範囲（０〜Ｄ）において、第２合成コストＳ'（ｐ，ｄ）が最小となるシフト量ｄ_ｍｉｎを算出することで、比較画像５１０より対応画素領域を抽出する。これにより、第２視差演算部７２３では、抽出した対応画素領域と基準画素領域との視差（第２視差）として、シフト量ｄ_ｍｉｎを取得できる。

なお、第２視差演算部７２３は、基準画像５２０内の他の基準画素領域についても同様の処理を行い視差（第２視差）の再演算結果を取得することで、視差画像を生成し、生成した視差画像をメモリ２６０に格納する。

＜９．距離計算処理部２５０による視差画像生成処理＞
次に、距離計算処理部２５０による視差画像生成処理の流れについて説明する。図１７は、距離計算処理部による視差画像生成処理の流れを示すフローチャートである。なお、図１７に示すフローチャートは、レーザレーダ測距部１２０によりレーザ光が照射された照射位置に対応する１の基準画素領域ｐについての視差を演算する処理を示したものである。したがって、視差画像の生成にあたり、距離計算処理部２５０は同様の各基準画素領域について図１７に示すフローチャートを実行する。

ステップＳ１７０１において、基準画像取得部８０１は、基準画像５２０を取得し、基準画素領域ｐを抽出する。

ステップＳ１７０２において、コストＣ計算部８０３は、比較画像取得部８０２にて取得された比較画像５１０内のシフト量ｄの位置における画素領域５１１の画素値と、基準画素領域ｐの画素値とに基づいて、コストＣ（ｐ，ｄ）を算出する。

ステップＳ１７０３において、第１経路コスト計算部１００１は、コストＣ（ｐ，ｄ）に基づいて、各第１経路コストＬ_ｒ（ｐ，ｄ）を算出する。

ステップＳ１７０４において、第１合成コストＳ計算部１００２は、各第１経路コストＬ_ｒ（ｐ，ｄ）に基づいて、第１合成コストＳ（ｐ，ｄ）を算出する。

ステップＳ１７０５において、第１視差演算部７１３は、第１合成コストＳ（ｐ，ｄ）が最小となるシフト量を算出する。これにより、第１視差演算部７１３は、比較画像５１０より対応画素領域を抽出するとともに、抽出した対応画素領域と基準画素領域ｐとの視差（第１視差）の演算結果を取得する。

ステップＳ１７０６において、範囲決定部７１４は、レーザ信号処理部２４０が、レーザ受光信号を処理する際の処理範囲を、視差の演算結果に基づいて決定する。また、範囲決定部７１４は、決定した処理範囲を、レーザ信号処理部２４０に通知する。これにより、レーザ信号処理部２４０は、オブジェクトでの反射を示す信号を検出し、距離情報Ｚ_ｌを算出する。

ステップＳ１７０７において、コストＣ計算部１４０３は、比較画像取得部１４０２にて取得された比較画像５１０内のシフト量ｄの位置における画素領域５１１の画素値と、基準画素領域ｐの画素値とに基づいて、コストＣ（ｐ，ｄ）を算出する。

ステップＳ１７０８において、コストＣ調整部１４０４は、算出されたコストＣ（ｐ，ｄ）を信頼度Ｑ（ｐ）に基づいて調整し、調整後のコストＣ'（ｐ，ｄ）を算出する。

ステップＳ１７０９において、距離情報取得部１４１１は、基準画素領域ｐの位置に対応する実空間のオブジェクトまでの距離を示す距離情報Ｚ_ｌを、レーザ信号処理部２４０より取得する。

ステップＳ１７１０において、コストＣ_ｌ計算部１４１２は、距離情報取得部１４１１において取得された距離情報Ｚ_ｌに基づいて、コストＣ_ｌを算出する。

ステップＳ１７１１において、重み付け加算部１４２０は、コストＣ調整部１４０４において調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣ_ｌ計算部１４１２において算出されたコストＣ_ｌ（ｐ，ｄ）とを重み付け加算し、重み付けコストを算出する。

ステップＳ１７１２において、第２経路コスト計算部１５０１は、重み付けコストを用いて各第２経路コストＬ_ｒ'（ｐ、ｄ）を算出する。

ステップＳ１７１３において、第２合成コストＳ'計算部１５０２は、各第２経路コストＬ_ｒ'（ｐ，ｄ）に基づいて、第２合成コストＳ'（ｐ，ｄ）を算出する。

ステップＳ１７１４において、第２視差演算部７２３は、第２合成コストＳ'（ｐ，ｄ）が最小となるシフト量（ｄ_ｍｉｎ）を算出することで、比較画像５１０より対応画素領域を抽出する。これにより、第２視差演算部７２３は、抽出した対応画素領域と基準画素領域ｐとの視差（第２視差）の再演算結果を取得する。

＜１０．まとめ＞
以上の説明から明らかなように、本実施形態における視差演算システム１００は、
・基準画素領域ｐの位置に対応する実空間のオブジェクトに、レーザ光を照射することで生成されたレーザ受光信号を取得する。
・基準画素領域ｐのコストＣを算出し、算出したコストＣを合成することで算出した第１合成コストＳに基づいて、基準画素領域ｐにおける視差を演算する。
・レーザ受光信号のうち、基準画素領域ｐにおける視差に基づいて算出した処理範囲を対象に処理を行い、オブジェクトでの反射を示す信号を検出することで、オブジェクトまでの距離を算出する。

これにより、本実施形態によれば、視差演算システムに用いるレーザレーダ測距部において、ノイズの誤検出を低減させ、測距精度を向上させることができる。

更に、本実施形態における視差演算システム１００は、
・基準画素領域ｐの位置に対応する実空間のオブジェクトまでの距離情報として、レーザレーダ測距部により算出された距離情報Ｚ_ｌを取得する。
・取得した距離情報Ｚ_ｌに対応するシフト量ｄ_ｌに基づいて、コストＣ_ｌを算出する。
・基準画素領域ｐのコストＣを信頼度に基づいて調整した調整後のコストＣ'と、距離情報Ｚ_ｌに基づいて算出したコストＣ_ｌとを重み係数ｗ_ｄを用いて重み付け加算し、重み付けコストを算出する。
・算出した重み付けコストを合成することで第２合成コストＳ'を算出する。
・算出した第２合成コストＳ'に基づいて、基準画素領域ｐに対応する比較画像内の対応画素領域を抽出し、基準画素領域ｐにおける視差を再演算する。

これにより、レーザレーダ測距部により算出された距離情報に基づいて導出される位置にある比較画像内の画素領域について、他の画素領域よりも低い重み付けコストを算出することが可能となる。この結果、当該重み付けコストを合成した第２合成コストを用いれば、対応画素領域を抽出する際に、当該画素領域が対応画素領域として抽出しやすくなる。

つまり、本実施形態における視差演算システム１００によれば、対応画素領域を精度よく抽出することが可能となり、精度の高い視差演算を行うことが可能となる。

［他の実施形態］
上記実施形態では、画素領域についてコストＣを算出する場合について説明したが、コストＣの算出は、１画素ごとに行うように構成してもよい。この場合、第１コスト算出部７１１及び第２コスト算出部７２１では、基準画像５２０から基準画素を抽出し、比較画像５１０の各画素との間でコストＣを算出することになる。つまり、上記実施形態に記載の"画素領域"には、１または複数の画素が含まれるものとする。

また、上記実施形態では、ステレオカメラ部１１０とレーザレーダ測距部１２０とが一体的に構成される場合について示したが、ステレオカメラ部１１０とレーザレーダ測距部１２０とは、別体により構成されてもよい。

また、上記実施形態では、視差演算システム１００に、３次元センサ（ステレオカメラ部１１０、レーザレーダ測距部１２０）と、制御基板収納部２０２とが含まれるものとして説明した。しかしながら、視差演算システム１００には、３次元センサが含まれていなくてもよく、少なくとも、制御基板収納部２０２においてレーザ信号処理部２４０及び距離計算処理部２５０を実現する基板が含まれていればよい。

また、上記実施形態では、レーザ信号処理部２４０、距離計算処理部２５０が、専用の集積回路により構成されるものとして説明した。しかしながら、例えば、レーザ信号処理部２４０、距離計算処理部２５０の機能を実現するソフトウェアのプログラムコードが記録された記憶媒体を、視差演算システム１００に供給する構成としてもよい。かかる構成の場合、視差演算システム１００のコンピュータが記憶媒体に記録されたプログラムコードを読み出して実行することにより、レーザ信号処理部２４０、距離計算処理部２５０の機能が実現されることになる。

また、上記実施形態では、視差演算システム１００として、レーザレーダ測距部１２０を組み込み、レーザレーダ測距部１２０より照射されたレーザ光の反射光から、レーザ光の照射位置までの距離情報を取得する構成とした。しかしながら、レーザレーダ測距装置以外の電磁波測距装置を組み込み、レーザレーダ測距装置以外の電磁波測距装置より照射された電磁波の反射波から、電磁波の照射位置までの距離情報を取得する構成としてもよい。

また、上記実施形態では、レーザ信号処理部２４０により算出された距離情報を、距離計算処理部２５０に入力し、視差の再演算に用いるものとして説明したが、視差の再演算以外の用途に用いてもよい。

また、上記実施形態では、視差演算システム１００を車両１４０に取り付ける場合について説明した。しかしながら、視差演算システム１００の取り付け先は車両１４０に限定されず、バイク、自転車、車椅子、農業用の耕運機等であってもよい。あるいは、ロボット等の移動体であってもよい。あるいは、ＦＡ（Factory Automation）において固定設置される工業用ロボット等であってもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：視差演算システム
１１０ ：ステレオカメラ部
１１１、１１２ ：単眼カメラ部
１２０ ：レーザレーダ測距部
２５０ ：距離計算処理部
５１０ ：比較画像
５１１ ：画素領域
５２０ ：基準画像
７１０ ：処理範囲算出部
７１１ ：第１コスト算出部
７１２ ：第１合成コスト算出部
７１３ ：第１視差演算部
７１４ ：範囲決定部
７２０ ：視差画像生成部
７２１ ：第２コスト算出部
７２２ ：第２合成コスト算出部
７２３ ：第２視差演算部
８０１ ：基準画像取得部
８０２ ：比較画像取得部
８０３ ：コストＣ計算部
１００１ ：第１経路コスト計算部
１００２ ：第１合成コストＳ計算部
１３１０ ：処理範囲
１３２０ ：処理範囲
１４０１ ：基準画像取得部
１４０２ ：比較画像取得部
１４０３ ：コストＣ計算部
１４０４ ：コストＣ調整部
１４１１ ：距離情報取得部
１４１２ ：コストＣ_ｌ計算部
１４２０ ：重み付け加算部
１５０１ ：第２経路コスト計算部
１５０２ ：第２合成コストＳ'計算部

特開２０１６−０１１９３９号公報

Claims (6)

1. 複数の撮像装置の撮影方向に向かって電磁波を照射することで取得した、反射波を示す信号を処理する際の処理範囲を、該複数の撮像装置により撮影された撮影画像を用いて演算された視差のうち演算頻度が最大の視差に基づいて決定する決定手段と、
   前記決定手段により決定された処理範囲の信号を処理することで、前記電磁波の照射位置までの距離を算出する算出手段と
   を有することを特徴とする視差演算システム。
2. 前記決定手段は、前記電磁波の照射位置に対応する前記撮影画像内の画素領域について演算された視差のうち演算頻度が最大の視差に基づいて、前記処理範囲を決定することを特徴とする請求項１に記載の視差演算システム。
3. 前記算出手段により算出された距離に基づいて、前記撮影画像の視差を再演算する再演算手段を更に有することを特徴とする請求項１または２に記載の視差演算システム。
4. 前記複数の撮像装置と、
   前記電磁波を照射する電磁波測距装置と
   を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の視差演算システム。
5. 請求項１乃至４のいずれか１項に記載の視差演算システムを有する移動体。
6. コンピュータに、
   複数の撮像装置の撮影方向に向かって電磁波を照射することで取得した、反射波を示す信号を処理する際の処理範囲を、該複数の撮像装置により撮影された撮影画像を用いて演算された視差のうち演算頻度が最大の視差に基づいて決定する決定工程と、
   前記決定工程において決定された処理範囲の信号を処理することで、前記電磁波の照射位置までの距離を算出する算出工程と
   を実行させるためのプログラム。