JP7131180B2 - 測距装置、測距方法、プログラム、移動体 - Google Patents

Description

本発明は、測距装置、測距方法、プログラム、及び移動体に関する。

ステレオカメラにおいて視差値を画素ごとに計算する視差計算アルゴリズムが知られている。視差計算アルゴリズムは探索視差空間にコストを投票する方式であり、コスト最小を与える視差値を整数視差値ｄとして得て、整数視差値ｄからサブピクセル視差を推定後、整数視差値ｄとサブピクセル視差を視差推定値Ｄとして得る。そして、距離Ｚと視差推定値Ｄの対応式（Z=BF/D）により各画素に対応する距離を計算する（Ｂは基線長、Ｆは焦点距離）。

このような視差空間コスト投票方式では、整数視差値ｄが小さい（距離Ｚが大きい）遠方領域は、距離分解能を確保することが難しく、また視差計算結果のばらつき（分散）が距離の分散に大きな影響を与えるという課題がある。また、ステレオカメラを使用する産業界（例えば車載業界投）では遠方での測距性能を向上させ、ステレオカメラの低コスト化、小型化、及び、環境ロバスト性能の向上を期待されている。

そこで、ステレオカメラの課題を補うために、空間分解能は低いが距離分解能が高いＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）を利用する試みがある。ＬｉＤＡＲは、物体にレーザ光を照射して反射信号が戻ってくるまでの時間により物体までの距離を算出する測定方法である。時系列の反射信号から物体の反射信号を特定する方法の一例として反射信号のピークを検出する方法がある。空間分解能は高いが遠方の距離分解能が低いステレオカメラと空間分解能は低いが距離分解能が高いＬｉＤＡＲの測定結果を統合（これをフュージョンと呼ぶ場合がある）することで両者の利点を活かすことができる。

このＬｉＤＡＲにおいて測距精度を向上させる技術が知られている（例えば、特許文献１参照。）。特許文献１には、物体からのレーザ光の反射信号に意図的にアンダーシュートを発生させ、物体反射信号の立下りを急峻にすることで、ＬｉＤＡＲの測距精度を高める方法が開示されている。

しかしながら、物体からの反射信号にアンダーシュートを発生させるだけでは、反射信号のピークを検出できるとは限らないという問題がある。例えば、反射信号のうちアンダーシュートした反射信号に対し適切な処理を行わないと反射信号のピークを検出できない場合がある。

本発明は、上記課題に鑑み、物体からの反射信号にアンダーシュートを発生させた際の物体の検出精度を向上させる測距装置を提供することを目的とする。

上記課題に鑑み、本発明は、レーザ光を照射する照射部と、前記レーザ光が物体で反射した反射信号を受光する受光部と、前記受光部が受光した反射信号にアンダーシュート処理を施す第１の処理回路と、前記第１の処理回路によりアンダーシュート処理が施された前記反射信号に、前記物体を表すピークを強調する処理を施すフィルタ回路と、複数の撮像装置が得た画像から第１の距離情報を算出する画像処理部と、前記画像処理部が前記第１の距離情報に基づいて決定した前記反射信号の処理範囲から、前記ピークを取得する取得手段と、前記照射部が前記レーザ光を照射してから前記取得手段が前記ピークを検出するまでの時間を前記物体までの第２の距離情報に変換する変換手段と、前記受光部が受光した反射信号にアンダーシュート処理を施さない第２の処理回路と、を有し、前記取得手段は、前記第１の処理回路がアンダーシュート処理を施した前記反射信号の前記処理範囲から前記ピークとアンダーシュート部分を取得し、更に、前記第２の処理回路がアンダーシュート処理を施さない前記反射信号の前記処理範囲から前記物体を表すピークを取得し、前記変換手段により変換された前記第２の距離情報に基づいて、複数の撮像装置が得た画像の視差を再演算する再演算手段を更に有し、前記画像処理部は、前記変換手段により算出された前記第２の距離情報を第１のコストに変換し、前記複数の撮像装置が得た複数の画像のブロックマッチングにより得た第２のコストを算出し、前記第１のコストと前記第２のコストを重み付けして算出した第３のコストから距離を算出することを特徴とする測距装置を提供する。

物体からの反射信号にアンダーシュートを発生させた際の物体の検出精度を向上させる測距装置を提供することができる。

測距装置の外観構成及び取り付け例を説明する図の一例である。 測距装置の全体的な構成図の一例を示す図である。 測距装置のハードウェア構成例を示す図である。 三角測量により比較画像と基準画像から物体に対する視差値を導き出し、視差値によって測距装置から物体までの距離を測定する原理について説明する図である。 視差値と距離の対応をグラフ形式で示す図である。 ブロックマッチングによる整数視差の算出を説明する図の一例である。 照射されたレーザ光が物体で反射して受光されるまでの時間の測定を模式的に示す図の一例である。 レーザ信号処理部の機能をブロック状に示す機能ブロック図の一例である。 ステレオ画像演算部の機能をブロック状に示す機能ブロック図の一例である。 近傍と遠方での受信される信号レベルの違いの一例を説明する図である。 ステレオ画像演算部の機能を詳細に説明する機能ブロック図の一例である。 第１合成コスト算出部の機能構成の詳細を示す図の一例である。 第１経路コストＬｒ（ｐ，ｄ）の算出におけるｒ方向を示す図である。 範囲決定部による処理範囲の決定方法を説明するための図の一例である。 範囲決定部により決定された処理範囲を示す図の一例である。 第２コスト算出部の機能構成の詳細を示す図の一例である。 第２合成コスト算出部の機能構成の詳細を示す図の一例である。 基準画素領域における第２合成コストＳ'の算出結果を示す図の一例である。 遠方が撮像された画像データとこのような遠方の物体からの反射信号の一例を示す図である。 物体からの反射信号を強調するＰＤ出力検出部の構成例を示す図である。 比較例と本実施形態の受光信号波形の一例を示す図である。 負帰還回路の一例を示す図である。 アンダーシュート処理された反射信号の一例を示す図である。 レーザ光の反射率が低い物体（黒い幕）からの反射信号を説明する図の一例である。 物体からの反射信号を強調するＰＤ出力検出部の構成例を示す図である。 隊列被写体の一例を示す図である。 アンダーシュート処理された隊列被写体の反射信号の一例を示す図である。 ＰＤ出力検出部の一例の構成図である。 ステレオ画像演算部とレーザ信号処理部による視差画像生成処理の流れを示すフローチャートである。 Ａ／Ｄ変換回路により変換した反射信号の大域的な解析を説明する図の一例である。 距離空間をベースにして視差を算出する方法を説明する図の一例である。 距離空間をベースにして視差を簡易的に算出する方法を説明する図の一例である。

以下、本発明を実施するための形態の一例として、測距装置と測距装置が行う測距方法について図面を参照しながら説明する。

＜用語について＞
アンダーシュートとは、何らかの検出対象の検出により検出前より大きくなった信号が検出前の値に戻る際に検出前の値よりも小さくなることをいう。検出前の値がゼロであればアンダーシュートによりマイナスの値になる。反転処理と称される場合もある。

測距装置は、後述するレーザレーダ測距部とステレオカメラ部を有することから測距システムと称してもよい。この他、距離測定装置、測距部などと呼ばれてもよい。

＜測距装置の外観構成及び取り付け例＞
まず、図１を用いて、測距装置の外観構成及び取り付け例について説明する。図１は、測距装置の外観構成及び取り付け例を説明する図の一例である。

測距装置１００は、ステレオカメラ部１１０と、レーザレーダ測距部１２０とを有する。ステレオカメラ部１１０は、右カメラ（第１の撮像装置）１１１と左カメラ（第２の撮像装置）１１２とを備え、レーザレーダ測距部１２０は、右カメラ１１２と左カメラ１１１との間に配置される。レーザレーダ測距部１２０とステレオカメラ部１１０との測定結果を統合（フュージョン）することで、周囲環境の３次元情報をより高精度に取得することが可能になる。

右カメラ１１２と左カメラ１１１は、所定のフレーム周期で同期を取りそれぞれが撮像を行い、撮像画像を生成する。

レーザレーダ測距部１２０は、レーザ光を照射しその反射光を受光することで、ＴＯＦ（Time Of Flight）方式で照射位置（照射方向にある物体）までの距離を測定する。

測距装置１００は、例えば、車両１４０のフロントウィンドウの内側の天井よりの中央部分に取り付けられる。このとき、ステレオカメラ部１１０及びレーザレーダ測距部１２０は、いずれも車両１４０の前方方向に向かって取り付けられる。つまり、車両１４０において、測距装置１００は、ステレオカメラ部１１０の光軸と、レーザレーダ測距部１２０のレーザ光の照射方向の中心とが、同じ方向になるように取り付けられる。

なお、図１の取り付け位置は一例に過ぎず、車両のダッシュボード、ルーフ、又は、バンパ内などに取り付けられてもよい。また、図１の取り付け位置は車両の前方の３次元情報を取得するためのものであり、車両の右側方、左側方、又は後方の３次元情報を取得できるように取り付けられてもよい。

＜測距装置のハードウェア構成＞
続いて、図２に基づき測距装置１００の全体的な構成例について説明する。図２は、測距装置１００の全体的な構成図の一例を示す図である。

測距装置１００は、レーザレーダ測距部１２０とステレオカメラ部１１０とが相互に必要な情報を送受信できるように構成される。ステレオカメラ部１１０は上記のように右カメラと左カメラに加え、基準画像と比較画像を処理して距離画像を出力するステレオカメラ部１１０を有している。

レーザレーダ測距部１２０は後述するようにステレオカメラ部１１０から処理範囲を取得して、処理範囲で物体を絞り込み、絞り込みで得た照射方向ごとの距離情報をステレオカメラ部１１０に出力する。ステレオカメラ部１１０は照射方向ごとの距離情報を使って詳細な距離画像を生成し、ＥＣＵ１９０（Electronic Control Unit：電子制御ユニット）に出力する。このように、レーザレーダ測距部１２０とステレオカメラ部１１０がフュージョンされることでより高精度な３次元情報の取得が可能になる。

図２では一例として、距離画像と基準画像がＥＣＵ１９０に送出されている。ＥＣＵ１９０は車両の電子制御ユニットである。なお、車載された測距装置１００を車載装置という。ＥＣＵ１９０は、測距装置１００が出力する距離画像と基準画像を用いて各種の運転支援を行う。基準画像については種々のパターンマッチングを行い先行車両、歩行者、白線、信号機の状態の認識等を行う。

運転支援は車両によって様々であるが、例えば、対象物の横位置が自車両の車幅と重なる場合、距離と相対速度から算出されるＴＴＣ(Time To Collision)に応じて警報や制動などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向にステアリングを操舵する。

また、ＥＣＵ１９０は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら自車両も停車させ、先行車が発進したら自車両も発進する。また、ＥＣＵ１９０が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御や走行レーンから逸脱するおそれがあると走行方向を走行レーンに向けて変更する逸脱防止制御等を行うことができる。

また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警報したりすることで被害を軽減する。

図３は、測距装置１００のハードウェア構成例を示す図である。測距装置１００は、センサステイ２０１と制御基板収納部２０２とを有する。センサステイ２０１には、左カメラ１１１、右カメラ１１２及びレーザレーダ測距部１２０が取り付けられている。左カメラ１１１と右カメラ１１２に挟まれるこれらの直線上にレーザレーダ測距部１２０が配置されることで、測距装置１００の小型化及び低コスト化を実現している。左カメラ１１１と右カメラ１１２の間隔を基線長というが、基線長が長い方が視差を稼ぎやすい。測距装置１００を小型化するには基線長を短くする必要があり、基線長を短くしながら精度を損なわないことが求められる。

制御基板収納部２０２には、レーザ信号処理部２４０、ステレオ画像演算部２５０、メモリ２６０、及び、ＭＰＵ（Micro Processing Unit）２７０が収納されている。レーザ信号処理部２４０をレーザレーダ測距部１２０とは別体に構成することで、レーザレーダ測距部１２０のサイズを小さくすることができる。これにより、本実施形態では、左カメラ１１１と右カメラ１１２との間への、レーザレーダ測距部１２０の配置を実現している。

なお、図３の例では、レーザ信号処理部２４０とステレオ画像演算部２５０とを、別の回路基板として構成しているが、レーザ信号処理部２４０とステレオ画像演算部２５０とは、共通の回路基板により構成してもよい。回路基板の枚数を削減することで、低コスト化を図ることが可能となるからである。

続いて、センサステイ２０１側の各部について説明する。図３に示すように、左カメラ１１１は、カメラレンズ２１１と、撮像素子２１２と、センサ基板２１３とを備える。カメラレンズ２１１を介して入射された外部の光は、撮像素子２１２に受光され、所定のフレーム周期で光電変換される。光電変換されることで得た信号は、センサ基板２１３において処理され、１フレームごとの撮像画像が生成される。生成された撮像画像は、比較画像として、順次、ステレオ画像演算部２５０に送信される。

なお、右カメラ１１２も、左カメラ１１１と同様の構成を有しており、同期制御信号に基づいて左カメラ１１１と同期して撮像する。撮像画像は、基準画像として、順次、ステレオ画像演算部２５０に送信される。

レーザレーダ測距部１２０は、光源駆動回路２３１と、レーザ光源２３２と、照射レンズ２３３とを備える。光源駆動回路２３１は、レーザ信号処理部２４０からの同期制御信号に基づいて動作し、レーザ光源２３２に対して変調電流（光源発光信号）を印加する。これにより、レーザ光源２３２ではレーザ光を照射する。レーザ光源２３２より照射されたレーザ光は、照射レンズ２３３を介して外部に照射される。

なお、本実施形態では、レーザ光源２３２として、赤外半導体レーザダイオード（ＬＤ：Laser Diode）が用いられ、レーザ光として波長８００ｎｍ～９５０ｎｍの近赤外光が照射されるものとする。また、レーザ光源２３２は、光源駆動回路２３１により印加された変調電流（光源発光信号）に応じて、パルス状の波形を有するレーザ光を周期的に照射するものとする。更に、レーザ光源２３２は、数ナノ秒から数百ナノ秒程度の短いパルス幅を有するパルス状のレーザ光を周期的に照射するものとする。ただし、レーザ光の波長やパルス幅をこれら限定するものではない。

レーザ光源２３２から照射されたパルス状のレーザ光は、照射レンズ２３３を介して照射ビームとして外部に照射された後、レーザ光の照射方向にある物体に照射される。なお、レーザ光源２３２から照射されるレーザ光は、照射レンズ２３３によって略平行光にコリメートされているため、照射された物体（オブジェクト）における照射範囲は、予め設定された微小面積に抑えられる。

レーザレーダ測距部１２０は、更に、受光レンズ２３４と、受光素子２３５と、受光信号増幅回路２３６とを備える。照射方向の物体に照射されたレーザ光は、一様な方向に散乱する。そして、レーザレーダ測距部１２０から照射されたレーザ光と同じ光路をたどって反射してくる光成分のみが、反射光として受光レンズ２３４を介して受光素子２３５に導かれる。

本実施形態では、受光素子２３５として、シリコンＰＩＮフォトダイオードやアバランシェフォトダイオードが用いられる。受光素子２３５は、反射光を光電変換することで反射信号を生成し、受光信号増幅回路２３６は、生成された反射信号を増幅した後、レーザ信号処理部２４０に送信する。

続いて、制御基板収納部２０２側の各部について説明する。レーザ信号処理部２４０は、レーザレーダ測距部１２０より送信された反射信号に基づいて、照射方向の物体までの距離を算出し、算出した距離情報をステレオ画像演算部２５０に送信する。

ステレオ画像演算部２５０は、例えば、ＦＰＧＡ（Field－Programmable gate array）や、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用の集積回路により構成される。ステレオ画像演算部２５０は、左カメラ１１１、右カメラ１１２及びレーザ信号処理部２４０に対して、撮像タイミング及びレーザ光の投受光タイミングを制御するための同期制御信号を出力する。

また、ステレオ画像演算部２５０は、左カメラ１１１より送信された比較画像、右カメラ１１２より送信された基準画像、レーザ信号処理部２４０より送信された距離情報に基づいて、視差画像を生成する。ステレオ画像演算部２５０は、生成した視差画像をメモリ２６０に格納する。

メモリ２６０は、ステレオ画像演算部２５０にて生成された視差画像を格納する。また、メモリ２６０は、ステレオ画像演算部２５０及びＭＰＵ２７０が各種処理を実行する際のワークエリアを提供する。

ＭＰＵ２７０は、制御基板収納部２０２に収納された各部を制御すると共に、メモリ２６０に格納された視差画像を解析する解析処理を行う。

＜ステレオカメラによる測距原理＞
図４を用いて、ステレオカメラによる測距原理について説明する。図４は、三角測量により比較画像と基準画像から物体に対する視差値を導き出し、視差値によって測距装置１００から物体までの距離を測定する原理について説明する図である。

まず、右カメラ１１２，左カメラ１１１が平行等位に設置されているものとする。３次元空間内の物体Ｅ上のＳ点は、右カメラ１１２，左カメラ１１１の同一水平線上の位置に写像される。すなわち、各画像中のＳ点は、比較画像Ｉａ中の点Ｓａ（ｘ，ｙ）及び基準画像Ｉｂ中の点Ｓｂ（ｘ'，ｙ）において撮像される。このとき、視差値ｄは、Ｓａ（ｘ，ｙ）とＳｂ（ｘ'，ｙ）とを用いて、式（１）のように表される。
ｄ＝ｘ'－ｘ 式（１）
図４に示すように、比較画像Ｉａ中の点Ｓａ（ｘ，ｙ）と右カメラ１１２から撮像面上におろした垂線の交点との距離をΔａにし、基準画像Ｉｂ中の点Ｓｂ（ｘ'，ｙ）と左カメラ１１１から撮像面上におろした垂線の交点との距離をΔｂにすると、視差値Δ＝Δａ＋Δｂとなる。

また、視差値Δを用いることで、右カメラ１１２、左カメラ１１１と物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、カメラレンズ２１１の焦点位置とカメラレンズ２２１の焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。カメラレンズ２１１及びカメラレンズ２２１の焦点距離ｆ、カメラレンズ２１１及びカメラレンズ２２１の間の長さである基線長Ｂ、及び視差値ｄを用いて、式（２）により、距離Ｚを算出することができる。
Ｚ＝（Ｂ×ｆ）／ｄ 式（２）
この式（２）により、視差値ｄが大きいほど距離Ｚは小さく、視差値ｄが小さいほど距離Ｚは大きくなる。式（２）から明らかなように、カメラが小さくなるほど（基線長Ｂが小さくなるほど）、１整数視差に対応する距離が大きくなる。

図５は、視差値と距離の対応をグラフ形式で示す図である。図５では、基線長Ｂ＝８０mm、焦点距離ｆ＝５mm、撮像素子２１２、２２２のセルサイズ（画素ピッチ）＝３umとした。図５から明らかなように、視差値ｄが小さくなると１整数視差の変化で距離が急激に大きくなる。このことは、遠方になるほど（視差値ｄが小さくなるほど）距離分解が急激に悪化することを意味する。

＜＜ブロックマッチングによる整数視差の演算＞＞
続いて、図６を用いて視差値の算出方法を説明する。図６はブロックマッチングによる整数視差の算出を説明する図の一例である。図６は、右カメラ１１２により撮像された比較画像Ｉａと左カメラ１１１により撮像された基準画像Ｉｂにおける、注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）のコストとして、ＳＡＤ（Sum of Absolute Difference）を算出する例を示した図である。

基準画像Ｉｂと比較画像Ｉａは撮像位置が異なるため、撮像画像上の同じ位置の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）であっても、同じ物体を指し示すことはなく、左右方向にずれた位置を指し示すことになる。このため、ブロックサイズを１×１画素とし、基準画像Ｉｂ上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値と、比較画像Ｉａ上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値は、大きな値となる。

次に、比較画像Ｉａ上の注目している画素ｐを１画素分、右方向にシフトさせる。つまり、視差ｄ＝１としたときのＳＡＤを算出する。具体的には、比較画像Ｉａ上の注目している画素ｐ＝（Ｐｘ３＋１，Ｐｙ５）の輝度値と、基準画像Ｉｂ上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値を算出する。

以下、同様に、ｄ＝２、３、・・・と変化させていき、それぞれにおいてＳＡＤを算出する。図６の例では、ｄ＝３の場合に、基準画像Ｉｂの注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）が指し示す物体と比較画像Ｉａの注目している画素ｐ＝（Ｐｘ３＋３，Ｐｙ５）が指し示す物体とが同じとなるものとする。このため、ｄ＝３とした場合のＳＡＤは、ｄ＝３とした場合以外のＳＡＤと比べて小さくなる。算出されたＳＡＤはコストと呼ばれ、ある決まった探索幅（例えば６４画素）においてｄ＝１，２、３、・・・と変化させたコストのうち最小のコストを示す視差が求める視差値（整数視差）となる。この後、パラボラフィッティングや高次多項式などにより小数視差が求められる。

＜レーザ信号処理部による時間計測＞
次に、図７を用いてレーザ信号処理部２４０による時間計測の原理を説明する。図７は照射されたレーザ光が物体で反射して受光されるまでの時間ｔの測定を模式的に示す図である。図７（Ａ）はアナログ信号を模式的に示し、図７（Ｂ）はデジタル信号を模式的に示す。図７（Ａ）に示すように、ある時刻にパルス状のレーザ光が照射され、時間ｔだけ後にパルス状の反射光が受光される。したがって、時刻ｔに空気中の光の速度を乗じることで照射方向の物体までの距離を算出することができる。

図７（Ｂ）は同様の原理を２値化された照射光と反射光で示している。レーザレーダ測距部１２０は反射光以外のノイズを受光するため、図７（Ａ）のように反射光のみが明確に得られることは少ない。そこで、レーザレーダ測距部１２０が受光する信号と閾値とを比較し、閾値を超えた信号を反射信号として検出する処理を行うことが一般的である。レーザ信号処理部２４０は閾値により受光する信号を２値化するので、図７（Ｂ）に示すように０又は１の信号が得られる。

＜レーザ信号処理部の構成例＞
次に、図８を用いてレーザレーダ測距部１２０とレーザ信号処理部２４０の構成例を説明する。図８はレーザレーダ測距部１２０とレーザ信号処理部２４０の機能をブロック状に示す機能ブロック図の一例である。

測距装置１００は、一例として、移動体である車両に搭載され、レーザ光を照射し、物体（例えば先行車両、停車車両、障害物、歩行者等）で反射（散乱）された光を受光して該物体の有無や、該物体までの距離等の物体に関する情報（以下では「物体情報」という場合がある）を検出する。レーザ信号処理部は、例えば車両のバッテリ（蓄電池）から電力の供給を受ける。

レーザレーダ測距部１２０とレーザ信号処理部２４０は、照射系１０、受光光学系３０、検出系４０、時間計測部４５、同期系５０、測定制御部４６などを備えている。照射系１０は、光源としてのＬＤ（レーザダイオード）、ＬＤ駆動部１２、照射光学系２０を含む。本実施例では、光源としてＬＤ１１を用いているが、これに限られない。例えば、ＶＣＳＥＬ（面発光レーザ）、有機ＥＬ素子、ＬＥＤ（発光ダイオード）等の他の発光素子を用いてもよい。

ＬＤ１１はレーザ光源２３２に対応し、ＬＤ駆動部１２により駆動され、周期的にパルス状のレーザ光を照射する。ＬＤ駆動部１２は、測定制御部４６から出力されるＬＤ駆動信号（矩形パルス信号）を用いてＬＤ１１を点灯（発光）させる。ＬＤ駆動部１２は、一例として、ＬＤ１１に電流を供給可能に接続されたコンデンサ、該コンデンサとＬＤ１１との間の導通／非導通を切り替えるためのトランジスタ、該コンデンサを充電可能な充電手段等を含む。

本実施例では例えば、反射ミラーを回転させて光ビームを走査する。同期系５０は、この操作方法を利用して、ＬＤ１１からの光ビームを、ある所定の角度のときの反射ミラーで反射した光ビームの光路上に配置された同期検知用ＰＤ５４と、該同期検知用ＰＤ５４の出力電流（光電流）に基づく電圧信号（受光信号）を検出するＰＤ出力検出部５６と、を含む。同期検知用ＰＤの信号によって、反射ミラーの角度を検出でき、システムの走査方向の同期を取ることができる。つまり、同期信号が得られた時の反射ミラーの角度を基準に各レーザ光の照射方向を決定している。

検出系４０は、照射レンズ２３３に相当する照射光学系２０から照射され、物体で反射及び散乱された光を、受光レンズ２３４に相当する受光光学系３０を介して受光する時間計測用ＰＤ４２（フォトダイオード）と、該時間計測用ＰＤ４２の出力電流（光電流）に基づく電圧信号（受光信号）を検出するＰＤ出力検出部４４と、を含む。受光素子としては、ＰＤ（ｐｈｏｔｏｄｉｏｄｅ）やＡＰＤ（ａｖａｌａｎｃｈｅ ｐｈｏｔｏｄｉｏｄｅ）、ガイガーモードＡＰＤであるＳＰＡＤ（ｓｉｎｇｌｅ ｐｈｏｔｏｎ ａｖａｌａｎｃｈｅ ｄｉｏｄｅ）などを用いても良い。

時間計測用ＰＤ４２は、受光素子駆動部により駆動される。時間計測用ＰＤ４２は受光素子２３５に相当する。

ＰＤ出力検出部４４、時間計測部４５及び測定制御部４６はレーザ信号処理部２４０に相当する。ＰＤ出力検出部４４は、時間計測用ＰＤ４２からのアナログ信号（出力電圧）を、必要に応じて増幅し、閾値電圧を基準に二値化し、その二値化信号（デジタル信号）を時間計測部４５に出力する。なお、二値化とは反射信号を閾値と比較して１又は０の信号に変換することをいう。ＰＤ出力検出部４４は本実施形態の特徴的な構成を有するものであり、後に詳細に説明される。

時間計測部４５は、該二値化信号から、該受光タイミングとＬＤ駆動信号の立ち上がりタイミングに基づいて該物体までの往復時間を計測し、時間計測結果として測定制御部４６に出力する。すなわち、時間計測部４５はレーザ光を照射してから反射信号のピークを検出するまでの時間を物体までの距離情報に変換する。

測定制御部４６は、車載装置からの測定制御信号（測定開始信号や測定停止信号）を受けて測定開始や測定停止を行う。同期信号に基づいてＬＤ駆動信号を生成し、ＬＤ駆動部１２及び時間計測部４５に出力する。また、時間計測部４５からの時間計測結果を距離に変換することで物体までの往復距離を算出し、該往復距離の１／２を物体までの距離情報としてステレオ画像演算部２５０に出力する。

＜ステレオ画像演算部の機能について＞
図９は、ステレオ画像演算部２５０の機能をブロック状に示す機能ブロック図の一例である。図９に示すように、ステレオ画像演算部２５０は、歪み補正部１３、及び、距離演算部１４を有する。右カメラ１１２及び左カメラ１１１によりステレオカメラが形成されている。なお、本実施形態において、右カメラ１１２により撮像される撮像画像を基準画像として用い、左カメラ１１１により撮像される撮像画像を比較画像として用いる。

歪み補正部１３、及び、距離演算部１４は専用の電子回路を用いて実現してもよいし、各部を実現するためのプログラムがＣＰＵ（コンピュータ）によって実行されることで実現されてもよい。したがって、ステレオ画像演算部２５０は情報処理装置の機能を有する。また、画像を処理するという点から画像処理装置でもある。

歪み補正部１３は、基準画像と比較画像に一般的な歪み補正を行う。この画像補正により、基準画像と比較画像は視差以外の差異が生じないように補正される。画像補正は事前のキャリブレーションにより可能になる。左カメラ１１１と右カメラ１１２は設置される際に、例えば、校正用の被写体（例えば市松模様のチャート）を撮像する。２つの画像を比較して、カメラのレンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等のハード的な内部誤差要因が最小になるように画像データを変換する幾何変換用のＬＵＴ（Look Up Table）が生成されている。歪み補正部１３はこのようなＬＵＴを参照して画像補正を行う。

距離演算部１４は基準画像と比較画像にブロックマッチングやＳＧＭ伝播方式などのアルゴリズムを適用して視差を算出する。また、詳細は後述するが距離演算部１４は、距離画像を出力する際に、レーザレーダ測距部１２０が出力する距離情報から算出した画素ごとのコストとステレオマッチングコストとを重み付けして最終的なコストを算出する。

なお、図９の構成は一例にすぎず、レーザ信号処理部２４０とステレオ画像演算部２５０が一体に構成されていてもよい。また、ＥＣＵ１９０がステレオ画像演算部２５０の機能を有していてもよい。

＜ＴＯＦ方式の測距方法の課題＞
レーザ信号処理部２４０が行うＴＯＦ方式の測距方法では、式（３）のような形で信号が受信される。レーザを照射したときから、この反射光を受光した時点までの時間によって、距離が計測できる。式（３）をみると分かるように、時間計測用ＰＤ４２が受信する信号Prの強さは、距離の２乗で小さくなる。たとえば、ターゲットの反射率Rtgtや、Ssndなどが同じ物体であるとし、距離Ｌが２倍になったとき（たとえば１０〔m〕の場合と２０〔m〕の場合）では、信号レベルは１/４になってしまう。

一方、距離レンジをかせぐためには、Poを強化する、TFGを向上させる、又は、Srcvを大きくするなどの対策がとられるが、Poを強化した場合、近距離部で信号が強すぎてサチュレーションを起こし、ピークがわからなくなって誤差が発生する可能性があるし、コストもかかる。Srcvを大きくするとモジュールが大きくなる、TFGを向上するにも劇的な向上は見込めない、などの不都合がある。

L： 検出距離
S_Rcv： レシーバ光学系の面積
η： APD面に集光される光のうちAPDに入力される割合
S_Snd： ターゲット上での照射ビーム面積
R_Tgt： ターゲット反射率
P_O： 光源出力
T_FG： 光利用効率
図１０は、近傍と遠方での受信される信号レベルの違いの一例を説明する図である。図１０（ａ）は、近傍の物体からの反射信号を示す。反射信号は信号Prのうちピークを示す部分であり、それ以外はノイズである。図１０（ａ）に示すように、近傍の物体の信号レベルは強くノイズと区別して検出可能である。反射信号を検出した時点までの時間によって距離が算出される。信号Prからどのようにして反射信号を決定するかについては、種々の方法がある。たとえば、最大ピーク位置を検出する、又は、閾値以上の位置を複数検出する（マルチ検出）などの方法がある。

図１０（ｂ）は遠方の物体からの反射信号を示す。遠方の物体は信号レベルが弱く、反射信号がノイズの強さとほとんど変わらない状況では、最大ピーク位置を検出する方法、又は、閾値以上の信号レベルを検出する方法のいずれの手法を使っても、反射信号の検出が難しい。

一般的には、近い距離から順に閾値以上の信号Prを反射信号としたり、ピーク位置を検出したりする方法が用いられる。しかし、図１０（ｂ）の例では、実質的な反射信号の強さは、その前に検出されているノイズと同様のレベルであり、全体的に見て反射信号を検出することは困難である。レーザレーダ測距部１２０は原理的にこの様な課題を抱えている。そこで、ステレオ画像演算部２５０は処理範囲を算出して、レーザレーダ測距部１２０が遠方の物体からの反射信号を検出することを可能にする。

＜ステレオ画像演算部の機能＞
図１１は、ステレオ画像演算部２５０の機能を詳細に説明する機能ブロック図の一例である。なお、図１１では、ステレオ画像演算部２５０の機能構成のうち、視差演算に関する処理を実現するための機能構成についてのみ示し、その他の機能構成（例えば、同期制御信号を送信するための機能等）については省略してある。

ステレオ画像演算部２５０は、処理範囲算出部７１０と視差画像生成部７２０とを有する。処理範囲算出部７１０は、更に、第１コスト算出部７１１、第１合成コスト算出部７１２、第１視差演算部７１３、範囲決定部７１４を有する。

また、視差画像生成部７２０は、更に、第２コスト算出部７２１、第２合成コスト算出部７２２、第２視差演算部７２３を有する。以下、処理範囲算出部７１０及び視差画像生成部７２０の各部の詳細について説明する。

＜＜処理範囲算出部の各部の詳細＞＞
はじめに、処理範囲算出部７１０の各部の詳細について説明する。まず、第１コスト算出部７１１は、すでに図６で説明したようにブロックマッチングによりコストを算出する。このコストを第１コストという。

第１合成コスト算出部７１２は、第１コスト算出部７１１より通知された各画素領域のコストＣ（ｐ，ｄ）を合成することで第１合成コストＳを算出し、合成結果を得る。第１合成コスト算出部７１２は、例えば、ＳＧＭ（Semi－Global Matching）等の処理方法を用いて、複数の第１経路コストＬｒを算出し、それぞれの第１経路コストＬｒを、基準画素領域ｐに集約させることで、第１合成コストＳを算出する。

図１２は、第１合成コスト算出部の機能構成の詳細を示す図である。図１２に示すように、第１合成コスト算出部７１２は、第１経路コスト計算部１００１と、第１合成コストＳ計算部１００２とを有する。第１経路コスト計算部１００１は、第１コスト算出部７１１よりコストＣ（ｐ，ｄ）を取得すると、下式（４）に基づいて、第１経路コストＬｒ（ｐ，ｄ）を算出する。

ここで、上式（４）は、ＳＧＭを用いた経路コストＬｒの一般的な式である。また、上式（４）においてＰ１、Ｐ２は固定のパラメータである。

上式（４）のもと、第１経路コスト計算部１００１では、基準画素領域ｐのコストＣ（ｐ，ｄ）に、図１３に示されているｒ方向の各画素領域における第１経路コストＬｒの最小値を加算することで、第１経路コストＬｒ（ｐ，ｄ）を求める。なお、図１３は、第１経路コストＬｒ（ｐ，ｄ）の算出におけるｒ方向を示す図である。

図１３に示すように、第１経路コスト計算部１００１では、基準画素領域ｐのｒ方向（例えば、ｒ１３５方向）の一番端の画素領域において第１経路コストＬｒ（例えば、Ｌｒ１３５（ｐ－２ｒ，ｄ））を求める。続いて、第１経路コスト計算部１００１では、ｒ方向に沿って第１経路コストＬｒ（Ｌｒ１３５（ｐ－ｒ，ｄ））を求める。本実施形態において、第１経路コスト計算部１００１は、これらの処理を繰り返すことで得られる第１経路コストＬｒ（例えば、Ｌｒ１３５（ｐ，ｄ））を、８方向について算出し、第１経路コストＬｒ０（ｐ，ｄ）～Ｌｒ３１５（ｐ，ｄ）を得る。

第１合成コストＳ計算部１００２は、第１経路コスト計算部１００１において求めた８方向の第１経路コストＬｒ０（ｐ，ｄ）～Ｌｒ３１５（ｐ，ｄ）に基づいて、下式（５）により第１合成コストＳ（ｐ，ｄ）を算出する。

第１合成コストＳ計算部１００２は、算出した第１合成コストＳ（ｐ，ｄ）を、第１視差演算部７１３に通知する。

第１視差演算部７１３は、第１合成コスト算出部７１２により算出された第１合成コストＳ（ｐ，ｄ）に基づいて、基準画素領域ｐに対応する比較画像Ｉａ内の対応画素領域
を抽出し、基準画素領域ｐの視差を演算する。なお、第１コスト算出部７１１及び第１合成コスト算出部７１２は、基準画像Ｉｂ内の他の基準画素領域についても同様の処理を行う。そして、第１視差演算部７１３では、各基準画素領域について、それぞれの視差（第１視差）を演算し、演算結果を範囲決定部７１４に通知する。

範囲決定部７１４は、第１視差演算部７１３より通知された視差（第１視差）の演算結果のうち、基準画素領域ｐ及びその周辺の画素領域の視差を抽出し、処理範囲を決定する。図１４を参照しながら、具体的に説明する。

図１４は、範囲決定部による処理範囲の決定方法を説明するための図であり、基準画像Ｉｂのうち、レーザレーダ測距部１２０によりレーザ光が照射された照射位置（点５３０）及びその周辺の画素領域を示している。

図１４に示すように、基準画像Ｉｂのうち、点５３０の座標（ｘｌ，ｙｌ）により特定される位置に対応する実空間の物体にレーザ光が照射されたとする。なお、座標（ｘｌ，ｙｌ）は、基準画素領域ｐの座標（ｘ，ｙ）と一致していてもよいし、多少ずれていてもよい。

このような場合、範囲決定部７１４では、照射位置（ｘｌ，ｙｌ）を中心として、横方向に±１／２ａ画素分、縦方向に±ｂ画素分の画素領域を抽出する。

範囲決定部７１４は、更に、第１視差演算部７１３において演算されたそれぞれの視差のうち、抽出した画素領域について演算された視差を抽出する。なお、図１４の例は、紙面の都合上、範囲決定部７１４が抽出した画素領域について演算された視差のうち、左上の画素領域、右上の画素領域、左下の画素領域、右下の画素領域についてそれぞれ演算された視差のみを示している。

範囲決定部７１４は、更に、抽出した視差の中から、演算頻度が最大の視差を抽出する。そして、範囲決定部７１４は、演算頻度が最大の視差±１画素に相当する距離を、レーザ信号処理部２４０がレーザ受光信号を処理する際の処理範囲として決定する。

具体的には、範囲決定部７１４は、抽出した視差のうち、演算頻度が最大の視差＋１画素に相当する最小距離から、演算頻度が最大の視差－１画素に相当する最大距離までの範囲を、レーザ受光信号を処理する際の処理範囲に決定する。なお、視差から距離への変換には式（２）を使用する。

更に、範囲決定部７１４は、決定した処理範囲をレーザ信号処理部２４０に通知する。これにより、レーザ信号処理部２４０は、レーザ受光信号のうち、通知された処理範囲を対象として、物体での反射を示す信号を検出し、例えば、点５３０の距離情報を算出する。なお、レーザ信号処理部２４０は、通知された処理範囲を規定する最小距離と最大距離とをそれぞれ光速で除算することで時間範囲に変換した処理範囲を対象として、物体での反射を示す信号を検出する。

図１５は、範囲決定部７１４により決定された処理範囲を示す図である。図１５において、横軸は、レーザ光を照射してから受光するまでの応答時間を表し、縦軸は、レーザ受光信号の信号強度を表している。図１５において、処理範囲１３１０、１３２０は、範囲決定部７１４により決定された処理範囲（時間範囲に変換した処理範囲）である。

図１５（ａ）は、レーザ光が照射される物体までの距離Ｌが短い場合のレーザ受光信号の一例を示している。図１５（ａ）に示すように、レーザ光が照射される物体までの距離Ｌが短い場合、処理範囲１３１０において、物体での反射を示す信号の信号強度（６１１）と、物体以外での反射を示す信号の信号強度（１３１２）との差は更に大きくなる。このため、物体での反射を示す信号の検出が更に容易になる。

また、図１５（ｂ）は、レーザ光が照射される物体までの距離Ｌが長い場合のレーザ受光信号の一例を示している。図１５（ｂ）に示すように、レーザ光が照射される物体までの距離Ｌが長い場合であっても（例えば、点５３０についても）、処理範囲１３２０によれば、信号強度（６２１）と信号強度（１３２２）との差を大きくすることができる。つまり、物体での反射を示す信号の信号強度と、物体以外での反射を示す信号の信号強度との差を大きくすることができる。このため、物体での反射を示す信号を容易に検出することが可能となり、物体以外での反射を示す信号を、物体での反射を示す信号と誤検出してしまう可能性を低減させることができる。

なお、上記説明では、範囲決定部７１４が抽出した視差のうち、演算頻度が最大の視差±１画素に相当とする距離を処理範囲に決定する場合について説明したが、処理範囲の決定方法はこれに限定されない。例えば、範囲決定部７１４は、下式（６）に基づいて算出される視差に相当する処理範囲を決定するようにしてもよい。

式（６）において、ｄｍｏｄｅは、基準画素領域ｐ及びその周辺の画素領域について演算された視差のうち、演算頻度が最大の視差である。ｗは、演算頻度が最大の視差から、標準偏差に対して、どれくらいの幅をもたせるかを示す係数である。ｎ'は、基準画素領域ｐ及びその周辺の画素領域について演算された整数の視差のうち、演算頻度が最大の視差に対して、±１画素以内に入っている視差の数を表している。ｄ'は、基準画素領域ｐ及びその周辺の画素領域について演算された整数の視差のうち、演算頻度が最大の視差に対して、±１画素以内に入っている視差を表している。

式（６）によれば、視差のばらつきが大きい場合に、処理範囲を広くし、視差のばらつきが小さい場合に、処理範囲を狭くすることができる。

＜＜視差画像生成部の各部の詳細＞＞
続いて、視差画像生成部７２０の各部の詳細について説明する。

図１６は、第２コスト算出部の機能構成の詳細を示す図である。第２コスト算出部７２１は、基準画像取得部１４０１、比較画像取得部１４０２、コストＣ計算部１４０３、コストＣ調整部１４０４を有する。また、第２コスト算出部７２１は、距離情報取得部１４１１、コストＣｌ計算部１４１２、重み付け加算部１４２０を有する。

基準画像取得部１４０１は、右カメラ１１２から基準画像Ｉｂを取得する。また、取得した基準画像Ｉｂから、基準画素領域ｐを抽出する。比較画像取得部１４０２は、左カメラ１１１から比較画像Ｉａを取得する。

コストＣ計算部１４０３は、基準画素領域ｐのコストＣ（ｐ，ｄ）を算出する。なお、コストＣ（ｐ，ｄ）の算出方法は、図６を用いて説明済みである。

コストＣ調整部１４０４は、コストＣ計算部１４０３により算出された基準画素領域ｐのコストＣ（ｐ，ｄ）を、信頼度に基づいて調整する。コストＣ調整部１４０４は、下式（７）を用いて調整することで、調整後のコストＣ'（ｐ，ｄ）を得る。

ここで、Ｄは、シフト量（視差）の最大値を表している。ｋはシフト量のカウント値を表している。また、Ｑ（ｐ）は、基準画素領域ｐのコストＣ（ｐ，ｄ）の信頼度を示している。信頼度Ｑ（ｐ）は、例えば、下式（８）を用いて算出される。

ここで、Ｃｍｉｎ１、Ｃｍｉｎ２は、所定範囲（０～Ｄ）でシフト量ｄを変化させることで算出されたそれぞれのコストＣ（ｐ，ｄ）のうち、最も低いコストと２番目に低いコストを表している。なお、上式（６）に基づいて算出される信頼度Ｑ（ｐ）は、Ｃｍｉｎ１、Ｃｍｉｎ２に基づいて算出した値を、０～１．０未満に正規化し、信頼度が高いほど１．０に近づくよう補正したうえで、上式（７）に用いられるものとする。

コストＣ調整部１４０４により調整された調整後のコストＣ'（ｐ，ｄ）は、例えば、テクスチャが少ない領域（隣り合う画素領域間の画素値の変化が少ない領域）に基準画素領域ｐがあり、信頼度Ｑ（ｐ）が低い場合には、より大きな値となる。

距離情報取得部１４１１は、レーザ信号処理部２４０より距離情報を取得する。レーザ信号処理部２４０より取得する距離情報は、処理範囲を限定したことで誤検出の可能性が低減された距離情報である。ここでは、レーザ信号処理部２４０より取得した距離情報を、Ｚｌとおく。距離情報取得部１４１１は、取得した距離情報ＺｌをコストＣｌ計算部１４１２に通知する。

コストＣｌ計算部１４１２は、距離情報取得部１４１１より通知された距離情報Ｚｌに基づいて、コストＣｌを算出する。コストＣｌとは、取得した距離情報Ｚｌに基づいて導出される位置にある比較画像Ｉａ内の画素領域と、基準画素領域ｐとの非類似度を示すパラメータである。

具体的には、コストＣｌ計算部１４１２では、まず、距離情報Ｚｌに基づいて、下式（９）を用いてシフト量ｄｌを算出する。これにより、距離情報Ｚｌに基づいて導出される位置にある比較画像Ｉａ内の画素領域が抽出される。

上式（９）において、Ｂは、カメラレンズ２１１とカメラレンズ２２１との間の基線長である。ｆは、カメラレンズ２１１、カメラレンズ２２１の焦点距離である。

コストＣｌ計算部１４１２は、続いて、シフト量ｄｌにおけるコストＣｌ（ｐ，ｄｌ）を算出する。上記したコストＣ（ｐ，ｄ）の算出と同様に、コストＣｌ計算部１４１２では、シフト量ｄｌの位置における画素領域５１１の画素値と基準画素領域ｐの画素値との非類似度として、コストＣｌ（ｐ，ｄｌ）を算出する。

重み付け加算部１４２０は、コストＣ調整部１４０４において調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣｌ計算部１４１２において算出されたコストＣｌ（ｐ，ｄｌ）とを用いて、下式（１０）に基づいて重み付け加算し、重み付けコストを算出する。

ここで、ｗｄは、コストＣ調整部１４０４により調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣｌ計算部１４１２により算出されたコストＣｌ（ｐ，ｄｌ）のいずれを優先するかを示す重み係数である。コストＣ調整部１４０４により調整された調整後のコストＣ'（ｐ，ｄ）を優先させる場合には、ｗｄの値を大きくする。一方、コストＣｌ計算部１４１２により算出されたコストＣｌ（ｐ，ｄｌ）を優先させる場合には、ｗｄの値を小さくする。

具体的には、シフト量ｄ≠ｄｌの場合、ｗｄの値を大きくする。これにより、比較画像Ｉａ内の画素領域５１１のうち、シフト量ｄ≠ｄｌの画素領域の重み付けコストをより大きくすることができる。なお、調整後のコストＣ'（ｐ，ｄ）は、例えば、テクスチャが少ない領域等においてより大きな値となっており、ｗｄの値を大きくして調整後のコストＣ'（ｐ，ｄ）を優先させることで、シフト量ｄ≠ｄｌの画素領域の重み付けコストはより大きな値となる。

一方、シフト量ｄ＝ｄｌの場合、ｗｄの値を小さくする。これにより、比較画像Ｉａ内の画素領域５１１のうち、シフト量ｄ＝ｄｌの画素領域の重み付けコストをより小さくすることができる。なお、コストＣｌ計算部１４１２により算出されたコストＣｌ（ｐ，ｄｌ）は、コストＣ調整部１４０４により算出された調整後のコストＣ'（ｐ，ｄ）よりも小さい値となっている。このため、ｗｄの値を小さくしてコストＣｌ計算部１４１２により算出されたコストＣｌ（ｐ，ｄｌ）を優先させることで、シフト量ｄ＝ｄｌの画素領域の重み付けコストはより小さな値となる。

つまり、上式（１０）によれば、シフト量ｄ＝ｄｌの画素領域とそれ以外の画素領域との間のコストの差を、重み付けコストとして、より顕在化させることができる。

この結果、第２合成コスト算出部７２２により算出される第２合成コストＳ'から対応画素領域を抽出する際に、比較画像Ｉａ内のｄ＝ｄｌの画素領域が抽出しやすくなる。つまり、基準画素領域ｐに対応する対応画素領域の位置５１２を精度よく抽出することが可能となる。

なお、上式（１０）において、ｗｄの値は、固定値であってもよいし、距離情報Ｚｌの値に応じて変更してもよい。あるいは、周囲環境に応じて（例えば、日中か夜間かに応じて）変更するように構成してもよい。

重み付け加算部１４２０は、上式（１０）に基づいて算出した重み付けコストを、第２合成コスト算出部７２２に通知する。

図１７は、第２合成コスト算出部の機能構成の詳細を示す図である。図１７に示すように、第２合成コスト算出部７２２は、第２経路コスト計算部１５０１と、第２合成コストＳ'計算部１５０２とを有する。

第２合成コスト算出部７２２は、第２コスト算出部７２１より通知された各画素領域の重み付けコストを合成することで第２合成コストＳ'を算出し、合成結果を得る。第２合成コスト算出部７２２は、例えば、ＳＧＭ（Semi－Global Matching）等の処理方法を用いて、複数の第２経路コストＬｒ'を算出し、それぞれの第２経路コストＬｒ'を、基準画素領域ｐに集約させることで、第２合成コストＳ'を算出する。

第２合成コスト算出部７２２は重み付けコストを取得すると、下式（１１）に基づいて、第２経路コストＬｒ'（ｐ，ｄ）を算出する。

ここで、式（１１）は、ＳＧＭを用いた経路コストの一般的な式において、コストＣ（ｐ，ｄ）を、重み付けコストに置き換えたものである。また、上式（１１）においてＰ１、Ｐ２は固定のパラメータである。

式（１１）によれば、第２合成コスト算出部７２２は、基準画素領域ｐの重み付けコストに、ｒ方向の各画素領域における第２経路コストＬｒ'の最小値を加算することで、ｒ方向の第２経路コストＬｒ'（ｐ，ｄ）を求める。なお、第２合成コスト算出部７２２は、ｒ０～ｒ３１５方向それぞれについて、第２経路コストを算出することで、第２経路コストＬｒ０'（ｐ，ｄ）～Ｌｒ３１５'（ｐ，ｄ）を得る。

第２合成コスト算出部７２２は、８方向の第２経路コストＬｒ０'（ｐ，ｄ）～Ｌｒ３１５'（ｐ，ｄ）に基づいて、下式（１２）により第２合成コストＳ'（ｐ，ｄ）を算出する。

第２視差演算部７２３は、第２合成コスト算出部７２２により算出された第２合成コストＳ'に基づいて、基準画素領域ｐに対応する比較画像Ｉａ内の対応画素領域を抽出し、基準画素領域ｐの視差を再演算する。

図１８は、基準画素領域ｐにおける第２合成コストＳ'の算出結果を示す図である。第２視差演算部７２３は、所定範囲（０～Ｄ）において、第２合成コストＳ'（ｐ，ｄ）が最小となるシフト量ｄｍｉｎを算出することで、比較画像Ｉａより対応画素領域を抽出する。これにより、第２視差演算部７２３では、抽出した対応画素領域と基準画素領域との視差（第２視差）として、シフト量ｄｍｉｎを取得できる。

なお、第２視差演算部７２３は、基準画像Ｉｂ内の他の基準画素領域についても同様の処理を行い視差（第２視差）の再演算結果を取得することで、視差画像を生成し、生成した視差画像をメモリ２６０に格納する。

＜反射信号が極めて微弱な場合に備えたアンダーシュート処理＞
処理範囲から反射信号を検出することで、レーザ信号処理部２４０は受光信号における反射信号の検出精度を上げることができる。しかし、そもそも反射信号が極めて弱い場合には処理範囲から反射信号を検出することが困難になる。図１９を用いて説明する。

図１９は、遠方が撮像された画像データとこのような遠方の物体からの反射信号の一例を示す図である。図１９（ａ）は例えば右カメラ１１２が撮像した基準画像の全体であり、図１９（ｂ）は図１９（ａ）の一部を拡大した画像である。図１９（ａ）では１４３〔m〕先にレーザ光の反射率が低い物体（黒い幕）が置かれており、図１９（ｂ）はレーザ光の反射率が低い物体（黒い幕）を示す。

また、図１９（ｃ）はレーザ光の反射率が低い物体（黒い幕）を照射方向とするレーザ光の反射信号である。レーザ光の反射率が低い物体（黒い幕）は１４３〔ｍ〕先にあるため、往復の時間を考慮すると照射してから約１×１０^－6秒に反射信号のピークが現れる。図１９（ｃ）では丸７０１で囲んだ部分がレーザ光の反射率が低い物体からの反射信号を示す。

図１９（ｃ）に示すように、この反射信号は周囲のノイズに紛れているため、予めピークがどこにあるかを知っていなければ人間が見た場合でも判断が付かないほど小さい信号レベルになっている。

距離による減衰に加えて、進行方向の前方から太陽光が差し込む逆光の状況では（車載用途では容易に起こる）、太陽光によってノイズも非常に大きくなってしまい、更に状況が悪化する。この様な状況であっても、物体からの反射信号を強調する技術について説明する。

図２０は、物体からの反射信号を強調するＰＤ出力検出部４４の構成例を示す。図２０のＰＤ出力検出部４４は、電流電圧変換器４４ａ、信号増幅器４４ｂ、及び、二値化回路４４ｃを含む。時間計測用ＰＤ４２で受光された物体からの反射信号は、時間計測用ＰＤ４２が電流値に変換し、該電流値が出力電流としてＰＤ出力検出部４４に入力される。

電流電圧変換器４４ａは、入力された電流値を電圧値に変換する。該電圧値が信号増幅器４４ｂで増大され、出力電圧（反射信号）として出力される。この際、信号増幅器４４ｂは負帰還の機能を有する、例えばオペアンプＯＡを含む非反転増幅回路（負帰還回路）を用い、その増幅度を小さくとることにより、帰還が強くかかり、受光信号にアンダーシュート及びオーバーシュートが生じる。物体からの反射光パルスは、発光パルスと略同一の波形を有しており、そのパルス幅は上記のように１０ｎｓ～数十ｎｓである。この反射光パルスに十分速く応答できること（高速応答性）がＰＤ出力検出部４４には望まれる。

アンダーシュート、オーバーシュートが起きる原理は、質点、ばね、減衰器で構成される位置制御の系において、ばね定数を大きくしすぎる(帰還を強くかけすぎる)と、定常位置から行き過ぎたり(オーバーシュート)戻ったり(アンダーシュート)を繰り返し、減衰振動をしながら定常位置に落ち着く、という現象と同様の原理である。

なお、図２０の構成は一例に過ぎず、ＰＤ出力検出部４４は信号増幅器４４ｂの出力の高周波数成分を出力するハイパスフィルタを含むなどの構成であってもよい。

図２１（Ａ）には比較例１の受光信号波形が示され、図２１（Ｂ）には本実施形態の受光信号波形が示されている。図２１(Ａ)に示される比較例１の受光信号波形は、アンダーシュートを発生させない場合に、ノイズが乗った５つの受光信号の波形と、受光信号毎に計測される受光時刻２（該受光信号の立下りが閾値電圧と一致するタイミング）のシミュレーション結果である。アンダーシュートを発生させない場合、受光信号（出力電圧）の立下りが遅く（緩やかであり）、ノイズに起因するゆらぎにより、受光時刻２の計測誤差が大きくなることがわかる。

負帰還を用いた増幅回路において、増幅率を大きくしすぎたり入力信号に対して回路の帯域を狭くしすぎたりすると帰還が弱くなりアンダーシュートが起こらない。増幅率を小さくしすぎて且つ回路の帯域を広く取るとアンダーシュート後のリンギングが大きくなってしまい信号立下り後に再び閾値を超えてしまう。信号立下り後に再び受光信号が閾値を超えてしまった場合、時間計測回路によって二つ目の物体として認識されてしまい、パルスの誤検出という問題が起こる。このパルス誤検出を防ぐためにリンギングそのものを抑えると、アンダーシュートの効果が弱くなる恐れがある。

図２１（Ｂ）に示される実施例１の受光信号波形は、アンダーシュートを発生させた場合に、ノイズが乗った５つの受光信号の波形と、受光信号毎に計測される受光時刻２のシミュレーション結果である。結果として、実施例１では、比較例１と比較して、受光信号の立下りが速く（急であり）、ノイズに起因するゆらぎを抑制でき、受光時刻２の計測誤差を小さくできることがわかる。比較例１では、５回の測定での測定誤差が１１ｎｓ(距離に換算すると１．６ｍ)であるのに対し、実施例１の場合には、５回の測定での測定誤差は３ｎｓ(距離に換算すると０．５ｍ)となる。

比較例１、実施例１の受光信号波形は、それぞれ図２２（Ａ）（Ｂ）に示される負帰還回路４４ｂ－１、４４ｂ－２を、信号増幅器４４ｂとして用いた場合をシミュレートした結果である。各負帰還回路４４ｂ－２は、一端が接地され又は該一端にバイアス電圧が印加され、他端がオペアンプＯＡの－（マイナス）の入力端に接続された抵抗Ｒ１と、オペアンプＯＡにそれぞれ並列に接続された抵抗Ｒ２及びコンデンサＣ１と、オペアンプの出力側のコンデンサＣ３と、コンデンサＣ３を設置する抵抗Ｒ３とを有している。

オペアンプＯＡの＋の入力端には、電流電圧変換器４４ａからの電圧値が入力される。なお、各負帰還回路において、コンデンサＣ１は、必須ではない。実施例１では、Ｃ１＝１ｐＦ、Ｒ１＝１ｋΩ、Ｒ２＝３ｋΩ、Ｃ２＝３０ｐＦ、Ｒ３＝５００Ωとされているが、数値は一例に過ぎない。

図２３は、アンダーシュート処理された１つの反射信号を示す。本実施形態では、図２３に示す反射信号のように、アンダーシュート後にリンギングが収まるのにかかる時間（整定時間Ｒ：リンギングの振幅が受光信号の最大振幅の５%以下になるのにかかる時間)よりもグラウンドレベル（ゼロ）に復帰するのにかかる時間の方が長い波形を実現することで、パルスの誤検出の防止とアンダーシュートによる距離測定精度の向上を同時に実現している。

このような受光波形は、例えば図２２（Ｂ）に示した信号増幅器４４ｂを用い、半値全幅１１〔ns〕の釣鐘型パルスを入力することで実現される。負帰還回路でアンダーシュートを起こした後に時定数の大きいハイパスフィルタでグラウンドへの放電を妨げることで図２３の受光波形を実現することができる。

＜アンダーシュート処理された反射信号からのピークの検出＞
図２４を用いて、アンダーシュート処理された反射信号の一例を説明する。図２４は、レーザ光の反射率が低い物体（黒い幕）からの反射信号を説明する図の一例である。図２４（ａ）はアンダーシュート処理された反射信号を示し、図２４（ｂ）は図２４（ａ）から物体までの距離に対応する一部の反射信号（拡大したもの）を示す。

図２４（ｂ）に示すように、アンダーシュートを起こした反射信号のうち前半の２０〔ns〕の山部分が物体でレーザ光が反射したことを示す反射信号の周期である。後半の４０〔ns〕の谷部分がアンダーシュート幅（アンダーシュート部分の周期）である。

物体からの反射による周期は発光パルス幅と受光素子駆動部の応答速度の関係で決まる。すなわち、受光素子駆動部が十分に早く応答できればレーザ光のパルス幅と同等になり、受光素子駆動部の応答速度が遅ければ受光素子駆動部の応答速度により長くなる。また、アンダーシュート幅は信号増幅器４４ｂの素子の値を変更することで、設計することができる。

本実施形態では、アンダーシュートの幅Δt_uが反射信号の幅Δt_rよりも大きく設定されることが特徴の１つとなっている。換言すると、アンダーシュートの周波数f_uが反射信号の周波数f_rよりも低く設定される。これによりパルスの誤検出を防止してかつアンダーシュートによりパルスを相対的に大きくすることができる。
Δｔ_u > Δｔ_r
f_u < f_r
反射信号の幅２０〔ns〕を周期とする周波数は２５〔Mhz〕であり、アンダーシュートの幅４０〔ns〕を周期とする周波数は１２．５〔Mhz〕である。これらの周期の信号を反射信号から取り出すことを考えると、１２．５～２５〔Mhz〕以下の信号を通過させるローパスフィルタを用いられる。

図２５は、物体からの反射信号を強調するＰＤ出力検出部４４の構成例を示す。図２５のＰＤ出力検出部４４は、図２０の構成に加えＬＰＦ４４ｄを有している。ＬＰＦ４４ｄのカットオフ周波数fcは、
f_u < f_r < f_c
の関係を満たす。図２５に示すように、カットオフ周波数fcを反射信号の周波数f_r以上に設定したＬＰＦ４４ｄを反射信号に通過させる。

このようなＬＰＦ４４ｄによれば、まず、ノイズとなる高周波数成分をカットすること（フィルタリング処理）ができる。また、ＬＰＦ４４ｄはカットオフ周波数ｆｃが上記の関係を満たすように調整されているので、物体に対応するピークの周波数よりも周波数が低いアンダーシュートを付随させることができる。このアンダーシュートの恩恵で、反射信号の振幅を相対的に大きくすることができる。すなわち、ＬＰＦ４４ｄは反射信号を強調することができる。

特許文献１（特開2017－062169号公報）においてアンダーシュートの量を大きく確保するのは「ピークを強調する」ためではなく、「ピークの立下りを早くして、立下り時刻を遅延なく得る」ためである。本実施形態のＬＰＦ４４ｄは「ピークを強調すること」が目ｒ的であり、アンダーシュート処理を施す第１の処理回路とは別にＬＰＦ４４ｄ（フィルタ回路）を備えている点で相違している。

なお、二値化回路４４ｃにはステレオカメラ部１１０から送出された処理範囲が入力され、二値化回路４４ｃは処理範囲の反射信号を二値化する。これにより、反射信号が極めて微弱でも物体に対応する時刻の反射信号のピークを検出可能になる。

図２４（ｃ）は図２４（ａ）の反射信号の低周波数成分がＬＰＦ４４ｄでカットされた反射信号を示す。図２４（ｃ）では、物体受光信号幅Δｔ_r=20[ns] (周波数f_r=25[MHz])、アンダーシュート幅Δｔ_u=40[ns] (周波数f_u=12.5[MHz])で、ＬＰＦ４４ｄのカットオフ周波数f_c=30[MHz]と設定した例を示す。

図２４（ｃ）に示すように、適切なカットオフ周波数のＬＰＦ４４ｄを適用することで、物体までの距離に相当する時刻に明確なピークを確認できるようになる。したがって、ステレオ画像演算部２５０からの処理範囲を使って、ＰＤ出力検出部４４が物体までの距離に対応する時刻を絞り込めば、反射信号が極めて微弱な場合でも反射信号のピークを検出可能になる。

なお、図２４で用いた周期や周波数は一例に過ぎず、「f_u,f_r,f_cがf_u< f_r<f_c」の関係を満たしていればよい。

例えば、ＬＤからの発光パルス幅が12[ns]の場合であるが、ＰＤの駆動部の応答性が十分でなく、物体受光信号幅が膨らんでしまい48[ns]になってしまったとしても、48[ns]に対応する周波数をf_rとし、アンダーシュートの周波数はそれより低く、カットオフ周波数はそれより高く設定することで、同様の効果を得ることができる。

また、図２４ではＬＰＦ４４ｄを通過させて得られる効果について説明したが、本実施形態はＬＰＦ４４ｄに限られるものではなく、f_rよりも低周波数側の周波数をカットすればよい。例えば、いわゆるＢＰＦ（バンドパスフィルター）を採用することもできる。この場合、高周波数側のカットオフ周波数をf_cH、低周波数側のカットオフ周波数をf_cLとして、
f_cL <f_u < f_r <f_cH
の関係を満たすようなフィルタリング処理を行えばよい。

例えば、ショットノイズや逆光によるホワイトノイズのうち低周波数成分をカットすることで、物体反射信号を更に検出しやすくしたり、何らかの低周波数の特徴的なノイズを効果的に除去できたりするなどの効果を期待できる。

＜アンダーシュート処理により生じる不都合＞
しかしながら、反射信号にアンダーシュート信号を発生させた場合、隊列被写体の検出に不都合が生じる。隊列被写体とは、複数の物体（例えば人と車）がレーザレーダ測距部１２０から見て同じ方向に列を成すように並んでいる状態の被写体をいう。

図２６は、隊列被写体の一例を示す。図２６では、車両の手前に歩行者が存在しているため、レーザレーダ測距部１２０から見て歩行者８１１と車両８１０が列をなしている。隊列被写体の複数の物体の距離が近い場合、手前の物体の反射信号のアンダーシュート部分と、奥の物体の反射信号が重なってしまい、結果として反射信号の形がひずんでしまうという不都合が生じる。

図２７は、アンダーシュート処理された隊列被写体の反射信号の一例を示す。なお、図２７は実際の反射信号ではなくアンダーシュート処理された反射信号の不都合を説明するための信号例である。図２７に示すように、車の反射信号のピーク７０３と人の反射信号７０４のアンダーシュート部分が打ち消しあい、車の反射信号のピーク７０３が消失している。すなわち、奥の物体である車の反射信号のピーク７０３が完全に消えてしまい、実際に得られる反射信号７０２の形状が期待しているものとは大きく違ってしまっている。

この不都合を回避するために、本実施形態ではアンダーシュートありの反射信号とアンダーシュートなしの反射信号の両方を取得する構成を採用する。図２８を用いて説明する。

図２８はＰＤ出力検出部４４の一例の構成図を示す。図２８のＰＤ出力検出部４４は３つの処理系統を有している。
処理系統１：アンダーシュートなし
処理系統２：アンダーシュートあり＋ＬＰＦ
処理系統３：アンダーシュートなし
処理系統１はアンダーシュート処理がないため、極めて微弱な反射信号から物体までの距離を検出する処理には向かないが、隊列被写体に含まれる複数の物体の反射信号から各物体に対応したピークを検出できる。

処理系統２はアンダーシュート処理とＬＰＦ４４ｄにより、隊列被写体に含まれる複数の物体の距離の検出には向かないが、反射信号が極めて微弱な場合にも物体までの距離を検出できる。処理系統１の信号増幅器４４ｂと処理系統２の信号増幅器４４ｂは、抵抗及びコンデンサの値が異なっており、処理系統１の信号増幅器４４ｂは増幅機能を有するがアンダーシュート処理は行わない。処理系統２の信号増幅器４４ｂは増幅機能を有すると共にアンダーシュート処理を行う。処理系統３については後述する。

なお、アンダーシュートなしとは、全くアンダーシュートがないことまでは必要なく、反射信号がわずかにアンダーシュートすることも含んでよい。すなわち、隊列被写体の各物体の分離が可能であればわずかなアンダーシュートは許容される。

時間計測部４５は、３つの処理系統の信号（デジタル信号になっている）のそれぞれから物体までの時間を測定する。したがって、遠方の物体（反射信号が極めて微弱な物体）及び隊列被写体の各物体までの時間（距離）を測定できる。

＜動作手順＞
図２９は、ステレオ画像演算部とレーザ信号処理部による視差画像生成処理の流れを示すフローチャートである。図２９に示すフローチャートは、レーザレーダ測距部１２０によりレーザ光が照射された照射位置に対応する１の基準画素領域ｐについての視差を演算する処理を示したものである。したがって、視差画像の生成にあたり、ステレオ画像演算部２５０とレーザ信号処理部２４０は同様の各基準画素領域について図２９に示すフローチャートを実行する。

まず、ステレオ画像演算部の処理について説明する。基準画像取得部８０１は、基準画像Ｉｂを取得し、基準画素領域ｐを抽出する（ステップＳ－１０）。

次に、コストＣ計算部８０３は、比較画像取得部８０２にて取得された比較画像Ｉａ内のシフト量ｄの位置における画素領域５１１の画素値と、基準画素領域ｐの画素値とに基づいて、コストＣ（ｐ，ｄ）を算出する（ステップＳ－２０）。

次に、第１経路コスト計算部１００１は、コストＣ（ｐ，ｄ）に基づいて、各第１経路コストＬｒ（ｐ，ｄ）を算出する（ステップＳ－３０）。

第１合成コストＳ計算部１００２は、各第１経路コストＬｒ（ｐ，ｄ）に基づいて、第１合成コストＳ（ｐ，ｄ）を算出する（ステップＳ－４０）。

第１視差演算部７１３は、第１合成コストＳ（ｐ，ｄ）が最小となるシフト量（第１視差）を算出する（ステップＳ－５０）。これにより、第１視差演算部７１３は、比較画像Ｉａより対応画素領域を抽出すると共に、抽出した対応画素領域と基準画素領域ｐとの視差（第１視差）の演算結果を取得する。

なお、より高速又はラフに計算するためにブロックマッチングだけで済ませてもよい（ステップＳ－２０までの処理で留める）。あるいは、高速又はラフに計算するために機械学習（ディープラーニング）を用いてもよい。

範囲決定部７１４は、レーザ信号処理部２４０がレーザ受光信号を処理する際の処理範囲を、視差の演算結果に基づいて決定する（ステップＳ－６０）。また、範囲決定部７１４は、決定した処理範囲を、レーザ信号処理部２４０に通知する。

これにより、レーザ信号処理部２４０は、物体での反射を示す信号を検出し、距離情報Ｚｌを算出する。

次に、コストＣ計算部１４０３は、比較画像取得部１４０２にて取得された比較画像Ｉａ内のシフト量ｄの位置における画素領域５１１の画素値と、基準画素領域ｐの画素値とに基づいて、コストＣ（ｐ，ｄ）を算出する（ステップＳ－７０）。

コストＣ調整部１４０４は、算出されたコストＣ（ｐ，ｄ）を信頼度Ｑ（ｐ）に基づいて調整し、調整後のコストＣ'（ｐ，ｄ）を算出する（ステップＳ－８０）。

距離情報取得部１４１１は、基準画素領域ｐの位置に対応する実空間の物体までの距離を示す距離情報Ｚｌを、レーザ信号処理部２４０より取得する（ステップＳ－９０）。

コストＣｌ計算部１４１２は、距離情報取得部１４１１において取得された距離情報Ｚｌに基づいて、コストＣｌを算出する（ステップＳ－１００）。

重み付け加算部１４２０は、コストＣ調整部１４０４において調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣｌ計算部１４１２において算出されたコストＣｌ（ｐ，ｄ）とを重み付け加算し、重み付けコストを算出する（ステップＳ－１１０）。

第２経路コスト計算部１５０１は、重み付けコストを用いて各第２経路コストＬｒ'（ｐ、ｄ）を算出する（ステップＳ－１２０）。

第２合成コストＳ'計算部１５０２は、各第２経路コストＬｒ'（ｐ，ｄ）に基づいて、第２合成コストＳ'（ｐ，ｄ）を算出する（ステップＳ－１３０）。

第２視差演算部７２３は、第２合成コストＳ'（ｐ，ｄ）が最小となるシフト量（ｄｍｉｎ）を算出することで、比較画像Ｉａより対応画素領域を抽出する（ステップＳ－１４０）。これにより、第２視差演算部７２３は、抽出した対応画素領域と基準画素領域ｐとの視差（第２視差）の再演算結果を取得する。

次に、ステレオ画像演算部２５０の処理について説明する。まず、照射光学系２０がレーザ光のパルスを照射する（ステップＬ－１０）。受光光学系３０が反射信号を受光する（ステップＬ－２０）。

次に、ＰＤ出力検出部４４の処理系統１と２が並行して反射信号を処理する。処理系統１の電流電圧変換器４４ａは反射信号の電流を電圧に変換し、信号増幅器４４ｂが反射信号を増幅する（ステップＬ－３０）。処理系統１の信号増幅器４４ｂはアンダーシュートを起こさせないか又は起こさせてもわずかである。

処理系統２の電流電圧変換器４４ａは反射信号の電流を電圧に変換し、信号増幅器４４ｂが反射信号を増幅すると共にアンダーシュートさせる（ステップＬ－４０）。

そして、ＬＰＦ４４ｄがアンダーシュート処理された反射信号にフィルタリング処理を施し高周波数成分を低減する（ステップＬ－５０）。

次に、レーザ信号処理部２４０はステレオ画像演算部２５０から処理範囲を取得し、二値化回路４４ｃが処理系統１と処理系統２の反射信号の処理範囲をそれぞれ二値化する（ステップＬ－６０）。

次に、時間計測部４５は計測された時間を距離情報Ｚ１に変換する（ステップＬ－７０）。レーザ信号処理部２４０はこの距離情報Ｚ１とレーザ光の照射方向をステレオ画像演算部２５０に送出する。

なお、LiDARの検知結果を視差に反映させる方法については、図２９に記載の方法以外の方法を採用してよい。これらについては図３１，図３２に説明する。

＜路面の凹凸、路肩の検出等＞
処理系統３を用いた路面の凹凸、路肩の検出等について説明する。処理系統３では、アンダーシュートなしの反射信号がＡ／Ｄ変換回路４４ｅに入力されている。このＡ／Ｄ変換回路４４ｅは比較的遅い回路でよい。Ａ／Ｄ変換回路４４ｅでサンプリングしたデジタルデータにおいて、その大域的な傾きを見ることで測定制御部４６は路面推定（路面の凹凸や傾きを検出する）を行う。局所的な山を見ることで、路肩や白線の検出が可能となる。

図３０は、Ａ／Ｄ変換回路４４ｅにより変換した反射信号の大域的な解析を説明する図の一例である。図３０（ａ）は測距装置１００が検出する車両前方の状況を示し、図３０（ｂ）は図３０（ａ）の状況で検出される反射信号を示す。図３０（ａ）に示すように、測距装置１００の前方には凹部分８５２、凸部分8５３、及び、物体８５４が存在する。レーザ光８６０は凹部分８５２、凸部分８５３、及び、物体８５４を含む縦長の形状で照射された。

図３０（ａ）の反射信号について説明する。近くの路面ほど大きくレーザ光を反射するので、反射信号は立ち上がり部８５０ａを有する。その後、時間と共に遠方の路面からの反射信号が受光されるが、遠方ほど反射信号が弱まるため、反射信号は式（３）より距離の２乗に反比例する傾き８５１ａで減衰する。したがって、傾き８５１ａに生じる凹凸は路面の凹凸や物体の存在を示唆する。

図３０では、傾き８５１ａに凹部分８５２ａ及び凸部分８５３ａが確認される。路面が平らな場合、照射光は連続的に路面に当たるが、路面に凹部分８５２があると照射面が不連続に変化する。不連続点では反射信号が一瞬落ち込むため、反射信号の凹部分８５２ａにより凹部分８５２があることが推定される。凸部分８５３ａは、凸部ではLiDARに対する正対成分が大きくなり反射信号が大きくなるので路面が高くなっていることが推定される。すなわち、路面に凸部分８５３があると推定される。更に、反射信号が急激に大きくなる物体部分８５４ａは、路面に物体８５４があると推定される。このように、Ａ／Ｄ変換回路４４ｅが路面を含む反射信号をデジタルデータに変換することで、測定制御部４６は路面推定（路面の凹凸や傾きを検出する）を行うことができる。

このような路面推定を行なうために、レーザレーダ測距部１２０はレーザを大口径にして、路面に広く当たるように照射する。レーザは大口径でよく、Ａ／Ｄ変換回路４４ｅも比較的遅いサンプリングレートのものでよいため、レーザを絞ることにかかるコストや、Ａ／Ｄ変換回路にかかるコストも抑えることができるため、レーザレーダ測距部１２０のコスト増を抑制できる。

＜LiDARの検知結果を視差に反映させる方法の他の例＞
図３１は、距離空間をベースにして視差を算出する方法を説明する図の一例である。
（１）図２９のステップＳ－６０で処理範囲を決定した後、レーザ信号処理部２４０は該当範囲に存在するLiDARのアナログ信号の山を人為的に大きくする。
（２）レーザ信号処理部２４０はアナログ信号を反転する。
（３）ステレオ画像演算部２５０は、ステレオ画像から算出された視差空間のコストＣ（ｐ，ｄ）を、距離空間のコストＣ（ｐ、ｚ）に変換する。
（４） ステレオ画像演算部２５０は、（２）のアナログ信号と（３）のコストＣ（ｐ、ｚ）を足し合わせた合成コストを得る。

合成コストの最小値を探すことで視差を得ることができる。

図３２は、距離空間をベースにして視差を簡易的に算出する方法を説明する図の一例である。
（１）ステレオ画像演算部２５０は、ステレオ画像から算出された視差空間のコストＣ（ｐ，ｄ）を、距離空間のコストＣ（ｐ，ｚ）に変換する。
（２）レーザ信号処理部２４０は、図２９のステップＳ６０で処理範囲を決定した後、該当範囲のLiDARのアナログ信号のピーク部分を特定する。
（３）ステレオ画像演算部２５０は、ピーク部分に対応するコストＣ（ｐ，ｚ）のコスト値を予め定めた値だけ小さくして改変コストを得る。

改変コストの最小値を探すことで、視差を得ることができる。

＜まとめ＞
以上説明したように、本実施形態の測距装置１００は、ステレオカメラから得られる物体までの距離情報を用いて処理範囲を設定し、反射信号における着目領域を絞ることで、反射信号のノイズを物体として取ってしまうことを抑制しやすくなる。

反射信号が外乱光などによるノイズと同程度以下になってしまうほど微弱であるため、処理範囲を絞っても物体に対応するピークを検出しにくくなる状況に対応するため、反射信号にアンダーシュートを意図的に発生させ、反射信号の周波数帯域とアンダーシュート幅の周波数帯域にあわせて設計したＬＰＦ又はＢＰＦを通過させることで、反射信号のピークを強調できる（アンダーシュートにより信号強度を相対的に大きくできる）。したがって、「遠方の微弱信号の検出精度を向上させる」ことができる。

また、アンダーシュートを意図的に発生させると、隊列被写体の複数の物体の分離が困難になるという不都合が生じる。これに対応するため、本実施形態の測距装置１００は、反射信号にアンダーシュート処理を施す処理系統と、施さない処理系統を用意し、隊列被写体の複数の物体の分離を可能にすることができる。つまり、アンダーシュートありの反射信号は遠方の微弱信号の検出用として用い、アンダーシュートなしの反射信号は隊列被写体の複数の物体の距離を算出するために使用する。したがって、「隊列被写体の分離を可能としながら」「遠方の微弱信号の検出精度を向上させる」ことができる。

また、本実施形態の測距装置１００は、大口径レーザを照射し、その反射信号の大域的な傾きを見ることによって、路面推定（路面の凹凸や傾き）を行い、局所的な山を見ることで路肩や白線の検出を行うことができる。

大口径レーザを照射するので、レーザを絞ることに関するコストを抑えることができ、また路面推定に関しては比較的遅いサンプリングレートのＡ/Ｄ変換でよいため、Ａ/Ｄ変換機のコストも抑えることができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

上記実施形態では、画素領域についてコストＣを算出する場合について説明したが、コストＣの算出は、１画素ごとに行うように構成してもよい。つまり、上記実施形態に記載の"画素領域"には、１又は複数の画素が含まれるものとする。

また、上記実施形態では、ステレオカメラ部１１０とレーザレーダ測距部１２０とが一体的に構成される場合について示したが、ステレオカメラ部１１０とレーザレーダ測距部１２０とは、別体により構成されてもよい。

また、上記実施形態では、レーザ信号処理部２４０では主にアナログ信号からピークを取りだし、ステレオ画像演算部２５０ではデジタル信号を扱っていたが、受光素子２３５が反射信号を受光した直後にレーザ信号処理部２４０がデジタル信号に変換して、デジタル信号からピークを取り出してもよい。

また、上記実施形態では、レーザ信号処理部２４０とステレオ画像演算部２５０が、専用の集積回路により構成されるものとして説明した。しかしながら、例えば、レーザ信号処理部２４０、ステレオ画像演算部２５０の機能を実現するソフトウェアのプログラムコードが記録された記憶媒体を情報処理装置が実行することで本実施形態の機能を実現してもよい。

また、上記実施形態では、レーザ信号処理部２４０により算出された距離情報を、ステレオ画像演算部２５０に入力し、視差の再演算に用いるものとして説明したが、視差の再演算以外の用途に用いてもよい。

また、上記実施形態では、測距装置１００を車両１４０に取り付ける場合について説明した。しかしながら、測距装置１００の取り付け先は車両１４０に限定されず、バイク、自転車、車椅子、農業用の耕運機等であってもよい。あるいは、自律移動ロボット等の移動体であってもよい。あるいは、ドローンなどの飛行体でもよい。あるいは、ＦＡ（Factory Automation）において固定設置される工業用ロボット等であってもよい。

なお、ステレオ画像演算部２５０は画像処理部の一例であり、照射系１０は照射部の一例であり、時間計測用ＰＤ４２は受光部の一例であり、処理系統２の信号増幅器４４ｂは第１の処理回路の一例であり、ＬＰＦ４４ｄはフィルタ回路の一例であり、二値化回路４４ｃは取得手段の一例であり、時間計測部４５は変換手段の一例である。処理系統１の信号増幅器４４ｂは第２の処理回路の一例であり、第２視差演算部７２３は再演算手段の一例である。範囲決定部７１４が処理範囲を決定するための距離は第１の距離情報の一例であり、測定制御部４６が算出する距離は第２の距離情報の一例である。コストＣｌ計算部１４１２が算出するコストＣｌは第１のコストの一例であり、コストＣ計算部１４０３が算出するコストＣ（ｐ，ｄ）は第２のコストの一例であり、重み付け加算部１４２０が算出する重み付けコストは第３のコストの一例である。

１～３ 処理系統
４４ ＰＤ出力検出部
４４ａ 電流電圧変換器
４４ｂ 信号増幅器
４４ｃ 二値化回路
４４ｄ ＬＰＦ
４５ 時間計測部
４６ 測定制御部
１００ 測距装置
１１０ ステレオカメラ部
１２０ レーザレーダ測距部
１４０ 車両
１９０ ＥＣＵ
２４０ レーザ信号処理部
２５０ ステレオ画像演算部

特開2017－062169号公報

Claims (6)

1. レーザ光を照射する照射部と、
   前記レーザ光が物体で反射した反射信号を受光する受光部と、
   前記受光部が受光した前記反射信号にアンダーシュート処理を施す第１の処理回路と、
   前記第１の処理回路によりアンダーシュート処理が施された前記反射信号に、前記物体を表すピークを強調する処理を施すフィルタ回路と、
   複数の撮像装置が得た画像から第１の距離情報を算出する画像処理部と、
   前記画像処理部が前記第１の距離情報に基づいて決定した前記反射信号の処理範囲から、前記ピークを取得する取得手段と、
   前記照射部が前記レーザ光を照射してから前記取得手段が前記ピークを検出するまでの時間を前記物体までの第２の距離情報に変換する変換手段と、
   前記受光部が受光した反射信号にアンダーシュート処理を施さない第２の処理回路と、を有し、
   前記取得手段は、前記第１の処理回路がアンダーシュート処理を施した前記反射信号の前記処理範囲から前記ピークとアンダーシュート部分を取得し、
   更に、前記第２の処理回路がアンダーシュート処理を施さない前記反射信号の前記処理範囲から前記物体を表すピークを取得し、
   前記変換手段により変換された前記第２の距離情報に基づいて、複数の撮像装置が得た画像の視差を再演算する再演算手段を更に有し、
   前記画像処理部は、前記変換手段により算出された前記第２の距離情報を第１のコストに変換し、
   前記複数の撮像装置が得た複数の画像のブロックマッチングにより得た第２のコストを算出し、前記第１のコストと前記第２のコストを重み付けして算出した第３のコストから距離を算出することを特徴とする測距装置。
2. 前記フィルタ回路は、ローパスフィルタ又はバンドパスフィルタであることを特徴とする請求項１に記載の測距装置。
3. アンダーシュート部分に対応する周波数をf_u、反射信号のピークに対応する周波数をf_rとし、高周波数側のカットオフ周波数をf_cH、低周波数側のカットオフ周波数をf_cLとした場合、
   前記フィルタ回路はf_cL < f_u < f_r < f_cHの関係を満たすフィルタリング処理を行うことを特徴とする請求項１～２のいずれか１項に記載の測距装置。
4. 請求項１～３のいずれか１項に記載の測距装置を有する移動体。
5. 照射部がレーザ光を照射するステップと、
   受光部が、前記レーザ光が物体で反射した反射信号を受光するステップと、
   第１の処理回路が、前記受光部が受光した反射信号にアンダーシュート処理を施すステップと、
   フィルタ回路が、前記第１の処理回路によりアンダーシュート処理が施された前記反射信号に、前記物体を表すピークを強調する処理を施すステップと、
   画像処理部が、複数の撮像装置が得た画像から第１の距離情報を算出するステップと、
   取得手段が、前記画像処理部が前記第１の距離情報に基づいて決定した前記反射信号の処理範囲から、前記ピークを取得するステップと、
   変換手段が、前記照射部が前記レーザ光を照射してから前記取得手段が前記ピークを検出するまでの時間を前記物体までの第２の距離情報に変換するステップと、
   第２の処理回路が、前記受光部が受光した反射信号にアンダーシュート処理を施さないステップと、を有し、
   前記取得手段は、前記第１の処理回路がアンダーシュート処理を施した前記反射信号の前記処理範囲から前記ピークとアンダーシュート部分を取得し、
   更に、前記第２の処理回路がアンダーシュート処理を施さない前記反射信号の前記処理範囲から前記物体を表すピークを取得し、
   再演算手段が、前記変換手段により変換された前記第２の距離情報に基づいて、複数の撮像装置が得た画像の視差を再演算するステップを更に有し、
   前記画像処理部は、前記変換手段により算出された前記第２の距離情報を第１のコストに変換し、
   前記複数の撮像装置が得た複数の画像のブロックマッチングにより得た第２のコストを算出し、前記第１のコストと前記第２のコストを重み付けして算出した第３のコストから距離を算出することを特徴とする測距方法。
6. レーザ光を照射する照射部と、
   前記レーザ光が物体で反射した反射信号を受光する受光部と、を有する測距装置を、
   前記受光部が受光した反射信号にアンダーシュート処理を施す第１の処理回路と、
   前記第１の処理回路によりアンダーシュート処理が施された前記反射信号に、前記物体を表すピークを強調する処理を施すフィルタ回路と、
   複数の撮像装置が得た画像から第１の距離情報を算出する画像処理部と、
   前記画像処理部が前記第１の距離情報に基づいて決定した前記反射信号の処理範囲から、前記ピークを取得する取得手段と、
   前記照射部が前記レーザ光を照射してから前記取得手段が前記ピークを検出するまでの時間を前記物体までの第２の距離情報に変換する変換手段と、
   前記受光部が受光した反射信号にアンダーシュート処理を施さない第２の処理回路と、を有し、
   前記取得手段は、前記第１の処理回路がアンダーシュート処理を施した前記反射信号の前記処理範囲から前記ピークとアンダーシュート部分を取得し、
   更に、前記第２の処理回路がアンダーシュート処理を施さない前記反射信号の前記処理範囲から前記物体を表すピークを取得し、
   前記変換手段により変換された前記第２の距離情報に基づいて、複数の撮像装置が得た画像の視差を再演算する再演算手段を更に有し、
   前記画像処理部は、前記変換手段により算出された前記第２の距離情報を第１のコストに変換し、
   前記複数の撮像装置が得た複数の画像のブロックマッチングにより得た第２のコストを算出し、前記第１のコストと前記第２のコストを重み付けして算出した第３のコストから距離を算出する、
   測距装置として機能させるためのプログラム。

Images