JP7176406B2 - 画像処理方法、画像処理装置、車載装置、移動体、システム - Google Patents

画像処理方法、画像処理装置、車載装置、移動体、システム Download PDF

Info

Publication number
JP7176406B2
JP7176406B2 JP2018243505A JP2018243505A JP7176406B2 JP 7176406 B2 JP7176406 B2 JP 7176406B2 JP 2018243505 A JP2018243505 A JP 2018243505A JP 2018243505 A JP2018243505 A JP 2018243505A JP 7176406 B2 JP7176406 B2 JP 7176406B2
Authority
JP
Japan
Prior art keywords
distance
evaluation value
image
matching
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018243505A
Other languages
English (en)
Other versions
JP2019128350A (ja
Inventor
洋義 関口
聡一郎 横田
賢一郎 齊所
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to EP19152873.6A priority Critical patent/EP3514759B1/en
Priority to US16/253,839 priority patent/US10891751B2/en
Publication of JP2019128350A publication Critical patent/JP2019128350A/ja
Application granted granted Critical
Publication of JP7176406B2 publication Critical patent/JP7176406B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、測距方法、測距装置、車載装置、移動体、及びシステムに関する。
従来からステレオカメラにおいて視差値を画素ごとに計算する視差計算アルゴリズムとして、特徴点のブロックマッチング方式や、ＳＧＭ（Semi－Global－Matching）伝播方式などが知られている。これらの方式は、左右の画像の特徴点が探索される際の視差ごとにコストを算出する方式であり、探索視差空間においてコスト最小を与える視差値を整数視差として得て、所定の算出方法で推定されたサブピクセル視差を含む視差ｄを算出し、視差ｄと距離Ｚの対応式（Ｚ=ＢＦ/ｄ）により各画素に対応する距離を計算する。いわば視差空間にコストを投票する方式と言える（Ｂはカメラ間距離、Ｆは焦点距離）。
これらの従来型の視差空間コスト投票方式では、整数視差が小さい（すなわち距離Ｚが大きい）遠方領域では、距離分解能を確保することが難しいことが知られている。このため、遠方領域では視差計算結果のばらつき（分散）が大きく、測距値のばらつきも大きくなる傾向がある。
しかしながら、例えば測距システムが車載されることを考慮すると、自動運転に代表されるように遠方での測距性能が要求される傾向が高まっている。そこで、空間分解能は低いが距離分解能は高いＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）を用いて、ステレオカメラ（空間分解能は高いが遠方距離分解能が低い）とＬＩＤＡＲの測定結果を統合（これをフュージョンと呼ぶ場合がある）する試みが知られている。統合によりステレオカメラとＬＩＤＡＲのそれぞれの測定原理の限界を超えるセンサを開発できる。すなわち、遠方でも測距値分散が小さくかつ高分解能な距離画像を出力できる可能性があり、例えば、従来よりも、高分解能な測距、物体測距値の低分散化、不連続面の分離、及び、環境ロバスト性の向上等が可能になることが期待される。
ＬＩＤＡＲとステレオカメラの測定結果の統合としてステレオカメラの距離画像にＬＩＤＡＲの距離情報を関連付ける方式がある（例えば、特許文献１参照。）。特許文献１には、テクスチャの少ない画像領域の視差画像の濃度をＬＩＤＡＲの距離情報を使って増加させるフュージョン方法が開示されている。
しかしながら、特許文献１に開示された技術では、それぞれの測距方式の利点を活かして統合しているとは言えないおそれがあるという問題がある。従来は、ステレオカメラがブロックマッチング等で距離画像を出力した後に、ＬＩＤＡＲが測定する距離情報を後発的に追加する統合方法が一般的であった。この統合方法では、遠方を撮像したステレオカメラの距離画像にそもそも多くの誤差が含まれているため、ＬＩＤＡＲの距離情報を加えても精度の向上に限界があった。
すなわち、空間分解能は低いが距離分解能は高いＬＩＤＡＲと空間分解能は高いが遠方距離分解能が低いステレオカメラとの統合が十分でなく、互いの利点を活かしているとまではいえない可能性がある。
本発明は、上記課題に鑑み、それぞれの測距方式の利点を従来よりも活かして統合できる測距方法を提供することを目的とする。
上記課題に鑑み、本発明は、対象物との距離を測定するための距離画像を生成する画像処理方法であって、測距部が、対象物との距離情報を検出するステップと、ステレオ画像のマッチング評価値を含む画素のうち、前記測距部により前記距離情報が検出された前記対象物が対象物との距離を測定するための距離画像を生成する画像処理方法であって、測距部が、対象物との距離情報を検出するステップと、ステレオ画像のマッチング評価値を含む画素のうち、前記測距部により前記距離情報が検出された前記対象物が存在する位置に対応する画素のマッチング評価値に、画像処理部が、前記測距部が検出した前記距離情報を統合処理して前記距離画像を生成するステップと、を有し、前記画像処理部は前記マッチング評価値から前記距離画像を生成する前に前記統合処理を行い、前記ステレオ画像をマッチングする際の画素の各シフト量に対しそれぞれマッチングコストを算出し、各シフト量を距離に変換して、前記測距部による電磁波の照射方向により特定される画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に前記距離情報に関する距離評価値を統合し、前記距離評価値は、前記測距部による電磁波の照射方向により特定される画素で最も小さく、該画素から離れるほど大きくなる第一の評価値であることを特徴とする。
少なくとも遠方領域の距離精度が向上した測距方法を提供することができる。
ＬＩＤＡＲとステレオカメラの測距性能について説明する図の一例である。 距離分解能と空間分解能を説明する図の一例である。 一般的な視差空間を用いた場合に得られる距離Ｚを説明する図の一例である。 ＬＩＤＡＲの距離情報とステレオカメラの距離画像の従来の統合方法を説明する図の一例である。 本実施形態におけるＬＩＤＡＲの距離情報とステレオカメラの距離画像の統合方法を説明する図の一例である。 移動体の一例である自動車に搭載された測距システムを示す図の一例である。 レーザレーダ測距部とステレオ画像演算部が別々に構成された測距システムの一例を示す図である。 レーザレーダ測距部によるレーザ光の照射範囲について説明する図の一例である。 ステレオ画像演算部によるステレオ画像の撮像範囲を説明するための図である。 単眼カメラからステレオ画像を生成する方法を説明する図の一例である。 レーザレーダ測距部によるレーザ光の照射位置とステレオ画像演算部により撮像されたステレオ画像（基準画像）の画素位置との関係について説明する図の一例である。 レーザレーダ測距部の機能構成図の一例である。 ステレオ画像演算部の機能をブロック状に示す機能ブロック図の一例である。 右カメラにより撮像された基準画像と、左カメラにより撮像された比較画像における、注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）のコストとして、ＳＡＤを算出する例を示した図である。 ある注目画素の視差ごとのコストＣ（ｐ，ｄ）の一例を示す図である。 ＳＧＭ伝播方式を用いて伝播コストＬｒを算出する処理を模式的に示した図である。 測距システムの動作手順を説明するフローチャート図の一例である。 ステレオマッチングコストＣＳＴ（ｐ，Ｚ）の一例を示す図である。 ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の一例を示す図である。 ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を補足して説明するための図の一例である。 ステレオマッチングコストＣＳＴ（ｐ，Ｚ）へのＬＩＤＡＲコストＣＬＩ（ｐ、Ｚ）の投票を説明する図の一例である。 物体面の画素数を説明する図の一例である。 レーザの分解能による距離Ｚでの画素数xL、yLの算出を説明する図の一例である。 物体面が照射面を包含する距離を説明する図の一例である。 遠距離の場合と近距離の場合のそれぞれで照射面と物体面の関係を説明する図である。 エネルギーコストＳ（ｐ，Ｚ）の算出方法を説明する図の一例である。 エネルギーコストＳ（ｐ，Ｚ）の算出方法を模式的に示す図である。 エネルギーコストＳ（ｐ，Ｚ）が最小となる距離の算出方法を説明する図の一例である。 マルチパルスの処理を説明する図の一例である。 送信波、受信波、及び、反射波のモデルを示す図である。 送信波と受信波の周波数を模式的に示す図である。 ＦＭＣＷ方式の送信波と受信波の波形とうなり信号の波形を示す図の一例である。 物体の方向を説明する図である。 状況を説明するための基準画像を示す図である。 俯瞰マップの比較例を示す図である。 俯瞰マップの作成方法を説明する図の一例である。 状況を説明するための基準画像を示す図である。 俯瞰マップの比較例を示す図である。 ヘッドライトが撮像された夜間の基準画像を示す図である。 俯瞰マップの比較例を示す図である。 状況を説明するための基準画像を示す図である。 ＳＧＭ伝播方式で生じる膨張の抑制結果を説明する図である。 ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の距離成分コストＣＬＤ（ｐ，Ｚ）を模式的に表す図の一例である。 空間成分のＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）と距離成分コストＣＬＤ（ｐ，Ｚ）がどのようにステレオマッチングコストＣＳＴ（ｐ，Ｚ）に統合されるかを説明する図の一例である。 レーザレーダ測距部又はステレオ画像演算部に異常がある場合の、ＥＣＵの制御例を示すフローチャート図の一例である。 レーザレーダ測距部又はステレオ画像演算部に異常が生じた場合の表示例を示す図である。 画像データとレーザ光の照射位置を模式的に示す図である。 距離情報に対応付けられた受光レベルとステレオマッチングコストＣＳＴ（ｐ，Ｚ）の統合例を説明する図の一例である。 距離画像提供システムの概略構成図の一例である。 距離画像提供システムの機能ブロック図の一例である。
以下、本発明を実施するための形態の一例として測距システム及び測距システムが行う画像処理方法について説明する。
＜ＬＩＤＡＲとステレオカメラの測距性能＞
まず、図１を用いてＬＩＤＡＲとステレオカメラの測距性能について説明する。図１（ａ）は距離Ｚと距離分解能の関係をＬＩＤＡＲとステレオカメラを比較して示す。なお、距離分解能は、値が小さい方が、性能が高い。図示するように、ＬＩＤＡＲは距離Ｚが大きくてもほぼ一定の距離分解能を示すが、ステレオカメラは距離Ｚが大きくなると急激に距離分解能も大きくなる。したがって、ステレオカメラの測距精度は遠方領域で大きく低下する。
図１（ｂ）はＬＩＤＡＲにおける距離Ｚと空間分解能の関係を示す。なお、空間分解能も値が小さい方が、性能が高い。図１（ｂ）では、０．１度、０．２度、０．３度、０．４度、０．５度、０．６度の照射間隔（照射分解能）ごとに空間分解能を示すが、いずれも距離Ｚが大きくなると増大してしまう。
これに対し、図１（ｃ）はステレオカメラにおける距離Ｚと空間分解能の関係を示す。ステレオカメラでは画素ごとに空間を分解できるため空間分解能が高く、距離Ｚに対してもそれほど大きくは増大しない。
以上から、以下のような改善点が抽出される。
・ステレオカメラの測距精度：遠方ほど距離分解能が粗くなるため、遠方測距や遠方物体検出が難しい。
・ステレオカメラの耐物標性：繰返しパタンや低テクスチャでの誤マッチングが発生し、分散（ばらつき）の大きい距離値が多く発生する。
・ステレオカメラの耐環境性：夜間になると距離算出が困難になる。
・ＬＩＤＡＲ：空間分解能が低い。
本実施形態の測距システム１００は、これらの改善点を改善する。また、後述するようにステレオカメラの画像データに対しＳＧＭ（Semi－Global－Matching）伝播方式いうアルゴリズムで距離画像を求められると、物体の境界が失われたり物体領域が膨張したりするという課題がある。本実施形態ではこのＳＧＭ伝播方式で生じやすい物体の境界の消失と境界の膨張を抑制することも可能になる。
＜用語について＞
対応点を探す事をマッチングといい、そのマッチングの度合いをコストという。コストはマッチングの度合いの「評価値」であり、「非類似度」や「類似度」とも表現される。非類似度が低ければより一致している事を示し、類似度が高ければより一致している事を示す指標である。「非類似度」「類似度」を合わせて「一致度」とも表現することもある。
分解能について図２を用いて説明する。図２は距離分解能と空間分解能を説明する図である。距離分解能とは物体までの距離の違いを識別できる能力である。Ｚ方向の距離分解能が例えば１０ｃｍの場合、原点から１２ｃｍにある物体と２１ｃｍにある物体（９ｃｍしか違いがない）を識別できず同じ物体（同じ距離）と判断される。
空間分解能とは二次元の任意の方向の距離の違いを識別する能力である。Ｘ，Ｙ平面において例えば空間分解能が５ｃｍの場合、距離が４ｃｍしか離れていない２つの物体を識別できず同じ物体と判断される。空間分解能を角度分解能と称してもよい。
測距方向は物体までの距離を測定した方向であり、物体の方向である。測距方向により特定される画素は、該画素の他、周囲の画素を含む。
距離情報に関する距離評価値は、電磁波の照射方向により特定される画素と周囲の画素について電磁波などで検出された距離の不確かさに応じて設定される評価値である。本実施形態ではＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）という用語で説明される。マッチング評価値はブロックマッチングにおけるマッチングの度合いである。本実施形態ではステレオマッチングコストＣＳＴ（ｐ，Ｚ）という用語で説明される。
＜本実施形態の測距システムの概略＞
図３は、一般的な視差空間を用いた場合に得られる距離Ｚを説明する図の一例である。図３（ａ）はブロックマッチング及びＳＧＭ伝播方式により得られる、シフト量を横軸にしてコストＣ（ｐ，ｄ）と伝播コストＬｒ（ｐ，Ｚ）を示す。図３（ａ）では探索範囲を６４画素とする。ｐは注目画素、ｄは基準画像と比較画像のシフト量（探索視差）である。６４画素の探索範囲で最も小さいコストＣ（ｐ、ｄ）又は伝播コストＬｒ（ｐ，Ｚ）が注目している画素ｐの視差（整数視差）として採用される。
図３（ｂ）はＺ空間におけるコストＣ（ｐ，ｄ）又は伝播コストＬｒ（ｐ，Ｚ）を示す。図３（ａ）の視差ｄから式（１）により距離Ｚが求められる。
Ｚ＝ＢＦ／ｄ …（１）
なお、Ｂはステレオカメラにおける左右のカメラの光軸間距離、Ｆは左右のカメラの焦点距離である。図３（ｂ）に示すように、Ｚ空間では、コストＣ（ｐ，ｄ）又は伝播コストＬｒ（ｐ，Ｚ）が得られる距離Ｚに疎密が生じる。これは距離Ｚを算出する式（１）の分母にｄが含まれているため、距離Ｚがｄに反比例し、ｄが０に近いと距離Ｚが大きく変化するためである。
したがって、一般的なブロックマッチングは遠距離側で粗いコスト伝播をしているのと同義になり、遠距離で高精度を得ることが困難になる。
図４はＬＩＤＡＲ９の距離情報とステレオカメラ８の距離画像の従来の統合方法を説明する図の一例である。従来は、ステレオカメラ８がブロックマッチング等で距離画像を出力した後に、ＬＩＤＡＲ９が測定する距離情報を後発的に追加する統合方法が一般的であった。この統合方法では、図３で説明したようにステレオカメラ８の距離画像にそもそも多くの誤差が含まれているため、ＬＩＤＡＲの距離情報を加えても精度の向上に限界があった。
そこで、本実施形態では、図５に示すようにステレオカメラ８がブロックマッチング等で距離画像を出力する前にＬＩＤＡＲ９が測定した距離情報を統合させる。図５（ａ）は本実施形態におけるＬＩＤＡＲ９の距離情報とステレオカメラ８の距離画像の統合方法を説明する図の一例である。ステレオカメラ８は距離画像を出力する前にＬＩＤＡＲ９が出力する距離情報をコストＣ（ｐ，ｄ）に統合させる。
そして、図５（ｂ）に示すように、この統合の際、ステレオカメラ８はＺ空間でコストＣ（ｐ，Ｚ）を演算する。図５（ｂ）はＺ空間におけるコストＣ（ｐ，Ｚ）及び伝播コストＬｒ（ｐ，Ｚ）の一例を示す。疎密の少ないＺ空間を予め用意しておき、このＺ空間でステレオカメラ８が算出したコストＣ（ｐ，Ｚ）のうち距離ＺにＬＩＤＡＲのコストを投票し、ＳＧＭ伝播方式等によるコストの伝播もＺ空間で行うことで、Ｚ空間においてコストが最小の距離Ｚを特定でき、距離分解能が高い距離画像が得られる。また、距離画像はもともと空間分解能が高いため、高密度かつ高分解能な距離画像が得られる。
このように、本実施形態の測距システムは、ステレオカメラがブロックマッチング等で距離画像を出力する前に、Ｚ空間でＬＩＤＡＲが測定した距離情報を統合させることで高密度かつ高分解能な距離画像を実現できる。
＜測距システムの適用例＞
図６を用いて、測距システム１００の適用例について説明する。図６は、移動体の一例である移動体２００に搭載された測距システム１００を示す図である。図６では、移動体２００のフロントウィンドウの内側中央位置に、測距システム１００が設定されている。測距システム１００は、レーザレーダ測距部１１０とステレオ画像演算部１２０とを有する。レーザレーダ測距部１１０とステレオ画像演算部１２０はいずれも前方が測距範囲となるように設置されている。レーザレーダ測距部１１０は、ステレオ画像演算部１２０が有するステレオカメラ（２つの撮像部又は撮像手段）の間（好ましくは中央）に配置されるものとする。
なお、レーザレーダは上記のＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）と呼ばれる場合がある。本実施形態では特に断らない限り両者を区別しない。レーザレーダ又はＬＩＤＡＲは、レーザーダイオードを使って可視スペクトル外の光のパルスを発射し、そのパルスが戻ってくる時間を計測することで距離を算出する。ある瞬間のパルスが反射した方向と距離を、レーザレーダ測距部１１０を中心とした３Ｄ地図の中の点として記録する。
また、図６では、レーザレーダ測距部１１０とステレオ画像演算部１２０が一体的に構成された測距システム１００を示したが、レーザレーダ測距部１１０とステレオ画像演算部１２０は別体に構成されてもよい。
図７は、レーザレーダ測距部１１０とステレオ画像演算部１２０が別体に構成された測距システム１００の一例を示す。図７では、レーザレーダ測距部１１０が例えばフロントグリルの内側に搭載され、ステレオ画像演算部１２０が車室内側の前方（例えばルームミラーの裏側近く）に配置されている。本実施形態では、レーザレーダ測距部１１０から出力される距離情報が、ステレオ画像演算部１２０の距離情報と統合されればよく、図６，図７に示す形状や構成に限られない。
＜レーザレーダ測距部のレーザの照射範囲＞
図８は、レーザレーダ測距部１１０によるレーザ光の照射範囲について説明する図の一例である。図８（ａ）は、移動体２００を上方から見た上面図であり、図８（ｂ）は、移動体２００を側方から見た側面図である。
図８（ａ）に示すように、レーザレーダ測距部１１０は、移動体２００の進行方向の前方の所定範囲を水平方向に走査しながらレーザ光を照射する。なお、レーザ光は光と捉えてもよいし電磁波と捉えてもよい。
また、図８（ｂ）に示すように、レーザレーダ測距部１１０は、移動体２００の進行方向の前方の所定範囲に向かってレーザ光を照射する。どの程度遠方までレーザが到達するかはレーザレーダ測距部１１０の出力によるが数百メートル程度の範囲で測距可能である。近い側の検出範囲は１メートル未満から検出可能であるが、通常、これほどの近距離領域では測距の必要性が低いため適宜、距離を検出する範囲が設定されていてよい。
レーザレーダ測距部１１０は、レーザ光の照射方向を、仰角方向に回転させながら水平方向に走査させることができるよう構成されている。これにより、レーザレーダ測距部１１０の設置位置を基準として、近傍から遠方までの照射範囲を照射することができる。
＜ステレオ画像演算部の撮像範囲＞
図９は、ステレオ画像演算部１２０によるステレオ画像の撮像範囲を説明するための図である。ステレオ画像とは基準画像と比較画像の両方をいう。図９（ａ）は、移動体２００の上面図である。ステレオ画像演算部１２０は、２つの撮像装置（カメラ）が移動体２００の進行方向の前方に光軸を向けて設置されており、進行方向の所定範囲の画像を撮像する。レーザ光の照射範囲とステレオカメラの撮像範囲は少なくとも一部が重複している。
図９（ｂ－１）と図９（ｂ－２）は、ステレオカメラにより撮像された基準画像（右カメラの画像データ）と比較画像（左カメラの画像データ）を示す。右カメラ１１と左カメラ１２は互いに、所定の間隔を介して水平に設置されている。このため、基準画像と比較画像は重複部分を有するが、撮像画像内のオブジェクトの位置が、左右方向にずれることになる。
ステレオ画像演算部１２０は、基準画像と比較画像の各オブジェクトのずれ量（これが視差となる）を算出することで、距離画像を生成し出力する。ステレオ画像演算部１２０はステレオ画像の画素に距離情報の対応付けも行う。
また、右カメラ１１と左カメラ１２のいずれかを省略して、単眼カメラによりステレオ画像を取得してもよい。図１０を用いて単眼カメラからステレオ画像を生成する方法を説明する。
図１０（ａ）に示すようにステレオ画像演算部１２０は右カメラ１１と左カメラ１２を有している。まず、大量の基準画像と比較画像を用意し、深層学習（ディープラーニング）により基準画像から比較画像を学習させるか、又は、比較画像から基準画像を学習させる。以下では、基準画像から比較画像を学習させるものとして説明する。
ＤＮＮ（Deep Neural Network）１２１の入力層に基準画像の各画素値が入力される。中間層は１つ以上の畳み込み層、１つ以上のプーリング層、ニューラルネットワーク、及び、encoder decoder networkが組み合わせて構築される。中間層は二次元フィルタの係数として表される。出力層は推定される比較画像の各画素値を出力する。出力層が出力する画素値と実際の比較画像の画素値の差を誤差逆伝播法で二次元フィルタの係数に反映させる（学習する）。十分な数の基準画像と比較画像で二次元フィルタの係数を調整することがＤＮＮ１２１の学習に相当する。なお、二次元フィルタの初期値はオートエンコーダで学習するとよい。
図１０（ｂ）は学習後に車載される単眼カメラ演算部１２２とＤＮＮ１２１の一例を示す。車載された段階では、単眼カメラ演算部１２２が基準画像のみを出力する。ＤＮＮ１２１は比較画像を出力する出力器となる。基準画像はＤＮＮ１２１に入力され、推定された比較画像を出力する。このようにして得られる比較画像は、左カメラ１２で撮像された比較画像と違いがあるものの、距離画像を生成することができる品質であることが実際に確認されている。単眼カメラ演算部１２２は基準画像と推定された比較画像でブロックマッチングを行う。
したがって、本実施形態では右カメラ１１と左カメラ１２のいずれか一方があればよく、ステレオカメラが搭載されることは必須でない。換言すれば、ステレオ画像が必須要件であり、ステレオ画像を生成する手段は限定されない。
＜レーザ光の照射位置とステレオ画像の画素位置との関係＞
次に、図１１を用いて、レーザレーダ測距部１１０によるレーザ光の照射位置とステレオ画像演算部１２０により撮像されたステレオ画像（基準画像）の画素位置との関係について説明する。図１１（ａ）は、レーザ光の照射位置とステレオ画像（基準画像）の画素位置との関係を説明する図の一例である。
レーザレーダ測距部１１０によるレーザの照射方向と、基準画像の画素位置は予め対応付けておくことができる。図１１（ａ）では側方から見た２つのオブジェクトＯ１、Ｏ２が示されており、図１１（ｂ）はオブジェクトＯ１、Ｏ２が撮像された基準画像の一例である。オブジェクトＯ２，Ｏ１はレーザレーダ測距部１１０と右カメラ１１の光軸に対し直線上にあるため、重なって撮像される。
オブジェクトＯ２の高さｈ２がオブジェクトＯ１の高さｈ１のちょうど２倍で、オブジェクトＯ２の移動体２００からの距離Ｌ２がオブジェクトＯ１の移動体２００からの距離Ｌ１のちょうど２倍であるとする（図では作図の関係でほぼ２倍となる）。オブジェクトＯ１とＯ２のサイズと距離が比例関係にあるため、画像データにはオブジェクトＯ１とＯ２が同じサイズで写り、また、オブジェクトＯ１とＯ２と移動体２００の位置関係から重なって写る。したがって、レーザ光がオブジェクトＯ１とＯ２の上端を通過した場合、レーザ光はステレオ画像演算部１２０により撮像された基準画像のオブジェクトＯ１、Ｏ２の上端に写るはずである（可視光でないため実際には写らない）。このようにオブジェクトまでの距離に関係なく、レーザ光の照射方向と、基準画像の画素位置は１対１に対応するので、両者を予め対応付けておくことができる。
図１１（ｃ）は、基準画像の画素Ｐ１～Ｐ４に対応する距離情報を示す。例えば、Ｐ１（x1,y1）の画素は水平方向θ１、仰角φ１の照射方向と対応し、Ｐ２（x2,y2）の画素は水平方向θ２、仰角φ２の照射方向と対応し、Ｐ３（x3,y3）の画素は水平方向θ３、仰角φ３の照射方向と対応し、Ｐ４（x4,y4）の画素は水平方向θ４、仰角φ４の照射方向と対応する。
このため、レーザレーダ測距部１１０から照射方向と距離情報が出力されると、ステレオ画像演算部１２０は測定された距離情報を画素に関連付けることができる。
＜レーザレーダ測距部の機能構成＞
次に、図１２は、レーザレーダ測距部１１０の機能構成図の一例である。レーザレーダ測距部１１０は信号処理部６０１、仰角方向スキャンドライブユニット６０２、モータ６０３、仰角方向スキャンミラー６０４、レーザ受光部６０５、信号増幅器６０６、時間間隔カウンタ６０７、レーザ出力部６０８、及び、レーザドライバ６０９を有する。
信号処理部６０１からの指示に基づいて、仰角方向スキャンドライブユニット６０２が、仰角方向スキャンミラー６０４を仰角方向に回転させるためのモータ６０３を駆動する。これにより、仰角方向スキャンミラー６０４は、仰角方向に回転する。
また、信号処理部６０１からの指示に基づいて、レーザドライバ６０９が駆動し、レーザ出力部６０８からレーザ光が出力される。このとき、レーザ光の出力タイミングは、時間間隔カウンタ６０７に一時的に保持される。レーザ出力部６０８から出力されたレーザ光は、仰角方向スキャンミラー６０４を介して、外部に出力されるため、所定の照射範囲を照射することになる。
外部に出力されたレーザ光は、照射方向の物体（対象物）で反射し、その反射光が仰角方向スキャンミラー６０４を介して、レーザ受光部６０５において受光される。レーザ受光部６０５は、垂直方向に配列された複数のフォトディテクタ（ＰＤ：Photo Detector）を有しており、レーザ光はいずれかのフォトディテクタで受光され電気信号に変換される。
変換された電気信号は、信号増幅器６０６において増幅され、時間間隔カウンタ６０７に入力される。時間間隔カウンタ６０７では、レーザ出力部６０８より出力されたレーザ光の出力タイミングと、レーザ受光部６０５において受光された反射光の受光タイミングとに基づいて、時間間隔を算出する。
時間間隔カウンタ６０７において算出された時間間隔は、信号処理部６０１において距離情報に変換され、照射方向を示す情報と共に、ステレオ画像演算部１２０に出力される。
また、信号処理部６０１は異常監視部６０１ａを有している。異常監視部６０１ａはレーザレーダ測距部１１０に生じる異常を監視する。例えば、時間間隔カウンタ６０７が検出する時間間隔、又は、信号処理部６０１が検出した距離情報が変化しない時間が一定時間以上継続した場合に異常があると判断する。この他、距離情報が仕様外の値を取ることが一定時間以上継続した場合、又は、信号処理部６０１が規定値以上の温度に達した場合、などに異常を検出してもよい。レーザレーダ測距部１１０は異常がある旨をステレオ画像演算部１２０に通知する。
ステレオ画像演算部１２０はレーザレーダ測距部１１０自体の異常を監視する。例えば、レーザレーダ測距部１１０が無応答であること、通信できないこと、レーザレーダ測距部１１０から所定の電圧が入ってこないこと（電源オフ）、などを検出する。
＜ステレオ画像演算部の機能構成＞
図１３は、測距システム１００の構成図を示す。また、図１３ではステレオ画像演算部１２０の機能をブロック状に示している。測距システム１００は測距する装置であるため測距装置ということができる。この他、距離測定装置、測距部などと呼ばれてもよい。
図１３に示すように、ステレオ画像演算部１２０は、右カメラ１１と、左カメラ１２、歪み補正部１３、及び、距離演算部１４を有する。右カメラ１１及び左カメラ１２によりステレオカメラが形成されている。なお、本実施形態において、右カメラ１１により撮像される撮像画像を基準画像として用い、左カメラ１２により撮像される撮像画像を比較画像として用いる。
歪み補正部１３、及び、距離演算部１４は専用の電子回路を用いて実現してもよいし、各部を実現するためのプログラムがＣＰＵ（コンピュータ）によって実行されることで実現されてもよい。したがって、ステレオ画像演算部１２０は情報処理装置の機能を有する。また、画像を処理するという点から画像処理装置でもある。
歪み補正部１３は、基準画像と比較画像に一般的な歪み補正を行う。この画像補正により、基準画像と比較画像は視差以外の差異が生じないように補正される。画像補正は事前のキャリブレーションにより可能になる。左カメラ１２と右カメラ１１は設置される際に、例えば、校正用の被写体（例えば市松模様のチャート）を撮像する。２つの画像を比較して、カメラのレンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等のハード的な内部誤差要因が最小になるように画像データを変換する幾何変換用のＬＵＴ（Look Up Table）が生成されている。歪み補正部１３はこのようなＬＵＴを参照して画像補正を行う。
距離演算部１４は基準画像と比較画像にブロックマッチングやＳＧＭ伝播方式などのアルゴリズムを適用して視差を算出する。また、詳細は後述するが距離演算部１４は、距離画像を出力する前にレーザレーダ測距部１１０が出力する距離情報で特定されるステレオマッチングコストＣＳＴ（ｐ，Ｚ）の距離Ｚに、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を統合する。距離演算部１４が行う統合に関する処理を統合処理という。ステレオマッチングコストＣＳＴ（ｐ，Ｚ）はマッチング評価値の一例であり、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）は距離評価値の一例である。
また、距離演算部１４は異常監視部１４ａを有している。この異常監視部１４ａはステレオ画像演算部１２０に生じる異常を監視する。例えば、基準画像又は比較画像の画素値が変化しない時間が一定時間以上継続した場合に異常があると判断する。この他、画素値が仕様外の値を取ることが一定時間以上継続した場合、又は、距離演算部１４が規定値以上の温度に達した場合、などに異常を検出してもよい。ステレオ画像演算部１２０は異常がある旨をＥＣＵ２０に通知する。なお、ステレオ画像演算部１２０はレーザレーダ測距部１１０から異常がある旨を受信した場合、又は、検出した場合もＥＣＵ２０に通知する。
ＥＣＵ２０はステレオ画像演算部１２０自体の異常を監視する。例えば、ステレオ画像演算部１２０が無応答であること、通信できないこと、ステレオ画像演算部１２０から所定の電圧が入ってこないこと（電源オフ）、などを検出する。
図１３では一例として、距離画像と基準画像がＥＣＵ２０（Electronic Control Unit：電子制御ユニット）に送出されている。ＥＣＵ２０は移動体の電子制御ユニットである。なお、車載された測距システム１００を車載装置という。ＥＣＵ２０は、測距システム１００が出力する距離画像と基準画像を用いて各種の運転支援を行う。基準画像については種々のパターンマッチングを行い先行車、歩行者、白線、信号機の状態の認識等を行う。
運転支援は移動体によって様々であるが、例えば、対象物の横位置が自分である移動体の車幅と重なる場合、距離と相対速度から算出されるＴＴＣ(Time To Collision)に応じて警報や制動などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向にステアリングを操舵する。
また、ＥＣＵ２０は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら移動体も停車させ、先行車が発進したら移動体も発進する。また、ＥＣＵ２０が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御や走行レーンから逸脱するおそれがあると走行方向を走行レーンに向けて変更する逸脱防止制御等を行うことができる。
また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警告したりすることで被害を軽減する。
ＥＣＵ２０には表示装置２１が接続されている。表示装置２１は、センターコンソールやダッシュボードなどに配置されたフラットパネルディスプレイ（液晶や有機ＥＬなど）、又は、メータパネルに内蔵されたフラットパネルディスプレイなどである。あるいは、ＨＵＤ（Head Up Display）でもよい。ＥＣＵ２０は、レーザレーダ測距部１１０又はステレオ画像演算部１２０に異常が生じた旨を表示装置２１に表示する。表示例については実施例３にて説明する。
なお、図１３の構成は一例にすぎず、レーザレーダ測距部１１０とステレオ画像演算部１２０が一体に構成されていてもよい。また、ＥＣＵ２０がステレオ画像演算部１２０の機能を有していてもよい。
＜ブロックマッチングによる整数視差の演算＞
図１４を用いてブロックマッチングによる整数視差の演算について説明する。図１４は、右カメラ１１により撮像された基準画像４２０と、左カメラ１２により撮像された比較画像４１０における、注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）のコストとして、ＳＡＤ（Sum of Absolute Difference）を算出する例を示した図である。なお、ＳＡＤの計算式を（数１）に示す。
基準画像４２０と比較画像４１０では、撮像位置が異なるため、撮像画像上の同じ位置の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）であっても、同じオブジェクトを指し示すことはなく、左右方向にずれた位置を指し示すことになる。このため、ブロックサイズを１×１画素とした場合のＳＡＤである、基準画像４２０上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値と、比較画像４１０上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値は、大きな値となる。
ここで、比較画像４１０上の注目している画素ｐを１画素分、右方向にシフトさせる。つまり、視差ｄ＝１としたときのＳＡＤを算出する。具体的には、比較画像４１０上の注目している画素ｐ＝（Ｐｘ３＋１，Ｐｙ５）の輝度値と、基準画像４２０上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値を算出する。なお、図１４の例では、ｄ＝１の場合も、ＳＡＤは大きな値となる。
以下、同様に、ｄ＝２、３、・・・と変化させていき、それぞれにおいてＳＡＤを算出する。図１４の例では、ｄ＝３の場合に、基準画像４２０の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）が指し示すオブジェクトと比較画像４１０の注目している画素ｐ＝（Ｐｘ３＋３，Ｐｙ５）が指し示すオブジェクトとが同じとなる。このため、ｄ＝３とした場合のＳＡＤは、ｄ＝３とした場合以外のＳＡＤと比べて小さくなる。
図１５（ａ）は、ある注目している画素ｐの視差ごとのＳＡＤの一例を示す。ＳＡＤがコストＣ（ｐ，ｄ）の一例となる。この注目している画素ｐではｄ＝３において、ＳＡＤが最小なため、視差ｄは３であると算出される。
図１５（ｂ）は、別の注目している画素ｐの視差ごとのＳＡＤの一例を示す。図１５（ｂ）では視差ｄの変化に対するＳＡＤの変化が小さいため、距離演算部１４が視差を抽出することができない。このように、ブロックマッチングだけでは、視差を特定することができない画素が生じえるため、距離演算部１４は、視差を顕在化させるためにエネルギ計算処理（ＳＧＭ伝播方式）を行う。
なお、図１５のように視差ごとのＳＡＤ（コストＣ（ｐ，ｄ））が算出されたら、小数視差を求めることが好適である。小数視差を求める方法として高次多項式推定（６次）、高次多項式推定（４次）、又はパラボラフィッティング等を使用する算出方法がある。
Figure 0007176406000001
 ＳＡＤは、上記のように、輝度値の差の絶対値を計算しその和を相関値とする演算である。画素ブロックが類似するほど値が小さくなる。
また、ブロックマッチングではＳＡＤ以外に、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross Correlation）、ＺＮＣＣ（Zero means Normalized Cross Correlation）などの演算方法を採用してよい。
Figure 0007176406000002
 ＳＳＤは輝度値の差の二乗を計算し、その和を相関値とする演算である。画素ブロックが類似するほど値が小さくなる。
Figure 0007176406000003
 ＮＣＣは分子で，輝度値の内積を計算する。似た輝度値であれば内積の値が大きくなる。分母は分子の数値を正規化するための数値であり、画素ブロックが類似するほど値が大きくなる。ＮＣＣは最大で１，最小で０の値を取る。ＮＣＣは正規化相互相関ともいう。
Figure 0007176406000004
 ＺＮＣＣは平均値を引いた後の正規化相互相関である。周波数的に考えると直流成分を取り除くことに相当し、明るさに違いのある画像の比較に有効である。なお、Ｍは水平方向の画素数、Ｎは垂直方向の画素数である。
この他、ＺＳＡＤ（Zero means Sun of Absolute Difference）又はＺＳＳＤ（Zero means Sum of Squared Difference）を用いてもよい。ＺＳＡＤは平均値を引いた後のＳＡＤであり、ＺＳＳＤは平均値を引いた後のＳＳＤである。
＜ＳＧＭ伝播方式＞
距離演算部１４は、ＳＧＭ伝播方式と称されるアルゴリズムを用いて、伝播コストＬｒを算出し、当該伝播コストＬｒを用いて注目している画素ｐのエネルギーコストＳ（ｐ，ｄ）を算出するエネルギ計算処理を行う。なお、ＳＧＭ伝播方式はデンスアルゴリズムの一形態である。
まず、ＳＧＭ伝播方式を用いて伝播コストＬｒを算出する処理について説明する。図１６は、ＳＧＭ伝播方式を用いて伝播コストＬｒを算出する処理を模式的に示した図である。
図１６の例では、注目している画素ｐである画素１１００に対して、４方向の伝播コストＬｒを求める場合を示している。具体的には、画素１１００に対して、矢印１１１１方向の伝播コストＬ１と、矢印１１１２方向の伝播コストＬ２と、矢印１１１３方向の伝播コストＬ３と、矢印１１１４方向の伝播コストＬ４とを求める場合を示している。なお、画素１１００に対して求める伝播コストの方向（ｒ）は、４方向に限定されるものではなく、例えば、８方向であっても、あるいは２方向であってもよい。
図１６に示すように、矢印１１１１方向の伝播コストＬ１は、下式により求めることができる。
Figure 0007176406000005
 …（２）
ただし、ｐは画素１１００の座標を、ｄは視差を表している。このように、伝播コストＬ１（ｐ，ｄ）は、画素１１００のコストＣ（ｐ，ｄ）と、画素１１００の左側１画素に位置する画素の各視差（ｄ－１～ｄ＋１）での伝播コストとによって算出することができる。つまり、矢印１１１１方向の伝播コストは、左方向から右方向へと順次、伝播コストが算出されていくことになる。なお、左方向から右方向へと伝播コストを伝播させていく際の伝播間隔は、１画素に限定されるものではない。つまり、画素１１００の左側ａ画素に位置する画素の各視差での伝播コストを用いて、伝播コストＬ１（ｐ，ｄ）を算出するように構成してもよい。
同様に、矢印１１１２方向の伝播コストＬ２は、上方向から下方向へと順次算出されていくことになる。また、矢印１１１３方向の伝播コストＬ３は、右方向から左方向へと順次算出され、矢印１１１４方向の伝播コストＬ４は、下方向から上方向へと順次算出されていくことになる。
つづいて、エネルギ計算処理のうち、当該伝播コストＬｒを用いて注目している画素ｐのエネルギーコストＳ（ｐ，ｄ）を算出する処理について説明する。
上記のようにして、各画素について算出された各方向からの伝播コストに基づいて、各画素のエネルギーコストＳ（ｐ，ｄ）が下式により算出される。
Figure 0007176406000006
 …（３）
したがって、図１６の例では、Ｓ（ｐ，ｄ）＝Ｌ１（ｐ，ｄ）＋Ｌ２（ｐ，ｄ）＋Ｌ３（ｐ，ｄ）＋Ｌ４（ｐ，ｄ）により算出することができる。
＜本実施形態における距離の算出方法＞
続いて、図１７を参照して本実施形態の測距システム１００が画素ごとの距離値の算出手順を説明する。図１７は、測距システム１００の動作手順を説明するフローチャート図の一例である。
（ステップＳ１～Ｓ４）
ステップＳ１に示すように、レーザレーダ測距部１１０が距離情報を取得する。これと並行してステレオ画像演算部１２０の右カメラ１１が基準画像を、左カメラ１２が比較画像を撮像する（Ｓ２）。歪み補正部１３は視差以外の相違がなくなるようにそれぞれに歪み補正を行う（Ｓ３）。次に、ステレオ画像演算部１２０がステレオマッチングコストＣＳＴ（ｐ、Ｚ）を算出する（Ｓ４）。
なお、ステップＳ１～Ｓ４は同期して行われてもよいが、ステレオ画像演算部１２０はレーザレーダ測距部１１０の最新の距離情報を用いることにして非同期に行われてもよい。
図１８は、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）の一例を示す図である。すなわち、ステレオマッチングで得た視差空間のコストがＺ空間のステレオマッチングコストＣＳＴ（ｐ，Ｚ）に変換されている。このため、Ｚ空間の等間隔にステレオマッチングコストＣＳＴ（ｐ，Ｚ）が得られない。そこで、距離演算部１４はステレオマッチングで得たコストを補間する。図１８では丸がステレオマッチングで得たコストであり、四角形が補間で得たコストである。補間方法は、曲線近似に適した方法であればよく、例えば放物線fitting、高次多項式、スプライン曲線などを適用できる。図１８では、補間により例えば０．５メートルごとにステレオマッチングコストＣＳＴ（ｐ，Ｚ）が算出されている。なお、図１８のoffsetは距離Ｚを０．５メートルごとに求めるための端数である。
（ステップＳ５）
次に、距離演算部１４は、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）とＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を統合して、コストＣ（ｐ，Ｚ）を算出する。式では以下のように表すことができる。
Ｃ（ｐ，Ｚ）＝ＥＳＴ×ＣＳＴ（ｐ，Ｚ）＋ＥＬＩ×ＣＬＩ（ｐ，Ｚ） …（４）
ＥＳＴ：ステレオマッチングコストの係数（重み）
ＥＬＩ：ＬＩＤＡＲコストの係数（重み）
まず、図１９，図２０に基づいて、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を説明する。図１９はＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の一例を示す図であり、図２０はＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を補足して説明するための図である。また、式（５）はＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の一例を示す。
Figure 0007176406000007
 …（５）
ｒ０：レーザの照射方向に対応する画素
ｐ ：ｒ０を含むｒ０の周囲の画素
σ ：ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の広がりを定めるパラメータ
Ａ ：ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の深さを定めるパラメータ（０～１）
本願の発明者は、距離画像の出力前にレーザレーダ測距部１１０の距離情報をステレオマッチングコストＣＳＴ（ｐ，Ｚ）に統合させるため、新たにＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を設定した。図１９に示すように、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）はｐ＝ｒ０の光線中心の画素で最も小さく、ｒ０から周囲に離れるほどσにしたがって大きくなる。式（５）から明らかなように、Ａが１の場合、画素ｒ０のＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）は０である。一方、ｒ０から遠く離れた周辺部の画素ではＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）が１になる。
一方、図２０の１矩形は画素を示しており、中心の画素ｒ０と、レーザ光の１光線の横分解能と縦分解能が画素単位で示されている。つまり、レーザ光の１光線が広がる範囲が画素数で示されている。レーザ光の１光線が広がる範囲のうち横方向を横分解能、縦方向を縦分解能といい、図２０では横分解能が５画素、縦分解能が９画素である。１つのレーザ光は遠方に行くほど広がる。しかし、ステレオカメラで撮像される面積（画素数）はほぼ一定である。遠方に行くにしたがってレーザ光が広がっても遠方のレーザ光は小さく見えるためである。したがって、レーザレーダ測距部１１０が中心の画素ｒ０について測距した距離Ｚに関わりなく、一定の横分解能と縦分解能の画素ｐについて式（５）でＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を算出すればよい。
式（５）によりＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）が求められると、距離演算部１４はステレオマッチングコストＣＳＴ（ｐ，Ｚ）にＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を投票する。図２１は、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）へのＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の投票を説明する図の一例である。レーザ光の照射方向に対応する画素ｒ０の距離Ｚがレーザレーダ測距部１１０により得られているので、画素ｒ０のこの距離ＺにＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を投票する。投票とは加算という処理に相当する。画素ｒ０の場合、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）は１－Ａ＝０（Ａが１の場合）である。
距離演算部１４は、同様の投票を、画素ｒ０を中心とする横分解能と縦分解能に含まれる画素ｐについて行う。ただし、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）はｒ０とｐとの距離に応じて式（５）により算出された値となる。
このように、本実施形態ではＺ空間のまま、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）とＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を統合できる。画素ｒ０のコストが最も小さくなり、画素ｒ０の周囲の画素のコストが画素ｒ０より高くなるので、横分解能と縦分解能のレーザ光の照射方向に対応する画素ｒ０のコストを小さく、周囲の画素のコストを高くできる。
なお、図１９のＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の形状は一例に過ぎない。例えば、画素ｒ０から一定範囲で最小のコストを示す円柱形状でもよいし、図１９と似ているが逆三角形でもよい。また、式（４）ではステレオマッチングコストＣＳＴ（ｐ，Ｚ）とＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を加算しているが、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）からＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を減算してもよい。あるいは、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）が負値でもよい。
ステップＳ５の処理について図２２～図２５を用いて補足する。以下では、レーザの横分解能と縦分解能範囲でも周囲になるほど距離情報の正確性が低下することを説明する。
まず、図２２は物体面の画素数を説明する図の一例である。図２２（ａ）はある物体の画素数を示し、図２２（ｂ）は物体の大きさと物体面の画素数の対応を示す。物体面とは画像データにおいて物体が占める範囲である。
横幅Ｎ〔ｍ〕、縦幅Ｍ〔ｍ〕の物体が距離Ｚ〔ｍ〕に存在する。焦点距離Ｆを使うことで、画像データにおける横方向の画素数Ｘ、縦方向の画素数Ｙが算出される。ptは画素ピッチである。
Ｘ＝Ｆ・Ｎ/（Ｚ・pt）
Ｙ＝Ｆ・Ｍ/（Ｚ・pt）
図２３はレーザの分解能による距離Ｚでの画素数xL、yLの算出を説明する図の一例である。レーザの分解能を横θx〔deg〕、縦θy〔deg〕とする。
レーザの照射面の横幅ＡはＡ＝Ｚtan（θx/２）×２
レーザの照射面の縦幅ＢはＡ＝Ｚtan（θy/２）×２
横幅Ａが画像上で占める画素数xLは以下のようになる。
xL＝Ｆ・Ａ/Ｚ＝Ｚtan（θx/２）×２＝２（Ｆ/pt）tan（θｘ/２）〔ピクセル〕
縦幅Ｂが画像上で占める画素数yLは以下のようになる。
yL＝Ｆ・Ｂ/Ｚ＝Ｚtan（θy/２）×２＝２（Ｆ/pt）tan（θy/２）〔ピクセル〕
xL、yLの算出結果から明らかなように、照射面は距離Ｚに応じて広がっていくが、画像上では距離Ｚによらず一定の画素数になる。ただし、これは説明を容易にするため、レーザ光線の射出サイズが点光源であると仮定した場合である。レーザの射出面積があるサイズを持っている場合は、近距離側では対応する画素サイズが大きく、遠方になるにつれて一定値に収束する。
これらから物体面をレーザ光が照射している場合、物体面が照射面を包含する距離が求まる。図２４は物体面が照射面を包含する距離を説明する図の一例である。
Ｘ＞xL かつ Ｙ＞yLなので、
Ｆ・Ｎ/（Ｚ・pt）＞２（Ｆ/pt）tan（θx/２） かつ
Ｆ・Ｍ/（Ｚ・pt）＞２（Ｆ/pt）tan（θy/２）
したがって、Ｎ/（２tan（θx/２）＞Ｚ かつ、Ｍ/（２tan（θy/２）＞Ｚ
が物体面が照射面を包含する距離の条件式である。
・移動体の場合、
Ｎ＝Ｍ＝１．８ｍ θx＝θy＝０．６〔deg〕から１７１．９＞Ｚ
・物の場合
Ｎ＝０．２５ Ｍ＝１．６ｍ θx＝０．１ θy＝０．６〔deg〕から１４３．２＞Ｚ
したがって、遠距離になると図２４に示すように物体面の方が照射面よりも大きくなり、物体面のどこに反射したのか不確定になる。図２５を用いてより詳細に説明する。
図２５は、遠距離の場合と近距離の場合のそれぞれで照射面と物体面の関係を説明する図である。図２５（ａ）は近距離の場合を示し、図２４にて説明したように物体面の方が照射面より大きい。レーザの照射面は画素数に換算するとxL、yLの大きさに過ぎないため物体面ＸＹのどこに反射するかは分からない。これは、照射面内の周囲になるほどレーザレーダ測距部１１０が測距する距離情報の信頼性が落ちることを意味する。このため、図１９にて説明したように、レーザの照射面の周囲でＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を大きくする（信頼度を小さくする）ことが有効になる。
図２５（ｂ）は遠距離の場合、照射面の方が物体面よりも大きくなることを示している。この場合、レーザはＸＹで表す物体面で反射できるとは限らず、後方に抜ける可能性が生じる。この場合は、いわゆるマルチパルスとなるため、複数の物体を検出できる可能性がある。マルチパルスが生じた場合の処理については後述する。
（ステップＳ６）
次に、距離演算部１４は伝播コストＬｒ（ｐ，Ｚ）を算出する。伝播コストＬｒ（ｐ，Ｚ）の算出式を以下に示す。
Figure 0007176406000008
 …（６）
伝播コストＬｒ（ｐ，Ｚ）の第１項はステップＳ５で算出された、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）とＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）が統合されたコストＣ（ｐ，Ｚ）である。第２項はＺ空間で行われるＳＧＭ伝播方式による伝播コストである。第１項と第２項により、伝播コストＬｒ（ｐ，Ｚ）が算出される。
なお、本実施形態において、Ｚ空間で行われるＳＧＭ伝播方式による伝播コストは必須でなく、ＳＧＭ伝播方式による伝播コストは算出されなくてもよい。
（ステップＳ７）
距離演算部１４は、全ての画素で伝播コストＬｒ（ｐ，Ｚ）を算出したか否かを判断する。全ての画素の処理が終了するまでは、ステップＳ５，Ｓ６を繰り返し実行する。
（ステップＳ８）
全ての画素で伝播コストＬｒ（ｐ，Ｚ）を算出すると、距離演算部１４はエネルギーコストＳ（ｐ，Ｚ）を算出する。
Ｓ（ｐ，Ｚ）＝ΣＬｒ（ｐ，Ｚ） …（７）
図２６は、エネルギーコストＳ（ｐ，Ｚ）の算出方法を説明する図の一例である。画素ごとに伝播コストＬｒ（ｐ，Ｚ）が算出されたが、ある画素には周囲の伝播コストＬｒ（ｐ，Ｚ）が影響していると考えられる。そこで、注目している画素の周囲の伝播コストＬｒ（ｐ，Ｚ）を重ね合わせることで、注目している画素のより正確な伝播コストＬｒ（ｐ，Ｚ）を算出する。
図２６では周囲８画素の伝播コストＬｒ（ｐ，Ｚ）が重ね合わされている。すなわち、
Ｓ（ｐ，Ｚ）＝Ｌ0（ｐ，Ｚ）＋Ｌ45（ｐ，Ｚ）＋Ｌ90（ｐ，Ｚ）＋Ｌ135（ｐ，Ｚ）＋Ｌ180（ｐ，Ｚ）＋Ｌ225（ｐ，Ｚ）＋Ｌ270（ｐ，Ｚ）＋Ｌ315（ｐ，Ｚ）、 …（８）
図２７は、エネルギーコストＳ（ｐ，Ｚ）の算出方法を模式的に示す図である。式（８）に示すように、注目している画素の周囲８画素の伝播コストＬｒ（ｐ，Ｚ）をＺ空間で重ね合わせる。これにより、注目している画素のエネルギーコストＳ（ｐ，Ｚ）が得られる。
なお、周囲８画素の伝播コストＬｒ（ｐ，Ｚ）の重ね合わせは一例に過ぎず、４画素、５画素、又は１６画素などの周囲の何画素の伝播コストＬｒ（ｐ，Ｚ）を重ね合わせるかは、演算負荷と距離の正確さを考慮して決定されてよい。また、伝播コストＬｒ（ｐ，Ｚ）の重ね合わせを一切行わなくてもよい。
（ステップＳ９）
距離演算部１４は、エネルギーコストＳ（ｐ，Ｚ）が最小となる距離Ｚ０を決定する。距離Ｚ０が注目している画素の距離値である。
図２８はエネルギーコストＳ（ｐ，Ｚ）が最小となる距離Ｚ０の算出方法を説明する図の一例である。エネルギーコストＳ（ｐ，Ｚ）が最小となるＺは注目している画素の距離値として最も確からしいと推定される。
なお、高次多項式推定（６次）、高次多項式推定（４次）、又はパラボラフィッティング等を使用して、少数以下の距離Ｚを算出してもよい。
（ステップＳ１０）
全ての画素で算出されると図１７の処理は終了する。
＜マルチパルスについて＞
図２５（ｂ）で説明したマルチパルスが生じた場合の処理について説明する。図２９はマルチパルスの処理を説明する図の一例である。図２９（ａ）は、レーザレーダ測距部１１０のレーザの照射範囲を上方から見た図であり、図２９（ｂ）は距離Ｚに対する受光レベルを説明する図の一例である。
図２９（ａ）に示すように物体面よりもレーザの照射面の方が大きい場合、レーザレーダ測距部１１０はマルチパルスにより複数のオブジェクトＯ１、Ｏ２からの反射光を受光する。図２９（ｂ）に示すように、距離Ｚに対し受光レベルをグラフ化すると、オブジェクトＯ１，Ｏ２がある距離Ｚ１，Ｚ２で受光レベルが大きくなる。したがって、複数の物体があることが検出される。一般にレーザレーダ測距部１１０は受光レベルが閾値以上の距離に物体があると判断するので、図２９のような状況では、１つの光線で異なる距離にある２つの物体の距離を検出できる。
このように１つの光線で異なる距離にある２つの物体の距離が得られた場合、距離演算部１４はそれぞれについてステレオマッチングコストＣＳＴ（ｐ，Ｚ）とＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を統合させる。すなわち、レーザ光の照射方向に対応する画素ｒ０と周囲の画素のステレオマッチングコストＣＳＴ（ｐ，Ｚ）の距離Ｚ１，Ｚ２に、式（５）で算出されるＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を加算する。
従来では、１つの注目画素に２つの距離Ｚ１、Ｚ２を統合させることは困難であったが、本実施形態ではＺ空間で統合させるため、マルチパルスが生じた場合に、２つの距離を適切に扱うことができる。図２９では式（５）をそのまま適用すると説明したが、例えば、複数の距離が検出された場合、距離の曖昧さを加味して式（５）のＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）がより大きくなるような係数を乗じてもよい。
＜レーザによる測距の別の例＞
図１２等で説明した本実施形態のレーザレーダ測距部１１０はＴＯＦ（Time Of Flight）方式の測距方法である。これに対し、ＦＣＭ（Fast Chirp Modulation）やＦＭＣＷ（Frequency Modulation Continuous Wave）方式と呼ばれる測距方式がある。ＦＣＭやＦＭＣＷは、送信波と受信波で周波数がわずかに異なることで生じる混合波のうなり信号の周波数を距離に換算する方式である。
図３０、図３１を用いて、ＦＣＭ方式による測距方式を説明する。図３０は、送信波、受信波、及び、反射波のモデルを示す。ミリ波送受信装置２５が送信した送信波が物体２６で反射した反射波が、受信波として受信されている。ミリ波送受信装置２５と物体との距離はＲである。
図３１は、送信波と受信波の周波数を模式的に示す。ＦＣＭ方式で使用する信号では、時間の経過に応じて周波数を直線的に増大させる。図３１（ａ）は徐々に周波数が増加する送信波と受信波を示している。このような時間的に周波数が変化する信号をチャープという。図３１（ａ）に示すように振幅が一定のまま、時間と共に送信波２７と受信波２８の周波数が増大している。なお、受信波は物体２６に反射して戻ってくる時間であるΔｔだけ遅れて測定される。このため、送信波２７と受信波２８の周波数がわずかに異なることになり、うなり信号が発生する。
図３１（ｂ）は時間に対する送信波２７と受信波２８の周波数成分の変化を示す。送信波２７の送信を開始してからΔｔだけ遅れて受信波２８が測定される。送信波２７は時間に対し一定速度で増大するので、Δｔの遅れがある場合の周波数のずれはΔｆで一定である。なお、周波数が変化している時間はＴであり、最小の周波数と最大の周波数の周波数差はＦである。ＴとＦは既知（制御値）である。したがって、Δｆを観測できればΔｔに変換できる。Δｔが分かれば物体までの距離に変換できる。
送信波２７と受信波２８の周波数がΔｆずれているので、送信波２７と受信波２８が重ね合わされるとうなり信号が生じる。うなり信号は細かな振動を包括する大きな振動をいうが、周波数Δｆが一定なら大きな振動の周波数も一定である。また、うなり信号の周波数は周波数Δｆに等しくなることが知られている。
うなり信号をフーリエ変換（好ましくはファストフーリエ変換）するとうなり信号の周波数にパワーのピークが現れる周波数スペクトルが得られるので、周波数Δｆを検出するにはうなり信号をフーリエ変換すればよい。図３１（ｃ）はフーリエ変換により得られた周波数Δｆを模式的に示す。
続いてΔｆを距離Ｒに変換する方法を説明する。まず、距離ＲとΔｔには以下の関係がある。ただし、Ｃは空気中の光速である。
Δｔ＝２Ｒ/Ｃ …（９）
次に、ΔｔとΔｆには、図３１（ｂ）の図から明らかなように以下の関係がある
Δｔ：Δｆ＝Ｔ：Ｆ
これを変形して、以下の式が得られる。
Δｆ＝Ｆ×Δｔ/Ｔ …（１０）
式（９）を式（１０）に代入すると下式が得られる。
Δｆ＝２ＲＦ/ＣＴ …（１１）
Ｒ＝ＣＴΔｆ/２Ｆ …（１２）
したがって、式（１２）にフーリエ変換で求めたΔｆを代入することで距離Ｒに変換できる。
ＦＭＣＷはＦＣＭを連続的に行う方式であり、原理はＦＣＭと同様である。図３２はＦＭＣＷ方式において時間に対する送信波２７と受信波２８の周波数とうなり信号の波形２９を示す。ＦＭＣＷ方式では比較的ゆっくりと周波数が繰り返し遷移する。相対速度の認識力とマルチターゲットの認識力についてはＦＣＭの方が高いとされている。
＜ミリ波レーダが検出する物体の方向について＞
続いて、図３３を用いて、ＦＣＭ方式における物体の方向の検出方法を説明する。図３３は物体の方向を説明する図である。図３３（ａ）はミリ波送受信装置２５と物体２６の一例の上面図を示す。ＦＣＭ方式は、水平面を使用して反射された反射波の角度θを推定する。例えば移動体の進行方向を０度とすれば、θは水平方向の物体２６の角度（到来角）である。
図３３（ｂ）は複数の受信アンテナ３１を用いたθの算出方法を示す。受信波２８の角度θはアレイアンテナにより検出できる。図３３（ｂ）ではＮ個の受信アンテナ３１が間隔ｄで一直線上に配置されている。角度θから受信波２８が到来した場合、物体２６と受信アンテナ３１の距離が十分に離れていれば到来伝播は平面となる。各受信アンテナ３１が受信する受信波の経路差ｌ（エル）はｄsinθの整数倍で表すことができる。経路差は受信波２８の遅延ｒになって現れるため、各受信アンテナ３１で受信される受信波２８の遅延量が分かれば角度θを推定することができる。
ｌ＝ｄsinθ
ｒ＝ｌ/Ｃ＝（d/Ｃ）sinθ
θ＝arcsin（ｒ・Ｃ/ｄ）…（１３）
＜効果について＞
以下では、実際の実験結果を用いて本実施形態の測距システム１００の効果を説明する。
＜＜実験結果１＞＞
図３４は、状況を説明するための基準画像を示す。図３４（ａ）は基準画像で、図３４（ｂ）は中央の拡大図である。基準画像の中央付近（遠方）に移動体３０１と人物３０２とチャート３０３（進行方向などを示す看板）が写っている。距離の実測値は以下のとおりである。
移動体：６８．５ｍ
人物：８０ｍ
チャート：８０ｍ
図３５は俯瞰マップの比較例を示す。図３５（ａ）はブロックマッチングで得た距離に基づいて作成された俯瞰マップを示し、図３５（ｂ）は本実施形態の測距システム１００が測定した距離に基づいて作成された俯瞰マップを示す。本実施形態では測距精度と面分離性が向上したため、移動体３０１、及び、チャート（人物）３０２，３０３が分離されている。ただし、同じ距離にある人物とチャートが分離できていない。この点は今後の改良点であるが、１００ｍ先にある門３０４、及び、７５ｍ先の物置３０５が分離されている。
図３６を用いて俯瞰マップについて補足する。図３６は俯瞰マップの作成方法を説明する図の一例である。図３６は距離画像を示し、距離画像の画素座標（ｘ,ｙ）の距離がｚであるとき、画素座標（ｘ,ｙ）の視差ｄ(ｘ,ｙ)は、
ｄ(ｘ,ｙ) = Ｂ×Ｆ/ｚ
で算出される。
距離画像の中心座標を（ｘ０,ｙ０）とすると、実空間座標（Ｘ,Ｙ,Ｚ）は、
Ｘ = (ｘ － ｘ０)×Ｂ/ｄ(ｙ,ｘ);
Ｙ = (ｙ － ｙ０)×Ｂ/ｄ(ｙ,ｘ);
Ｚ = Ｂ×Ｆ/ｄ(ｙ,ｘ) （= ｚ）;
距離演算部１４はこの計算を、俯瞰マップを求める距離画像の各画素で実行する。図３６のような俯瞰マップは２次元なので、（Ｘ,Ｚ）に対応するメッシュ空間に１票を投じると、図３６の俯瞰マップが得られる。なお、（Ｘ,Ｙ,Ｚ）に対応するメッシュ空間に１票投じると３次元マップが得られる。
＜＜実験結果２＞＞
図３７は、状況を説明するための基準画像を示す。図３７（ａ）は基準画像で、図３７（ｂ）は中央の拡大図である。基準画像の中央付近（遠方）に複数の移動体３１１，３１２が写っている。距離の実測値は以下のとおりである。
移動体１：５５ｍ
移動体２：７８ｍ
図３８は俯瞰マップの比較例を示す。図３８（ａ）はブロックマッチングで得た距離に基づいて作成された俯瞰マップを示し、図３８（ｂ）は本実施形態の測距システム１００が測定した距離に基づいて作成された俯瞰マップを示す。本実施形態では測距精度と面分離性が向上したため、２つの移動体３１１，３１２が明確に分離されている。１００ｍ先にある門、及び、７５ｍ先の物置が分離されている。
＜＜実験結果３＞＞
図３９は、ヘッドライトが撮像された夜間の基準画像を示す。図３９（ａ）は基準画像の全体と測距システム１００の処理範囲を示し、図３９（ｂ）は移動体３２１のヘッドライト部分の拡大図である。
図４０は俯瞰マップの比較例を示す。図４０（ａ）はブロックマッチングで得た距離に基づいて作成された俯瞰マップを示し、図４０（ｂ）は本実施形態の測距システム１００が測定した距離に基づいて作成された俯瞰マップを示す。ブロックマッチングでは立体物の位置が不明瞭である。これに対し本実施形態の測距システム１００は、夜間であっても６０ｍ以遠の遠距離において移動体３２１を含む他の立体物（移動体３１１，３２２、物置３０５，門３０４）を分離して検出することが可能となる。
＜＜実験結果４＞＞
８０ｍと３０ｍの各距離でチャートの距離を測定した場合の実験結果を説明する。
図４１は状況を説明するための基準画像である。実際にはカラーの距離画像が得られているが特許図面では色情報が失われるため、距離画像は掲載していない。代替として、面精度の評価結果をチャート３０３の面内の「距離平均」と「距離標準偏差」で数値化して示す。
Figure 0007176406000009
 表１は、本実施形態、ＳＧＭ伝播方式、及び、ブロックマッチングによるチャート３０３の距離の検出結果を示す。８０ｍと３０ｍのいずれにおいても、本実施形態の測距システム１００は平均、分散、標準偏差の全てにおいて大きな精度の向上が確認できる。
＜＜実験結果５＞＞
図４２はＳＧＭ伝播方式で生じる膨張の抑制結果を説明する図である。図４２（ａ）は基準画像を示し、図４２（ｂ）は本実施形態の測距システム１００が算出した距離画像を示し、図４２（ｃ）はＳＧＭ伝播方式により算出した距離画像を示す。図４２（ｃ）ではチャートの両脚の間が膨張によりチャートの距離になっているが、図４２（ｂ）に示す本実施形態の測距システム１００ではチャートの両脚の間に背景の距離が算出されている。
なお、図４２の実験ではレーザの照射光が上下方向に多層に積層したレーザレーダ測距部１１０を用いた。
＜まとめ＞
以上説明したように、本実施形態の測距システム１００は、ステレオカメラがブロックマッチング等で距離画像を出力する前に、Ｚ空間でＬＩＤＡＲが測定した距離情報を統合させることで高密度かつ高分解能な距離画像を実現できる。
本実施形態の効果について補足する。例えば、特開2015－143679号公報などの従来技術はブロックマッチングで得た「視差画像」を視差空間でＬＩＤＡＲが測定した距離情報を統合させるのに対し、本実施形態では距離空間で統合させる。
視差空間で統合する手法では、ＬＩＤＡＲの距離分解能が高く距離精度が担保されているのにもかかわらず、特に遠方で距離分解能が粗くなり、粗い距離分解能で得た距離を用いて視差空間伝播処理でサブピクセル推定を行ってしまう。このため、距離精度が担保されなくなり性能の向上が見込めなくなる。
一方、本実施形態のように距離空間で統合する手法は、ＬＩＤＡＲの高い距離分解能を担保しつつ、かつ、距離空間でコストカーブとＬＩＤＡＲの融合が行われるので、伝播処理によって、高精度かつ高密度な距離画像を生成することが可能となる。
この違いにより、本実施形態ではステレオカメラの計測原理の限界である０に近い視差値に対応する距離範囲、例えば１００ｍ程度の遠方であっても、正しい距離で、かつ物体面の距離分散が生じない距離画像を生成することができる。また、３Ｄ空間の復元においても広範囲な３Ｄ空間を復元することが可能になる。
すなわち、ステレオカメラから見ると、測距精度が向上し、物体面の距離の低分散化、物体面の面分離性が向上するため遠方物体の検出と測距精度が向上する。また、繰返しパタンや低テクスチャでの誤マッチングにより信頼性が乏しいコストが算出される画素についても、統合することによってより正しい距離を算出できるようになる（耐物標性）。また、夜間であっても遠方を高精度に測距することが可能になる（耐環境性）。また、ＳＧＭ伝播方式で生じる物体境界の膨張が抑制される。また、ＬＩＤＡＲから見ても、空間分解能が増えるという効果がある。
本実施例では、レーザレーダの測距値の曖昧さを考慮してステレオマッチングコストＣＳＴ（ｐ，Ｚ）とＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を統合させる測距システム１００について説明する。
実施例１で説明したように、レーザ光の横分解能と縦分解能範囲でも周囲になるほど距離情報の正確性が低下する。実施例１では式（５）により周辺部のコストを大きくすることで対応したが、本実施例ではレーザレーダ測距部１１０の距離情報に曖昧さを考慮することで対応する。
すなわち、実施例１ではＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を空間成分（ｘｙ面の精度）のみから算出したが、本実施例では距離成分（Ｚ方向の精度）も考慮する。本実施例ではＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を以下のように定義して、距離成分コストＣＬＤ（ｐ、Ｚ）を考慮したＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の算出方法を説明する。
ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）∝空間成分×距離成分 …（１４）
空間成分は実施例１の式（５）でよい。距離成分コストＣＬＤ（ｐ，Ｚ）は、一例として以下のように定義できる。
Figure 0007176406000010
 …（１５）
γ ：レーザの測距値
Ｚ ：レーザの測距値からの乖離
ｖ ：距離成分の広がりを定めるパラメータ
β ：距離成分の深さを定めるパラメータ（０～１）

図４３は、式（１５）により表されるＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の距離成分コストＣＬＤ（ｐ，Ｚ）を模式的に表す図である。図示するように、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の距離成分コストは、レーザの測距値で最も小さく、レーザの測距値からの乖離が大きいほど大きくなる。これは、物体の反射率の影響や物体のどこに当たるかによって、レーザの測距値が真値からずれる場合がある。この場合、本来は面を形成している物体面が分裂して検出される。式（１５）のように不明確さｖをＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の距離成分に含めることで、幅を持ってレーザの測距値を扱うことができるので、分裂を抑制しやすくなる。
なお、図４３の距離成分コストＣＬＤ（ｐ，Ｚ）の形状は一例に過ぎない。例えば、ＬＩＤＡＲ距離γから一定範囲で最小のコストを示す矩形でもよいし、図４３と似ているが逆三角形でもよい。
図４４は、空間成分のＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）と距離成分コストＣＬＤ（ｐ，Ｚ）が、式（１５）により、どのようにステレオマッチングコストＣＳＴ（ｐ，Ｚ）に統合されるかを説明する図である。
Ａ．レーザレーダ測距部１１０の照射方向に対応する画素ｒ０のステレオマッチングコストＣＳＴ（ｐ，Ｚ）のうちＬＩＤＡＲ距離γには、最も小さいＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）と最も小さい距離成分コストＣＬＤ（ｐ，Ｚ）とが乗じたものが加算される。
Ｂ．レーザレーダ測距部１１０の照射方向に対応する画素ｒ０のステレオマッチングコストＣＳＴ（ｐ，Ｚ）のうちＬＩＤＡＲ距離γからΔＺ離れた距離Ｚには、最も小さいＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）とΔＺに応じて式（１５）で算出された距離成分コストＣＬＤ（ｐ，Ｚ）とが乗じたものが加算される。
Ｃ．レーザレーダ測距部１１０の照射方向に対応する画素ｒ０の周囲の画素ｐのステレオマッチングコストＣＳＴ（ｐ，Ｚ）のうちＬＩＤＡＲ距離γには、ｒ０とｐの距離に応じて式（５）で算出されたＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）と最も小さい距離成分コストＣＬＤ（ｐ，Ｚ）とが乗じたものが加算される。
Ｄ．レーザレーダ測距部１１０の照射方向に対応する画素ｒ０の周囲の画素ｐのステレオマッチングコストＣＳＴ（ｐ，Ｚ）のうちＬＩＤＡＲ距離γからΔＺ離れた距離Ｚには、ｒ０とｐの距離に応じて式（５）で算出されたＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）とΔＺに応じて式（１５）で算出された距離成分コストＣＬＤ（ｐ，Ｚ）とが乗じたものが加算される。
＜まとめ＞
以上説明したように、本実施例の測距システム１００は実施例１の効果に加え、更に物体面の分裂を防ぐことができる。
本実施例では、測距システム１００に異常が生じた場合にフェールセーフ処理を行うと共に、異常が生じた旨を表示することができる測距システム１００について説明する。図１２，図１３で説明したように、レーザレーダ測距部１１０及びステレオ画像演算部１２０の異常をＥＣＵ２０が検出できる。
・レーザレーダ測距部１１０に異常がある場合は、レーザレーダ測距部１１０からステレオ画像演算部１２０に通知があるか又はステレオ画像演算部１２０が検出してＥＣＵ２０に通知できる。ＥＣＵ２０はステレオ画像演算部１２０が生成する距離画像により運転支援を継続できる。
・ステレオ画像演算部１２０に異常がある場合は、ステレオ画像演算部１２０からＥＣＵ２０に通知があるか又はＥＣＵ２０が検出できる。ＥＣＵ２０はレーザレーダ測距部１１０が出力する照射方向と距離情報により運転支援を継続できる。
ただし、異常の態様が、ＥＣＵ２０がステレオ画像演算部１２０と通信できない異常の場合、ＥＣＵ２０はステレオ画像演算部１２０を介してレーザレーダ測距部１１０の距離情報を取得できない。このため、ＥＣＵ２０がステレオ画像演算部１２０と通信できない異常の場合、ＥＣＵ２０はレーザレーダ測距部１１０から直接、照射方向と距離情報を取得するとよい。
こうすることで、レーザレーダ測距部１１０とステレオ画像演算部１２０のどちらかが正常であれば、統合はできないがＥＣＵ２０が距離画像又は距離情報を利用して運転支援することができる。
図４５は、レーザレーダ測距部１１０又はステレオ画像演算部１２０に異常がある場合の、ＥＣＵ２０の制御例を示すフローチャート図の一例である。図４５の処理は、移動体の走行中は繰り返し実行される。
まず、ＥＣＵ２０はレーザレーダ測距部１１０とステレオ画像演算部１２０の両方に異常が検出されたか否かを判断する（Ｓ１０１）。異常はレーザレーダ測距部１１０が検出したものでも、ステレオ画像演算部１２０が検出したものでも、ＥＣＵ２０が検出したものでもよい。
ステップＳ１０１の判断がＹｅｓの場合、ＥＣＵ２０はレーザレーダ測距部１１０とステレオ画像演算部１２０に異常がある旨を表示装置２１に表示する（Ｓ１０２）。表示例を図４６に示す。
ステップＳ１０１の判断がＮｏの場合、ＥＣＵ２０はレーザレーダ測距部１１０の異常が検出されたか否かを判断する（Ｓ１０３）。異常はレーザレーダ測距部１１０が検出したものでも、ステレオ画像演算部１２０が検出したものでもよい。
ステップＳ１０３の判断がＹｅｓの場合、ＥＣＵ２０はステレオ画像演算部１２０の距離画像だけで運転支援を行う（Ｓ１０４）。異常の検出前からＥＣＵ２０は距離画像で運転支援しているため、処理に変更はない。
次に、ＥＣＵ２０はレーザレーダ測距部１１０に異常がある旨を表示装置２１に表示する（Ｓ１０５）。表示例を図４６に示す。
続いて、ＥＣＵ２０はステレオ画像演算部１２０の異常が検出されたか否かを判断する（Ｓ１０６）。異常はステレオ画像演算部１２０が検出したものでも、ＥＣＵ２０が検出したものでもよい。
ステップＳ１０６の判断がＹｅｓの場合、ＥＣＵ２０はレーザレーダ測距部１１０の距離情報だけで運転支援を行う（Ｓ１０７）。すなわち、距離画像でなく、物体までの方位（照射方向）と距離に基づいて運転支援を開始する。
次に、ＥＣＵ２０はステレオ画像演算部１２０に異常がある旨を表示装置２１に表示する（Ｓ１０８）。表示例を図４６に示す。
こうすることで、ＥＣＵ２０はレーザレーダ測距部１１０に異常が生じても、ステレオ画像演算部１２０に異常が生じても、継続して運転支援が可能になる。
図４６はレーザレーダ測距部１１０又はステレオ画像演算部１２０に異常が生じた場合の表示例を示す図である。
図４６（ａ）はレーザレーダ測距部１１０とステレオ画像演算部１２０に異常が生じた場合に表示装置２１に表示される、レーザレーダ測距部１１０とステレオ画像演算部１２０に異常が生じた旨の表示例を示す。図４６（ａ）では「警告 レーダとカメラセンサに異常が生じました。運転支援を終了します。」と表示されている。これにより、移動体の乗員はレーザレーダ測距部１１０とステレオ画像演算部１２０に異常があるため、運転支援が継続されないことを把握できる。
図４６（ｂ）はレーザレーダ測距部１１０に異常が生じた場合に表示装置２１に表示される、レーザレーダ測距部１１０に異常が生じた旨の表示例を示す。図４６（ｂ）では「警告 レーダに異常が生じました。カメラセンサで運転支援を継続します。」と表示されている。これにより、移動体の乗員はレーザレーダ測距部１１０に異常があるが、運転支援が継続されることを把握できる。
図４６（ｃ）はステレオ画像演算部１２０に異常が生じた場合に表示装置２１に表示される、ステレオ画像演算部１２０に異常が生じた旨の表示例を示す。図４６（ｃ）では「警告 カメラセンサに異常が生じました。レーダで運転支援を継続します。」と表示されている。これにより、移動体の乗員はステレオ画像演算部１２０に異常があるが、運転支援が継続されることを把握できる。
本実施例では、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）のステレオマッチングコストＣＳＴ（ｐ，Ｚ）への投票を部分的に行う測距システム１００について説明する。実施例１の図２０，図２１ではレーザ光の照射方向に対応する画素ｒ０を中心に周囲の画素のステレオマッチングコストＣＳＴ（ｐ，Ｚ）に対し、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を投票した。
本実施例では図４７に示すように、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）の投票をレーザ光の照射方向に対応する画素ｒ０及び周囲の全ての画素で行うのではなく、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）とステレオマッチングコストＣＳＴ（ｐ，Ｚ）の状態に応じて行う。
図４７は画像データとレーザ光の照射位置を模式的に示す図である。図４７では例として２つの照射位置４０１，４０２が示されている。画像データの一部の画素ブロックに対しレーザ光が広がりを持って当たっている。照射位置４０１のステレオマッチングコストＣＳＴ（ｐ，Ｚ）は図示するようになだらかであり（極値がない）、照射位置４０２のステレオマッチングコストＣＳＴ（ｐ，Ｚ）は下に凸である（極値が明確）。したがって、照射位置４０１ではステレオマッチングコストＣＳＴ（ｐ，Ｚ）の極小値を見つけにくいが、照射位置４０１では極小値を見つけやすい。
図４８は距離情報に対応付けられた受光レベルとステレオマッチングコストＣＳＴ（ｐ，Ｚ）の統合例を説明する図の一例である。図４８（ａ）は照射位置４０１のステレオマッチングコストＣＳＴ（ｐ，Ｚ）への投票例を示し、図４８（ｂ）は照射位置４０２のステレオマッチングコストＣＳＴ（ｐ，Ｚ）への投票例を示す。図４８（ａ）では、距離情報に対応付けられた受光レベルの極小値が明確である。このため、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）への受光レベルの統合により、極小値が明確になっている。
一方、図４７（ｂ）のようなステレオマッチングコストＣＳＴ（ｐ，Ｚ）では、受光レベルがマルチパルスになった場合に投票が有効である。図４８（ｂ）では受光レベルに２つの極小値が得られている。このような波形は複数の物体が１つのレーザ光を反射させた場合に生じうる。図４８（ｂ）ではステレオマッチングコストＣＳＴ（ｐ，Ｚ）への受光レベルの統合により、極小値が明確になっている。
したがって、ステレオ画像演算部１２０は、以下のように投票の有無を制御する。なお、この統合は、実施例１と同様にレーザ光の照射方向に対応する画素ｒ０及び周囲の画素について行う。
・ステレオマッチングコストＣＳＴ（ｐ，Ｚ）が平坦で、かつ、ＬＩＤＡＲの受光レベルの極小値が１つの場合、ＬＩＤＡＲの受光レベルとステレオマッチングコストＣＳＴ（ｐ，Ｚ）を統合する。
・ＬＩＤＡＲの受光レベルがマルチパルスとなっており、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）の極小値が１つの場合、ＬＩＤＡＲの受光レベルとステレオマッチングコストＣＳＴ（ｐ，Ｚ）を統合する。
換言すると、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）が平坦で、かつ、ＬｉＤＡＲの受光レベルがマルチパルスの場合は、統合の効果が得られにくいので投票を省略できる。また、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）の極小値が明確で、かつ、ＬＩＤＡＲの受光レベルの極小値が明確な場合は、すでに物体を確実に捕らえている可能性が高いので投票を省略できる（この場合は確認の意味を込めて統合してもよい）。
ステレオマッチングコストＣＳＴ（ｐ，Ｚ）が平坦かどうかは、例えば、最小値と最大値の差を閾値と比較して判断できる。この差が十分に大きい場合は極小値が明確と言える。マルチパルスかどうかは、例えば、最大値との差が閾値以上の極小値が２つ以上あるか否かなどにより判断できる。
なお、図４８の説明では「ＬＩＤＡＲの受光レベルとステレオマッチングコストＣＳＴ（ｐ，Ｚ）を統合する」という表現を使用したが、これはＬｉＤＡＲの受光レベルの波形を説明するためであり、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）をステレオマッチングコストＣＳＴ（ｐ，Ｚ）に投票することと同じ意味である。
本実施例ではサーバ装置が少なくとも一部の処理を実行する距離画像提供システムについて説明する。実施例１～４において測距システム１００が行った処理はサーバ装置が行うこともできる。
図４９は、距離画像提供システム５０の概略構成図を示す。図４９に示すように、移動体２００に車載された測距システム１００はネットワークＮを介してサーバ装置５１と通信する。測距システム１００は距離情報、照射方向、基準画像及び比較画像をサーバ装置５１に送信し、サーバ装置５１は実施例１～４の処理を行って距離画像を生成し、測距システム１００に送信する。
図５０は本実施例の距離画像提供システム５０の機能ブロック図の一例である。まず、レーザレーダ測距部１１０の機能は変更がないが、レーザレーダ測距部１１０はレーザ光の照射方向と距離情報を通信装置５２に送信する。ステレオ画像演算部１２０は距離演算部１４を有する必要がなくなり、歪み補正部１３は基準画像と比較画像を通信装置５２に送出する。通信装置５２は照射方向、距離情報、基準画像及び比較画像をサーバ装置５１に送信する。
サーバ装置５１は通信装置５３と距離演算部１４を有し、ステレオマッチングコストＣＳＴ（ｐ，Ｚ）とＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）を統合して距離画像（三次元高密度高分解能距離画像）を作成する。サーバ装置５１の通信装置５３は距離画像を移動体２００に送信する。
移動体２００は距離画像と基準画像をＥＣＵ２０に送出することで、ＥＣＵ２０は実施例１～４と同様に運転支援することができる。
このように本実施例では、移動体２００とサーバ装置５１が通信して距離画像を生成できるので、測距システム１００のコストを低減できる。
なお、サーバ装置５１は距離画像を、情報を送信した移動体２００とは別の移動体に送信してもよい。例えば、渋滞中に先頭の移動体２００が照射方向、距離情報、基準画像及び比較画像をサーバ装置５１に送信すると、サーバ装置５１は後続の移動体２００に距離画像を送信する。これにより、後続の移動体２００も先頭の移動体２００の状況を把握できる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、測距システム１００が搭載される移動体２００としては車両や自動車を挙げることができるが、測距システム１００は移動体に広く適用できる。例えば、少なくとも一部において人間が操作しなくても自律的に移動する移動体に有効である。例えば、飛行機、ドローン、船舶、ロボット等に適用できる。
また、レーザ光の波長については、測距に適した波長域の光を使用すればよく、可視光、赤外光、紫外光（人体に影響がない範囲で）でもよいし、光を電磁波と捉えてもよい。
また、本実施形態では、距離分解能の高い測距方式としてＬＩＤＡＲを説明したが、ミリ波又は超音波（音波、ソナー）などを用いてもよい。こういった、積極的に測距（水から何かしらを放って測距）するものを総称してアクティブ測距という。
また、本実施形態では、ステレオカメラが２つの撮像部を有すると説明したが、３つ以上の撮像部を有していてもよい。また、２つの撮像部は水平方向に離間する他、垂直方向に離間してもよい。また、撮像部は可視光を撮像するだけでなく、近赤外、赤外、などの範囲の光を撮像してもよい。また、偏波フィルタを介して撮像してもよい。
なお、ステレオ画像演算部１２０は画像処理部又は画像処理手段の一例であり、レーザレーダ測距部１１０は測距手段の一例であり、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）は距離コストの一例であり、ＬＩＤＡＲコストＣＬＩ（ｐ，Ｚ）は第一の評価値の一例であり、距離成分コストＣＬＤ（ｐ，Ｚ）は第二の評価値の一例である。異常監視部６０１ａは第一の異常検出部の一例であり、異常監視部１４ａは第二の異常検出部の一例である。
８ ステレオカメラ
１１ 右カメラ
１２ 左カメラ
１３ 歪み補正部
１４ 距離演算部
２０ ＥＣＵ
１００ 測距システム
１１０ レーザレーダ測距部
１２０ ステレオ画像演算部
２００ 移動体
Hern´n Badino他、「Integrating LIDAR into Stereo for Fast and Improved Disparity Computation」、China、2011 International Conference on 3D Imaging, Modeling, Processing, Visualization and Transmission、16th May 2011

Claims (16)

  1. 対象物との距離を測定するための距離画像を生成する画像処理方法であって、
    測距部が、対象物との距離情報を検出するステップと、
    ステレオ画像のマッチング評価値を含む画素のうち、前記測距部により前記距離情報が検出された前記対象物が存在する位置に対応する画素のマッチング評価値に、画像処理部が、前記測距部が検出した前記距離情報を統合処理して前記距離画像を生成するステップと、を有し、
    前記画像処理部は前記マッチング評価値から前記距離画像を生成する前に前記統合処理を行い、前記ステレオ画像をマッチングする際の画素の各シフト量に対しそれぞれマッチングコストを算出し、各シフト量を距離に変換して、前記測距部による電磁波の照射方向により特定される画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に前記距離情報に関する距離評価値を統合し、前記距離評価値は、前記測距部による電磁波の照射方向により特定される画素で最も小さく、該画素から離れるほど大きくなる第一の評価値であることを特徴とする画像処理方法。
  2. 前記画像処理部は、前記測距部による電磁波の照射方向により特定される画素の周囲の画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に、該画素から離れるほど大きくなる前記第一の評価値を加算することを特徴とする請求項１に記載の画像処理方法。
  3. 前記距離評価値は、前記測距部が取得した前記距離情報に対応する距離で最も小さく、前記距離情報に対応する距離から離れるほど大きくなる第二の評価値を前記第一の評価値に乗じたものであることを特徴とする請求項１又は２に記載の画像処理方法。
  4. 前記画像処理部は、前記測距部による電磁波の照射方向により特定される画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に、最も小さな前記第一の評価値と最も小さな前記第二の評価値を乗じたものを前記距離評価値として統合し、
    前記測距部から取得した前記距離情報に対応する距離から離れた距離のマッチング評価値に、最も小さな前記第一の評価値と前記距離情報に対応する距離から離れた分だけ大きくなる前記第二の評価値とを乗じたものを前記距離評価値として統合することを特徴とする請求項３に記載の画像処理方法。
  5. 前記画像処理部は、前記測距部による電磁波の照射方向により特定される画素の周囲の画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に、電磁波の照射方向により特定される画素から離れるほど大きくなる前記第一の評価値と最も小さな前記第二の評価値を乗じたものを前記距離評価値として統合し、
    前記測距部から取得した前記距離情報に対応する距離から離れた距離のマッチング評価値に、電磁波の照射方向により特定される画素から離れるほど大きくなる前記第一の評価値と前記距離情報に対応する距離から離れた分だけ大きくなる前記第二の評価値とを乗じたものを前記距離評価値として統合することを特徴とする請求項３に記載の画像処理方法。
  6. 前記画像処理部は、画素ごとにマッチング評価値と前記距離評価値を統合して得た評価値にデンスアルゴリズムを適用し、
    更に、注目している画素の評価値と周囲の画素の評価値を重ね合わせてから、評価値が最小となる前記距離を、注目している画素の距離に決定することを特徴とする請求項１～５のいずれか１項に記載の画像処理方法。
  7. 前記測距部の異常を検出する第一の異常検出部と、
    前記ステレオ画像の少なくとも一方を撮像する撮像部の異常を検出する第二の異常検出部と、
    前記第一の異常検出部又は前記第二の異常検出部の少なくとも一方が異常を検出した旨を表示装置に表示することを特徴とする請求項１～６のいずれか１項に記載の画像処理方法。
  8. 前記第一の異常検出部が前記測距部の異常を検出した場合、前記画像処理部は、前記撮像部により撮像された前記ステレオ画像のマッチング評価値から、前記ステレオ画像の画素に距離情報が対応付けられた前記距離画像を生成し、
    前記第二の異常検出部が前記撮像部の異常を検出した場合、前記測距部は前記距離情報を外部に出力することを特徴とする請求項７に記載の画像処理方法。
  9. 前記対象物が存在する位置に対応する画素とは、前記測距部による測距方法から特定される画素であることを特徴とする請求項１～８のいずれか１項に記載の画像処理方法。
  10. 前記画像処理部は、前記ステレオ画像の画素に距離情報の対応付けも行うことを特徴とする請求項１～９のいずれか１項に記載の画像処理方法。
  11. 対象物との距離を測定するための距離画像を生成する画像処理装置であって、
    対象物との距離情報を検出する測距部と、
    ステレオ画像のマッチング評価値を含む画素のうち、前記測距部により前記距離情報が検出された前記対象物が存在する位置に対応する画素のマッチング評価値に、前記測距部が検出した前記距離情報を統合処理して前記距離画像を生成する画像処理部と、を有し、
    前記画像処理部は前記マッチング評価値から前記距離画像を生成する前に前記統合処理を行い、前記ステレオ画像をマッチングする際の画素の各シフト量に対しそれぞれマッチングコストを算出し、各シフト量を距離に変換して、前記測距部による電磁波の照射方向により特定される画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に前記距離情報に関する距離評価値を統合し、前記距離評価値は、前記測距部による電磁波の照射方向により特定される画素で最も小さく、該画素から離れるほど大きくなる第一の評価値であることを特徴とする画像処理装置。
  12. 車載装置であって、
    対象物との距離情報を検出する測距部と、
    ステレオ画像のマッチング評価値を含む画素のうち、前記測距部により前記距離情報が検出された前記対象物が存在する位置に対応する画素のマッチング評価値に、前記測距部が検出した前記距離情報を統合処理して距離画像を生成する画像処理部と、を有し、
    前記画像処理部は前記マッチング評価値から前記距離画像を生成する前に前記統合処理を行い、前記ステレオ画像をマッチングする際の画素の各シフト量に対しそれぞれマッチングコストを算出し、各シフト量を距離に変換して、前記測距部による電磁波の照射方向により特定される画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に前記距離情報に関する距離評価値を統合し、前記距離評価値は、前記測距部による電磁波の照射方向により特定される画素で最も小さく、該画素から離れるほど大きくなる第一の評価値であり、前記距離画像を移動体の制御ユニットに送出する車載装置。
  13. 対象物との距離情報を検出する測距部と、
    ステレオ画像のマッチング評価値を含む画素のうち、前記測距部により前記距離情報が検出された前記対象物が存在する位置に対応する画素のマッチング評価値に、前記測距部が検出した前記距離情報を統合処理して距離画像を生成する画像処理部と、を有し、
    前記画像処理部は前記マッチング評価値から前記距離画像を生成する前に前記統合処理を行い、前記ステレオ画像をマッチングする際の画素の各シフト量に対しそれぞれマッチングコストを算出し、各シフト量を距離に変換して、前記測距部による電磁波の照射方向により特定される画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に前記距離情報に関する距離評価値を統合し、前記距離評価値は、前記測距部による電磁波の照射方向により特定される画素で最も小さく、該画素から離れるほど大きくなる第一の評価値であり、
    前記距離画像を使って移動体を制御する制御ユニット、
    を有する移動体。
  14. 測距部から対象物との距離情報を取得する画像処理装置であって、
    ステレオ画像のマッチング評価値を含む画素のうち、前記測距部により前記距離情報が検出された前記対象物が存在する位置に対応する画素のマッチング評価値に、前記測距部が検出した前記距離情報を統合処理して距離画像を生成する画像処理部、を有し、
    前記画像処理部は前記マッチング評価値から前記距離画像を生成する前に前記統合処理を行い、前記ステレオ画像をマッチングする際の画素の各シフト量に対しそれぞれマッチングコストを算出し、各シフト量を距離に変換して、前記測距部による電磁波の照射方向により特定される画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に前記距離情報に関する距離評価値を統合し、前記距離評価値は、前記測距部による電磁波の照射方向により特定される画素で最も小さく、該画素から離れるほど大きくなる第一の評価値であることを特徴とする画像処理装置。
  15. 対象物までの距離を測定する測距手段と、
    撮像手段と、
    ステレオ画像のマッチング評価値を含む画素のうち、前記測距手段により距離情報が検出された前記対象物が存在する位置に対応する画素のマッチング評価値に、前記測距手段が検出した前記距離情報を統合処理して距離画像を生成する画像処理部と、を有し、
    前記画像処理部は前記マッチング評価値から前記距離画像を生成する前に前記統合処理を行い、前記ステレオ画像をマッチングする際の画素の各シフト量に対しそれぞれマッチングコストを算出し、各シフト量を距離に変換して、前記測距部による電磁波の照射方向により特定される画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に前記距離情報に関する距離評価値を統合し、前記距離評価値は、前記測距部による電磁波の照射方向により特定される画素で最も小さく、該画素から離れるほど大きくなる第一の評価値であることを特徴とするシステム。
  16. 距離情報とステレオ画像から距離画像を生成するシステムにおいて、
    ステレオ画像のマッチング評価値を含む画素のうち、前記距離情報が検出された対象物が存在する位置に対応する画素のマッチング評価値に、前記距離情報を統合処理して距離画像を生成する画像処理手段、を有し、
    前記画像処理手段は前記マッチング評価値から前記距離画像を生成する前に前記統合処理を行い、前記ステレオ画像をマッチングする際の画素の各シフト量に対しそれぞれマッチングコストを算出し、各シフト量を距離に変換して、前記測距部による電磁波の照射方向により特定される画素のマッチング評価値のうち、前記測距部から取得した前記距離情報に対応する距離のマッチング評価値に前記距離情報に関する距離評価値を統合し、前記距離評価値は、前記測距部による電磁波の照射方向により特定される画素で最も小さく、該画素から離れるほど大きくなる第一の評価値であることを特徴とするシステム。
JP2018243505A 2018-01-23 2018-12-26 画像処理方法、画像処理装置、車載装置、移動体、システム Active JP7176406B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19152873.6A EP3514759B1 (en) 2018-01-23 2019-01-21 Image processing method and image processing apparatus
US16/253,839 US10891751B2 (en) 2018-01-23 2019-01-22 Range image generating method, range image generating apparatus, and on-board device having range image generating function

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018009067 2018-01-23
JP2018009067 2018-01-23

Publications (2)

Publication Number Publication Date
JP2019128350A JP2019128350A (ja) 2019-08-01
JP7176406B2 true JP7176406B2 (ja) 2022-11-22

Family

ID=67472108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018243505A Active JP7176406B2 (ja) 2018-01-23 2018-12-26 画像処理方法、画像処理装置、車載装置、移動体、システム

Country Status (1)

Country Link
JP (1) JP7176406B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7259660B2 (ja) * 2019-09-10 2023-04-18 株式会社デンソー イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム
DE202022003129U1 (de) * 2021-02-22 2024-12-23 Shenzhen Camsense Technologies Co., Ltd Entfernungsmessgerät, Lidar, und mobiler Roboter
JP7613690B2 (ja) * 2021-06-04 2025-01-15 日本電信電話株式会社 ３次元点群処理装置、３次元点群処理方法、及び３次元点群処理プログラム
JP7742299B2 (ja) 2021-12-21 2025-09-19 株式会社Subaru 画像処理装置および車両
CN114754732B (zh) * 2022-03-11 2023-09-05 江苏电力信息技术有限公司 一种基于多目视觉的距离测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2015143679A (ja) 2013-12-26 2015-08-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP2015175644A (ja) 2014-03-13 2015-10-05 株式会社リコー 測距システム、情報処理装置、情報処理方法及びプログラム
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2015143679A (ja) 2013-12-26 2015-08-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP2015175644A (ja) 2014-03-13 2015-10-05 株式会社リコー 測距システム、情報処理装置、情報処理方法及びプログラム
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jan Fischer et al.，Combination of Time-of-Flight Depth and Stereo using Semiglobal Optimization，2011 IEEE International Conference on Robotics and Automation，2011年05月，p.3548-3553，DOI: 10.1109/ICRA.2011.5979999

Also Published As

Publication number Publication date
JP2019128350A (ja) 2019-08-01

Similar Documents

Publication Publication Date Title
JP7176406B2 (ja) 画像処理方法、画像処理装置、車載装置、移動体、システム
US10891751B2 (en) Range image generating method, range image generating apparatus, and on-board device having range image generating function
US10962638B2 (en) Vehicle radar sensing system with surface modeling
US11391840B2 (en) Distance-measuring apparatus, mobile object, distance-measuring method, and distance measuring system
US9151626B1 (en) Vehicle position estimation system
CN110799853B (zh) 一种环境感知系统及移动平台
JP7157054B2 (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
JP7238422B2 (ja) 測距方法、測距装置、車載装置、移動体、測距システム
US10962641B2 (en) Vehicle radar sensing system with enhanced accuracy using interferometry techniques
US10545229B2 (en) Systems and methods for unified mapping of an environment
US20230237783A1 (en) Sensor fusion
JP3822770B2 (ja) 車両用前方監視装置
CN115210605A (zh) 传感器系统的校准
WO2017181642A1 (en) Systems and methods for radar-based localization
US11769267B2 (en) Object distance measurement apparatus and method
US11994466B2 (en) Methods and systems for identifying material composition of moving objects
WO2018043028A1 (ja) 周辺監視装置及び周辺監視方法
EP3540467B1 (en) Range finding system, range finding method, in-vehicle device, and vehicle
CN114488111B (zh) 利用雷达数据估算车辆速度
US12475597B2 (en) Robust lidar-to-camera sensor alignment
US20220228861A1 (en) Estimation device
US20230136871A1 (en) Camera calibration
US20220413144A1 (en) Signal processing device, signal processing method, and distance measurement device
US10249056B2 (en) Vehicle position estimation system
EP3789908B1 (en) Mono vision system and method for a motor vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210916

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R151 Written notification of patent or utility model registration

Ref document number: 7176406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151