JP6881307B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP6881307B2
JP6881307B2 JP2017543144A JP2017543144A JP6881307B2 JP 6881307 B2 JP6881307 B2 JP 6881307B2 JP 2017543144 A JP2017543144 A JP 2017543144A JP 2017543144 A JP2017543144 A JP 2017543144A JP 6881307 B2 JP6881307 B2 JP 6881307B2
Authority
JP
Japan
Prior art keywords
distance
likelihood
unit
integration
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017543144A
Other languages
English (en)
Other versions
JPWO2017057056A1 (ja
Inventor
周藤　泰広
泰広 周藤
小柳津　秀紀
秀紀 小柳津
琢人 元山
琢人 元山
寿夫 山崎
寿夫 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017057056A1 publication Critical patent/JPWO2017057056A1/ja
Application granted granted Critical
Publication of JP6881307B2 publication Critical patent/JP6881307B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、物体までの距離を精度良く求めることを可能とすることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。
例えば、自動車等の車両に搭載したカメラやミリ波レーダ等のセンサが出力するセンサデータから、車外の物体までの距離や物体の動き量を求め、その距離や動き量を用いて、車両を運転する運転者を支援するADAS(Advanced Driver Assistance System)等の技術が提案されている。
カメラやミリ波レーダ等のセンサのセンサデータから求められる距離や動き量は、例えば、環境やセンシング対象の物体等によって精度が変化する。そこで、最近では、カメラ及びミリ波レーダ等の複数（種類）のセンサを、車両に搭載し、その複数のセンサそれぞれのセンサデータを総合的に用いて、距離や動き量を求めるフュージョンと呼ばれる技術が提案されている。
例えば、特許文献１には、複数のセンサそれぞれについて、立体物の存在確率を、センサの出力値の真値を中心とする正規分布に基づいて算出し、その存在確率を、センサの認識率に基づいて補正し、複数のセンサそれぞれについての補正後の存在確率をフュージョンして、総合存在確率として設定する技術が提案されている。
特開2007-310741号公報
最近では、物体までの距離を精度良く求めることを可能とする技術の提案が要請されている。
本技術は、このような状況になされたものであり、物体までの距離を精度良く求めることを可能とすることができるようにするものである。
本技術の情報処理装置、又は、プログラムは、複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出する尤度算出部と、前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求める統合部と、前記統合尤度を用いて、前記物体までの距離を求める距離算出部と、前記物体までの距離を用いて、障害物に関する障害物情報を生成する生成部とを備え、前記統合部は、前記距離算出部により前回得られた前記距離又は前記生成部により前回得られた前記障害物情報を用いて、前記複数の測距方法についての前記距離尤度を統合する情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。
本技術の情報処理方法は、尤度算出部と、統合部と、距離算出部と、生成部とを備えた情報処理装置の前記尤度算出部が、複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出し、前記統合部が、前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求め、前記距離算出部が、前記統合尤度を用いて、前記物体までの距離を求め、前記生成部が、前記物体までの距離を用いて、障害物に関する障害物情報を生成するステップを含み、前記統合部が、前記距離算出部により前回得られた前記距離又は前記生成部により前回得られた前記障害物情報を用いて、前記複数の測距方法についての前記距離尤度を統合する情報処理方法である。
本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度が算出される。そして、前記複数の測距方法についての前記距離尤度が統合され、前記複数の距離それぞれの統合尤度が求められる。続いて、前記統合尤度を用いて、前記物体までの距離が求められ、前記物体までの距離を用いて、障害物に関する障害物情報が生成される。前記複数の測距方法についての前記距離尤度は、前回得られた前記距離又は前記障害物情報を用いて統合される。
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、物体までの距離を精度良く求めることを可能とすることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した走行制御装置の一実施の形態の構成例の概要を示すブロック図である。 サンプリング点を説明する図である。 走行制御装置の処理の例を説明するフローチャートである。 統合方式の効果を説明する図である。 本技術を適用した走行制御装置の第１の詳細構成例を示すブロック図である。 同期部２４での同期を説明する図である。 走行制御装置の処理の例を説明するフローチャートである。 ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を求める処理の例を説明するフローチャートである。 ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を求める処理の例を説明するフローチャートである。 統合方式の概要を説明する図である。 統合の処理の負荷を軽減する軽減処理の概要を説明する図である。 本技術を適用した走行制御装置の第２の詳細構成例を示すブロック図である。 ToFセンサ５１についての距離尤度の算出方法の例を説明する図である。 ToF５１のセンサデータから、ToFセンサ５１についての距離尤度を求める処理の例を説明するフローチャートである。 本技術を適用した走行制御装置の第３の詳細構成例を示すブロック図である。 本技術を適用した走行制御装置の第４の詳細構成例を示すブロック図である。 走行制御装置の処理の例を説明するフローチャートである。 ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を求める処理の例を説明するフローチャートである。 ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を求める処理の例を説明するフローチャートである。 本技術を適用した走行制御装置の第５の詳細構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用した走行制御装置の一実施の形態の概要＞
図１は、本技術を適用した走行制御装置の一実施の形態の構成例の概要を示すブロック図である。
走行制御装置は、例えば、自動車等の車両や、船舶、潜水艦、飛行機、ドローン等の移動体等に搭載され、その移動体の走行（移動）を制御する。
なお、本実施の形態では、走行制御装置は、例えば、自動車に搭載されることとする。
図１において、走行制御装置は、複数であるＮ個のセンサ１１1，１１2，・・・，１１N、尤度算出部１２、正規化部１３、統合部１４、距離／動き量算出部１５、及び、走行制御部１６を有する。
走行制御装置は、その走行制御装置が搭載される自動車を運転する運転者を支援するための各種の走行制御を行う。
センサ１１n（ｎ＝１，２，・・・，Ｎ）は、所定の測距方法の測距や、所定の動き検出方法の動き量の検出に用いられるセンサで、所定の物理量をセンシングし、そのセンシングの結果であるセンサデータを、尤度算出部１２に供給する。
ここで、センサ１１nとしては、例えば、１眼のカメラや、ステレオカメラ等の多眼のカメラ、ミリ波レーダ等のレーダ、ToF(Time of Flight)センサ、ライダ(Lidar)、その他の測距や動き量の検出が可能な任意のセンサを採用することができる。
また、センサ１１nとセンサ１１n'（ｎ≠ｎ’）とは、異なる種類のセンサであり、したがって、異なる測距方法の測距や、異なる動き検出方法での動き量の検出に用いられる。
図１の走行制御装置は、以上のような複数のセンサ１１1ないし１１N、すなわち、異なる測距方法の測距や、異なる動き検出方法での動き量の検出に用いられる複数（種類）のセンサ１１1ないし１１Nを有するので、複数（種類）の測距方法での測距や、複数（種類）の動き検出方法での動き量の検出が行われる。
したがって、１の測距方法や動き検出方法は、１のセンサ１１nに対応する。
なお、センサ１１1ないし１１Nは、例えば、自動車の車内の天井前方や、自動車のフロントの先端等に配置され、自動車の前方の物体までの距離や、その物体の動き量を求めるセンサデータを出力する。
尤度算出部１２は、複数であるＮ個のセンサ１１1ないし１１Nそれぞれについて、センサ１１nのセンサデータ（センサ１１nが出力するセンサデータ）から、物体までの距離が複数の距離それぞれである距離尤度を算出する。
すなわち、いま、センサ１１nのセンサデータから、△Zの精度で、0ないし△Z×Kの範囲の距離を検出することができることとする。尤度算出部１２は、物体までの距離が、複数であるK+1個の距離0，△Z，△Z×2，・・・，△Z×Kそれぞれである距離尤度を算出する。
なお、異なるセンサ１１nとセンサ１１n'とでは、検出することができる距離の精度や範囲が異なることがあり、したがって、距離尤度が算出される複数の距離が異なることがある。
尤度算出部１２は、複数のセンサ１１1ないし１１Nそれぞれについて、センサ１１nのセンサデータから、物体までの距離が複数の距離それぞれである距離尤度を算出する他、その物体の動き量が複数の動き量それぞれである動き量尤度を算出する。
尤度算出部１２は、複数のセンサ１１1ないし１１Nそれぞれについて算出された複数の距離それぞれの距離尤度、及び、複数の動き量それぞれの動き量尤度を、正規化部１３に供給する。
正規化部１３は、尤度算出部１２からの複数のセンサ１１1ないし１１Nそれぞれについての複数の距離それぞれの距離尤度を正規化する。
ここで、上述したように、異なるセンサ１１nとセンサ１１n'とについては、距離尤度が算出される複数の距離が異なることがある。
すなわち、いま、K≠K'、及び、△Z≠△Z'であるとして、センサ１１nについては、K+1個の距離0，△Z，△Z×2，・・・，△Z×Kの距離尤度が求められ、センサ１１n'については、K'+1個の距離0，△Z'，△Z'×2，・・・，△Z'×K'の距離尤度が求められることがある。
以上のように、異なるセンサ１１nとセンサ１１n'とについては、距離尤度が算出される距離や、距離尤度が算出される複数の距離の、いわば粒度が異なることがある。
そこで、正規化部１３では、Ｎ個のセンサ１１1ないし１１Nすべてについて、距離尤度が存在する複数の距離を一致させる正規化が行われる。
正規化は、例えば、補間により、距離尤度が存在する複数の距離の数（上述のKやK'に相当する）を増加させるアップサンプリングによって行うことができる。
正規化部１３は、尤度算出部１２からのＮ個のセンサ１１1ないし１１Nそれぞれについての複数の動き量それぞれの動き量尤度の正規化も、距離尤度の正規化と同様にして行う。
そして、正規化部１３は、Ｎ個のセンサ１１1ないし１１Nそれぞれについての正規化後の距離尤度及び動き量尤度を、統合部１４に供給する。
統合部１４は、Ｎ個のセンサ１１1ないし１１Nそれぞれについての複数の距離それぞれの距離尤度を、複数の距離それぞれごとに統合する。
すなわち、いま、正規化後の距離尤度が存在する複数の距離のうちのある距離zを、注目する注目距離zとすると、正規化部１３での正規化後は、Ｎ個のセンサ１１1ないし１１Nのすべてについて、注目距離zの距離尤度が存在する。
統合部１４は、Ｎ個のセンサ１１1ないし１１Nそれぞれについての注目距離zの距離尤度、すなわち、Ｎ個の距離尤度を統合し、注目距離zの統合尤度を求める。
ここで、Ｎ個の距離尤度の統合は、例えば、ベイズ方式、すなわち、Ｎ個の距離尤度の積をとること（距離尤度が対数尤度である場合には、和をとること）によって行うことができる。
また、Ｎ個の距離尤度の統合は、例えば、Ｎ個の距離尤度を入力として、１個の統合尤度を出力する学習モデルの学習をあらかじめ行っておき、その学習モデルに、Ｎ個の距離尤度を入力として与えることにより行うことができる。
統合部１４は、以上のようにして、Ｎ個のセンサ１１1ないし１１Nそれぞれについての複数の距離それぞれの距離尤度を、複数の距離それぞれごとに統合し、複数の距離それぞれの統合尤度を求めて、距離／動き量算出部１５に供給する。
さらに、統合部１４は、距離尤度の統合と同様にして、Ｎ個のセンサ１１1ないし１１Nそれぞれについての複数の動き量それぞれの動き量尤度を、複数の動き量それぞれごとに統合し、その結果得られる複数の動き量それぞれの統合尤度を、距離／動き量算出部１５に供給する。
距離／動き量算出部１５は、統合部１４からの複数の距離それぞれの統合尤度を用いて、物体までの距離を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からの複数の距離それぞれの統合尤度のうちの、最大の統合尤度の距離を、物体までの距離として求め、走行制御部１６に供給する。
また、距離／動き量算出部１５は、統合部１４からの複数の動き量それぞれの統合尤度を用いて、物体の動き量を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からの複数の動き量それぞれの統合尤度のうちの、最大の統合尤度の動き量を、物体の動き量として求め、走行制御部１６に供給する。
走行制御部１６は、距離／動き量算出部１５から供給される物体までの距離や、物体の動き量を、必要に応じて用いて、自動車の走行制御を行う。
すなわち、走行制御部１６は、距離／動き量算出部１５から供給される物体までの距離や、物体の動き量を、必要に応じて用いて、例えば、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、走行制御部１６は、障害物マップを用いて、障害物の存在の警告や、ブレーキの制御等を行う。
図２は、サンプリング点を説明する図である。
ここで、サンプリング点とは、図１の尤度算出部１２において、距離尤度や動き量尤度が算出される位置（点）を意味する。
また、センサ１１nは、センシングの対象である物理量としての光等の信号を受信（受光）する受信部（受光部）を有するが、本実施の形態では、図１の走行制御装置が搭載された自動車の前方を、z方向とするとともに、z方向に直交し、センサ１１nの受信部の受信部分を通る平面上の水平方向（左右方向）及び垂直方向（上下方向）を、それぞれ、x方向及びy方向とする３次元（直交）座標系によって、３次元の位置(x,y,z)、及び、２次元の位置(x,y)を表すこととする。
例えば、センサ１１nがステレオカメラである場合、位置(x,y)は、そのステレオカメラ（を構成する２個のカメラのうちの一方のカメラ）で撮影される画像（例えば、後述する基準画像）の画素の位置を表し、位置(x,y,z)は、位置(x,y)の画素に映る物体までの距離がzであることを表す。
位置(x,y,z)は、実空間の位置、すなわち、位置(x,y)の画素に映る物体の実空間の位置に変換することができる。
以下、サンプリング点について、距離尤度を例に説明する。
例えば、あるセンサ１１nが、ステレオカメラである場合には、そのステレオカメラであるセンサ１１nのセンサデータとしては、視点の異なる２枚の画像が得られる。
この２枚の画像のうちの一方を基準画像というとともに、他方を参照画像ということとすると、基準画像の各画素については、参照画像との視差が、各値の視差量D1,D2,...であると仮定したときの、その視差量D1,D2,...それぞれの尤度を求めることができる。
いま、基準画像のある画素を、注目する注目画素とすると、注目画素について、参照画像との視差が、視差量D1,D2,...であると仮定したときの、その視差量D1,D2,...それぞれの距離尤度は、注目画素に映る物体までの距離が、視差量D1,D2,...に対応する距離z1,z2,...であると仮定したときの、その距離z1,z2,...それぞれの距離尤度として用いることができる。
したがって、注目画素の位置(x,y)に対して、その位置(x,y)の距離z（位置(x,y)の画素に映る物体までの距離z）が、距離z1,z2,...であるときの距離尤度を得ることができる。
以上のように、距離尤度は、位置(x,y,z)に対して得ることができ、このように、距離尤度が得られる位置(x,y,z)が、サンプリング点である。
例えば、あるセンサ１１nが、レーダである場合には、そのレーダであるセンサ１１nのセンサデータ（アングルレンジマップ）からは、各方向rの物体までの距離dが、距離d1,d2,...であると仮定したときの、その距離d1,d2,...それぞれの尤度を、距離尤度として求めることができる。
レーダについて、距離尤度が得られる方向r及び距離dは、それぞれ、極座標系の偏角及距離であり、その方向r及び距離dの位置は、座標変換によって、３次元座標系の位置(x,y,z)に変換することができる。
したがって、レーダについても、ステレオカメラの場合と同様に、３次元座標系の位置(x,y,z)をサンプリング点として、そのサンプリング点に対して、距離尤度を得ることができる。
例えば、あるセンサ１１nが、ToFセンサである場合には、ToFセンサでは、例えば、高速で照射された多数の送信パルスが、マトリクス状に配置された複数の受光部で受光される。そして、各受光部で受光された送信パルスである受信信号から、受光部の位置(x,y)の距離L（位置(x,y)の受光部で受光された受信信号に対応する送信パルスが反射された物体までの距離）が求められる。
ToFセンサでは、所定の時間Tとしての時間フレームTの間に送信された複数の送信パルスに対して、受光部が受光する複数の受信信号それぞれから、複数の距離Lが求められる。そして、時間フレームTの間に得られた複数の距離Lの平均値等が、受光部の位置(x,y)の最終的な距離zとして求められる。
センサ１１nが、ToFセンサである場合には、そのToFセンサであるセンサ１１nのセンサデータとして、例えば、時間フレームTの間に求められる複数の距離Lを得ることができる。
そして、時間フレームTの複数の距離Lの分布に基づき、受光部の位置(x,y)の距離が、距離z1,z2,...であるときの距離尤度を得ることができる。
したがって、ToFセンサについても、ステレオカメラの場合と同様に、３次元座標系の位置(x,y,z)をサンプリング点として、そのサンプリング点に対して、距離尤度を得ることができる。
なお、異なるセンサ１１nと１１n'とでは、すなわち、例えば、ステレオカメラ、レーダ、及び、ToFセンサのうちの任意の２個のセンサでは、測距方法等の相違から、距離尤度が求められるサンプリング点の位置(x,y,z)（及び粒度）が異なることがある。
図１の正規化部１３では、Ｎ個のセンサ１１1ないし１１Nすべてについて、距離尤度が存在するサンプリング点を一致させる正規化が、例えば、補間によりサンプリング点の数を増加させるアップサンプリングによって行われる。
図２では、３個のセンサ１１1ないし１１3としてのステレオカメラ、レーダ、及び、ToFセンサについて、サンプリング点のx,y,z方向の粒度を、所定の△x，△y，△zにする正規化が行われている。
以上のような正規化によって、異なる測距方法のステレオカメラ、レーダ、及び、ToFセンサそれぞれから得られる距離尤度のサンプリング点が一致する。
その結果、図１の統合部１４では、異なる測距方法のステレオカメラ、レーダ、及び、ToFセンサそれぞれから得られる距離尤度を、サンプリング点の単位で統合し、サンプリング点ごとの統合尤度を求めることができる。
以上の点、動き量尤度についても、同様である。
なお、距離尤度については、３次元座標系の位置としてのサンプリング点(x,y,z)に対して、距離zの尤度が求められるが、動き量尤度については、x,y,z方向の動き量を、vx,vy,vzと表すこととすると、６次元（直交）座標系の位置としてのサンプリング点(x,y,z,vx,vy,vz)に対して、動き量(vx,vy,vz)の尤度が求められる。
図３は、図１の走行制御装置の処理の例を説明するフローチャートである。
ステップＳ１１において、Ｎ個のセンサ１１1ないし１１Nは、センシングを行い、そのセンシングの結果得られるセンサデータを、尤度算出部１２に供給して、処理は、ステップＳ１２に進む。
ステップＳ１２では、尤度算出部１２は、Ｎ個のセンサ１１1ないし１１Nそれぞれについて、センサ１１nのセンサデータから、複数の距離zそれぞれの距離尤度、及び、複数の動き量(vx,vy,vz)それぞれの動き量尤度を算出する。そして、尤度算出部１２は、センサ１１1ないし１１Nそれぞれについての複数の距離zそれぞれの距離尤度、及び、複数の動き量(vx,vy,vz)それぞれの動き量尤度を、正規化部１３に供給し、処理は、ステップＳ１２からステップＳ１３に進む。
ステップＳ１３では、正規化部１３は、尤度算出部１２からの複数のセンサ１１1ないし１１Nそれぞれについての距離尤度について、距離尤度が存在するサンプリング点(x,y,z)を揃える（一致させる）正規化を行う。
さらに、正規化部１３は、尤度算出部１２からの複数のセンサ１１1ないし１１Nそれぞれについての動き量尤度について、動き量尤度が存在するサンプリング点(x,y,z,vx,vy,vz)を揃える正規化を行う。
そして、正規化部１３は、複数のセンサ１１1ないし１１Nそれぞれについての正規化後の距離尤度、及び、動き量尤度を、統合部１４に供給し、処理は、ステップＳ１３からステップＳ１４に進む。
なお、複数のセンサ１１1ないし１１Nそれぞれについての距離尤度のサンプリング点(x,y,z)を揃える正規化は、サンプリング点(x,y,z)の各方向、つまり、x方向、y方向、z方向それぞれについて、サンプリング点(x,y,z)の数が最大の距離尤度に揃えるように行うことができる。
すなわち、例えば、いま、複数のセンサ１１1ないし１１Nとして、ステレオカメラ及びレーダの２個のセンサを採用することとすると、ステレオカメラ（のセンサデータ）から求められる距離zの解像度は、レーダから求められる距離zの解像度よりも低い。
そのため、ステレオカメラについての距離尤度の正規化は、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数を、レーダについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数に揃えるように、ステレオカメラについての距離尤度（のサンプリング点(x,y,z)）の数が、補間により増加される。
また、レーダについては、方向（方位）の分解能である角度分解能が低いので、３次元座標系上では、レーダのx方向及びy方向の解像度は、ステレオカメラのx方向及びy方向の解像度よりも低い。
そのため、レーダについての距離尤度の正規化は、レーダについての距離尤度のサンプリング点(x,y,z)のx方向とy方向の位置及び数を、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のx方向とy方向の位置及び数に、それぞれ揃えるように、レーダについての距離尤度（のサンプリング点(x,y,z)）の数が、補間により増加される。
ここで、距離尤度の正規化は、補間以外の方法によって行うことができる。
例えば、ステレオカメラについては、視差の検出を、画素より細かい精度で行うことで、距離zの解像度を向上させること、すなわち、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のz方向の数を増加させることができ、これにより、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数を、レーダについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数に揃えることができる。
また、例えば、レーダについては、時間方向の超解像技術を用いることで、角度分解能を高くすること、すなわち、レーダについての距離尤度のサンプリング点(x,y,z)のx方向（及びy方向）の数を増加させることができ、これにより、レーダについての距離尤度のサンプリング点(x,y,z)のx方向の位置及び数を、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のx方向の位置及び数に揃えることができる。
なお、レーダの距離尤度のサンプリング点(x,y,z)の数の増加は、３次元座標系上ではなく、その３次元座標系に変換する前の極座標系上で行うことができる。
さらに、サンプリング点(x,y,z)の数の増加は、上述の、画素より細かい精度での視差の検出や、時間方向の超解像技術と、補間とを組み合わせて行うことができる。
以上の点、動き量尤度の正規化についても、同様である。
ステップＳ１４では、統合部１４は、センサ１１1ないし１１Nそれぞれについての距離尤度を、サンプリング点(x,y,z)ごとに統合し、サンプリング点(x,y,z)ごとの距離の統合尤度を求める。さらに、統合部１４は、センサ１１1ないし１１Nそれぞれについての動き量尤度を、サンプリング点(x,y,z,vx,vy,vz)ごとに統合し、サンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を求める。
そして、統合部１４は、距離及び動き量それぞれの統合尤度を、距離／動き量算出部１５に供給し、処理は、ステップＳ１４からステップＳ１５に進む。
ステップＳ１５では、距離／動き量算出部１５は、統合部１４からの距離の統合尤度を用いて、物体までの距離を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からのサンプリング点(x,y,z)ごとの距離の統合尤度について、各位置(x,y)に対して、距離の統合尤度が最も大きい距離zを求め、走行制御部１６に供給する。
さらに、距離／動き量算出部１５は、統合部１４からの動き量の統合尤度を用いて、物体の動き量を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からのサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度について、各位置(x,y,z)に対して、動き量の統合尤度最もが大きい動き量(vx,vy,vz)を求め、又は、各位置(x,y)に対して、動き量の統合尤度が最も大きい動き量(vx,vy,vz)及び距離zを求め、走行制御部１６に供給する。
そして、処理は、ステップＳ１５からステップＳ１６に進み、走行制御部１６は、距離／動き量算出部１５から供給される距離zや動き量(vx,vy,vz)を、必要に応じて用いて、自動車の走行制御を行い、処理は終了する。
なお、図３のフローチャートに従った処理は、パイプラインで繰り返し行われる。
図４は、センサ１１1ないし１１Nそれぞれについての距離尤度や動き量尤度を統合した統合尤度を用いて、物体までの距離や物体の動き量を求める方式（以下、統合方式ともいう）の効果を説明する図である。
図１で説明したように、センサ１１nとしては、例えば、ステレオカメラやミリ波レーダを採用することができる。
ステレオカメラ及びミリ波レーダによれば、物体までの距離を測定すること（測距を行うこと）ができる。
ところで、ステレオカメラでは、画像の視差を検出することで測距を行うため、暗所では、測距の精度が劣化する。さらに、ストレオカメラでは、遠距離ほど、距離の分解能（解像度）が低下し、物体のテクスチャ（図柄）によって、測距の精度が変化する。また、ステレオカメラでは、雨や、雪、逆光等の外部環境によって、測距の精度が低下する。
一方、ミリ波レーダでは、ミリ波を送信し、そのミリ波が物体で反射された反射光を受信することで測距を行うため、トンネル等での多重反射に弱く、多重反射（マルチパス）が生じる環境では、ゴーストが発生することがある。ゴーストは、その他、測距の対象の物体の位置や姿勢によって発生することもある。さらに、ミリ波レーダでは、垂直方向の位置の測距の解像度（y方向の解像度）が低いことや、路面のような、送信されるミリ波に対して角度が浅い物体を対象とする測距が困難であることがある。また、ミリ波レーダでは、方向（方位）の分解能である角度分解能が低く、測距の対象とする物体の材質によって、測距の精度が変化する。
したがって、ステレオカメラだけで測距を行う場合や、ミリ波レーダだけで測距を行う場合には、測距の精度が低下することが、少なからず生じる。
ところで、ステレオカメラとミリ波レーダとのように、異なる測距方法の複数のセンサについては、測距の精度が低下するケースが異なる。
そこで、統合方式では、センサ１１1ないし１１Nそれぞれについての距離尤度を統合し、その結果得られる統合尤度を用いることで、物体までの距離を精度良く求める。
図４は、３個のセンサ１１1ないし１１3それぞれから得られる各距離zの距離尤度と、その３個のセンサ１１1ないし１１3それぞれについての距離尤度を統合した統合尤度との例を示している。
図４において、P1，P2，P3は、センサ１１1ないし１１3それぞれについての距離尤度を表す。
距離尤度Pn（ここでは、n=1,2,3）は、信頼性が低い距離で小さくなる。また、距離尤度Pnは、その距離尤度Pnが得られたセンサ１１nの測距の精度が低下するケースでは、そのセンサ１１nで測距可能な距離の範囲等の広範囲に、小さい値で分散する。
センサ１１nの測距の精度が低下するケースとしては、例えば、センサ１１nがステレオカメラである場合には、平坦な画像として映る物体までの距離の測距が行われるケース等がある。また、例えば、センサ１１nがToFセンサである場合には、黒い物体までの距離の測距が行われるケース等が、センサ１１nの測距の精度が低下するケースに該当する。さらに、例えば、センサ１１nがレーダである場合には、マルチパスが生じる状況で測距が行われるケースが、センサ１１nの測距の精度が低下するケースに該当する。
図４では、センサ１１1ないし１１3のうちの、センサ１１1の測距の精度が低下する状況で、測距が行われている。そのため、センサ１１1についての距離尤度は、広範囲の距離zに亘って、小さい値で分散している。
統合方式では、センサ１１1ないし１１Nそれぞれについての距離尤度P1ないしP3が統合され、統合尤度Pが求められる。すなわち、例えば、センサ１１1ないし１１Nそれぞれについての距離尤度P1ないしP3の積が、統合尤度Pとして求められる。
統合尤度Pが、距離尤度P1ないしP3の積をとることで求められる場合、測距の精度が低いセンサ１１1についての距離尤度P1、すなわち、小さい値で分散する距離尤度P1は、どの距離zの統合尤度Pにも、ほとんど影響しない（ほぼ同じだけ影響する）。
そのため、測距の精度が低いセンサ１１1についての距離尤度P1は、各距離zの統合尤度Pの優劣に影響しないので、そのような統合尤度Pが最大の距離zを、物体までの距離として算出することで、結果として、測距の精度が低いセンサ１１1を用いずに（信頼せずに）、物体までの距離を求めること、すなわち、物体までの距離を精度良く求めることができる。
さらに、統合方式では、環境等にロバストな測距を行うことや、単一のセンサだけを用いた測距では達成することができない解像度での測距を行うことができる。
例えば、ステレオカメラだけで測距を行う場合には、遠距離の解像度（分解能）が低下するが、２個のセンサ１１nと１１n'として、例えば、ステレオカメラとレーダを採用する場合には、遠距離でも、距離の解像度として、高解像度を実現することができる。
なお、以上の点、動き量尤度を統合して、統合尤度を求め、その統合尤度を用いて、動き量(vx,vy,vz)を求める場合も、同様である。
＜本技術を適用した走行制御装置の第１の詳細構成例＞
図５は、本技術を適用した走行制御装置の第１の詳細構成例を示すブロック図である。
図５において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、障害物マップ生成部２９、走行制御部３０、及び、バッファ３１を有する。
ステレオカメラ２１及びミリ波レーダ２２は、図１のＮ個のセンサ１１1ないし１１Nに相当する。
ステレオカメラ２１は、２個のカメラ２１Ｌ及び２１Ｒを有する。カメラ２１Ｌ及び２１Ｒは、異なる視点から画像を撮影し、その結果得られる画像データを、センサデータとして、伝送部２３に出力する。
ミリ波レーダ２２は、ミリ波を送信する。ミリ波レーダ２２が送信するミリ波が、物体で反射し、ミリ波レーダ２２に戻ってくると、ミリ波レーダ２２は、その戻ってくるミリ波を受信する。そして、ミリ波レーダ２２は、その受信したミリ波である受信信号を、センサデータとして、伝送部２３に出力する。
伝送部２３は、ステレオカメラ２１（のカメラ２１Ｌと２１Ｒ）、及び、ミリ波レーダ２２が出力するセンサデータに必要な処理を施し、同期部２４に伝送（供給）する。
伝送部２３は、例えば、ステレオカメラ２１が出力する画像データに、現像処理等を施す。
同期部２４は、異なる２個のセンサとしてのステレオカメラ２１及びミリ波レーダ２２それぞれが出力し、伝送部２３から供給されるセンサデータを同期させ、尤度算出部２５に出力する。
尤度算出部２５は、図１の尤度算出部１２に相当する。
尤度算出部２５は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を、各サンプリング点(x,y,z)、すなわち、ステレオカメラ２１のセンサデータとしての画像データの各画素の各位置(x,y)と、ステレオカメラ２１で測距可能な距離の範囲の各距離zについて算出し、正規化部２６に供給する。
さらに、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を、各サンプリング点(x,y,z)について算出し、正規化部２６に供給する。
すなわち、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータから、各方向（方位）rの物体までの距離dが、ミリ波レーダ２２で測距可能な距離の範囲の各距離であると仮定したときの、その各距離の距離尤度を求める。
そして、尤度算出部２５は、ミリ波レーダ２２についての距離尤度が得られる、極座標系の各方向r及び各距離d（の距離尤度）を、座標変換によって、３次元座標系の各位置(x,y,z)（の距離尤度）に変換し、その３次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z)についての距離尤度を、正規化部２６に供給する。
正規化部２６は、図１の正規化部１３に相当する。
正規化部２６は、尤度算出部２５からの、ステレオカメラ２１についての各サンプリング点(x,y,z)の距離尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z)の距離尤度に対して、サンプリング点(x,y,z)を一致させる正規化を行い、統合部２７に供給する。
統合部２７は、図１の統合部１４に相当する。
統合部２７は、正規化部２６からのステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、サンプリング点(x,y,z)ごとに統合し、距離算出部２８に供給する。
なお、統合部２７は、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の統合を、バッファ３１に記憶された情報を必要に応じて用いて行うことができる。
距離算出部２８は、図１の距離／動き量算出部１５に相当する。
距離算出部２８は、統合部２７からのサンプリング点(x,y,z)ごとの距離の統合尤度を用いて、物体までの距離を求める。すなわち、距離算出部２８は、位置(x,y)ごとに、距離の統合尤度が最大の距離zを、位置(x,y)の画素に映る物体までの距離として求める。
そして、距離算出部２８は、距離の統合尤度を用いて求めた、位置(x,y)ごとの距離zを、障害物マップ生成部２９、及び、バッファ３１に供給する。
障害物マップ生成部２９は、距離算出部２８からの距離zを用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部２９は、障害物マップを、走行制御部３０、及び、バッファ３１に供給する。
走行制御部３０は、図１の走行制御部１６に相当する。
走行制御部３０は、障害物マップ生成部２９からの障害物マップを用いて、自動車を運転する運転者に対して障害物の存在の警告や、自動運転の制御等を行う。
バッファ３１は、距離算出部２８から供給される位置(x,y)ごとの距離z、及び、障害物マップ生成部２９から供給される障害物マップを、一時記憶する。
バッファ３１に記憶された距離zや障害物マップは、統合部２７が、次の統合を行うときに必要に応じて用いられる。
すなわち、統合部２７は、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の統合を行うときに、バッファ３１に記憶された、前回求められた距離zや障害物マップを、必要に応じて用いる。
ここで、距離尤度の正規化後のサンプリング点(x,y,z)の数は、膨大な数になるため、統合部２７での統合は、負荷の高い処理になる。
統合部２７は、統合にあたって、前回求められた距離zや障害物マップを用いることで、統合の処理の負荷を軽減する。
例えば、統合部２７は、前回求められた障害物マップから、自動車の前方に存在する物体の形状を認識し、今回の統合時における物体の存在範囲を、図５の走行制御装置が搭載された自動車の速度から推定する。
そして、統合部２７は、今回の統合時における物体の存在範囲内の点に対応するサンプリング点(x,y,z)のみを、距離尤度の統合の対象として、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを統合し、統合尤度を求める。
一方、他のサンプリング点については、統合部２７は、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度のうちの一方を、そのまま、統合尤度として用いる。
この場合、統合は、物体の存在範囲内の点に対応するサンプリング点(x,y,z)のみを対象として行われるので、統合の対象となるサンプリング点(x,y,z)が少なくなり、統合の処理の負荷を軽減することができる。
また、例えば、統合部２７は、前回求められた障害物マップから、路面を認識し、その路面上の点に対応するサンプリング点(x,y,z)については、例えば、レーダのような、路面で反射された信号の受信が困難で、路面を対象とする測距の精度が低いセンサについての距離尤度を、統合の対象から除外することができる。
この場合、統合の対象となる距離尤度の数が少なくなるので、統合の処理の負荷を軽減することができる。
図６は、図５の同期部２４での同期を説明する図である。
統合方式では、センサ１１1ないし１１Nとしての、例えば、ステレオカメラ２１及びミリ波レーダ２２それぞれについての距離尤度を統合し、その結果得られる統合尤度を用いて、物体までの距離等を求める。そのため、統合の対象となる距離尤度を求めるのに用いるステレオカメラ２１及びミリ波レーダ２２それぞれのセンサデータを、精度良く同期させる必要がある。
図６は、ステレオカメラ２１が出力するセンサデータとしての画像データと、ミリ波レーダ２２が出力するセンサデータとの同期の例を示している。
図６において、ステレオカメラ２１（を構成するカメラ２１Ｌ及び２１Ｒ）は、例えば、図示せぬCMOS(Complemental Metal Oxide Semiconductor)のイメージセンサを有し、60Hzのフレームレートで、１フレームが400（水平）ラインの画像を撮影する。
また、ステレオカメラ２１は、例えば、ローリングシャッタ方式で、画像を撮影するため、露光タイミングが、１フレームの各ラインで、徐々にずれている（遅いタイミングになっている）。
一方、図６において、ミリ波レーダ２２は、例えば、1200Hzの周期で、センサデータを出力する。
したがって、図６では、ステレオカメラ２１が出力する画像データの１フレームに対して、ミリ波レーダ２２は、1200のセンサデータを出力する。
いま、ステレオカメラ２１が１フレームの画像を撮影するときの各ラインの露光時間を、TEと表すこととすると、ステレオカメラ２１では、イメージセンサの各ラインにおいて、露光時間TEだけ光が受光され、その光の光電変換結果が、１フレームの画像データとして出力される。
同期部２４は、１フレームの、例えば、第１ライン（上から１番目のライン）の露光時間TEの間に、ミリ波レーダ２２が出力するセンサデータを積分（加算）し、その積分の結果と、その積分が行われた露光時間TEに露光された第１ラインを有するフレーム画像データとを同時に出力する。これにより、同期部２４は、ステレオカメラ２１が出力するセンサデータとしての画像データと、ミリ波レーダ２２が出力するセンサデータとを同期させる。
図７は、図５の走行制御装置の処理の例を説明するフローチャートである。
ステップＳ２１において、ステレオカメラ２１及びミリ波レーダ２２は、センシングを行う。
すなわち、ステップＳ２１において、ステレオカメラ２１は、異なる視点から画像を撮影し、その結果得られる画像データを、センサデータとして、伝送部２３に出力する。
さらに、ステップＳ２１では、ミリ波レーダ２２は、ミリ波を送信し、そのミリ波が物体で反射して戻ってくるミリ波を受信して、センサデータとして、伝送部２３に出力する。
伝送部２３は、ステレオカメラ２１、及び、ミリ波レーダ２２が出力するセンサデータを、同期部２４に伝送し、処理は、ステップＳ２１からステップＳ２２に進む。
ステップＳ２２では、同期部２４は、伝送部２３からのステレオカメラ２１及びミリ波レーダ２２のセンサデータを同期させ、ステレオカメラ２１のセンサデータとしての１フレームの画像データと、その１フレームの画像データに対応するミリ波レーダ２２のセンサデータとを尤度算出部２５に出力して、処理は、ステップＳ２３に進む。
ステップＳ２３では、尤度算出部２５は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を、各サンプリング点(x,y,z)について算出し、正規化部２６に供給する。
さらに、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を、各サンプリング点(x,y,z)について算出し、正規化部２６に供給する。
そして、処理は、ステップＳ２３からステップＳ２４に進み、正規化部２６は、尤度算出部２５からの、ステレオカメラ２１についての各サンプリング点(x,y,z)の距離尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z)の距離尤度に対して、サンプリング点(x,y,z)を一致させる正規化を行う。
正規化部２６は、正規化後のステレオカメラ２１についての各サンプリング点(x,y,z)の距離尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z)の距離尤度を、統合部２７に供給し、処理は、ステップＳ２４からステップＳ２５に進む。
ステップＳ２５では、統合部２７は、正規化部２６からのステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、サンプリング点(x,y,z)ごとに統合する。
そして、統合部２７は、統合の結果得られるサンプリング点(x,y,z)ごとの統合尤度を、距離算出部２８に供給し、処理は、ステップＳ２５からステップＳ２６に進む。
なお、統合部２７は、図５で説明したように、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の統合を、バッファ３１に記憶された、前回求められた距離zや障害物マップを、必要に応じて用いて行うことができ、これにより、統合の処理の負荷を軽減することができる。
ステップＳ２６では、距離算出部２８は、統合部２７からのサンプリング点(x,y,z)ごとの距離の統合尤度を用いて、位置(x,y)ごとに、距離の統合尤度が最大の距離zを、位置(x,y)の画素に映る物体までの距離として求める。
そして、距離算出部２８は、位置(x,y)ごとの距離zを、障害物マップ生成部２９、及び、バッファ３１に供給し、処理は、ステップＳ２６からステップＳ２７に進む。
ステップＳ２７では、バッファ３１は、距離算出部２８から供給される位置(x,y)ごとの距離zをバッファリングし（一時記憶し）、処理は、ステップＳ２８に進む。
ここで、バッファ３１に記憶された位置(x,y)ごとの距離zは、統合部２７が、次の統合を行うときに必要に応じて用いられる。
ステップＳ２８では、障害物マップ生成部２９は、距離算出部２８からの距離zを用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部２９は、障害物マップを、走行制御部３０、及び、バッファ３１に供給し、処理は、ステップＳ２８からステップＳ２９に進む。
ステップＳ２９では、バッファ３１は、障害物マップ生成部２９から供給される障害物マップをバッファリングし、処理は、ステップＳ３０に進む。
ここで、バッファ３１に記憶された障害物マップは、統合部２７が、次の統合を行うときに必要に応じて用いられる。
ステップＳ３０では、走行制御部３０は、障害物マップ生成部２９からの障害物マップを用いて、自動車の走行制御を行い、処理は終了する。
なお、図７のフローチャートに従った処理は、パイプラインで繰り返し行われる。
図８は、図７のステップＳ２３において、ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を求める処理の例を説明するフローチャートである。
ステップＳ４１において、尤度算出部２５は、同期部２４からのステレオカメラ２１のセンサデータとしての画像データを受信（キャプチャ）し、処理は、ステップＳ４２に進む。
ステップＳ４２では、尤度算出部２５は、ステレオカメラ２１のセンサデータとしての画像データの補正を行い、処理は、ステップＳ４３に進む。
ここで、ステップＳ４２での画像データの補正としては、例えば、収差の補正や、ステレオカメラ２１とミリ波レーダ２２との水平を一致させるような画像データの補正等がある。
ステレオカメラ２１とミリ波レーダ２２との水平を一致させるような画像データの補正は、ステレオカメラ２１及びミリ波レーダ２２の取り付け位置や姿勢のずれを補正するためのキャリブレーション情報を用いて行われる。
キャリブレーション情報は、ステレオカメラ２１及びミリ波レーダ２２を対象として行われるキャリブレーションによって、あらかじめ求められる。
ステップＳ４３では、尤度算出部２５は、ステレオカメラ２１のセンサデータであるカメラ２１Ｌ及びカメラ２１Ｒで撮影された、視点の異なる２つの画像のうちの一方を基準画像とするとともに、他方を参照画像として、基準画像の各画素に対して、その画素に対応する参照画像の画素である対応点を求めるマッチングを、例えば、ブロックマッチング等によって行う。
すなわち、尤度算出部２５は、基準画像の各画素を、順次、注目画素に選択し、注目画素から、複数の視差それぞれだけずれた位置を中心とする参照画像のブロックと、注目画素を中心とする基準画像のブロックとのブロックマッチングを行う。
これにより、注目画素に対し、複数の視差それぞれに対応する複数の距離zそれぞれについて、ブロックマッチングのマッチングエラー（例えば、基準画像のブロックと参照画像のブロックとの各画素の画素値の差分絶対値和等）が求められる。
その後、処理は、ステップＳ４３からステップＳ４４に進み、尤度算出部２５は、ステレオカメラ２１のセンサデータとしての画像データの各画素（ここでは、基準画像の各画素）の各位置(x,y)と、各距離z（視差）について、位置(x,y)に映る物体までの距離が、距離zである距離尤度を、マッチングエラーを用いて求め、処理は終了する。
ここで、位置(x,y)及び距離zに対するブロックマッチングのマッチングエラー、つまり、位置(x,y)の画素に映る物体までの距離が距離zであると仮定した場合のブロックマッチングのマッチングエラーを、cost(x,y,z)と表すこととする。
この場合、位置(x,y)に映る物体までの距離が、距離zである距離尤度PST(x,y,z)は、例えば、式PST(x,y,z)＝exp(-cost(x,y,z))に従って求めることができる。
図９は、図７のステップＳ２３において、ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を求める処理の例を説明するフローチャートである。
ステップＳ５１において、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータを受信（キャプチャ）し、処理は、ステップＳ５２に進む。
ステップＳ５２では、尤度算出部２５は、ミリ波レーダ２２のセンサデータのFFT(Fast Fourier Transform)を行い、処理は、ステップＳ５３に進む。
ここで、本実施の形態では、ミリ波レーダ２２のセンサデータは、そのセンサデータのFFT結果の強度が、その強度の周波数に対応する距離に物体があることの確からしさを表すこととする。
ステップＳ５３では、尤度算出部２５は、ミリ波レーダ２２のセンサデータのFFT結果の補正を行い、処理は、ステップＳ５４に進む。
ここで、ミリ波レーダ２２のセンサデータ、すなわち、物体で反射されたミリ波は、その物体までの距離が遠いほど減衰する。そこで、尤度算出部２５は、その減衰の影響をキャンセルするために、ミリ波レーダ２２のセンサデータのFFT結果の高域の周波数成分を大にする補正を行う。
また、尤度算出部２５は、図８で説明したキャリブレーション情報を用いて、ステレオカメラ２１及びミリ波レーダ２２の取り付け位置や姿勢のずれをキャンセルするように、ミリ波レーダ２２のセンサデータのFFT結果の補正を行う。
ステップＳ５４では、尤度算出部２５は、ミリ波レーダ２２のセンサデータのFFT結果から、ミリ波レーダ２２のセンシング範囲の各方向（方位）rと各距離dについて、方向rにある物体までの距離が、距離dであると仮定したときの、各距離dの距離尤度を求める。
ここで、方向r及び距離dに対応する、ミリ波レーダ２２のセンサデータのFFT結果（の周波数成分）を、fre(r,d)と表すこととすると、方向rにある物体までの距離が、距離dである距離尤度PRは、例えば、式PR＝fre(r,d)／Σ(d)fre(r,d)に従って求めることができる。
式PR＝fre(r,d)／Σ(d)fre(r,d)のΣ(d)fre(r,d)は、距離dを、距離尤度を求める各距離に変えてのfre(r,d)のサメーションを表す。
その後、処理は、ステップＳ５４からステップＳ５５に進み、尤度算出部２５は、ミリ波レーダ２２についての距離尤度が得られる、（方向と距離とで規定される）極座標系の各方向r及び各距離dを、座標変換によって、３次元座標系の各位置(x,y,z)に変換することで、その３次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z)についての距離尤度を求め、処理は、終了する。
ここで、ステップＳ５５での座標変換は、図８で説明したキャリブレーション情報を、必要に応じて用いて行うことができる。
なお、ステレオカメラ２１やミリ波レーダ２２等のセンサデータから距離尤度の生成は、その他、例えば、センサデータを距離尤度に変換する変換規則を、経験則に基づいてあらかじめ設計しておき、その変換規則に従って行うことができる。
さらに、センサデータから距離尤度の生成は、センサデータを入力として、距離尤度を出力する学習モデルの学習をあらかじめ行っておき、その学習モデルに、センサデータを入力として与えることにより行うことができる。
以上の点、動き量尤度についても、同様である。
また、図７のステップＳ２５において、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、サンプリング点(x,y,z)ごとに統合した後、ステップＳ２６において、その統合尤度を用いて、位置(x,y)の画素に映る物体までの距離を求める前に、統合尤度の最適化を行うことができる。
すなわち、ステップＳ２６では、位置(x,y)ごとに、距離の統合尤度が最大の距離zが、位置(x,y)の画素に映る物体までの距離として求められるが、位置(x,y)の統合尤度が、すべての距離zに亘って低い場合があり、この場合、どの距離zも、物体までの距離として確からしくない。
そこで、統合尤度の最適化では、位置(x,y)の統合尤度が、すべての距離zに亘って低い場合に、位置(x,y)の周辺の位置(x',y')の統合尤度から求められた、その位置(x',y')の画素に映る物体までの距離近辺の距離が、位置(x,y)の画素に映る物体までの距離として求められやすくするために、位置(x,y)の統合尤度が補正される。
具体的には、サンプリング点(x,y,z)のステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、それぞれ、p1(x,y,z)、及び、p2(x,y,z)と表すこととする。
さらに、ある位置(x,y)の周辺の位置(x',y')の距離（位置(x',y')の画素に映る物体までの距離）が、距離z'であるときに、位置(x,y)の距離が、距離zである尤度を、p(x,y,z|z')と表すこととする。
尤度p(x,y,z|z')は、例えば、学習や経験則等に基づいて、あらかじめ求められる。
統合尤度の最適化は、最適化後の統合尤度を、pa(x,y,z)と表すこととすると、式pa(x,y,z)＝P1(x,y,z)×P2(x,y,z)×Π(x',y')p(x,y,z|z')に従って行われる。
ここで、式pa(x,y,z)＝P1(x,y,z)×P2(x,y,z)×Π(x',y')p(x,y,z|z')において、P1(x,y,z)×P2(x,y,z)は、サンプリング点(x,y,z)の統合尤度を表す。また、Π(x',y')p(x,y,z|z')は、位置(x',y')を、位置(x,y)の周辺の位置に変えての尤度p(x,y,z|z')の積を表す。
図１０は、統合方式の概要を説明する図である。
統合方式では、ステレオカメラ２１のセンサデータとしての画像データの各画素の各位置(x,y)と、各距離zについて、位置(x,y)に映る物体までの距離が距離zである距離尤度が、ステレオカメラ２１についての距離尤度として求められる。
したがって、ステレオカメラ２１についての距離尤度は、３次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z)に対して存在する。この、３次元座標系の各位置(x,y,z)に対して存在する、ステレオカメラ２１についての距離尤度の集合を、以下、ステレオ尤度ボリュームともいう。
また、統合方式では、ミリ波レーダ２２のセンシング範囲の各方向rと各距離dについて、方向rにある物体までの距離が距離dである距離尤度が求められる。
各方向rと各距離dについて求められる距離尤度の集合は、方向rと距離dとで規定される極座標系上の点の集合であり、以下、レーダ尤度ボリュームともいう。
統合方式では、ステレオ尤度ボリュームが正規化される。
また、統合方式では、極座標系のレーダ尤度ボリュームが、位置(x,y,z)で規定される３次元座標系の点の集合に、座標変換され、さらに正規化される。
ステレオ尤度ボリューム、及び、座標変換後のレーダ尤度ボリュームでは、正規化後に距離尤度が存在するサンプリング点(x,y,z)が一致する。
いま、このように、ステレオ尤度ボリューム、及び、座標変換後のレーダ尤度ボリュームにおいて、距離尤度が存在するサンプリング点(x,y,z)が一致する場合の、そのサンプリング点(x,y,z)が存在する領域を、フュージョンドメインということとする。
フュージョンドメインでは、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とが存在するサンプリング点(x,y,z)が一致するので、サンプリング点(x,y,z)ごとに、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを統合することができる。
そこで、統合方式では、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを、サンプリング点(x,y,z)ごとに統合し、そのサンプリング点(x,y,z)ごとに得られる統合尤度を用いて、各位置（x,y,z)の画素に映る物体までの距離が求められる。
ここで、フュージョンドメインの各サンプリング点(x,y,z)の統合尤度の集合を、統合尤度ボリュームともいう。
図１１は、図５の統合部２７での統合において、その統合の処理の負荷を軽減する軽減処理の概要を説明する図である。
図５や図７で説明したように、統合部２７は、統合にあたって、前回求められた位置(x,y)ごとの距離zや障害物マップを用いることで、統合の処理の負荷を軽減する軽減処理を行うことができる。
例えば、統合部２７は、前回求められた障害物情報としての障害物マップから、ミリ波レーダ２２での距離の検出精度が高くない路面を認識する。さらに、統合部２７は、路面の領域内の点を、フュージョンドメインのサンプリング点(x,y,z)に変換するドメイン変換を行う。
そして、統合部２７は、図１０で説明したように、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを、サンプリング点(x,y,z)ごとに統合するときに、路面の領域内のサンプリング点(x,y,z)については、ミリ波レーダ２２についての距離尤度をゲートする。
すなわち、統合部２７は、路面の領域内のサンプリング点(x,y,z)以外のサンプリング点(x,y,z)については、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを統合し、統合尤度を求める。
一方、路面の領域内のサンプリング点については、統合部２７は、ミリ波レーダ２２についての距離尤度を、統合の対象から除外する。その結果、路面の領域内のサンプリング点については、ステレオカメラ２１についての距離尤度が、そのまま、統合尤度とされる。
路面については、ミリ波レーダ２２での距離の検出精度が高くないため、統合尤度を求めるにあたって、ミリ波レーダ２２についての距離尤度を、統合の対象から除外しても（しなくても）、統合尤度から求められる距離の精度に（ほとんど）影響しない。
したがって、路面について、ミリ波レーダ２２についての距離尤度を、統合の対象から除外する軽減処理を行うことで、物体までの距離を精度良く求めるとともに、統合の処理の負荷を軽減することができる。
＜本技術を適用した走行制御装置の第２の詳細構成例＞
図１２は、本技術を適用した走行制御装置の第２の詳細構成例を示すブロック図である。
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１２において、走行制御装置は、ステレオカメラ２１、伝送部２３、同期部２４、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、障害物マップ生成部２９、走行制御部３０、バッファ３１、及び、ToFセンサ５１を有する。
したがって、図１２の走行制御装置は、ステレオカメラ２１、及び、伝送部２３ないしバッファ３１を有する点で、図５の場合と共通する。
但し、図１２の走行制御装置は、ミリ波レーダ２２に代えて、ToFセンサ５１が設けられている点で、図５の場合と相違する。
したがって、図１２の走行制御装置では、ミリ波レーダ２２のセンサデータに代えて、ToFセンサ５１のセンサデータが用いられることを除き、図７で説明した場合と同様の処理が行われる。
図１３は、図１２のToFセンサ５１についての距離尤度の算出方法の例を説明する図である。
ToFセンサ５１は、例えば、横×縦が80×60個等のマトリクス状に配置された受光部（図示せず）を有し、高速で送信パルスを照射し、その送信パルスが物体で反射されて戻ってくる反射光を、受信パルスとして受光することで、物体までの距離を検出する。
すなわち、図１３に示すように、送信パルスの送信時刻t0から、時間TDだけ経過して、受信パルスが受光された場合に、時刻t0から、受信パルスのパルス幅T0だけ経過した時刻をt1と表すとともに、時刻t1から、さらにパルス幅T0だけ経過した時刻をt2と表すこととする。
また、時刻t0から時刻t1までの間、H(High)レベルになるパルスを、フェーズ１パルスというとともに、時刻t1から時刻t2までの間、Hレベルになるパルスを、フェーズ２パルスということとする。
さらに、ToFセンサ５１の受光部で、受信パルスを受光したときの、フェーズ１パルスの期間（時刻t0から時刻t1までの間）の受光量（電荷量）を、N1と表すとともに、フェーズ２パルスの期間（時刻t1から時刻t2までの間）の受光量を、N2と表すこととする。
ToFセンサ５１では、所定の時間Tとしての時間フレームTの間に、多数の送信パルスが送信され、その送信パルスに対する受信パルスが受光部で受光される。
そして、ToFセンサ５１では、各受信パルスに対して、式L＝cT0N2／(2(N1+N2))に従って、距離Lが求められる。ここで、cは、光速を表す。
ToFセンサ５１は、時間フレームTの間で送信される多数の送信パルスに対する各受信パルスについて、以上のようにして求められる複数（多数）の距離Lを、センサデータとして出力する。
そして、図１２の尤度算出部２５は、時間フレームTの間のToFセンサ５１のセンサデータである複数の距離の分布に基づき、ToFセンサ５１の各受光部の各位置(x,y)に対する距離、すなわち、位置(x,y)の受光部で受光された受信パルスに対する送信パルスが反射された物体までの距離が、複数の距離zそれぞれである距離尤度を求める。
以上のようにして、尤度算出部２５は、ToFセンサ５１のセンサデータから、ToFセンサ５１の受光部の各位置(x,y)及び各距離zで表される３次元座標系の各位置(x,y,z)をサンプリング点とする距離尤度を求める。
図１４は、図１２のToF５１のセンサデータから、ToFセンサ５１についての距離尤度を求める処理の例を説明するフローチャートである。
ステップＳ６１において、図１２の尤度算出部２５は、同期部２４から供給されるToFセンサ５１のセンサデータとしての、ToFセンサ５１の、複数であるM1個の各受光部に対して得られる時間フレームTの間の複数であるM2個の距離Lを受信（キャプチャ）し、処理は、ステップＳ６２に進む。
ステップＳ６２では、尤度算出部２５は、ToFセンサ５１のセンサデータとしてのM2個の距離Lを必要に応じて補正し、処理は、ステップＳ６３に進む。
ここで、ステップＳ６２でのToFセンサ５１のセンサデータの補正としては、例えば、ステレオカメラ２１及びToFセンサ５１の取り付け位置や姿勢のずれをキャンセルする補正がある。この補正は、ステレオカメラ２１及びToFセンサ５１を対象として行われるキャリブレーションによってあらかじめ求められるキャリブレーション情報を用いて行うことができる。
ステップＳ６３において、尤度算出部２５は、M1個の各受光部の各位置(x,y)と、ToFセンサ５１のセンシング範囲の各距離zについて、位置(x,y)の受光部で受光された受信パルスを反射した物体までの距離が、距離zである距離尤度を、ToFセンサ５１のセンサデータとしての時間フレームTの間に得られたM2個の距離Lを用いて求め、処理は終了する。
ここで、尤度算出部２５は、例えば、時間フレームTの間に得られたM2個の距離Lの分布に基づき、物体までの距離が複数の距離zそれぞれである距離尤度を求める。
すなわち、尤度算出部２５は、例えば、M2個の距離Lの平均値及び分散を求め、その平均値及び分散で規定されるガウス分布を求める。そして、尤度算出部２５は、各距離zに対して、M2個の距離Lの平均値及び分散で規定されるガウス分布に従う値を、距離尤度として求める。
あるいは、尤度算出部２５は、例えば、M2個の距離Lの度数分布を求め、各距離zに対して、度数分布の度数に対応する値を、距離尤度として求める。
＜本技術を適用した走行制御装置の第３の詳細構成例＞
図１５は、本技術を適用した走行制御装置の第３の詳細構成例を示すブロック図である。
なお、図中、図５又は図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１５において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、障害物マップ生成部２９、走行制御部３０、バッファ３１、及び、ToFセンサ５１を有する。
したがって、図１５の走行制御装置は、ステレオカメラ２１ないしバッファ３１を有する点で、図５の場合と共通する。
但し、図１５の走行制御装置は、図１２のToFセンサ５１が新たに設けられている点で、図５の場合と相違する。
図１５の走行制御装置では、ステレオカメラ２１のセンサデータ、及び、ミリ波レーダ２２のセンサデータに加えて、ToFセンサ５１のセンサデータが用いられることを除き、図７で説明した場合と同様の処理が行われる。
したがって、図１５の走行制御装置では、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の他に、ToFセンサ５１についての距離尤度が統合され、統合尤度が求められる。
＜本技術を適用した走行制御装置の第４の詳細構成例＞
図１６は、本技術を適用した走行制御装置の第４の詳細構成例を示すブロック図である。
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１６において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、バッファ３１、尤度算出部６１、正規化部６２、統合部６３、動き量算出部６４、及び、障害物マップ生成部６５を有する。
したがって、図１６の走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、及び、バッファ３１を有する点で、図５の場合と共通する。
但し、図１６の走行制御装置は、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、及び、障害物マップ生成部２９に代えて、尤度算出部６１、正規化部６２、統合部６３、動き量算出部６４、及び、障害物マップ生成部６５が、それぞれ設けられている点で、図５の場合と相違する。
尤度算出部６１は、図１の尤度算出部１２に相当する。
尤度算出部６１は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)、すなわち、ステレオカメラ２１のセンサデータとしての画像データの各画素の各位置(x,y)、その位置に映る物体までの距離z、及び、ステレオカメラ２１のセンサデータとしての画像を用いて行われる動き検出で検出可能な動き量の範囲の各動き量(vx,vy,vz)（走行制御装置が搭載された自動車を基準とする相対的な動き量）について算出し、正規化部６２に供給する。
ここで、動き量尤度については、図２で説明したように、サンプリング点(x,y,z,vx,vy,vz)は、x,y,z,vx,vy,vzそれぞれを軸とする６次元（直交）座標系上の点になる。
尤度算出部６１は、さらに、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)について算出し、正規化部６２に供給する。
すなわち、尤度算出部６１は、同期部２４からのミリ波レーダ２２のセンサデータから、各方向（方位）rの各距離dの、極座標系上の位置(r,d)の動き量が、ミリ波レーダ２２で検出可能な動き量の範囲の各動き量であると仮定したときの、その各動き量の動き量尤度を求める。
そして、尤度算出部６１は、ミリ波レーダ２２についての動き量尤度が得られる、極座標系の各位置(r,d)及び各動き量を、座標変換によって、６次元座標系の各位置(x,y,z,vx,vy,vz)に変換し、その６次元座標系の各位置(x,y,z,vx,vy,vz)である各サンプリング点(x,y,z,vx,vy,vz)についての動き量尤度を、正規化部６２に供給する。
正規化部６２は、図１の正規化部１３に相当する。
正規化部６２は、尤度算出部６１からの、ステレオカメラ２１についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度に対して、サンプリング点(x,y,z,vx,vy,vz)を一致させる正規化を、補間等によって行い、統合部６３に供給する。
統合部６３は、図１の統合部１４に相当する。
統合部６３は、正規化部６２からのステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度を、サンプリング点(x,y,z,vx,vy,vz)ごとに統合し、動き量算出部６４に供給する。
なお、統合部６３は、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度の統合を、バッファ３１に記憶された情報を、必要に応じて用いて行うことができる。
すなわち、図１６において、バッファ３１には、後述する動き量算出部６４で算出される動き量、及び、後述する障害物マップ生成部６５で生成される障害物マップが記憶される。
統合部６３は、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度の統合を、バッファ３１に記憶された、前回求められた動き量や、障害物マップを必要に応じて用いて行うことで、統合の処理の負荷を軽減することができる。
具体的には、例えば、統合部６３は、バッファ３１に記憶された、前回求められた動き量や、障害物マップを用いて、動く動物体を検出し、その動物体の範囲内（又は、動物体を所定のマージンで包含する範囲内）の位置(x,y,z)を特定する。そして、統合部６３は、動物体の範囲内の位置(x,y,z)含むサンプリング点(x,y,z,vx,vy,vz)についてだけ、動き量尤度の統合を行う。さらに、統合部６３は、他のサンプリング点(x,y,z,vx,vy,vz)については、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度のうちの一方を、そのまま、統合尤度とする。
ここで、動物体は、バッファ３１に記憶された動き量や、障害物マップを用いて検出する他、ミリ波レーダ２２のセンサデータから検出することができる。
例えば、ミリ波レーダ２２のセンサデータが、２回のFFTを行って、物体の動き量を求めることができるセンサデータである場合、ミリ波レーダ２２のセンサデータの２回のFFT結果から、物体の動き量（例えば、z方向の動き量）を求め、その動き量に基づいて、動物体を検出することができる。
なお、統合部６３では、図５の統合部２７と同様に、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度を統合した後、統合尤度の最適化を行うことができる。
動き量算出部６４は、図１の距離／動き量算出部１５に相当する。
動き量算出部６４は、統合部６３からのサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を用いて、物体の動き量を求める。すなわち、動き量算出部６４は、位置(x,y,z)ごとに、動き量の統合尤度が最大の動き量(vx,vy,vz)を、位置(x,y,z)の動き量として求める。
そして、動き量算出部６４は、動き量の統合尤度を用いて求めた動き量(vx,vy,vz)を、バッファ３１、及び、障害物マップ生成部６５に供給する。
なお、動き量算出部６４では、その他、例えば、位置(x,y)ごとに、動き量の統合尤度が最大の動き量(vx,vy,vz)及び距離zを、位置(x,y)の画素に映る物体の動き量、及び、その物体までの距離として求めることができる。
障害物マップ生成部６５は、動き量算出部６４からの動き量(vx,vy,vz)を用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部６５は、障害物マップを、走行制御部３０、及び、バッファ３１に供給する。
ここで、動き量を求める場合、図１の複数のセンサ１１1ないし１１Nのうちの１つとしては、画像を用いて動き量を検出するためのセンサ、すなわち、画像を撮影する画像センサが必須になる。
画像センサとしては、図１６に示したステレオカメラ２１を採用する他、ステレオカメラ２１を構成するカメラ２１Ｌ又は２１Ｒのような、いわゆる単眼のカメラを採用することができる。
画像センサとして、単眼のカメラを採用する場合、走行制御装置が搭載された自動車が移動（走行）しているときには、z方向の位置（距離z）は、例えば、連続する２フレームの画像等の異なるタイミング（位置）で撮影された画像を用いて、ステレオカメラ２１で撮影された画像から距離（視差）を求める場合と同様にして求めることができる。
なお、画像センサとして、単眼のカメラを採用する場合、走行制御装置が搭載された自動車が停止しているときには、z方向の位置（距離z）を求めることができない。この場合、z方向の位置については、例えば、同一の動き量尤度（z方向の位置を無視した動き量尤度）を採用することができる。
また、画像センサとして、単眼のカメラを採用する場合には、統合方式を用いずに、動き量(vx,vy,vz)を求めることができる。この場合、x方向及びy方向の動き量vx及びvyについては、単眼のカメラで撮影された画像を用いて動き検出を行うことにより求め、z方向の動き量vzについては、ミリ波レーダ２２等のセンサデータから求めることができる。以上のように、統合方式を用いずに、動き量(vx,vy,vz)を求める場合には、単眼のカメラの画像からは、z方向の動き量vzを求めず、ミリ波レーダ２２等のセンサデータからは、x方向及びy方向の動き量vx及びvyを求めないので、統合方式を用いる場合に比較して、計算量を削減することができる。
その他、例えば、動き量vx及びvyについては、単眼のカメラと他のセンサとを用いた統合方式で求め、動き量vzについては、ミリ波レーダ２２と他のセンサとを用いた統合方式で求めることができる。
図１７は、図１６の走行制御装置の処理の例を説明するフローチャートである。
ステップＳ１２１において、ステレオカメラ２１は、図７のステップＳ２１と同様に、異なる視点から画像を撮影し、その結果得られる画像データを、センサデータとして、伝送部２３に出力する。
さらに、ステップＳ１２１では、ミリ波レーダ２２は、図７のステップＳ２１と同様に、ミリ波を送信し、そのミリ波が物体で反射して戻ってくるミリ波を受信して、センサデータとして、伝送部２３に出力する。
伝送部２３は、ステレオカメラ２１、及び、ミリ波レーダ２２が出力するセンサデータを、同期部２４に伝送し、処理は、ステップＳ１２１からステップＳ１２２に進む。
ステップＳ１２２では、同期部２４は、図７のステップＳ２２と同様に、伝送部２３からのステレオカメラ２１及びミリ波レーダ２２のセンサデータを同期させ、尤度算出部６１に出力して、処理は、ステップＳ１２３に進む。
ステップＳ１２３では、尤度算出部６１は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)について算出し、正規化部６２に供給する。
さらに、尤度算出部６１は、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)について算出し、正規化部６２に供給する。
そして、処理は、ステップＳ１２３からステップＳ１２４に進み、正規化部６２は、尤度算出部６１からの、ステレオカメラ２１についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度に対して、サンプリング点(x,y,z,vx,vy,vz)を一致させる正規化を行う。
正規化部６２は、正規化後のステレオカメラ２１についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度を、統合部６３に供給し、処理は、ステップＳ１２４からステップＳ１２５に進む。
ステップＳ１２５では、統合部６３は、正規化部６２からのステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度を、サンプリング点(x,y,z,vx,vy,vz)ごとに統合する。
そして、統合部６３は、統合の結果得られるサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を、動き量算出部６４に供給し、処理は、ステップＳ１２５からステップＳ１２６に進む。
なお、統合部６３は、図１６で説明したように、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度の統合を、バッファ３１に記憶された、前回求められた動き量(vx,vy,vz)や障害物マップを、必要に応じて用いて行うことができ、これにより、統合の処理の負荷を軽減することができる。
また、統合部６３では、図５の統合部２７と同様に、統合の結果得られる動き量の統合尤度に対して、統合尤度の最適化を行うことができる。
ステップＳ１２６では、動き量算出部６４は、統合部６３からのサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を用いて、位置(x,y,z)又は位置(x,y)ごとに、動き量の統合尤度が最大の動き量(vx,vy,vz)（及び距離z）を、位置(x,y,z)又は位置(x,y)の物体の動き量として求める。
そして、動き量算出部６４は、動き量(vx,vy,vz)を、障害物マップ生成部６５、及び、バッファ３１に供給し、処理は、ステップＳ１２６からステップＳ１２７に進む。
ステップＳ１２７では、バッファ３１は、動き量算出部６４から供給される動き量(vx,vy,vz)をバッファリングし（一時記憶し）、処理は、ステップＳ１２８に進む。
ここで、バッファ３１に記憶された動き量(vx,vy,vz)は、統合部６３が、次の統合を行うときに必要に応じて用いられる。
ステップＳ１２８では、障害物マップ生成部６５は、動き量算出部６４からの動き量(vx,vy,vz)を用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部６５は、障害物マップを、走行制御部３０、及び、バッファ３１に供給し、処理は、ステップＳ１２８からステップＳ１２９に進む。
ステップＳ１２９では、バッファ３１は、障害物マップ生成部６５から供給される障害物マップをバッファリングし、処理は、ステップＳ１３０に進む。
ここで、バッファ３１に記憶された障害物マップは、統合部６３が、次の統合を行うときに必要に応じて用いられる。
ステップＳ１３０では、走行制御部３０は、障害物マップ生成部６５からの障害物マップを用いて、自動車の走行制御を行い、処理は終了する。
なお、図１７のフローチャートに従った処理は、パイプラインで繰り返し行われる。
図１８は、図１７のステップＳ１２３において、ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を求める処理の例を説明するフローチャートである。
ステップＳ１４１及びＳ１４２では、図８のステップＳ４１及びＳ４２とそれぞれ同様の処理が行われる。
ステップＳ１４３では、尤度算出部６１は、図８のステップＳ４３と同様に、ステレオカメラ２１のセンサデータであるカメラ２１Ｌ及びカメラ２１Ｒで撮影された、視点の異なる２つの画像のうちの一方を基準画像とするとともに、他方を参照画像として、基準画像の各画素に対して、その画素に対応する参照画像の画素である対応点を求めるマッチングを、例えば、ブロックマッチング等によって行う。
さらに、尤度算出部６１は、基準画像の各画素と、その画素に対して得られた参照画像の対応点との間の視差から、基準画像の各画素に映る物体までの距離を、基準画像の各画素の位置(x,y)の距離zとして求め、処理は、ステップＳ１４３からステップＳ１４４に進む。
ステップＳ１４４では、尤度算出部６１は、ステレオカメラ２１のセンサデータとしての基準画像の各画素の各位置(x,y)及び距離zと、各動き量(vx,vy,vz)について、位置(x,y)及び距離zの物体の動き量が、動き量(vx,vy,vz)である動き量尤度を、例えば、基準画像の位置(x,y)の画素の動き検出を行うことにより求め、処理は終了する。
すなわち、尤度算出部６１は、例えば、基準画像の最新のフレームを注目フレームに選択するとともに、その注目フレームの各画素を、順次、注目画素に選択する。さらに、尤度算出部６１は、注目画素から、x方向及びy方向の複数の動き量(vx,vy)それぞれだけずれた位置を中心とする、注目フレームの１フレーム前の前フレームのブロックと、注目画素を中心とする注目フレームのブロックとのブロックマッチングを行う。
これにより、注目画素に対し、複数の動き量(vx,vy)それぞれについて、ブロックマッチングのマッチングエラーが求められる。
また、尤度算出部６１は、注目画素から、動き量(vx,vy)それぞれだけずれた位置の前フレームの画素に対して、前フレームを注目フレームとして既に求められている距離と、注目画素に対して、直前のステップＳ１４３で求められた距離zとから、z方向の動き量vzを求める。
以上により、注目フレームの各画素の各位置(x,y)及び距離zと、各動き量(vx,vy,vz)について、位置(x,y)及び距離zの物体の動き量が、動き量(vx,vy,vz)であるときのマッチングエラーが求められる。
そして、尤度算出部６１は、注目フレームの各画素の各位置(x,y)及び距離zと、各動き量(vx,vy,vz)について、位置(x,y)及び距離zの物体の動き量が動き量(vx,vy,vz)である動き量尤度を、マッチングエラーを用いて求める。
すなわち、位置(x,y)及び距離zと動き量(vx,vy,vz)に対するマッチングエラーを、cost(x,y,z,vx,vy,vz)と表すこととすると、尤度算出部６１は、位置(x,y)及び距離zの物体の動き量が動き量(vx,vy,vz)である動き量尤度PST(x,y,z,vx,vy,vz)を、例えば、式PST(x,y,z,vx,vy,vz)＝exp(-cost(x,y,z,vx,vy,vz))に従って求める。
図１９は、図１７のステップＳ１２３において、ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を求める処理の例を説明するフローチャートである。
ステップＳ１５１において、尤度算出部６１は、同期部２４からのミリ波レーダ２２のセンサデータを受信（キャプチャ）し、処理は、ステップＳ１５２に進む。
ステップＳ１５２では、尤度算出部６１は、ミリ波レーダ２２のセンサデータのFFTを行い、さらに、そのFFT結果のFFTを行って、処理は、ステップＳ１５３に進む。
ここで、本実施の形態では、ミリ波レーダ２２のセンサデータは、そのFFT結果のFFT結果、すなわち、２回目のFFT結果の強度が、その強度の時刻に対応する動き量で、物体が動いていることの確からしさを表すこととする。
なお、ミリ波レーダ２２のセンサデータのFFT結果については、図９のステップＳ５３の場合と同様の補正を行うことができる。
ステップＳ１５３では、尤度算出部６１は、ミリ波レーダ２２のセンサデータの２回目のFFT結果から、ミリ波レーダ２２のセンシング範囲の各方向（方位）r及び各距離dと各動き量(vx,vy,vz)について、方向r及び距離dにある物体の動き量が、動き量(vx,vy,vz)であると仮定したときの、各動き量(vx,vy,vz)の動き量尤度を求める。
ここで、方向r及び距離dと動き量(vx,vy,vz)に対応する、ミリ波レーダ２２のセンサデータの２回目のFFT結果を、fft2(r,d,vx,vy,vz)と表すこととすると、方向r及び距離dにある物体の動き量が、動き量(vx,vy,vz)である動き量尤度PRは、例えば、式PR＝fft2(r,d,vx,vy,vz)／Σ(vx,vy,vz)fft2(r,d,vx,vy,vz)に従って求めることができる。
式PR＝fft2(r,d,vx,vy,vz)／Σ(vx,vy,vz)fft2(r,d,vx,vy,vz)のΣ(vx,vy,vz)fft2(r,d,vx,vy,vz)は、動き量(vx,vy,vz)を、動き量尤度を求める各動き量に変えてのfft2(r,d,vx,vy,vz)のサメーションを表す。
その後、処理は、ステップＳ１５４からステップＳ１５５に進み、尤度算出部６１は、ミリ波レーダ２２についての動き量尤度が得られる方向r及び距離dと動き量(vx,vy,vz)を、座標変換によって、６次元座標系の各位置(x,y,z,vx,vy,vz)に変換することで、その６次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z,vx,vy,vz)についての動き量尤度を求め、処理は、終了する。
なお、図１６では、画像センサとしてのステレオカメラ２１の他に、ミリ波レーダ２２を設けることとしたが、画像センサとしてのステレオカメラ２１以外のセンサとしては、例えば、図１２に示したように、ミリ波レーダ２２に代えて、ToFセンサ５１を用いることができる。
さらに、画像センサとしてのステレオカメラ２１以外のセンサとしては、例えば、図１５に示したように、ミリ波レーダ２２とToFセンサ５１とを用いることができる。
＜本技術を適用した走行制御装置の第５の詳細構成例＞
図２０は、本技術を適用した走行制御装置の第５の詳細構成例を示すブロック図である。
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図２０において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、バッファ３１、ToFセンサ５１、ライダ７１、尤度算出部８１、正規化部８２、統合部８３、距離／動き量算出部８４、及び、障害物マップ生成部８５を有する。
したがって、図２０の走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、及び、バッファ３１を有する点で、図５の場合と共通する。
但し、図２０の走行制御装置は、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、及び、障害物マップ生成部２９に代えて、尤度算出部８１、正規化部８２、統合部８３、距離／動き量算出部８４、及び、障害物マップ生成部８５が、それぞれ設けられている点で、図５の場合と相違する。
さらに、図２０の走行制御装置は、図１２のToFセンサ５１、及び、ライダ７１が新たに設けられている点で、図５の場合と相違する。
尤度算出部８１は、図５の尤度算出部２５、及び、図１６の尤度算出部６１と同様の機能を有する。正規化部８２は、図５の正規化部２６、及び、図１６の正規化部６２と同様の機能を有する。統合部８３は、図５の統合部２７、及び、図１６の統合部６３と同様の機能を有する。距離／動き量算出部８４は、図５の距離算出部２８、及び、図１６の動き量算出部６４と同様の機能を有する。
図２０の走行制御装置では、ステレオカメラ２１、ミリ波レーダ２２、ToFセンサ５１、及び、ライダ７１それぞれのセンサデータを対象として、図５及び図１６の走行制御装置と同様の処理が行われることで、距離／動き量算出部８４において、距離と動き量とが求められる。
そして、障害物マップ生成部８５では、距離／動き量算出部８４で求められた距離と動き量を用いて、障害物マップが生成される。
なお、例えば、図５の走行制御装置では、統合部２７で求められたサンプリング点(x,y,z)ごとの距離の統合尤度を用いて、位置(x,y)ごとに、距離の統合尤度が最大の距離zを、位置(x,y)の画素に映る物体までの距離として求めることとしたが、距離の統合尤度からは、物体までの距離以外の情報を求めることができる。
すなわち、例えば、サンプリング点(x,y,z)ごとの距離の統合尤度（図１０の統合尤度ボリューム）において、(x,z)ごとに、統合尤度が最大のyを検出し、そのyがほぼ一定値の点(x,y,z)で構成される領域を、路面の領域として求めることができる。
同様に、サンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度についても、その動き量の統合尤度を用いて、動き量以外の情報を求めることができる。
＜本技術を適用したコンピュータの説明＞
次に、例えば、図１の尤度算出部１２や、正規化部１３、統合部１４等の各ブロックで行われる一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出する尤度算出部と、
前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求める統合部と
を備える情報処理装置。
＜２＞
前記統合尤度を用いて、前記物体までの距離を求める距離算出部をさらに備える
＜１＞に記載の情報処理装置。
＜３＞
前記物体までの距離を用いて、障害物に関する障害物情報を生成する生成部をさらに備える
＜２＞に記載の情報処理装置。
＜４＞
前記統合部は、前回得られた前記距離又は前記障害物情報を用いて、前記複数の測距方法についての前記距離尤度を統合する
＜３＞に記載の情報処理装置。
＜５＞
前記複数の測距方法の測距に用いられる複数のセンサが出力するセンサデータを同期させる同期部をさらに備える
＜１＞ないし＜４＞のいずれかに記載の情報処理装置。
＜６＞
前記複数の測距方法の測距に用いられるセンサは、ステレオカメラ、レーダ、ToFセンサ、及び、ライダのうちの２以上のセンサである
＜１＞ないし＜５＞のいずれかに記載の情報処理装置。
＜７＞
複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出することと、
前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求めることと
を含む情報処理方法。
＜８＞
複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出する尤度算出部と、
前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求める統合部と
して、コンピュータを機能させるためのプログラム。
１１1ないし１１N センサ， １２ 尤度算出部， １３ 正規化部， １４ 統合部， １５ 距離／動き量算出部， １６ 走行制御部， ２１ ステレオカメラ， ２１Ｌ，２１Ｒ カメラ， ２２ ミリ波レーダ， ２３ 伝送部， ２４ 同期部， ２５ 尤度算出部， ２６ 正規化部， ２７ 統合部， ２８ 距離算出部， ２９ 障害物マップ生成部， ３０ 走行制御部， ３１ バッファ， ５１ ToFセンサ， ６１ 尤度算出部， ６２ 正規化部， ６３ 統合部， ６４ 動き量算出部， ７１ ライダ， ８１ 尤度算出部， ８２ 正規化部， ８３ 統合部， ８４ 距離／動き量算出部， ８５ 障害物マップ生成部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (7)

  1. 複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出する尤度算出部と、
    前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求める統合部と、
    前記統合尤度を用いて、前記物体までの距離を求める距離算出部と、
    前記物体までの距離を用いて、障害物に関する障害物情報を生成する生成部と
    を備え、
    前記統合部は、前記距離算出部により前回得られた前記距離又は前記生成部により前回得られた前記障害物情報を用いて、前記複数の測距方法についての前記距離尤度を統合する
    情報処理装置。
  2. 前記統合部は、前記障害物情報に基づいて前記物体の存在範囲を推定し、前記物体の存在範囲内の点のみを前記距離尤度の統合の対象として前記統合尤度を求め、前記物体の存在範囲外の点については、前記複数の測距方法のうちのいずれかの測距方法についての前記距離尤度を前記統合尤度とする
    請求項１に記載の情報処理装置。
  3. 前記統合部は、前記障害物情報に基づいて所定種類の物体の存在範囲を認識し、前記所定種類の物体範囲の点については、前記複数の測距方法のうちの所定の測距方法についての前記距離尤度を、統合の対象から除外する
    請求項１に記載の情報処理装置。
  4. 前記複数の測距方法の測距に用いられる複数のセンサが出力するセンサデータを同期させる同期部をさらに備える
    請求項１に記載の情報処理装置。
  5. 前記複数の測距方法の測距に用いられるセンサは、ステレオカメラ、レーダ、ToFセンサ、及び、ライダのうちの２以上のセンサである
    請求項１に記載の情報処理装置。
  6. 尤度算出部と、
    統合部と、
    距離算出部と、
    生成部と
    を備えた情報処理装置の
    前記尤度算出部が、複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出し、
    前記統合部が、前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求め、
    前記距離算出部が、前記統合尤度を用いて、前記物体までの距離を求め、
    前記生成部が、前記物体までの距離を用いて、障害物に関する障害物情報を生成する
    ステップを含み、
    前記統合部が、前記距離算出部により前回得られた前記距離又は前記生成部により前回得られた前記障害物情報を用いて、前記複数の測距方法についての前記距離尤度を統合する
    情報処理方法。
  7. 複数の測距方法それぞれについて、その測距方法で得られる情報から、物体までの距離が複数の距離それぞれである距離尤度を算出する尤度算出部と、
    前記複数の測距方法についての前記距離尤度を統合し、前記複数の距離それぞれの統合尤度を求める統合部と、
    前記統合尤度を用いて、前記物体までの距離を求める距離算出部と、
    前記物体までの距離を用いて、障害物に関する障害物情報を生成する生成部と
    して、
    さらに、前記距離算出部により前回得られた前記距離又は前記生成部により前回得られた前記障害物情報を用いて、前記複数の測距方法についての前記距離尤度を統合する前記統合部と
    して、コンピュータを機能させるためのプログラム。
JP2017543144A 2015-09-30 2016-09-16 情報処理装置、情報処理方法、及び、プログラム Active JP6881307B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015193364 2015-09-30
JP2015193364 2015-09-30
PCT/JP2016/077429 WO2017057056A1 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JPWO2017057056A1 JPWO2017057056A1 (ja) 2018-07-19
JP6881307B2 true JP6881307B2 (ja) 2021-06-02

Family

ID=58423636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543144A Active JP6881307B2 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、及び、プログラム

Country Status (7)

Country Link
US (1) US11047976B2 (ja)
EP (1) EP3358369A4 (ja)
JP (1) JP6881307B2 (ja)
CN (1) CN108139476B (ja)
CA (1) CA2999697A1 (ja)
MX (1) MX2018003608A (ja)
WO (1) WO2017057056A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016216973A1 (de) 2016-09-07 2018-03-08 Robert Bosch Gmbh Steuervorrichtung und Verfahren zum Steigern mindestens eines Bremsdrucks in mindestens einem Radbremszylinder eines Bremssystems eines Fahrzeugs
US10579138B2 (en) * 2016-12-22 2020-03-03 ReScan, Inc. Head-mounted sensor system
US20210403015A1 (en) * 2017-08-03 2021-12-30 Koito Manufacturing Co., Ltd Vehicle lighting system, vehicle system, and vehicle
JP7160040B2 (ja) 2017-08-22 2022-10-25 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
DE102017217972A1 (de) * 2017-10-10 2019-04-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen eines inversen Sensormodells und Verfahren zum Erkennen von Hindernissen
JP7176406B2 (ja) * 2018-01-23 2022-11-22 株式会社リコー 画像処理方法、画像処理装置、車載装置、移動体、システム
JP7015723B2 (ja) * 2018-04-11 2022-02-03 パナソニック株式会社 物体検出装置、物体検出システム、及び物体検出方法
JP7074593B2 (ja) * 2018-07-03 2022-05-24 株式会社Soken 物体検出装置
WO2020022185A1 (ja) * 2018-07-25 2020-01-30 株式会社小糸製作所 センサシステム
JP2022036339A (ja) * 2018-10-12 2022-03-08 ソニーセミコンダクタソリューションズ株式会社 センサフュージョンシステム、同期制御装置、及び同期制御方法
JP7036227B2 (ja) * 2018-11-19 2022-03-15 日本電気株式会社 画像処理方法および画像処理装置
JPWO2020116194A1 (ja) * 2018-12-07 2021-10-21 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN109814552A (zh) * 2018-12-28 2019-05-28 百度在线网络技术（北京）有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置
JP7238422B2 (ja) * 2019-01-22 2023-03-14 株式会社リコー 測距方法、測距装置、車載装置、移動体、測距システム
WO2020261525A1 (ja) * 2019-06-28 2020-12-30 日本電気株式会社 レーダ装置、イメージング方法およびイメージングプログラム
KR20220043125A (ko) * 2019-08-13 2022-04-05 소니 세미컨덕터 솔루션즈 가부시키가이샤 측정 장치 및 측거 장치
WO2021132229A1 (ja) * 2019-12-25 2021-07-01 京セラ株式会社 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム
JPWO2021131953A1 (ja) 2019-12-27 2021-07-01
JP7435779B2 (ja) 2020-07-03 2024-02-21 日本電気株式会社 測距誤差算出装置、測距誤差算出方法及びプログラム
JP2022083038A (ja) * 2020-11-24 2022-06-03 ソニーセミコンダクタソリューションズ株式会社 信号処理装置
JP2022146480A (ja) 2021-03-22 2022-10-05 リコーインダストリアルソリューションズ株式会社 ステレオカメラ装置
CN114091626B (zh) * 2022-01-19 2022-04-22 浙江吉利控股集团有限公司 真值检测方法、装置、设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2900737B2 (ja) 1993-02-01 1999-06-02 トヨタ自動車株式会社 車間距離検出装置
JP2000292538A (ja) * 1999-04-07 2000-10-20 Mitsubishi Electric Corp 車両用障害物検出装置
JP3931879B2 (ja) 2003-11-28 2007-06-20 株式会社デンソー センサフュージョンシステム及びそれを用いた車両制御装置
US20060091654A1 (en) * 2004-11-04 2006-05-04 Autoliv Asp, Inc. Sensor system with radar sensor and vision sensor
DE102005009702A1 (de) * 2005-03-03 2006-09-07 Robert Bosch Gmbh Abstandsmessvorrichtung und Verfahren zur Funktionsprüfung einer Abstandsmessung
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP2008116357A (ja) 2006-11-06 2008-05-22 Toyota Motor Corp 物体検出装置
JP5664152B2 (ja) 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
US8972640B2 (en) 2012-06-27 2015-03-03 Intel Corporation Controlling a physical link of a first protocol using an extended capability structure of a second protocol
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
WO2014042134A1 (ja) * 2012-09-13 2014-03-20 古野電気株式会社 レーダ装置
JP6540009B2 (ja) 2013-12-27 2019-07-10 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
JP6046190B2 (ja) 2015-03-31 2016-12-14 本田技研工業株式会社 運転支援装置
JP6365385B2 (ja) 2015-04-17 2018-08-01 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法
EP3358551B1 (en) 2015-09-30 2021-10-27 Sony Group Corporation Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JPWO2017057056A1 (ja) 2018-07-19
CA2999697A1 (en) 2017-04-06
WO2017057056A1 (ja) 2017-04-06
CN108139476B (zh) 2022-04-26
US11047976B2 (en) 2021-06-29
CN108139476A (zh) 2018-06-08
EP3358369A1 (en) 2018-08-08
EP3358369A4 (en) 2019-05-08
US20180284256A1 (en) 2018-10-04
MX2018003608A (es) 2018-04-30

Similar Documents

Publication Publication Date Title
JP6881307B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US10341633B2 (en) Systems and methods for correcting erroneous depth information
WO2017057061A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20210124029A1 (en) Calibration of laser and vision sensors
US11061111B2 (en) Signal processing apparatus, signal processing method, and object detection system
EP3542182B1 (en) Methods and systems for vehicle environment map generation and updating
US10885640B2 (en) Enhanced object detection and motion estimation for a vehicle environment detection system
JP6224370B2 (ja) 車両用コントローラ、車両システム
WO2017057058A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20170137934A (ko) 무인기의 심도 이미지 획득 방법, 장치 및 무인기
EP2901236B1 (en) Video-assisted target location
US20100148977A1 (en) Localization and detection system applying sensors and method thereof
US20100164807A1 (en) System and method for estimating state of carrier
WO2014178005A4 (en) System and method for probabilistic object tracking over time
US20200125111A1 (en) Moving body control apparatus
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
US11461928B2 (en) Location estimation apparatus
KR20180097004A (ko) 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법
CN112578363A (zh) 激光雷达运动轨迹获取方法及装置、介质
US20240098231A1 (en) Image processing device, image processing method, and computer-readable medium
US20220180549A1 (en) Three-dimensional location prediction from images
WO2022097372A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN117826158A (zh) 车辆定位方法、装置、电子设备及存储介质
KR20210062453A (ko) 운동 정보 결정 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210419

R151 Written notification of patent or utility model registration

Ref document number: 6881307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151