JP6784943B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6784943B2
JP6784943B2 JP2017543146A JP2017543146A JP6784943B2 JP 6784943 B2 JP6784943 B2 JP 6784943B2 JP 2017543146 A JP2017543146 A JP 2017543146A JP 2017543146 A JP2017543146 A JP 2017543146A JP 6784943 B2 JP6784943 B2 JP 6784943B2
Authority
JP
Japan
Prior art keywords
reliability
region
road surface
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017543146A
Other languages
English (en)
Other versions
JPWO2017057058A1 (ja
Inventor
小柳津　秀紀
秀紀 小柳津
琢人 元山
琢人 元山
周藤　泰広
泰広 周藤
寿夫 山崎
寿夫 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017057058A1 publication Critical patent/JPWO2017057058A1/ja
Application granted granted Critical
Publication of JP6784943B2 publication Critical patent/JP6784943B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、誤認識の発生を抑制することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。
ステレオカメラやミリ波レーダは、車載用の距離センサとして一般的に用いられている。しかしながら、ステレオカメラは暗所や遠距離で精度が落ちる、ミリ波レーダはトンネル内などでの多重反射に弱く、垂直方向の情報を取得できない、などの課題がある。
これに対し、これら２つの距離センサから得られる情報をフュージョンすることで、互いに不得意な条件や範囲を補い合う技術が開示されている。
例えば、特許文献１には、レーダとステレオカメラの距離情報を合成する際、物体との距離が遠い場合は、物体の横位置の精度を上げるためにレーダの情報の信頼度を上げ、距離が近い場合は、レーダの電波がその物体のどこで反射するかわからないのでステレオカメラの情報の信頼度を上げる技術が開示されている。
また、特許文献２には、複数のセンサの出力に基づいて求めた立体物の存在確率を、センサの認識率に基づいて補正したり、走行環境に応じて重み付け可変するなどしてフュージョンすることが記載されている。
さらに、特許文献３には、前走車を追尾するアダプティブクルーズコントロールにおいて、交差点やカーブなどで前走車がミリ波レーダの検出範囲から外れた場合の対策が示されている。具体的には、GPS（Global Positioning System）により、自車が交差点にいると判定された場合には、ミリ波レーダの信頼度を下げるとともに、ステレオカメラの信頼度を上げることが記載されている。これにより、適切な車間距離が保たれるようになる。
特開２００８−１１６３５７号公報 特開２００７−３１０７４１号公報 特開平６−２３０１１５号公報
上述したように、ミリ波レーダは、垂直方向の情報を取得できない。具体的には、ミリ波レーダは、上下方向の測定範囲を絞ることで、自車が衝突する可能性のない路面や高い所にある物体を検出しないようになされている。
しかしながら、例えば、自車の前方にある上り坂の路面上に、マンホールやグレーチングなどの金属が埋め込まれている場合、ミリ波レーダのミリ波がその金属に反射してしまう。その結果、その金属が障害物として誤認識され、自動ブレーキが作動してしまう。
これに対して、ステレオカメラによる距離推定においては、路面を推定することで、その金属が路面上の物体であるか否かを判定することができる。しかしながら、ミリ波レーダの情報とステレオカメラの情報のどちらが正しいかを決める手段が存在しないため、最終的に、そのような金属が障害物であると判断されるおそれがあった。
本技術は、このような状況に鑑みてなされたものであり、誤認識の発生を抑制することができるようにするものである。
本技術の一側面の情報処理装置は、所定の撮像範囲が撮像された第１の画像における路面領域を推定する路面領域推定部と、前記撮像範囲が撮像された第２の画像における無偏光領域を抽出する無偏光領域抽出部と、前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定する低信頼度領域推定部と、前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出する重み算出部と、前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出する存在尤度算出部とを備える。
本技術の一側面の情報処理方法は、所定の撮像範囲が撮像された第１の画像における路面領域を推定し、前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出するステップを含む。
本技術の一側面のプログラムは、コンピュータに、所定の撮像範囲が撮像された第１の画像における路面領域を推定し、前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出するステップを含む処理を実行させる。
本技術の一側面においては、所定の撮像範囲が撮像された第１の画像における路面領域が推定され、撮像範囲が撮像された第２の画像における無偏光領域が抽出され、路面領域および無偏光領域を示す情報に基づいて、撮像範囲における第１のセンサの測定範囲内で、第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域が推定され、第１の信頼度、撮像範囲において第２のセンサにより得られる対象物の第２の信頼度、および低信頼度領域を示す情報に基づいて、第１の信頼度に対する重みが算出され、第１の信頼度、第２の信頼度、および重みを示す情報に基づいて、撮像範囲内での距離毎の対象物の存在尤度が算出される。
本技術の一側面によれば、誤認識の発生を抑制することが可能となる。
本実施の形態に係る距離推定装置の構成例を示すブロック図である。 撮像される風景について説明する図である。 距離推定処理について説明するフローチャートである。 距離推定処理について説明するフローチャートである。 ステレオカメラ距離画像の例を示す図である。 ステレオカメラ信頼度画像の例を示す図である。 ミリ波レーダデータマップの例を示す図である。 偏光角度の例を示す図である。 路面領域マップの例を示す図である。 無偏光領域マップの例を示す図である。 ミリ波レーダの測定範囲について説明する図である。 ミリ波レーダ低信頼度領域マップの例を示す図である。 路面対応ステレオカメラ距離画像の例を示す図である。 ステレオカメラ信頼度マップの例を示す図である。 ミリ波レーダデータマップにおける信頼度変更について説明する図である。 信頼度変更後のミリ波レーダデータマップの例を示す図である。 コンピュータの機能構成例を示すブロック図である。
以下、本技術の実施の形態について図を参照して説明する。
＜距離推定装置の構成例＞
図１は、本実施の形態に係る情報処理装置としての距離推定装置の構成例を示している。
距離推定装置１１は、自動車などの車両に搭載され、いわゆる電子制御装置（ECU）などの一部として構成される。距離推定装置１１は、各種のセンサからの信号に基づいて、自車の前方を走行する前走車などの物体との距離を推定する。本実施の形態においては、ステレオカメラ１２、ミリ波レーダ１３、および偏光カメラ１４が、異なる検出特性を有する３種類のセンサとして車両に搭載される。
ステレオカメラ１２は、固体撮像素子（CMOS（Complementary Metal Oxide Semiconductor））イメージセンサやCCD（Charge Coupled Device）イメージセンサ）を搭載する左右一対のカメラが所定の基線長で配設されて構成される。ステレオカメラ１２は、車外風景を異なる視点から撮像する。ステレオカメラ１２は、例えば、車室内のルームミラー上方に取り付けられ、車外風景を撮像して得られる右画像および左画像を距離推定装置１１に供給する。
ミリ波レーダ１３は、ミリ波を用いて前方の物体を検出する。ミリ波レーダ１３は、例えば、車両前端部の車幅方向略中央に取付けられる。ミリ波レーダ１３は、ミリ波を自車から前方に向けて出射し、物体の後端部にて反射したミリ波を受信する。そして、ミリ波レーダ１３は、出射から受信までの時間を計測することによって自車の前端部から物体の後端部までの距離を計算する。ミリ波レーダ１３は、計算された距離を表す信号を、ミリ波レーダ画像として距離推定装置１１に供給する。
偏光カメラ１４は、３方向以上の偏光フィルタを通った各画像を、距離推定装置１１に供給する。具体的には、偏光カメラ１４は、透過軸の異なる３以上の偏光子をユニット化したもの（偏光子ユニット）を複数組み合わせた偏光子アレイを有している。偏光子アレイは、入射される入力光のうち、各偏光子において入力光の無偏光成分を透過させるとともに、各偏光子によって偏光方向が異なる入力光の偏光成分を透過させる。これにより、偏光カメラ１４は、異なる偏光方向から構成される偏光画像を同時に取り込み、距離推定装置１１に供給する。
なお、ステレオカメラ１２および偏光カメラ１４により得られる各画像の撮像範囲は基本的に同一とされ、ミリ波レーダにより得られる画像の撮像範囲は、ステレオカメラ１２および偏光カメラ１４により得られる各画像の撮像範囲より、上下方向に絞られた範囲とされる。
次に、距離推定装置１１の詳細な構成について説明する。
距離推定装置１１は、ステレオカメラ評価部５１、ミリ波レーダ評価部５２、偏光角度推定部５３、路面領域推定部５４、無偏光領域抽出部５５、低信頼度領域推定部５６、障害物候補抽出部５７、路面対応距離抽出部５８、画像−マップ変換部５９、重み算出部６０、および距離合成部６１を備える。
ステレオカメラ評価部５１は、ステレオカメラ１２から供給される右画像および左画像に基づいて、ステレオカメラ距離画像とステレオカメラ信頼度画像とを生成する。ステレオカメラ評価部５１は、ステレオカメラ距離画像を路面対応距離抽出部５８に供給し、ステレオカメラ信頼度画像を画像−マップ変換部５９に供給する。ステレオカメラ距離画像およびステレオカメラ信頼度画像の詳細については後述する。
ミリ波レーダ評価部５２は、ミリ波レーダ１３から供給されるミリ波レーダ画像に基づいて、ミリ波レーダデータマップを生成する。ミリ波レーダ評価部５２は、ミリ波レーダデータマップを重み算出部６０および距離合成部６１に供給する。ミリ波レーダデータマップの詳細については後述する。
偏光角度推定部５３は、偏光カメラ１４から供給される偏光画像に基づいて、偏光画像における対象物の偏光角度を示す偏光角度マップを生成する。偏光角度推定部５３は、偏光角度マップを路面領域推定部５４に供給する。
路面領域推定部５４は、偏光角度推定部５３から供給される偏光角度マップに基づいて、偏光画像における路面の領域（路面領域）を推定する。路面領域推定部５４は、偏光画像における路面領域を示す路面領域マップを、低信頼度領域推定部５６、障害物候補抽出部５７、および路面対応距離抽出部５８に供給する。
無偏光領域抽出部５５は、偏光カメラ１４から供給される偏光画像に基づいて、偏光画像において偏光成分強度の変動が小さい画素領域を無偏光領域として抽出する。無偏光領域抽出部５５は、無偏光領域を示す無偏光領域マップを、低信頼度領域推定部５６に供給する。
低信頼度領域推定部５６は、路面領域推定部５４から供給される路面領域マップと、無偏光領域抽出部５５から供給される無偏光領域マップとに基づいて、ミリ波レーダデータマップにおいて信頼度が低い低信頼度領域を推定する。低信頼度領域推定部５６は、低信頼度領域を示すミリ波レーダ低信頼度領域マップを、重み算出部６０に供給する。
障害物候補抽出部５７は、路面領域推定部５４から供給される路面領域マップに基づいて、路面領域における障害物の候補となる領域を抽出する。障害物候補抽出部５７は、障害物の候補となる領域を示す路面内障害物候補領域マップを、路面対応距離抽出部５８に供給する。
路面対応距離抽出部５８は、路面領域推定部５４から供給される路面領域マップと、障害物候補抽出部５７から供給される路面内障害物候補領域マップとに基づいて、ステレオカメラ評価部５１から供給されるステレオカメラ距離画像において、路面とみなされる領域を除いた領域の距離情報を抽出する。路面対応距離抽出部５８は、路面とみなされる領域を除いた領域の距離情報が抽出されたステレオカメラ距離画像を、路面対応ステレオカメラ距離画像として画像−マップ変換部５９に供給する。
画像−マップ変換部５９は、ステレオカメラ評価部５１から供給されるステレオカメラ信頼度画像と、路面対応距離抽出部５８から供給される路面対応ステレオカメラ距離画像とに基づいて、ステレオカメラ信頼度マップを生成する。画像−マップ変換部５９は、ステレオカメラ信頼度マップを、重み算出部６０および距離合成部６１に供給する。
重み算出部６０は、ミリ波レーダ評価部５２から供給されるミリ波レーダデータマップ、低信頼度領域推定部５６から供給されるミリ波レーダ低信頼度領域マップ、および、画像−マップ変換部５９から供給されるステレオカメラ信頼度マップに基づいて、ミリ波レーダデータマップに対する重みを算出する。重み算出部６０は、ミリ波レーダデータマップに対する重みを示すミリ波レーダ重みマップを、距離合成部６１に供給する。
距離合成部６１は、ミリ波レーダ評価部５２から供給されるミリ波レーダデータマップ、画像−マップ変換部５９から供給されるステレオカメラ信頼度マップ、および、重み算出部６０から供給されるミリ波レーダ重みマップに基づいて、撮像範囲内での距離毎の対象物の存在尤度を算出する。距離合成部６１は、撮像範囲内での距離毎の対象物の存在尤度を示す存在尤度マップを出力する。
＜距離推定処理について＞
次に、距離推定装置１１により実行される距離推定処理について説明する。なお、以下においては、図２に示される風景が、ステレオカメラ１２、ミリ波レーダ１３、および偏光カメラ１４により撮像されるものとする。
図２においては、上り坂の路面１００上に、非金属障害物１１１、金属障害物１１２、金属製のマンホール１１３が存在している。また、路面１００の外側には、金属障害物１１４と樹木が存在している。従来の技術では、ミリ波レーダ１３のミリ波がマンホール１１３に反射してしまい、マンホール１１３が障害物として誤認識されるおそれがあった。
図３および図４は、距離推定処理について説明するフローチャートである。
ステップＳ１において、ステレオカメラ評価部５１は、ステレオカメラ１２から供給される右画像および左画像に基づいて、ステレオカメラ距離画像とステレオカメラ信頼度画像とを生成する。
図５は、ステレオカメラ距離画像の例を示している。
図５に示されるステレオカメラ距離画像１２０においては、黒色の濃い領域ほど、対応する対象物が遠距離にあることが示されている。
図６は、ステレオカメラ信頼度画像の例を示している。
ステレオカメラ信頼度画像は、ステレオカメラ１２による測距の信頼度を示す画像であり、画像中のエッジ部分やテクスチャ部分の値が大きくなる。ステレオカメラ信頼度画像の値は、例えば、ステレオカメラ１２におけるステレオマッチングの相関値に基づいて算出される。図６に示されるステレオカメラ信頼度画像１３０においては、黒い領域ほど信頼度の高い領域とされる。ステレオカメラを用いた距離推定においては、左右の画像の視差に基づいて距離が推定される。そのため、画像の平坦な部分や暗い部分などの信頼度は低く、画像のエッジの強い部分の信頼度は高くなる。
なお、ステレオカメラ信頼度画像の値は、対象となる画像のコントラストやテクスチャの強度など、ステレオカメラの距離推定の信頼度を高めるものであれば、どのようなものからでも算出可能とされる。
このようにして生成されたステレオカメラ距離画像は、路面対応距離抽出部５８に供給され、ステレオカメラ信頼度画像は、画像−マップ変換部５９に供給される。
なお、ステレオカメラ１２に代えて、超音波センサやレーザレーダを設け、これらの出力に基づいて、ステレオカメラ距離画像およびステレオカメラ信頼度画像それぞれに代わる画像が生成されるようにしてもよい。
図３のフローチャートに戻り、ステップＳ２において、ミリ波レーダ評価部５２は、ミリ波レーダ１３から供給されるミリ波レーダ画像に基づいて、ミリ波レーダデータマップを生成する。ミリ波レーダデータマップは、物体の位置およびミリ波の反射強度を示すものである。
ミリ波レーダデータマップの値は、例えば、ミリ波レーダ１３の反射強度に基づいて算出される。ミリ波レーダにおいては、金属のような対象物からの反射波の反射強度が高く、それに基づいて計算された距離を表す信号は、信頼できることが多い。したがって、ミリ波レーダデータマップを用いることにより、路面やそれ以外の領域において、金属等のミリ波を多く反射する物体を検出することができる。
図７は、ミリ波レーダデータマップの例を示している。
図７に示されるミリ波レーダデータマップ１４０において、横軸（ｘ軸）は、図２における水平方向、縦軸（ｚ軸）は、図２における奥行き方向を示している。図７に示されるミリ波レーダデータマップ１４０においては、黒色の濃い領域ほど、対応する対象物の信頼度が高いことが示されている。
すなわち、図７の例では、図２においてミリ波の反射強度が高い金属で構成される金属障害物１１２、マンホール１１３、および金属障害物１１４に対応する領域１４２，１４３，１４４の信頼度が最も高く、次に、非金属障害物１１１に対応する領域１４１の信頼度が高い。なお、図２における樹木に対応する領域の信頼度はそれほど高くない。
このようにして生成されたミリ波レーダデータマップは、重み算出部６０および距離合成部６１に供給される。
図３のフローチャートに戻り、ステップＳ３において、偏光角度推定部５３は、偏光カメラ１４から供給される偏光画像に基づいて、偏光角度マップを生成する。
偏光角度推定部５３は、例えば、特許第４９７４５４３号公報に開示されている数学モデルを用いて、偏光画像から偏光成分強度と無偏光成分強度とを分離し、その数学モデルで示される偏光成分強度の位相から、偏光画像における対象物の偏光角度を推定する。
図８は、偏光角度の例を示している。
図８においては、図２における路面１００のｚ軸方向手前側に対応する部分において、矢印で示される偏光角度が一様となっており、路面１００のｚ軸方向奥側（上り坂）に対応する部分において、矢印で示される偏光角度が連続的に変化している。
このようにして推定された偏光角度を示す偏光角度マップは、路面領域推定部５４に供給される。
図３のフローチャートに戻り、ステップＳ４において、路面領域推定部５４は、偏光角度推定部５３から供給された偏光角度マップで示される偏光角度に基づいて、偏光画像における路面領域を推定する。
具体的には、路面領域推定部５４は、偏光画像において、偏光角度マップで示される偏光角度が、所定の範囲にわたって一様となる箇所、または、連続的に変化する箇所を検出する。そして、路面領域推定部５４は、偏光画像において、検出された箇所を路面領域とした路面領域マップを生成する。路面領域マップは、路面領域とそれ以外の領域とを区別するようにしたものである。ここでは、偏光角度が略垂直となる領域、および、そのような領域と連続性を有する領域が路面領域となる。
図９は、路面領域マップの例を示している。
図９の路面領域マップ１７０においては、黒い領域が路面領域とされる。路面領域マップ１７０における黒い領域は、図２において、路面１００上から非金属障害物１１１、金属障害物１１２、およびマンホール１１３を除いた部分に対応する。
このようにして生成された路面領域マップは、低信頼度領域推定部５６、障害物候補抽出部５７、および路面対応距離抽出部５８に供給される。
なお、路面領域推定部５４は、偏光画像に基づいて路面領域を推定するものとしたが、例えば、ステレオカメラ１２によって得られる右画像および左画像に基づいて路面領域を推定するようにしてもよい。
図３のフローチャートに戻り、ステップＳ５において、無偏光領域抽出部５５は、偏光カメラ１４から供給される偏光画像において無偏光領域を抽出することで、無偏光領域を示す無偏光領域マップを生成する。無偏光領域マップは、偏光カメラ１４により撮像された複数の偏光画像において、それぞれの位相画像が（ほぼ）同じとなる／みなせる領域を示すものである。言い換えると、無偏光領域マップは、偏光成分強度の変動が小さい画素領域を示すものである。
図１０は、無偏光領域マップの例を示している。
図１０に示される無偏光領域マップ１８０においては、図２において金属で構成される金属障害物１１２、マンホール１１３、および金属障害物１１４に対応する黒い領域が、無偏光領域とされる。無偏光の光が金属に照射されると、その反射光は無偏光の光となるため、無偏光領域は、金属に対応する領域であると推定することができる。
このようにして生成された無偏光領域マップは、低信頼度領域推定部５６に供給される。
なお、金属に対応する領域を推定する手法として、偏光画像において無偏光領域を抽出する以外の手法が用いられるようにしてもよい。
図３のフローチャートに戻り、ステップＳ６において、低信頼度領域推定部５６は、路面領域推定部５４から供給される路面領域マップと、無偏光領域抽出部５５から供給される無偏光領域マップとに基づいて、ミリ波レーダデータマップにおける低信頼度領域を推定する。
具体的には、低信頼度領域推定部５６は、路面領域マップおよび無偏光領域マップから、ミリ波レーダ１３の測定範囲内で、路面領域上にある無偏光領域を、低信頼度領域として抽出する。
図１１は、ミリ波レーダ１３の測定範囲について説明する図である。
図１１において、路面領域２００上には、非金属障害物１１１、金属障害物１１２、およびマンホール１１３それぞれに対応する領域２１１，２１２，２１３が存在する。また、路面領域２００外には、金属障害物１１４に対応する領域２１４が存在する。さらに、図１１の例では、ミリ波レーダ１３の測定範囲２２０が、破線の矩形枠で示されている。
図１１の例において、路面領域２００上にある無偏光領域は、金属障害物１１２およびマンホール１１３それぞれに対応する領域２１２，２１３である。すなわち、領域２１２，２１３のうち、測定範囲２２０内に含まれる領域が、低信頼度領域となる。
図１２は、ミリ波レーダ低信頼度領域マップの例を示している。ミリ波レーダ低信頼度領域マップは、ミリ波レーダデータマップにおける低信頼度領域を示すものである。この例では、ミリ波レーダ低信頼度領域マップにおいて、上述したように、無偏光領域マップで示される無偏光領域を金属領域とし、その金属領域を信頼度の低い領域とする。
ミリ波レーダ１３の測定範囲２２０において低信頼度領域が存在する水平方向（ｘ軸方向）の位置では、ミリ波レーダ１３が、路面上の金属を障害物として誤認識している可能性がある。図１２に示されるミリ波レーダ低信頼度領域マップ２３０においては、図１１において測定範囲２２０内に含まれる路面上の無偏光領域（すなわち金属領域）に対応する黒い領域が、低信頼度領域とされている。したがって、ミリ波レーダ低信頼度領域マップを用いることにより、例えばマンホールの蓋のような、路面上の金属と考えられる領域の信頼度を低くすることができる。
このようにして生成されたミリ波レーダ低信頼度領域マップは、重み算出部６０に供給される。
図３のフローチャートに戻り、ステップＳ６の後、処理は、図４のフローチャートのステップＳ７に進む。ステップＳ７において、障害物候補抽出部５７は、路面領域推定部５４から供給される路面領域マップに基づいて、路面領域において障害物の候補となる領域を抽出する。
具体的には、障害物候補抽出部５７は、路面領域マップにおいて、路面領域内を埋めた全路面領域から、路面領域を差し引いた領域を、障害物の候補となる領域として抽出する。すなわち、路面上に存在する非金属障害物１１１、金属障害物１１２、およびマンホール１１３それぞれに対応する領域が、障害物の候補となる領域となる。
このようにして抽出された障害物の候補となる領域を示す路面内障害物候補領域マップは、路面対応距離抽出部５８に供給される。路面内障害物候補領域マップは、路面領域内で、路面以外の物体の領域の候補を示すものである。
図４のフローチャートに戻り、ステップＳ８において、路面対応距離抽出部５８は、路面領域推定部５４から供給される路面領域マップと、障害物候補抽出部５７から供給される路面内障害物候補領域マップとに基づいて、ステレオカメラ評価部５１から供給されるステレオカメラ距離画像から、路面に対応する距離情報を除外する。すなわち、路面対応距離抽出部５８は、ステレオカメラ距離画像において、路面とみなされる領域を除いた領域の距離情報を抽出する。
具体的には、路面対応距離抽出部５８は、ステレオカメラ距離画像において、路面上で障害物の候補となる領域それぞれの距離平均と、各領域近傍の路面領域の距離平均との差が所定距離以上ある場合に、障害物の候補となる各領域の距離情報を残す。また、路面対応距離抽出部５８は、その差が所定距離以上ない場合には、障害物の候補となる領域の距離情報を無限遠として扱う。さらに、路面対応距離抽出部５８は、路面領域の距離情報も無限遠として扱う。このようにして、ステレオカメラ距離画像から路面に対応する領域の距離情報が除外された路面対応ステレオカメラ距離画像が生成される。
図１３は、路面対応ステレオカメラ距離画像の例を示している。
図１３に示される路面対応ステレオカメラ距離画像２４０においては、図５に示されるステレオカメラ距離画像と比較して、マンホール１１３を含む路面とみなされる領域が黒い領域、すなわち無限遠にある対象物とされている。なお、路面対応ステレオカメラ距離画像２４０においては、路面上に存在する非金属障害物１１１および金属障害物１１２に対応する領域は対象物として残っている。
このようにして生成された路面対応ステレオカメラ距離画像は、画像−マップ変換部５９に供給される。
図４のフローチャートに戻り、ステップＳ９において、画像−マップ変換部５９は、ステレオカメラ評価部５１から供給されるステレオカメラ信頼度画像と、路面対応距離抽出部５８から供給される路面対応ステレオカメラ距離画像とに基づいて、ステレオカメラ信頼度マップを生成する。
具体的には、画像−マップ変換部５９は、ステレオカメラ信頼度画像と、路面対応ステレオカメラ距離画像とをｘ−ｚマップに変換することで、ミリ波レーダデータマップに対応するステレオカメラ信頼度マップを生成する。
図１４は、ステレオカメラ信頼度マップの例を示している。
図１４に示されるステレオカメラ信頼度マップ２５０において、横軸（ｘ軸）は水平方向、縦軸（ｚ軸）は奥行き方向を示している。また、図１４に示されるステレオカメラ信頼度マップにおいて、黒色の濃い領域ほど、対応する対象物の信頼度が高いことが示される。
具体的には、図１４の例では、近距離にある非金属障害物１１１に対応する領域２５１や樹木に対応する領域の信頼度が高い。また、遠距離にある金属障害物１１２および金属障害物１１４に対応する領域２５２，２５４の信頼度はそれほど高くない。なお、図１４の例では、マンホール１１３が、対象物として認識されていないことが示されている。
このようにして生成されたステレオカメラ信頼度マップは、重み算出部６０および距離合成部６１に供給される。
図４のフローチャートに戻り、ステップＳ１０において、重み算出部６０は、ミリ波レーダ評価部５２から供給されるミリ波レーダデータマップ、低信頼度領域推定部５６から供給されるミリ波レーダ低信頼度領域マップ、および、画像−マップ変換部５９から供給されるステレオカメラ信頼度マップに基づいて、ミリ波レーダ重みマップを生成する。
具体的には、重み算出部６０は、ミリ波レーダ低信頼度領域マップを用いて、ミリ波レーダデータマップにおいて、低信頼度領域に対応する信頼度を下げるように変更する。
図１５は、ミリ波レーダデータマップにおける信頼度変更について説明する図である。
図１５の上段には、ミリ波レーダ低信頼度領域マップ２３０が示され、図１５の下段には、ミリ波レーダデータマップ１４０が示されている。
図１５の例では、ミリ波レーダデータマップ１４０において、ミリ波レーダ低信頼度領域マップ２３０における低信頼度領域と水平方向の位置が同じ領域１４２，１４３の信頼度が下げられる。
図１６は、信頼度変更後のミリ波レーダデータマップの例を示している。
図１６に示されるミリ波レーダデータマップ１４０においては、図７に示されるミリ波レーダデータマップ１４０と比較して、領域１４２，１４３を示す色が薄く表示され、信頼度が下げられている。すなわち、図１６の例では、ミリ波レーダデータマップ１４０において、路面上に存在する金属障害物１１２およびマンホール１１３の信頼度が低く変更されている。
そして、重み算出部６０は、信頼度が変更されたミリ波レーダデータマップおよびステレオカメラ信頼度マップの値を用いて、以下の式（１）で示される重みｗrを算出する。
Figure 0006784943
 ・・・（１）
式（１）において、ｗrは、信頼度マップ上の位置ｒ＝（ｘ，ｚ）におけるミリ波レーダ１３の信頼度に対する重み、Ｂmrは、位置ｒにおけるミリ波レーダ１３の信頼度、Ｂsrは、位置ｒにおけるステレオカメラ１２の信頼度を示している。
このようにして算出された重みｗrを示すミリ波レーダ重みマップは、距離合成部６１に供給される。
図４のフローチャートに戻り、ステップＳ１１において、距離合成部６１は、ミリ波レーダ評価部５２から供給されるミリ波レーダデータマップ、画像−マップ変換部５９から供給されるステレオカメラ信頼度マップ、および、重み算出部６０から供給されるミリ波レーダ重みマップに基づいて、撮像範囲内での距離毎の対象物の存在尤度を算出する。
具体的には、距離合成部６１は、以下の式（２）で示される、位置ｒ＝（ｘ，ｚ）における対象物の存在尤度Ｌrを算出する。存在尤度Ｌrは、その値が大きいほど、物体の存在の信頼度が高い、すなわち、物体が存在する可能性が高いことを示すものである。
Figure 0006784943
 ・・・（２）
距離合成部６１は、このようにして算出された存在尤度Ｌrを示す存在尤度マップを出力して、処理は終了する。存在尤度マップは、それぞれの位置や方向、距離における物体の存在の信頼度を示すものであり、値が大きいほど、その位置や方向、距離における物体の存在の信頼度が高いことを示す。物体の検出においては、存在尤度マップの値に対して閾値判定を行うことで、ある距離における物体を検出することができる。なお、閾値判定に用いられる閾値は、予め実験や学習などを行うことにより算出されるようにしてもよい。
以上の処理によれば、自車の前方にある上り坂の路面上に、マンホールやグレーチングなどの金属が埋め込まれている場合であっても、それらについてのミリ波レーダの信頼度は低いものとして距離推定が行われる。これにより、路面上の金属が障害物として誤認識されることを抑制することができ、ひいては、正しく距離推定を行うことができるようになる。なお、検出された物体までの距離は、自車両（距離推定装置１１を搭載した車両）のドライバに対して、衝突の警告を出力するシステムや、前方を走行する他車両を追尾するよう自車両を制御するシステムなどに用いられるようにすることができる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、およびドライブ９１０が接続されている。
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９１１を駆動する。
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は以下のような構成をとることができる。
（１）
所定の撮像範囲が撮像された第１の画像における路面領域を推定する路面領域推定部と、
前記撮像範囲が撮像された第２の画像における無偏光領域を抽出する無偏光領域抽出部と、
前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定する低信頼度領域推定部と、
前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出する重み算出部と、
前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出する存在尤度算出部と
を備える情報処理装置。
（２）
前記重み算出部は、前記低信頼度領域に対応する前記第１の信頼度を下げることで、前記重みを算出する
（１）に記載の情報処理装置。
（３）
前記第２のセンサにより得られる前記対象物において、路面とみなされる領域を除いた領域の距離情報を抽出する距離情報抽出部と、
前記路面とみなされる領域を除いた領域の距離情報を用いて、前記第２の信頼度を示す情報を生成する信頼度生成部とをさらに備える
（２）に記載の情報処理装置。
（４）
前記路面領域を示す情報に基づいて、前記路面領域における障害物の候補を抽出する障害物候補抽出部をさらに備え、
前記距離情報抽出部は、前記障害物の候補となる領域の距離情報に基づいて、前記路面とみなされる領域を除いた領域の距離情報を抽出する
（３）に記載の情報処理装置。
（５）
前記第２の画像は、偏光カメラにより得られる３方向以上の偏光画像である
（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記第１の画像は、前記第２の画像と同一の画像である
（５）に記載の情報処理装置。
（７）
前記第１のセンサは、ミリ波レーダであり、
前記第２のセンサは、ステレオカメラである
（１）に記載の情報処理装置。
（８）
前記第１の信頼度は、前記ミリ波レーダの反射強度を含む
（７）に記載の情報処理装置。
（９）
前記第２の信頼度は、前記ステレオカメラにおけるステレオマッチングの相関値を含む
（７）または（８）に記載の情報処理装置。
（１０）
所定の撮像範囲が撮像された第１の画像における路面領域を推定し、
前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、
前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、
前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、
前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出する
ステップを含む情報処理方法。
（１１）
コンピュータに、
所定の撮像範囲が撮像された第１の画像における路面領域を推定し、
前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、
前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、
前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、
前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出する
ステップを含む処理を実行させるためのプログラム。
１１ 距離推定装置， １２ ステレオカメラ， １３ ミリ波レーダ， １４ 偏光カメラ， ５１ ステレオカメラ評価部， ５２ ミリ波レーダ評価部， ５３ 偏光角度推定部， ５４ 路面領域推定部， ５５ 無偏光領域抽出部， ５６ 低信頼度領域推定部， ５７ 障害物候補抽出部， ５８ 路面対応距離抽出部， ５９ 画像−マップ変換部， ６０ 重み算出部， ６１ 距離合成部

Claims (11)

  1. 所定の撮像範囲が撮像された第１の画像における路面領域を推定する路面領域推定部と、
    前記撮像範囲が撮像された第２の画像における無偏光領域を抽出する無偏光領域抽出部と、
    前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定する低信頼度領域推定部と、
    前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出する重み算出部と、
    前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在確率を算出する存在確率算出部と
    を備える情報処理装置。
  2. 前記重み算出部は、前記低信頼度領域に対応する前記第１の信頼度を下げることで、前記重みを算出する
    請求項１に記載の情報処理装置。
  3. 前記第２のセンサにより得られる前記対象物において、前記路面領域における障害物の候補となる領域から路面とみなされる領域を除いた領域の距離情報を抽出する距離情報抽出部と、
    前記路面とみなされる領域を除いた領域の距離情報を用いて、前記第２の信頼度を示す情報を生成する信頼度生成部とをさらに備える
    請求項２に記載の情報処理装置。
  4. 前記路面領域を示す情報に基づいて、前記障害物の候補を抽出する障害物候補抽出部をさらに備え、
    前記距離情報抽出部は、前記障害物の候補となる領域の距離情報に基づいて、前記路面とみなされる領域を除いた領域の距離情報を抽出する
    請求項３に記載の情報処理装置。
  5. 前記第２の画像は、偏光カメラにより得られる３方向以上の偏光画像である
    請求項４に記載の情報処理装置。
  6. 前記第１の画像は、前記第２の画像と同一の画像である
    請求項５に記載の情報処理装置。
  7. 前記第１のセンサは、ミリ波レーダであり、
    前記第２のセンサは、ステレオカメラである
    請求項１に記載の情報処理装置。
  8. 前記第１の信頼度は、前記ミリ波レーダの反射強度を含む
    請求項７に記載の情報処理装置。
  9. 前記第２の信頼度は、前記ステレオカメラにおけるステレオマッチングの相関値を含む
    請求項７に記載の情報処理装置。
  10. 所定の撮像範囲が撮像された第１の画像における路面領域を推定し、
    前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、
    前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、
    前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、
    前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在確率を算出する
    ステップを含む情報処理方法。
  11. コンピュータに、
    所定の撮像範囲が撮像された第１の画像における路面領域を推定し、
    前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、
    前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、
    前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、
    前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在確率を算出する
    ステップを含む処理を実行させるためのプログラム。
JP2017543146A 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム Active JP6784943B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015194137 2015-09-30
JP2015194137 2015-09-30
PCT/JP2016/077431 WO2017057058A1 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017057058A1 JPWO2017057058A1 (ja) 2018-08-30
JP6784943B2 true JP6784943B2 (ja) 2020-11-18

Family

ID=58423744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543146A Active JP6784943B2 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10591594B2 (ja)
EP (1) EP3358551B1 (ja)
JP (1) JP6784943B2 (ja)
CN (1) CN108028023B (ja)
WO (1) WO2017057058A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3358369A4 (en) 2015-09-30 2019-05-08 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
EP3318890B1 (en) * 2016-11-02 2019-05-01 Aptiv Technologies Limited Method to provide a vehicle environment contour polyline from detection data
US10318827B2 (en) * 2016-12-19 2019-06-11 Waymo Llc Object detection neural networks
JP7127969B2 (ja) * 2017-07-12 2022-08-30 株式会社デンソーテン レーダ装置及び信号処理方法
US11373418B2 (en) 2017-08-04 2022-06-28 Sony Corporation Information processing apparatus, information processing method, program, and mobile object
JP6808590B2 (ja) 2017-08-08 2021-01-06 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび移動体
WO2019031853A1 (ko) 2017-08-08 2019-02-14 엘지전자 주식회사 지도 제공 장치
JP6996353B2 (ja) * 2018-03-06 2022-01-17 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
JP2019178971A (ja) * 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 環境地図生成装置、環境地図生成方法、及び環境地図生成プログラム
US11959999B2 (en) 2018-07-02 2024-04-16 Sony Semiconductor Solutions Corporation Information processing device, information processing method, computer program, and mobile device
DE102018216983B3 (de) 2018-10-04 2019-11-28 Audi Ag Verfahren zum Unterdrücken von Abbildungen von Reflexionen in zumindest einem Kamerabild einer Kamera einer Umfeldsensorvorrichtung eines Kraftfahrzeugs sowie entsprechende Umfeldsensorvorrichtung
US11899099B2 (en) 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames
JP7203583B2 (ja) * 2018-11-30 2023-01-13 古河電気工業株式会社 センサシステム、センサ装置、および、異常検出方法
CN113167883A (zh) * 2018-12-07 2021-07-23 索尼半导体解决方案公司 信息处理装置、信息处理方法、程序、移动体控制装置和移动体
US20220172490A1 (en) * 2019-03-26 2022-06-02 Sony Semiconductor Solutions Corporation Image processing apparatus, vehicle control apparatus, method, and program
JP7401273B2 (ja) 2019-11-26 2023-12-19 日立Astemo株式会社 移動体の制御装置及び方法
MX2022005289A (es) * 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
US20230040994A1 (en) * 2019-12-27 2023-02-09 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing system, information processing program, and information processing method
WO2021150369A1 (en) 2020-01-22 2021-07-29 Nodar Inc. Non-rigid stereo vision camera system
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
KR20210152741A (ko) * 2020-06-09 2021-12-16 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
CN113870347A (zh) * 2020-06-30 2021-12-31 北京市商汤科技开发有限公司 目标车辆的控制方法、装置、电子设备及存储介质
WO2022150196A1 (en) * 2021-01-06 2022-07-14 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
US11398153B1 (en) * 2021-03-02 2022-07-26 Here Global B.V. System and method for determining a driving direction
CN113851000A (zh) * 2021-09-10 2021-12-28 泰州蝶金软件有限公司 基于云计算的命令解析系统
US11782145B1 (en) 2022-06-14 2023-10-10 Nodar Inc. 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2900737B2 (ja) 1993-02-01 1999-06-02 トヨタ自動車株式会社 車間距離検出装置
JP3669205B2 (ja) * 1999-05-17 2005-07-06 日産自動車株式会社 障害物認識装置
JP2007310741A (ja) 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP2008116357A (ja) 2006-11-06 2008-05-22 Toyota Motor Corp 物体検出装置
EP2347400B1 (en) * 2008-11-07 2014-03-12 Volvo Lastvagnar AB Method and system for combining sensor data
JP5664152B2 (ja) 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5556508B2 (ja) * 2010-08-30 2014-07-23 株式会社デンソー 物体検出装置
JP6540009B2 (ja) 2013-12-27 2019-07-10 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
CN104573646B (zh) * 2014-12-29 2017-12-12 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统
JP6046190B2 (ja) * 2015-03-31 2016-12-14 本田技研工業株式会社 運転支援装置
JP6365385B2 (ja) * 2015-04-17 2018-08-01 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法

Also Published As

Publication number Publication date
WO2017057058A1 (ja) 2017-04-06
EP3358551B1 (en) 2021-10-27
CN108028023B (zh) 2021-10-26
US20180284260A1 (en) 2018-10-04
US10591594B2 (en) 2020-03-17
EP3358551A1 (en) 2018-08-08
JPWO2017057058A1 (ja) 2018-08-30
CN108028023A (zh) 2018-05-11
EP3358551A4 (en) 2019-03-13

Similar Documents

Publication Publication Date Title
JP6784943B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
US10074021B2 (en) Object detection apparatus, object detection method, and program
US20140149013A1 (en) Vehicle driving support control apparatus
US9747524B2 (en) Disparity value deriving device, equipment control system, movable apparatus, and robot
WO2018079252A1 (ja) 物体検知装置
JP5353455B2 (ja) 周辺監視装置
JP2008116357A (ja) 物体検出装置
KR20200095888A (ko) 무인 선박 시스템의 상황인지 방법 및 장치
US10936886B2 (en) Method and system for stereo based vehicle pose estimation
WO2017130285A1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
EP2913998A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
KR100962329B1 (ko) 스테레오 카메라 영상으로부터의 지면 추출 방법과 장치 및이와 같은 방법을 구현하는 프로그램이 기록된 기록매체
JP2023068009A (ja) 地図情報作成方法
EP3435286A1 (en) Imaging control device and imaging control method
JP2006072757A (ja) 物体検出装置
JP5783163B2 (ja) 物標検出装置
EP3217357B1 (en) Estimation of movement of a target object
JP7064400B2 (ja) 物体検知装置
JP7134780B2 (ja) ステレオカメラ装置
JP7135579B2 (ja) 物体検知装置
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method
JP2009031299A (ja) 周辺監視センサ
WO2022250086A1 (ja) 軸ずれ推定装置
EP3540640A1 (en) Information processing apparatus, system, movable body, method of information processing, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201007

R151 Written notification of patent or utility model registration

Ref document number: 6784943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151