JP6295553B2 - 道路路面の可走行領域の検知方法及び検知装置 - Google Patents

道路路面の可走行領域の検知方法及び検知装置 Download PDF

Info

Publication number
JP6295553B2
JP6295553B2 JP2013183551A JP2013183551A JP6295553B2 JP 6295553 B2 JP6295553 B2 JP 6295553B2 JP 2013183551 A JP2013183551 A JP 2013183551A JP 2013183551 A JP2013183551 A JP 2013183551A JP 6295553 B2 JP6295553 B2 JP 6295553B2
Authority
JP
Japan
Prior art keywords
detection window
disparity map
map
road surface
travelable area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013183551A
Other languages
English (en)
Other versions
JP2014067407A (ja
Inventor
ガンメイ ユ
ガンメイ ユ
ヤオジエ ル
ヤオジエ ル
ジョォンチャオ シ
ジョォンチャオ シ
ガン ワン
ガン ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2014067407A publication Critical patent/JP2014067407A/ja
Application granted granted Critical
Publication of JP6295553B2 publication Critical patent/JP6295553B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、道路検知に関し、特に、道路路面の可走行領域の検知方法及び検知装置に関する。
現在、自動車の運転支援技術が研究されている。このような技術により、車両の衝突や、車両の道路からの逸脱等の危険な状況を回避可能な自動車運転時に必要な情報及び/または警告をユーザに提供することができる。さらには、このような運転支援技術による、自動車走行への自動制御も可能になる。
運転支援技術において、重要なことは、道路路面の可走行領域の正確な検知である。多くの道路路面の可走行領域検知方法が提案されている。例えば、米国特許出願公開US20100250064A1には、道路両側の白線による可走行領域の検知方法が提案されているが、このような方法は、両側に白線が存在しない道路には適さない。米国特許出願公開US20050015201A1には、道路分割及び距離と区間の勾配による可走行路面の検知方法が提案されているが、このような方法は、道路上の点が比較的にまばらな視差図には適さない。
このため、道路路面の可走行領域を確実に検知可能な方法及び装置が求められている。
本発明は、従来技術における上記問題点を鑑みてなされたものである。本発明の目的は、道路路面の可走行領域を確実に検知可能な方法及び装置を提供することである。
本発明の１方面においては、道路路面を含む階調図から、視差図を取得するとともに、該視差図から道路路面を検知し、視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成し、該サブ視差図をU-視差図に変換し、U-視差図から可走行領域を検知し、U-視差図から検知された可走行領域を階調図中の可走行領域に変換する、道路路面の可走行領域の検知方法を提供する。
本発明の上記の方面においては、視差図から道路路面を検知するステップにおいて、視差図をV-視差図に変換し、V-視差図において道路路面を表す道路線のフィッティングを行うことを含んでもよい。
本発明の上記の方面においては、視差図から道路線の上方に位置し、且つ道路線との距離が前記所定の高さ閾値を越えた部分を削除することで、サブ視差図を生成してもよい。
本発明の上記の方面においては、U-視差図から可走行領域を検知するステップにおいて、U-視差図から可走行領域中の初期位置を選択し、U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知してもよく、前記特定領域は前記初期位置を含む領域であり、前記検知ウィンドウが該特定領域内に移動する時に、該検知ウィンドウ内の、輝度が輝度閾値を超えた点である有効点の数が常に所定の数閾値未満である。
本発明の上記の方面においては、U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知するステップにおいて、a）前記初期位置から行の方向に沿って、検知ウィンドウを左へ水平移動し、第１の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該ウィンドウの停止位置を該行の左停止位置として記録した後、前記初期位置から行の方向に沿って、検知ウィンドウを右へ水平移動し、第２の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該ウィンドウの停止位置を該行の右停止位置として記録し、b）検知ウィンドウを該検知ウィンドウ高さに等しい距離だけ上方へ移動し、ステップa）を繰り返し、c）検知ウィンドウがU-視差図の上端（トップエッジ）に達する、或いは同一行内の左停止位置と右停止位置とが隣り合うまで、ステップb）を繰り返し、d）U-視差図から、検知ウィンドウの移動によりカバーされた領域を可走行領域として抽出してもよく、前記第１の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること、検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の左端に達していること、及び検知ウィンドウが左端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の左停止位置との水平距離が第１の距離閾値未満であることのうちいずれかであり、前記第２の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること、検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の右端に達していること、及び検知ウィンドウが右端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の右停止位置との水平距離が第２の距離閾値未満であることのうちいずれかである。
本発明の上記方面においては、U-視差図から検知された可走行領域を、階調図中の可走行領域に変換するステップにおいて、U-視差図から検知された可走行領域中の各点の座標を取得し、各点の座標に基づき、V-視差図においてフィッティングされた道路線の表現式により、各点の座標を階調図中の座標に変換することで、階調図中の可走行領域内の各点の座標を取得し、階調図中の可走行領域内の各点の座標により、階調図中の可走行領域を抽出してもよい。
本発明の他の方面においては、道路路面を含む階調図から、視差図を取得するとともに、該視差図から道路路面を検知する道路路面検知手段と、視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成するサブ視差図生成手段と、該サブ視差図をU-視差図に変換するU-視差図変換手段と、U-視差図から可走行領域を検知するU-視差図検知手段と、U-視差図から検知された可走行領域を階調図中の可走行領域に変換する可走行領域変換手段と、を含む、道路路面の可走行領域の検知装置を提供する。
本発明の上記方面においては、前記道路路面検知手段は、視差図をV-視差図に変換するV-視差図生成部と、V-視差図において道路路面を表す道路線のフィッティングを行う道路線フィッティング部と、を含んでもよい。
本発明の上記方面においては、U-視差図検知手段は、U-視差図から可走行領域中の初期位置を選択する選択部と、U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知する検知部であって、前記特定領域は前記初期位置を含む領域であり、前記検知ウィンドウが該特定領域内に移動する時に、該検知ウィンドウ内の、輝度が輝度閾値を超えた点である有効点の数が常に所定の数閾値未満である、検知部と、を含んでもよい。
本発明の上記方面においては、前記可走行領域変換手段は、U-視差図から検知された可走行領域中の各点の座標を取得する座標取得部と、各点の座標に基づき、V-視差図においてフィッティングされた道路線の表現式により、各点の座標を階調図中の座標に変換することで、階調図中の可走行領域内の各点の座標を取得する変換部と、階調図中の可走行領域内の各点の座標により、階調図中の可走行領域を抽出する可走行領域抽出部と、を含んでもよい。
本発明の上記方面における道路路面の可走行領域の検知方法及び検知装置は、道路上の白線或いはガードレールに依存しないことから、幅広い適用範囲を有する。また、検知方法及び検知装置は、視差図から得られたU-視差図を用いて、検知ウィンドウにおける有効点密度により、可走行領域を検知するため、ノイズへのロバスト性と信頼性に優れている。
本発明の前述及び他の目的、特徴、長所がより明確になるように、以下、図面を参照して、本発明の実施例について詳細に説明する。
視差図からV-視差図を取得する工程を示した図。 視差図からU-視差図を取得する工程を示した図。 本発明の実施例における、道路路面の可走行領域検知方法を実行可能なシステムの略図。 本発明の実施例における道路路面の可走行領域の検知方法のフローチャート。 双眼カメラで撮像された左右画像のいずれかの例。 図5に示された画像を基準画像に算出された視差図。 図6に示された視差図から変換されたV-視差図。 図7に示されたV-視差図におけるフィッティングで得られた道路線。 視差図中の、道路路面の上方に位置する点の、道路路面との距離の算出を示した図。 図6に示された視差図中の、道路路面に対する高さが所定の高さ閾値を超えた部分を削除することで、得られたサブ視差図。 図10に示されたサブ視差図から変換されたU-視差図。 図11に示されたU-視差図からの初期位置の選択及び検知ウィンドウの設定工程図。 初期位置から左への検知ウィンドウの移動工程図。 該行における検知ウィンドウの左停止位置決定図。 初期位置から右への検知ウィンドウの移動工程図。 該行における検知ウィンドウの右停止位置の決定図。 検知ウィンドウの上方移動後の初期位置図。 図17に示された初期位置から左への検知ウィンドウの移動工程図。 該行における検知ウィンドウの左停止位置の決定図。 図17に示された初期位置から右への検知ウィンドウの移動工程図。 該行における検知ウィンドウの右停止位置の決定図。 図11に示されたU-視差図から検知された可走行領域を示した図。 U-視差図と階調図間の座標変換を示した図。 図5に示された階調図から検知された道路路面の可走行領域を示した図。 本発明の実施例における道路路面の可走行領域検知装置のブロック図。 図25に示された道路路面検知装置の詳細構成のブロック図。 図25に示されたU-視差図検知装置の詳細構成のブロック図。 図25に示された可走行領域検知装置の詳細構成のブロック図。 ハードウェアにより、本発明の実施例における道路路面の可走行領域検知装置を実現時のハードウェア配置略図。 ここで、これらの図面は、必ずしも比例に応じて描かれたものではなく、単に説明の目的で用いられたもので、本発明を制限するためのものではない。
当業者の本発明へのより容易な理解のために、以下、図面と具体的な実施形態を組み合わせて、本発明をさらに詳細に説明する。
＜基本概念の紹介＞
本発明の実施例においては、視差、視差図、V-視差図及びU-視差図の概念が用いられている。これらの概念は、当該分野に公知であるため、ここでは、これらの概念について簡単に説明する。
視差とは、一定間隔の２点から同一対象を観察した場合に生じる方向差である。例えば、双眼カメラで同一対象の左右の２画像を撮像した場合、該対象の視差は、該対象の左画像中の横座標と右画像中の横座標間の差となる。
視差図（disparity map）とは、任意の画像を基準画像に、サイズが該基準画像のサイズで、各点（像素点）が該基準画像中の該点の座標と同一の点に対応し、かつ各点の階調値が基準画像中の対応点の視差となる画像をいう。当該分野に公知の多くの方法で視差図が得られる。例えば、双眼カメラで撮像された左画像と右画像から視差図を算出してもよく、多眼カメラやステレオカメラで撮像された画像から視差図を算出してもよく、或いは、立体図における深度図から視差図を算出してもよい。双眼カメラで左右画像を撮像する場合は、左右画像に絶対差値の和のステレオ・マッチング・アルゴリズム(Sum of Absolute Differences, SAD)を用いて視差図を算出してもよく、当該分野に公知の他のアルゴリズムを用いて視差図を算出してもよい。
基準画像中の点の座標は、（x，y）と表され、xは横座標であり、yは縦座標であり、yが小さくなるほど、該点とカメラとの距離が近くなる。該基準画像を変換して得られる２次元視差図において、点（x，y）に対応する点の座標は、（u，v）と表され、uは横座標であり、vは縦座標であり、u=x，v=yである。視差図中の各点における階調値が、該点における視差となり、dで表される。または、点の座標と視差を同時に表すために、視差図中の点を、（u，v，d）としてもよい。
V-視差図とU-視差図は、視差図から得られる。V-視差図は、視差図の側面図と見なすことができ、横座標軸をd軸、縦座標軸をv軸とし、該座標における点を（d，v）と表すことができ、点（d，v）の階調値（輝度値）が、対応視差図中の縦座標vの行における視差dとなる点の数であることから、該数を統計することで、或いは当該分野に公知の他の方法を用いることで、視差図からV-視差図を得ることが可能になる。図1は、視差図からV-視差図を取得する工程を示した図である。U-視差図は、視差図の俯瞰図と見なすことができ、横座標軸をu軸、縦座標軸をd軸とし、該座標における点を（u，d）と表すことができ、点（u，d）の階調値（輝度値）が、対応視差図中の横座標uの列における視差dとなる点の数であることから、該数を統計することで、或いは、当該分野に公知の他の方法を用いることで、視差図からU-視差図を得ることができる。図2は、視差図からU-視差図を取得する工程を示した図である。
＜実施例＞
以下、図面を参照して、本発明の実施例における道路路面の可走行領域の検知方法及び装置を説明する。
先ず、本発明の実施例における道路路面の可走行領域の検知方法について説明する。該方法は、例えば、図3に示されたシステムで行われる。図3に示されたように、自動車に双眼カメラを搭載することができる。自動車が道路上で走行時、双眼カメラにより、車前方の道路路面を含む左右の２画像が撮像される。前記画像はチップに入力され、該チップにより、左右画像が処理され、視差図が得られるともに、後述の方式で、該視差図による道路路面上の可走行領域の検知が行われる。
図4は、本発明の実施例における道路路面の可走行領域の検知方法のフローチャートである。
図4に示されたように、ステップS401において、道路路面を含む階調図から視差図が得られるとともに、該視差図から道路路面が検知される。
双眼カメラを用いる場合は、先ず、道路路面を含む左右画像（階調図）を取得する。例えば、双眼カメラを車に搭載し、車両前方の道路路面を含む左右の２つの白黒階調画像を撮像し、或いは、双眼カメラで道路路面を含む左右の２つのカラー画像を撮像し、階調図に変換することができる。図5は、双眼カメラで左右の２階調画像のいずれかを撮像した例を示し、以下、該画像を例に説明する。図5に示されたように、該画像のxy座標系を構築し、該座標系における点を、（x，y）と表す。
次に、左画像と右画像のうちのいずれかを基準画像とし、左画像と右画像から視差図を取得し、該視差図も、道路路面を含むことになる。前述の方法により、左右画像から視差図を算出することができ、ここでは、重複説明は割愛する。図6は、図5に示された画像を基準画像に算出した視差図を示している。図6に示したように、視差図のuv座標系を構築し、該視差図における点（x，y）に対応する点は、（u，v，d）と表され、ここで、u=x，v=yであり、dは、該点の視差である。ここで、マッチングアルゴリズムにより、左画像と右画像から視差図を算出する場合、物体のエッジ（例えば、道路路面のエッジ、道路路面上の障害物、道路路面外の物体のエッジ）等は、より容易に識別される一方、例えば、道路路面のようなエッジの存在しない部分は、識別がより困難となることから、前記視差図においては、前記エッジに対応する位置は、より密集した点を有する一方、例えば、道路路面の可走行領域のようなエッジの存在しない部分は、よりまばらな点を有することになる。
次に、前記視差図による道路路面の検知が行われる。
具体的に、先ず、前記道路路面を含む視差図をV-視差図に変換する。前述の方法により、このような変換を行うことができ、ここでは、重複説明は割愛する。図7は、図6に示された視差図を変換して得られたV-視差図を示した図である。
次に、V-視差図における道路路面を表す道路線のフィッティングを行う。車載カメラで撮像した画像において、道路路面は、画像の下方から上方へ延伸し、かつ徐々に狭くなり、画像の上方において、非道路路面の他の物体が多くなる。同様に、V-視差図において、道路路面に対応する点は、図中に示された全ての点の下部により多く位置することになり、上部の点は、非道路路面の他の物体により多く対応することになる。このため、V-視差図に示された全ての点から、最も低い部分の点を選択してフィッティングを行うことにより、道路路面を表す道路線を当てはめることができ、該道路線の表現式v=kd+b（ここで、kは、道路線の勾配であり、bは、定数である）を得ることができる。例えば、Jun Zhao, Mark Albert WhittyとJayantha Katupitiyaにより発表された論文の「Detection of Non-flat Ground Surfaces Using V-Disparity Images」，2009 IEEE/RSJ International Conference on Intelligent Robots and Systems，October 11-15, 2009 St. Louis, USAに提案された方法により、該フィッティングを行うことができる。図7に示された例においては、前記方法を用いて、最も低い部分の点を選択してフィッティングを行うことで、図8に示された道路線を得ることができ、その表現式は、v=0.5d+233となる。
図4に戻り、ステップ402において、視差図から、道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成する。
周知のように、道路両側には、電信柱、樹木、柱等の高さのある物体が存在する可能性がある。なお、道路上方の空にも高架電線が存在する可能性がある。後述のU-視差図による道路路面の可走行領域の識別時に、このような場合への適切な処理を行わないと、これらの非道路路面の物体がU-視差図に反映され、道路路面に誤検知されるおそれがある。
このような問題を避けるために、前記物体が道路路面とは一定の高さがあるという事実を考慮すると、予め高さ閾値を設定し、視差図から道路路面に対する高さが所定の高さ閾値を超えた部分を削除してサブ視差図を生成し、視差図ではなく、該サブ視差図からU-視差図を生成することができる。前述のように、V-視差図中の道路線は、道路路面を表すことから、視差図から、道路線の上方に位置し、かつ道路線との距離が前記所定の高さ閾値を越えた部分を削除して、サブ視差図を生成することができる。前記高さ閾値は、道路の実際の状況（例えば、障害物の種類、高さ、分布等）に応じて、例えば、4ｍ等、臨機応変に設定することができる。
具体的に、先ず、視差図における、道路路面の上方に位置する各点p（u’，v’，d’）の、道路路面に対する高さを算出する。点p（u’，v’，d’）の、V-視差図における座標は、（d’，v’）となる。V-視差図中の道路線の表現式は、v=kd+bとなることから、V-視差図中の、道路線（道路路面）における視差d’となる点rの座標が、（d’，kd’+b）となると、V-視差図における、点pの点r（或いは、道路路面）との像素距離は、v’-(kd’+b)となり、換言すると、V-視差図における、点pと道路路面間の距離は、v’-(kd’+b)の像素となる。該像素距離と、各像素に対応する物理空間における実際の距離mとの乗積により、物理空間のおける点pの道路路面に対する高さが求められる。当該分野に公知の各種方法により、各像素に対応する物理空間における実際距離mを算出することができる。例えば、Gary BradskiとAdrian Kaeblerによる「Learning OpenCV」，O’Reilly Mediaに提案された方法により、実際距離mを算出することができ、ここでは、詳細説明は割愛する。図8の例においては、視差図中の点（400，800，600）に関し、前記方式を用いて、道路路面との像素距離が求められ、800-(0.5*600+233)=267となる。各像素に対応する実際距離mが4ミリメートルであると、該点の道路路面に対する高さは、図9に示されたように、267像素*4ミリメートル/像素=1068ミリメートルとなる。
次に、視差図中の、道路路面の上方に位置する点の道路路面に対する高さと、前記高さ閾値を比較する。該点の道路路面に対する高さが高さ閾値を超えた場合は、視差図から該点を削除し、越えていない場合は、該点を保留する。図9に示された例においては、1068ミリメートルが、高さ閾値の4メール未満になるため、該点を保留する。
V-視差図中の、道路線の上方に位置する各点に対して前記動作を行うことで、道路路面に対する高さが高さ閾値を越えた全ての点を決定し、次に、視差図からこのような点を削除することで、サブ視差図を生成することができる。図8に示された例においては、所定の高さを4メートルとした場合、図10に示されたサブ視差図が得られる。
次に、ステップS403において、該サブ視差図をU-視差図に変換する。前述の方法、或いは当該分野に公知の他の方法により、このような変換を行うことができる。例えば、Zhencheng Hu, Francisco LamosaとKeiichi Uchimuraにより発表された論文「A Complete U-V-Disparity Study for Stereovision Based 3D Driving Environment Analysis」, Proceedings of the Fifth International Conference on 3-D Digital Imaging and Modeling 2005 (3DIM'05), pp. 204-211に提案された方法により、このような変換を行うことができ、ここでは、詳細説明は割愛する。前記例においては、図11に示されたように、図10に示されたサブ視差図を変換してU-視差図が得られる。
図4に戻り、ステップS404において、前記U-視差図から可走行領域を検知する。
前述のように、視差図においては、各種エッジ（例えば、道路エッジ、道路上の障害物のエッジ等）に対応する位置が、より密集した点を有する一方、例えば、道路路面の可走行領域のようなエッジの存在しない、或いは、エッジの少ない部分は、よりまばらな点を有することから、このような視差図をU-視差図に変換する場合は、U-視差図中の、前記エッジ（走行不可領域に対応）に対応する点がより高い輝度を有し、道路路面の可走行領域に対応する点がより低い輝度を有することになる。このような事実により、U-視差図から可走行領域を検知することができる。簡単に言えば、所定のサイズの検知ウィンドウと輝度閾値を設定するとともに、U-視差図中の、予め選択された必然的に可走行領域内に位置する、ある初期位置からスタートして、該検知ウィンドウを移動し、該検知ウィンドウ内の有効点（輝度が該輝度閾値を越えた点）の数(或いは、有効点密度と称される)が所定の数閾値を超えた場合は、該検知ウィンドウの現在位置が道路路面の可走行領域エッジに、或いはエッジ外にあると判断することができる。前記検知ウィンドウのサイズと前記輝度閾値は、道路の実際状況、或いは、検知精度の要求に応じて、臨機応変に設定することができる。最後に、検知ウィンドウの移動により、U視差図から、特定領域を可走行領域として検知することができ、該特定領域は、前記初期位置を含み、かつ検知ウィンドウが該特定領域内に移動する時、該検知ウィンドウ内の有効点の数は常に前記数閾値未満である。該移動工程は、実際に、最初に初期位置に配置された検知ウィンドウに含まれた小さな可走行領域を逐次拡張することに相当し、これにより、最終の可走行領域が得られる。前記初期位置は、可走行領域内の位置であれば、自由に設定することができる。通常、車両の道路走行時は、すぐ隣の車両の真正面の位置には、障害物がなく、かつ可走行領域内に位置していることから、前述の車載カメラで撮像された階調図による可走行領域の検知時は、U-視差図から前記位置に対応する位置を選択することが好ましく、即ち、U-視差図の最下方の中間位置を、初期位置とするとよい。
各種方式により、検知ウィンドウを移動することができる。好ましくは、8隣接域（8-CCA）方法により、前記特定領域を検知するように、検知ウィンドウを移動する。以下、図11に示されたU-視差図を参照して、8隣接域方法による検知ウィンドウの移動工程について説明する。
先ず、U-視差図から前記初期位置を選択する。図12に示されたように、ここでは、U-視差図の最下端の中央位置を、前記初期位置とする。検知ウィンドウは、図12中の枠「1」で示されたように、該初期位置に配置される。
次に、前記初期位置からスタートし、行の方向に沿って、左へ検知ウィンドウを水平移動し、図13に示されたように、第１の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該ウィンドウの停止位置を該行の左停止位置として記録する。該左停止位置が、即ち、可走行領域の該行における左端（左のエッジ）位置となる。前記第１の所定の条件は、（１）検知ウィンドウ内の有効点の数が所定の数閾値を越えていること；（２）検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の左端に達していること；及び（３）検知ウィンドウが左端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の左停止位置との水平距離が第１の距離閾値未満であること、のうちいずれかの条件である。条件（1）を満たす場合は、検知ウィンドウが可走行領域エッジに、或いはエッジ外に移動したことを示すため、該検知ウィンドウの左への移動を停止すべきである。条件（2）を満たす場合は、この時の検知ウィンドウは依然として可走行領域内に位置しているが、既にU-視差図の左エッジに達していることを示すため、検知ウィンドウの左への移動を停止すべきである。条件（3）は、カメラで撮像された画像において、画像の下端に近づくほど、表示される道路路面が広くなり、同様に、表示される可走行領域も広くなる一方、画像の上端に近づくほど、表示される道路路面が狭くなり、同様に、表示される可走行領域も狭くなることから、検知ウィンドウを上方へ移動するほど、その左停止位置が画像の水平方向の中心線に近接すべきであり、換言すると、現在行の左停止位置は、上の行の左停止位置の右側にあるべきであるという事実をもとに設定されたものである。条件（3）を満たす場合は、前記条件（1）と（2）は満足しないが、検知ウィンドウの現在位置が既に上の行の左停止位置付近に達しており、検知結果が前記事実に反したものとならないように、検知ウィンドウの左への移動を停止すべきである。前記第１の距離閾値は、道路の実際状況、或いは、検知結果への精度要求に応じて、臨機応変に設定することができる。図13の例においては、検知ウィンドウがU-視差図の最も下の行に位置し、かつ、検知ウィンドウ内の有効点の数が常に前記数閾値を超えていないため、検知ウィンドウは、最終的にU-視差図の左エッジに移動することになり、即ち、該行の左停止位置は、図14に示されたように、U-視差図の左エッジとなる。
次に、前記初期位置からスタートし、行の方向に沿って、右へ検知ウィンドウを水平移動し、図15に示されたように、第２の所定の条件を満たした場合は、検知ウィンドウの移動を停止するとともに、該ウィンドウの停止位置を該行の右停止位置として記録する。前記第１の所定条件と同様に、前記第２の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること；検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の右端（右のエッジ）に達していること；及び検知ウィンドウが右端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の右停止位置との水平距離が第２の距離閾値未満であること、のうちいずれかの条件である。第１の距離閾値は、第２の距離閾値と同一であっても、異なっていてもよいが、同一に設定することが好ましい。図15の例においては、同様に、検知ウィンドウがU-視差図の右エッジに最終に移動することになり、即ち、該行の右停止位置が、図16に示されたように、U-視差図の右エッジとなる。
次に、検知ウィンドウを１行上方へ移動し、即ち、該検知ウィンドウ高さに等しい距離だけ、上方へ移動し、前述の検知ウィンドウの左右移動の動作を繰り返すと共に、該行の左停止位置と右停止位置を記録する。ここで、検知ウィンドウの上方移動時、該行における検知ウィンドウの移動初期位置は、第１の行中の初期位置を上方移動した対応位置でもよく、新たに選択した該行における可走行領域中の他の位置でもよい。
該行の移動完了後は、検知ウィンドウの１行上方への移動と、検知ウィンドウの左及び右への移動と、該行の左停止位置と右停止位置の記録の動作が、検知ウィンドウがU-視差図の上端（トップエッジ）に達するまで、或いは同一行における左停止位置と右停止位置が隣接するまで、繰り返し行われる。
検知ウィンドウの上方移動に伴い、検知ウィンドウの移動停止に必要な条件が変化する可能性がある。例えば、図17-21は、中間行において、検知ウィンドウを左と右へ移動する場合を示したものであり、左と右へ検知ウィンドウを移動する場合は、検知ウィンドウ内の有効点の数が数閾値を超え、検知ウィンドウの移動が停止することになる。
次に、図22に示されたように、U-視差図から、検知ウィンドウの移動によりカバーされた領域を可走行領域として抽出する。このように、U-視差図において、行ごとに検知ウィンドウを移動し、初期可走行領域を逐次拡張することができ、これにより、最終の可走行領域が得られる。ここで、前述の行ごとに検知ウィンドウを移動する方式は、説明的なものに過ぎず、限定的なものではなく、前記特定領域を最終的に検知可能であれば、例えば、列ごとに検知ウィンドウを移動する等、他の移動方式を採用してもよい。
図4に戻り、ステップS405において、U-視差図から検知された可走行領域を階調図中の可走行領域に変換する。
具体的に、U-視差図から可走行領域が検知された後は、該可走行領域から各点の座標（u’，d’）が得られる。
V-視差図で既に道路線の表現式v=kd+bが決められたことから、以降は、各点の座標（u’，d’）により、該表現式から、各点のv’座標(v’=kd’+b)を算出することができ、これにより、各点の視差図における座標（u’,v’）が求められ、該座標が、即ち各点の階調図における座標（x’=u’,y’=v’）となる。図23は、該座標変換の例を示した図である。例えば、図23に示されたように、U-視差図中の点PP（400，800）において、道路線表現式v=0.5d+233から、該点のv’座標は633と算出されるため、該点の階調図における座標は、（400，633）となる。
次に、階調図中の可走行領域内の各点の座標により、階調図中の可走行領域が抽出される。図24は、前記例で抽出された道路路面の可走行領域を示した図である。
これにより、本発明の実施例における前記方法は、道路上の白線、ガードレール等に依存せず、幅広い適用範囲を有することが分かる。なお、前記検知方法においては、U-視差図により、可走行領域を検知し、該期間、検知ウィンドウ中の有効点の密度、及び隣接行の停止位置間の関係により、可走行領域を検知するため、ノイズの検知結果への影響を著しく低減することができ、優れたノイズへのロバスト性と信頼性を確保することができる。
以下、図25を参照して、本発明の実施例における道路路面の可走行領域検知装置について説明する。該装置は、前述の方法を実行することができる。
図25に示されたように、検知装置250は、道路路面検知部251、サブ視差図生成部252、U-視差図生成部253、U-視差図検知部254及び可走行領域変換部255を有している。
道路路面検知部251は、道路路面を含む階調図から視差図を取得するとともに、該視差図から道路路面を検知する。図26は、道路路面検知部251の詳細構成を示した図である。図26に示されたように、道路路面検知部251は、視差図をV-視差図に変換するV-視差図生成部2511と、V-視差図中の道路路面を表す道路線を決定する道路線フィッティング部2512とを有する。
サブ視差図生成部252は、視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成する。サブ視差図生成部252は、前述の方式により、サブ視差図を生成することができ、ここでは、詳細の説明は割愛する。
U-視差図生成部253は、該サブ視差図をU-視差図に変換する。
U-視差図検知部254は、U-視差図から可走行領域を検知する。図27は、U-視差図検知部254の詳細構成を示した図である。図27に示されたように、U-視差図検知部254は、U-視差図から可走行領域中の初期位置を選択する選択部2541と；U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知する検知部であって、特定領域は初期位置を含む領域であって、前記検知ウィンドウが該領域内に移動する時に、該検知ウィンドウ内の、輝度が輝度閾値を超えた点である有効点の数が常に所定の数閾値未満である、検知部2542を有する。前述のように、前記初期位置は、U-視差図の最下端の中間位置であることが好ましい。なお、検知部2542は、前述の方式（例えば、8隣接域法）により、検知ウィンドウを移動することで、U-視差図中の可走行領域を検知することができる。
可走行領域変換部255は、U-視差図から検知された可走行領域を階調図中の可走行領域に変換する。図28は、可走行領域変換部255の詳細構成を示した図である。図28に示されたように、可走行領域変換部255は、U-視差図から検知された可走行領域中の各点の座標を取得する座標取得部2551と；各点の座標に基づき、V-視差図においてフィッティングされた道路線の表現式により、階調図中の可走行領域内の各点の座標を計算する変換部2552と；階調図中の可走行領域内の各点の座標により、階調図中の可走行領域を抽出する可走行領域抽出部2553とを有する。
道路路面検知部251、サブ視差図生成部252、U-視差図生成部253、U-視差図検知部254、可走行領域変換部255及びこれらの各部材は、図4を参照して説明した方式により、前記動作を実行することができ、ここでは、詳細説明は割愛する。
以上、具体的な実施例により、本発明の基本原理を説明したが、本発明の方法及び装置の全て、或いは任意のステップや部材は、任意の演算装置（プロセッサ、記録媒体等を含む）や、演算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェアや、これらの組合せにより実現可能であり、本発明の説明のもと、基本プログラミング技能を用いて実現可能であることは、当業者が理解できる。
例えば、図２９は、ハードウェアにより、前記装置を実現した場合の、ハードウェア配置図を示している。図29に示されたように、該装置は、外部から、例えば、双眼カメラで撮像された左右画像や、ステレオカメラで撮像された立体映像等の処理対象画像を入力するための、例えば、キーボード、マウス、通信ネットワーク、及びこれに接続された遠隔入力装置等の入力装置２９０と、入力装置２９０から前記画像が入力され、前記画像に前述の本発明の実施例による道路路面の可走行領域検知方法を実施するための、或いは、図２５〜２８で説明した装置の各部剤やサブ部材を実現するための、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ等の処理装置２９１と、揮発或いは不揮発形式にて、前記入力装置２９０から入力された画像及び処理装置２９１による処理期間に生成される各種データ及び/または結果等を記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスクや、半導体メモリ等の各種揮発または不揮発性メモリとなる記憶装置２９２と、外部へ検出した可走行領域を出力するための、例えば、モニター、プリンタ、通信ネットワーク及びそれに接続された遠隔出力装置等の出力装置２９３と、を有する。
本発明の目的は、さらに、任意の演算装置上で１つのプログラムや１セットのプログラムを実行することで実現可能になる。このため、本発明の目的は、単に前記方法や装置を実現するプログラムコードを含むプログラム製品を提供することでも実現することができる。換言すると、このようなプログラム製品も本発明をなし、このようなプログラム製品を記録した記録媒体も本発明をなすことになる。もちろん、前記記録媒体は、任意の公知の記録媒体や、将来開発し得る任意の記録媒体でもよい。
また、本発明の装置及び方法において、各部材や、各ステップは、分解及び/或いは再組み合わせが可能であることは言うまでもない。このような分解及び/または再組み合わせも、本発明と同等の発明と見なされるべきである。なお、前記系列処理の実行ステップは、自然に説明順、時間順で行うことができるが、必ずしも一定の時間順で行われる必要はなく、あるステップは、並行に、或いは互いに独立に行われてもよい。
なお、以上では自動車支援運転を背景に本発明を説明したが、本発明は、車両検知・追跡、運転早期警報等の他の分野にも適用可能である。
本発明は、前述の具体的な実施形態によって保護範囲が制限されるものではなく、当業者は、設計要求や他の要素に応じて、多種多様な修正、組み合わせ、サブ組み合わせや、代替が可能であることが理解できる。本発明の精神と原則を逸脱しない範囲内のいずれの修正、同等代替や、改善等は、すべて本発明の保護範囲内のものとなるべきである。
米国特許出願公開US20100250064A1 米国特許出願公開US20050015201A1

Claims (6)

  1. 道路路面を含む階調図から視差図を取得するとともに、該視差図から道路路面を検知するステップと、
    視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成するステップと、
    該サブ視差図をU-視差図に変換するステップと、
    U-視差図から可走行領域を検知するステップと、
    U-視差図から検知された可走行領域を階調図中の可走行領域に変換するステップと、を含み、
    前記U-視差図から可走行領域を検知するステップにおいては、
    U-視差図から可走行領域中の初期位置を選択し、
    U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知し、前記特定領域は前記初期位置を含む領域であり、前記検知ウィンドウが該特定領域内に移動する時に、該検知ウィンドウ内の、輝度が輝度閾値を超えた点である有効点の数が常に所定の数閾値未満である、道路路面の可走行領域の検知方法。
  2. 前記U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知するステップにおいては、
    a）前記初期位置から行の方向に沿って、検知ウィンドウを左へ水平移動し、第１の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該検知ウィンドウの停止位置を該行の左停止位置として記録した後、前記初期位置から行の方向に沿って、検知ウィンドウを右へ水平移動し、第２の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該検知ウィンドウの停止位置を該行の右停止位置として記録し、
    b）検知ウィンドウを該検知ウィンドウの高さに等しい距離だけ上方へ移動し、ステップa）を繰り返し、
    c）検知ウィンドウがU-視差図の上端（トップエッジ）に達する、或いは同一行内の左停止位置と右停止位置とが隣り合うまで、ステップb）を繰り返し、
    d）U-視差図から、検知ウィンドウの移動によりカバーされた領域を可走行領域として抽出し、
    前記第１の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること、検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の左端に達していること、及び検知ウィンドウが左端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の左停止位置との水平距離が第１の距離閾値未満であることのうちいずれかであり、
    前記第２の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること、検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の右端に達していること、及び検知ウィンドウが右端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の右停止位置との水平距離が第２の距離閾値未満であることのうちいずれかである、請求項１に記載の道路路面の可走行領域の検知方法。
  3. 道路路面を含む階調図から視差図を取得するとともに、該視差図から道路路面を検知するステップと、
    視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成するステップと、
    該サブ視差図をU-視差図に変換するステップと、
    U-視差図から可走行領域を検知するステップと、
    U-視差図から検知された可走行領域を階調図中の可走行領域に変換するステップと、を含み、
    前記視差図から道路路面を検知するステップにおいては、
    視差図をV-視差図に変換し、
    V-視差図において道路路面を表す道路線のフィッティングを行い、
    前記U-視差図から検知された可走行領域を、階調図中の可走行領域に変換するステップにおいては、
    U-視差図から検知された可走行領域中の各点の座標を取得し、
    各点の座標に基づき、V-視差図においてフィッティングされた道路線の表現式により、階調図中の可走行領域内の各点の座標を計算し、
    階調図中の可走行領域内の各点の座標により、階調図中の可走行領域を抽出する、道路路面の可走行領域の検知方法。
  4. 道路路面を含む階調図から視差図を取得するとともに、該視差図から道路路面を検知する道路路面検知手段と、
    視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成するサブ視差図生成手段と、
    該サブ視差図をU-視差図に変換するU-視差図変換手段と、
    U-視差図から可走行領域を検知するU-視差図検知手段と、
    U-視差図から検知された可走行領域を階調図中の可走行領域に変換する可走行領域変換手段と、を含み、
    前記U-視差図検知手段は、
    U-視差図から可走行領域中の初期位置を選択する選択部と、
    U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知する検知部であって、前記特定領域は前記初期位置を含む領域であり、前記検知ウィンドウが該特定領域内に移動する時に、該検知ウィンドウ内の、輝度が輝度閾値を超えた点である有効点の数が常に所定の数閾値未満である、検知部と、を含む道路路面の可走行領域の検知装置。
  5. 前記検知部は、
    a）前記初期位置から行の方向に沿って、検知ウィンドウを左へ水平移動し、第１の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該検知ウィンドウの停止位置を該行の左停止位置として記録した後、前記初期位置から行の方向に沿って、検知ウィンドウを右へ水平移動し、第２の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該検知ウィンドウの停止位置を該行の右停止位置として記録し、
    b）検知ウィンドウを該検知ウィンドウの高さに等しい距離だけ上方へ移動し、ステップa）を繰り返し、
    c）検知ウィンドウがU-視差図の上端（トップエッジ）に達する、或いは同一行内の左停止位置と右停止位置とが隣り合うまで、ステップb）を繰り返し、
    d）U-視差図から、検知ウィンドウの移動によりカバーされた領域を可走行領域として抽出し、
    前記第１の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること、検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の左端に達していること、及び検知ウィンドウが左端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の左停止位置との水平距離が第１の距離閾値未満であることのうちいずれかであり、
    前記第２の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること、検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の右端に達していること、及び検知ウィンドウが右端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の右停止位置との水平距離が第２の距離閾値未満であることのうちいずれかである、請求項４に記載の道路路面の可走行領域の検知装置。
  6. 道路路面を含む階調図から視差図を取得するとともに、該視差図から道路路面を検知する道路路面検知手段と、
    視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成するサブ視差図生成手段と、
    該サブ視差図をU-視差図に変換するU-視差図変換手段と、
    U-視差図から可走行領域を検知するU-視差図検知手段と、
    U-視差図から検知された可走行領域を階調図中の可走行領域に変換する可走行領域変換手段と、を含み、
    前記道路路面検知手段は、
    視差図をV-視差図に変換するV-視差図生成部と、
    V-視差図において道路路面を表す道路線のフィッティングを行う道路線フィッティング部と、を含み、
    前記可走行領域変換手段は、
    U-視差図から検知された可走行領域中の各点の座標を取得する座標取得部と、
    各点の座標に基づき、V-視差図においてフィッティングされた道路線の表現式により、階調図中の可走行領域内の各点の座標を計算する変換部と、
    階調図中の可走行領域内の各点の座標により、階調図中の可走行領域を抽出する可走行領域抽出部と、を含む、道路路面の可走行領域の検知装置。
JP2013183551A 2012-09-24 2013-09-05 道路路面の可走行領域の検知方法及び検知装置 Active JP6295553B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210358202.4 2012-09-24
CN201210358202.4A CN103679127B (zh) 2012-09-24 2012-09-24 检测道路路面的可行驶区域的方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018028660A Division JP6531846B2 (ja) 2012-09-24 2018-02-21 道路路面の可走行領域の検知方法及び検知装置

Publications (2)

Publication Number Publication Date
JP2014067407A JP2014067407A (ja) 2014-04-17
JP6295553B2 true JP6295553B2 (ja) 2018-03-20

Family

ID=49230563

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013183551A Active JP6295553B2 (ja) 2012-09-24 2013-09-05 道路路面の可走行領域の検知方法及び検知装置
JP2018028660A Active JP6531846B2 (ja) 2012-09-24 2018-02-21 道路路面の可走行領域の検知方法及び検知装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018028660A Active JP6531846B2 (ja) 2012-09-24 2018-02-21 道路路面の可走行領域の検知方法及び検知装置

Country Status (4)

Country Link
US (1) US9242601B2 (ja)
EP (1) EP2713309B1 (ja)
JP (2) JP6295553B2 (ja)
CN (1) CN103679127B (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
CN104050654B (zh) * 2013-03-11 2017-06-09 株式会社理光 道路边缘检测方法和装置
KR101551026B1 (ko) * 2013-12-24 2015-09-07 현대자동차주식회사 차량 검출 방법
KR101566910B1 (ko) * 2014-07-09 2015-11-13 현대모비스 주식회사 차량 운전 보조 장치 및 그 동작 방법
JP6440411B2 (ja) * 2014-08-26 2018-12-19 日立オートモティブシステムズ株式会社 物体検出装置
KR20160054825A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 주행 가능 공간 판단 장치 및 방법
KR102188164B1 (ko) * 2014-11-26 2020-12-07 현대자동차주식회사 3차원 데이터를 이용한 도로 인식 방법
JP6156400B2 (ja) * 2015-02-09 2017-07-05 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
JP6160634B2 (ja) * 2015-02-09 2017-07-12 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
KR102299575B1 (ko) * 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
JP2016206774A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法
JP6358160B2 (ja) * 2015-04-17 2018-07-18 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
DE102015007592A1 (de) * 2015-06-16 2016-12-22 Audi Ag Trajektoriebasierte Fahrwerksregelung
CN104964708B (zh) * 2015-08-03 2017-09-19 苏州科技学院 一种基于车载双目视觉的路面坑槽检测方法
US10339394B2 (en) * 2015-08-04 2019-07-02 Nissan Motor Co., Ltd. Step detection device and step detection method
US9761000B2 (en) * 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
US20170096144A1 (en) * 2015-10-05 2017-04-06 Ford Global Technologies, Llc System and Method for Inspecting Road Surfaces
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
JP6583121B2 (ja) * 2016-04-21 2019-10-02 株式会社デンソー 運転支援装置
EP3843001A1 (en) * 2016-07-21 2021-06-30 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US10365658B2 (en) * 2016-07-21 2019-07-30 Mobileye Vision Technologies Ltd. Systems and methods for aligning crowdsourced sparse map data
US10248124B2 (en) 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
CN106228134A (zh) * 2016-07-21 2016-12-14 北京奇虎科技有限公司 基于路面图像的可行驶区域检测方法、装置及系统
JP6611353B2 (ja) 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN107517592B (zh) * 2016-09-28 2021-07-02 驭势科技（北京）有限公司 汽车可行驶区域实时检测方法和系统
CN106485233B (zh) * 2016-10-21 2020-01-17 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
JP6888950B2 (ja) 2016-12-16 2021-06-18 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置、外界認識装置
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
CN107358168B (zh) * 2017-06-21 2019-12-27 海信集团有限公司 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107356916B (zh) * 2017-06-21 2019-11-29 海信集团有限公司 车距检测方法及装置、电子设备、计算机可读存储介质
CN107506711B (zh) * 2017-08-15 2020-06-30 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN107729856B (zh) * 2017-10-26 2019-08-23 海信集团有限公司 一种障碍物检测方法及装置
CN107909009B (zh) * 2017-10-27 2021-09-17 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置
JP6960827B2 (ja) * 2017-11-08 2021-11-05 フォルシアクラリオン・エレクトロニクス株式会社 路面領域検出装置
GB201720360D0 (en) * 2017-12-06 2018-01-17 Hgf Ltd Method of determining the boundary of a driveable space
CN107958222B (zh) * 2017-12-12 2020-10-16 海信集团有限公司 一种路面检测方法、装置及终端
CN107958226B (zh) * 2017-12-15 2020-05-22 海信集团有限公司 一种道路曲线检测方法、装置和终端
CN107977654B (zh) * 2017-12-25 2020-07-31 海信集团有限公司 一种道路区域检测方法、装置及终端
CN108229406B (zh) * 2018-01-11 2022-03-04 海信集团有限公司 一种车道线检测方法、装置及终端
CN108197590B (zh) * 2018-01-22 2020-11-03 海信集团有限公司 一种路面检测方法、装置、终端及存储介质
CN110807347B (zh) * 2018-08-06 2023-07-25 海信集团有限公司 障碍物检测方法、装置及终端
CN109583327A (zh) * 2018-11-13 2019-04-05 青岛理工大学 一种双目视觉麦苗行迹拟合方法
CN109858372B (zh) * 2018-12-29 2021-04-27 浙江零跑科技有限公司 一种车道级精度自动驾驶结构化数据分析方法
CN109862349B (zh) * 2019-02-18 2021-05-18 北京中科慧眼科技有限公司 视差图的质量检测方法、装置与自动驾驶系统
CN109977845B (zh) * 2019-03-21 2021-08-17 百度在线网络技术（北京）有限公司 一种可行驶区域检测方法及车载终端
CN110222557B (zh) * 2019-04-22 2021-09-21 北京旷视科技有限公司 路况的实时检测方法、装置、系统和存储介质
CN110969071B (zh) * 2019-06-13 2023-08-18 北京中科慧眼科技有限公司 一种基于可行驶区域的障碍物检测方法、装置及系统
JP7229129B2 (ja) * 2019-09-05 2023-02-27 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
CN113015887A (zh) 2019-10-15 2021-06-22 谷歌有限责任公司 基于天气和路面类型的导航方向
CN111189650A (zh) * 2020-01-22 2020-05-22 长安大学 一种无人车协同行驶能力测试系统及测试方法
CN112036227B (zh) * 2020-06-10 2024-01-16 北京中科慧眼科技有限公司 一种路面可行驶区域检测方法、装置以及自动驾驶系统
CN113665591B (zh) * 2021-09-28 2023-07-11 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质
CN114663397B (zh) * 2022-03-22 2023-05-23 小米汽车科技有限公司 可行驶区域的检测方法、装置、设备及存储介质
CN115346003A (zh) * 2022-10-18 2022-11-15 中科慧眼(天津)研究开发有限公司 一种基于双目立体视觉的路面冲击分级方法和系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3285575B2 (ja) * 1996-08-28 2002-05-27 松下電器産業株式会社 道路領域抽出装置および方法
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US7224357B2 (en) * 2000-05-03 2007-05-29 University Of Southern California Three-dimensional modeling based on photographic images
US7715591B2 (en) * 2002-04-24 2010-05-11 Hrl Laboratories, Llc High-performance sensor fusion architecture
JP2004185425A (ja) * 2002-12-04 2004-07-02 Denso Corp レーンマーク識別方法及び装置
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US20050015201A1 (en) 2003-07-16 2005-01-20 Sarnoff Corporation Method and apparatus for detecting obstacles
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
US7587081B2 (en) * 2005-09-28 2009-09-08 Deere & Company Method for processing stereo vision data using image density
US20100103175A1 (en) * 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
JP2009133753A (ja) * 2007-11-30 2009-06-18 Toshiba Corp 画像処理装置及びその方法
EP2308240A1 (en) * 2008-07-25 2011-04-13 Koninklijke Philips Electronics N.V. 3d display handling of subtitles
JP5075152B2 (ja) 2009-03-24 2012-11-14 日立オートモティブシステムズ株式会社 車両制御装置
EP2293586A1 (en) * 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
FR2959576A1 (fr) * 2010-05-03 2011-11-04 Thomson Licensing Procede d’affichage d’un menu de reglage et dispositif correspondant
US8488870B2 (en) * 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing
CN102467655A (zh) 2010-11-05 2012-05-23 株式会社理光 多角度人脸检测方法和系统
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置

Also Published As

Publication number Publication date
CN103679127B (zh) 2017-08-04
EP2713309B1 (en) 2019-02-27
US20140086477A1 (en) 2014-03-27
EP2713309A3 (en) 2015-03-18
US9242601B2 (en) 2016-01-26
JP6531846B2 (ja) 2019-06-19
JP2014067407A (ja) 2014-04-17
CN103679127A (zh) 2014-03-26
JP2018133089A (ja) 2018-08-23
EP2713309A2 (en) 2014-04-02

Similar Documents

Publication Publication Date Title
JP6295553B2 (ja) 道路路面の可走行領域の検知方法及び検知装置
Pinggera et al. Lost and found: detecting small road hazards for self-driving vehicles
KR102267562B1 (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
JP6672212B2 (ja) 情報処理装置、車両、情報処理方法およびプログラム
JP6136244B2 (ja) 道路領域検知方法及び装置、並びに道路分離線検知方法及び装置
JP6221371B2 (ja) 路面検知方法及び路面検知装置
JP6179639B2 (ja) 道路境界物の検出方法及び検出装置
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6358160B2 (ja) 走行路面検出装置及び走行路面検出方法
JP6156400B2 (ja) 走行路面検出装置及び走行路面検出方法
KR101439052B1 (ko) 장애물 검출 장치 및 방법
Perrollaz et al. A visibility-based approach for occupancy grid computation in disparity space
CN108629231A (zh) 障碍物检测方法、装置、设备及存储介质
JP2016120892A (ja) 立体物検出装置、立体物検出方法および立体物検出プログラム
WO2017130640A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JPWO2017145600A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN105006175A (zh) 主动识别交通参与者的动作的方法和系统及相应的机动车
JPWO2017145605A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
EP3432259A1 (en) Object detection device, object detection method, and program
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2010066595A (ja) 環境地図生成装置及び環境地図生成方法
JP6458577B2 (ja) 画像測距装置
KR101208647B1 (ko) 도로상의 장애 물체 검출 방법 및 장치
JP4997604B2 (ja) 個人用移動車両運転支援装置
Vatavu et al. Real time object delimiters extraction for environment representation in driving scenarios

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180205

R151 Written notification of patent or utility model registration

Ref document number: 6295553

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151