JP7225149B2 - 処理装置 - Google Patents
処理装置 Download PDFInfo
- Publication number
- JP7225149B2 JP7225149B2 JP2020029596A JP2020029596A JP7225149B2 JP 7225149 B2 JP7225149 B2 JP 7225149B2 JP 2020029596 A JP2020029596 A JP 2020029596A JP 2020029596 A JP2020029596 A JP 2020029596A JP 7225149 B2 JP7225149 B2 JP 7225149B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- line segment
- unit
- parallax
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
Description
本発明は、処理装置に関し、例えば、車載環境認識装置に備えられる処理装置に関する。
車両に搭載されたカメラ等により車両の周囲環境を認識し、未然に事故を防止する予防安全技術が普及期を迎えており、周囲環境の認識技術の開発も加速している。認識対象の周囲環境の1つに、道路に存在する段差がある。
道路に存在する段差は、道路の側方に位置する路端部に存在する縁石や側溝等の段差、路面に存在するバンプや継目等の段差、路面に存在する障害物等であり、多種多様である。特に、一般道路の路端部に存在する段差は、歩道の縁石又は壁の有無や区画線の有無等が道路毎に大きく異なったり、電柱、岩又は草等の障害物が走行車線へはみ出していたり、何らかの物体が落下していたりするため、極めて複雑である。道路に存在する段差を正確に検知することは、走行車線間の区画線を正確に検知することよりも難易度が高い。
道路に存在する段差を検知する発明として、例えば、特許文献1に記載された画像処理装置がある。特許文献1に記載の画像処理装置は、ステレオ画像を取得する入力部と、入力部で取得したステレオ画像から視差分布を算出し、視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出し、複数の等視差線に基づいて路面の形状を検知するプロセッサとを備える。
特許文献1に記載の画像処理装置は、ステレオ画像から視差分布を算出する際、画像上の小領域を水平方向にずらしながらステレオ画像を成す第1画像と第2画像との対応点を探索することによって視差を算出している。
第1画像及び第2画像上の線分は、当該線分上の複数の箇所において同じような特徴量を有している。当該線分の延びる方向と、第1画像と第2画像との対応点の探索方向とが同じ方向である場合、正しい対応点の位置を探索することが困難となり、視差の誤測定が発生し易い。視差の誤測定が発生すると、視差に応じて測定される奥行方向の距離についても測定結果に大きな誤差が含まれる。これにより、実際には存在しない箇所に段差が存在すると誤って検知してしまう可能性が有る。
特許文献1に記載の画像処理装置は、視差の誤測定について何ら考慮されていないため、道路に存在する段差をより正確に検知する点で、改善の余地がある。
本発明は、上記に鑑みてなされたものであり、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することを目的とする。
上記課題を解決するために、本発明は、一対の画像の特徴を取得し、特徴画像を生成する特徴画像生成部と、前記特徴画像生成部により生成された前記特徴画像から、前記車両が走行する道路の段差候補を抽出する段差候補抽出部と、前記画像から線分候補を抽出する線分候補抽出部と、前記段差候補抽出部により抽出された前記段差候補を、前記線分候補抽出部により抽出された前記線分候補と照合し、照合結果と前記線分候補の傾きとに基づいて、前記段差候補の妥当性を解析する解析部と、前記解析部の解析結果に基づいて、前記道路に存在する段差を検知する立体物検知部とを備えることを1つの特徴とする。
本発明によれば、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。
上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
以下、本発明の実施形態について図面を用いて説明する。なお、各実施形態において同一の符号を付された構成は、特に言及しない限り、各実施形態において同様の機能を有するため、その説明を省略する。なお、以降では、車載環境認識装置により構成されたセンシングシステムの一例として、ステレオビジョンシステムを採用する例について説明するが、本発明はステレオビジョンシステムに限定されない。視差は画像の特徴の一例である。
[車載環境認識装置]
図1は、車載環境認識装置1の構成を示す図である。
図1は、車載環境認識装置1の構成を示す図である。
車載環境認識装置1は、周囲環境認識処理を行う装置である。周囲環境認識処理は、車両に搭載された一対のカメラにより取得された周囲の画像を処理して、道路、先行車両、歩行者又は障害物等の周囲環境を認識し、車両の走行制御や警報の報知等に必要な情報を出力する処理である。車載環境認識装置1は、マイクロコンピュータ等のハードウェアと、周囲環境認識処理の内容を記述したプログラムを含むソフトウェアとの協働によって実現される。
車載環境認識装置1は、図1に示すように、ステレオカメラ部100と、ステレオマッチング部200と、段差候補抽出部300と、線分候補抽出部400と、解析部500と、立体物検知部600と、警報制御部700とを備える。
ステレオカメラ部100は、車両のウィンドウシールドガラスの内側に進行方向前方に向けて設置された一対のカメラを含むセンシングシステムである。ステレオカメラ部100は、一対のカメラが同期して車両の周囲を撮像し、一対の画像を取得する。
ステレオマッチング部200は、ステレオカメラ部100により取得された一対の画像を用いてステレオマッチング処理を行い、一対の画像のそれぞれに映る同一物体の同一箇所の視差を測定する。ステレオマッチング部200は、三角測量の原理を利用して、測定された視差から3次元空間上の距離や位置を測定する。図1に示すステレオマッチング部200は、一対の画像間の対応点を一対のカメラ同士を結ぶ方向(基線方向)に探索するステレオマッチング処理を行い、視差画像を生成する。視差画像は、一対の画像のそれぞれの画素間の視差に応じて測定された各画素の奥行方向の距離を、画素毎にマッピングした画像である。視差画像は、ステレオカメラ部100により取得された一対の画像の特徴を表した特徴画像の一例である。ステレオマッチング部200は、一対の画像の特徴を取得し、特徴画像を生成する特徴画像生成部の一例である。一対の画像の特徴は、例えば、一対の画像同士を比較することによって得られる一対の画像間の差分であってもよい。
ステレオマッチング処理では、一対の画像間の対応点を探索する方向と、画像上の線分が延びる方向とが概ね一致する場合、画像上の線分が複数の箇所において同じような特徴量を有するため、同等の類似度が連続し、正しい対応点を探索することが困難となる可能性が有る。この場合、視差の誤測定が発生し、視差の測定結果には大きな誤差が含まれ得る。視差の誤測定は、三角測量の原理を利用する限り避けられない問題である。視差の誤測定が発生すると、視差に応じて測定される奥行方向の距離も誤測定され、距離の測定結果にも大きな誤差が含まれ得る。
本実施形態では、ステレオマッチング処理での対応点の探索方向に沿った画像上の方向を、「第1方向」とも称する。画像上において第1方向に垂直な方向を「第2方向」とも称する。画像上において第1方向及び第2方向に交差する方向を「第3方向」とも称する。
ステレオカメラ部100に含まれる一対のカメラが、車両の車幅方向である左右方向に間隔を空けて設置される場合、ステレオマッチング処理での対応点の探索方向は、左右方向であり、画像上の横方向に対応する。この場合、第1方向は横方向であり、第2方向は縦方向であり、第3方向は横方向と縦方向とに交差する斜め方向である。また、この場合、画像上の線が横方向(第1方向)又は斜め方向(第3方向)に延びる場合、視差の誤測定が発生する可能性が有る。
同様に、ステレオカメラ部100に含まれる一対のカメラが、車両の高さ方向である上下方向に間隔を空けて設置される場合、ステレオマッチング処理での対応点の探索方向は、上下方向であり、画像上の縦方向に対応する。この場合、第1方向は縦方向であり、第2方向は横方向であり、第3方向は縦方向と横方向とに交差する斜め方向である。また、この場合、画像上の線が縦方向(第1方向)又は斜め方向(第3方向)に延びる場合、視差の誤測定が発生する可能性が有る。
段差候補抽出部300は、ステレオマッチング部200により生成された視差画像から、道路の段差候補を抽出する。具体的には、段差候補抽出部300は、ステレオマッチング部200により生成された視差画像を用いて、車両が走行する走行路の路面平面部を解析する。路面平面部は、走行路の路面(以下、「走行路面」とも称する)であって概ね平面とみなすことができる部分である。段差候補抽出部300は、路面平面部と比較して高低差を有する3次元点群を、道路の段差候補として抽出する。
道路に存在する段差は、路面平面部に対して高低差を有する立体物である。道路に存在する段差は、路面平面部に対して高い凸形状の段差と、路面平面部に対して低い凹形状の段差とを含む。道路に存在する段差は、走行路の側方に位置する路端部に存在する段差や、走行路面に存在するバンプ、継目又は穴等の段差や、走行路面に存在する障害物等を含む。路端部は、走行路面の側方に隣接する路肩、路側帯又は歩道を含む。路端部に存在する凸形状の段差は、例えば、走行路面と路肩との間に存在する高低差の小さい段差や、歩道と路肩との間に存在する縁石等の段差等である。路端部に存在する凹形状の段差は、路面平面部に対して低い側溝等である。
線分候補抽出部400は、ステレオカメラ部100により取得された画像のエッジ画像を用い、エッジの連続性及び直線性から、画像に含まれる直線候補を探索する。線分候補抽出部400は、探索された直線候補のうちから、始点及び終点を有する線分候補を抽出し、抽出された線分候補をその延びる方向に応じて分類する。例えば、線分候補抽出部400は、抽出された線分候補を、第1方向に延びる線分候補と、第2方向に延びる線分候補と、第3方向に延びる線分候補とに分類する。
解析部500は、視差の誤測定の影響によって誤った段差候補が抽出されていないかを解析する。具体的には、解析部500は、段差候補抽出部300により抽出された段差候補を、線分候補抽出部400により抽出された線分候補と照合する。この照合処理は、例えば、段差候補が線分候補に重畳するかを確認する処理であってよい。そして、解析部500は、照合結果と線分候補の傾きとに基づいて、段差候補抽出部300により抽出された段差候補の妥当性を解析する。
段差候補の妥当性が高いとは、段差候補が道路に実際に存在する段差を示す可能性が高いことを意味する。段差候補の妥当性が低いとは、段差候補が道路に実際に存在する段差を示すかどうか判断し難く、視差の誤測定により抽出された可能性を排除できないことを意味する。
高低差の小さい段差候補は、第1方向又は第3方向に延びる線分候補と重畳する場合、実際に道路に存在する段差でない可能性が有る。例えば、一対のカメラが左右方向に設置される場合、横方向又は斜め方向に延びる線分候補と重畳する高低差の小さい段差候補は、路面に描かれた区画線や導流帯(ゼブラ)等の、横方向又は斜め方向に延びる路面標示である可能性が有る。第1方向又は第3方向に延びる線分候補と重畳する段差候補は、視差の誤測定が発生したことによって抽出された可能性が有る。
解析部500は、段差候補が道路に存在する段差であると照合結果から判断しない場合、すなわち、段差候補の妥当性が低い場合、段差候補を構成する3次元点群の配置を解析して、段差候補が視差の誤測定により抽出された可能性が有るかを解析する。解析部500は、段差候補が視差の誤測定により抽出され可能性が有る場合、視差の誤測定の発生要因を解析する。
例えば、解析部500は、視差の誤測定の発生要因が、一対の画像の平行化処理において画像同士の高さが一致していないこと(以下、「Yずれ」とも称する)であるか、マッチングウィンドウ内のテクスチャの偏りであるか、又は、ランダムノイズか等を解析する。解析部500は、段差候補が視差の誤測定により抽出された可能性が高い場合、ステレオマッチング処理を再度行って視差を再測定すると共に視差に応じた距離を修正したり、抽出された段差候補をノイズとして削除したりする。
立体物検知部600は、解析部500により再測定された視差を用いて路面平面部の高さ及び傾きを修正し、修正された路面平面部に基づいて、道路に存在する段差を検知する処理を行う。すなわち、立体物検知部600は、修正された路面平面部に基づいて、道路に存在する段差と路面標示とを識別し、路端部に存在する段差や、走行路面に存在するバンプ等の段差や、走行路面に存在する障害物等を検知する。なお、立体物検知部600は、修正前の路面平面部に基づいて、道路に存在する段差を検知する処理を行ってもよい。
警報制御部700は、立体物検知部600の検知結果に基づいて、車両の走行制御や警報の報知等に必要な情報を、車両の制御装置へ出力する。
本実施形態では、ステレオカメラ部100に含まれる一対のカメラを、左右方向に間隔を空けて設置された一対のカメラとし、ステレオマッチング処理での対応点の探索方向を、画像上の横方向として説明する。左右一対のカメラのうち、右方のカメラにより取得された画像を「右画像」とも称し、左方のカメラにより取得された画像を「左画像」とも称する。但し、本実施形態は、ステレオカメラ部100に含まれる一対のカメラが上下方向に間隔を空けて設置された一対のカメラである場合にも適用可能である。
[距離の測定方法]
図2は、三角測量の原理を利用した距離の測定方法について説明する図である。
図2は、三角測量の原理を利用した距離の測定方法について説明する図である。
図2では、直方体の左下の頂点が、一対の画像のうちの右画像では座標(XR,YR)に映り、一対の画像のうちの左画像では座標(XL,YL)に映っているとする。直方体の左下の頂点における視差をdとし、奥行方向の座標をZとし、一対の画像を取得する一対のカメラの光軸間の距離(基線長)をBとし、一対のカメラの焦点距離をfとする。
完全に平行に設置された同一仕様の一対のカメラにおいて、カメラの歪みや光軸のずれ等が補正してある場合、一対の画像のそれぞれに映る同一物体の同一箇所は、左画像と右画像とで同一高さに映る。この場合、視差d及び奥行方向の座標Zは、下記の式から算出される。
d=XL-XR
Z=(B・f)/d
d=XL-XR
Z=(B・f)/d
上記の座標Zは、一対のカメラから前方の物体までの距離を表す。一対の画像の対応点の横方向の差分(XL-XR)、すなわち、視差dが小さいほど物体までの距離が長くなり、視差dが大きいほど物体までの距離が短くなる。座標Zを算出する式において視差dが分母になることから、視差dが大きいほど奥行方向の座標Zの分解能が高くなる。言い換えると、一対のカメラから物体までの距離が短いほど、奥行方向の距離が精緻に測定され得る。
[ステレオカメラ部]
図3は、ステレオカメラ部100の構成を示す図である。
図3は、ステレオカメラ部100の構成を示す図である。
ステレオカメラ部100は、図3に示すように、画像取得部110と、露光調整部120と、感度較正部130と、幾何較正部140と、エッジ生成部150とを含む。
画像取得部110は、車両の車幅方向である左右方向に間隔を空けて設置された一対のカメラにより構成されたステレオカメラである。画像取得部110を構成する一対のカメラは、互いの光軸が平行で且つ前方を向くように配置される。この一対のカメラは、それぞれにより取得された画像が平行化するような設置状態にキャリブレーションされている。画像取得部110は、互いに同期して車両の周囲を撮像し、一対の画像を取得する。画像取得部110により取得された一対の画像では、同一物体が同一高さに映る。
露光調整部120は、画像取得部110において一対の画像が同一の露光条件にて取得されるよう、露光条件を調整する。例えば、露光調整部120は、取得された一対の画像のうちの右画像の走行路面の輝度を解析して、次のフレームの露光条件を決定し、決定された露光条件を、画像取得部110の各カメラに反映することによって調整する。
感度較正部130は、画像取得部110を構成する一対のカメラの感度をキャリブレーションする。画像取得部110により取得される一対の画像では、画像取得部110の露光条件が同一であっても、カメラの個体差に伴う輝度の差や、レンズの光軸から離れた位置ほど輝度が低下する等の特性によって、同一物体の同一箇所が同一輝度を有しないことがある。感度較正部130は、これらの特性を補正し、一対の画像のそれぞれに映る同一物体の同一箇所が同一輝度を有するよう、一対のカメラの感度をキャリブレーションする。
幾何較正部140は、画像取得部110を構成する一対のカメラの歪みや光軸のずれ等を補正し、一対の画像が平行化するよう、一対の画像の幾何的条件をキャリブレーションする。ステレオカメラ部100では、感度較正部130及び幾何較正部140によりキャリブレーションを行うことにより、一対の画像のそれぞれに映る同一物体の同一箇所を探索し易くなり得る。
エッジ生成部150は、画像取得部110により取得された一対の画像のうちの基準画像、例えば、右画像にエッジ抽出処理を行って、エッジ画像を生成する。エッジ画像は、横方向に輝度変化を有する横エッジと、縦方向に輝度変化を有する縦エッジとを含む。なお、基準画像は、左画像であってもよい。
[ステレオマッチング部]
図4は、ステレオマッチング部200の構成を示す図である。図5は、マッチングウィンドウ内の特徴量の偏りが縦方向に有る場合(縦偏りテクスチャの場合)の解析結果を説明する図である。図6は、マッチングウィンドウ内の特徴量の偏りが横方向に有る場合(横偏りテクスチャの場合)の解析結果を説明する図である。図7は、マッチングウィンドウ内の特徴量の偏りが斜め方向に有る場合(斜め線のテクスチャの場合)を説明する図である。
図4は、ステレオマッチング部200の構成を示す図である。図5は、マッチングウィンドウ内の特徴量の偏りが縦方向に有る場合(縦偏りテクスチャの場合)の解析結果を説明する図である。図6は、マッチングウィンドウ内の特徴量の偏りが横方向に有る場合(横偏りテクスチャの場合)の解析結果を説明する図である。図7は、マッチングウィンドウ内の特徴量の偏りが斜め方向に有る場合(斜め線のテクスチャの場合)を説明する図である。
ステレオマッチング部200は、図4に示すように、ウィンドウ設定部210と、ウィンドウ内特徴解析部220と、重心計算部230と、探索部240と、信頼度評価部250とを含む。
ここで、図2を参照しながら、ステレオマッチング部200により行われるステレオマッチング処理について説明する。図2では、直方体の左下の角が、一対の画像のうちの右画像では座標(XR,YR)に映り、一対の画像のうちの左画像では座標(XL,YL)に映っているとする。右画像を基準画像とする。
このとき、ウィンドウ設定部210は、右画像の座標(XR,YR)の画素に注目し、座標(XR,YR)の周囲に有る小矩形領域をマッチングウィンドウとして設定する。ウィンドウ設定部210は、幾何較正部140により右画像及び左画像の幾何的条件がキャリブレーションされているため、右画像に設定されたマッチングウィンドウと同一大きさ及び同一高さのマッチングウィンドウを左画像に設定する。探索部240は、右画像のマッチングウィンドウ内の特徴量と、左画像のマッチングウィンドウ内の特徴量との類似度を計算する。探索部240による類似度の計算の後、ウィンドウ設定部210は、左画像のマッチングウィンドウを1画素ずつ横方向に移動させて、左画像にマッチングウィンドウを設定する。探索部240は、左画像及び右画像のマッチングウィンドウにおける類似度を計算する。このような処理を繰り返しながら、探索部240は、類似度が最も高い左画像のマッチングウィンドウを探索する。探索部240は、類似度が最も高い左画像のマッチングウィンドウの位置を、右画像の注目画素に対応する左画像の画素の位置とする。探索部240は、右画像の注目画素の座標と、この注目画素に対応する左画像の画素の座標とから、右画像と左画像との視差を測定する。
探索部240により、右画像の注目画素に対応する左画像の画素が探索され、視差が測定されると、ウィンドウ設定部210は、右画像の注目画素を横方向に移動させて、マッチングウィンドウを設定する。探索部240は、移動された注目画素に対応する左画像の画素を探索し、視差を測定する。このような処理を繰り返しながら、探索部240は、右画像と左画像との対応点を探索すると共に視差を測定して、視差画像を生成することができる。
ウィンドウ内特徴解析部220は、ウィンドウ設定部210により右画像に設定されたマッチングウィンドウ内における特徴量の偏りについて解析する。ウィンドウ内特徴解析部220は、探索部240の探索が実施される前に、マッチングウィンドウ内の特徴量の偏りについて解析する。
ウィンドウ内特徴解析部220は、マッチングウィンドウ内における特徴量の偏りについて解析するために、エッジ生成部150により生成されたエッジ画像を用いる。具体的には、ウィンドウ内特徴解析部220は、エッジ生成部150により生成されたエッジ画像のうち、ウィンドウ設定部210により右画像に設定されたマッチングウィンドウと同一の領域についてマッチングウィンドウを設定する。そして、ウィンドウ内特徴解析部220は、エッジ画像に設定されたマッチングウィンドウ内のエッジを、マッチングウィンドウ内における特徴量として解析する。
ウィンドウ内特徴解析部220は、図5~図7に示すように、マッチングウィンドウ内の画像に対して、横エッジ抽出処理と縦エッジ抽出処理とを行う。横エッジ抽出処理は、マッチングウィンドウ内の画像に対して、横エッジ抽出用のフィルタを用いてエッジ抽出を行う処理のことである。縦エッジ抽出処理は、マッチングウィンドウ内の画像に対して、縦エッジ抽出用のフィルタを用いてエッジ抽出を行う処理のことである。ウィンドウ内特徴解析部220は、横エッジ抽出処理及び縦エッジ抽出処理のそれぞれの処理結果を、横方向及び縦方向のそれぞれに投影する。
詳細には、ウィンドウ内特徴解析部220は、横エッジ抽出処理結果の横方向への投影結果として、横エッジ強度を横方向に累積した累積値を縦方向座標毎に表して、横エッジ強度の累積値の縦方向分布を示すヒストグラムを生成する。ウィンドウ内特徴解析部220は、横エッジ抽出処理結果の縦方向への投影結果として、横エッジ強度を縦方向に累積した累積値を横方向座標毎に表して、横エッジ強度の累積値の横方向分布を示すヒストグラムを生成する。すなわち、ウィンドウ内特徴解析部220は、マッチングウィンドウ内において横方向に輝度変化を有するエッジの強度(横エッジ強度)を、横方向に累積した累積値のヒストグラムを生成する。ウィンドウ内特徴解析部220は、マッチングウィンドウ内において横方向に輝度変化を有するエッジの強度(横エッジ強度)を、縦方向に累積した累積値のヒストグラムを生成する。
同様に、ウィンドウ内特徴解析部220は、縦エッジ抽出処理結果の横方向への投影結果として、縦エッジ強度を横方向に累積した累積値を縦方向座標毎に表して、縦エッジ強度の累積値の縦方向分布を示すヒストグラムを生成する。ウィンドウ内特徴解析部220は、縦エッジ抽出処理結果の縦方向への投影結果として、縦エッジ強度を縦方向に累積した累積値を横方向座標毎に表して、縦エッジ強度の累積値の横方向分布を示すヒストグラムを生成する。
ウィンドウ内特徴解析部220は、生成したヒストグラムに基づいて、ウィンドウ内における特徴量の偏りの有無及び偏りの方向を把握することができる。
図5を参照しながら、マッチングウィンドウ内における特徴量の偏りが縦方向に有る場合の解析結果について説明する。図5は、図5の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の下部に密集している場合について説明する。図5の中段左側には、横エッジ抽出用のフィルタが示されている。図5の中段右側には、横エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図5の中段下側には、横エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。図5の下段左側には、縦エッジ抽出用のフィルタが示されている。図5の下段右側には、縦エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図5の下段下側には、縦エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。
図5の上段に示すマッチングウィンドウ内の画像は、横方向には輝度変化がない。すなわち、図5の上段に示すマッチングウィンドウ内の画像は、強い横エッジが存在しない。図5の上段に示すマッチングウィンドウ内の画像は、縦方向には輝度変化があり、この縦方向の輝度変化が同じ状態のまま横方向に連続している。すなわち、図5の上段に示すマッチングウィンドウ内の画像は、強い縦エッジが存在する。
横エッジ抽出処理結果を横方向へ投影した結果は、図5の中段右側に示すように、横エッジ強度の累積値が予め定められた基準値より小さく、縦方向に亘って一定である、という結果を示す。横エッジ抽出処理結果を縦方向へ投影した結果は、図5の中段下側に示すように、横エッジ強度の累積値が基準値より小さく、横方向に亘って一定である、という結果を示す。
縦エッジ抽出処理結果を横方向へ投影した結果は、図5の下段右側に示すように、ウィンドウ内の上部から下部までの間では、縦エッジ強度の累積値が基準値より小さく一定であるが、ウィンドウ内の下部では、縦エッジ強度の累積値が基準値より極めて大きくなる、という結果を示す。縦エッジ抽出処理結果を縦方向へ投影した結果は、図5の下段下側に示すように、縦エッジ強度の累積値が、横エッジ強度を縦方向に累積した累積値(図5の中段下側のヒストグラムを参照)よりも大きく、横方向に亘って一定である、という結果を示す。
ウィンドウ内特徴解析部220は、図5に示すヒストグラムに基づいて、ウィンドウ内における特徴量が縦方向に偏っていると把握することができる。
図6を参照しながら、マッチングウィンドウ内における特徴量の偏りが横方向に有る場合の解析結果について説明する。図6は、図6の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の右部に密集している場合について説明する。図6の中段左側には、横エッジ抽出用のフィルタが示されている。図6の中段右側には、横エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図6の中段下側には、横エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。図6の下段左側には、縦エッジ抽出用のフィルタが示されている。図6の下段右側には、縦エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図6の下段下側には、縦エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。
図6の上段に示すマッチングウィンドウ内の画像は、縦方向には輝度変化がない。すなわち、図6の上段に示すマッチングウィンドウ内の画像は、強い縦エッジが存在しない。図6の上段に示すマッチングウィンドウ内の画像は、横方向には輝度変化があり、この横方向の輝度変化が同じ状態のまま縦方向に連続している。すなわち、図6の上段に示すマッチングウィンドウ内の画像は、強い横エッジが存在する。
このため、横エッジ抽出処理結果を横方向へ投影した結果は、図6の中段右側に示すように、横エッジ強度の累積値が、縦エッジ強度を横方向に累積した累積値(図6の下段右側のヒストグラムを参照)よりも大きく、縦方向に亘って一定である、という結果を示す。横エッジ抽出処理結果を縦方向へ投影した結果は、図6の中段下側に示すように、ウィンドウ内の左部から右部までの間では、横エッジ強度の累積値が基準値より小さく一定であるが、ウィンドウ内の右部では、横エッジ強度の累積値が基準値より極めて大きくなる、という結果を示す。
縦エッジ抽出処理結果を横方向へ投影した結果は、図6の下段右側に示すように、縦エッジ強度の累積値が基準値より小さく、縦方向に亘って一定である、という結果を示す。縦エッジ抽出処理結果を縦方向へ投影した結果は、図6の下段下側に示すように、縦エッジ強度の累積値が基準値より小さく、横方向に亘って一定である、という結果を示す。
ウィンドウ内特徴解析部220は、図6に示すヒストグラムに基づいて、ウィンドウ内における特徴量が横方向に偏っていると把握することができる。
図7を参照しながら、マッチングウィンドウ内における特徴量の偏りが斜め方向に有る場合の解析結果について説明する。図7は、図7の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の左上部に密集している場合について説明する。図7の中段左側には、横エッジ抽出用のフィルタが示されている。図7の中段右側には、横エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図7の中段下側には、横エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。図7の下段左側には、縦エッジ抽出用のフィルタが示されている。図7の下段右側には、縦エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図7の下段下側には、縦エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。
図7の上段に示すマッチングウィンドウ内の画像は、マッチングウィンドウ内の左上部では、横方向及び縦方向のそれぞれにおいて輝度変化が有るが、マッチングウィンドウ内の左上部以外では、横方向及び縦方向のそれぞれにおいて輝度変化がない。すなわち、図7の上段に示すマッチングウィンドウ内の画像は、マッチングウィンドウ内の左上部だけに、強い横エッジ及び強い縦エッジが存在し、マッチングウィンドウ内の左上部以外では、強い横エッジ及び強い縦エッジが存在しない。
このため、横エッジ抽出処理結果を横方向へ投影した結果は、図7の中段右側に示すように、ウィンドウ内の上部では、横エッジ強度の累積値が、ウィンドウ内の上部以外よりも大きくなる、という結果を示す。横エッジ抽出処理結果を縦方向へ投影した結果は、図7の中段下側に示すように、ウィンドウ内の左部では、横エッジ強度の累積値が、ウィンドウ内の左部以外よりも大きくなる、という結果を示す。
縦エッジ抽出処理結果を横方向へ投影した結果は、図7の下段右側に示すように、ウィンドウ内の上部では、縦エッジ強度の累積値が、基準値より大きく、ウィンドウ内の上部以外よりも大きくなる、という結果を示す。縦エッジ抽出処理結果を縦方向へ投影した結果は、図7の下段下側に示すように、ウィンドウ内の左部では、縦エッジ強度の累積値が、基準値より大きく、ウィンドウ内の左部以外よりも大きくなる、という結果を示す。
ウィンドウ内特徴解析部220は、図7に示すヒストグラムに基づいて、ウィンドウ内における特徴量が斜め方向に偏っていると把握することができる。
なお、マッチングウィンドウ内の画像に輝度変化がない場合、図5~図7に示したヒストグラムは、横エッジ強度を横方向へ累積した累積値、横エッジ強度を縦方向へ累積した累積値、縦エッジ強度を横方向へ累積した累積値、縦エッジ強度を縦方向へ累積した累積値の何れも、累積値が基準値より小さく且つ一定となる。ウィンドウ内特徴解析部220は、これらヒストグラムに基づいて、マッチングウィンドウ内における特徴量の偏りが無いことを把握することができる。
重心計算部230は、ウィンドウ設定部210により右画像に設定されたマッチングウィンドウ内の特徴量の重心位置を計算する。デフォルトの重心位置は、マッチングウィンドウの中心位置である。重心計算部230は、ステレオマッチング処理での対応点の探索方向が横方向であるため、横方向の輝度変化を抽出する横エッジ抽出処理の結果に基づいて、マッチングウィンドウ内の特徴量の重心位置を計算する。具体的には、重心計算部230は、横エッジ強度を横方向に累積した累積値の縦方向分布を示すヒストグラム(図5~図7の各中段の右側のヒストグラム)と、横エッジ強度を縦方向に累積した累積値の横方向分布を示すヒストグラム(図5~図7の各中段の下側のヒストグラム)とに基づいて、マッチングウィンドウ内の特徴量の重心位置を計算する。
詳細には、重心計算部230は、横エッジ強度を横方向に累積した累積値の縦方向分布を示すヒストグラムと、横エッジ強度を縦方向に累積した累積値の横方向分布を示すヒストグラムとを平滑化する。そして、重心計算部230は、平滑化された各ヒストグラムにおいて、累積値の分布が予め定められた基準値以上の累積値を有し、且つ、ピークを有する場合、ピークを有する位置の縦方向座標又は横方向座標を計算する。そして、重心計算部230は、計算された縦方向座標又は横方向座標を、マッチングウィンドウ内における特徴量の重心位置の縦方向座標又は横方向座標に決定する。
一方、重心計算部230は、各ヒストグラムにおいて、累積値の分布が基準値以上の累積値を有しない場合、又は、ピークを有しない場合、重心計算部230は、デフォルトの重心位置であるマッチングウィンドウ内の中心位置の縦方向座標又は横方向座標を、マッチングウィンドウ内における特徴量の重心位置の縦方向座標又は横方向座標に決定する。
例えば、図5の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の下部に密集している場合、図5の中段右側に示すように、横エッジ強度を横方向に累積した累積値の縦方向分布は、縦方向に亘って一定であり、ピークを有しない。この場合、重心計算部230は、マッチングウィンドウの中心位置の縦方向座標を、マッチングウィンドウ内の特徴量の重心位置の縦方向座標に決定する。図5の中段下側に示すように、横エッジ強度を縦方向に累積した累積値の横方向分布は、横方向に亘って一定であり、ピークを有しない。この場合、重心計算部230は、マッチングウィンドウの中心位置の横方向座標を、マッチングウィンドウ内の特徴量の重心位置の横方向座標に決定する。結果的に、マッチングウィンドウ内の下部に特徴量が密集している場合、マッチングウィンドウ内の特徴量の重心位置は、図5の中段の画像において十字を丸にて囲んだ印が示す位置となる。
図6の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の右部に密集している場合、図6の中段右側に示すように、横エッジ強度を横方向に累積した累積値の縦方向分布は、縦方向に亘って一定であり、ピークを有しない。この場合、重心計算部230は、マッチングウィンドウの中心位置の縦方向座標を、マッチングウィンドウ内の特徴量の重心位置の縦方向座標に決定する。図6の中段下側に示すように、横エッジ強度を縦方向に累積した累積値の横方向分布は、マッチングウィンドウ内の右部において、基準値以上の累積値を有し、且つ、ピークを有する。この場合、重心計算部230は、このピークの位置であるマッチングウィンドウ内の右部の位置の横方向座標を、マッチングウィンドウ内の特徴量の重心位置の横方向座標に決定する。結果的に、マッチングウィンドウ内の右部に特徴量が密集している場合、マッチングウィンドウ内の特徴量の重心位置は、図6の中段の画像において十字を丸にて囲んだ印が示す位置となる。
図7の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の左上部に密集している場合、図7の中段右側に示すように、横エッジ強度を横方向に累積した累積値の縦方向分布は、マッチングウィンドウ内の上部において、基準値以上の累積値を有し、且つ、ピークを有する。この場合、重心計算部230は、このピークの位置であるマッチングウィンドウ内の上部の位置の縦方向座標を、マッチングウィンドウ内の特徴量の重心位置の縦方向座標に決定する。図7の中段下側に示すように、横エッジ強度を縦方向に累積した累積値の横方向分布は、マッチングウィンドウ内の左部において、基準値以上の累積値を有し、且つ、ピークを有する。この場合、重心計算部230は、このピークの位置であるマッチングウィンドウ内の左部の位置の横方向座標を、マッチングウィンドウ内の特徴量の重心位置の横方向座標に決定する。結果的に、マッチングウィンドウ内の左上部に特徴量が密集している場合、マッチングウィンドウ内の特徴量の重心位置は、図7の中段の画像において十字を丸にて囲んだ印が示す位置となる。
マッチングウィンドウ内においてテクスチャが分散している場合のように、マッチングウィンドウ内において特徴量の偏りが無い場合、マッチングウィンドウの中心位置を基準として視差の測定が行われても、視差の測定誤差は小さい。一方、マッチングウィンドウ内において輝度変化が大きいテクスチャが局所的に存在する場合のように、マッチングウィンドウ内において特徴量の偏りが大きい場合、マッチングウィンドウの中心位置を基準として視差の測定が行われると、視差の測定誤差が大きくなる。
マッチングウィンドウ内において特徴量の偏りが大きい場合、視差の測定は、特徴量の重心位置を基準として行われることに相当する。なぜなら、マッチングウィンドウ内において特徴量の偏りが大きい場合、マッチングウィンドウ内の対応点探索の手掛かりとなるのは、横方向に大きな輝度変化を有する横エッジが局所的に存在する箇所だけだからであり、横エッジが存在する箇所で対応点の位置が決まるからである。
このため、距離の測定は、マッチングウィンドウ内の特徴量の重心位置を基準として行われると、視差の測定における基準位置と整合するため、距離の測定誤差を低減することができる。車載環境認識装置1は、距離の測定がマッチングウィンドウの中心位置を基準として行われた場合、マッチングウィンドウ内における特徴量の重心位置を用いて、距離の測定結果を修正することによって、距離の測定誤差を低減することができる。これにより、車載環境認識装置1は、段差候補を構成する3次元点群によって道路を存在する段差を正確に再現することができ、道路に存在する段差を正確に検知することができる。但し、距離の測定結果を実際に修正するか否かは、下記で述べるステレオマッチング処理の信頼度の評価結果や、マッチングウィンドウ内に線分候補が存在するか等の他の情報を考慮した上で、判断される。
信頼度評価部250は、ステレオマッチング処理の信頼度を評価する。信頼度評価部250は、ウィンドウ内特徴解析部220により計算された横エッジ強度の累積値の分布が、予め定められた基準値以上の累積値を有するか否かを判断する。加えて、信頼度評価部250は、ウィンドウ内特徴解析部220により計算された横エッジ強度の累積値の分布が、横方向においてピークを有するか否かを判断する。横エッジ強度の累積値の分布が横方向においてピークを有することは、探索部240により計算された類似度が横方向の一箇所で高くなっていることを意味し得る。
信頼度評価部250は、横エッジ強度の累積値の分布が基準値以上の累積値を有し、且つ、類似度が横方向の一箇所で高くなっている場合、ステレオマッチング処理の信頼度が高いと評価する。すなわち、信頼度評価部250は、横エッジ強度の累積値の分布が、基準値以上の累積値を有し、且つ、横方向においてピークを有する場合、ステレオマッチング処理の信頼度が高いと評価する。
信頼度評価部250は、横エッジ強度の累積値の分布が基準値以上の累積値を有しないか、又は、類似度が画像上の横方向の一箇所で高くなっていない場合、ステレオマッチング処理の信頼度が低いと評価する。すなわち、信頼度評価部250は、横エッジ強度の累積値の分布が、基準値以上の累積値を有しないか、又は、横方向においてピークを有しない場合、ステレオマッチング処理の信頼度が低いと評価する。
横エッジ強度の累積値の分布が基準値以上の累積値を有しない場合には、対応点を特定するための情報源に欠けていることを示す。横エッジ強度の累積値の分布が基準値以上の累積値を有する場合でも、画像上の横方向の複数箇所で基準以上となっている場合には、背景に類似した画像の特徴が有ることを示唆しており、これらの複数箇所の何れの箇所が正しい対応点であるかを判別することは困難である。なお、横エッジ強度の累積値の分布が基準値以上の累積値を有し、且つ、類似度が画像上の横方向の一箇所で高くなっている場合でも、画像上で斜め方向に延びる線をマッチングする場合には、マッチングウィンドウ内のテクスチャの偏りやYずれ等が信頼度に影響を及ぼす可能性が有る。
[段差候補抽出部]
図8は、図1に示す段差候補抽出部300の構成を示す図である。図9は、図8に示す路面平面解析部310の処理を説明する図である。図10は、図8に示す路端部段差抽出部320及び走行路面段差抽出部330の処理を説明する図である。
図8は、図1に示す段差候補抽出部300の構成を示す図である。図9は、図8に示す路面平面解析部310の処理を説明する図である。図10は、図8に示す路端部段差抽出部320及び走行路面段差抽出部330の処理を説明する図である。
段差候補抽出部300は、路端部に存在する段差、走行路面に存在するバンプ等の段差、又は、走行路面に存在する障害物等の、路面平面部と比較して高低差を有する段差候補を抽出する。段差候補抽出部300は、抽出された段差候補の確度やノイズを確認する。
段差候補抽出部300は、図8に示すように、路面平面解析部310と、路端部段差抽出部320と、走行路面段差抽出部330と、単体ノイズ削除部340と、連結成分抽出部350とを含む。
路面平面解析部310は、図9の上段に示すように、車両の進路の予測結果と車幅とに基づいて、車両が走行すると予測される走行路の走行路面を処理対象とする。そして、路面平面解析部310は、ステレオマッチング部200により生成された視差画像を用いて、処理対象の視差を解析する。
具体的には、路面平面解析部310は、処理対象の視差を3次元空間座標に変換した上で、図9の下段に示すような路面断面図を生成して、路面平面部の高さ及び傾きを推定する。路面平面解析部310は、処理対象の視差を3次元空間座標に変換して、処理対象の3次元点群を取得し、取得された3次元点群を用いて、図9の下段に示すような路面断面図を生成することができる。図9の下段に示す路面断面図は、奥行方向の距離を横軸とし、走行路面の高さを縦軸とするグラフである。
路面平面解析部310は、路面断面図を生成する際、視差画像の処理領域311を横方向に走査して、3次元点群の高さの最頻値を、路面断面図において走行路面を表す直線を通る1点の候補点として投票する。路面平面解析部310は、このような投票処理を奥行方向に沿って繰り返し、図9の下段に示された十字印のような候補点の列を取得する。路面平面解析部310は、得られた候補点の列に対して直線推定処理を行う。路面平面解析部310は、直線推定処理において、候補点が最も多く通過する直線を推定する。
路面平面解析部310は、直線推定処理により推定された直線から大きく外れた候補点のうち、走行路面に存在する段差を示すことが明らかな候補点を、段差候補を構成する候補点として抽出し、これ以外の候補点をノイズとして削除する。走行路面に存在する段差を示すことが明らかな候補点とは、例えば、バンプを示す半楕円状(蒲鉾状)に並んだ候補点のことである。これにより、路面平面解析部310は、走行路面に存在するバンプ等の段差候補を抽出することができる。
路面平面解析部310は、直線の近傍に有る候補点だけを用いて、フィッティング処理を行い、路面平面部の高さ及び傾きを推定する。路面平面解析部310は、直線の近傍に有る候補点だけを用いてフィッティング処理を行うため、路面平面部の高さ及び傾きを正確に推定することができる。
路端部段差抽出部320は、図10の上段に示すように、走行路面の中心線から路端部へ向かって横方向に走査し、路端部に存在する段差候補を構成する候補点を抽出する。図10の上段は、路端部の歩道と走行路との間に段差が存在する場合を例に挙げ、走行路面の中心線から路端部へ向かって左方向に走査する例を示している。
具体的には、路端部段差抽出部320は、まず、走行路面の中心線の高さが、路面平面解析部310により推定された路面平面部の高さから大きく外れていないかを確認する。走行路面の中心線の高さが、路面平面部の高さから大きく外れている場合、ノイズと判断する。ノイズと判断された場合には、以後の処理をスキップする。
路面平面解析部310により推定された路面平面部の高さから大きく外れていない場合、路端部段差抽出部320は、次のような処理を行う。すなわち、路端部段差抽出部320は、走行路面の中心線から路端部へ向かって横方向に走査し、走査方向に沿った走行路面を構成する3次元点群を取得する。路端部段差抽出部320は、取得された3次元点群の高さと、路面平面解析部310により推定された路面平面部の高さとを比較する。そして、路端部段差抽出部320は、図10の中段に示すように、路面平面部に対する、取得された3次元点群の高さを示すグラフを生成する。図10の中段に示す路面断面図は、走行路面の中心線から左方向への距離を横軸とし、走行路面の高さを縦軸とするグラフである。
路端部段差抽出部320は、図10の中段に示すグラフにおいて、一定範囲の高さの3次元点群が、走査方向において所定範囲に亘って連続する場合、この一定範囲の高さの平均値を、路面平面部の高さとして確定する。
そして、路端部段差抽出部320は、取得された3次元点群の高さの変化を確認する。詳細には、路端部段差抽出部320は、路面平面部の高さを基準とした3次元点群の高さが、走行路面の横方向外側において、所定条件を満たすように変化しているか否かを判断する。路端部段差抽出部320は、路面平面部の高さを基準とした3次元点群の高さが、走行路面の横方向外側において所定条件を満たすように変化している場合、この高さが所定条件を満たすように変化した3次元点群を、路端部に存在する段差候補を構成する候補点として抽出する。
例えば、走行路の側方に、走行路面よりも高い歩道が存在する場合、3次元点群の高さは、路面平面部と同じ高さにて暫く横方向に連続した後、路面平面部よりも高い高さにて横方向に連続して示すこととなる。この場合、路端部段差抽出部320は、例えば、路面平面部よりも高さの高い3次元点群が、路面の外側において、横方向に少なくとも2つ連続している場合、路面平面部と同じ高さから路面平面部よりも高い高さへと変化した位置の3次元点群を、路端部に存在する段差候補を構成する候補点として抽出する。上記の所定条件、すなわち、路端部に存在する段差候補を構成する候補点として抽出される条件は、例えば、路面平面部よりも高い高さを有する3次元点群が、走行路面の外側において横方向に少なくとも2つ連続していることである。
路端部段差抽出部320は、注目する走行路面の中心線の位置を奥行方向にずらして、ずらされた中心線の位置から横方向への走査を継続する。このような処理を繰り返しながら、路端部段差抽出部320は、路端部に存在する段差候補を構成する候補点を抽出することができる。
走行路面段差抽出部330は、図10の上段に示すように、車両から消失点(無限遠点)へ向かって奥行方向に走査し、走行路面に存在する段差候補を構成する候補点を抽出する。具体的には、走行路面段差抽出部330は、路端部段差抽出部320と同様に、奥行方向に走査し、走査方向に沿った走行路面を構成する3次元点群を取得して、図10の下段に示すような路面断面図を生成する。図10の下段に示す路面断面図は、奥行方向の距離を横軸とし、走行路面の高さを縦軸とするグラフである。
走行路面段差抽出部330は、路面平面解析部310により推定された路面平面部の近傍の3次元点群のみを処理対象とし、推定された路面平面部から大きく外れた3次元点群をノイズとして削除する。走行路面段差抽出部330は、処理対象の3次元点群の高さに基づいて、路面平面部の高さを確定する。走行路面段差抽出部330は、路面平面部の高さを基準とした3次元点群の高さの変化を確認する。
走行路面に存在するバンプ等の段差候補を構成する候補点は、路面平面解析部310により既に抽出されている。走行路面段差抽出部330は、路面平面解析部310により抽出されたバンプ等の段差候補を構成する候補点を、奥行方向への走査によって取得された3次元点群と照合する。また、走行路面に存在する障害物等は、その3次元点群の高さが、路面平面部に対して、奥行方向に沿って連続して高くなることが多い。走行路面段差抽出部330は、路面平面部の高さを基準とした3次元点群の高さが、奥行方向に沿って連続して高くなっているかを確認し、奥行方向に沿って連続して高くなっている3次元点群を、走行路面に存在する障害物等の段差候補を構成する候補点として抽出する。これにより、走行路面段差抽出部330は、走行路面に存在する障害物等の段差候補を構成する候補点を抽出する。
なお、走行路面段差抽出部330の処理では、基本的に走査方向に延びる線上の3次元点群のみを処理しているため、簡単且つ高速に実行可能であるが、ノイズ等の影響を受け易いことがある。走行路面段差抽出部330によって抽出された候補点には、ノイズか否かの最終的な判断が再度行われる。
単体ノイズ削除部340は、路端部段差抽出部320又は走行路面段差抽出部330により抽出された段差点を用いて、ノイズの削除を行う。但し、走行路面に存在するバンプ等の段差候補を構成する候補点は、既に最頻値を用いた投票処理によって抽出されているため、単体ノイズ削除部340においてはノイズの削除を行わない。
連結成分抽出部350は、単体ノイズ削除部340によるノイズの削除によって残った候補点について、ある程度の連結性や集合性を有しているかを確認する。例えば、連結成分抽出部350は、路端部段差抽出部320により抽出された候補点には、走行路の延びる方向に沿って連続する他の候補点が有るかを確認する。また、例えば、連結成分抽出部350は、走行路面段差抽出部330により抽出された候補点には、その周囲の横方向又は奥行方向に類似する他の候補点が有るかを確認する。これにより、連結成分抽出部350は、路端部段差抽出部320又は走行路面段差抽出部330により抽出された候補点が段差候補を成すことを確認ことができ、これらを抽出し得る。
[線分候補抽出部]
図11は、図1に示す線分候補抽出部400の構成を示す図である。
図11は、図1に示す線分候補抽出部400の構成を示す図である。
線分候補抽出部400は、図11に示すように、直線候補探索部410と、直線特徴比較部420と、線分分類部430とを含む。
直線候補探索部410は、エッジ生成部150により生成された右画像のエッジ画像を用いて、直線候補を探索する。エッジ画像は、横方向に輝度変化を有する横エッジと、縦方向に輝度変化を有する縦エッジとを含む。直線候補探索部410は、エッジ画像の横エッジと縦エッジとを合成してエッジ角度画像を生成する。エッジ角度画像は、横エッジの強度と縦エッジの強度とを用いてエッジをベクトル化し、ベクトル化されたエッジと座標軸との成す角度を数値化して、保存した画像である。直線候補探索部410は、生成されたエッジ角度画像を用いて、ハフ変換を行い、直線候補を探索する。
直線特徴比較部420は、直線候補探索部410により探索された直線候補上に並んだエッジ角度が、ある程度の類似性を有するかを確認し、直線候補がランダムテクスチャ上に描かれた線でないことを確認する。直線特徴比較部420は、直線候補探索部410により探索された直線候補のうちから、線分候補の特徴を有する直線候補を探索し、線分候補として抽出する。例えば、直線特徴比較部420は、エッジ角度画像及びエッジ画像を用いて、ある程度のエッジ強度を有し、且つ、エッジ角度の類似性が高く、始点及び終点を有して線分状にある程度連続するような直線候補を探索し、線分候補として抽出する。
線分分類部430は、線分候補の傾き、すなわち、エッジ角度に応じて、直線特徴比較部420により抽出された線分候補を分類する。具体的には、線分分類部430は、画像上の横方向に延びる線分候補と、画像上の縦方向に延びる線分候補と、画像上の斜め方向に延びる線分候補とに分類する。
[解析部]
図12は、図1に示す解析部500の構成を示す図である。図13は、図12に示す3次元点群解析部520の処理を説明する図である。図14は、図12に示す横線確認部530の処理を説明する図である。図15は、図12に示す斜線確認部540の処理を説明する図であって、視差の誤測定の発生要因がマッチングウィンドウ内の特徴量の重心位置のずれである場合を説明する図である。図16は、図12に示す斜線確認部540の処理を説明する図であって、視差の誤測定の発生要因がYずれである場合を説明する図である。
図12は、図1に示す解析部500の構成を示す図である。図13は、図12に示す3次元点群解析部520の処理を説明する図である。図14は、図12に示す横線確認部530の処理を説明する図である。図15は、図12に示す斜線確認部540の処理を説明する図であって、視差の誤測定の発生要因がマッチングウィンドウ内の特徴量の重心位置のずれである場合を説明する図である。図16は、図12に示す斜線確認部540の処理を説明する図であって、視差の誤測定の発生要因がYずれである場合を説明する図である。
解析部500は、図12に示すように、照合部510と、3次元点群解析部520と、横線確認部530と、斜線確認部540と、マッチング修正部550とを含む。
照合部510は、段差候補抽出部300により抽出された段差候補を、線分候補抽出部400により抽出された線分候補と照合する。具体的には、照合部510は、段差候補抽出部300により抽出された段差候補が、エッジ画像上又は画像上において、線分候補抽出部400により抽出された線分候補と重畳するかを確認する。
照合部510は、段差候補抽出部300により抽出された段差候補が、線分候補抽出部400により抽出された線分候補と重畳しない場合、又は、縦方向に延びる線分候補と重畳する場合、ステレオマッチング処理の信頼度が高いことから、この段差候補を、道路に存在する段差を示す段差候補であると確定する。すなわち、この場合、照合部510は、段差候補抽出部300により抽出された段差候補の妥当性が高いと判断する。
これにより、車載環境認識装置1は、妥当性の高い段差候補については、道路に存在する段差を示すと直ちに判断するため、妥当性の低い段差候補の解析にコンピュータのリソースを多く割り当て、視差の再測定等の処理を行うことができる。よって、車載環境認識装置1は、視差の誤測定に伴う誤検知を直ちに抑制して、道路に存在する段差を正確に検知することができる。
一方、照合部510は、段差候補抽出部300により抽出された段差候補が、横方向又は斜め方向に延びる線分候補と重畳する場合、この段差候補を、道路に存在する段差を示す段差候補であると直ちに判断しない。すなわち、この場合、照合部510は、段差候補抽出部300により抽出された段差候補の妥当性が低いと判断する。
特に、高低差の小さい段差候補、すなわち、3次元点群の高さが路面平面部と大差ない段差候補が、横方向又は斜め方向に延びる線分候補と重畳する場合、この段差候補は、走行路面に描かれた区画線や導流帯(ゼブラ)等の、横方向又は斜め方向に延びる路面標示である可能性が有る。横方向又は斜め方向に延びる線分候補と重畳する高低差の小さい段差候補は、視差の誤測定が発生したことによって抽出された可能性が有る。
段差候補抽出部300により抽出された段差候補の妥当性が低い場合、3次元点群解析部520は、この段差候補を構成する3次元点群の配置を、図13に示す手法を用いて解析する。そして、3次元点群解析部520は、この段差候補を構成する3次元点群の配置に基づいて、この段差候補が視差の誤測定によって抽出された可能性が有るかを解析する。
これにより、車載環境認識装置1は、妥当性の低い段差候補については、視差を再測定して距離を修正したり、ノイズとして削除したりすることができるため、段差候補を構成する3次元点群によって道路を存在する段差だけを正確に再現することができる。車載環境認識装置1は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。
具体的には、3次元点群解析部520は、視差画像上において、この段差候補を含み横方向に分布する3次元点群を特定する。3次元点群解析部520は、図13に示すように、特定された3次元点群が示す走行路面を含む横方向の路面断面図を生成する。この際、3次元点群解析部520は、カメラの視点を路面断面図上に設定し、設定されたカメラの視点から視た3次元点群の配置を示す路面断面図を生成する。路面断面図上に設定されたカメラの視点の位置は、消失点に対応する位置であってよい。
路面断面図上に設定されたカメラの視点は、3次元的に奥行方向の位置が実際とは異なり、路面断面図上に存在するものではない。3次元点群解析部520は、カメラの視点が路面断面図上に存在すると仮定して、路面断面図上にカメラの視点を設定する。そして、3次元点群解析部520は、路面断面図上のカメラの視点と3次元点群のそれぞれとを通る直線を設定する。
3次元点群解析部520により生成される路面断面図では、設定されたカメラの視点の真下に位置する3次元点群は走行路面を示し、カメラの真下から横方向の端部に位置する3次元点群は路端部を示す。図13には、図13の右方向の路端部において、路面平面部に対して低い側溝が存在し、図13の左方向の路端部において、路面平面部に対して高い縁石が存在する例が示されている。図13には、右方向の路端部において、走行路面が途切れて側溝の穴部分を形成する側壁が出現している様子が示されている。
カメラの視点と3次元点群のそれぞれとを通る複数の直線は、カメラに入射する光線に相当するが、光線は基本的に曲がったりしないことから、カメラの視点と3次元点群のそれぞれとを通る複数の直線も基本的に曲がったりしない。このため、カメラの視点と3次元点群のそれぞれとを通る複数の直線同士は、基本的に、互いに交差したり、互いの間隔が不均一になったりすることが無い。言い換えると、カメラの視点と3次元点群のそれぞれとを通る複数の直線同士が交差したり、複数の直線同士の間隔が不均一になったりするような物体は、カメラよって撮像されることが無い。このため、カメラの視点と3次元点群のそれぞれとを通る複数の直線同士が交差したり、複数の直線同士の間隔が不均一になったりする場合、複数の直線を通る各3次元点により構成された段差候補は、視差の誤測定によって抽出された可能性が高い。
カメラの視点と3次元点群のそれぞれとを通る複数の直線が交差したり、複数の直線同士の間隔が不均一になったりする場合、3次元点群のそれぞれの走行路面に対する高さは、ランダムに上下に変化し易い。走行路面に対する高さがランダムに上下に変化する3次元点群とは、横方向に隣接する複数の3次元点の高さ方向の位置が、走行路面より高い位置と、走行路面より低い位置とに不規則に変化する3次元点群である。
図13の一点鎖線にて囲まれた3次元点群のそれぞれとカメラの視点とを通る複数の直線は互いに交差しており、一点鎖線にて囲まれた3次元点群の走行路面に対する高さはランダムに上下に変化している。3次元点群解析部520は、一点鎖線にて囲まれた3次元点群により構成される段差候補を、視差の誤測定によって抽出された可能性が有ると判断する。
すなわち、3次元点群解析部520は、段差候補を構成する3次元点群のそれぞれとカメラの視点とを通る複数の直線同士が互いに交差する場合、又は、複数の直線同士の間隔が不均一である場合、複数の直線を通る3次元点群により構成される段差候補を、視差の誤測定によって抽出された可能性が有ると判断する。
これにより、車載環境認識装置1は、視差の誤測定によって抽出された可能性が有る段差候補を、簡単な手法によって特定することができる。車載環境認識装置1は、段差候補を構成する3次元点群によって道路を存在する段差だけを正確に再現することができる。よって、車載環境認識装置1は、視差の誤測定に伴う誤検知を容易に抑制することができ、道路に存在する段差を正確且つ容易に検知することができる。
なお、3次元点群解析部520は、3次元点群のそれぞれとカメラの視点とを通る複数の直線を用いる上記の手法以外の手法を用いて、横方向又は斜め方向に延びる線分候補と重畳する段差候補が、視差の誤測定によって抽出された可能性が有るかを解析することができる。例えば、3次元点群解析部520は、横方向又は斜め方向に延びる線分候補と重畳する段差候補であって、段差候補を構成する3次元点群の走行路面に対する高さがランダムに上下に変化する場合、当該3次元点群により構成される段差候補を、視差の誤測定によって抽出された可能性が有ると判断する。
具体的には、3次元点群解析部520は、走行路面を構成する3次元点群を基準として、走行路面より高い位置の3次元点と、走行路面より低い位置の3次元点とを特定する。そして、3次元点群解析部520は、特定された3次元点同士が所定範囲内で横方向に隣接していれば、走行路面に対する高さがランダムに上下に変化する3次元点群であると判断する。そして、3次元点群解析部520は、走行路面に対する高さがランダムに上下に変化する3次元点群により構成される段差候補を、視差の誤測定によって抽出された可能性が有ると判断することができる。
この手法は、3次元点群のそれぞれとカメラの視点とを通る複数の直線を用いる上記の手法よりも、簡易に実装することができる。よって、車載環境認識装置1は、視差の誤測定に伴う誤検知を更に容易に抑制することができ、道路に存在する段差を正確且つ更に容易に検知することができる。
横線確認部530は、横方向に延びる線分候補と重畳する段差候補が、視差の誤測定によって抽出された可能性が高いか否かを最終的に判断する。図14の上段に示すように、左画像と右画像とが適切に平行化されており、且つ、縦方向の輝度変化以外に特徴量を有しない画素が横方向に並んでいる場合、信頼度評価部250により評価されたステレオマッチング処理の信頼度が低い。横線確認部530は、横方向に並ぶ画素列の大半が縦方向の輝度変化以外に特徴量を有しない線分候補を探索し、ステレオマッチング処理の信頼度が低いことを確認する。
更に、図14の下段のB部分に示すように、図14の上段と比べて縦方向に輝度分布が僅かに変化する画素列により構成された線分候補の場合、この線分候補が量子化される際に横方向の何処で輝度分布が縦方向に変化するのかを正確に特定し難く、正確に量子化できない可能性が有る。このような細かい事象であっても、視差の誤測定の発生要因となり得る。更に、左画像と右画像とが適切に平行化されていないこと、すなわち、Yずれが発生していることも、視差の誤測定の発生要因となり得る。Yずれが発生している場合、ステレオマッチング処理の信頼度が全体的に低く、横方向に延びる線分候補と重畳する段差候補を構成する3次元点群は、走行路面に対する高さがランダムに上下に変化する3次元点群であることが多い。
横線確認部530は、図14の上段及び下段に示すような横方向に延びる線分候補と重畳する段差候補は、視差の誤測定によって抽出された可能性が高いと判断する。言い換えると、横線確認部530は、図14の上段及び下段に示すような横方向に延びる線分候補に起因して、視差の誤測定が発生した可能性が高いと判断する。
斜線確認部540は、斜め方向に延びる線分候補と重畳する段差候補が、視差の誤測定によって抽出された可能性が高いか否かを最終的に判断する。ここで、図15及び図16に示すように、右画像においてマッチングウィンドウの左上部に白線が映っている場合を例に挙げて、斜線確認部540の処理について説明する。白線は、路面標示であり、道路標示と区画線とを含む。道路標示は、導流帯(ゼブラ)や停止線等の路面標示である。区画線は、複数の走行路同士の境界線(例えば、車両通行帯の境界線)や、走行路と路端部との境界線(例えば、車道外側線)等の路面標示である。本実施形態では、白線として車道外側線がマッチングウィンドウの左上部に映っている場合を例に挙げて説明する。
図15の上段は、マッチングウィンドウ内の特徴量の重心位置がマッチングウィンドウの中心位置から大きくずれている場合を示す。図15の中段は、図15の上段に示すマッチングウィンドウを拡大した図である。図15の下段は、図15の上段及び中段と比べて、マッチングウィンドウ内の特徴量の重心位置がマッチングウィンドウの中心位置から殆どずれていない場合を示す。なお、図15の中段及び下段において、十字を丸にて囲んだ印はマッチングウィンドウ内の特徴量の重心位置を示し、斜線を丸にて囲んだ印はマッチングウィンドウの中心位置を示す。
マッチングウィンドウを用いたステレオカメラの距離測定法において、距離の測定は、マッチングウィンドウの中心位置を基準として行われることが多い。一方、上記の重心計算部230の説明で述べたように、マッチングウィンドウ内において特徴量の偏りが存在する場合、視差の測定は、マッチングウィンドウ内の特徴量の重心位置を基準として行われた方が正確である。しかしながら、通常のステレオマッチング処理では、特徴量の重心位置を基準として測定された視差を、マッチングウィンドウの中心位置を基準として測定された視差として扱うことが多いため、視差の誤測定を発生させる要因となり得る。
例えば、図15の中段に示すように、マッチングウィンドウの左上部にだけ白線が映っており、他に目立った特徴が無い場合、マッチングウィンドウ内において特徴量の偏りが存在する。この場合、マッチングウィンドウ内の特徴量の重心位置は、マッチングウィンドウの中心位置からΔZ及びΔXだけ大きく離れた左上部に位置する。マッチングウィンドウ内の特徴量の重心位置を基準として視差の測定を行うと、測定誤差は小さい。しかしながら、マッチングウィンドウの中心位置を基準として視差の測定を行うと、ΔZ及びΔXが問題となり、マッチングウィンドウの大きさに対して視差の測定誤差が大きくなる。視差の測定誤差に応じて、距離の測定誤差も大きくなる。
一方、図15の下段に示すように、マッチングウィンドウの中心位置を通るように白線が映っており、他に目立った特徴が無い場合、マッチングウィンドウ内の特徴量の重心位置とマッチングウィンドウの中心位置とは、実質的に同一の位置となる。この場合、マッチングウィンドウの中心位置を基準として視差の測定を行っても、視差の測定誤差は微小であり、距離の測定誤差も微小である。
斜線確認部540は、図15の上段及び中段に示すような斜め方向に延びる線分候補と重畳する段差候補は、視差の誤測定によって抽出された可能性が高いと判断する。言い換えると、斜線確認部540は、図15の上段及び中段に示すような斜め方向に延びる線分候補に起因して、視差の誤測定が発生した可能性が高いと判断する。
図16の上段は、左画像と右画像とが適切に平行化されており、Yずれが発生していない場合を示す。図16の下段は、左画像と右画像とが適切に平行化されておらず、Yずれが発生している場合を示す。
左画像と右画像とが適切に平行化されておらず、Yずれが発生している場合には、視差の誤測定が発生する。本来であれば、図16の下段の右画像において実線で示すマッチングウィンドウに対して、左画像のマッチングウィンドウを横方向に移動させて対応点を探索したい。Yずれが発生している場合、図16の下段の右画像において破線で示すマッチングウィンドウに対して、左画像のマッチングウィンドウを横方向に移動させて対応点を探索してしまう。すなわち、Yずれが発生している場合、左画像と右画像との高さが同一で無いことから、異なる高さにおいて右画像と左画像との対応点を探索してしまうため、視差の誤測定が発生し得る。
斜線確認部540は、視差の誤測定が発生した可能性が高いと判断された斜め方向に延びる線分候補について、Yずれが発生しているかを確認する。具体的には、斜線確認部540は、右画像に設定されたマッチングウィンドウと左画像に設定されたマッチングウィンドウとの何れかを、縦方向へ所定量だけずらしてマッチングウィンドウを再設定する。斜線確認部540は、再設定されたマッチングウィンドウを用いて、この斜め方向に延びる線分候補についてステレオマッチング処理を行い、類似度を再計算する。この際、斜線確認部540は、マッチングウィンドウを縦方向のうちの上方向及び下方向のそれぞれに複数回に亘って所定量だけずらしてマッチングウィンドウを再設定し、類似度を再計算してよい。斜線確認部540は、再設定されたマッチングウィンドウを用いた場合の類似度と、再設定される前の既存のマッチングウィンドウを用いた場合の類似度とを比較する。Yずれが発生していなければ、既存のマッチングウィンドウを用いた場合の類似度が、再設定されたマッチングウィンドウを用いた場合の類似度よりも高くなる。Yずれが発生していれば、再設定されたマッチングウィンドウを用いた場合の類似度が、既存のマッチングウィンドウを用いた場合の類似度よりも高くなる。これにより、斜線確認部540は、視差の誤測定が発生した可能性が高いと判断された斜め方向に延びる線分候補について、Yずれが発生しているかを確認することができる。
なお、横線確認部530は、斜線確認部540と同様の手法によって、視差の誤測定が発生した可能性が高いと判断された横方向に延びる線分候補について、Yずれが発生しているかを確認する。
マッチング修正部550は、横線確認部530及び斜線確認部540により視差の誤測定が発生した可能性が高いと判断された線分候補について、視差の誤測定の発生要因の種類に応じて、視差に応じた距離を修正する。
マッチング修正部550は、図15の上段及び中段に示すような斜め方向に延びる線分候補について、マッチングウィンドウ内の特徴量の重心位置を用いて、視差に応じた距離を修正する。例えば、マッチング修正部550は、マッチングウィンドウ内の特徴量の重心位置と、マッチングウィンドウの中心位置との差分ΔZ及びΔXを用いて、視差に応じた距離を修正する。
これにより、車載環境認識装置1は、テクスチャの偏り等によってマッチングウィンドウ内の特徴量が偏っている場合でも、視差の誤測定に伴って発生する視差の測定誤差を低減し、距離の測定誤差を低減することができる。車載環境認識装置1は、段差候補を構成する3次元点群によって道路を存在する段差を正確に再現することができる。よって、車載環境認識装置1は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。
マッチング修正部550は、図16の下段に示すような斜め方向に延びる線分候補、又は、横方向に延びる線分候補について、Yずれの発生が確認された場合、横線確認部530又は斜線確認部540によるYずれの発生の確認処理の結果に基づいて、左画像及び右画像を平行化し、視差に応じた距離を修正する。
すなわち、横線確認部530又は斜線確認部540は、縦方向へ所定量だけずらして再設定されたマッチングウィンドウを用いた場合の類似度と、再設定される前の既存のマッチングウィンドウを用いた場合の類似度とを比較することによって、Yずれが発生しているかを確認する。マッチング修正部550は、この類似度の比較結果に基づいて、視差に応じた距離を修正する。具体的には、マッチング修正部550は、この類似度の比較結果において類似度が最も高かったステレオマッチング処理に用いられたマッチングウィンドウを特定する。マッチング修正部550は、特定されたマッチングウィンドウの既存のマッチングウィンドウからのずれ量に応じて、左画像及び右画像を平行化する。マッチング修正部550は、平行化された左画像を及び右画像について、ステレオマッチング処理を再度行う。マッチング修正部550は、再度行われたステレオマッチング処理の結果に応じて、視差を再測定すると共に、視差に応じた距離を修正する。
これにより、車載環境認識装置1は、左画像及び右画像が適切に平行化していない場合でも、視差の誤測定に伴って発生する視差の測定誤差を低減し、距離の測定誤差を低減することができる。車載環境認識装置1は、段差候補を構成する3次元点群によって道路を存在する段差を正確に再現することができる。よって、車載環境認識装置1は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。
マッチング修正部550は、図14の上段及び下段に示すような横方向に延びる線分候補について、マッチングウィンドウの大きさを縦方向に拡大して、ステレオマッチング処理を再度行う。具体的には、マッチング修正部550は、この横方向に延びる線分候補の周囲にある縦方向に延びる線分候補(すなわち横エッジ)がマッチングウィンドウ内に入るまで、マッチングウィンドウの大きさを縦方向に拡大し、マッチングウィンドウを再設定する。マッチング修正部550は、再設定されたマッチングウィンドウを用いて、この横方向に延びる線分候補についてステレオマッチング処理を再度行う。マッチング修正部550は、再度行われたステレオマッチング処理の結果に応じて、視差を再測定すると共に、視差に応じた距離を修正する。マッチングウィンドウの縦方向の大きさを拡大することで、周囲の3次元形状を詳細に再現することは難しくなる可能性が有るが、マッチングウィンドウの外にあった横エッジがマッチングウィンドウ内に入り易くなる。横エッジは一対の画像間の対応点探索の手掛かりとなるため、横エッジがマッチングウィンドウ内に入ると対応点が正しく探索され易くなり、ステレオマッチング処理の信頼度を向上させることができる。
これにより、車載環境認識装置1は、横方向に延びる線分候補が、縦方向に輝度分布が僅かに変化する画素列にて構成されることに伴って正確に量子化できない場合でも、視差の誤測定に伴って発生する視差の測定誤差を低減し、距離の測定誤差を低減することができる。車載環境認識装置1は、段差候補を構成する3次元点群によって道路を存在する段差を正確に再現することができる。よって、車載環境認識装置1は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。
なお、マッチング修正部550は、図16の下段に示すような斜め方向に延びる線分候補、又は、横方向に延びる線分候補について、Yずれの発生が確認された場合、マッチングウィンドウの縦方向の大きさを拡大して、ステレオマッチング処理を再度行ってもよい。マッチング修正部550は、再度行われたステレオマッチング処理の結果に応じて、視差を再測定すると共に、視差に応じた距離を修正してもよい。マッチング修正部550は、マッチングウィンドウの縦方向の大きさを拡大することで、Yずれがマッチングウィンドウ内に与える影響を軽減することができ、視差の測定誤差及び距離の測定誤差を低減することができる。
また、マッチング修正部550は、視差の誤測定が発生した可能性が高いと判断された横方向又は斜め方向に延びる線分候補について、マッチングウィンドウ内に存在するエッジのうちでエッジ強度が所定強度以上のエッジをマスクする。マッチング修正部550は、マスクされたエッジを除いて、横方向又は斜め方向に延びる線分候補についてステレオマッチング処理を再度行う。マッチング修正部550は、再度行われたステレオマッチング処理の結果に応じて、視差を再測定すると共に、視差に応じた距離を修正する。
マッチングウィンドウ内に存在するエッジ強度が所定強度以上のエッジをマスクすると、マッチングウィンドウ内において特徴量の偏りが低減する。マッチングウィンドウ内において特徴量の偏りが低減すると、特徴量の重心位置とマッチングウィンドウの中心位置とが近接するため、マッチングウィンドウの中心位置を基準として視差の測定を行っても、視差の測定誤差は小さくなる。
これにより、車載環境認識装置1は、マッチングウィンドウ内のテクスチャが偏っている場合でも、視差の誤測定に伴って発生する視差の測定誤差を低減し、距離の測定誤差を低減することができる。車載環境認識装置1は、段差候補を構成する3次元点群によって道路を存在する段差を正確に再現することができる。よって、車載環境認識装置1は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。
ここで、ステレオマッチング部200は、ステレオマッチング処理において、上記のように、マッチングウィンドウ内のエッジの強度をマッチングウィンドウ内の特徴量として、類似度の計算を行う。すなわち、ステレオマッチング部200は、マッチングウィンドウ内の輝度変化の大きさがそのまま類似度の計算に影響を及ぼすような手法によって、ステレオマッチング処理を行っている。
マッチング修正部550は、マッチングウィンドウ内の輝度変化の大きさがそのまま類似度の計算に影響を及ぼさないような手法によって、ステレオマッチング処理を再度行うことができる。例えば、マッチング修正部550は、マッチングウィンドウ内のエッジの角度をマッチングウィンドウ内の特徴量として、類似度の計算を行うことができる。エッジの角度は、横エッジの強度と縦エッジの強度とを用いてエッジをベクトル化し、ベクトル化されたエッジと座標軸との成す角度である。
具体的には、マッチング修正部550は、視差の誤測定が発生した可能性が高いと判断された横方向又は斜め方向に延びる線分候補において、マッチングウィンドウ内の縦エッジの強度と横エッジの強度とから算出されたエッジの角度を特定する。この際、マッチング修正部550は、直線候補探索部410により生成されたエッジ角度画像から、エッジの角度を特定してよい。マッチング修正部550は、特定されたエッジの角度を類似度の計算に用いて、横方向又は斜め方向に延びる線分候補についてステレオマッチング処理を再度行う。マッチング修正部550は、再度行われたステレオマッチング処理の結果に応じて、視差を再測定すると共に、視差に応じた距離を修正する。
エッジの角度を類似度の計算に用いる場合、横方向又は斜め方向に延びる線分候補が、最低限の強度を有するエッジを含んでいるだけで、ステレオマッチング処理が可能となる。そして、この場合、強いエッジだけでなく、マッチングウィンドウ内に存在する最低限の強度を有する弱いエッジも類似度の計算に反映させることができる。よって、マッチング修正部550は、エッジの角度を用いて類似度の計算を行うことにより、強いエッジだけに依存していたことに伴って発生していた視差の誤測定を低減することができる。
これにより、車載環境認識装置1は、視差の誤測定に伴って発生する視差の測定誤差を低減し、距離の測定誤差を低減することができるため、段差候補を構成する3次元点群によって道路を存在する段差を正確に再現することができる。よって、車載環境認識装置1は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。
[立体物検知部]
図17は、図1に示す立体物検知部600の構成を示す図である。
図17は、図1に示す立体物検知部600の構成を示す図である。
立体物検知部600は、図17に示すように、路端部段差検知部610と、走行路面段差検知部620と、障害物検知部630とを備える。
立体物検知部600は、マッチング修正部550により再度行われたステレオマッチング処理の結果により、3次元点群を再度取得する。そして、立体物検知部600は、再度取得された3次元点群を用いて路面平面部の高さ及び傾きを修正し、修正された路面平面部を用いて、道路に存在する段差を検知する処理を行う。なお、立体物検知部600は、既に取得された3次元点群を用いて、立体物の検知を行ってもよい。すなわち、立体物検知部600は、路面平面解析部310により推定された路面平面部の高さ及び傾きを用いて、道路に存在する段差を検知する処理を行ってもよい。
路端部段差検知部610は、路面平面部に関する推定結果と、連結成分抽出部350により抽出された段差候補とに基づいて、路端部に存在する段差を検知し、路端部に存在する段差と路面標示とを識別する。例えば、路端部段差検知部610は、路端部段差抽出部320により抽出され連結成分抽出部350により抽出された段差候補において、視差の誤測定によって抽出された可能性が高いと判断されていない段差候補については、修正された路面平面部に対して高低差を有することを再確認する。また、例えば、路端部段差検知部610は、路端部段差抽出部320により抽出され連結成分抽出部350により抽出された段差候補において、視差の誤測定によって抽出された可能性が高いと判断された段差候補については、再度取得された3次元点群と、修正された路面平面部とを比較することによって、段差候補として誤って抽出されたことを確認する。
これにより、路端部段差検知部610は、路端部に存在する段差と、横方向又は斜め方向に延びる線分候補に起因して視差の誤測定によって誤って抽出された段差候補とを、確実に識別することができる。特に、路端部段差検知部610は、走行路面と路肩との間に存在する高低差の小さい段差と、走行路面に描かれた区画線や導流帯(ゼブラ)等の横方向又は斜め方向に延びる路面標示とを、確実に識別することができる。路端部段差検知部610は、導流帯(ゼブラ)の影響を除去するために、時系列的な処理も行い得る。
走行路面段差検知部620は、修正された路面平面部に基づいて、走行路面に存在する段差を検知する。走行路面段差検知部620は、走行路面段差抽出部330により抽出され連結成分抽出部350により抽出された段差候補において、修正された路面平面部から大きく外れた3次元点群をノイズとして削除する。そして、走行路面段差検知部620は、残った3次元点群の形状を確認し、走行路面に存在するバンプ等の段差を検知する。すなわち、走行路面段差検知部620は、車両が走行時に容易に乗り越え可能な走行路面の段差であるが、車両に衝撃を与え得る段差を検知する。
障害物検知部630は、修正された路面平面部に基づいて、走行路面に存在する障害物等を検知する。障害物検知部630は、修正された路面平面部に対して高低差を有する3次元点群が集合性を有しているかを判断することによって、走行路面に存在する障害物等を検知する。この際に利用される視差は、マッチング修正部550により視差の測定結果が修正されたものであり、障害物検知部630は、高低差の小さい障害物であっても、正確に検知することができる。
[警報制御部]
警報制御部700は、立体物検知部600の検知結果に基づいて、車両の走行又は警報の報知を制御する制御情報を、車両の制御装置へ出力する。
警報制御部700は、立体物検知部600の検知結果に基づいて、車両の走行又は警報の報知を制御する制御情報を、車両の制御装置へ出力する。
例えば、路端部段差検知部610の検知結果に基づいて、車両が走行路の区画線から逸脱しそうであることが検知されると、警報制御部700は、警報を報知する制御情報や、操舵角を調整する制御情報や、車速を抑制する制御情報を、車両の制御装置へ出力する。これにより、警報制御部700は、車両が区画線から逸脱することを防止し、路端部に存在する縁石や壁等に衝突することを防止することができる。
また、例えば、走行路面段差検知部620の検知結果に基づいて、走行路面にバンプ等の段差が存在することが検知されると、警報制御部700は、車速を抑制する制御情報や、アクティブサスペンションにおいて衝撃を吸収するよう設定を変更する制御情報を、車両の制御装置へ出力する。これにより、警報制御部700は、車両が走行路面に存在する段差を通過する際に車両に加わる衝撃を緩和することができる。
また、例えば、障害物検知部630の検知結果に基づいて、走行路面に障害物等が存在し、車両が障害物に衝突しそうであることが検知されると、警報制御部700は、障害物への衝突を防止するよう、走行を停止するブレーキの制御情報や、障害物を回避する操舵角の制御情報を、車両の制御装置へ出力する。これにより、警報制御部700は、車両が走行路面に存在する障害物に衝突することを防止することができる。なお、警報制御部700は、ブレーキや操舵角の制御情報を出力する前に、警報を報知する制御情報を、車両の制御装置へ出力してもよい。
車載環境認識装置1は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知した上で、車両の走行又は警報の報知を制御する制御情報を、車両の制御装置へ出力することができる。よって、車載環境認識装置1は、車両の予防安全機能や運転支援機能等を高度化することができる。
[周囲環境認識処理]
図18は、図1に示す車載環境認識装置1によって行われる周囲環境認識処理を示すフローチャートである。
図18は、図1に示す車載環境認識装置1によって行われる周囲環境認識処理を示すフローチャートである。
車載環境認識装置1は、画像取得部110を構成する一対のカメラにより一対の画像を取得すると(ステップS01)、エッジ画像の生成処理を行う(ステップS02)。具体的には、車載環境認識装置1は、一対のカメラにより取得された一対の画像のうちの基準画像である右画像にエッジ抽出処理を行うことによって、エッジ画像を生成する。
車載環境認識装置1は、一対のカメラの感度や取得された一対の画像の幾何的条件をキャリブレーションした後、ステレオマッチング処理を行い(ステップS03)、一対の画像間の対応点を探索する。一対の画像間の対応点が探索されると、3次元空間上の3点の位置が特定され、一対の画像間の視差の測定が可能となる。車載環境認識装置1は、一対の画像間の視差を測定し、視差画像を生成すると共に、測定された視差から三角測量の原理に基づいて奥行方向の距離を測定する。これにより、一対のカメラの視野内における3次元点群が取得され得る。
車載環境認識装置1は、走行路の路面平面部の解析処理を行う(ステップS04)。具体的には、車載環境認識装置1は、取得された3次元点群から路面平面部の高さ及び傾きを推定する。これにより、一対のカメラと走行路面との位置関係が推定され得る。
車載環境認識装置1は、道路に存在する段差候補の抽出処理を行う(ステップS05)。具体的には、車載環境認識装置1は、ステップS04において推定された路面平面部に対して高低差を有する3次元点群を特定し、特定された3次元点群の高さに基づいて、道路に存在する段差候補を抽出する。その後、車載環境認識装置1は、ステップS07へ移行する。
また、車載環境認識装置1は、ステップS03~ステップS05の処理と並行して、線分候補の抽出処理を行う(ステップS06)。具体的には、車載環境認識装置1は、ステップS02において生成されたエッジ画像に基づいて、画像に含まれる直線候補を探索し、探索された直線候補のうちから、始点及び終点を有する線分候補を抽出する。車載環境認識装置1は、画像上の線分候補の傾きに応じて、抽出された線分候補を、縦方向に延びる線分候補と、横方向に延びる線分候補と、斜め方向に延びる線分候補とに分類する。車載環境認識装置1は、線分候補が連続したエッジ上に存在するかを確認すると共に、最低限のノイズを削除した後、ステップS07へ移行する。
車載環境認識装置1は、ステップS05において抽出された段差候補と、ステップS06において抽出された線分候補との照合処理を行う(ステップS07)。そして、車載環境認識装置1は、照合結果と線分候補の傾きとに基づいて、抽出された段差候補の妥当性を解析する。
具体的には、車載環境認識装置1は、段差候補が線分候補と重畳しない場合、又は、段差候補が縦方向に延びる線分候補と重畳する場合、ステレオマッチング処理が正しく行われている可能性が高いため、段差候補の妥当性が高いと判断し(ステップS07:YES)、ステップS10へ移行する。一方、車載環境認識装置1は、段差候補が横方向又は斜め方向に延びる線分候補と重畳する場合、ステレオマッチング処理の結果に視差の誤測定が含まれている可能性が高いため、段差候補の妥当性が低いと判断し(ステップS07:NO)、ステップS08へ移行する。
車載環境認識装置1は、視差の誤測定に関する解析処理を行う(ステップS08)。具体的には、車載環境認識装置1は、段差候補を構成する3次元点群の配置を解析し、段差候補が視差の誤測定により抽出された可能性が有るか否かを判断する。
車載環境認識装置1は、段差候補が視差の誤測定により抽出された可能性が有る場合、視差の誤測定の発生要因を解析する。例えば、車載環境認識装置1は、横方向に延びる線分候補について、輝度分布が縦方向に僅かに変化する画素列にて構成されることに伴って正確に量子化できないこと(図14の下段を参照)、Yずれが発生していること(図16の下段を参照)、カメラの歪みを完全に補正できず部分的に歪みが残っていること等を確認し、視差の誤測定の発生要因を解析する。また、例えば、車載環境認識装置1は、斜め方向に延びる線分候補について、マッチングウィンドウ内のテクスチャの偏り等に伴って特徴量の重心位置が偏っていること(図15の中段を参照)、Yずれが発生していること(図16の下段を参照)等を確認し、視差の誤測定の発生要因を解析する。
車載環境認識装置1は、視差の誤測定の発生要因を解析して、段差候補が視差の誤測定により抽出された可能性が高いと判断された場合、ステップS09へ移行する。一方、車載環境認識装置1は、視差の誤測定の発生要因を解析して、段差候補が視差の誤測定により抽出された可能性が低いと判断した場合、ステップS10へ移行する。
車載環境認識装置1は、段差候補が視差の誤測定により抽出された可能性が高いと判断された場合、マッチング修正処理を行う(ステップS09)。具体的には、車載環境認識装置1は、視差の誤測定の発生要因に応じて、ステレオマッチング処理を再度行って視差を再測定すると共に視差に応じた距離を修正したり、抽出された段差候補をノイズとして削除したりする。その後、車載環境認識装置1は、ステップS10へ移行する。
車載環境認識装置1は、再測定された視差を用いて路面平面部の高さ及び傾きを修正し、修正された路面平面部に基づいて、道路に存在する段差を検知する立体物検知処理を行う(ステップS10)。すなわち、車載環境認識装置1は、修正された路面平面部に基づいて、道路に存在する段差と路面標示とを識別し、路端部に存在する段差や、走行路面に存在するバンプ等の段差や、走行路面に存在する障害物等を検知する。ステップS09のマッチング修正処理は、走行路面に存在する障害物、穴、側溝等の高低差の大きい段差に対する検知性能に与える影響は軽微である。反対に、ステップS09のマッチング修正処理は、高低差の小さい段差(例えば、高さ5cm程の段差)やバンプ等の段差に対する検知性能に与える影響は大きい。すなわち、ステップS09のマッチング修正処理により、車載環境認識装置1は、高低差の大きい段差に対する検知性能を殆ど低下させることなく、高低差の小さい段差やバンプ等の段差に対する検知性能を大幅に向上させることができる。
車載環境認識装置1は、警報制御処理を行う(ステップS11)。具体的には、車載環境認識装置1は、ステップS10の検知結果に基づいて、車両の走行制御や警報の報知等に必要な情報を、車両の制御装置へ出力する。その後、車載環境認識装置1は、周囲環境認識処理を終了する。
本実施形態では、車載環境認識装置1が備える各構成要素のうち、ステレオマッチング部200と、段差候補抽出部300と、線分候補抽出部400と、解析部500と、立体物検知部600とをまとめて「処理装置」とも称する。処理装置は、ステレオカメラ部100の一対のカメラにより取得された一対の画像を処理する。処理装置は、警報制御部700を更に含んでもよい。処理装置は、ステレオカメラ部100の露光調整部120、感度較正部130、幾何較正部140及びエッジ生成部150の少なくとも1つを更に含んでもよい。処理装置は、図18に示す周囲環境認識処理を行うことが可能である。車載環境認識装置1は、一対のカメラと処理装置とを備えると表現することも可能である。
言い換えると、処理装置は、少なくとも、車両に搭載された一対のカメラにより取得された一対の画像を処理する処理装置であって、一対の画像の視差を測定し、視差画像を生成するステレオマッチング部200と、ステレオマッチング部200により生成された視差画像から、車両が走行する道路の段差候補を抽出する段差候補抽出部300と、一対のカメラにより取得された画像から線分候補を抽出する線分候補抽出部400と、段差候補抽出部300により抽出された段差候補を、線分候補抽出部400により抽出された線分候補と照合し、照合結果と線分候補の傾きとに基づいて、段差候補の妥当性を解析する解析部500と、解析部500の解析結果に基づいて、道路に存在する段差を検知する立体物検知部600とを備える。
処理装置は、照合結果と線分候補の傾きとに基づいて段差候補の妥当性を解析することができる。これにより、処理装置は、視差の誤測定が発生し易い線分候補と重畳する段差候補については、視差を再測定して距離を修正したり、ノイズとして削除したりすることができる。処理装置は、段差候補を構成する3次元点群によって道路を存在する段差だけを正確に再現することができる。よって、処理装置は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。
なお、処理装置は、一対のカメラと一体的に設けられてよい。例えば、処理装置は、車両のウィンドウシールドガラスの内側に設置された一対のカメラを含むステレオカメラ装置の筐体内に設けられてよい。また、処理装置は、一対のカメラと別体として設けられてよい。例えば、処理装置は、車両の制御装置の1つである電子制御ユニットの一部として設けられてよい。
[その他]
本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段などは、それらの一部又は全部を、例えば集積回路にて設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テープ、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1…車載環境認識装置 100…ステレオカメラ部
200…ステレオマッチング部 300…段差候補抽出部
400…線分候補抽出部 500…解析部
600…立体物検知部 700…警報制御部
200…ステレオマッチング部 300…段差候補抽出部
400…線分候補抽出部 500…解析部
600…立体物検知部 700…警報制御部
Claims (12)
- 車両に搭載された一対のカメラにより取得された一対の画像を処理する処理装置であって、
前記一対の画像の特徴を取得し、特徴画像を生成する特徴画像生成部と、
前記特徴画像生成部により生成された前記特徴画像から、前記車両が走行する道路の段差候補を抽出する段差候補抽出部と、
前記画像から線分候補を抽出する線分候補抽出部と、
前記段差候補抽出部により抽出された前記段差候補を、前記線分候補抽出部により抽出された前記線分候補と照合し、照合結果と前記線分候補の傾きとに基づいて、前記段差候補の妥当性を解析する解析部と、
前記解析部の解析結果に基づいて、前記道路に存在する段差を検知する立体物検知部と
を備えることを特徴とする処理装置。 - 前記特徴画像生成部は、前記一対の画像の視差を測定し、視差画像を生成するステレオマッチング部を含む
ことを特徴とする請求項1に記載の処理装置。 - 前記ステレオマッチング部は、前記一対の画像間の対応点を前記一対のカメラ同士を結ぶ方向に沿って探索するステレオマッチング処理を行って前記視差を測定し、
前記線分候補抽出部は、前記線分候補を、その傾きに応じて、前記対応点の探索方向に沿った方向である第1方向に延びる前記線分候補と、前記第1方向と垂直な第2方向に延びる前記線分候補と、前記第1方向及び前記第2方向に交差する第3方向に延びる前記線分候補とに分類し、
前記解析部は、前記段差候補が前記線分候補と重畳しない場合、又は、前記段差候補が前記第2方向に延びる前記線分候補と重畳する場合、前記段差候補の前記妥当性が高いと判断する
ことを特徴とする請求項2に記載の処理装置。 - 前記ステレオマッチング部は、前記一対の画像間の対応点を前記一対のカメラ同士を結ぶ方向に沿って探索するステレオマッチング処理を行って前記視差を測定し、
前記線分候補抽出部は、前記線分候補を、その傾きに応じて、前記対応点の探索方向に沿った方向である第1方向に延びる前記線分候補と、前記第1方向と垂直な第2方向に延びる前記線分候補と、前記第1方向及び前記第2方向に交差する第3方向に延びる前記線分候補とに分類し、
前記解析部は、
前記段差候補が前記第1方向又は前記第3方向に延びる前記線分候補と重畳する場合、前記段差候補の前記妥当性が低いと判断し、前記段差候補を構成する3次元点群の配置に基づいて前記段差候補が前記視差の誤測定によって抽出された可能性が有るかを解析し、
前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、前記視差に応じた距離を修正する
ことを特徴とする請求項2に記載の処理装置。 - 前記解析部は、前記第1方向又は前記第3方向に延びる前記線分候補と重畳する前記段差候補であって、前記段差候補を構成する3次元点群のそれぞれと前記カメラの視点とを通る複数の直線同士が互いに交差する場合、又は、前記複数の直線同士の間隔が不均一である場合、前記複数の直線を通る前記3次元点群により構成される前記段差候補を、前記視差の誤測定によって抽出された可能性が有ると判断する
ことを特徴とする請求項4に記載の処理装置。 - 前記解析部は、前記第1方向又は前記第3方向に延びる前記線分候補と重畳する前記段差候補であって、前記段差候補を構成する3次元点群の前記道路の路面に対する高さがランダムに上下に変化する場合、当該3次元点群により構成される前記段差候補を、前記視差の誤測定によって抽出された可能性が有ると判断する
ことを特徴とする請求項4に記載の処理装置。 - 前記ステレオマッチング部は、
前記一対の画像にマッチングウィンドウを設定して前記ステレオマッチング処理を行い、
前記マッチングウィンドウ内において前記第1方向に輝度変化を有するエッジの強度を前記第1方向に累積した累積値のヒストグラムと、前記エッジの前記強度を前記第2方向に累積した累積値のヒストグラムとを生成し、
生成された各ヒストグラムが有するピーク位置から、前記マッチングウィンドウ内の特徴量の重心位置を決定し、
前記解析部は、前記第1方向又は前記第3方向に延びる前記線分候補と重畳する前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、前記重心位置を用いて、前記距離を修正する
ことを特徴とする請求項4に記載の処理装置。 - 前記ステレオマッチング部は、前記一対の画像にマッチングウィンドウを設定して前記ステレオマッチング処理を行い、
前記解析部は、前記第1方向に延びる前記線分候補と重畳する前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、
前記第1方向に延びる前記線分候補の周囲にある前記第2方向に延びる前記線分候補が前記マッチングウィンドウ内に入るまで前記マッチングウィンドウの大きさを前記第2方向へ拡大し、前記マッチングウィンドウを再設定し、再設定された前記マッチングウィンドウを用いて、前記第1方向に延びる前記線分候補について前記ステレオマッチング処理を再度行い、
再度行われた前記ステレオマッチング処理の結果に応じて前記距離を修正する
ことを特徴とする請求項4に記載の処理装置。 - 前記ステレオマッチング部は、前記一対の画像の一方に設定されたマッチングウィンドウ内の特徴量と、前記一対の画像の他方に設定されたマッチングウィンドウ内の特徴量との類似度を計算して、前記ステレオマッチング処理を行い、
前記解析部は、前記第1方向又は前記第3方向に延びる前記線分候補と重畳する前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、
前記一対の画像の一方に設定された前記マッチングウィンドウと前記一対の画像の他方に設定された前記マッチングウィンドウとの何れかを、前記第2方向へ所定量だけずらして前記マッチングウィンドウを再設定し、再設定された前記マッチングウィンドウを用いて、前記第1方向又は前記第3方向に延びる前記線分候補について前記ステレオマッチング処理を再度行い、
再設定された前記マッチングウィンドウを用いた場合の前記類似度と、再設定される前の前記マッチングウィンドウを用いた場合の前記類似度とを比較し、比較結果に基づいて前記一対の画像を平行化し、前記距離を修正する
ことを特徴とする請求項4に記載の処理装置。 - 前記ステレオマッチング部は、前記一対の画像にマッチングウィンドウを設定して前記ステレオマッチング処理を行い、
前記解析部は、前記第1方向又は前記第3方向に延びる前記線分候補と重畳する前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、
前記第1方向又は前記第3方向に延びる前記線分候補において、前記マッチングウィンドウ内に存在するエッジのうちでエッジ強度が所定強度以上のエッジをマスクし、
マスクされた前記エッジを除いて、前記第1方向又は前記第3方向に延びる前記線分候補について前記ステレオマッチング処理を再度行い、
再度行われた前記ステレオマッチング処理の結果に応じて前記距離を修正する
ことを特徴とする請求項4に記載の処理装置。 - 前記ステレオマッチング部は、前記一対の画像の一方に設定されたマッチングウィンドウ内の特徴量と、前記一対の画像の他方に設定されたマッチングウィンドウ内の特徴量との類似度を計算して、前記ステレオマッチング処理を行い、
前記解析部は、前記第1方向又は前記第3方向に延びる前記線分候補と重畳する前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、
前記第1方向又は前記第3方向に延びる前記線分候補において、前記マッチングウィンドウ内に存在するエッジの角度を特定し、
特定された前記エッジの角度を前記特徴量として、前記第1方向又は前記第3方向に延びる前記線分候補について前記ステレオマッチング処理を再度行い、
再度行われた前記ステレオマッチング処理の結果に応じて前記距離を修正する
ことを特徴とする請求項4に記載の処理装置。 - 前記立体物検知部の検知結果に基づいて、前記車両の走行又は警報の報知を制御する制御情報を、前記車両の制御装置へ出力する警報制御部を更に備える
ことを特徴とする請求項1に記載の処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020029596A JP7225149B2 (ja) | 2020-02-25 | 2020-02-25 | 処理装置 |
PCT/JP2020/048700 WO2021171776A1 (ja) | 2020-02-25 | 2020-12-25 | 処理装置 |
US17/791,753 US11881034B2 (en) | 2020-02-25 | 2020-12-25 | Processing device |
DE112020005547.7T DE112020005547T5 (de) | 2020-02-25 | 2020-12-25 | Verarbeitungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020029596A JP7225149B2 (ja) | 2020-02-25 | 2020-02-25 | 処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021135596A JP2021135596A (ja) | 2021-09-13 |
JP7225149B2 true JP7225149B2 (ja) | 2023-02-20 |
Family
ID=77490835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020029596A Active JP7225149B2 (ja) | 2020-02-25 | 2020-02-25 | 処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11881034B2 (ja) |
JP (1) | JP7225149B2 (ja) |
DE (1) | DE112020005547T5 (ja) |
WO (1) | WO2021171776A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000331148A (ja) | 1999-05-19 | 2000-11-30 | Nissan Motor Co Ltd | 障害物検出装置 |
JP2014006885A (ja) | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | 段差認識装置、段差認識方法及び段差認識用プログラム |
JP2019148889A (ja) | 2018-02-26 | 2019-09-05 | 株式会社Soken | 道路境界検出装置 |
JP2019212154A (ja) | 2018-06-07 | 2019-12-12 | 株式会社Soken | 道路境界検出装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE454678B (sv) | 1984-09-12 | 1988-05-24 | Tetra Pak Ab | Maskin for tillverkning av forpackningsbehallare |
EP2602761A4 (en) * | 2010-08-03 | 2017-11-01 | Panasonic Intellectual Property Management Co., Ltd. | Object detection device, object detection method, and program |
JP2013134609A (ja) * | 2011-12-26 | 2013-07-08 | Toyota Central R&D Labs Inc | 縁石検出装置及びプログラム |
JP5829980B2 (ja) * | 2012-06-19 | 2015-12-09 | トヨタ自動車株式会社 | 路側物検出装置 |
CN103837139A (zh) * | 2012-11-23 | 2014-06-04 | 株式会社日立制作所 | 不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法 |
US9298993B2 (en) * | 2014-02-27 | 2016-03-29 | Xerox Corporation | On-street vehicle parking occupancy estimation via curb detection |
EP3143607A1 (en) * | 2014-05-14 | 2017-03-22 | Mobileye Vision Technologies Ltd. | Systems and methods for curb detection and pedestrian hazard assessment |
EP3007099B1 (en) * | 2014-10-10 | 2022-12-07 | Continental Autonomous Mobility Germany GmbH | Image recognition system for a vehicle and corresponding method |
JP6855325B2 (ja) | 2017-05-25 | 2021-04-07 | 京セラ株式会社 | 画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラム |
-
2020
- 2020-02-25 JP JP2020029596A patent/JP7225149B2/ja active Active
- 2020-12-25 US US17/791,753 patent/US11881034B2/en active Active
- 2020-12-25 DE DE112020005547.7T patent/DE112020005547T5/de active Pending
- 2020-12-25 WO PCT/JP2020/048700 patent/WO2021171776A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000331148A (ja) | 1999-05-19 | 2000-11-30 | Nissan Motor Co Ltd | 障害物検出装置 |
JP2014006885A (ja) | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | 段差認識装置、段差認識方法及び段差認識用プログラム |
JP2019148889A (ja) | 2018-02-26 | 2019-09-05 | 株式会社Soken | 道路境界検出装置 |
JP2019212154A (ja) | 2018-06-07 | 2019-12-12 | 株式会社Soken | 道路境界検出装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230051270A1 (en) | 2023-02-16 |
US11881034B2 (en) | 2024-01-23 |
JP2021135596A (ja) | 2021-09-13 |
DE112020005547T5 (de) | 2022-10-06 |
WO2021171776A1 (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6151150B2 (ja) | 物体検出装置及びそれを用いた車両 | |
CN109844762B (zh) | 车载用图像处理装置 | |
US10521676B2 (en) | Lane detection device, lane departure determination device, lane detection method and lane departure determination method | |
JP6662388B2 (ja) | 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム | |
JP4650079B2 (ja) | 物体検出装置、および方法 | |
JP3349060B2 (ja) | 車外監視装置 | |
US7899211B2 (en) | Object detecting system and object detecting method | |
JP6657789B2 (ja) | 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム | |
EP1383100A2 (en) | Local positioning apparatus and method therefor | |
US10949686B2 (en) | Image processing device and image processing method | |
CN107491065B (zh) | 利用障碍物的地面边界信息检测物体的侧面的方法和装置 | |
EP3282389B1 (en) | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program | |
US10672141B2 (en) | Device, method, system and computer-readable medium for determining collision target object rejection | |
JP2013140515A (ja) | 立体物検出装置及びプログラム | |
US11157757B2 (en) | Image processing device and image processing method | |
JP5974923B2 (ja) | 道路端検出システム、方法およびプログラム | |
JP2012150595A (ja) | 一時停止線検出装置及びプログラム | |
JP5888275B2 (ja) | 道路端検出システム、方法およびプログラム | |
JP7225149B2 (ja) | 処理装置 | |
US11861914B2 (en) | Object recognition method and object recognition device | |
JP2016162130A (ja) | 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム | |
US10339394B2 (en) | Step detection device and step detection method | |
JP3586938B2 (ja) | 車載用距離測定装置 | |
JP5746996B2 (ja) | 道路環境認識装置 | |
WO2023175741A1 (ja) | 外界認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7225149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |