JP6970577B2 - 周辺監視装置および周辺監視方法 - Google Patents

周辺監視装置および周辺監視方法 Download PDF

Info

Publication number
JP6970577B2
JP6970577B2 JP2017192069A JP2017192069A JP6970577B2 JP 6970577 B2 JP6970577 B2 JP 6970577B2 JP 2017192069 A JP2017192069 A JP 2017192069A JP 2017192069 A JP2017192069 A JP 2017192069A JP 6970577 B2 JP6970577 B2 JP 6970577B2
Authority
JP
Japan
Prior art keywords
parallax
distance
parallax value
value
error range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017192069A
Other languages
English (en)
Other versions
JP2019067150A (ja
Inventor
健 田邊
宏晃 伊藤
尚秀 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2017192069A priority Critical patent/JP6970577B2/ja
Priority to US16/142,499 priority patent/US10719949B2/en
Publication of JP2019067150A publication Critical patent/JP2019067150A/ja
Application granted granted Critical
Publication of JP6970577B2 publication Critical patent/JP6970577B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02Active or adaptive cruise control system; Distance control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/03Brake assistants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30Environment conditions or position therewithin
    • B60T2210/32Vehicle surroundings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

本発明は、対象物を異なる位置から撮影した複数の画像に基づいて、対象物の距離を算出して、車両の周辺を監視する周辺監視装置および周辺監視方法に関する。
対象物を異なる位置から撮影した複数の画像に基づいて視差値を算出し、視差値に基づいて対象物の距離を算出して、車両の周辺を監視する技術が知られている。
特許文献1には、車両に搭載したステレオカメラで撮影した1対の画像に基づいて視差値を算出して画像全体の距離分布を求め、この距離分布に基づいて算出した対象物の各部分の三次元位置情報を用いて、対象物の形状と位置とを検出する技術が記載されている。
特開平5−265547号公報
例えば、周辺監視装置を用いて車両の衝突回避制御を行う場合には、車両と対象物との距離が所定の距離よりも近くなった場合に衝突回避の指示を行う。周辺監視装置による距離の算出誤差を考慮して、衝突回避の指示を行う距離に対して奥側および手前側に距離についての誤差範囲が設定され、この距離の誤差範囲から換算された視差値の範囲が、許容される視差値の誤差範囲となる。
視差値のずれは、奥行方向について手前側または奥側に生じ得るが、視差値のずれ量が同じであっても、奥側に生じた場合には手前側に生じた場合よりも、距離のずれが大きくなる。
すなわち、距離の誤差範囲を手前側と奥側で同じに設定すると、許容される視差値の誤差範囲は手前側よりも奥側が小さくなる。そのため、視差値の誤差範囲の大きさが、距離の誤差範囲から換算された視差値の範囲の大きさに収まっているにも関わらず、視差値のずれが奥側に生じた際に距離の誤差範囲外となり、車両の衝突回避制御が行われない場合がある。
上記の実情に鑑み、本発明は、視差値のずれが生じる方向に関わらず、適切に車両の周辺を監視できる周辺監視装置および周辺監視方法を提供することを目的とする。
本発明は、撮像装置を用いて対象物を異なる位置から撮影した複数の画像に基づいて、前記対象物が存在する画素領域の視差値を算出する視差算出部と、前記撮像装置から前記対象物までの距離を算出する距離算出部と、を備える車両の周辺監視装置を提供する。この周辺監視装置では、前記距離算出部は、前記撮像装置から対象物まで距離の誤差範囲に対応する視差値の誤差範囲に基づいて前記視差算出部によって算出された視差値を大きくする視差補正部を備える。前記距離算出部は、前記視差補正部によって補正された視差値に基づいて前記撮像装置から前記対象物までの距離を算出する。
本発明によれば、視差補正部は、視差値の誤差範囲に基づいて、視差算出部によって算出された視差値を大きくするように補正する。視差値を大きくすることによって、視差値のずれが奥側に生じた場合と、手前側に生じた場合において、距離のずれに生じる差を緩和することができる。このため、従来よりも視差値の誤差範囲に余裕ができ、より適切に車両の周辺を監視することができる。
また、本発明は、上記の周辺監視装置によって実現可能な周辺監視方法を提供する。この周辺監視方法は、撮像装置を用いて対象物を異なる位置から撮影した複数の画像に基づいて、前記対象物が存在する画素領域の視差値を算出する視差算出ステップと、前記撮像装置から前記対象物までの距離を算出する距離算出ステップと、を含む。前記距離算出ステップは、前記撮像装置から対象物までの距離の誤差範囲に対応する視差値の誤差範囲に基づいて前記視差算出ステップによって算出された視差値を大きくする視差補正ステップを含む。前記距離算出ステップは、前記視差補正ステップによって補正された視差値に基づいて前記撮像装置から前記対象物までの距離を算出する。
実施形態の周辺監視装置を示すブロック図。 撮像装置から対象物までの距離と周辺監視装置によって算出される視差値との関係についての説明図。 実施形態に係る視差補正部が行う補正についての説明図。 実施形態の周辺監視方法を示すフローチャート。
図1に示すように、周辺監視装置10は、画像取得部100と、記憶部101と、視差算出部110と、距離算出部120と、判定部130とを備えている。周辺監視装置10は、A/D変換回路、I/O、CPU、RAM、ROM、画像メモリ等を含む電子制御ユニット(ECU)であり、CPUは、予め格納されたプログラムを実行することによって、上記の各部の機能を実現する。CPUに替えて、またはCPUとともに、デジタル処理回路を書き込んだFPGA(Field-Programmable Gate Array)等を備えていてもよい。
撮像装置21、22から出力される信号は、デジタル信号に変換されて、周辺監視装置10のCPUに入力される。周辺監視装置10は、入力された画像データに基づき視差値を算出し、視差値に基づいて撮像装置21,22から対象物までの距離を算出する。周辺監視装置10は、算出した距離等に基づいて、画像データや制御信号を運転制御装置31、表示装置32、報知装置33等の出力装置30に出力する。
本実施形態では、周辺監視装置10を用いて運転制御装置31に対して車両の衝突回避指示を行う場合を例示して具体的に説明する。周辺監視装置10は、距離算出部120によって撮像装置21,22から対象物までの距離Zを算出し、この算出した距離Zに基づいて判定部130によって衝突回避の要否を判定する。
撮像装置21,22は、CCDやCMOSセンサ、あるいは赤外線カメラ等のイメージセンサを内蔵したステレオカメラである。撮像装置21、22は、車両のルームミラーの背後に、車幅方向において所定の基線長で取り付けられている。撮像装置21、22は、通常の走行状態において車両前方の道路や先行車両等を含む周辺環境を撮影する。撮像装置21及び撮像装置22は、互いに同期が取れており、同一タイミングで周辺環境を撮影する。撮像装置21から基準画像Toが得られ、撮像装置22から参照画像Tcが得られて、一対のアナログ画像To,Tcは、画像取得部100へ出力される。
画像取得部100は、1対の撮像装置21、22が撮影した画像を取得し、これによって対象物を異なる位置から撮影した複数の画像を取得することができる。画像取得部100は、A/D変換回路により、撮像装置21,22から入力された一対のアナログ画像To,Tcを、それぞれ所定の輝度階調(例えば、256階調のグレースケール)のデジタル画像に変換し、視差算出部110に出力する。このデジタル化された画像データは、例えば、画像の左下隅を原点として、水平方向をx軸、垂直方向をy軸とするx−y座標系で表現される。
記憶部101には、画像取得部100が取得した画像、視差算出部110が算出した視差値d等に関するデータが必要に応じて記憶される。記憶部101には、さらに、距離算出部120において、視差値dを補正するために用いられる補正パラメータk等のデータが記憶されてもよい。
視差算出部110は、画像取得部100から入力された1対の画像To,Tcにおける視差値dを算出して、距離算出部120に出力する。視差算出部110は、1対の画像To,Tcの対応点ごとに参照画像Tc上に探索領域を設定して、探索領域内で対応点ごとに視差値dを算出する。なお、探索領域とは、基準画像Toの所定の画素領域を探索するために、参照画像Tcの画面上に設定され、対応点探索に使用される領域であり、通常、探索対象となる基準画像To上の画素領域よりも広い画素領域が含まれるように設定される。
視差算出部110は、基準画像Toおよび参照画像Tcを、所定の画素領域に分割する。そして、基準画像Toの各画素領域PBoごとに、参照画像Tc中においてその画素領域PBoに対応するエピポーララインEPLを設定し、画素領域PBoと、エピポーララインEPL上に存在する参照画像Tc中の画素領域PBcの輝度パターンとを比較する。画素領域PBoと画素領域PBcの比較に際しては、例えば、SAD(sum of absolute difference)、SSD(Sum of Squared Difference)等の評価関数を用いることができる。また、マッチング手法としては、限定されないが、SGM(Semi-Global Matching)法を好適に用いることができる。画像全体について対応点ごとに算出された複数の視差値dは、記憶部101に記憶されてもよい。
距離算出部120は、視差補正部122と、距離補正部123とを備えている。視差補正部122は、予め記憶部101に記憶されている補正パラメータkを用いて、視差値dを補正してもよい。または、視差補正部122によって、補正パラメータkが算出されてもよい。さらには、視差補正部122によって、撮像装置21,22から対象物までの距離Zについて予め設定された距離Zの誤差範囲に対応する視差値dの誤差範囲が算出されてもよい。
以下、補正パラメータkおよびその算出方法について説明する。三角測量法に従えば、撮像装置21,22から対象物までの距離Ziと、周辺監視装置が算出する視差値diとの関係は、下記式(1)によって表すことができる。なお、Bは撮像装置の基線長であり、Fは撮像装置の焦点距離である。
Zi=B×F/di … (1)
図2は、周辺監視装置10が算出する視差値dと、視差値dを上記式(1)に代入して得られた距離Zとの関係を示しており、曲線1は、Z=B×F/dの関係式によって示すことができる。
撮像装置21,22の配置ずれなどによって、視差値dにずれが生じると、周辺監視装置10によって算出される距離Zについても、撮像装置21,22から対象物までの実際の距離Zo(以下、距離真値Zoという)に対して、ずれを含むものになる。
このため、衝突回避の指示は、例えば、距離真値Zoに対して誤差±ΔZ%を含んだ距離範囲で行われるように設定される。すなわち、撮像装置21,22から対象物までの距離の誤差範囲とは、周辺監視装置10について許容される距離の誤差範囲であり、周辺監視装置10が監視する対象物や出力装置30に対して行う処理の内容に応じて適宜設定される距離の範囲である。具体的には、図2に示すように、周辺監視装置10の算出する距離Zの誤差を考慮して、距離真値Zoに対して所定の誤差範囲±ΔZ%が設定される。すなわち、距離Zn(=Zo(1−ΔZ/100))を下限値とし、距離Zf(=Zo(1+ΔZ/100))を上限値とする距離の誤差範囲(以下、誤差範囲Zn〜Zfという)が設定され、この距離の誤差範囲内で衝突回避の指示が行われる。なお、距離Znは車両(すなわち、撮像装置221,22)に近い手前側の距離に関する閾値であり、距離Zfは車両から遠い奥側の距離に関する閾値である。距離Zn,Zfは、記憶部101に予め記憶されていてもよい。
許容される視差値の誤差範囲は、距離真値Zoに対して設定された誤差範囲から算出することができる。すなわち、上記式(1)の距離Zに距離の閾値Zn,Zfを代入して変形した下記式(2)(3)に基づいて、視差値の閾値df、dnを算出する。そして、視差値dfを視差値の誤差範囲の下限値とし、視差値dnを視差値の誤差範囲の上限値として、視差値の誤差範囲(以下、視差値の許容誤差範囲df〜dnという)を算出する。すなわち、視差値の許容誤差範囲df〜dnは、設定された距離の誤差範囲から上記式(1)に基づいて算出される視差の範囲である。なお、視差値df,dnは、視差補正部122によって算出されてもよいし、記憶部101に予め記憶されていてもよい。
df=B×F/Zf=B×F/{Zo(1+ΔZ/100)} … (2)
dn=B×F/Zn=B×F/{Zo(1−ΔZ/100)} … (3)
また、上記式(1)に距離真値Zoを代入することによって、視差真値doを算出することができる。ここで、視差真値doは、撮像装置21,22の配置ずれ等が無い場合に、三角測量法に従い、距離真値Zoに基づいて換算された視差値である。
図2に示すように、視差真値doは、視差値の許容誤差範囲df〜dn内に存在するが、視差値dfと視差真値doとの差Δdfは、視差値dnと視差真値doとの差Δdnよりも小さい(Δdf<Δdn)。図2に示すように、視差真値doは、視差値の許容誤差範囲df〜dn内において、その中央よりも左側、すなわち、視差値dの小さい側に片寄った値になっている。
すなわち、画像の奥行方向について、奥側では、距離のずれ量ΔZに対して視差値のずれ量Δdfが比較的小さく、手前側では、距離のずれ量ΔZに対して視差値のずれ量Δdnが比較的大きい。言い換えると、視差値dのずれ量が同じであっても、奥側に生じた場合には距離Zのずれが大きくなり、手前側に生じた場合には距離Zのずれが小さくなる。
一方で、撮像装置21,22の配置ずれなどによって視差値dにずれが生じる際に、その誤差範囲は、奥側方向と手前側方向とで同等となることが多い。この視差値dについて実際に生じ得る誤差範囲(以下、視差値の実誤差範囲という)は、上記式(1)に基づいて視差値dを距離Zに換算した場合に、換算した距離Zの値が距離の誤差範囲Zn〜Zf内に含まれる必要がある。
視差真値doに対して、奥側と手前側とで視差値のずれ量が同じ値(例えばΔd)となる場合を例示して説明する。図2に示すように、Δdf<Δdnであるため、実誤差範囲の視差値dのずれ量Δdは、奥側および手前側に±Δdf以下である必要がある。これは、ずれ量ΔdがΔdfよりも大きいと、視差値が奥側にずれた場合に、距離の誤差範囲Zn〜Zfの範囲外になるためである。一方で、視差値dのずれが手前側に生じた際、例えば、(do+Δdf)<d≦dnである場合でも、視差値dに基づいて算出された距離Zは距離の誤差範囲Zn〜Zf内に含まれる。
そこで、図3に矢印で示すように、視差補正部122は、視差値の許容誤差範囲df〜dnに基づいて、視差算出部110によって算出された視差値dを大きくするように補正する。すなわち、記憶部101に記憶される補正パラメータkは、視差値dをより大きい値に補正可能なパラメータとして設定されている。例えば、補正パラメータkを用いて、視差値dを視差値(k×d)に補正する場合、補正パラメータkはk>1を満たす所定の値に設定される。これによって、視差値(k×d)は視差値dより大きい値となる。図2,3に示すように、視差真値doは、視差値の許容誤差範囲df〜dnの中心dcよりも視差値が小さい側に片寄っている。このため、視差補正部122は、矢印に示す視差真値doを中心dcに近づける補正と同様に、視差値dが大きくなるように補正する。これによって、視差値dのずれが奥側に生じた場合と、手前側に生じた場合において、視差値dに基づいて算出される距離Zのずれに生じる差を緩和することができる。
補正パラメータkは、上述のように、視差真値doと、視差値の許容誤差範囲df〜dnとに基づいて、算出された視差値dを大きくするように設定されることが好ましく、視差真値doを中心dcに近づける補正方法と同様の方法で、視差値dを大きく補正するように設定されることがより好ましい。さらには、視差補正部122は、補正パラメータkとして、視差真値doをdf〜dnの中心dcに変換する補正パラメータkoを算出し、補正パラメータkoを用いて算出された視差値dを補正することが特に好ましい。図3に示すように、視差真値doをdf〜dnの中心dcに変換した場合には、視差値dの実誤差範囲(視差値dc−Δdを下限値とし、視差値dc+Δdを上限値とする誤差範囲)の大きさが、視差値dの許容誤差範囲df〜dnの大きさ以内であれば、実誤差範囲をdf〜dnに収めることができる。
補正パラメータkの算出方法として、補正パラメータkoを算出する方法を例示して具体的に説明する。補正パラメータkoについて、ko×do=dcと設定すると、下記式(4)(5)を用いて、補正パラメータkoを算出することができる。視差補正部122は、視差算出部110によって算出された視差値dに補正パラメータkを乗じることによって、視差値dを視差値(ko×d)に補正する。図2,3に示すように、dc>doであるから、下記式(5)よりko=dc/do>1であり、視差値(ko×d)は視差値dより大きい値となる。
dc=(df+dn)/2 … (4)
ko=dc/do=(df+dn)/(B×F/Zo) … (5)
距離補正部123は、視差補正部122によって補正された視差値k×dを用いて、三角測量法に基づく下記式(6)を用いて、撮像装置21,22から対象物までの距離Zを算出する。上述のように、補正パラメータkは、k=koであることが特に好ましい。
Z=(B×F)/(k×d) … (6)
判定部130は、距離算出部120が算出した距離Zに基づいて、衝突回避の要否を判定する。具体的には、算出した距離Zについて、Zn≦Z≦Zfの範囲内であることを条件として、衝突回避の指示を出力装置30に出力する。
判定部130は、例えば、プリクラッシュセーフティシステム(PCSS:Pre-crash safety system)の一部として機能することができる。なお、判定部130は、撮像装置21,22に撮影された対象物の識別情報と、距離算出部120が算出した距離Zとの双方に基づいて、衝突回避の要否を判定してもよい。具体的には、判定部130は、周辺監視装置10の記憶部(RAM等)に予め記憶された物体識別用の辞書情報に基づいて、撮像装置21,22が撮影した画像データ上に検出された対象物を判定してもよい。この辞書情報は、例えば自動車、二輪車、歩行者といった物体、ガードレールや電柱、道路標識等の固定物等、物体の種類に応じて個別に用意された物体識別用の辞書情報であってもよい。
図4は、周辺監視装置10によって実行される周辺監視方法の一例を示すフローチャートである。このフローチャートに示される処理は、所定の周期で繰り返し実行される。
まず、画像取得ステップ(ステップS101)が実行され、画像取得部100は、撮像装置21,22により撮像された1対の画像データ(基準画像To,参照画像Tc)を取得する。この画像データは、撮像装置21,22によって同時刻に対象物を異なる位置から撮影した1対の画像データである。
次に、視差算出ステップ(ステップS102)が実行され、視差算出部110は、撮像装置21,22を用いて対象物を異なる位置から撮影した複数の画像To,Tcに基づいて、対象物が存在する画素領域の視差値dを算出する。この視差値dは、例えば、対象物が存在する画素領域について対応点ごとに視差値を算出し、対応点ごとの視差値を平均した平均値であってもよい。
次に、距離算出ステップ(ステップS104〜S106)が実行され、距離算出部120は、撮像装置21,22から対象物までの距離Zを算出する。
まず、視差補正ステップ(ステップS104,S105)が実行され、視差補正部122は、上記式(4)(5)に従い、記憶部101に記憶されている補正パラメータkを読み出す(ステップS104)。次に、視差補正部122は、視差算出部110によって算出された視差値dに補正パラメータk(k>1)を乗算し、視差値k×dに補正する(ステップS105)。なお、視差値d<視差値k×dであり、補正によって、視差値dは大きい値に変換される。
次に、距離算出ステップ(ステップS106)が実行され、距離補正部123は、上記式(6)に基づいて、補正後の視差値(k×d)を用いて、撮像装置21,22から対象物までの距離Zを算出する。
次に、判定ステップ(ステップS107、S108)が実行され、判定部130は、ステップS106において算出された距離Zについて、Zn≦Z≦Zfであるか否かを判定する(ステップS107)。Zn≦Z≦Zfである場合には、判定部130は、出力装置30に衝突回避の指示信号を出力する(ステップS108)。Zn≦Z≦Zfでない場合には、処理を終了する。
以上説明したように、本実施形態に係る周辺監視装置10によれば、視差補正部122は、視差値dの誤差範囲に基づいて、視差算出部110によって算出された視差値dを大きくするように補正する。視差値dを大きくすることによって、視差値dのずれが奥側に生じた場合と、手前側に生じた場合において、距離Zのずれに生じる差を緩和することができる。このため、従来よりも視差値dの誤差範囲に余裕ができ、適切に車両の周辺を監視することができる。
また、視差補正部122は、補正パラメータkとして、例えば、上記式(5)に示す補正パラメータkoを用いて、視差算出部110によって算出された視差値dを補正することが好ましい。この場合、視差値dの誤差により生じる距離Zの誤差を、手前側と奥側でほぼ同等にすることができ、視差値dのずれが生じる方向に関わらず、適切に車両の周辺を監視できる効果をより顕著に得ることができる。
上記の実施形態では、主に、補正パラメータkが記憶部101に記憶されている場合を例示して説明したが、これに限定されない。上述のように、視差補正部122が補正パラメータkを算出してもよい。視差補正部122が補正パラメータkを算出する方法は、上述の補正パラメータkの算出方法と同様である。また、距離Zの誤差範囲に対応する視差値dの誤差範囲の算出についても、視差補正部122が実行してもよい。
視差補正部122において補正パラメータkを算出する場合には、図4に示す補正パラメータkを読み出すステップS104に替えて、補正パラメータkを算出する補正パラメータ算出ステップが実行される。
具体的には、例えば、まず、誤差算出ステップが実行され、視差補正部122は、上記式(2)(3)に従い、撮像装置から対象物までの距離Zの誤差範囲(距離Zn〜距離Zf)に基づいて、視差値dの許容誤差範囲(視差値df〜視差値dn)を算出する。次に、パラメータ算出ステップが実行され、視差補正部122は、上記式(4)(5)に従い、視差値dの許容誤差範囲df〜dnに基づいて、補正パラメータkを算出する。なお、距離Zの誤差範囲Zn〜Zfは、予め設定されており、例えば、その上限値Znと下限値Zf、および距離真値Zoが周辺監視装置10の記憶部101に記憶されていてもよい。また、距離Zの誤差範囲に対応する視差値dの許容誤差範囲が記憶部101に記憶されていてもよく、その場合には、誤差算出ステップに替えて、視差値dの許容誤差範囲を記憶部101から読み出す、誤差読み出しステップが実行される。
なお、上記の実施形態では、撮像装置と、報知装置、表示装置、運転制御装置等の出力装置とを含まない周辺監視装置を例示して説明したが、これに限定されない。周辺監視装置は上記の装置等を含んでいてもよく、さらには、一体化されていてもよい。
10…周辺監視装置、21,22…撮像装置、110…視差算出部、120…距離算出部、122…視差補正部

Claims (3)

  1. 撮像装置(21,22)を用いて対象物を異なる位置から撮影した複数の画像に基づいて、前記対象物が存在する画素領域の視差値を算出する視差算出部(110)と、
    前記撮像装置から前記対象物までの距離を算出する距離算出部(120)と、を備え、
    前記距離算出部は、
    前記撮像装置から前記対象物までの実際の距離である距離真値に基づいて算出された視差真値と、前記撮像装置から前記対象物までの距離の誤差範囲に対応する視差値の誤差範囲に基づいて前記視差算出部によって算出された視差値を大きくする視差補正部(122)を備え、
    前記距離算出部は、前記視差補正部によって補正された視差値に基づいて前記撮像装置から前記対象物までの距離を算出する、車両の周辺監視装置(10)。
  2. 前記視差補正部は、前記視差真値を前記視差の誤差範囲の中心に変換する補正パラメータを用いて前記視差算出部によって算出された視差値を補正する請求項に記載の周辺監視装置。
  3. 撮像装置を用いて対象物を異なる位置から撮影した複数の画像に基づいて、前記対象物が存在する画素領域の視差値を算出する視差算出ステップ(S102)と、
    前記撮像装置から前記対象物までの距離を算出する距離算出ステップ(S103〜S106)と、を含み、
    前記距離算出ステップは、
    前記撮像装置から前記対象物までの実際の距離である距離真値に基づいて算出された視差真値と、前記撮像装置から前記対象物までの距離の誤差範囲に対応する視差値の誤差範囲に基づいて前記視差算出ステップによって算出された視差値を大きくする視差補正ステップ(S104,S105)を含み、
    前記距離算出ステップは、前記視差補正ステップによって補正された視差値に基づいて前記撮像装置から前記対象物までの距離を算出する、車両の周辺監視方法。
JP2017192069A 2017-09-29 2017-09-29 周辺監視装置および周辺監視方法 Active JP6970577B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017192069A JP6970577B2 (ja) 2017-09-29 2017-09-29 周辺監視装置および周辺監視方法
US16/142,499 US10719949B2 (en) 2017-09-29 2018-09-26 Method and apparatus for monitoring region around vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017192069A JP6970577B2 (ja) 2017-09-29 2017-09-29 周辺監視装置および周辺監視方法

Publications (2)

Publication Number Publication Date
JP2019067150A JP2019067150A (ja) 2019-04-25
JP6970577B2 true JP6970577B2 (ja) 2021-11-24

Family

ID=65897836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017192069A Active JP6970577B2 (ja) 2017-09-29 2017-09-29 周辺監視装置および周辺監視方法

Country Status (2)

Country Link
US (1) US10719949B2 (ja)
JP (1) JP6970577B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6970577B2 (ja) * 2017-09-29 2021-11-24 株式会社デンソー 周辺監視装置および周辺監視方法
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
DE102019212021B4 (de) * 2019-08-09 2024-02-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
CN111835811B (zh) * 2019-10-12 2023-07-18 广州骑安科技有限公司 用于校正车辆位置的方法、电子设备和计算机可读介质
CN111986248B (zh) * 2020-08-18 2024-02-09 东软睿驰汽车技术(沈阳)有限公司 多目视觉感知方法、装置及自动驾驶汽车
CN112767426B (zh) * 2021-01-07 2023-11-17 珠海格力电器股份有限公司 一种目标匹配方法、装置和机器人

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP4248212B2 (ja) * 2002-09-24 2009-04-02 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US7486803B2 (en) * 2003-12-15 2009-02-03 Sarnoff Corporation Method and apparatus for object tracking prior to imminent collision detection
JP4914234B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 先行車両検出装置
JP5280768B2 (ja) * 2008-08-18 2013-09-04 本田技研工業株式会社 車両周辺監視装置
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
ATE527620T1 (de) * 2009-02-17 2011-10-15 Autoliv Dev Verfahren und system zur automatischen detektion von objekten vor einem kraftfahrzeug
US9113142B2 (en) * 2012-01-06 2015-08-18 Thomson Licensing Method and device for providing temporally consistent disparity estimations
US10178373B2 (en) * 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
CN105163103B (zh) * 2014-06-13 2017-10-27 株式会社理光 用层叠结构来表示立体图像以分析图像中的目标的技术
TWI500904B (zh) * 2014-09-18 2015-09-21 Vivotek Inc 立體攝影機及用來測量立體攝影機與基準面之距離的自動測距方法
KR102275310B1 (ko) * 2017-04-20 2021-07-12 현대자동차주식회사 자동차 주변의 장애물 검출 방법
JP6970577B2 (ja) * 2017-09-29 2021-11-24 株式会社デンソー 周辺監視装置および周辺監視方法
JP6944328B2 (ja) * 2017-09-29 2021-10-06 株式会社デンソー 車両の周辺監視装置と周辺監視方法

Also Published As

Publication number Publication date
JP2019067150A (ja) 2019-04-25
US10719949B2 (en) 2020-07-21
US20190102898A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
JP6970577B2 (ja) 周辺監視装置および周辺監視方法
EP3114430B1 (en) Calibration method, calibration device, and computer program product
US6381360B1 (en) Apparatus and method for stereoscopic image processing
JP2008039491A (ja) ステレオ画像処理装置
US20150042800A1 (en) Apparatus and method for providing avm image
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
JP5752618B2 (ja) ステレオ視差算出装置
KR101449160B1 (ko) 차량의 사각지대 정보 제공 장치 및 방법
JP6975003B2 (ja) 周辺監視装置およびその校正方法
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP6035774B2 (ja) 画像処理装置、画像処理方法、及び車両
JP6071422B2 (ja) 画像処理装置
JP2019061303A (ja) 車両の周辺監視装置と周辺監視方法
US10789732B2 (en) Apparatus and method for monitoring surroundings of vehicle
JP6241083B2 (ja) 撮像装置及び視差検出方法
JP2006072757A (ja) 物体検出装置
WO2015182771A1 (ja) 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
JP6985872B2 (ja) 車両の周辺監視装置と周辺監視方法
JP2018116620A (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP2019164837A (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP4435525B2 (ja) ステレオ画像処理装置
WO2020121757A1 (ja) 画像処理装置
KR20120017743A (ko) 차량 전방위 감시를 위한 영상 보정 방법
EP4030746A1 (en) Image processing device and stereo camera device using same
JP4817901B2 (ja) 相関評価システムおよび相関評価方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211029

R150 Certificate of patent or registration of utility model

Ref document number: 6970577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150