WO2018016599A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2018016599A1
WO2018016599A1 PCT/JP2017/026327 JP2017026327W WO2018016599A1 WO 2018016599 A1 WO2018016599 A1 WO 2018016599A1 JP 2017026327 W JP2017026327 W JP 2017026327W WO 2018016599 A1 WO2018016599 A1 WO 2018016599A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
width
vehicle
captured image
lane width
Prior art date
Application number
PCT/JP2017/026327
Other languages
English (en)
French (fr)
Inventor
鈴木　輝彦
Original Assignee
いすゞ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by いすゞ自動車株式会社 filed Critical いすゞ自動車株式会社
Priority to CN201780044971.8A priority Critical patent/CN109478336B/zh
Priority to EP17831115.5A priority patent/EP3489899A4/en
Priority to US16/318,932 priority patent/US10769815B2/en
Publication of WO2018016599A1 publication Critical patent/WO2018016599A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11—Pitch movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method that correct a deviation in the width of a detected lane.
  • Patent Document 1 discloses a technique for obtaining final road information based on first road information obtained based on map information and second road information obtained using an imaging device. Yes.
  • This disclosure provides a technique for improving the accuracy of road information acquired using a camera or the like.
  • the image processing apparatus is a photographic image in which the front of the vehicle is photographed based on the relative relationship between the length of the subject in the photographic image and the number of pixels constituting the photographic image.
  • a lane width calculation unit that calculates a width of a lane in which the vehicle travels from an image, a position information acquisition unit that acquires information indicating the position of the vehicle, and the vehicle based on map data based on information indicating the position of the vehicle
  • a lane width acquisition unit that acquires information indicating the width of the lane on which the vehicle travels, a width of the lane calculated by the lane width calculation unit, and a width of the lane acquired from the map data by the lane width acquisition unit
  • a scale correction unit that corrects the relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image when the difference is larger than a predetermined value that serves as a guide for correcting the error; Prepare.
  • the scale correction unit is configured such that a difference between the lane width calculated by the lane width calculation unit and the lane width acquired by the lane width acquisition unit is longer than a predetermined period and larger than the predetermined value.
  • the relative relationship between the length of the subject in the photographed image and the number of pixels constituting the photographed image may be corrected.
  • the predetermined value may be determined based on the width of the lane acquired by the lane width acquisition unit and the vehicle width of the vehicle.
  • the predetermined value is determined to be smaller as the difference between the width of the lane acquired by the lane width acquisition unit and the vehicle width of the vehicle becomes smaller.
  • an image processing method in which a front of a vehicle in a traveling direction is captured based on a relative relationship between the length of a subject in a captured image and the number of pixels constituting the captured image.
  • Calculating a width of a lane in which the vehicle travels from an image obtaining information indicating the position of the vehicle, and information on the lane in which the vehicle travels from map data based on the information indicating the position of the vehicle
  • the captured image is acquired. Correcting the relative relationship between the length of the subject inside and the number of pixels constituting the photographed image.
  • FIG. 1 (a) and FIG.1 (b) are figures which show the picked-up image image
  • FIG. 2 is a diagram illustrating a configuration of the image processing apparatus according to the embodiment.
  • FIG. 3 is a diagram in which the lane width calculated by the lane width calculation unit at each time point is plotted.
  • FIG. 4 is a flowchart illustrating a processing flow of the image processing apparatus.
  • FIG. 1 is a diagram illustrating a captured image in which the front of the vehicle in the traveling direction is captured.
  • FIG. 1A and FIG. 1B a traveling lane and a pixel P that are separated by a lane marking C are depicted.
  • FIG. 1A and FIG. 1B a region where a captured image is captured is different.
  • the camera that captures the captured image in FIG. 1B is faced downward from the setting of the camera that captures the captured image in FIG. Accordingly, the captured image of FIG. 1A is taken farther than the captured image of FIG.
  • the image processing apparatus calculates, for example, the size or length of the subject based on the number of pixels that the subject occupies in the captured image. As can be seen from FIGS. 1A and 1B, when the orientation of the camera changes due to vibration or the like, the number of pixels corresponding to the lane width changes, and the image processing apparatus cannot calculate the correct lane width. . If the image processing device cannot calculate the correct lane width, for example, the calculation accuracy of the curvature of the curve along which the vehicle travels may be reduced, and the image processing device may not be able to effectively perform steering support during curve driving.
  • the image processing apparatus When the difference between the lane width calculated from the captured image and the lane width acquired from the map data is larger than a predetermined value that serves as a guide for correcting the error, the image processing apparatus according to the embodiment The relative relationship between the length of the subject and the number of pixels constituting the captured image is corrected. By doing so, the accuracy of road information acquired by the vehicle using a camera or the like can be improved.
  • the method for detecting the width of the lane is not limited to the use of a camera as long as the width of the lane can be detected.
  • the image processing apparatus according to the embodiment will be described below with reference to FIG.
  • FIG. 2 is a diagram illustrating a configuration of the image processing apparatus 1 according to the embodiment.
  • the image processing apparatus 1 includes a storage unit 2, a control unit 3, a camera 4, and a GPS (Global Positioning System) sensor 5.
  • the control unit 3 is an ECU (Electronic Control Unit), for example, and is connected to the storage unit 2 and the camera 4 in a wired or wireless manner.
  • the camera 4 captures a road ahead in the traveling direction of the vehicle.
  • the GPS sensor 5 acquires vehicle position information.
  • the storage unit 2 includes, for example, a ROM (Read Only Memory) in which a program executed by the control unit 3 is recorded and a RAM (Random Access Memory) in which data is temporarily recorded.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • map data including information related to the width of the lane of the road on which the vehicle travels is recorded.
  • the ROM records the size of an error serving as a guideline for correcting the relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image.
  • the RAM the relative relationship between the length of the subject in the photographed image and the number of pixels constituting the photographed image is corrected and recorded each time.
  • a captured image captured by the camera 4 is recorded in the RAM.
  • the storage unit 2 may further include an SSD (Solid State Drive) or an HDD (Hard Disk Drive), and the map data may be recorded on the SSD or HDD.
  • SSD Solid State Drive
  • HDD Hard Disk Drive
  • the relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image after error correction is also recorded in the same SSD or HDD, so that the lane of the lane is corrected with the scale corrected even after the engine is stopped.
  • the width can be calculated.
  • the control unit 3 functions as a lane width calculation unit 6, a position information acquisition unit 7, a lane width acquisition unit 8, and a scale correction unit 9 by executing a program recorded in the storage unit 2.
  • the lane width calculation unit 6 acquires a captured image obtained by capturing the front in the traveling direction of the vehicle from the camera 4 and calculates the width of the lane in which the vehicle travels from the captured image. Specifically, the lane width calculation unit 6 counts the number of pixels existing from one pixel on the lane line to another on the lane line as shown in FIG. The width of the lane is calculated based on the relative relationship with the distance.
  • the lane width calculation unit 6 calculates that the width of the lane is 3 m if there is 300 pixels between the lane lines shown in the photographed image when the length is determined to be 1 cm per pixel. To do.
  • the lane width calculation unit 6 records the calculated lane width in the storage unit 2 and notifies the scale correction unit 9 of it. Note that the width of the lane may be arbitrarily defined.
  • the lane width calculation unit 6 may measure the lane width from the outside of the lane marking having a thickness.
  • the lane width calculation unit 6 may measure the lane width from the center of the lane marking. Further, the lane width calculation unit 6 may measure the lane width from the inside of the lane marking.
  • the lane marking itself is detected based on a known method, for example.
  • the position information acquisition unit 7 acquires information indicating the position of the vehicle from the GPS sensor 5.
  • the position information acquisition unit 7 notifies the lane width acquisition unit 8 after acquiring information related to the position of the vehicle.
  • the lane width acquisition unit 8 acquires the width of the lane in which the vehicle travels from the map data recorded in the storage unit 2 based on the information indicating the position of the vehicle notified from the position information acquisition unit 7.
  • the lane width acquisition unit 8 records the lane width acquired from the map data in the storage unit 2 and notifies the scale correction unit 9 of it.
  • the scale correction unit 9 is based on a predetermined value that is an indication that the absolute value of the difference between the lane width calculated by the lane width calculation unit 6 and the lane width acquired from the map data by the lane width acquisition unit 8 is a standard for correcting the error. Is also larger, the relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image is corrected.
  • the predetermined value is, for example, the same as the thickness of the lane marking or 10 cm.
  • the lane width calculation unit 6 calculates the lane width. Is calculated to be 2.5 m.
  • the error between the lane width calculated by the lane width calculation unit 6 and the lane width acquired by the position information acquisition unit 7 is 50 cm. It becomes.
  • the scale correcting unit 9 corrects the relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image.
  • the scale correction unit 9 corrects the relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image, for example, corresponding to 1.2 cm per pixel, and the storage unit 2. To record.
  • the predetermined value may be determined based on the lane width acquired by the lane width acquisition unit 8 and the vehicle width of the vehicle. For example, the predetermined value may be determined to be smaller as the difference between the lane width acquired by the lane width acquisition unit 8 and the vehicle width of the vehicle becomes smaller.
  • the image processing apparatus 1 can detect the lane width with high accuracy and more effectively execute the lane keeping support.
  • the predetermined value may be determined to be larger as the difference between the lane width acquired by the lane width acquisition unit 8 and the vehicle width of the vehicle increases, for example.
  • the difference between the lane width calculated by the lane width calculation unit 6 and the lane width acquired by the lane width acquisition unit 8 from the map data is a small value
  • the length of the subject in the captured image and the captured image are calculated.
  • the relative relationship with the number of pixels constituting the pixel is not corrected.
  • the scale correcting unit 9 reduces the chance of correcting the relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image.
  • the driver receives lane keeping support for the same operation over a long period of time, the driving experience is improved.
  • the predetermined value may be changed according to the thickness of the partition line detected from the captured image. For example, the predetermined value may be a smaller value as the lane marking is thinner. If the lane line is thin, there is a high possibility that the vehicle will get over the lane line, that is, depart from the lane. Therefore, when the lane marking is thin, even if the error is small, the image processing apparatus 1 corrects the relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image. Lane maintenance support can be executed effectively.
  • the scale correction unit 9 When the difference between the lane width calculated by the lane width calculation unit 6 and the lane width acquired by the lane width acquisition unit 8 is longer than a predetermined period and larger than the predetermined value, the scale correction unit 9 The relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image may be corrected. This will be described with reference to FIG.
  • FIG. 3 is a diagram in which the lane width calculated by the lane width calculation unit 6 at each time point is plotted.
  • the vertical axis indicates the lane width
  • the horizontal axis indicates time.
  • the lane width acquired by the lane width acquisition unit 8 from the map data is a value represented by a solid line
  • the predetermined value indicating an allowable error is represented by a width between a solid line and a broken line in FIG.
  • the scale correction unit 9 when the lane width calculated by the lane width calculation unit 6 deviates from an area sandwiched between the broken line and the broken line from a certain time, and the situation continues for a predetermined time, the scale correction unit 9 Then, the relative relationship between the length of the subject in the photographed image and the number of pixels constituting the photographed image is corrected.
  • the said predetermined period is a period longer than the period considered to be passing through the distorted location of the road where a vehicle drive
  • the scale correcting unit 9 captures the length of the subject in the captured image and the image.
  • the relative relationship with the number of pixels constituting the image is not corrected. Therefore, it is possible to prevent the relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image from being erroneously corrected even though the position of the camera that captures the captured image is not shifted. be able to.
  • FIG. 4 is a flowchart showing a processing flow of the image processing apparatus 1.
  • the flowchart starts from a process in which the lane width calculation unit 6 calculates the lane width based on the captured image (S41).
  • the position information acquisition unit 7 acquires the position information of the vehicle (S42).
  • the lane width acquisition unit 8 acquires the lane width from the map data based on the vehicle position information (S43).
  • the image processing apparatus 1 starts the process again from S41.
  • the scale correction unit 9 determines the length of the subject in the captured image and the shooting. The relative relationship with the number of pixels constituting the image is corrected.
  • the difference between the lane width calculated by the lane width calculation unit 6 and the lane width acquired from the map data by the lane width acquisition unit 8 corrects the error. Is larger than a predetermined value, the relative relationship between the length of the subject in the captured image and the number of pixels constituting the captured image is corrected.
  • the image processing apparatus 1 can improve the accuracy of road information including the lane width and curvature, which is calculated based on the captured image captured by the camera. As a result, the image processing apparatus 1 can improve the performance of the vehicle lane keeping support.
  • the present invention can improve the accuracy of road information acquired using a camera or the like.

Abstract

画像処理装置１は、車線幅算出部６が算出した車線の幅と車線幅取得部８が地図データから取得した車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正するスケール修正部９と、を備える。

Description

画像処理装置及び画像処理方法
　本開示は、検出した車線の幅のズレを補正する画像処理装置及び画像処理方法に関する。
　従来、撮像装置から走行路前方の道路情報を得て、当該道路情報を利用して車両を制御することが行われている。特許文献１には、地図情報をもとに得た第１の道路情報と撮像装置を利用して得た第２の道路情報とに基づいて、最終的な道路情報を得る技術が開示されている。
日本国特開平１１－２１１４９２号公報
　ところで、カメラ等を利用して車両の進行方向前方の道路情報を得ようとする場合、車両の振動等により、カメラの向きや高さなどが当初の設定からずれてしまい、正しい道路情報を得られなくなることがある。そのため、道路情報を利用する車線維持支援等の運転補助が効果的に使用できなくなるといった問題が生じていた。
　本開示は、カメラ等を利用して取得する道路情報の精度を向上させる技術を提供する。
　本開示の第１の態様に係る画像処理装置は、撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との相対関係に基づいて、車両の進行方向前方が撮影された撮影画像から前記車両が走行する車線の幅を算出する車線幅算出部と、前記車両の位置を示す情報を取得する位置情報取得部と、前記車両の位置を示す情報に基づいて地図データから前記車両が走行する前記車線の幅を示す情報を取得する車線幅取得部と、前記車線幅算出部が算出した前記車線の幅と前記車線幅取得部が前記地図データから取得した前記車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との相対関係を修正するスケール修正部と、を備える。
　前記スケール修正部は、前記車線幅算出部が算出した前記車線の幅と前記車線幅取得部が取得した前記車線の幅との差が、所定の期間よりも長く前記所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との相対関係を修正してもよい。
　前記所定の値は、前記車線幅取得部が取得した前記車線の幅と前記車両の車幅とに基づいて決定してもよい。
　前記所定の値は前記車線幅取得部が取得した前記車線の幅と前記車両の車幅との差が小さくなるほど、小さく決定される。
　本開示の第２の態様に画像処理方法係るは、撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との相対関係に基づいて、車両の進行方向前方が撮影された撮影画像から前記車両が走行する車線の幅を算出するステップと、前記車両の位置を示す情報を取得するステップと、前記車両の位置を示す情報に基づいて地図データから前記車両が走行する前記車線の幅を示す情報を取得するステップと、算出した前記車線の幅と前記地図データから取得した前記車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との相対関係を修正するステップと、を含む。
　本開示によれば、カメラ等を利用して取得する道路情報の精度を向上させるという効果を奏する。
図１（ａ）及び図１（ｂ）は、車両の進行方向前方が撮影された撮影画像を示す図である。 図２は、実施の形態に係る画像処理装置の構成を示す図である。 図３は、車線幅算出部が各時点で算出した車線の幅がプロットされた図である。 図４は、画像処理装置の処理の流れを示すフローチャートである。
［画像処理装置の概要］
　以下に、図１を参照しながら、実施の形態に係る画像処理装置を説明する。
　図１は、車両の進行方向前方が撮影された撮影画像を示す図である。図１（ａ）及び図１（ｂ）には、区画線Ｃで区切られた走行車線と画素Ｐとが描かれている。図１（ａ）と図１（ｂ）とでは、撮影画像を撮影する領域が異なる。図１（ｂ）の撮影画像を撮影するカメラは、振動等の影響を受けて図１（ａ）の撮影画像を撮影するカメラの設定よりも下向きになっている。従って、図１（ａ）の撮影画像の方が図１（ｂ）の撮影画像よりも遠方が撮影されている。
　画像処理装置は、例えば、被写体の大きさ又は長さ等を、被写体が撮影画像に占める画素の数に基づいて算出する。図１（ａ）及び（ｂ）からわかるように、振動等によりカメラの向きが変わった場合、車線幅に対応する画素数が変わってしまい、画像処理装置は正しい車線幅を算出することができない。画像処理装置が正しい車線幅を算出できない場合、例えば、車両が走行するカーブの曲率の算出精度が下がり、画像処理装置はカーブ走行中の操舵支援を効果的に実施できなくなり得る。
　実施の形態に係る画像処理装置は、撮影画像から算出した車線の幅と地図データから取得した車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正する。こうすることによって、車両がカメラ等を利用して取得する道路情報の精度を向上させることができる。なお、車線の幅を検出する手法は、車線の幅を検出できればよく、カメラの使用に限定されない。以下に、図２を参照しながら実施の形態に係る画像処理装置について説明する。
［画像処理装置の構成図］
　図２は、実施の形態に係る画像処理装置１の構成を示す図である。画像処理装置１は、記憶部２、制御部３、カメラ４及びＧＰＳ（Global Positioning System）センサ５を備える。制御部３は、例えばＥＣＵ（Electronic Control Unit）であり、有線又は無線で記憶部２及びカメラ４と接続されている。カメラ４は、車両の進行方向前方の道路を撮影する。ＧＰＳセンサ５は、車両の位置情報を取得する。
　記憶部２は、例えば、制御部３が実行するプログラムが記録されたＲＯＭ（Read Only Memory）とデータを一時的に記録するＲＡＭ（Random Access Memory）とを備える。ＲＯＭには、車両が走行する道路の車線の幅に関する情報を含む地図データが記録されている。また、ＲＯＭには、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正する目安となる誤差の大きさが記録されている。ＲＡＭには、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係が修正され、都度記録される。また、ＲＡＭには、カメラ４が撮影した撮影画像が記録される。
　記憶部２は、ＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）等を更に有し、地図データは上記ＳＳＤ又はＨＤＤに記録されてもよい。その場合、誤差修正後の、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係も同じＳＳＤ又はＨＤＤに記録することによって、エンジン停止後も修正したスケールで車線の幅を算出することができる。
　制御部３は、記憶部２に記録されたプログラムを実行することによって、車線幅算出部６、位置情報取得部７、車線幅取得部８及びスケール修正部９として機能する。
　車線幅算出部６は、車両の進行方向前方が撮影された撮影画像をカメラ４から取得し、上記撮影画像から車両が走行する車線の幅を算出する。具体的には、車線幅算出部６は、例えば、図１に示したように区画線上のある画素から別の区画線上の画素までに存在する画素数をカウントし、予め定められた画素数と距離との相対関係に基づいて車線の幅を算出する。
　例えば車線幅算出部６は、１画素あたり１ｃｍの長さと定まっている場合、撮影画像に写された区画線と区画線との間に３００画素があれば、車線の幅は３ｍであると算出する。車線幅算出部６は、算出した車線の幅を記憶部２に記録して、スケール修正部９に通知する。なお、車線の幅は任意に定義してよい。車線幅算出部６は、太さがある区画線の外側から車線幅を計測してもよい。また、車線幅算出部６は、区画線の中央から車線幅を計測してもよい。また、車線幅算出部６は、区画線の内側から車線幅を計測してもよい。なお、区画線自体の検出は、例えば、既知の手法に基づいて行う。
　位置情報取得部７は、ＧＰＳセンサ５から車両の位置を示す情報を取得する。位置情報取得部７は、車両の位置に関する情報を取得後、車線幅取得部８に通知する。
　車線幅取得部８は、位置情報取得部７から通知された車両の位置を示す情報に基づいて、記憶部２に記録された地図データから車両が走行する車線の幅を取得する。車線幅取得部８は、地図データから取得した車線の幅を記憶部２に記録してスケール修正部９に通知する。
　スケール修正部９は、車線幅算出部６が算出した車線の幅と車線幅取得部８が地図データから取得した車線の幅との差の絶対値が誤差を修正する目安となる所定の値よりも大きい場合に、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正する。上記所定の値は、例えば、区画線の太さと同じであるか又は１０ｃｍである。
　例えば、図１（ｂ）に示した区画線と区画線との間に存在する画素数が２５０であり、一画素あたり１ｃｍに相当すると記録されており、車線幅算出部６は、車線の幅が２.５ｍであると算出したとする。一方、車線幅取得部８が地図データから取得した車線の幅が３ｍである場合、車線幅算出部６が算出した車線の幅と位置情報取得部７が取得した車線の幅との誤差は５０ｃｍとなる。
　誤差５０ｃｍが上記所定の値よりも大きい場合、スケール修正部９は、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正する。この場合、スケール修正部９は、例えば、一画素あたり１.２ｃｍに相当するとして、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正し、記憶部２に記録する。
　上記所定の値は、車線幅取得部８が取得した車線の幅と車両の車幅とに基づいて決定されてもよい。所定の値は、例えば、車線幅取得部８が取得した車線の幅と車両の車幅との差が小さくなるほど、小さく決定されてもよい。
　例えば、車線の幅と車両の車幅との差が小さい場合、車両は車線外にはみ出しやすくなる。そのため、車線の幅と車両の車幅との差が小さい場合は、車線幅算出部６が算出した車線の幅と車線幅取得部８が地図データから取得した車線の幅との差が小さい値であっても、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正するようにする。こうすることによって、画像処理装置１は、高い精度で車線の幅を検出し、車線維持支援をより効果的に実行することができる。
　また、上記所定の値は、例えば、車線幅取得部８が取得した車線の幅と車両の車幅との差が大きくなるほど、大きく決定されてもよい。この場合、車線幅算出部６が算出した車線の幅と車線幅取得部８が地図データから取得した車線の幅との差が小さい値であるとき、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正しない。こうすることによって、スケール修正部９は、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正する機会が減少する。その結果、運転者は長い時間に亘って、同じ動作をする車線維持支援を受けるため、運転体験が向上する。
　上記所定の値は、撮影画像から検出した区画線の太さに応じて変更されてもよい。例えば、所定の値は、区画線が細いほど小さな値としてもよい。区画線が細い場合、車両が区画線を乗り越える可能性、即ち、車線を逸脱する可能性が高い。従って、区画線が細い場合には、誤差が小さい場合であっても撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正することによって、画像処理装置１は車線維持支援を効果的に実行することができる。
　スケール修正部９は、車線幅算出部６が算出した車線の幅と車線幅取得部８が取得した車線の幅との差が、所定の期間よりも長く上記所定の値よりも大きい場合に、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正してもよい。このことを、図３を参照しながら説明する。
　図３は、車線幅算出部６が各時点で算出した車線の幅がプロットされた図である。図３に示された座標系は、縦軸が車線の幅を示し、横軸が時間を示す。車線幅取得部８が地図データから取得する車線の幅が実線で表された値であり、許容できる誤差を示す上記所定の値は、図３において実線と破線との幅で表されている。
　図３に示すように、車線幅算出部６が算出する車線の幅がある時刻から破線と破線とに挟まれた領域から外れ、係る状況が所定の時間継続した場合に、スケール修正部９は、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正する。ここで、上記所定の期間は、車両が走行する道路の歪んだ箇所を通過していると考えられる期間よりも長い期間であり、例えば５秒間である。
　こうすると、例えば、道路が劣化して区画線が当初敷かれた位置からずれている箇所を一時的に車両が通過している場合に、スケール修正部９が撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正しなくなる。従って、撮影画像を撮影するカメラの位置がずれていないにも関わらず、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係が誤って修正されてしまうことを防ぐことができる。
［画像処理装置１の処理のフロー］
　図４は、画像処理装置１の処理の流れを示すフローチャートである。フローチャートは、先ず車線幅算出部６が撮影画像に基づいて車線の幅を算出する処理から始まる（Ｓ４１）。続いて、位置情報取得部７が車両の位置情報を取得する（Ｓ４２）。続いて、車線幅取得部８が車両の位置情報に基づいて地図データから車線の幅を取得する（Ｓ４３）。
　地図データから取得した車線の幅と車線幅算出部６が算出した車線の幅との誤差が所定の値より大きくない場合（Ｓ４４においてＮＯ）、画像処理装置１はＳ４１から再度処理を開始する。地図データから取得した車線の幅と車線幅算出部６が算出した車線の幅との誤差が所定の値より大きい場合（Ｓ４４においてＹＥＳ）、スケール修正部９は撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正する。
［画像処理装置１が奏する効果］
　上述したとおり、実施の形態に係る画像処理装置１は、車線幅算出部６が算出した車線の幅と車線幅取得部８が地図データから取得した車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との相対関係を修正する。
　こうすることによって、画像処理装置１は、カメラが撮影した撮影画像等に基づいて算出する、車線の幅及び曲率等を含む道路情報の精度を向上させることができる。その結果、画像処理装置１は、車両の車線維持支援の性能を向上させることができる。
　以上、本開示を実施の形態を用いて説明したが、本開示の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　本出願は、2016年7月21日付で出願された日本国特許出願（特願2016-143002）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、カメラ等を利用して取得する道路情報の精度を向上させることができる。
　Ｃ　区画線
　Ｐ　画素
　１　画像処理装置
　２　記憶部
　３　制御部
　４　カメラ
　５　ＧＰＳセンサ
　６　車線幅算出部
　７　位置情報取得部
　８　車線幅取得部
　９　スケール修正部

Claims (5)

  1. 　撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との相対関係に基づいて、車両の進行方向前方が撮影された撮影画像から前記車両が走行する車線の幅を算出する車線幅算出部と、
    　前記車両の位置を示す情報を取得する位置情報取得部と、
    　前記車両の位置を示す情報に基づいて地図データから前記車両が走行する前記車線の幅を示す情報を取得する車線幅取得部と、
    　前記車線幅算出部が算出した前記車線の幅と前記車線幅取得部が前記地図データから取得した前記車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との前記相対関係を修正するスケール修正部と、
    　を備える画像処理装置。
  2. 　前記スケール修正部は、前記車線幅算出部が算出した前記車線の幅と前記車線幅取得部が取得した前記車線の幅との差が、所定の期間よりも長く前記所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との相対関係を修正する、
    　請求項１に記載の画像処理装置。
  3. 　前記所定の値は、前記車線幅取得部が取得した前記車線の幅と前記車両の車幅とに基づいて決定される、
    　請求項１又は２に記載の画像処理装置。
  4. 　前記所定の値は、前記車線幅取得部が取得した前記車線の幅と前記車両の車幅との差が小さくなるほど、小さく決定される、
    　請求項３に記載の画像処理装置。
  5. 　撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との相対関係に基づいて、車両の進行方向前方が撮影された撮影画像から前記車両が走行する車線の幅を算出するステップと、
    　前記車両の位置を示す情報を取得するステップと、
    　前記車両の位置を示す情報に基づいて地図データから前記車両が走行する前記車線の幅を示す情報を取得するステップと、
    　算出した前記車線の幅と前記地図データから取得した前記車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との前記相対関係を修正するステップと、
    　を含む画像処理方法。
PCT/JP2017/026327 2016-07-21 2017-07-20 画像処理装置及び画像処理方法 WO2018016599A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780044971.8A CN109478336B (zh) 2016-07-21 2017-07-20 图像处理装置及图像处理方法
EP17831115.5A EP3489899A4 (en) 2016-07-21 2017-07-20 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US16/318,932 US10769815B2 (en) 2016-07-21 2017-07-20 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-143002 2016-07-21
JP2016143002A JP6686760B2 (ja) 2016-07-21 2016-07-21 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2018016599A1 true WO2018016599A1 (ja) 2018-01-25

Family

ID=60992615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/026327 WO2018016599A1 (ja) 2016-07-21 2017-07-20 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US10769815B2 (ja)
EP (1) EP3489899A4 (ja)
JP (1) JP6686760B2 (ja)
CN (1) CN109478336B (ja)
WO (1) WO2018016599A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529966A (zh) * 2020-12-17 2021-03-19 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021001018A1 (en) * 2019-07-01 2021-01-07 Zenuity Ab Sourced lateral offset for adas or ad features
JP7067574B2 (ja) * 2020-01-30 2022-05-16 トヨタ自動車株式会社 距離推定装置及び距離推定用コンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334450A (ja) * 2006-06-12 2007-12-27 Toyota Motor Corp 車両用道路区画線認識装置、及び、車両用制御装置
JP2013097714A (ja) * 2011-11-04 2013-05-20 Toyota Motor Corp 車線認識装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3378490B2 (ja) 1998-01-29 2003-02-17 富士重工業株式会社 道路情報認識装置
JP4568637B2 (ja) * 2005-04-26 2010-10-27 富士重工業株式会社 道路認識装置
JP4610425B2 (ja) * 2005-06-27 2011-01-12 アルパイン株式会社 地図情報更新方法及びナビゲーション装置
JP2007264712A (ja) * 2006-03-27 2007-10-11 Fuji Heavy Ind Ltd 車線検出装置
KR100933879B1 (ko) * 2007-12-21 2009-12-28 팅크웨어(주) 3ｄ 지도 데이터 디스플레이 방법 및 상기 방법을 수행하기위한 장치
EP2075170B1 (en) * 2007-12-28 2011-02-16 Magneti Marelli S.p.A. A driving assistance system for a vehicle travelling along a roadway that lacks lane demarcation lines
CN101776438B (zh) * 2010-01-26 2013-04-24 武汉理工大学 道路标线测量装置及其测量方法
EP2541498B1 (en) * 2011-06-30 2017-09-06 Harman Becker Automotive Systems GmbH Method of determining extrinsic parameters of a vehicle vision system and vehicle vision system
JP5645769B2 (ja) * 2011-08-01 2014-12-24 株式会社日立製作所 画像処理装置
JP5926645B2 (ja) 2012-08-03 2016-05-25 クラリオン株式会社 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法
JP6173791B2 (ja) * 2013-06-25 2017-08-02 株式会社東芝 道路状況把握システム、及び道路状況把握装置
JP6172020B2 (ja) * 2014-03-28 2017-08-02 株式会社デンソー 無余地駐車抑止装置
CN104657727B (zh) * 2015-03-18 2018-01-02 厦门麦克玛视电子信息技术有限公司 一种车道线的检测方法
CN105678316B (zh) * 2015-12-29 2019-08-27 大连楼兰科技股份有限公司 基于多信息融合的主动驾驶方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334450A (ja) * 2006-06-12 2007-12-27 Toyota Motor Corp 車両用道路区画線認識装置、及び、車両用制御装置
JP2013097714A (ja) * 2011-11-04 2013-05-20 Toyota Motor Corp 車線認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3489899A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529966A (zh) * 2020-12-17 2021-03-19 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统
CN112529966B (zh) * 2020-12-17 2023-09-15 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统

Also Published As

Publication number Publication date
CN109478336B (zh) 2022-05-10
JP6686760B2 (ja) 2020-04-22
JP2018013956A (ja) 2018-01-25
CN109478336A (zh) 2019-03-15
US20190259179A1 (en) 2019-08-22
EP3489899A4 (en) 2019-07-17
EP3489899A1 (en) 2019-05-29
US10769815B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
TWI575928B (zh) 在立體影像中用以消除雜訊的裝置及方法
JP4962581B2 (ja) 区画線検出装置
JP6541590B2 (ja) カメラキャリブレーション装置
JP6272204B2 (ja) 道路区画線情報取得装置
WO2018016599A1 (ja) 画像処理装置及び画像処理方法
JP2012198075A (ja) ステレオカメラ装置、画像補整方法
WO2015029443A1 (ja) 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム
US20220254064A1 (en) External parameter calibration method, device and system for image acquisition apparatus
JP2017098884A5 (ja)
JP2018146663A5 (ja)
JPWO2018131061A1 (ja) 走行路認識装置及び走行路認識方法
JP6525724B2 (ja) パンニング情報表示装置、パンニング情報の表示処理を実行する方法およびパンニング情報表示プログラム
JP2008241446A (ja) ナビゲーション装置及びその制御方法
JP2008082925A (ja) ナビゲーション装置、その制御方法及び制御プログラム
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
CN110570680A (zh) 利用地图信息确定对象位置的方法和系统
JP5034087B2 (ja) 車両走行支援装置、車両、車両走行支援プログラム
JP2005149022A (ja) 走行車線認識装置
JP5142801B2 (ja) オフセット補正装置およびオフセット補正方法
JP7027006B2 (ja) 走行車線認識装置、走行車線認識方法及びプログラム
CN112184827A (zh) 校准多个摄像机的方法及装置
JP2018033035A (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
JP6674127B2 (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
CN112399172A (zh) 校准多个摄像机的方法及装置
JP2010002334A (ja) 路面勾配推定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17831115

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017831115

Country of ref document: EP

Effective date: 20190221