WO2006118020A1 - 車両及びレーンマーク認識装置 - Google Patents

車両及びレーンマーク認識装置 Download PDF

Info

Publication number
WO2006118020A1
WO2006118020A1 PCT/JP2006/308102 JP2006308102W WO2006118020A1 WO 2006118020 A1 WO2006118020 A1 WO 2006118020A1 JP 2006308102 W JP2006308102 W JP 2006308102W WO 2006118020 A1 WO2006118020 A1 WO 2006118020A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
time point
vehicle
imaging
Prior art date
Application number
PCT/JP2006/308102
Other languages
English (en)
French (fr)
Inventor
Tomoyoshi Aoki
Sachio Kobayashi
Naoki Mori
Takuma Nakamori
Original Assignee
Honda Motor Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co., Ltd. filed Critical Honda Motor Co., Ltd.
Priority to EP06732031A priority Critical patent/EP1884907B1/en
Priority to US11/918,453 priority patent/US7933434B2/en
Priority to DE602006013449T priority patent/DE602006013449D1/de
Priority to CA2605837A priority patent/CA2605837C/en
Publication of WO2006118020A1 publication Critical patent/WO2006118020A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • Vehicle and lane mark recognition and recognition device Vehicle and lane mark recognition and recognition device
  • the present invention relates to a vehicle and a lane mark recognition device having a function of recognizing a saddle type lane mark provided on a road.
  • a lane mark recognition device for recognizing a lane mark for traveling lane classification provided on a road from image data obtained by an in-vehicle camera that images a road ahead of the vehicle is known.
  • a linear lane mark such as a travel line (white line) and a vertical lane mark provided discretely such as Botts Dots and Cat's Eye are used. Yes.
  • a linear lane mark can be detected by a straight line extraction method such as Hough transform, but a powerboat type lane mark cannot be detected by a straight line extraction method. Therefore, a lane mark recognition device has been proposed in which a boat-shaped lane mark is detected using a pattern matching technique (see, for example, Japanese Patent Laid-Open No. 2003-317106).
  • the image data may be The difference between the shape of the saddle-shaped lane mark above and the reference shape for pattern matching becomes large, and there is a disadvantage that detection of the boat-shaped lane mark may become impossible.
  • An object of the present invention is to provide a vehicle and a lane mark recognizing device that eliminates the above-described disadvantages and suppresses detection of a boat-shaped lane mark from being disabled.
  • the present invention has been made to achieve the above object, and the vehicle of the present invention has an imaging function.
  • image data acquisition means for acquiring image data of the road imaged by the imaging means
  • installation interval recognition means for recognizing the installation interval of boat-shaped lane marks provided on the road
  • movement of the vehicle Vehicle speed recognition means for recognizing speed
  • image composition means for generating composite image data obtained by combining a plurality of image data acquired by the image data acquisition means, and a plurality of image data combined by the image composition means
  • the image pickup timing of the image pickup means is determined so that the positions of the boat-shaped lane marks in the plurality of image data differ based on the installation interval and the moving speed.
  • An imaging timing determining means for determining the lane mark of the combined image data generated by the image synthesizing means.
  • a click detecting unit for determining the lane mark of the combined image data generated by the image synthesizing means.
  • the lane mark recognition apparatus of the present invention includes an image data acquisition unit that acquires image data of a road imaged by an imaging unit, and an installation that recognizes an installation interval of boat-shaped lane marks provided on the road.
  • An interval recognizing means a vehicle speed recognizing means for recognizing the moving speed of the vehicle, an image synthesizing means for generating synthesized image data obtained by synthesizing a plurality of image data obtained by the image data obtaining means, and the image synthesizing means.
  • the image capturing timing of the image by the imaging means is determined based on the installation interval and the moving speed.
  • An imaging timing determination unit that determines the position of the lane mark of the mold to be different, and a saddle type from the composite image data generated by the image synthesis unit And a said lane mark detection means for detecting the lane mark.
  • the imaging timing determination means determines the imaging timing of the image by the imaging means, the installation interval of the vertical lane mark, and the moving speed of the vehicle.
  • the position of the boat-shaped lane mark in the acquired road image data can be changed.
  • by combining the plurality of image data picked up by the image pickup means at the timing determined so that the positions of the boat-shaped lane marks are different and acquired by the image data acquisition means It is possible to obtain composite image data in which the number of saddle-shaped lane marks included is increased from that of each image data before composition.
  • the imaging timing determination means is configured so that the vehicle sets the lane mark from the first time point when the image is taken by the imaging means.
  • the second time point that has traveled the interval 1Z2 is determined as the next image pickup timing of the image by the image pickup means, and the image composition means is picked up at the first time point acquired by the image data acquisition means.
  • the synthesized image data is generated by synthesizing the image data of the obtained image and the image data of the image taken at the second time point.
  • the imaging timing determination means determines the acquisition timing of the next image data based on the first time-point force vehicle that is the acquisition time of the previous image data.
  • the second time point which is the time when the vehicle travels
  • the position of the lane mark in the image data to be acquired next time can be almost centered between adjacent lane marks in the previously acquired image data! it can.
  • the distance between adjacent boat-shaped data marks in the composite image data can be maximized, so that the shape of the boat-shaped lane mark contacts and changes, and the boat-shaped lane mark is recognized. It can be prevented from becoming impossible.
  • the imaging timing determining means starts from the first time point when the image is taken by the imaging means, according to the following equation (3):
  • the second time point at which the calculated time Tv has elapsed is determined as the next image capturing timing of the image by the imaging means, and the image composition means is the first time point acquired by the image data acquisition means.
  • the synthesized image data is generated by synthesizing the image data of the image captured at step 2 and the image data of the image captured at the second time point.
  • Tv L / v X (n + 0.5) (3)
  • L is the interval between boat-shaped lane marks
  • V is the speed of the vehicle
  • n is the smallest integer that satisfies Tv ⁇ Tmin (predetermined time limit).
  • the imaging means captures an image longer than the lower limit time Tmin determined by the exposure time required by the sensitivity of the imaging means, the minimum imaging interval of the imaging means, or the like.
  • the image of the image captured at the second time point is located near the middle position of the adjacent boat-shaped lane mark in the image data of the image captured at the first time point with a long interval secured.
  • the imaging timing of the imaging means can be determined so that the boat-shaped lane mark is located in the data.
  • Fig. 1 is an overall configuration diagram of the lane mark recognition apparatus of the present invention
  • Fig. 2 is an explanatory diagram of image synthesis
  • Fig. 3 is an explanatory diagram showing an example of determining the imaging timing of a road by the camera 2 in time series. .
  • a lane mark recognition device 1 is used by being mounted on a vehicle, and is installed on a road to distinguish a traveling lane (corresponding to a boat-shaped lane mark of the present invention). ) To recognize the driving lane.
  • the lane mark recognition device 1 is mounted on a vehicle and captures an image of a road ahead of the vehicle.
  • the lane mark recognition device 1 inputs a video signal Im_sig output from a camera 2 (corresponding to the imaging means of the present invention), and Image synthesizing means for synthesizing the image data M1 stored in the image input circuit 10 and the image memory 11 and the image data M2 stored in the image memory 12 to generate synthesized image data M3 13.
  • Bot ts Dots detection means 14 (corresponding to the lane mark detection means of the present invention) for detecting Botts Dots from the composite image data M3, and Botts Dots detection data BD_s indicating the detection result of Botts Dots by the Botts Dots detection means 14
  • lane recognition means 15 for recognizing the traveling lane is provided, and the lane recognition means 15 outputs lane recognition data DL_s indicating information of the recognized lane.
  • image input circuit 10 and the image memories 11 and 12 constitute the image data acquisition means of the present invention.
  • the lane mark recognition device 1 is provided with an installation interval recognition means 21 that recognizes the installation interval L of Botts Dots from the Botts Dots standard data BD_dat stored in the memory 23 in advance. Based on the detection signal Vs of the vehicle speed sensor 3 that detects the rotational speed of the wheel, vehicle speed recognition means 22 that recognizes the vehicle movement speed V, and the Botts Dots installation interval L and the vehicle movement speed V An imaging timing determination means 20 that determines the imaging timing of the road by the camera 2 is provided.
  • the imaging timing determination means 20 determines the imaging timing of the road by the camera 2 by performing arithmetic processing according to the following equation (4) using the installation interval L of the Botts Dots and the moving speed V of the vehicle.
  • Tv L / v X (n + 0.5) (4)
  • L Botts Dots installation interval
  • v Vehicle moving speed
  • n Tv ⁇ Tmin (lower limit time).
  • the image input circuit 10 takes in the video signal Im_sig of the image captured by the camera 2 according to the imaging instruction signal TM_ C nt outputted at a first time point T, and the image data Ml Store in image memory 11. Similarly, the image input circuit 10 outputs the signal at the second time T.
  • the video signal Im_sig of the image captured by the camera 2 is fetched according to the captured imaging command signal Tm_cnt, and stored in the image memory 12 as the image data M2.
  • the second time T is determined from the first time T by the vehicle.
  • the position of Botts Dots6d in the image data M2 is approximately the middle position between Botts Dots5c and Botts Dots5d in the image data Ml.
  • the position of other Botts Dots in the image data M2 is the same as that of the adjacent Botts Dots in the image data Ml. The middle position.
  • the synthesized image M3 generated by synthesizing the image data Ml and the image data M2 by the image synthesizing unit 13 is converted into Botts Dots 5a to 5e in the image data Ml and Botts Dots 6a to 6e in the image data M2. Can be generated without overlapping. Then, since the Botts Dots detection means 14 detects Botts Dots from the composite image M3, the number of Botts Dots detected in the composite image M3 increases.
  • the lane recognition means 15 determines the travel lane from the information data of the positions of other detected Botts Dots. Can be recognized.
  • the imaging timing determining means 20 is such that the Tv calculated by the above equation (4) at which the moving speed of the vehicle is slow exceeds the upper limit time Tmax determined by a request for responsiveness of the control system force of the vehicle.
  • Tv is calculated by the following formulas (5) and (6).
  • Tv can be determined by the above formula (6) so that the position of Botts Dots in the image data Ml and the position of Botts Dots in the image data M2 do not overlap within the range not exceeding the upper limit time Tmax. .
  • FIG. 3 is an explanatory diagram showing an example in which Tv is calculated by the above equations (5) and (6) and the road imaging timing by the camera 2 is determined in time series.
  • m calculated by the above equation (5) is 3
  • t to t and t to t in the figure represent the distance between the installation distances of the Botts Dots. It shows the time to drive 1Z2.
  • two time points t and t, t and t, t and t in the figure
  • an interval corresponding to m cycles of Tv calculated in the above equation (6) (a, b, c in the figure)
  • the second time point when the time for moving 1Z2 of the installation interval L of Botts Dots has elapsed from the first time point T1 is defined as the next imaging timing.
  • the effect of the present invention can be obtained by determining the second time point so that the position of Botts Dots in the image data Ml is different from the position of Botts Dots in the image data M2. it can.
  • two image data Ml and M2 are combined by the image combining means 13 to generate combined image data M3.
  • three or more pieces of image data are combined to generate a combined image. You may try to generate image data.
  • FIG. 1 is an overall configuration diagram of a lane mark recognition apparatus of the present invention.
  • FIG. 2 is an explanatory diagram of image composition.
  • FIG. 3 Explanatory diagram showing an example of determining the imaging timing of a road by camera 2 in time series

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　鋲型のレーンマークの検出が不能となることを抑制した車両及びレーンマーク認識装置を備えた車両を提供する。 　Botts Dotsの設置間隔Ｌを認識する設置間隔認識手段２１と、車両の移動速度ｖを認識する車速認識手段２２と、画像入力回路１０により画像メモリ１１に記憶された画像データＭ1と画像メモリ１２に記憶された画像データＭ2とを合成して、合成画像データＭ3を生成する画像合成手段１３と、画像データＭ1，Ｍ2を取得するときに、カメラ２よる画像の撮像タイミングを、設置間隔Ｌと移動速度ｖとに基づいて、画像データＭ1，Ｍ2におけるBotts Dotsの位置が異なるように決定する撮像タイミング決定手段２０と、合成画像データＭ3からBotts Dotsを検出するBotts Dots検出手段１４とを備える。

Description

明 細 書
車両及びレーンマーク認、識装置
技術分野
[0001] 本発明は、道路に設けられた鉅型のレーンマークを認識する機能を有する車両及 びレーンマーク認識装置に関する。
背景技術
[0002] 従来より、車両前方の道路を撮影する車載カメラにより得られる画像データから、道 路上に設けられた走行車線区分用のレーンマークを認識するレーンマーク認識装置 が知られている。そして、道路上に設けられるレーンマークとして、走行区分線（白線 )のような線型のレーンマークと、 Botts Dotsやキャッツアイのように離散的に設けら れる鉅型のレーンマークとが使用されている。
[0003] ここで、線型のレーンマークは、ハフ変換等の直線抽出の手法により検出すること ができる力 艇型のレーンマークは直線抽出の手法では検出することができない。そ こで、パターンマッチングの手法を用いて、艇型のレーンマークを検出するようにした レーンマーク認識装置が提案されている（例えば、特開 2003— 317106号公報参 照)。
[0004] し力し、鉅型のレーンマークの一部が破損している場合や、艇型のレーンマークに 対する光の当たり具合によっては、道路の画像データを取り込んだときに、画像デー タ上での鉅型のレーンマークの形状とパターンマッチング用の基準形状との違いが 大きくなり、艇型のレーンマークの検出が不能になる場合があるという不都合があつ た。
発明の開示
発明が解決しょうとする課題
[0005] 本発明は上記不都合を解消し、艇型のレーンマークの検出が不能となることを抑制 した車両及びレーンマーク認識装置を提供することを目的とする。
課題を解決するための手段
[0006] 本発明は上記目的を達成するためになされたものであり、本発明の車両は、撮像 手段と、前記撮像手段により撮像された道路の画像データを取得する画像データ取 得手段と、道路に設けられた艇型のレーンマークの設置間隔を認識する設置間隔認 識手段と、車両の移動速度を認識する車速認識手段と、前記画像データ取得手段 により取得された複数の画像データを合成した合成画像データを生成する画像合成 手段と、該画像合成手段により合成される複数の画像データを前記画像データ取得 手段によって取得するときに、前記撮像手段による画像の撮像タイミングを、前記設 置間隔と前記移動速度とに基づいて、該複数の画像データにおける艇型のレーンマ ークの位置が異なるように決定する撮像タイミング決定手段と、前記画像合成手段に より生成された合成画像データ力 艇型のレーンマークを検出するレーンマーク検出 手段とを有する。
[0007] また、本発明のレーンマーク認識装置は、撮像手段により撮像された道路の画像 データを取得する画像データ取得手段と、道路に設けられた艇型のレーンマークの 設置間隔を認識する設置間隔認識手段と、車両の移動速度を認識する車速認識手 段と、前記画像データ取得手段により取得された複数の画像データを合成した合成 画像データを生成する画像合成手段と、該画像合成手段により合成される複数の画 像データを前記画像データ取得手段によって取得するときに、前記撮像手段による 画像の撮像タイミングを、前記設置間隔と前記移動速度とに基づいて、該複数の画 像データにおける艇型のレーンマークの位置が異なるように決定する撮像タイミング 決定手段と、前記画像合成手段により生成された合成画像データから鉅型のレーン マークを検出する前記レーンマーク検出手段とを有する。
[0008] 前記本発明の車両及び前記本発明のレーンマーク認識装置によれば、前記撮像 タイミング決定手段により、前記撮像手段による画像の撮像タイミングを鉅型のレーン マークの設置間隔と車両の移動速度とに基づいて決定することによって、取得される 道路の画像データにおける艇型のレーンマークの位置を変更することができる。そし て、艇型のレーンマークの位置が異なるように決定したタイミングで前記撮像手段に より撮像され、画像データ取得手段により取得された複数の画像データを、前記画像 合成手段により合成することによって、含まれる鉅型のレーンマークの個数を合成前 の各画像データよりも増加させた合成画像データを得ることができる。 [0009] この場合、前記レーンマーク検出手段により該合成画像データから鉅型のレーンマ ークを検出することによって、検出可能なレーンマークの個数が増加することが期待 できる。そのため、検出不能なレーンマークがいくつか生じても、他のレーンマークが 検出できる可能性が高くなり、レーンマークの認識が不能となることを抑制することが できる。
[0010] また、前記本発明の車両及び前記本発明のレーンマーク認識装置において、前記 撮像タイミング決定手段は、前記撮像手段により画像が撮像された第 1の時点から、 車両が前記レーンマークの設置間隔の 1Z2を走行した第 2の時点を、次回の前記 撮像手段による画像の撮像タイミングとして決定し、前記画像合成手段は、前記画像 データ取得手段により取得された、前記第 1の時点で撮像された画像の画像データ と前記第 2の時点で撮像された画像の画像データとを合成して、前記合成画像デー タを生成することを特徴とする。
[0011] 力かる本発明によれば、前記撮像タイミング決定手段により、次回の画像データの 取得タイミングを、前回の画像データの取得時点である前記第 1の時点力 車両が 前記設置間隔 Lの 1Z2を走行した時点である前記第 2の時点とすることで、次回取 得する画像データにおけるレーンマークの位置を、前回取得した画像データにお!ヽ て隣接するレーンマーク間のほぼ中央にすることができる。これにより、合成画像デ ータにおいて隣接する艇型のデータマークの間隔を最も広くすることができるため、 艇型のレーンマークが接触してその形状が変化し、艇型のレーンマークの認識が不 能となることを防止することができる。
[0012] また、前記本発明の車両及び前記本発明のレーンマーク認識装置において、前記 撮像タイミング決定手段は、前記撮像手段により画像が撮像された第 1の時点から、 以下の式（3)により算出される時間 Tvが経過した第 2の時点を、次回の前記撮像手 段による画像の撮像タイミングとして決定し、前記画像合成手段は、前記画像データ 取得手段により取得された、前記第 1の時点で撮像された画像の画像データと前記 第 2の時点で撮像された画像の画像データとを合成して、前記合成画像データを生 成することを特徴とする。
[0013] Tv = L/v X (n+0.5) (3) 但し、 L :艇型のレーンマークの設置間隔、 V：車両の速度、 n :Tv≥Tmin (所定の下 限時間）となる最小の整数。
[0014] 力かる本発明によれば、例えば、前記撮像手段の感度により要求される露光時間 や、前記撮像手段の最小撮像間隔等により決定される下限時間 Tminよりも、前記撮 像手段の撮像間隔を長く確保した上で、前記第 1の時点で撮像された画像の画像デ ータにおいて隣接する艇型のレーンマークの中間位置付近に、前記第 2の時点で撮 像された画像の画像データにおける艇型のレーンマークが位置するように、前記撮 像手段の撮像タイミングを決定することができる。
発明を実施するための最良の形態
[0015] 本発明の実施の形態の一例について、図 1〜図 3を参照して説明する。図 1は本発 明のレーンマーク認識装置の全体構成図、図 2は画像合成の説明図、図 3はカメラ 2 による道路の撮像タイミングを決定する一例を時系列的に示した説明図である。
[0016] 図 1を参照して、レーンマーク認識装置 1は車両に搭載して使用され、走行車線を 区分するために道路に設置された Botts Dots (本発明の艇型のレーンマークに相当 する）を検出して、走行車線を認識するものである。
[0017] レーンマーク認識装置 1は、車両に搭載されて車両前方の道路の画像を撮像する カメラ 2 (本発明の撮像手段に相当する）から出力される映像信号 Im_sigを入力して、 画像メモリ 10, 11に記憶する画像入力回路 10、画像メモリ 11に記憶された画像デ ータ Mlと画像メモリ 12に記憶された画像データ M2とを合成して、合成画像データ M3を生成する画像合成手段 13、合成画像データ M3から Botts Dotsを検出する Bot ts Dots検出手段 14 (本発明のレーンマーク検出手段に相当する）、及び Botts Dots 検出手段 14による Botts Dotsの検出結果を示す Botts Dots検出データ BD_sに基づ いて、走行車線を認識する車線認識手段 15を備え、車線認識手段 15は認識した車 線の情報を示す車線認識データ DL_sを出力する。
[0018] なお、画像入力回路 10と画像メモリ 11, 12とにより、本発明の画像データ取得手 段が構成される。
[0019] さらに、レーンマーク認識装置 1は、予めメモリ 23に記憶された Botts Dotsの規格デ ータ BD_datから、 Botts Dotsの設置間隔 Lを認識する設置間隔認識手段 21、車両に 設けられて車輪の回転速度を検出する車速センサ 3の検出信号 Vsから、車両の移 動速度 Vを認識する車速認識手段 22、及び Botts Dotsの設置間隔 Lと車両の移動速 度 Vとに基づいてカメラ 2による道路の撮像タイミングを決定する撮像タイミング決定手 段 20を備えている。
[0020] 次に、図 1及び図 2を参照して、レーンマーク認識装置 1による一連の Botts Dots検 出処理について説明する。先ず、撮像タイミング決定手段 20は、 Botts Dotsの設置 間隔 Lと車両の移動速度 Vとを用いた以下の式 (4)による演算処理を行って、カメラ 2 による道路の撮像タイミングを決定する。
[0021] Tv = L/v X (n+0.5) (4)
但し、 L : Botts Dotsの設置間隔、 v:車両の移動速度、 n :Tv≥Tmin (下限時間）。
[0022] ここで、下限時間 Tminは、カメラ 2の感度により要求される露光時間、及びカメラ 2の 最小撮像間隔よりも長く設定された時間である。そして、撮像タイミング決定手段 20 は、任意の第 1の時点 Tでカメラ 2に対して撮像の開始を指示する撮像指示信号 Tm cntを出力し、次に、該第 1の時点 Tから Tvが経過した第 2の時点 T ( =T +Τν)で
2 1 カメラ 2に対して撮像指令信号 Tm_Cntを出力する。
[0023] このとき、画像入力回路 10は、第 1の時点 Tで出力された撮像指令信号 Tm_Cntに 応じてカメラ 2により撮像された画像の映像信号 Im_sigを取り込み、画像データ Mlと して画像メモリ 11に記憶する。同様に、画像入力回路 10は、第 2の時点 Tで出力さ
2 れた撮像指令信号 Tm_cntに応じてカメラ 2により撮像された画像の映像信号 Im_sigを 取り込み、画像データ M2として画像メモリ 12に記憶する。
[0024] ここで、上記式 (4)において n=0であれば、第 2の時点 Tは第 1の時点 Tから、車
2 1 両が Botts Dotsの設置間隔 Lの 1Z2だけ移動した時点となる。この場合、図 2に示し たように、第 1の時点 Tにおいて撮像された映像の画像データ Mlにおける Botts Do ts5a〜5eの位置に対して、第 2の時点 Tにおいて撮像された映像の画像データ M2
2
における Botts Dots6a〜6eの位置は、ほぼ LZ2だけずれた状態となる。
[0025] 例えば、画像データ M2における Botts Dots6dの位置は、画像データ Mlにおける Botts Dots5cと Botts Dots5dのほぼ中間の位置となる。同様にして、画像データ M2 における他の Botts Dotsの位置も、画像データ Mlにおける隣接した Botts Dotsのほ ぼ中間の位置となる。
[0026] そのため、画像合成手段 13により、画像データ Mlと画像データ M2とを合成して生 成される合成画像 M3を、画像データ Mlにおける Botts Dots5a〜5eと、画像データ M2における Botts Dots6a〜6eが重ならないようにして生成することができる。そして 、 Botts Dots検出手段 14は、合成画像 M3から Botts Dotsを検出するため、合成画像 M3中で検出される Botts Dotsの個数が増加する。
[0027] そのため、車線認識手段 15は、合成画像データ M3中の Botts Dotsのうち、検出不 能なものがいくつか生じても、検出された他の Botts Dotsの位置の情報データから、 走行車線を認識することができる。
[0028] また、上記式 (4)において、 n= l, 2, 3···、のときも、第 2の時点は、 LZv (車両が Botts Dotsの設置間隔 Lを移動する時間） X n + LZ2v (車両が Botts Dotsの設置間 隔 Lの 1Z2を移動する時間）となるので、 n=0のときと同様〖こ、画像データ Mlにお ける Botts Dotsと、画像データ M2における Botts Dotsが重ならないように、合成画像 データ M3を生成することができる。
[0029] また、撮像タイミング決定手段 20は、車両の移動速度が遅ぐ上記式 (4)により算 出される Tvが車両の制御系力 の応答性の要求等により決定される上限時間 Tmax を越えるときには、以下の式（5) ,式 (6)により Tvを算出する。
[0030] m = int (L/v X 0.5/Tmax) + 1 (5)
Tv = L/v X 0.5/m (6)
但し、 int (LZv X 0.5/Tmax)： (L/v X 0.5ZTmax)を超えない最大の整数。
[0031] ここで、上記式（5)により算出される mは、車両が Botts Dotsの設置間隔 Lの 1Z2を 移動する時間（LZ2v)に含まれる上限時間 Tmaxのサイクル数となる。そのため、上 記式（6)により、上限時間 Tmaxを越えない範囲で、画像データ Mlにおける Botts Do tsの位置と画像データ M2における Botts Dotsの位置が重ならないように、 Tvを決定 することができる。
[0032] 図 3は、上記式（5) ,式 (6)により Tvを算出して、カメラ 2による道路の撮像タイミング を決定する一例を時系列的に示した説明図である。図 3においては、上記式（5)によ り算出された mが 3であり、図中 t〜t及び t〜tが車両が Botts Dotsの設置間隔しの 1Z2を走行する時間を示している。そして、上記式 (6)で算出される Tvの mサイクル 分の間隔（図中、 a, b, c)を空けた 2つの時点（図中、 tと t , tと t , tと t )で撮像した
1 4 2 5 3 6
画像データを合成することにより、車両力 SLZ2を移動する時間間隔を空けた 2つの 画像データの合成画像データを生成することができる。
[0033] なお、本実施の形態では、上記式 (4)により、第 1の時点 T1から Botts Dotsの設置 間隔 Lの 1Z2を移動する時間が経過した第 2の時点を、次の撮像タイミングとしたが
、他の方法による場合であっても、画像データ Mlにおける Botts Dotsの位置と画像 データ M2における Botts Dotsの位置が異なるように、第 2の時点を決定することで本 発明の効果を得ることができる。
[0034] また、本実施の形態では、画像合成手段 13により 2つの画像データ Ml、 M2を合 成して、合成画像データ M3を生成したが、 3つ以上の画像データを合成して合成画 像データを生成するようにしてもょ ヽ。
図面の簡単な説明
[0035] [図 1]本発明のレーンマーク認識装置の全体構成図。
[図 2]画像合成の説明図。
[図 3]カメラ 2による道路の撮像タイミングを決定する一例を時系列的に示した説明図 符号の説明
[0036] 1…レーンマーク認識装置、 2…カメラ、 3…車速センサ、 5, 6· -Botts Dots, 10· · · 画像入力回路、 11, 12· · ·画像メモリ、 13· · ·画像合成手段、 14" 'Botts Dots検出手 段、 15…車線認識手段、 20…撮像タイミング決定手段、 21 · · ·設置間隔認識手段、 2 2…車速認識手段

Claims

請求の範囲
[1] 撮像手段と、
前記撮像手段により撮像された道路の画像データを取得する画像データ取得手段 と、
道路に設けられた艇型のレーンマークの設置間隔を認識する設置間隔認識手段と 車両の移動速度を認識する車速認識手段と、
前記画像データ取得手段により取得された複数の画像データを合成した合成画像 データを生成する画像合成手段と、
該画像合成手段により合成される複数の画像データを前記画像データ取得手段に よって取得するときに、前記撮像手段による画像の撮像タイミングを、前記設置間隔 と前記移動速度とに基づいて、該複数の画像データにおける艇型のレーンマークの 位置が異なるように決定する撮像タイミング決定手段と、
前記画像合成手段により生成された合成画像データから鉅型のレーンマークを検 出するレーンマーク検出手段とを有する車両。
[2] 前記撮像タイミング決定手段は、前記撮像手段により画像が撮像された第 1の時点 から、車両が前記レーンマークの設置間隔の 1Z2を走行した第 2の時点を、次回の 前記撮像手段による画像の撮像タイミングとして決定し、
前記画像合成手段は、前記画像データ取得手段により取得された、前記第 1の時 点で撮像された画像の画像データと前記第 2の時点で撮像された画像の画像データ とを合成して、前記合成画像データを生成することを特徴とする請求項 1記載の車両
[3] 前記撮像タイミング決定手段は、前記撮像手段により画像が撮像された第 1の時点 から、以下の式（1)により算出される時間 Tvが経過した第 2の時点を、次回の前記撮 像手段による画像の撮像タイミングとして決定し、
前記画像合成手段は、前記画像データ取得手段により取得された、前記第 1の時 点で撮像された画像の画像データと前記第 2の時点で撮像された画像の画像データ とを合成して、前記合成画像データを生成することを特徴とする請求項 1記載の車両 Tv = L/v X (n+0.5) (1)
但し、 L:艇型のレーンマークの設置間隔、 V：車両の速度、 n:Tv≥Tmin (所定の下 限時間）となる最小の整数。
[4] 撮像手段により撮像された道路の画像データを取得する画像データ取得手段と、 道路に設けられた艇型のレーンマークの設置間隔を認識する設置間隔認識手段と 、車両の移動速度を認識する車速認識手段と、
前記画像データ取得手段により取得された複数の画像データを合成した合成画像 データを生成する画像合成手段と、
該画像合成手段により合成される複数の画像データを前記画像データ取得手段に よって取得するときに、前記撮像手段による画像の撮像タイミングを、前記設置間隔 と前記移動速度とに基づいて、該複数の画像データにおける艇型のレーンマークの 位置が異なるように決定する撮像タイミング決定手段と、
前記画像合成手段により生成された合成画像データから鉅型のレーンマークを検 出する前記レーンマーク検出手段とを有するレーンマーク認識装置。
[5] 前記撮像タイミング決定手段は、前記撮像手段により画像が撮像された第 1の時点 から、車両が前記レーンマークの設置間隔の 1Z2を走行した第 2の時点を、次回の 前記撮像手段による画像の撮像タイミングとして決定し、
前記画像合成手段は、前記画像データ取得手段により取得された、前記第 1の時 点で撮像された画像の画像データと前記第 2の時点で撮像された画像の画像データ とを合成して、前記合成画像データを生成することを特徴とする請求項 4記載のレー ンマーク認識装置。
[6] 前記撮像タイミング決定手段は、前記撮像手段により画像が撮像された第 1の時点 から、以下の式（2)により算出される時間 Tvが経過した第 2の時点を、次回の前記撮 像手段による画像の撮像タイミングとして決定し、
前記画像合成手段は、前記画像データ取得手段により取得された、前記第 1の時 点で撮像された画像の画像データと前記第 2の時点で撮像された画像の画像データ とを合成して、前記合成画像データを生成することを特徴とする請求項 4記載のレー ンマーク認識装置。
Tv = L/v X (n + 0.5) (2)
但し、 L:錤型のレーンマークの設置間隔、 V：車両の速度、 n :Tv≥Tmin (所定の下 限時間）となる最小の整数。
PCT/JP2006/308102 2005-04-28 2006-04-18 車両及びレーンマーク認識装置 WO2006118020A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP06732031A EP1884907B1 (en) 2005-04-28 2006-04-18 Lane mark recognizer
US11/918,453 US7933434B2 (en) 2005-04-28 2006-04-18 Vehicle and lane mark recognizes
DE602006013449T DE602006013449D1 (de) 2005-04-28 2006-04-18 Spurmarkierungserkennungsvorrichtung
CA2605837A CA2605837C (en) 2005-04-28 2006-04-18 Vehicle and lane mark recognizer

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005131177A JP4358147B2 (ja) 2005-04-28 2005-04-28 車両及びレーンマーク認識装置
JP2005-131177 2005-04-28

Publications (1)

Publication Number Publication Date
WO2006118020A1 true WO2006118020A1 (ja) 2006-11-09

Family

ID=37307822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/308102 WO2006118020A1 (ja) 2005-04-28 2006-04-18 車両及びレーンマーク認識装置

Country Status (6)

Country Link
US (1) US7933434B2 (ja)
EP (1) EP1884907B1 (ja)
JP (1) JP4358147B2 (ja)
CA (1) CA2605837C (ja)
DE (1) DE602006013449D1 (ja)
WO (1) WO2006118020A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4801821B2 (ja) * 2007-09-21 2011-10-26 本田技研工業株式会社 道路形状推定装置
JP5124875B2 (ja) 2008-03-12 2013-01-23 本田技研工業株式会社 車両走行支援装置、車両、車両走行支援プログラム
WO2011065399A1 (ja) 2009-11-25 2011-06-03 日本電気株式会社 走路認識装置、車両、走路認識方法及び走路認識プログラム
WO2012014627A1 (ja) 2010-07-29 2012-02-02 本田技研工業株式会社 車両周辺監視装置
JP6130809B2 (ja) * 2014-04-25 2017-05-17 本田技研工業株式会社 車線認識装置
US11138447B2 (en) 2018-06-01 2021-10-05 Connaught Electronics Ltd. Method for detecting raised pavement markers, computer program product and camera system for a vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03268111A (ja) * 1990-03-19 1991-11-28 Mazda Motor Corp 移動車の環境認識装置
JPH0728975A (ja) * 1993-06-25 1995-01-31 Fujitsu Ltd 道路環境認識装置
JPH11203458A (ja) * 1998-01-13 1999-07-30 Nissan Motor Co Ltd 道路形状認識装置
JP2003123058A (ja) * 2001-10-17 2003-04-25 Hitachi Ltd 走行レーン認識装置
JP2003317106A (ja) * 2002-04-26 2003-11-07 Nissan Motor Co Ltd 走行路認識装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2986439B2 (ja) * 1998-01-12 1999-12-06 松下電器産業株式会社 車両用画像処理装置
JP3904988B2 (ja) * 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
JP4107587B2 (ja) * 2003-12-17 2008-06-25 三菱電機株式会社 車線認識画像処理装置
JP3900162B2 (ja) * 2004-02-09 2007-04-04 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2005251106A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
JP3722487B1 (ja) 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03268111A (ja) * 1990-03-19 1991-11-28 Mazda Motor Corp 移動車の環境認識装置
JPH0728975A (ja) * 1993-06-25 1995-01-31 Fujitsu Ltd 道路環境認識装置
JPH11203458A (ja) * 1998-01-13 1999-07-30 Nissan Motor Co Ltd 道路形状認識装置
JP2003123058A (ja) * 2001-10-17 2003-04-25 Hitachi Ltd 走行レーン認識装置
JP2003317106A (ja) * 2002-04-26 2003-11-07 Nissan Motor Co Ltd 走行路認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1884907A4 *

Also Published As

Publication number Publication date
EP1884907B1 (en) 2010-04-07
CA2605837C (en) 2010-09-21
JP2006309499A (ja) 2006-11-09
JP4358147B2 (ja) 2009-11-04
EP1884907A1 (en) 2008-02-06
DE602006013449D1 (de) 2010-05-20
US20080310679A1 (en) 2008-12-18
US7933434B2 (en) 2011-04-26
EP1884907A4 (en) 2008-07-16
CA2605837A1 (en) 2006-11-09

Similar Documents

Publication Publication Date Title
JP6649738B2 (ja) 駐車区画認識装置、駐車区画認識方法
KR101680023B1 (ko) 차량에 장착된 차선 인식 시스템과 교통 표지 인식 시스템의 융합 방법
WO2006118020A1 (ja) 車両及びレーンマーク認識装置
JP2014086071A (ja) 車路認識方法及びシステム
CN103764448A (zh) 图像处理装置及图像处理方法
JP2005038407A (ja) 車両用外界認識装置
JP2012155516A (ja) 車両挙動記録システム
JP4856525B2 (ja) 先行車両離脱判定装置
JP2020205108A (ja) 情報記録装置、情報記録方法及び情報記録用プログラム
CN107618510A (zh) 用于在行驶期间改变车辆的至少一个行驶参数的方法和设备
JP2008174028A (ja) 対象物検出システム、及び対象物検出方法
JP4913101B2 (ja) 車両用道路形状検出装置
JP2007018451A (ja) 道路区画線検出装置
JP5712847B2 (ja) 信号機増減検出システム、信号機増減検出装置、信号機増減検出方法及びコンピュータプログラム
JP5345999B2 (ja) レーンマーク認識装置
CN114730520A (zh) 信号机识别方法及信号机识别装置
JP2004258981A (ja) 車両監視方法およびその装置
JPH1011585A (ja) 物体検出装置
JP2014203196A (ja) 危険度判定装置、危険度判定方法、警報装置、及び運転支援装置
WO2020250528A1 (ja) 外部環境認識装置
JP5652390B2 (ja) 衝突予測システム、衝突予測装置、衝突検知方法およびプログラム
JP5199030B2 (ja) 情報収集装置、情報収集方法及び情報収集用プログラム
US11410288B2 (en) Image processing apparatus
US20230252675A1 (en) Mobile object control device, mobile object control method, learning device, learning method, and storage medium
JP2010244254A (ja) 車線認識装置

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11918453

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2605837

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006732031

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006732031

Country of ref document: EP