WO2014003167A1 - 車両に搭載される画像解析装置 - Google Patents

車両に搭載される画像解析装置 Download PDF

Info

Publication number
WO2014003167A1
WO2014003167A1 PCT/JP2013/067817 JP2013067817W WO2014003167A1 WO 2014003167 A1 WO2014003167 A1 WO 2014003167A1 JP 2013067817 W JP2013067817 W JP 2013067817W WO 2014003167 A1 WO2014003167 A1 WO 2014003167A1
Authority
WO
WIPO (PCT)
Prior art keywords
speed
vehicle
learning
vanishing point
image analysis
Prior art date
Application number
PCT/JP2013/067817
Other languages
English (en)
French (fr)
Inventor
広樹 中野
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US14/411,112 priority Critical patent/US9330343B2/en
Publication of WO2014003167A1 publication Critical patent/WO2014003167A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to an image analysis apparatus mounted on a vehicle, and more particularly to an image analysis apparatus mounted on a vehicle that performs image analysis based on the position of a vanishing point.
  • Patent Document 1 An example of such a system is shown in Patent Document 1.
  • the system according to Patent Document 1 analyzes a captured image data obtained from an in-vehicle camera and calculates a position of a vanishing point (FOE: Focus of Expansion), thereby estimating the attitude of the in-vehicle camera.
  • FEE Focus of Expansion
  • a vanishing point is a point where parallel straight line groups gather in perspective and perspective views.
  • in-vehicle system it is possible to calculate, for example, the traveling state of the vehicle relative to the road and the distance to the vehicle traveling ahead by analyzing the captured image data in consideration of the attitude of the in-vehicle camera. it can.
  • the vanishing point position For example, by extracting an edge with a steep change in luminance from the captured image data, the area of the road marking line (white line, botsdots, etc.) reflected in the captured image data is estimated. Then, the intersection position of two straight lines obtained by linear approximation of the edge corresponding to the road marking line is calculated. The vanishing point candidate is calculated, for example, by the weighted time average of the intersection position.
  • vanishing point candidates for example, accuracy evaluation is performed by comparison with vanishing point positions learned in the past, and candidates with low accuracy as vanishing points are rejected. And the candidate which was not rejected is employ
  • the learned vanishing point position information is used, for example, when estimating a likely edge as a road marking line.
  • the vehicle 100 may be put on a chassis dynamometer 200 and run in a simulated manner.
  • the vanishing point position is learned despite the fact that the vehicle 100 is not traveling on the road, and there is a possibility that an erroneous learning of the vanishing point position may occur.
  • the vanishing point position is erroneously estimated by erroneously estimating the dirt on the wall 210 or the shadow of the surrounding building reflected on the wall 210 as a road marking line. Learning can occur.
  • an image analysis device mounted on a vehicle includes a camera, a learning unit, a speed detection unit, and a control unit.
  • the camera captures an area in front of the vehicle and generates image data representing the captured image.
  • the learning means analyzes the image data generated by the camera and learns the vanishing point position.
  • the control means causes the learning means to start the operation of learning the vanishing point position on the condition that the state where the vehicle speed detected by the speed detection means exceeds the reference speed has continued for a predetermined time or longer.
  • the vehicle is simulated on the chassis dynamometer for vehicle inspection or the like, the vehicle is rarely simulated for a long time. Generally, the simulated running of the vehicle on the chassis dynamometer is completed in about one minute.
  • the chassis dynamometer It is possible to prevent the disappearance position from being learned in the state in which the vehicle is traveling in a simulated manner. Therefore, it is possible to suppress the occurrence of mislearning of the vanishing point position due to the learning of the vanishing point position during the simulated running of the vehicle.
  • the learning means can be configured to learn the vanishing point position based on the estimation result of the road marking line reflected in the image data. Further, the control means is configured to stop the learning operation by the learning means when the vehicle speed detected by the speed detection means is equal to or lower than a reference speed or a prohibition speed of a learning action predetermined by a speed lower than the reference speed. can do.
  • FIG. 1 shows the configuration of the vehicle control system 1.
  • the vehicle control system 1 includes an image analysis device 10 as a vehicle-mounted electronic device, a vehicle control device 20, and a wheel speed sensor 30 that implement the present invention.
  • each of the image analysis device 10, the vehicle control device 20, and the wheel speed sensor 30 is connected to the in-vehicle network and configured to be able to communicate with each other.
  • various sensors (not shown) that can detect the traveling state of the vehicle, such as an acceleration sensor, are connected to the in-vehicle network so that detection values can be provided.
  • the image analysis apparatus 10 includes a camera 11, a communication interface 15, and a control unit 17.
  • the camera 11 shoots a field of view ahead of a vehicle (so-called own vehicle) on which the vehicle control system 1 is mounted, thereby generating captured image data as image data representing the captured image.
  • a vehicle so-called own vehicle
  • a stereo camera can also be used.
  • the communication interface 15 is controlled by the control unit 17 and is configured to be capable of bidirectional communication with communication nodes such as the vehicle control device 20 and the wheel speed sensor 30 through the in-vehicle network.
  • control unit 17 performs overall control of the image analysis apparatus 10, and includes a CPU 17A, a ROM 17B, and a RAM 17C.
  • various functions as the image analysis device 10 are realized by the CPU 17 ⁇ / b> A executing various processes in accordance with programs stored in the ROM 17 ⁇ / b> B.
  • the RAM 17C is used as a working memory when the CPU 17A executes a program.
  • the control unit 17 executes a vanishing point learning process PR1, a learning control process PR2, a road lane marking estimation process PR3, a travel state estimation process PR4, and the like shown in FIG. 2 according to a program stored in the ROM 17B.
  • the vanishing point learning process PR1 is a process of learning the vanishing point (FOE) position in the captured image data according to a known technique.
  • the learned vanishing point position is stored in the ROM 17B as a parameter representing the camera posture.
  • the ROM 17B of the present embodiment is configured by, for example, a flash memory that can electrically rewrite data.
  • the learning control process PR2 is a process for controlling the execution of the vanishing point learning process PR1.
  • the control unit 17 controls the start / end of the vanishing point learning process PR1 by executing the learning control process PR2.
  • the road lane marking estimation process PR3 is a process for estimating the area of the road lane marking shown in the captured image data.
  • edges that are candidates for road lane markings are extracted from the captured image data according to a known technique, and the vehicle travels based on the positional relationship between the direction of these edges and the learned vanishing point.
  • the edge that is likely to be a road lane marking of the road to be determined is determined.
  • the area of the road marking line of the road on which the vehicle travels is estimated.
  • the road marking line can be estimated using the vanishing point position calculated from the installation parameters of the camera 11 as an index.
  • the vanishing point position can be learned based on the road marking line estimated by the road marking line estimation process PR3. For example, the intersection point appearing on the extension line of two estimated road marking lines is detected as a vanishing point candidate, and the probability that the candidate is a vanishing point is determined by the error between the detected candidate position and the learned vanishing point position. If the error is large and the accuracy is low, this candidate is rejected. If the error is small and the accuracy is high, this candidate is adopted as the vanishing point, and the vanishing point position stored in the ROM 17B is learned and updated. can do.
  • the driving state estimation process PR4 analyzes the captured image data using the learned vanishing point position as an index to estimate the driving state of the vehicle with respect to the road and the positional relationship with another vehicle that travels ahead. It is. Since this driving state estimation process PR4 is a well-known process, it will be briefly described. As the driving state estimation process PR4, based on road marking lines (white lines, botsdots, etc.) estimated from captured image data, A process for estimating the direction and position of the vehicle can be given as an example.
  • the vehicle in front of the captured image data is searched for and detected based on the vanishing point position, or the positional relationship with respect to another vehicle in front of the detected (equipped with the system) For example, a process of estimating a distance between a vehicle and a vehicle ahead is estimated.
  • Vehicle control device 20 Information relating to the driving state of the vehicle estimated by the driving state estimation process PR4 and the positional relationship with another vehicle traveling ahead is provided to the vehicle control device 20 through the communication interface 15 and the in-vehicle network, and the vehicle control is performed. Used for.
  • vehicle control is used in a broad sense to control devices in the vehicle.
  • the vehicle control device 20 as vehicle control based on information obtained from the image analysis device 10, for example, when the vehicle is traveling so as to cross a road marking line, or when approaching another vehicle ahead
  • the process of outputting the warning sound toward the vehicle occupant and the process of controlling the brake to make the distance between the vehicle and the vehicle ahead are appropriate.
  • the learning value of the vanishing point position is used when estimating the road lane marking or when estimating the running state, it is not preferable that erroneous learning occurs.
  • the vanishing point position is learned in a situation where the vehicle is running on the chassis dynamometer 200 at the time of vehicle inspection, dirt on the wall 210 in front of the vehicle photographed by the camera 11 and reflection on the wall 210 appear. There is a possibility that mis-learning of the vanishing point position may occur due to shadows of surrounding buildings.
  • the learning value of the vanishing point position is used, but it may be difficult to determine the correct edge as the road lane marking based on the vanishing point position obtained by mislearning. There is sex. Further, even though the vanishing point learning process PR1 can detect the correct vanishing point as a vanishing point candidate, the position of this candidate is different from the learned vanishing point position, so that learning is possible. It may not be used.
  • the vanishing point learning process PR1 is performed in a situation where there is a high possibility that the vehicle is simulating the chassis dynamometer 200. Do not start running.
  • the control unit 17 starts the learning control process PR2 shown in FIG. 3 when the ignition switch is turned on, and repeatedly executes this process until the ignition switch is turned off.
  • the control unit 17 compares the detected value of the vehicle speed by the wheel speed sensor 30 obtained through the in-vehicle network and the communication interface 15 with a reference speed determined in advance in the design stage. It is determined whether or not the detected value exceeds the reference speed (step S110).
  • the reference speed can be determined by the designer in terms of whether or not the vanishing point position can be appropriately learned. Since the learning of the vanishing point position can be appropriately performed on a road with a good line of sight, for example, about 50 km / h can be set as the reference speed.
  • Step S110 When it is determined that the detected value of the vehicle speed does not exceed the reference speed (No in step S110), the control unit 17 repeatedly executes this determination until the detected value of the vehicle speed exceeds the reference speed, If it is determined that the detected value exceeds the reference speed (Yes in Step S110), the process proceeds to Step S120, and time measurement from this point in time is started with this point as the origin (see FIG. 4).
  • control unit 17 determines whether or not the measurement time, which is the elapsed time from the execution of step S120, exceeds the specified time (step S130), and determines that the measured time does not exceed the specified time (No in step S130). ), It is determined whether or not the detected value of the vehicle speed by the wheel speed sensor 30 has returned below the reference speed (step S140). Then, if it is determined that the detected value of the vehicle speed has not returned below the reference speed (No in step S140), step S130, until the measurement time exceeds the specified time or the detected value of the vehicle speed returns below the reference speed. The process of S140 is repeatedly executed.
  • Step S130 If it is determined that the measurement time exceeds the specified time (Yes in Step S130), the control unit 17 starts the vanishing point learning process PR1 (Step S150). On the other hand, if it is determined that the detected value of the vehicle speed has returned to the reference speed or less before the measurement time exceeds the specified time (Yes in step S140), the learning control process PR2 is performed without starting the vanishing point learning process PR1. Exit once.
  • the prescribed time is determined by the designer of the image analysis apparatus 10 in consideration of the simulated travel time on the vehicle chassis dynamometer 200 at the time of vehicle inspection. In other words, even if an affirmative determination is made in step S110 during the simulated running on the chassis dynamometer 200 of the vehicle, a time during which the affirmative determination is not made in step S130 during the simulated running is set as the specified time.
  • the designer of the image analysis apparatus 10 collects statistics on the simulated travel time on the chassis dynamometer 200 of the vehicle at the time of vehicle inspection, and affirms in step S130 at the time of simulated travel on the chassis dynamometer 200 of the vehicle.
  • the specified time can be set so that the probability of determination is sufficiently small. For example, since the simulated running time on the chassis dynamometer 200 at the time of vehicle inspection is about 1 minute, the specified time can be set to about 2 to 3 minutes.
  • the prescribed time is set in this way, as shown by the broken line in FIG. 4, during the pseudo driving on the chassis dynamometer 200, the elapsed time after the vehicle speed exceeds the reference speed with a high probability is set to the prescribed time. Before the vehicle speed exceeds the reference speed, an affirmative determination is made in step S140, so that the vanishing point learning process is not started. On the other hand, when the vehicle is traveling on the road, the vanishing point learning process is started with a high probability.
  • step S160 determines whether or not the end condition of the vanishing point learning process PR1 is satisfied.
  • step S160 it is determined whether or not the vehicle speed detection value obtained from the wheel speed sensor 30 is equal to or lower than a predetermined learning end speed (for example, 50 kilometers per hour) within a speed range equal to or lower than the reference speed. If the detected speed value is less than or equal to the learning end speed, it is determined that the end condition is satisfied. If the detected value of the vehicle speed is greater than the learned end speed, it is determined that the end condition is not satisfied. Can do.
  • the end condition can be determined by the designer of the image analysis apparatus 10.
  • Step S160 If it is determined that the end condition is not satisfied (No in Step S160), the control unit 17 repeatedly executes the determination in Step S160 until the end condition is satisfied, and if it is determined that the end condition is satisfied (Step S160). (Yes in S160), the vanishing point learning process PR1 started in step S150 is ended (step S170), and the learning control process PR2 is temporarily ended. The control unit 17 repeatedly executes the learning control process PR2 in such a procedure.
  • the vehicle control system 1 has been described.
  • the vehicle front area is photographed by the camera 11, the photographed image data generated by the camera 11 is analyzed by the control unit 17, and Learn the vanishing point position.
  • the learning of the vanishing point position is started on the condition that the state in which the detected value of the vehicle speed by the wheel speed sensor 30 exceeds the reference speed continues for a predetermined time or longer (step S150).
  • the possibility that the vehicle will run for a long time on the chassis dynamometer is low. Therefore, if learning of the vanishing point position is started under the conditions as in the present embodiment, learning of the vanishing point position can be suppressed while the vehicle is running on the chassis dynamometer. . Therefore, according to the present embodiment, it is possible to suppress the occurrence of mislearning of the vanishing point position during the simulated running of the vehicle, and the mislearning has an unfavorable effect on vehicle control and later learning of the vanishing point position. Can be suppressed.
  • the vanishing point position is learned and updated based on the road lane line information reflected in the captured image data estimated by the road lane line estimation process PR3.
  • Use vanishing point information Therefore, if the learned vanishing point position greatly deviates from the correct position due to mislearning of the vanishing point position, the road lane marking itself cannot be estimated accurately. In that case, it takes time to learn and update the vanishing point position to a correct value. Also, it may be difficult to learn and update the vanishing point position to a correct value.
  • the vehicle control system 1 capable of realizing appropriate vehicle control based on vanishing point information is constructed. Can do.
  • step S130 In cases where an affirmative determination is made in step S130, it is considered that the vehicle is traveling on the road even during the period from the start of time measurement in step S120 to the positive determination in step S130.
  • the vanishing point learning process PR1 started in step S150 the vanishing point information is also utilized by using information on road lane markings estimated from the captured image data obtained from the execution time of step S120 until the affirmative determination is made in step S130. The position can be learned.
  • the image analysis device 10 corresponds to an example of an electronic device mounted on a vehicle
  • the wheel speed sensor corresponds to an example of a speed detection unit
  • the vanishing point learning process PR1 executed by the control unit 17 corresponds to an example of the process realized by the learning unit
  • the learning control process PR2 executed by the control unit 17 is an example of the process realized by the control unit.
  • Vehicle control system 10: Image analysis device, 11 ... Camera, 15 ... Communication interface, 17 ... control unit, 17A ... CPU, 17B ... ROM, 17C ... RAM, 20 ... Vehicle control device, 30: Wheel speed sensor, 100 ... vehicle, 200: Chassis dynamometer, 210 ... wall

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　画像解析装置では、カメラにより車両前方領域を撮影し、カメラにより生成された撮影画像データを制御部により解析して、消失点位置を学習するが、制御部では、この学習動作を次のように制御する。即ち、制御部は、車両速度の検出値が基準速度を超えている状態が規定時間を超えるまでは、消失点位置の学習動作を開始せず、車両速度の検出値が基準速度を超えている状態が規定時間を超えると、その時点から消失点位置の学習動作を開始する。規定時間については、車両点検時に車両がシャシーダイナモメータ上で擬似走行される時間の統計に基づいて、定めることができる。

Description

車両に搭載される画像解析装置
　本発明は、車両に搭載される画像解析装置に関り、特に、消失点の位置に基づく画像解析を行う、車両に搭載される画像解析装置に関する。
　近年、車両にカメラを搭載し、そのカメラで撮影された画像データから車両の走行に関連する様々な情報を得るシステムが提供されている。このようなシステムの一例が特許文献１に示されている。この特許文献１に係るシステムは、車載カメラから得られた撮影画像データを解析して、消失点（ＦＯＥ：Ｆｏｃｕｓ　ｏｆ　Ｅｘｐａｎｓｉｏｎ）の位置を算出することにより、車載カメラの姿勢を推定する車載型のシステムである。消失点とは、遠近法や透視図法における、平行な直線群が集まる点である。
　この種の車載システムによれば、車載カメラの姿勢を加味して、撮影画像データを解析することで、例えば、道路に対する車両の走行状態や、前方を走行する車両までの距離を算出することができる。
特開平７－７７４３１号公報
　消失点位置の学習に際しては、例えば、撮影画像データから輝度変化の急峻なエッジを抽出することによって、撮影画像データに映る道路区画線（白線やボッツドッツ等）の領域を推定する。そして、道路区画線に対応するエッジを直線近似して得られる二つの直線の交点位置を算出する。消失点の候補は、例えば、この交点位置の重み付け時間平均により算出される。
　消失点の候補に対しては、例えば、過去に学習された消失点位置との比較によって確度評価が行われ、消失点としての確度が低い候補が棄却される。そして、棄却されなかった候補が消失点として採用されて、消失点位置が学習される。学習された消失点位置の情報は、例えば、道路区画線として尤もらしいエッジを推定する際に用いられる。
　ところで、消失点位置の学習は、車両の走行中に行われる。車両点検時には、図５に示すように、車両１００をシャシーダイナモメータ２００に乗せて擬似走行させることがある。このような車両点検時には、車両１００が道路を走行していないのにもかかわらず、消失点位置の学習が行われ、消失点位置の誤学習が生じる可能性がある。例えば、カメラ１１の前方に壁２１０がある場合には、壁２１０の汚れや壁２１０に映った周囲の建造物の影を誤って道路区画線として推定してしまうことにより、消失点位置の誤学習が生じる可能性がある。
　こうした問題に鑑みると、車両の擬似走行時に、消失点位置の誤学習が生じるのを抑えることが望まれる。
　典型的な一例によれば、車両に搭載される画像解析装置が提供される。この画像解析装置は、カメラと、学習手段と、速度検出手段と、制御手段と、を備える。カメラは、車両前方領域を撮影し、その撮影画像を表す画像データを生成する。学習手段は、このカメラにより生成された画像データを解析し、消失点位置を学習する。制御手段は、速度検出手段により検出された車両の速度が基準速度を超えている状態が所定時間以上継続したことを条件に、学習手段に、消失点位置を学習する動作を開始させる。
　車両点検等で車両がシャシーダイナモメータ上で擬似走行されるケースにおいて、車両が長時間擬似走行されることは少ない。一般的には、１分程度でシャシーダイナモメータ上での車両の擬似走行は完了する。
　従って、速度検出手段により検出された車両の速度が基準速度を超えている状態が所定時間以上継続したことを条件に、消失点位置の学習動作を学習手段に開始させれば、シャシーダイナモメータ上において車両が擬似走行している状態で、消失位置の学習が行われるのを抑えることができる。よって、車両の擬似走行時に、消失点位置の学習が行われることが原因で、消失点位置の誤学習が生じるのを抑えることができる。
　この画像解析装置において、学習手段は、画像データに映る道路区画線の推定結果に基づき、消失点位置を学習する構成にすることができる。また、制御手段は、速度検出手段により検出される車両の速度が、基準速度又は基準速度より低い速度によって予め定められた学習動作の禁止速度以下となると、学習手段による学習動作を停止させる構成にすることができる。
本発明の一実施例に係る画像解析装置を備えた車両制御システムの構成を表すブロック図である。 画像解析装置の制御部により実行される複数の処理の対応関係を示したブロック図である。 制御部が実行する学習制御処理を表すフローチャートである。 制御部の動作態様を、車両速度と関連付けて説明したグラフである。 シャシーダイナモメータ上で擬似走行する車両の状態を示した図である。
　以下、図１～図４を参照して、本発明に係る画像解析装置の実施例を説明する。なお、本発明に係る画像解析装置は、以下に説明する実施例に限定されるものではなく、種々の態様を採用し得る。
　本実施例に係る画像解析装置は、車両に搭載された車両制御システムに組み込まれて実施されている。図１に、この車両制御システム１の構成を示す。同図に示すように、この車両制御システム１は、本発明を実施した、車載型の電子機器としての画像解析装置１０と、車両制御装置２０と、車輪速センサ３０と、を備える。
　この車両制御システム１において、画像解析装置１０、車両制御装置２０及び車輪速センサ３０の夫々は、車内ネットワークに接続され、互いに通信可能な構成にされる。車内ネットワークには、車輪速センサ３０の他、加速度センサ等の車両の走行状態を検出可能な種々のセンサ（図示せず）が、検出値を提供可能に接続される。
　画像解析装置１０は、カメラ１１と、通信インタフェース１５と、制御部１７と、を備える。カメラ１１は、この車両制御システム１を搭載した車両（所謂、自車両）の前方の視野を撮影することにより、その撮影画像を表す画像データとしての撮影画像データを生成し、これを制御部１７に逐次に入力する。本実施例では、カメラ１１として、単眼カメラを用いるが、ステレオカメラを用いることも可能である。
　通信インタフェース１５は、制御部１７に制御されるものであり、車内ネットワークを通じて、車両制御装置２０及び車輪速センサ３０等の通信ノードと双方向通信可能に構成される。
　また、制御部１７は、画像解析装置１０を統括制御するものであり、ＣＰＵ１７Ａと、ＲＯＭ１７Ｂ、ＲＡＭ１７Ｃと、を備える。制御部１７では、ＲＯＭ１７Ｂが記憶するプログラムに従ってＣＰＵ１７Ａが各種処理を実行することにより、画像解析装置１０としての各種機能が実現される。ＲＡＭ１７Ｃは、ＣＰＵ１７Ａによるプログラム実行時に作業メモリとして使用される。
　制御部１７は、ＲＯＭ１７Ｂに記憶されるプログラムに従って、図２に示す消失点学習処理ＰＲ１、学習制御処理ＰＲ２、道路区画線推定処理ＰＲ３、及び、走行状態推定処理ＰＲ４等を実行する。消失点学習処理ＰＲ１は、公知技術に従って、撮影画像データ内の消失点（ＦＯＥ）位置を学習する処理である。学習された消失点位置は、カメラ姿勢を表すパラメータとしてＲＯＭ１７Ｂに記憶される。本実施例のＲＯＭ１７Ｂは、例えば、電気的にデータ書換可能なフラッシュメモリによって構成される。
　また、学習制御処理ＰＲ２は、消失点学習処理ＰＲ１の実行を制御する処理である。制御部１７は、学習制御処理ＰＲ２を実行することにより、消失点学習処理ＰＲ１の開始／終了を制御する。
　この他、道路区画線推定処理ＰＲ３は、撮影画像データに映る道路区画線の領域を推定する処理である。道路区画線推定処理ＰＲ３では、公知技術に従って、撮影画像データから道路区画線の候補とするエッジを抽出し、これらのエッジの向きと、学習された消失点との位置関係に基づき、車両が走行する道路の道路区画線として尤もらしいエッジを判別する。これにより、車両が走行する道路の道路区画線の領域を推定する。消失点が学習されていない場合には、例えば、カメラ１１の設置パラメータから演算される消失点位置を指標に、道路区画線を推定することができる。
　上記消失点学習処理ＰＲ１では、この道路区画線推定処理ＰＲ３により推定された道路区画線に基づき、消失点位置の学習を行うことができる。例えば、推定された二つの道路区画線の延長線上に現れる交点を消失点の候補として検出し、検出した候補の位置と、学習済の消失点位置との誤差により、候補が消失点である確度を評価し、誤差が大きく確度が低い場合には、この候補を棄却し、誤差が小さく確度が高い場合には、この候補を消失点に採用して、ＲＯＭ１７Ｂに記憶する消失点位置を学習更新することができる。
　この他、走行状態推定処理ＰＲ４は、学習された消失点位置を指標に、撮影画像データを解析して、車両の道路に対する走行状態や前方を走行する別の車両との位置関係を推定する処理である。この走行状態推定処理ＰＲ４は、公知のものであるので簡単に説明するが、走行状態推定処理ＰＲ４としては、撮影画像データから推定される道路区画線（白線やボッツドッツ等）に基づき、走行車線に対する車両の向きや位置を推定する処理を一例に挙げることができる。その他、走行状態推定処理ＰＲ４としては、消失点位置を基準に、撮影画像データに映る前方の車両を探索して検出したり、検出された前方の別の車両に対する位置関係（当該システムを搭載した車両と前方の車両との間の距離等）を推定したりする処理を一例に挙げることができる。
　この走行状態推定処理ＰＲ４によって推定された車両の道路に対する走行状態や、前方を走行する別の車両との位置関係に関する情報は、通信インタフェース１５及び車内ネットワークを通じて車両制御装置２０に提供され、車両制御に用いられる。ここでは、用語「車両制御」を、車両内の装置を制御する意味で広義に用いる。車両制御装置２０では、画像解析装置１０から得られた情報に基づく車両制御として、例えば、車両が道路区画線を横切るように走行している場合や、前方の別の車両に近づいている場合に、警告音を車両乗員に向けて出力する処理や、前方の車両との車間距離を適切なものとするためにブレーキを制御する処理を実行することができる。
　ところで、消失点位置の学習値は、道路区画線の推定時や走行状態の推定時に用いられるため、これについての誤学習が生じるのは好ましくない。しかしながら、車両点検時に車両がシャシーダイナモメータ２００上を擬似走行している状況で、消失点位置の学習が行われると、カメラ１１が撮影する車両前方の壁２１０の汚れや、この壁２１０に映る周囲の建造物の影等によって、消失点位置の誤学習が生じる可能性がある。
　そして、このような誤学習によっては、真に正しい消失点位置とは大きく乖離した位置が消失点位置として学習されてしまう可能性がある。このような乖離が生じると、後の学習処理によって学習値を正しい消失点位置に戻すことができない可能性や、戻すのに時間を要する可能性がある。
　例えば、道路区画線推定処理ＰＲ３では、消失点位置の学習値を用いるが、誤学習により得られた消失点位置に基づいては、道路区画線として正しいエッジを判別することが難しくなってしまう可能性がある。また、消失点学習処理ＰＲ１にて、正しい消失点を、消失点の候補として検出することができても、この候補の位置が、学習済の消失点位置と乖離していることによって、学習に用いられない可能性がある。
　そこで、本実施例では、学習制御処理ＰＲ２として、図３に示す処理を実行することにより、車両がシャシーダイナモメータ２００上を擬似走行している可能性が高い状況下では、消失点学習処理ＰＲ１の実行を開始しないようにしている。
　制御部１７は、図３に示す学習制御処理ＰＲ２をイグニションスイッチがオンにされると開始し、この処理をイグニションスイッチがオフになるまで繰り返し実行する。
　学習制御処理ＰＲ２を開始すると、制御部１７は、車内ネットワーク及び通信インタフェース１５を通じて得た車輪速センサ３０による車両速度の検出値を、予め設計段階で定められた基準速度と比較し、車両速度の検出値が基準速度を超えているか否かを判断する（ステップＳ１１０）。尚、基準速度は、消失点位置の学習を適切に行うことができるか否かといった観点で設計者が定めることができる。消失点位置の学習は、見通しの良い道路で適切に行うことができるので、基準速度としては、例えば、時速５０キロメートル程度を設定することができる。
　車両速度の検出値が基準速度を超えていないと判断した場合（ステップＳ１１０でＮｏ）、制御部１７は、車両速度の検出値が基準速度を超えるまで、この判断を繰り返し実行し、車両速度の検出値が基準速度を超えていると判断すると（ステップＳ１１０でＹｅｓ）、ステップＳ１２０に移行して、この時点を原点とした当該時点からの時間計測を開始する（図４参照）。
　その後、制御部１７は、ステップＳ１２０実行時からの経過時間である計測時間が規定時間を超えているか否かを判断し（ステップＳ１３０）、規定時間を超えていないと判断すると（ステップＳ１３０でＮｏ）、車輪速センサ３０による車両速度の検出値が、上記基準速度以下に戻ったか否かを判断する（ステップＳ１４０）。そして、車両速度の検出値が基準速度以下に戻っていないと判断すると（ステップＳ１４０でＮｏ）、計測時間が規定時間を超えるか、車両速度の検出値が基準速度以下に戻るまで、ステップＳ１３０，Ｓ１４０の処理を繰り返し実行する。
　そして、計測時間が規定時間を超えたと判断すると（ステップＳ１３０でＹｅｓ）、制御部１７は、消失点学習処理ＰＲ１を開始する（ステップＳ１５０）。一方、計測時間が規定時間を超える前に、車両速度の検出値が基準速度以下に戻ったと判断すると（ステップＳ１４０でＹｅｓ）、消失点学習処理ＰＲ１を開始せずに、当該学習制御処理ＰＲ２を一旦終了する。
　ここで、上記規定時間について説明する。上記規定時間は、車両点検時における車両のシャシーダイナモメータ２００上での擬似走行時間を考慮して、画像解析装置１０の設計者により定められる。即ち、車両のシャシーダイナモメータ２００上での擬似走行時に、ステップＳ１１０で肯定判断がなされた場合でも、この擬似走行時には、ステップＳ１３０で肯定判断されないような時間を、上記規定時間に定める。
　具体的に、画像解析装置１０の設計者は、車両点検時における車両のシャシーダイナモメータ２００上での擬似走行時間の統計を採り、車両のシャシーダイナモメータ２００上での擬似走行時にステップＳ１３０で肯定判断される確率が十分小さくなるように、規定時間を定めることができる。例えば、車両点検時におけるシャシーダイナモメータ２００上での擬似走行時間は、１分程度であるため、規定時間としては、２～３分程度に定めることができる。
　このように規定時間を設定すれば、図４に破線で示すように、シャシーダイナモメータ２００上での擬似走行時には、高い確率で車両速度が基準速度を超えてからの経過時間が上記規定時間を超える前に、車両速度が基準速度以下となって、ステップＳ１４０で肯定判断されることにより、消失点学習処理が開始されない結果となる。一方、車両が道路上を走行している場合には、高い確率で消失点学習処理が開始される結果となる。
　上述した条件でステップＳ１５０において消失点学習処理ＰＲ１を開始すると、制御部１７は、消失点学習処理ＰＲ１の終了条件が満足されたか否かを判断する（ステップＳ１６０）。ステップＳ１６０では、車輪速センサ３０から得られる車両速度の検出値が、上記基準速度以下の速度範囲で予め定められた学習終了速度（例えば時速５０キロメートル）以下となったか否かを判断し、車両速度の検出値が学習終了速度以下である場合には、終了条件が満足されたと判断し、車両速度の検出値が学習終了速度より大きい場合には、終了条件が満足されていないと判断することができる。終了条件については、画像解析装置１０の設計者が定めることができる。
　そして、終了条件が満足されていないと判断すると（ステップＳ１６０でＮｏ）、制御部１７は、終了条件が満足されるまでステップＳ１６０の判断を繰り返し実行し、終了条件が満足されたと判断すると（ステップＳ１６０でＹｅｓ）、ステップＳ１５０で開始した消失点学習処理ＰＲ１を終了して（ステップＳ１７０）、当該学習制御処理ＰＲ２を一旦終了する。制御部１７は、このような手順で学習制御処理ＰＲ２を繰り返し実行する。
　以上、本実施例の車両制御システム１について説明したが、本実施例によれば、カメラ１１により車両前方領域を撮影し、カメラ１１により生成された撮影画像データを制御部１７により解析して、消失点位置を学習する。詳しくは、この消失点位置の学習を、車輪速センサ３０による車両速度の検出値が基準速度を超えている状態が所定時間以上継続したことを条件に、開始する（ステップＳ１５０）。
　車両点検等では、シャシーダイナモメータ上で車両が長時間擬似走行される可能性は低い。従って、本実施例のような条件で、消失点位置の学習を開始すれば、シャシーダイナモメータ上において車両が擬似走行している状態で、消失点位置の学習が行われるのを抑えることができる。よって、本実施例によれば、車両の擬似走行時に消失点位置の誤学習が生じるのを抑えることができ、誤学習によって車両制御や、後の消失点位置の学習に好ましくない影響が生じるのを抑えることができる。
　例えば、消失点学習処理ＰＲ１によっては、道路区画線推定処理ＰＲ３により推定された撮影画像データに映る道路区画線の情報に基づき、消失点位置を学習更新し、道路区画線の推定には、学習済の消失点の情報を用いる。従って、消失点位置の誤学習によって、学習された消失点位置が正しい位置から大きくずれると、道路区画線の推定そのものを精度よく行うことができなくなる。その場合、消失点位置を正しい値に学習更新するのに時間を要する。また、消失点位置を正しい値に学習更新するのが困難になることもある。
　本実施例によれば、このような状況の発生を上述した学習動作の制御により抑えることができるので、消失点の情報に基づいて適切な車両制御を実現可能な車両制御システム１を構築することができる。
　尚、ステップＳ１３０で肯定判断されるようなケースでは、ステップＳ１２０で時間計測を開始してからステップＳ１３０で肯定判断されるまでの期間においても、車両が道路上を走行していると考えられるため、ステップＳ１５０で開始する消失点学習処理ＰＲ１では、ステップＳ１２０の実行時点からステップＳ１３０で肯定判断されるまでに得られた撮影画像データから推定された道路区画線の情報も活用して、消失点位置の学習を行うことができる。
　上述した実施例において、画像解析装置１０は、車両に搭載される電子機器の一例に対応し、車輪速センサは、速度検出手段の一例に対応する。また、制御部１７が実行する消失点学習処理ＰＲ１は、学習手段によって実現される処理の一例に対応し、制御部１７が実行する学習制御処理ＰＲ２は、制御手段によって実現される処理の一例に対応する。
１…車両制御システム、
１０…画像解析装置、
１１…カメラ、
１５…通信インタフェース、
１７…制御部、
１７Ａ…ＣＰＵ、
１７Ｂ…ＲＯＭ、
１７Ｃ…ＲＡＭ、
２０…車両制御装置、
３０…車輪速センサ、
１００…車両、
２００…シャシーダイナモメータ、
２１０…壁

Claims (5)

  1. 　車両に搭載される画像解析装置（１０）であって、
    　車両前方領域を撮影し、その撮影画像を表す画像データを生成するカメラ（１１）と、
    　前記カメラにより生成された画像データを解析し、消失点の位置を学習する学習手段（１７，ＰＲ１）と、
    　前記車両の速度を検出する速度検出手段（３０）と、
    　前記速度検出手段により検出された前記車両の速度が基準速度を超えている状態が所定時間以上継続したか否かを判断する第１の判断手段（１７、ＰＲ２，Ｓ１１０）と、
    　前記第１の判断手段により前記車両の速度が基準速度を超えている状態が所定時間以上継続したと判断されたときに、前記学習手段に、前記消失点の位置を学習する動作を開始させる制御手段（１７，ＰＲ２，Ｓ１２０～Ｓ１５０、Ｓ１７０））と、
    　を備える。
  2. 　前記学習手段は、前記画像データに映る道路区画線の推定結果に基づいて、前記消失点の位置を学習するように構成されている請求項１記載の画像解析装置。
  3. 　前記学習手段による前記消失点の位置の学習動作が開始された後、前記速度検出手段により検出される前記車両の速度が、前記基準速度又は前記基準速度より低い速度によって予め定められた学習動作の禁止速度以下となったか否かを判断する第２の判断手段（１７、ＰＲ２，Ｓ１６０）を備え、
    　前記制御手段は、前記第２の判断手段により前記車両の速度が前記禁止速度以下になったとは判断されたときに、前記学習手段による学習動作を停止させるように構成されている請求項２に記載の画像解析装置。
  4. 　前記学習手段による前記消失点の位置の学習動作が開始された後、前記速度検出手段により検出される前記車両の速度が、前記基準速度又は前記基準速度より低い速度によって予め定められた学習動作の禁止速度以下となったか否かを判断する第２の判断手段（１７、ＰＲ２，Ｓ１６０）を備え、
    　前記制御手段は、前記第２の判断手段により前記車両の速度が前記禁止速度以下になったとは判断されたときに、前記学習手段による学習動作を停止させるように構成されている請求項１に記載の画像解析装置。
  5. 　車両前方領域を撮影して、その撮影画像を表す画像データを生成し、
    　前記生成された画像データを解析して、消失点の位置を学習し、
    　前記車両の速度を検出し、
    　検出された前記車両の速度が基準速度を超えている状態が所定時間以上継続したか否かを判断し、
    　前記車両の速度が基準速度を超えている状態が所定時間以上継続したと判断されたときに、前記消失点の位置を学習する動作を開始させる、
    　ステップを有する画像解析方法。
PCT/JP2013/067817 2012-06-29 2013-06-28 車両に搭載される画像解析装置 WO2014003167A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/411,112 US9330343B2 (en) 2012-06-29 2013-06-28 Image analysis apparatus mounted to vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012147001A JP2014010636A (ja) 2012-06-29 2012-06-29 電子機器
JP2012-147001 2012-06-29

Publications (1)

Publication Number Publication Date
WO2014003167A1 true WO2014003167A1 (ja) 2014-01-03

Family

ID=49783301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/067817 WO2014003167A1 (ja) 2012-06-29 2013-06-28 車両に搭載される画像解析装置

Country Status (3)

Country Link
US (1) US9330343B2 (ja)
JP (1) JP2014010636A (ja)
WO (1) WO2014003167A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047498A1 (ja) * 2014-09-24 2016-03-31 株式会社デンソー 物体検出装置
KR20160129087A (ko) * 2014-03-11 2016-11-08 퓨라닉스 테크놀러지스 비.브이. 폴리에스터 및 이의 제조방법
CN111461024A (zh) * 2020-04-02 2020-07-28 福建工程学院 基于智能车载终端的僵尸车识别方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106461774B (zh) * 2014-02-20 2019-04-23 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
WO2015157440A1 (en) * 2014-04-08 2015-10-15 Assaf Glazer Systems and methods for configuring baby monitor cameras to provide uniform data sets for analysis
US11297284B2 (en) * 2014-04-08 2022-04-05 Udisense Inc. Monitoring camera and mount
US10708550B2 (en) * 2014-04-08 2020-07-07 Udisense Inc. Monitoring camera and mount
JP6406886B2 (ja) * 2014-06-11 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
USD854074S1 (en) 2016-05-10 2019-07-16 Udisense Inc. Wall-assisted floor-mount for a monitoring camera
USD855684S1 (en) 2017-08-06 2019-08-06 Udisense Inc. Wall mount for a monitoring camera
EP3713487A4 (en) 2017-11-22 2021-07-21 UdiSense Inc. BREATHING MONITOR
KR102627453B1 (ko) 2018-10-17 2024-01-19 삼성전자주식회사 위치 추정 장치 및 방법
USD900428S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle band
USD900429S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle band with decorative pattern
USD900431S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle blanket with decorative pattern
USD900430S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle blanket
KR20210034253A (ko) 2019-09-20 2021-03-30 삼성전자주식회사 위치 추정 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638116A (en) 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP2514779B2 (ja) 1993-09-08 1996-07-10 住友電気工業株式会社 カメラ姿勢パラメ―タ算出方法
JP2001233150A (ja) * 2000-02-22 2001-08-28 Yazaki Corp 車両用危険判断装置及び、車両用周辺監視装置
JP2003333586A (ja) * 2002-05-17 2003-11-21 Pioneer Electronic Corp 撮像装置、撮像装置の制御方法
US7433494B2 (en) * 2002-09-19 2008-10-07 Denso Corporation Moving body detecting apparatus
EP3412511B1 (en) * 2008-10-06 2021-12-29 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
EP2485203B1 (en) * 2009-09-30 2020-02-19 Panasonic Intellectual Property Management Co., Ltd. Vehicle-surroundings monitoring device
US8744169B2 (en) * 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160129087A (ko) * 2014-03-11 2016-11-08 퓨라닉스 테크놀러지스 비.브이. 폴리에스터 및 이의 제조방법
KR102283000B1 (ko) 2014-03-11 2021-07-28 퓨라닉스 테크놀러지스 비.브이. 폴리에스터 및 이의 제조방법
WO2016047498A1 (ja) * 2014-09-24 2016-03-31 株式会社デンソー 物体検出装置
JP2016065760A (ja) * 2014-09-24 2016-04-28 株式会社デンソー 物体検出装置
CN111461024A (zh) * 2020-04-02 2020-07-28 福建工程学院 基于智能车载终端的僵尸车识别方法
CN111461024B (zh) * 2020-04-02 2023-08-25 福建工程学院 基于智能车载终端的僵尸车识别方法

Also Published As

Publication number Publication date
US9330343B2 (en) 2016-05-03
JP2014010636A (ja) 2014-01-20
US20150146930A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
WO2014003167A1 (ja) 車両に搭載される画像解析装置
JP6035904B2 (ja) 電子機器
US10767994B2 (en) Sensor output correction apparatus
US10489664B2 (en) Image processing device, device control system, and computer-readable storage medium
US20100082251A1 (en) Vehicle drive assist system
JP6302519B2 (ja) 車両の運転支援装置
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
WO2016021606A1 (ja) 複数の物体検出手段を用いた物体認識装置
JP2007310741A (ja) 立体物認識装置
JP6936098B2 (ja) 対象物推定装置
KR102126670B1 (ko) 검출 영역을 최적화하는 장애물 추적 장치 및 방법
RU2626424C1 (ru) Устройство оценки позиции и угла пространственной ориентации транспортного средства и способ оценки позиции и угла пространственной ориентации транспортного средства
US8160300B2 (en) Pedestrian detecting apparatus
CN110341621B (zh) 一种障碍物检测方法及装置
JP7371269B2 (ja) 自動車のカメラピッチをキャリブレーションする方法及び装置、並びにそのための消滅点推定モデルをコンティニュアルラーニングさせる方法
JP7445501B2 (ja) 画像処理装置および画像処理方法
JP6462557B2 (ja) 車両ピッチ角推定装置
KR101428373B1 (ko) 주차가능구획 판단 장치 및 방법
JP3352528B2 (ja) 自動車の走行路推定装置
CN109195849B (zh) 摄像装置
JP2019067115A (ja) 路面検出装置
JP5039013B2 (ja) 車両走行支援装置、車両、車両走行支援プログラム
JP2018179926A (ja) 物体認識処理装置、物体認識処理方法および車両制御システム
US20200258379A1 (en) Determination of movement information with surroundings sensors
JP7089708B2 (ja) 路面状態推定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13809456

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14411112

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13809456

Country of ref document: EP

Kind code of ref document: A1