WO2014003168A1 - 車両に搭載される画像解析装置 - Google Patents

車両に搭載される画像解析装置 Download PDF

Info

Publication number
WO2014003168A1
WO2014003168A1 PCT/JP2013/067818 JP2013067818W WO2014003168A1 WO 2014003168 A1 WO2014003168 A1 WO 2014003168A1 JP 2013067818 W JP2013067818 W JP 2013067818W WO 2014003168 A1 WO2014003168 A1 WO 2014003168A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
speed
learning
acceleration
output
Prior art date
Application number
PCT/JP2013/067818
Other languages
English (en)
French (fr)
Inventor
広樹 中野
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US14/411,113 priority Critical patent/US20150294453A1/en
Publication of WO2014003168A1 publication Critical patent/WO2014003168A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to an image analysis apparatus mounted on a vehicle, and more particularly to an image analysis apparatus mounted on a vehicle that performs image analysis based on the position of a vanishing point.
  • Patent Document 1 An example of such a system is shown in Patent Document 1.
  • the system according to Patent Document 1 analyzes a captured image data obtained from an in-vehicle camera and calculates a position of a vanishing point (FOE: Focus of Expansion), thereby estimating the attitude of the in-vehicle camera.
  • FEE Focus of Expansion
  • a vanishing point is a point where parallel straight line groups gather in perspective and perspective views.
  • in-vehicle system it is possible to calculate, for example, the traveling state of the vehicle relative to the road and the distance to the vehicle traveling ahead by analyzing the captured image data in consideration of the attitude of the in-vehicle camera. it can.
  • the vanishing point position For example, by extracting an edge with a steep change in luminance from the captured image data, the area of the road marking line (white line, botsdots, etc.) reflected in the captured image data is estimated. Then, the intersection position of two straight lines obtained by linear approximation of the edge corresponding to the road marking line is calculated. The vanishing point candidate is calculated, for example, by the weighted time average of the intersection position.
  • vanishing point candidates for example, accuracy evaluation is performed by comparison with vanishing point positions learned in the past, and candidates with low accuracy as vanishing points are rejected. And the candidate which was not rejected is employ
  • the learned vanishing point position information is used, for example, when estimating a likely edge as a road marking line.
  • the vehicle 100 may be placed on the chassis dynamometer 200 and simulated as shown in FIG.
  • the vanishing point position is learned, and there is a possibility that the vanishing point position may be erroneously learned.
  • the vanishing point position is erroneously estimated by erroneously estimating the dirt on the wall 210 or the shadow of the surrounding building reflected on the wall 210 as a road marking line. Learning can occur.
  • an image analysis device mounted on a vehicle includes a camera, a learning unit, and a control unit.
  • the camera captures an area in front of the vehicle and generates image data representing the captured image.
  • the learning means analyzes the image data generated by the camera and learns the vanishing point position.
  • the control means controls on / off of the vanishing point position learning operation by the learning means based on the output of the inertial sensor provided in the vehicle.
  • the learning means can be configured to learn the vanishing point position based on, for example, the estimation result of the road marking line reflected in the image data.
  • the control means determines whether or not the vehicle is traveling on the road based on the output of the inertial sensor and determines that the vehicle is traveling on the road.
  • the learning operation can be switched from off to on.
  • the vanishing point position is learned while the vehicle is simulating on the chassis dynamometer.
  • the learning operation can be controlled on / off so that there is no such problem. As a result, it is possible to suppress erroneous learning of the vanishing point position due to the learning of the vanishing point position during the simulated running of the vehicle.
  • an acceleration sensor can be used, and the control means learns on the condition that the vehicle speed calculated by integrating the acceleration of the vehicle specified from the output of the acceleration sensor exceeds the reference speed, for example.
  • the operation can be switched from off to on.
  • control means can be configured to control on / off of the vanishing point position learning operation by the learning means based on the output of the wheel speed sensor provided in the vehicle in addition to the output of the inertia sensor.
  • control means may be based on an error between the vehicle acceleration calculated from the deviation of the vehicle speed specified from the output of the wheel speed sensor and the vehicle acceleration specified from the output of the acceleration sensor, or from the output of the wheel speed sensor. Based on the error between the specified vehicle speed and the vehicle speed calculated by integrating the vehicle acceleration specified from the output of the acceleration sensor, the learning operation is turned on from off on condition that the error is less than the reference. It can be configured to switch to.
  • the control means performs the learning operation on the condition that the speed of the vehicle specified from the output of the wheel speed sensor exceeds the reference speed and that the error is less than the reference.
  • control means learns on the condition that the vehicle speed specified from the output of the wheel speed sensor exceeds the reference speed and the vehicle acceleration specified from the output of the acceleration sensor exceeds the reference acceleration.
  • the operation can be switched from off to on. Also by this control method, the vanishing point position learning operation is appropriately executed.
  • FIG. 1 shows the configuration of the vehicle control system 1.
  • the vehicle control system 1 includes an image analysis device 10 as an in-vehicle electronic device, a vehicle control device 20, a wheel speed sensor 30, and an acceleration sensor 40 that implement the present invention.
  • an image analysis device 10 as an in-vehicle electronic device
  • vehicle control device 20 a wheel speed sensor 30, and an acceleration sensor 40 that implement the present invention.
  • an acceleration sensor 40 that implement the present invention.
  • each of the image analysis device 10 the vehicle control device 20, the wheel speed sensor 30, and the acceleration sensor 40 is connected to an in-vehicle network and configured to be able to communicate with each other.
  • the wheel speed sensor 30 In addition to the wheel speed sensor 30 and the acceleration sensor 40, various sensors (not shown) capable of detecting the traveling / driving state of the vehicle are connected to the in-vehicle network so as to provide the detected values.
  • the wheel speed sensor 30 outputs a vehicle speed signal corresponding to the rotation of the wheel, and indirectly detects the speed of the vehicle by detecting the rotation speed of the wheel.
  • the acceleration sensor 40 is an inertial sensor that performs measurement using inertia, and detects and outputs the acceleration of the vehicle based on the displacement of the member due to inertia, as is well known.
  • the image analysis apparatus 10 includes a camera 11, a communication interface 15, and a control unit 17.
  • the camera 11 shoots a field of view ahead of a vehicle (so-called own vehicle) on which the vehicle control system 1 is mounted, thereby generating captured image data as image data representing the captured image.
  • a vehicle so-called own vehicle
  • a stereo camera can also be used.
  • the communication interface 15 is controlled by the control unit 17, and is configured to be capable of bidirectional communication with communication nodes such as the vehicle control device 20, the wheel speed sensor 30, and the acceleration sensor 40 through the in-vehicle network.
  • control unit 17 performs overall control of the image analysis apparatus 10, and includes a CPU 17A, a ROM 17B, and a RAM 17C.
  • various functions as the image analysis device 10 are realized by the CPU 17 ⁇ / b> A executing various processes in accordance with programs stored in the ROM 17 ⁇ / b> B.
  • the RAM 17C is used as a working memory when the CPU 17A executes a program.
  • the control unit 17 executes a vanishing point learning process PR1, a learning control process PR2, a road lane marking estimation process PR3, a travel state estimation process PR4, and the like shown in FIG. 2 according to a program stored in the ROM 17B.
  • the vanishing point learning process PR1 is a process of learning the vanishing point (FOE) position in the captured image data according to a known technique.
  • the learned vanishing point position is stored in the ROM 17B as a parameter representing the camera posture.
  • the ROM 17B of this embodiment includes, for example, a flash memory that can electrically rewrite data.
  • the learning control process PR2 is a process for controlling the execution of the vanishing point learning process PR1.
  • the control unit 17 controls the start (on) / end (off) of the vanishing point learning process PR1 by executing the learning control process PR2.
  • the road lane marking estimation process PR3 is a process for estimating the area of the road lane marking shown in the captured image data.
  • edges as road lane marking candidates are extracted from the captured image data, and based on the positional relationship between the direction of these edges and the learned vanishing point, Edges that are likely to be road lane markings of the traveling road are determined. Thereby, the area of the road lane marking of the road on which the host vehicle travels is estimated.
  • the road marking line can be estimated using the vanishing point position calculated from the installation parameters of the camera 11 as an index.
  • the vanishing point position can be learned based on the road marking line estimated by the road marking line estimation process PR3. For example, the intersection point appearing on the extension line of two estimated road marking lines is detected as a vanishing point candidate, and the probability that the candidate is a vanishing point is determined by the error between the detected candidate position and the learned vanishing point position. If the error is large and the accuracy is low, this candidate is rejected. If the error is small and the accuracy is high, this candidate is adopted as the vanishing point, and the vanishing point position stored in the ROM 17B is learned and updated. To do.
  • the driving state estimation process PR4 is a process of analyzing the captured image data using the learned vanishing point position as an index to estimate the driving state of the host vehicle with respect to the road and the positional relationship with the preceding vehicle. Since this driving state estimation process PR4 is a well-known process, it will be briefly described.
  • the driving state estimation process PR4 based on road marking lines (white lines, botsdots, etc.) estimated from captured image data, A process for estimating the direction and position of the host vehicle can be given as an example.
  • the traveling state estimation process PR4 the forward vehicle reflected in the captured image data is searched and detected based on the vanishing point position, or the positional relationship between the detected forward vehicle and the own vehicle (the forward vehicle relative to the own vehicle). The process of estimating the distance etc.) can be given as an example.
  • Information regarding the traveling state of the host vehicle with respect to the road estimated by the traveling state estimation process PR4 and the positional relationship with the preceding vehicle is provided to the vehicle control device 20 through the communication interface 15 and the in-vehicle network, and is used for vehicle control.
  • vehicle control is used in a broad sense to control devices in the vehicle.
  • the vehicle control device 20 as vehicle control based on information obtained from the image analysis device 10, for example, when the host vehicle is traveling so as to cross a road marking line, or when the host vehicle is approaching a preceding vehicle
  • the learning value of the vanishing point position is used when estimating the road lane marking or when estimating the running state, it is not preferable that erroneous learning occurs.
  • the vanishing point position is learned in a situation where the vehicle 100 is simulated running on the chassis dynamometer 200 at the time of vehicle inspection, dirt on the wall 210 in front of the host vehicle captured by the camera 11 and the wall 210
  • mis-learning of the vanishing point position may occur due to the shadows of surrounding buildings reflected in.
  • the learning value of the vanishing point position is used, but it may be difficult to determine the correct edge as the road lane marking based on the vanishing point position obtained by mislearning. There is sex. Further, even though the vanishing point learning process PR1 can detect a correct vanishing point as a vanishing point candidate, the position of this candidate is different from the mis-learned vanishing point position. May not be used.
  • the process shown in FIG. 3 is executed as the learning control process PR2, so that the vanishing point learning process is performed in a situation where there is a high possibility that the vehicle 100 is simulated running on the chassis dynamometer 200. PR1 is not started and the learning operation is kept off.
  • the control unit 17 starts the learning control process PR2 shown in FIG. 3 when the ignition switch is turned on, and repeatedly executes this process at regular intervals until the ignition switch is turned off.
  • the control unit 17 determines whether or not the vehicle speed specified from the output of the wheel speed sensor 30 obtained through the in-vehicle network and the communication interface 15 is greater than zero (step S100). If it is determined that the vehicle speed is less than or equal to zero, the process proceeds to step S105, and if it is determined that the vehicle speed is greater than zero, the process proceeds to step S110.
  • step S105 the control unit 17 resets the determined flag F and the learning permission flag G to zero, and resets the acceleration integral value to zero, and then ends the learning control process PR2.
  • the determined flag F referred to here is a flag indicating whether or not a determination is made as to whether or not the vehicle is traveling on a road (in other words, whether or not the vehicle is simulating traveling). A determination is made that a determination has not been made, and a value of 1 indicates that a determination has been made.
  • the learning permission flag is a flag indicating whether or not the execution of the vanishing point learning process PR1 is permitted. A value of 0 indicates that it is not permitted (prohibited), and a value of 1 indicates permission. Indicates that The acceleration integral value is calculated by an acceleration integration process (step S120) described later.
  • step S110 the control unit 17 determines whether or not the determined flag F is set to the value 1, and determines that the determined flag F is set to the value 1 (Yes in step S110). ), The process proceeds to step S135, and if it is determined that the determined flag F is not set to 1 (No in step S110), the process proceeds to step S120. Since the determined flag F is reset to zero when the ignition switch is turned on, a negative determination is made in the first step S110 (No in step S110), and the process proceeds to step S120.
  • step S120 the control unit 17 finally resets the acceleration integral value to zero in step S105 based on the vehicle acceleration specified from the output of the acceleration sensor 40 obtained through the in-vehicle network and the communication interface 15.
  • a process of calculating an integral value of acceleration from the time is executed. Thereby, the actual speed of the vehicle after the vehicle starts running is estimated using the output of the acceleration sensor 40.
  • step S120 for example, the speed change obtained by multiplying the acceleration of the vehicle specified this time by the execution cycle of step S120 is added to the acceleration integral value calculated in the previous step S120. Thereby, an integrated value of acceleration (vehicle speed) after the vehicle speed becomes a value larger than zero is calculated.
  • step S130 compares the vehicle speed specified from the output of the wheel speed sensor 30 with a reference speed determined in advance in the design stage, and It is determined whether or not the vehicle speed exceeds the reference speed.
  • the reference speed can be determined by the designer in terms of whether or not the vanishing point position can be appropriately learned. Since the learning of the vanishing point position can be appropriately performed on a road with a good line of sight, for example, about 50 km / h can be set as the reference speed.
  • step S130 when it is determined that the vehicle speed specified from the output of the wheel speed sensor 30 does not exceed the reference speed (No in step S130), the control unit 17 proceeds to step S100, and the vehicle speed becomes the reference speed. Until it exceeds, the processing of steps S100 to S130 is repeated. On the other hand, when it is determined that the vehicle speed specified from the output of the wheel speed sensor 30 exceeds the reference speed (Yes in step S130), the control unit 17 is specified from the output of the wheel speed sensor 30 at that time. An error (absolute value) between the vehicle speed and the integrated acceleration value is calculated (step S140).
  • step S150 it is determined whether or not the error is less than a threshold value determined in advance in the design stage (step S150). If it is determined that the error is less than the threshold value (Yes in step S150), the determined flag F is set to a value of 1. In addition to setting the learning permission flag G to 1 (step S153), the process proceeds to step S160. On the other hand, if it is determined that the error is equal to or greater than the threshold (No in step S150), the control unit 17 sets the determined flag F to the value 1 while maintaining the state where the learning permission flag G is reset to the value 0. (Step S157), the process proceeds to Step S160.
  • step S150 As a threshold value used in step S150, when the vehicle 100 is in a simulated running state on the chassis dynamometer 200, a negative determination is made with a high probability in step S150, and the vehicle is not in a simulated traveling state but on the road. When the vehicle is traveling, a value that can be affirmatively determined with high probability can be obtained and determined by experiments or the like.
  • step S150 it is determined whether or not the vehicle 100 is traveling on the road by determining whether or not the error is less than the threshold. Only when the error is less than the threshold, the learning permission flag G By setting the value to 1, the execution of the vanishing point learning process PR1 is permitted, and when the error is equal to or greater than the threshold value, it is considered that the vehicle 100 is highly likely to be simulated running on the chassis dynamometer 200. Execution of the vanishing point learning process PR1 is prohibited.
  • step S160 it is determined whether or not the learning permission flag G is set to the value 1. If it is determined that the learning permission flag G is set to the value 1 (Yes in step S160), the vanishing point learning process is performed. After PR1 is started (step S170), the process proceeds to step S180, and if it is determined that the learning permission flag G is not set to 1 (No in step S160), the vanishing point learning process PR1 is not started, The learning control process is temporarily terminated.
  • the control unit 17 determines whether or not the end condition of the vanishing point learning process PR1 is satisfied.
  • the vehicle speed specified from the output of the wheel speed sensor 30 is equal to or lower than a predetermined learning end speed (for example, 50 km / h) within a speed range equal to or lower than the reference speed. Is less than or equal to the learning end speed, it can be determined that the end condition is satisfied, and if the vehicle speed is greater than the learning end speed, it can be determined that the end condition is not satisfied.
  • a predetermined learning end speed for example, 50 km / h
  • the end condition can be arbitrarily determined by the designer of the image analysis apparatus 10.
  • step S180 If it is determined that the end condition is not satisfied (No in step S180), the control unit 17 repeatedly executes the determination in step S180 until the end condition is satisfied, and if it is determined that the end condition is satisfied (step S180). After the vanishing point learning process PR1 is ended (step S190), the learning control process PR2 is once ended.
  • control unit 17 temporarily reduces the vehicle speed specified from the output of the wheel speed sensor 30 to zero. Under the assumption that there is no change in the situation of whether the vehicle is traveling on the road or simulated driving, the learning operation is turned on / off using the determination result in the previous step S150. Control.
  • step S105 the determined flag F set to the value 1 in steps S153 and 157 is set to the value 1 until the vehicle speed specified from the output of the wheel speed sensor 30 once falls to zero and the process of step S105 is executed. Therefore, in the learning control process until the vehicle speed once drops to zero, an affirmative determination is made in step S110, and the process proceeds to step S135.
  • step S135 similarly to the processing in step S130, it is determined whether or not the vehicle speed specified from the output of the wheel speed sensor 30 exceeds the reference speed. If it is determined that the vehicle speed does not exceed the reference speed (No in S135), the process proceeds to S100. If it is determined that the vehicle speed exceeds the reference speed (Yes in S135), the process proceeds to Step S160. To do. In the processes after step S160 (steps S160 to S190), only when the affirmative determination is made in step S150 in the past learning control process and the learning permission flag G is set to 1 (Yes in step S160). Then, the vanishing point learning process PR1 is started (step S170).
  • the vehicle control system 1 has been described above.
  • the camera 11 captures the front area of the host vehicle, and the captured image data generated by the camera 11 is analyzed by the control unit 17. While the vanishing point position is learned, on / off of the vanishing point position learning operation is controlled based on the output of the acceleration sensor 40 that is an inertial sensor.
  • step S150 it is determined whether or not the vehicle is traveling on the road based on the output of the acceleration sensor 40 that measures acceleration using inertia. Only when it is determined that the vehicle is traveling above, the learning operation is turned on (step S170).
  • the vanishing point position learning operation is controlled as in the present embodiment, the vanishing point position is learned while the vehicle 100 is simulating on the chassis dynamometer 200. Can be suppressed. Therefore, according to the present embodiment, it is possible to suppress the occurrence of mislearning of the vanishing point position during the simulated running of the vehicle, and the mislearning has an unfavorable effect on vehicle control and later learning of the vanishing point position. Can be suppressed.
  • the vanishing point position is learned and updated based on the road lane line information reflected in the captured image data estimated by the road lane line estimation process PR3.
  • Use vanishing point information Therefore, if the learned vanishing point position is greatly deviated from the correct position due to mislearning of the vanishing point position, the road lane marking itself cannot be accurately estimated, and the vanishing point position is learned and updated to the correct value. Time may be required, and it may be difficult to learn and update the vanishing point position to the correct value.
  • the vehicle control system 1 capable of realizing appropriate vehicle control based on vanishing point information is constructed. Can do.
  • the error is based on the error between the vehicle speed specified from the output of the wheel speed sensor 30 and the vehicle speed calculated by integrating the acceleration specified from the output of the acceleration sensor 40. Only when it is less than the reference (Yes in step S150), the learning operation is switched from off to on, so whether or not the vehicle is traveling on the road based only on the output of the acceleration sensor 40 is determined. It is possible to realize determination and on / off control with higher accuracy than the determination and on / off control of the learning operation, and to further suppress the mislearning of the vanishing point position.
  • the learning operation of the vanishing point position is likely to occur on a road with poor visibility such as a narrow street, according to this embodiment, there is a high possibility that the vehicle is traveling on a road with poor visibility.
  • the learning operation is kept off during low-speed driving.
  • the learning operation is kept off, and when the vehicle speed exceeds the reference speed (Yes in step S130).
  • the learning operation is turned off on condition that the vehicle speed specified from the output of the wheel speed sensor 30 exceeds the reference speed and that the error is less than the reference. Switched on. Therefore, according to the present embodiment, mislearning of the vanishing point position can be further suppressed.
  • the control unit 17 determines whether or not the vehicle speed specified from the output of the wheel speed sensor 30 is larger than zero, similarly to the first embodiment (step S200). If it is determined that the vehicle speed is less than or equal to zero, the process proceeds to step S205, and if it is determined that the vehicle speed is greater than zero, the process proceeds to step S210.
  • step S205 the control unit 17 resets the determined flag F and the learning permission flag G to the value zero and resets the error statistical value to the value zero, and then performs the learning control similarly to the process in step S105.
  • the process PR2 is once ended.
  • the error statistic value is calculated by an error statistic value calculation process (step S220) described later.
  • step S210 the control unit 17 determines whether or not the determined flag F is set to the value 1, and determines that the determined flag F is set to the value 1 (in step S210). Yes), the process proceeds to step S235, and if it is determined that the determined flag F is not set to 1 (No in step S210), the process proceeds to step S220.
  • the control unit 17 executes an error statistic value calculation process shown in FIG.
  • the vehicle acceleration corresponding to the rotational acceleration of the wheel is calculated by calculating the differential value of the vehicle speed specified from the output of the wheel speed sensor 30 (step S221).
  • the differential value can be obtained, for example, by dividing the deviation between the vehicle speed at the previous execution time of step S221 and the vehicle speed at the current execution time of step S221 by the execution period of step S221.
  • step S221 the control unit 17 specifies the acceleration of the vehicle from the output of the acceleration sensor 40, and calculates an error (absolute value) between this acceleration and the speed differential value calculated in step S221. Calculate (step S223). Further, using the error obtained in step S223 each time from the time when the error statistical value was finally reset to zero in step S205 as a sample group, a statistical value of error in this sample group is calculated (step S225). Specifically, in step S225, for example, calculating an average value of errors calculated so far as the error statistic value is given. In addition, as an error statistic value, a median value of errors in the sample population may be calculated, or a maximum value of errors in the sample population may be calculated. In step S205, the error statistic value is reset to zero, and the sample group used so far can be deleted.
  • step S230 determines whether or not the vehicle speed specified from the output of the wheel speed sensor 30 exceeds the reference speed, similarly to the process at step S130. If it is determined that the vehicle speed specified from the output of the wheel speed sensor 30 does not exceed the reference speed (No in step S230), the control unit 17 proceeds to step S200, and this vehicle speed is the reference speed. Steps S200 to S230 are repeatedly executed until the value exceeds. On the other hand, if it is determined that the vehicle speed exceeds the reference speed (Yes in Step S230), the process proceeds to Step S250, and the latest error statistic value calculated in Step S220 is less than the threshold value previously determined in the design stage. Judge whether there is.
  • step S250 If it is determined that the error statistical value is less than the threshold value (Yes in step S250), the determined flag F is set to 1 and the learning permission flag G is set to 1 (step S253), and then step S260. Migrate to On the other hand, if it is determined that the error statistical value is equal to or greater than the threshold value (No in step S250), the determined flag F is set to the value 1 while the learning permission flag G is reset to the value 0 (step S257), the process proceeds to step S260.
  • the threshold used in step S250 can be determined by the designer according to the same criteria as the threshold used in step S150 of the first embodiment.
  • step S260 determines whether or not the learning permission flag G is set to a value 1 (step S260), and determines that the learning permission flag G is set to a value 1 (Yes in step S260).
  • step S270 determines that the learning permission flag G is set to a value 1 (Yes in step S260).
  • step S280 the process proceeds to step S280, and if a negative determination is made (No in step S260), the learning control process is temporarily ended without starting the vanishing point learning process PR1.
  • step S280 the control unit 17 determines whether or not the end condition of the vanishing point learning process PR1 is satisfied as in the process in step S180, and determines that the end condition is not satisfied (step S280). No in S280), the determination in step S280 is repeatedly executed until the end condition is satisfied. If it is determined that the end condition is satisfied (Yes in step S280), after the vanishing point learning process PR1 is ended (step S290), The learning control process PR2 is temporarily terminated.
  • control unit 17 specifies the output from the wheel speed sensor 30 as in the first embodiment. Until the vehicle speed once drops to zero, the learning operation is controlled to be turned on / off using the determination result in the past step S250.
  • step S210 the process proceeds to step S235, and is specified from the output of the wheel speed sensor 30 as in the process in step S230. It is determined whether or not the vehicle speed exceeds the reference speed. If it is determined that the vehicle speed does not exceed the reference speed (No in Step S235), the process proceeds to Step S200, and if it is determined that the vehicle speed exceeds the reference speed (Yes in Step S235), Step The process proceeds to S260.
  • steps S260 to S290 as in the first embodiment, when a positive determination is made in step S250 in the past learning control processing and the learning permission flag G is set to a value of 1. Only (Yes in Step S260), the vanishing point learning process PR1 is started (Step S270).
  • the error between the vehicle acceleration calculated from the deviation of the vehicle speed specified from the output of the wheel speed sensor 30 and the vehicle acceleration specified from the output of the acceleration sensor 40 is performed based on the above, but the same effect as in the first embodiment can be obtained by such control as well.
  • the content of the learning control process PR2 executed by the control unit 17 is different from that of the first embodiment. Therefore, hereinafter, the learning control in the third embodiment is performed.
  • the contents of the process PR2 will be described selectively.
  • the control unit 17 in this embodiment starts the learning control process PR2 shown in FIG. 6 when the ignition switch is turned on, and repeatedly executes this process at regular intervals until the ignition switch is turned off.
  • the control unit 17 determines whether or not the vehicle speed specified from the output of the wheel speed sensor 30 is greater than zero, similarly to the process in step S100 (step S300). If it is determined that the speed is less than or equal to zero, the process proceeds to step S305, and if it is determined that the vehicle speed is greater than zero, the process proceeds to step S310.
  • step S305 the control unit 17 resets the determined flag F and the learning permission flag G to the value zero and resets the acceleration statistical value to the value zero, and then performs the learning control similarly to the process in step S105.
  • the process PR2 is once ended.
  • the acceleration statistical value is calculated in step S320 described later.
  • step S310 the control unit 17 determines whether or not the determined flag F is set to the value 1, and determines that the determined flag F is set to the value 1 (in step S310). If YES, the process proceeds to step S335, and if it is determined that the determined flag F is not set to 1 (No in step S310), the process proceeds to step S320.
  • step S320 the control unit 17 identifies the current vehicle acceleration from the output of the acceleration sensor 40, and was observed by the acceleration sensor 40 from the time when the acceleration statistical value was finally reset to zero in step S305.
  • Calculate acceleration statistics Specifically, in step S320, as an acceleration statistic value, for example, calculating an average value of acceleration from the time when the acceleration statistic value was finally reset to zero in step S305 is given as an example.
  • the acceleration statistical value the median value of acceleration may be calculated, or the maximum value of acceleration may be calculated.
  • step S320 the control unit 17 proceeds to step S330, and in the same way as the process in step S130, compares the vehicle speed specified from the output of the wheel speed sensor 30 with the reference speed, and determines the vehicle speed. Is determined not to exceed the reference speed (No in step S330), the process proceeds to step S300, and the processes of steps S300 to S330 are repeatedly executed until the vehicle speed exceeds the reference speed.
  • Step S330 If it is determined that the vehicle speed specified from the output of the wheel speed sensor 30 exceeds the reference speed (Yes in Step S330), the process proceeds to Step S350, and the latest acceleration statistical value calculated in Step S320 is stored in advance. It is determined whether or not a threshold value determined in the design stage is exceeded.
  • step S350 if it is determined that the acceleration statistical value exceeds the threshold (Yes in step S350), the determined flag F is set to the value 1 and the learning permission flag G is set to the value 1 (step S353), and then the step. The process proceeds to S360.
  • the threshold value can be determined by the designer according to the same criteria as the threshold value used in step S150 of the first embodiment.
  • step S360 determines whether or not the learning permission flag G is set to the value 1 (step S360), and determines that the learning permission flag G is set to the value 1 (Yes in step S360).
  • step S370 the process proceeds to step S380, and if a negative determination is made (No in step S360), the learning control process is temporarily ended without starting the vanishing point learning process PR1.
  • step S380 the control unit 17 determines whether or not the end condition of the vanishing point learning process PR1 is satisfied as in the process in step S180, and determines that the end condition is not satisfied (step S380). If the determination in step S380 is repeated until the end condition is satisfied and it is determined that the end condition is satisfied (Yes in step S380), the vanishing point learning process PR1 is ended (step S390). The learning control process PR2 is temporarily terminated.
  • control unit 17 specifies the output from the wheel speed sensor 30 as in the first embodiment. Until the vehicle speed once falls to zero, the learning operation is controlled to be turned on / off using the determination result in the past step S350.
  • step S310 an affirmative determination is made in step S310 and the process proceeds to step S335, and is specified from the output of the wheel speed sensor 30 as in the process in step S330. It is determined whether or not the vehicle speed exceeds the reference speed. If it is determined that the vehicle speed does not exceed the reference speed (No in Step S335), the process proceeds to Step S300, and if it is determined that the vehicle speed exceeds the reference speed (Yes in Step S335), Step The process proceeds to S360.
  • step S360 steps S360 to S390
  • the learning permission flag G is set to 1
  • the vanishing point learning process PR1 is started.
  • the speed of the vehicle specified from the output of the wheel speed sensor 30 exceeds the reference speed (Yes in step S330), and the acceleration sensor 40
  • the learning operation is switched from OFF to ON on the condition that the acceleration (acceleration statistical value) of the vehicle specified from the output exceeds the threshold (Yes in Step S350). Also by this control method, the vanishing point position learning operation can be appropriately executed.
  • the control unit 17 first determines whether or not the vehicle is in a driving state (step S400).
  • whether or not the vehicle is in operation is determined by whether or not the vehicle speed specified from the output of the wheel speed sensor 30 is greater than zero. be able to.
  • step S400 If it is determined that the vehicle is not being driven (No in step S400), the process proceeds to step S405. If it is determined that the vehicle is being driven (Yes in step S400), the process proceeds to step S410. To do.
  • the control unit 17 resets the learning permission flag G to zero and resets the acceleration integral value to zero, and then ends the learning control process PR2.
  • the acceleration integral value is a process attached to the learning control process PR2, and is calculated by an acceleration integration process executed in parallel with the learning control process PR2.
  • step S120 The contents of this acceleration integration processing are the same as in step S120 in the first embodiment, but in this embodiment, in addition to the processing loop of learning control processing PR2, the control unit 17 turns on the ignition switch. Until the ignition switch is turned off, the acceleration integration process is always repeatedly executed at a predetermined execution cycle, and the integrated value of the acceleration observed by the acceleration sensor 40 after the vehicle starts to be operated is calculated. This always estimates the actual speed of the vehicle. In step S405, the acceleration integrated value is reset to zero.
  • step S410 the control unit 17 determines whether or not the learning permission flag G is set to the value 1, and determines that the learning permission flag G is set to the value 1 (in step S410). Yes), the process proceeds to step S435, and if it is determined that the learning permission flag G is not set to 1 (No in step S410), the process proceeds to step S430.
  • step S430 it is determined whether or not the latest acceleration integration value calculated by the acceleration integration process exceeds a reference value determined in advance in the design stage.
  • the “reference value” used here can be set to the same value as the reference speed used in step S130.
  • step S430 If it is determined that the acceleration integral value is equal to or less than the reference value (No in step S430), the control unit 17 proceeds to step S400 and continues until the acceleration integral value exceeds the reference value (Yes in step S430).
  • the process proceeds to Step S450, and the learning permission flag G is set to the value 1, and then disappears.
  • the point learning process PR1 is started (step S470), and the process proceeds to step S480.
  • the control unit 17 determines whether or not the end condition of the vanishing point learning process PR1 is satisfied, similarly to the process in step S180.
  • step S480 If it is determined that the end condition is not satisfied (No in step S480), the determination in step S480 is repeatedly executed until the end condition is satisfied, and if it is determined that the end condition is satisfied (Yes in step S480), After ending the vanishing point learning process PR1 (step S490), the learning control process PR2 is once ended.
  • control unit 17 executes the processes after step S450 and once ends the learning control process, until it is determined that the vehicle is not in a driving state in the second learning control process (step S400). No), since the learning permission flag G is maintained at the value 1, an affirmative determination is made in step S410, and the process proceeds to step S435. In step S435, it is determined whether the resumption condition for the learning operation is satisfied as follows.
  • step S435 for example, similarly to the processing in step S430, when the acceleration integral value exceeds the reference value, it is determined that the restart condition is satisfied, and when the acceleration integral value is equal to or less than the reference value. It is determined that the restart condition is not satisfied.
  • a difference V1 ⁇ V2 between the latest acceleration integration value V1 calculated by the acceleration integration process and the acceleration integration value V2 at the time when the vanishing point learning process is finally ended is If the difference V1-V2 is greater than or equal to a threshold value determined in advance in the design stage, the restart condition is determined to be satisfied, and if the difference V1-V2 is less than the threshold value, the restart condition is not satisfied. It can be judged.
  • the threshold value can be set to such a value that it is determined that the restart condition is satisfied in an environment where the vehicle speed exceeds the reference speed.
  • the restart condition is satisfied when the vehicle speed specified from the output of the wheel speed sensor 30 exceeds the reference speed, as in the processes in steps S135, S235, and S335. If the vehicle speed does not exceed the reference speed, it can be determined that the restart condition is not satisfied.
  • control unit 17 determines whether or not the restart condition is satisfied. If the control unit 17 determines that the restart condition is not satisfied (No in step S435), the control unit 17 proceeds to step S400 while restarting. If it is determined that the condition is satisfied (Yes in step S435), the process proceeds to step S470, and the vanishing point learning process PR1 is started.
  • the vehicle speed calculated by integrating the acceleration of the vehicle specified from the output of the acceleration sensor 40 exceeds the reference speed ( In step S430, Yes), the learning operation is switched from OFF to ON. Also by such a control method, the learning operation of the vanishing point position can be appropriately executed while suppressing erroneous learning.
  • the present invention is not limited to the modes described in the above embodiments, and can take various modes.
  • the determination in steps S100, S200, and S300 can be replaced with the determination as to whether or not the vehicle is being driven, similar to the determination in step S400.
  • the output of the inertial sensor is used, on / off of the learning operation may be controlled by a method other than the above embodiment.
  • the acceleration integration process (step S120) is executed in parallel with the learning control process PR2, and thus based on the output of the acceleration sensor 40.
  • An example in which the actual speed of the vehicle is always estimated after the vehicle starts to be driven can be considered.
  • an embodiment in which the on / off control of the learning operation is executed without using the determination result in the past step S150 is also conceivable. That is, an embodiment in which the determination step in step S110 is deleted and the processing in steps S140 and S150 to S157 is performed again based on the acceleration integrated value at that time in the learning control process PR2 again is also conceivable.
  • the image analysis device 10 corresponds to an example of an electronic device mounted on a vehicle.
  • the vanishing point learning process PR1 executed by the control unit 17 corresponds to an example of the process realized by the learning unit
  • the learning control process PR2 executed by the control unit 17 is an example of the process realized by the control unit.
  • Vehicle control system 10: Image analysis device, 11 ... Camera, 15 ... Communication interface, 17 ... control unit, 17A ... CPU, 17B ... ROM, 17C ... RAM, 20 ... Vehicle control device, 30: Wheel speed sensor, 40 ... acceleration sensor, 100 ... vehicle, 200: Chassis dynamometer, 210 ... wall

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

　画像解析装置では、カメラにより車両前方領域を撮影し、カメラにより生成された撮影画像データを制御部により解析して、消失点位置を学習するが、制御部では、この学習動作を、車輪速センサ及び慣性センサとしての加速度センサの出力に基づき、次のように制御する。即ち、制御部は、車輪速センサの出力から特定される車両速度が基準速度を超えるまでは、消失点位置の学習動作を開始せずにオフに維持する。一方、この車両速度が基準速度を超えると、この時点までの加速度センサの出力に基づき加速度の積分値で求めた車両速度と、車輪速センサの出力から特定される車両速度との誤差が閾値未満であるか否かを判断し、閾値未満であると判断すると、消失点位置の学習動作を開始する。

Description

車両に搭載される画像解析装置
　本発明は、車両に搭載される画像解析装置に関り、特に、消失点の位置に基づく画像解析を行う、車両に搭載される画像解析装置に関する。
　近年、車両にカメラを搭載し、そのカメラで撮影された画像データから車両の走行に関連する様々な情報を得るシステムが提供されている。このようなシステムの一例が特許文献１に示されている。この特許文献１に係るシステムは、車載カメラから得られた撮影画像データを解析して、消失点（ＦＯＥ：Ｆｏｃｕｓ　ｏｆ　Ｅｘｐａｎｓｉｏｎ）の位置を算出することにより、車載カメラの姿勢を推定する車載型のシステムである。消失点とは、遠近法や透視図法における、平行な直線群が集まる点である。
　この種の車載システムによれば、車載カメラの姿勢を加味して、撮影画像データを解析することで、例えば、道路に対する車両の走行状態や、前方を走行する車両までの距離を算出することができる。
特開平７－７７４３１号公報
　消失点位置の学習に際しては、例えば、撮影画像データから輝度変化の急峻なエッジを抽出することによって、撮影画像データに映る道路区画線（白線やボッツドッツ等）の領域を推定する。そして、道路区画線に対応するエッジを直線近似して得られる二つの直線の交点位置を算出する。消失点の候補は、例えば、この交点位置の重み付け時間平均により算出される。
　消失点の候補に対しては、例えば、過去に学習された消失点位置との比較によって確度評価が行われ、消失点としての確度が低い候補が棄却される。そして、棄却されなかった候補が消失点として採用されて、消失点位置が学習される。学習された消失点位置の情報は、例えば、道路区画線として尤もらしいエッジを推定する際に用いられる。
　ところで、消失点位置の学習は、車両の走行中に行われるが、車両点検時には、図８に示すように、車両１００をシャシーダイナモメータ２００に乗せて擬似走行させることがある。このような車両点検時には、車両１００が道路上を走行していないのにもかかわらず、消失点位置の学習が行われ、消失点位置の誤学習が生じる可能性がある。例えば、カメラ１１の前方に壁２１０がある場合には、壁２１０の汚れや壁２１０に映った周囲の建造物の影を誤って道路区画線として推定してしまうことにより、消失点位置の誤学習が生じる可能性がある。
　こうした問題に鑑みると、車両の擬似走行時に、消失点位置の誤学習が生じるのを抑えることが望まれる。
　典型的な一例によれば、車両に搭載される画像解析装置が提供される。この装置は、カメラと、学習手段と、制御手段と、を備える。カメラは、車両前方領域を撮影し、その撮影画像を表す画像データを生成する。学習手段は、このカメラにより生成された画像データを解析し、消失点位置を学習する。一方、制御手段は、この車両が備える慣性センサの出力に基づき、学習手段による消失点位置の学習動作のオン／オフを制御する。
　学習手段は、例えば、画像データに映る道路区画線の推定結果に基づいて、消失点位置を学習する構成にすることができる。一方、制御手段は、慣性センサの出力に基づき、車
両が道路上を走行している状態であるか否かを判定し、車両が道路上を走行している状態であると判定したことを条件に、学習動作をオフからオンに切り替える構成にすることができる。
　車両点検等で車両がシャシーダイナモメータ上で擬似走行している場合には、車輪速センサによってゼロではない車両速度が検出される。このため、従来技術によれば、車輪速センサの出力に基づき、車両が道路上を走行していると判断されて、消失点位置の学習動作が行われる可能性がある。一方、慣性センサによって検出される加速度や角速度等の物理量は、車輪速センサとは異なり、車両が擬似走行している場合、略ゼロである。従って、慣性センサの出力に基づけば、車両がシャシーダイナモメータによる擬似走行状態にあるか否かを判別することができる。
　従って、慣性センサの出力に基づき、学習手段による消失点位置の学習動作のオン／オフを制御すれば、シャシーダイナモメータ上において車両が擬似走行している状態で、消失点位置の学習が行われないように、学習動作をオン／オフ制御することができる。結果として、車両の擬似走行時に、消失点位置の学習が行われることが原因で、消失点位置の誤学習が生じるのを抑えることができる。
　慣性センサとしては、加速度センサを用いることができ、制御手段は、例えば、加速度センサの出力から特定される車両の加速度の積分により算出した車両の速度が基準速度を超えたことを条件に、学習動作をオフからオンに切り替える構成にすることができる。
　この他、制御手段は、慣性センサの出力に加えて、車両が備える車輪速センサの出力に基づき、学習手段による消失点位置の学習動作のオン／オフを制御する構成にすることができる。
　例えば、制御手段は、車輪速センサの出力から特定される車両の速度の偏差から算出した車両の加速度と加速度センサの出力から特定される車両の加速度との誤差、又は、車輪速センサの出力から特定される車両の速度と加速度センサの出力から特定される車両の加速度の積分により算出した車両の速度との誤差に基づき、当該誤差が基準未満であることを条件に、学習動作をオフからオンに切り替える構成にすることができる。
　車両が擬似走行している状態でも、慣性センサによりゼロではない値が検出される可能性がある。一方、上記誤差に着目すれば、この誤差は、車両が擬似走行している状態で大きく現れる。従って、上記誤差を指標に、学習動作のオン／オフを制御すれば、誤学習の発生を抑えた高精度な学習動作のオン／オフ制御を実現することができる。
　別の好適な例によれば、制御手段は、車輪速センサの出力から特定される車両の速度が基準速度を超えていること、且つ、上記誤差が基準未満であることを条件に、学習動作をオフからオンに切り替える構成にすることができる。細街路等の見通しが悪い道路では消失点位置の学習動作を行うと誤学習が生じやすい。従って、車両が見通しの悪い道路を走行している可能性の高い車両が低速で走行している環境では、学習動作をオフに維持し、車両の速度が基準速度を超えたことを条件に学習動作をオンに切り替えるように、学習動作のオン／オフ制御を実行すれば、消失点位置の学習動作は、一層適切に実行される。
　この他、制御手段は、車輪速センサの出力から特定される車両の速度が基準速度を超え、且つ、加速度センサの出力から特定される車両の加速度が基準加速度を超えたことを条件に、学習動作をオフからオンに切り替える構成にすることができる。この制御手法によっても、消失点位置の学習動作は、適切に実行される。
本発明に係る画像解析装置を搭載した車両制御システムの第１の実施例の構成を表すブロック図である。 車両制御システムの制御部により実行される複数の処理の対応関係を示したブロック図である。 制御部が実行する第１の実施例の学習制御処理を表すフローチャートである。 本発明に係る画像解析装置を搭載した車両制御システムの第２の実施例の学習制御処理を表すフローチャートである。 第２の実施例における誤差統計値算出処理を表すフローチャートである。 本発明に係る画像解析装置を搭載した車両制御システムの第３の実施例の学習制御処理を表すフローチャートである。 本発明に係る画像解析装置を搭載した車両制御システムの第４の実施例の学習制御処理を表すフローチャートである。 シャシーダイナモメータ上で擬似走行する車両の状態を示した図である。
　以下、添付図面を参照して、本発明に係る画像解析装置の実施例を説明する。
　［第１の実施例］
　本実施例に係る画像解析装置は、車両に搭載された車両制御システムに組み込まれて実施されている。図１に、この車両制御システム１の構成を示す。同図に示すように、この車両制御システム１は、本発明を実施した、車載型の電子機器としての画像解析装置１０と、車両制御装置２０と、車輪速センサ３０と、加速度センサ４０とを備える。この車両制御システム１において、画像解析装置１０、車両制御装置２０、車輪速センサ３０及び加速度センサ４０の夫々は、車内ネットワークに接続されて、互いに通信可能に構成される。
　車内ネットワークには、車輪速センサ３０及び加速度センサ４０の他、車両の走行／運転状態を検出可能な種々のセンサ（図示せず）が、その検出値を提供可能に接続される。車輪速センサ３０は、周知のように、車輪の回転に応じた車速信号を出力するものであり、車輪の回転速度を検出することにより、間接的に車両の速度を検出するものである。一方、加速度センサ４０は、慣性を利用した計測を行う慣性センサであり、周知のように慣性による部材の変位に基づき車両の加速度を検出して出力するものである。
　画像解析装置１０は、カメラ１１と、通信インタフェース１５と、制御部１７と、を備える。カメラ１１は、この車両制御システム１を搭載した車両（所謂、自車両）の前方の視野を撮影することにより、その撮影画像を表す画像データとしての撮影画像データを生成し、これを制御部１７に逐次に入力する。本実施例では、カメラ１１として、単眼カメラを用いるが、ステレオカメラを用いることも可能である。
　通信インタフェース１５は、制御部１７に制御されるものであり、車内ネットワークを通じて、車両制御装置２０、車輪速センサ３０及び加速度センサ４０等の通信ノードと双方向通信可能に構成される。
　また、制御部１７は、画像解析装置１０を統括制御するものであり、ＣＰＵ１７Ａと、ＲＯＭ１７Ｂ、ＲＡＭ１７Ｃと、を備える。制御部１７では、ＲＯＭ１７Ｂが記憶するプログラムに従ってＣＰＵ１７Ａが各種処理を実行することにより、画像解析装置１０としての各種機能が実現される。ＲＡＭ１７Ｃは、ＣＰＵ１７Ａによるプログラム実行時に作業メモリとして使用される。
　制御部１７は、ＲＯＭ１７Ｂに記憶されるプログラムに従って、図２に示す消失点学習処理ＰＲ１、学習制御処理ＰＲ２、道路区画線推定処理ＰＲ３、及び、走行状態推定処理ＰＲ４等を実行する。消失点学習処理ＰＲ１は、公知技術に従って、撮影画像データ内の消失点（ＦＯＥ）位置を学習する処理である。学習された消失点位置は、カメラ姿勢を表すパラメータとしてＲＯＭ１７Ｂに記憶される。本実施例のＲＯＭ１７Ｂは、例えば、電気的にデータ書換可能なフラッシュメモリを備える。
　また、学習制御処理ＰＲ２は、消失点学習処理ＰＲ１の実行を制御する処理である。制御部１７は、学習制御処理ＰＲ２を実行することにより、消失点学習処理ＰＲ１の開始（オン）／終了（オフ）を制御する。
　この他、道路区画線推定処理ＰＲ３は、撮影画像データに映る道路区画線の領域を推定する処理である。道路区画線推定処理ＰＲ３では、公知技術に従って、撮影画像データから道路区画線の候補とするエッジを抽出し、これらのエッジの向きと、学習された消失点との位置関係に基づき、自車両が走行する道路の道路区画線として尤もらしいエッジを判別する。これにより、自車両が走行する道路の道路区画線の領域を推定する。消失点が学習されていない場合には、例えば、カメラ１１の設置パラメータから演算される消失点位置を指標に、道路区画線を推定することができる。
　消失点学習処理ＰＲ１では、この道路区画線推定処理ＰＲ３により推定された道路区画線に基づき、消失点位置の学習を行うことができる。例えば、推定された二つの道路区画線の延長線上に現れる交点を消失点の候補として検出し、検出した候補の位置と、学習済の消失点位置との誤差により、候補が消失点である確度を評価し、誤差が大きく確度が低い場合には、この候補を棄却し、誤差が小さく確度が高い場合には、この候補を消失点に採用して、ＲＯＭ１７Ｂに記憶する消失点位置を学習更新する。
　この他、走行状態推定処理ＰＲ４は、学習された消失点位置を指標に、撮影画像データを解析して、自車両の道路に対する走行状態や前方車両との位置関係を推定する処理である。この走行状態推定処理ＰＲ４は、公知のものであるので簡単に説明するが、走行状態推定処理ＰＲ４としては、撮影画像データから推定される道路区画線（白線やボッツドッツ等）に基づき、走行車線に対する自車両の向きや位置を推定する処理を一例に挙げることができる。その他、走行状態推定処理ＰＲ４としては、消失点位置を基準に、撮影画像データに映る前方車両を探索して検出したり、検出された前方車両と自車両との位置関係（自車両に対する前方車両の距離等）を推定したりする処理を一例に挙げることができる。
　この走行状態推定処理ＰＲ４によって推定された自車両の道路に対する走行状態や前方車両との位置関係に関する情報は、通信インタフェース１５及び車内ネットワークを通じて車両制御装置２０に提供され、車両制御に用いられる。ここでは、用語「車両制御」を、車両内の装置を制御する意味で広義に用いる。車両制御装置２０では、画像解析装置１０から得られた情報に基づく車両制御として、例えば、自車両が道路区画線を横切るように走行している場合や、自車両が前方車両に近づいている場合に、警告音を車両乗員に向けて出力する処理や、前方車両との車間距離を適切なものとするためにブレーキを制御する処理を実行することができる。
　ところで、消失点位置の学習値は、道路区画線の推定時や走行状態の推定時に用いられるため、これについての誤学習が生じるのは好ましくない。しかしながら、車両点検時に車両１００がシャシーダイナモメータ２００上を擬似走行している状況で、消失点位置の学習が行われると、カメラ１１が撮影する自車両前方の壁２１０の汚れや、この壁２１０に映る周囲の建造物の影等によって、消失点位置の誤学習が生じる可能性がある。
　そして、このような誤学習によっては、真に正しい消失点位置とは大きく乖離した位置が消失点位置として学習されてしまう可能性がある。このような乖離が生じると、後の学習処理によって学習値を正しい消失点位置に戻すことができない可能性や、戻すのに時間を要する可能性がある。
　例えば、道路区画線推定処理ＰＲ３では、消失点位置の学習値を用いるが、誤学習により得られた消失点位置に基づいては、道路区画線として正しいエッジを判別することが難しくなってしまう可能性がある。また、消失点学習処理ＰＲ１にて、正しい消失点を、消失点の候補として検出することができても、この候補の位置が、誤学習された消失点位置と乖離していることによって、学習に用いられない可能性がある。
　そこで、本実施例では、学習制御処理ＰＲ２として、図３に示す処理を実行することにより、車両１００がシャシーダイナモメータ２００上を擬似走行している可能性が高い状況下では、消失点学習処理ＰＲ１を開始せず、学習動作をオフに維持する。
　制御部１７は、図３に示す学習制御処理ＰＲ２をイグニションスイッチがオンにされると開始し、この処理をイグニションスイッチがオフになるまで一定時間毎に繰り返し実行する。
　学習制御処理ＰＲ２を開始すると、制御部１７は、車内ネットワーク及び通信インタフェース１５を通じて得た車輪速センサ３０の出力から特定される車両速度がゼロより大きいか否かを判断する（ステップＳ１００）。そして、車両速度がゼロ以下であると判断した場合には、ステップＳ１０５に移行し、上記車両速度がゼロより大きいと判断した場合には、ステップＳ１１０に移行する。
　ステップＳ１０５に移行すると、制御部１７は、判定済フラグＦ及び学習許可フラグＧを値ゼロにリセットすると共に、加速度積分値を値ゼロにリセットした後、当該学習制御処理ＰＲ２を一旦終了する。ここで言う判定済フラグＦは、車両が道路上を走行しているか否か（換言すれば擬似走行中であるか否か）の判定を行ったか否かを示すフラグであり、値０は、判定を行っていないことを示し、値１は、判定を行ったことを示す。また、学習許可フラグは、消失点学習処理ＰＲ１の実行が許可されているか否かを示すフラグであり、値０は、許可されていない（禁止されている）ことを示し、値１は、許可されていることを示す。また、加速度積分値は、後述する加速度積分処理（ステップＳ１２０）で算出されるものである。
　ステップＳ１１０に移行すると、制御部１７は、この判定済フラグＦが値１にセットされているか否かを判断し、判定済フラグＦが値１にセットされていると判断すると（ステップＳ１１０でＹｅｓ）、ステップＳ１３５に移行し、判定済フラグＦが値１にセットされていないと判断すると（ステップＳ１１０でＮｏ）、ステップＳ１２０に移行する。この判定済フラグＦは、イグニションスイッチがオンにされたときに値ゼロにリセットされるため、初回のステップＳ１１０では、否定判断して（ステップＳ１１０でＮｏ）、ステップＳ１２０に移行する。
　ステップＳ１２０に移行すると、制御部１７は、車内ネットワーク及び通信インタフェース１５を通じて得た加速度センサ４０の出力から特定される車両の加速度に基づき、ステップＳ１０５において最後に加速度積分値が値ゼロにリセットされた時点からの加速度の積分値を算出する処理（加速度積分処理）を実行する。これにより、加速度センサ４０の出力を用いて車両が走行し始めてからの車両の実速度を推定する。ステップＳ１２０では、例えば、今回特定された車両の加速度に、ステップＳ１２０の実行周期を乗算して得られる速度変化分を、前回のステップＳ１２０で算出した加速度積分値に加算する処理を行う。これにより、上記車両速度がゼロより大きい値となってからの加速度の積分値（車両の速度）を算出する。
　また、ステップＳ１２０での処理を終えると、制御部１７は、ステップＳ１３０に移行し、車輪速センサ３０の出力から特定される車両速度を、予め設計段階で定められた基準速度と比較し、この車両速度が基準速度を超えているか否かを判断する。尚、基準速度は、消失点位置の学習を適切に行うことができるか否かといった観点で設計者が定めることができる。消失点位置の学習は、見通しの良い道路で適切に行うことができるので、基準速度としては、例
えば、時速５０キロメートル程度を設定することができる。
　ここで、車輪速センサ３０の出力から特定される車両速度が基準速度を超えていないと判断した場合（ステップＳ１３０でＮｏ）、制御部１７は、ステップＳ１００に移行し、車両速度が基準速度を超えるまで、ステップＳ１００～Ｓ１３０の処理を繰り返し実行する。一方、車輪速センサ３０の出力から特定される車両速度が基準速度を超えていると判断すると（ステップＳ１３０でＹｅｓ）、制御部１７は、その時点での車輪速センサ３０の出力から特定される車両速度と、加速度積分値との誤差（絶対値）を算出する（ステップＳ１４０）。
　そして、誤差が予め設計段階で定められた閾値未満であるか否かを判断し（ステップＳ１５０）、誤差が閾値未満であると判断すると（ステップＳ１５０でＹｅｓ）、判定済フラグＦを値１にセットすると共に、学習許可フラグＧを値１にセットした後（ステップＳ１５３）、ステップＳ１６０に移行する。これに対し、誤差が閾値以上であると判断すると（ステップＳ１５０でＮｏ）、制御部１７は、判定済フラグＦを値１にセットする一方、学習許可フラグＧを値０にリセットした状態を維持し（ステップＳ１５７）、ステップＳ１６０に移行する。
　ステップＳ１５０で用いる閾値としては、車両１００がシャシーダイナモメータ２００上で擬似走行している状態にあるときには、ステップＳ１５０において高い確率で否定判断され、車両が擬似走行している状態ではなく道路上を走行している状態であるときには、高い確率で肯定判断されるような値を、実験等で求めて定めることができる。
　即ち、ステップＳ１５０では、誤差が閾値未満であるか否かの判断によって、車両１００が道路上を走行しているか否かを判断し、誤差が閾値未満であるときに限って、学習許可フラグＧを値１にセットすることにより、消失点学習処理ＰＲ１の実行を許可し、誤差が閾値以上であるときには、車両１００がシャシーダイナモメータ２００上で擬似走行している可能性が高いとみなして、消失点学習処理ＰＲ１の実行を禁止する。
　そして、ステップＳ１６０では、学習許可フラグＧが値１にセットされているか否かを判断し、学習許可フラグＧが値１にセットされていると判断すると（ステップＳ１６０でＹｅｓ）、消失点学習処理ＰＲ１を開始した後（ステップＳ１７０）、ステップＳ１８０に移行し、学習許可フラグＧが値１にセットされていないと判断すると（ステップＳ１６０でＮｏ）、消失点学習処理ＰＲ１を開始せずに、当該学習制御処理を一旦終了する。
　ステップＳ１８０に移行すると、制御部１７は、消失点学習処理ＰＲ１の終了条件が満足されたか否かを判断する。ここでは、車輪速センサ３０の出力から特定される車両速度が、上記基準速度以下の速度範囲で予め定められた学習終了速度（例えば時速５０キロメートル）以下となったか否かを判断し、車両速度が学習終了速度以下である場合には、終了条件が満足されたと判断し、車両速度が学習終了速度より大きい場合には、終了条件が満足されていないと判断することができる。但し、終了条件については、画像解析装置１０の設計者が任意に定めることができる。
　そして、終了条件が満足されていないと判断すると（ステップＳ１８０でＮｏ）、制御部１７は、終了条件が満足されるまでステップＳ１８０の判断を繰り返し実行し、終了条件が満足されたと判断すると（ステップＳ１８０でＹｅｓ）、消失点学習処理ＰＲ１を終了した後（ステップＳ１９０）、当該学習制御処理ＰＲ２を一旦終了する。
　また、制御部１７は、ステップＳ１５０以降の処理を実行して学習制御処理を一旦終了した後の、再度の学習制御処理では、車輪速センサ３０の出力から特定される車両速度が一旦ゼロに落ちるまで、車両が道路上を走行しているか、それとも擬似走行しているかの状況に変化はないという仮定の下で、前回のステップＳ１５０での判断結果を利用して、学習動作のオン／オフを制御する。
　即ち、ステップＳ１５３，１５７において値１にセットされた判定済フラグＦは、車輪速センサ３０の出力から特定される車両速度が一旦ゼロに落ちて、ステップＳ１０５の処理が実行されるまで値１に維持されるため、車両速度が一旦ゼロに落ちるまでの学習制御処理では、ステップＳ１１０で肯定判断して、ステップＳ１３５に移行する。
　ステップＳ１３５では、ステップＳ１３０での処理と同様に、車輪速センサ３０の出力から特定される車両速度が上記基準速度を超えているか否かを判断する。そして、車両速度が基準速度を超えていないと判断した場合には（Ｓ１３５でＮｏ）、Ｓ１００に移行し、車両速度が基準速度を超えていると判断すると（Ｓ１３５でＹｅｓ）、ステップＳ１６０に移行する。そして、ステップＳ１６０以降の処理（ステップＳ１６０～Ｓ１９０）では、過去の学習制御処理におけるステップＳ１５０で肯定判断されて学習許可フラグＧが値１にセットされている場合に限って（ステップＳ１６０でＹｅｓ）、消失点学習処理ＰＲ１を開始する（ステップＳ１７０）。
　以上、本実施例の車両制御システム１について説明したが、本実施例によれば、カメラ１１により自車両前方領域を撮影し、カメラ１１により生成された撮影画像データを制御部１７により解析して、消失点位置を学習する一方、この消失点位置の学習動作のオン／オフを、慣性センサである加速度センサ４０の出力に基づき制御する。
　車両点検等で車両１００がシャシーダイナモメータ２００上で擬似走行している場合には、車輪速センサ３０によってゼロではない車両速度が検出されるため、従来技術によれば、車輪速センサ３０の出力に基づき、車両が道路上を走行していると判断されて、消失点位置の誤学習が行われる可能性があった。これに対し、本実施例によれば、慣性を利用して加速度を計測する加速度センサ４０の出力に基づき、車両が道路上を走行しているか否かを判定し（ステップＳ１５０）、車両が道路上を走行していると判定した場合に限って、学習動作をオンにする（ステップＳ１７０）。
　従って、本実施例のように、消失点位置の学習動作のオン／オフを制御すれば、シャシーダイナモメータ２００上において車両１００が擬似走行している状態で、消失点位置の学習が行われるのを抑えることができる。よって、本実施例によれば、車両の擬似走行時に消失点位置の誤学習が生じるのを抑えることができ、誤学習によって車両制御や、後の消失点位置の学習に好ましくない影響が生じるのを抑えることができる。
　例えば、消失点学習処理ＰＲ１によっては、道路区画線推定処理ＰＲ３により推定された撮影画像データに映る道路区画線の情報に基づき、消失点位置を学習更新し、道路区画線の推定には、学習済の消失点の情報を用いる。従って、消失点位置の誤学習によって、学習された消失点位置が正しい位置から大きくずれると、道路区画線の推定そのものを精度よく行うことができなくなり、消失点位置を正しい値に学習更新するのに時間を要したり、消失点位置を正しい値に学習更新するのが困難な状況になったりする可能性がある。
　本実施例によれば、このような状況の発生を上述した学習動作の制御により抑えることができるので、消失点の情報に基づいて適切な車両制御を実現可能な車両制御システム１を構築することができる。
　更に言えば、本実施例では、車輪速センサ３０の出力から特定される車両の速度と加速度センサ４０の出力から特定される加速度の積分により算出した車両の速度との誤差に基づき、当該誤差が基準未満である場合に限って（ステップＳ１５０でＹｅｓ）、学習動作をオフからオンに切り替えるので、加速度センサ４０の出力のみに基づいて車両が道路上を走行している状態であるか否かを判定し、学習動作をオン／オフ制御するよりも、高精度な判定
及びオン／オフ制御を実現することができ、一層、消失点位置の誤学習を抑えることができる。
　この他、細街路等の見通しが悪い道路では消失点位置の学習動作を行うと誤学習が生じやすいため、本実施例によれば、車両が見通しの悪い道路を走行している可能性の高い低速走行時には、学習動作をオフに維持するようにした。
　即ち、車輪速センサ３０の出力から特定される車両速度が基準速度を超えるまでは（ステップＳ１３０でＮｏ）、学習動作をオフに維持し、車両速度が基準速度を超えると（ステップＳ１３０でＹｅｓ）、学習動作をオンに切り替えることで、車輪速センサ３０の出力から特定される車両速度が基準速度を超えていること、且つ、上記誤差が基準未満であることを条件に、学習動作をオフからオンに切り替えるようにした。従って、本実施例によれば、一層消失点位置の誤学習を抑えることができる。
　［第２の実施例］
　続いて、第２の実施例について説明する。
　この第２の実施例及びそれ以降の実施例において、前述した第１の実施例において説明したシステムの構成要素及び処理と同一又は同等の構成要素及び処理には同一符号を付して、その説明を省略又は簡略化する。
　この第２の実施例の車両制御システム１は、制御部１７が実行する学習制御処理ＰＲ２の内容が、第１の実施例と異なる程度であるので、以下では、第２の実施例における学習制御処理ＰＲ２の内容を選択的に説明する。本実施例における制御部１７は、図４に示す学習制御処理ＰＲ２をイグニションスイッチがオンにされると開始し、この処理をイグニションスイッチがオフになるまで一定間隔で繰り返し実行する。
　この学習制御処理ＰＲ２を開始すると、制御部１７は、第１の実施例と同様に、車輪速センサ３０の出力から特定される車両速度がゼロより大きいか否かを判断し（ステップＳ２００）、車両速度がゼロ以下であると判断した場合には、ステップＳ２０５に移行し、車両速度がゼロより大きいと判断した場合には、ステップＳ２１０に移行する。
　ステップＳ２０５に移行すると、制御部１７は、ステップＳ１０５での処理と同様に、判定済フラグＦ及び学習許可フラグＧを値ゼロにリセットすると共に、誤差統計値を値ゼロにリセットした後、学習制御処理ＰＲ２を一旦終了する。誤差統計値は、後述する誤差統計値算出処理（ステップＳ２２０）で算出されるものである。
　一方、ステップＳ２１０に移行すると、制御部１７は、判定済フラグＦが値１にセットされているか否かを判断し、判定済フラグＦが値１にセットされていると判断すると（ステップＳ２１０でＹｅｓ）、ステップＳ２３５に移行し、判定済フラグＦが値１にセットされていないと判断すると（ステップＳ２１０でＮｏ）、ステップＳ２２０に移行する。
　ステップＳ２２０に移行すると、制御部１７は、図５に示す誤差統計値算出処理を実行する。誤差統計値算出処理では、まず、車輪速センサ３０の出力から特定される車両速度の微分値を算出することにより、車輪の回転加速度に対応する車両の加速度を算出する（ステップＳ２２１）。微分値については、例えば、ステップＳ２２１の前回実行時刻における車両速度とステップＳ２２１の今回実行時刻における車両速度との偏差をステップＳ２２１の実行周期で除算することにより求めることができる。
　ステップＳ２２１での処理を終えると次に、制御部１７は、加速度センサ４０の出力から車両の加速度を特定し、この加速度と、ステップＳ２２１で算出された速度微分値との誤差（絶対値）を算出する（ステップＳ２２３）。更に、ステップＳ２０５において最後に誤差統計値が値ゼロにリセットされた時点からの各回のステップＳ２２３で求めた誤差を標本集団として、この標本集団における誤差の統計値を算出する（ステップＳ２２５）。具体的に、ステップＳ２２５では、誤差統計値として、これまでに算出した誤差の平均値を算出することが一例に挙げられる。この他、誤差統計値として、上記標本集団における誤差の中央値を算出してもよいし、上記標本集団における誤差の最大値を算出してもよい。ステップＳ２０５では、誤差統計値を値ゼロにリセットすると共に、それまでに用いた上記標本集団を消去することができる。
　その後、制御部１７は、ステップＳ２３０に移行し、ステップＳ１３０での処理と同様に、車輪速センサ３０の出力から特定される車両速度が基準速度を超えているか否かを判断する。
　そして、車輪速センサ３０の出力から特定される車両速度が基準速度を超えていないと判断した場合（ステップＳ２３０でＮｏ）、制御部１７は、ステップＳ２００に移行して、この車両速度が基準速度を超えるまで、ステップＳ２００～Ｓ２３０の処理を繰り返し実行する。一方、車両速度が基準速度を超えていると判断すると（ステップＳ２３０でＹｅｓ）、ステップＳ２５０に移行して、ステップＳ２２０で算出された最新の誤差統計値が予め設計段階で定められた閾値未満であるか否かを判断する。
　そして、誤差統計値が閾値未満であると判断すると（ステップＳ２５０でＹｅｓ）、判定済フラグＦを値１にセットすると共に、学習許可フラグＧを値１にセットした後（ステップＳ２５３）、ステップＳ２６０に移行する。これに対し、誤差統計値が閾値以上であると判断すると（ステップＳ２５０でＮｏ）、判定済フラグＦを値１にセットする一方、学習許可フラグＧを値０にリセットした状態を維持し（ステップＳ２５７）、ステップＳ２６０に移行する。ステップＳ２５０で用いる閾値については、設計者が、第１の実施例のステップＳ１５０で用いる閾値と同様の基準に従って、定めることができる。
　その後、制御部１７は、学習許可フラグＧが値１にセットされているか否かを判断し（ステップＳ２６０）、学習許可フラグＧが値１にセットされていると判断すると（ステップＳ２６０でＹｅｓ）、消失点学習処理ＰＲ１を開始した後（ステップＳ２７０）、ステップＳ２８０に移行し、否定判断すると（ステップＳ２６０でＮｏ）、消失点学習処理ＰＲ１を開始せずに、学習制御処理を一旦終了する。
　ステップＳ２８０に移行すると、制御部１７は、ステップＳ１８０での処理と同様に、消失点学習処理ＰＲ１の終了条件が満足されたか否かを判断し、終了条件が満足されていないと判断すると（ステップＳ２８０でＮｏ）、終了条件が満足されるまでステップＳ２８０の判断を繰り返し実行し、終了条件が満足されたと判断すると（ステップＳ２８０でＹｅｓ）、消失点学習処理ＰＲ１を終了した後（ステップＳ２９０）、当該学習制御処理ＰＲ２を一旦終了する。
　また、制御部１７は、ステップＳ２５０以降の処理を実行して学習制御処理を一旦終了した後の、再度の学習制御処理では、第１の実施例と同様に、車輪速センサ３０の出力から特定される車両速度が一旦ゼロに落ちるまで、過去のステップＳ２５０での判断結果を利用して、学習動作のオン／オフを制御する。
　即ち、車両速度が一旦ゼロに落ちるまでの再度の学習制御処理では、ステップＳ２１０で肯定判断してステップＳ２３５に移行し、ステップＳ２３０での処理と同様に、車輪速センサ３０の出力から特定される車両速度が上記基準速度を超えているか否かを判断する。そして、車両速度が基準速度を超えていないと判断した場合には（ステップＳ２３５でＮｏ）、ステップＳ２００に移行し、車両速度が基準速度を超えていると判断すると（ステップＳ２３５でＹｅｓ）、ステップＳ２６０に移行する。そして、ステップＳ２６０以降の処理（ステップＳ２６０～Ｓ２９０）では、第１の実施例と同様に、過去の学習制御処理におけるステップＳ２５０で肯定判断されて学習許可フラグＧが値１にセットされている場合に限って（ステップＳ２６０でＹｅｓ）、消失点学習処理ＰＲ１を開始する（ステップＳ２７０）。
　以上に説明した第２の実施例によれば、車輪速センサ３０の出力から特定される車両の速度の偏差から算出した車両の加速度と加速度センサ４０の出力から特定される車両の加速度との誤差に基づき、学習動作のオン／オフ制御を行うが、このような制御によっても、第１の実施例と同様の効果を得ることができる。
　［第３の実施例］
　続いて、第３の実施例について説明する。
　この第３の実施例の車両制御システム１は、制御部１７が実行する学習制御処理ＰＲ２の内容が、第１の実施例と異なる程度であるので、以下では、第３の実施例における学習制御処理ＰＲ２の内容を選択的に説明する。本実施例における制御部１７は、図６に示す学習制御処理ＰＲ２をイグニションスイッチがオンにされると開始し、この処理をイグニションスイッチがオフになるまで一定時間毎に繰り返し実行する。
　学習制御処理ＰＲ２を開始すると、制御部１７は、ステップＳ１００での処理と同様に、車輪速センサ３０の出力から特定される車両速度がゼロより大きいか否かを判断し（ステップＳ３００）、車両速度がゼロ以下であると判断した場合には、ステップＳ３０５に移行し、車両速度がゼロより大きいと判断した場合には、ステップＳ３１０に移行する。
　ステップＳ３０５に移行すると、制御部１７は、ステップＳ１０５での処理と同様に、判定済フラグＦ及び学習許可フラグＧを値ゼロにリセットすると共に、加速度統計値を値ゼロにリセットした後、学習制御処理ＰＲ２を一旦終了する。加速度統計値は、後述するステップＳ３２０で算出されるものである。
　一方、ステップＳ３１０に移行すると、制御部１７は、判定済フラグＦが値１にセットされているか否かを判断し、判定済フラグＦが値１にセットされていると判断すると（ステップＳ３１０でＹｅｓ）、ステップＳ３３５に移行し、判定済フラグＦが値１にセットされていないと判断すると（ステップＳ３１０でＮｏ）、ステップＳ３２０に移行する。
　ステップＳ３２０に移行すると、制御部１７は、加速度センサ４０の出力から現在の車両の加速度を特定し、ステップＳ３０５において最後に加速度統計値が値ゼロにリセットされた時点から加速度センサ４０により観測された加速度の統計値を算出する。具体的に、ステップＳ３２０では、加速度統計値として、ステップＳ３０５において最後に加速度統計値が値ゼロにリセットされた時点からの加速度の平均値を算出することが一例に挙げられる。この他、加速度統計値として、加速度の中央値を算出してもよいし、加速度の最大値を算出してもよい。
　ステップＳ３２０での処理を終えると、制御部１７は、ステップＳ３３０に移行し、ステップＳ１３０での処理と同様に、車輪速センサ３０の出力から特定される車両速度を基準速度と比較し、車両速度が基準速度を超えていないと判断した場合には（ステップＳ３３０でＮｏ）、ステップＳ３００に移行し、この車両速度が基準速度を超えるまで、ステップＳ３００～Ｓ３３０の処理を繰り返し実行する。
　そして、車輪速センサ３０の出力から特定される車両速度が基準速度を超えていると判断すると（ステップＳ３３０でＹｅｓ）、ステップＳ３５０に移行し、ステップＳ３２０で算出された最新の加速度統計値が予め設計段階で定められた閾値を超えているか否かを判断する。
　そして、加速度統計値が閾値を超えていると判断すると（ステップＳ３５０でＹｅｓ）、判定済フラグＦを値１にセットすると共に、学習許可フラグＧを値１にセットした後（ステップＳ３５３）、ステップＳ３６０に移行する。これに対し、加速度統計値が閾値以下であると判断すると（ステップＳ３５０でＮｏ）、判定済フラグＦを値１にセットする一方、学習許可フラグＧを値０にリセットした状態を維持し（ステップＳ３５７）、ステップＳ３６０に移行する。閾値は、設計者が、第１の実施例のステップＳ１５０で用いる閾値と同様の基準に従って、定めることができる。
　その後、制御部１７は、学習許可フラグＧが値１にセットされているか否かを判断し（ステップＳ３６０）、学習許可フラグＧが値１にセットされていると判断すると（ステップＳ３６０でＹｅｓ）、消失点学習処理ＰＲ１を開始した後（ステップＳ３７０）、ステップＳ３８０に移行し、否定判断すると（ステップＳ３６０でＮｏ）、消失点学習処理ＰＲ１を開始せずに、学習制御処理を一旦終了する。
　ステップＳ３８０に移行すると、制御部１７は、ステップＳ１８０での処理と同様に、消失点学習処理ＰＲ１の終了条件が満足されたか否かを判断し、終了条件が満足されていないと判断すると（ステップＳ３８０でＮｏ）、終了条件が満足されるまでステップＳ３８０の判断を繰り返し実行し、終了条件が満足されたと判断すると（ステップＳ３８０でＹｅｓ）、消失点学習処理ＰＲ１を終了した後（ステップＳ３９０）、当該学習制御処理ＰＲ２を一旦終了する。
　また、制御部１７は、ステップＳ３５０以降の処理を実行して学習制御処理を一旦終了した後の、再度の学習制御処理では、第１の実施例と同様に、車輪速センサ３０の出力から特定される車両速度が一旦ゼロに落ちるまで、過去のステップＳ３５０での判断結果を利用して、学習動作のオン／オフを制御する。
　即ち、車両速度が一旦ゼロに落ちるまでの再度の学習制御処理では、ステップＳ３１０で肯定判断してステップＳ３３５に移行し、ステップＳ３３０での処理と同様に、車輪速センサ３０の出力から特定される車両速度が上記基準速度を超えているか否かを判断する。そして、車両速度が基準速度を超えていないと判断した場合には（ステップＳ３３５でＮｏ）、ステップＳ３００に移行し、車両速度が基準速度を超えていると判断すると（ステップＳ３３５でＹｅｓ）、ステップＳ３６０に移行する。また、ステップＳ３６０以降の処理（ステップＳ３６０～Ｓ３９０）では、第１の実施例と同様に、過去の学習制御処理におけるステップＳ３５０で肯定判断されて学習許可フラグＧが値１にセットされている場合に限って、消失点学習処理ＰＲ１を開始する。
　以上、第３の実施例について説明したが、本実施例によれば、車輪速センサ３０の出力から特定される車両の速度が基準速度を超え（ステップＳ３３０でＹｅｓ）、且つ、加速度センサ４０の出力から特定される車両の加速度（加速度統計値）が閾値を超えたことを条件に（ステップＳ３５０でＹｅｓ）、学習動作をオフからオンに切り替える。この制御手法によっても、消失点位置の学習動作を適切に実行することができる。
　［第４の実施例］
　続いて、第４の実施例について説明する。
　この第４の実施例の車両制御システム１は、制御部１７が実行する学習制御処理ＰＲ２の内容が、第１の実施例と異なる程度であるので、以下では、第４の実施例における学習制御処理ＰＲ２の内容を選択的に説明する。本実施例における制御部１７は、図７に示す学習制御処理ＰＲ２をイグニションスイッチがオンにされると開始し、この処理をイグニションスイッチがオフになるまで一定時間毎に繰り返し実行する。
　この学習制御処理ＰＲ２を開始すると、制御部１７は、まず車両が運転されている状態であるか否かを判断する（ステップＳ４００）。ここでは、例えば、第１の実施例と同様に、車輪速センサ３０の出力から特定される車両速度がゼロより大きいか否かによって、車両が運転されている状態であるか否かを判断することができる。この他、セレクトレバーがドライブレンジに設定されているか否かによって、車両が運転されている状態であるか否かを判断することも可能である。
　そして、車両が運転されている状態ではないと判断すると（ステップＳ４００でＮｏ）、ステップＳ４０５に移行し、車両が運転されている状態であると判断すると（ステップＳ４００でＹｅｓ）、ステップＳ４１０に移行する。
　ステップＳ４０５に移行すると、制御部１７は、学習許可フラグＧを値ゼロにリセットすると共に、加速度積分値を値ゼロにリセットした後、学習制御処理ＰＲ２を一旦終了する。本実施例において、加速度積分値は、学習制御処理ＰＲ２に付属する処理であって学習制御処理ＰＲ２と並列実行される加速度積分処理によって算出される。
　この加速度積分処理の内容は、第１の実施例におけるステップＳ１２０と同様であるが、本実施例では、学習制御処理ＰＲ２の処理ループとは別に、制御部１７が、イグニションスイッチがオンにされてからイグニションスイッチがオフにされるまで、常に加速度積分処理を所定の実行周期で繰り返し実行して、車両が運転され始めてからの加速度センサ４０により観測された加速度の積分値を算出する。これにより常に、車両の実速度を推定する。ステップＳ４０５では、この加速度積分値をゼロにリセットする処理を行う。
　一方、ステップＳ４１０に移行すると、制御部１７は、学習許可フラグＧが値１にセットされているか否かを判断し、学習許可フラグＧが値１にセットされていると判断すると（ステップＳ４１０でＹｅｓ）、ステップＳ４３５に移行し、学習許可フラグＧが値１にセットされていないと判断すると（ステップＳ４１０でＮｏ）、ステップＳ４３０に移行する。
　また、ステップＳ４３０では、上記加速度積分処理によって算出された最新の加速度積分値が、予め設計段階で定められた基準値を超えているか否かを判断する。ここで用いる「基準値」については、ステップＳ１３０で用いられる上記基準速度と同一値に設定することができる。
　そして、加速度積分値が基準値以下であると判断すると（ステップＳ４３０でＮｏ）、制御部１７は、ステップＳ４００に移行して、加速度積分値が基準値を超えるまで（ステップＳ４３０でＹｅｓ）、ステップＳ４００～Ｓ４３０の処理を繰り返し実行し、加速度積分値が基準値を超えていると判断すると（ステップＳ４３０でＹｅｓ）、ステップＳ４５０に移行して、学習許可フラグＧを値１にセットした後、消失点学習処理ＰＲ１を開始し（ステップＳ４７０）、ステップＳ４８０に移行する。
　ステップＳ４８０に移行すると、制御部１７は、ステップＳ１８０での処理と同様に、消失点学習処理ＰＲ１の終了条件が満足されたか否かを判断する。ここでは、車輪速センサ３０を用いずに終了条件が満足されたか否かを判断することも可能である。例えば、車輪速センサ３０により特定される車両速度に代えて、加速度積分処理によって算出された最新の加速度積分値から特定される車両速度に基づいて、第１の実施例と同様の手法で、終了条件が満足されたか否かを判断することができる。この他、ギヤ位置に基づき車両が低速走行しているか否かを判断し、これによって、終了条件が満足されたか否かを判断することもできる。
　そして、終了条件が満足されていないと判断すると（ステップＳ４８０でＮｏ）、終了条件が満足されるまでステップＳ４８０の判断を繰り返し実行し、終了条件が満足されたと判断すると（ステップＳ４８０でＹｅｓ）、消失点学習処理ＰＲ１を終了した後（ステップＳ４９０）、学習制御処理ＰＲ２を一旦終了する。
　また、制御部１７は、ステップＳ４５０以降の処理を実行して学習制御処理を一旦終了した後の、再度の学習制御処理では、車両が運転されている状態ではないと判断されるまで（ステップＳ４００でＮｏ）、学習許可フラグＧが値１に維持されるため、ステップＳ４１０において肯定判断し、ステップＳ４３５に移行する。そして、ステップＳ４３５では、次のようにして学習動作の再開条件が満足されたか否かを判断する。
　ステップＳ４３５では、例えば、ステップＳ４３０での処理と同様に、加速度積分値が基準値を超えている場合には、再開条件が満足されたと判断し、加速度積分値が基準値以下である場合には、再開条件が満足されていないと判断する。
　別例としては、加速度積分処理によって算出された最新の加速度積分値Ｖ１と、最後に消失点学習処理を終了した時点（ステップＳ４９０の実行時点）での加速度積分値Ｖ２との差分Ｖ１－Ｖ２を算出し、差分Ｖ１－Ｖ２が予め設計段階で定められた閾値以上であると、再開条件が満足されたと判断し、差分Ｖ１－Ｖ２が閾値未満であると判断すると、再開条件が
満足されていないと判断することができる。閾値については、車両速度が基準速度を超えている環境で再開条件が満足されていると判断されるような値に定めることができる。
　更なる別例としては、ステップＳ１３５，Ｓ２３５，Ｓ３３５での処理と同様に、車輪速センサ３０の出力から特定される車両速度が上記基準速度を超えている場合に、再開条件が満足されていると判断し、車両速度が基準速度を超えていない場合には、再開条件が満足されていないと判断することもできる。
　制御部１７は、このようにして再開条件が満足されているか否かを判断し、再開条件が満足されていないと判断した場合には（ステップＳ４３５でＮｏ）、ステップＳ４００に移行する一方、再開条件が満足されていると判断すると（ステップＳ４３５でＹｅｓ）、ステップＳ４７０に移行して、消失点学習処理ＰＲ１を開始する。
　以上、第４の実施例について説明したが、本実施例によれば、加速度センサ４０の出力から特定される車両の加速度の積分により算出した車両の速度が基準速度を超えたことを条件に（ステップＳ４３０でＹｅｓ）、学習動作をオフからオンに切り替える。このような制御手法によっても、消失点位置の学習動作を、誤学習を抑えて、適切に実行することができる。
　［その他］
　本発明は、上記各実施例に記載の態様に限定されるものではなく、種々の態様を採ることができる。例えば、ステップＳ１００，Ｓ２００，Ｓ３００での判断は、ステップＳ４００での判断と同様に、車両が運転されているか否かの判断に置き換えることができる。また、慣性センサの出力を用いれば、上記実施例以外の手法で、学習動作のオン／オフを制御しても良いことは言うまでもない。
　例えば、第１の実施例の変形例としては、第４の実施例と同様に、加速度積分処理（ステップＳ１２０）を学習制御処理ＰＲ２とは並列に実行することで、加速度センサ４０の出力に基づき、車両が運転され始めてから車両の実速度を常に推定する例が考えられる。この例によれば、過去のステップＳ１５０での判断結果を利用せずに、学習動作のオン／オフ制御を実行する実施形態も考えられる。即ち、ステップＳ１１０の判断ステップを削除して、再度の学習制御処理ＰＲ２においても、その時点での加速度積分値に基づいて、ステップＳ１４０，Ｓ１５０～Ｓ１５７の処理をやり直す実施形態も考えられる。
　上述した実施例において、画像解析装置１０は、車両に搭載される電子機器の一例に対応する。また、制御部１７が実行する消失点学習処理ＰＲ１は、学習手段によって実現される処理の一例に対応し、制御部１７が実行する学習制御処理ＰＲ２は、制御手段によって実現される処理の一例に対応する。
１…車両制御システム、
１０…画像解析装置、
１１…カメラ、
１５…通信インタフェース、
１７…制御部、
１７Ａ…ＣＰＵ、
１７Ｂ…ＲＯＭ、
１７Ｃ…ＲＡＭ、
２０…車両制御装置、
３０…車輪速センサ、
４０…加速度センサ、
１００…車両、
２００…シャシーダイナモメータ、
２１０…壁

Claims (9)

  1. 　車両に搭載される画像解析装置（１０）であって、
    　車両の前方の視野を撮影し、その撮影画像を表す画像データを生成するカメラ（１１）と、
    　前記カメラにより生成された画像データを解析し、消失点の位置を学習する学習手段（１７，ＰＲ１）と、
    　前記車両が備える慣性センサ（４０）の出力に基づき、前記学習手段による前記消失点の位置の学習動作のオン／オフを制御する制御手段（１７，ＰＲ２，Ｓ１００～Ｓ１９０，Ｓ２００～Ｓ２９０，Ｓ３００～Ｓ３９０，Ｓ４００～Ｓ４９０）と、
    　を備える。
  2. 　前記制御手段は、前記慣性センサの出力に基づき、前記車両が道路上を走行している走行状態であるか否かを判定する走行判定手段と、
    　この走行判定手段が前記走行状態が判定したときに、前記学習動作をオフからオンに切り替える切替手段と、を備える請求項１記載の画像解析装置。
  3. 　前記制御手段（Ｓ１００～Ｓ１９０，Ｓ２００～Ｓ２９０，Ｓ３００～Ｓ３９０）は、前記車両が備える車輪速センサ及び前記慣性センサの出力に基づき、前記学習手段による前記消失点の位置の学習動作のオン／オフを制御するように構成されている請求項２記載の画像解析装置。
  4. 　前記慣性センサは、加速度センサであり、
    　前記制御手段（Ｓ１００～Ｓ１９０，Ｓ２００～Ｓ２９０）は、前記車輪速センサの出力から特定される前記車両の速度の偏差から算出した前記車両の加速度と前記加速度センサの出力から特定される前記車両の加速度との誤差、又は、前記車輪速センサの出力から特定される前記車両の速度と前記加速度センサの出力から特定される前記車両の加速度の積分により算出した前記車両の速度との誤差が基準値未満であるか否かを判定する誤差判定手段を備え、
    　前記切替手段は、前記誤差判定手段により前記誤差が前記基準値未満であると判定されたときに、前記学習動作をオフからオンに切り替えるように構成されている、請求項３記載の画像解析装置。
  5. 　前記制御手段は、前記車輪速センサの出力から特定される前記車両の速度が基準速度を超えているか否かを判定する第１の速度判定手段を備え、
    　前記第１の速度判定手段により前記車両の速度が前記基準速度を超えていると判定され、且つ、前記誤差判定手段により前記誤差が前記基準値未満であると判定されたときに、前記誤差が基準値未満であると判定されたときに、前記切替手段は前記学習動作をオフからオンに切り替えるように構成されている、請求項４記載の画像解析装置。
  6. 　前記制御手段（Ｓ３００～Ｓ３９０）は、前記加速度センサの出力から特定される前記車両の加速度が基準加速度を超えているか否かを判定する加速度判定手段を備え、
    　前記第１の速度判定手段により前記車両の速度が前記基準速度を超えていると判定され、且つ、前記加速度判定手段により前記車両の加速度が前記基準加速度を超えていると判定されたときに、前記切替手段は、前記学習動作をオフからオンに切り替えるように構成されている請求項５記載の画像解析装置。
  7. 　前記制御手段は、前記学習手段による消失点位置の学習動作をオンに設定した後、前記車両の速度が、前記基準速度又は前記基準速度より低い速度に基づいて予め定められた学習動作の禁止速度以下になったか否かを判定する禁止速度判定手段を備え、
    　前記禁止速度判定手段により前記車両の速度が前記禁止速度以下になったと判定されたときに、前記切替手段は前記学習手段による学習動作をオフに切り替えるように構成されている請求項３～請求項６のいずれか一項記載の画像解析装置。
  8. 　前記慣性センサは、加速度センサであり、
    　前記制御手段（Ｓ４００～Ｓ４９０）は、前記加速度センサの出力から特定される前記車両の加速度の積分により算出した前記車両の速度が基準速度を超えたか否かを判定する第２の速度判定手段を備え、
    　この第２の速度判定手段により前記車両の速度が前記基準速度を超えたと判定されたときに、前記切替手段は前記学習動作をオフからオンに切り替えるように構成されている、請求項２記載の画像解析装置。
  9. 　前記学習手段は、前記画像データに映る道路区画線の推定結果に基づいて、前記消失点位置を学習することように構成された請求項１～請求項８のいずれか一項記載の画像解析装置。
PCT/JP2013/067818 2012-06-29 2013-06-28 車両に搭載される画像解析装置 WO2014003168A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/411,113 US20150294453A1 (en) 2012-06-29 2013-06-28 Image analysis apparatus mounted to vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012147005A JP6035904B2 (ja) 2012-06-29 2012-06-29 電子機器
JP2012-147005 2012-06-29

Publications (1)

Publication Number Publication Date
WO2014003168A1 true WO2014003168A1 (ja) 2014-01-03

Family

ID=49783302

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/067818 WO2014003168A1 (ja) 2012-06-29 2013-06-28 車両に搭載される画像解析装置

Country Status (3)

Country Link
US (1) US20150294453A1 (ja)
JP (1) JP6035904B2 (ja)
WO (1) WO2014003168A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015131887A1 (de) * 2014-03-05 2015-09-11 Conti Temic Microelectronic Gmbh Vorrichtung zur korrektur eines abstandswertes und/oder zur korrektur eines relativgeschwindigkeitswertes, fahrzeug und verfahren
WO2016047498A1 (ja) * 2014-09-24 2016-03-31 株式会社デンソー 物体検出装置
CN107787496A (zh) * 2015-05-26 2018-03-09 Plk科技株式会社 消失点修正装置及方法
CN110132280A (zh) * 2019-05-20 2019-08-16 广州小鹏汽车科技有限公司 室内场景下的车辆定位方法、车辆定位装置和车辆

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106461774B (zh) * 2014-02-20 2019-04-23 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
JP6406886B2 (ja) * 2014-06-11 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
DE102019111642B3 (de) 2019-05-06 2020-06-04 Sick Ag Absichern der Umgebung eines Fahrzeugs
US11979655B2 (en) * 2021-09-30 2024-05-07 Gm Global Tehcnology Operations Llc Method to detect and overcome degradation image quality impacts

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2011192227A (ja) * 2010-03-17 2011-09-29 Clarion Co Ltd 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
EP3412511B1 (en) * 2008-10-06 2021-12-29 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2011192227A (ja) * 2010-03-17 2011-09-29 Clarion Co Ltd 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015131887A1 (de) * 2014-03-05 2015-09-11 Conti Temic Microelectronic Gmbh Vorrichtung zur korrektur eines abstandswertes und/oder zur korrektur eines relativgeschwindigkeitswertes, fahrzeug und verfahren
JP2017516068A (ja) * 2014-03-05 2017-06-15 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 間隔値を補正するための、及び／或いは、相対速度を補正するための装置、車両、並びに、方法
US10060945B2 (en) 2014-03-05 2018-08-28 Conti Temic Microelectronic Gmbh Device for correcting a spacing value and/or for correcting a relative speed value, vehicle, and method
WO2016047498A1 (ja) * 2014-09-24 2016-03-31 株式会社デンソー 物体検出装置
JP2016065760A (ja) * 2014-09-24 2016-04-28 株式会社デンソー 物体検出装置
CN107787496A (zh) * 2015-05-26 2018-03-09 Plk科技株式会社 消失点修正装置及方法
CN107787496B (zh) * 2015-05-26 2021-07-13 Plk科技株式会社 消失点修正装置及方法
CN110132280A (zh) * 2019-05-20 2019-08-16 广州小鹏汽车科技有限公司 室内场景下的车辆定位方法、车辆定位装置和车辆

Also Published As

Publication number Publication date
US20150294453A1 (en) 2015-10-15
JP6035904B2 (ja) 2016-11-30
JP2014010637A (ja) 2014-01-20

Similar Documents

Publication Publication Date Title
JP6035904B2 (ja) 電子機器
WO2014003167A1 (ja) 車両に搭載される画像解析装置
US10074281B2 (en) Method and apparatus for determining lane identification in a roadway
US9740942B2 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
JP6538547B2 (ja) 道路曲率計測装置
US10767994B2 (en) Sensor output correction apparatus
JP2017521745A (ja) 車両のナビゲーションモジュールに対象物の存在を知らせる車載装置
CN108883770B (zh) 行进路推定方法及行进路推定装置
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
JP6941178B2 (ja) 自動運転制御装置及び方法
US20220176989A1 (en) High precision position estimation method through road shape classification-based map matching and autonomous vehicle thereof
JP5904226B2 (ja) 車両挙動予測装置及びプログラム
JP2020057146A (ja) 走行車線推定装置、走行車線推定方法、及び制御プログラム
JP2006047057A (ja) 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2006317287A (ja) 車両用現在位置決定装置
JP2007241470A (ja) 車両用地図データ更新装置
JP2020034498A (ja) スケールファクタ学習装置、スケールファクタ学習プログラムおよび記憶媒体
JP6475140B2 (ja) 道路曲率計測装置
JP6075453B2 (ja) 運転状態推定装置
JP2015069288A (ja) 自車位置認識装置
CN113939826A (zh) 地图系统、地图生成程序、存储介质、车辆用装置以及服务器
JP2022007526A (ja) 周辺車両判別システム、周辺車両判別プログラム
JP2017072450A (ja) 自車位置認識装置
US20230311870A1 (en) Vehicle control apparatus
JP2019215177A (ja) 軌道設定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13809776

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14411113

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13809776

Country of ref document: EP

Kind code of ref document: A1