WO2023132092A1 - 車両制御システム - Google Patents

車両制御システム Download PDF

Info

Publication number
WO2023132092A1
WO2023132092A1 PCT/JP2022/028589 JP2022028589W WO2023132092A1 WO 2023132092 A1 WO2023132092 A1 WO 2023132092A1 JP 2022028589 W JP2022028589 W JP 2022028589W WO 2023132092 A1 WO2023132092 A1 WO 2023132092A1
Authority
WO
WIPO (PCT)
Prior art keywords
lighting state
vehicle
control system
reliability
traffic light
Prior art date
Application number
PCT/JP2022/028589
Other languages
English (en)
French (fr)
Inventor
貴弥 石井
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to JP2023572343A priority Critical patent/JPWO2023132092A1/ja
Priority to DE112022005670.3T priority patent/DE112022005670T5/de
Publication of WO2023132092A1 publication Critical patent/WO2023132092A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • the present invention relates to a vehicle control system that controls the running of a vehicle based on the lighting state of a traffic signal.
  • Patent Document 1 a technique for determining the lighting state of a traffic light with high accuracy based on an image captured by an in-vehicle camera or the like is being considered (see Patent Document 1, for example).
  • a vehicle travel control system that can ensure safety even when the lighting state of traffic lights cannot be grasped due to weather conditions such as snowstorms, dense fog, and heavy rain is being considered (see, for example, Patent Document 2).
  • the method for determining the lighting state of a traffic light described in Patent Document 1 uses only the captured image as an input. It is possible that the lighting state of the LED cannot be determined correctly, and in some cases, an erroneous determination may occur. At this time, even if it is an erroneous determination, the lighting state of the traffic light is detected. It is considered that safety cannot be ensured.
  • the present invention does not directly use the determination result of the lighting state of the traffic light obtained from the captured image when controlling the own vehicle, but observes dynamic objects existing around the own vehicle.
  • An object of the present invention is to provide a vehicle control system that prevents the own vehicle from being controlled according to an erroneous determination result by evaluating the determination result of the lighting state of the traffic signal based on the behavior.
  • the present invention includes a lighting state determination unit that determines the lighting state of a traffic signal installed on a road on which a vehicle travels, and calculates the reliability of the determined lighting state of the traffic light;
  • a dynamic object recognition unit that recognizes information about a dynamic object existing in the surroundings, and lighting that updates the reliability of the lighting state calculated by the lighting state determination unit based on the information recognized by the dynamic object recognition unit. and a state evaluation unit.
  • the determination result of the lighting state of the traffic light obtained from the captured image can be evaluated based on the behavior of dynamic objects existing around the own vehicle. As a result, even if a captured image contains a lot of noise and an erroneous lighting state is determined, it is possible to prevent the own vehicle from being controlled according to the erroneous determination result, thereby ensuring safety. It is possible to provide a vehicle control system that can
  • FIG. 4 is a flowchart showing a characteristic process flow when determining the lighting state of a traffic light; The image of the processing content in step S105 of the flowchart shown in FIG. The figure which showed an example of the result of having determined the lighting state of the traffic light.
  • a diagram showing an intersection with a traffic light. 4 is a flowchart showing a characteristic processing flow when evaluating the lighting state of a traffic light; An example of a probability distribution table that organizes the behavior of vehicles running parallel to the lighting state of a traffic light. An example of a probability distribution table that organizes the behavior of crossing vehicles with respect to the lighting state of traffic lights.
  • FIG. 1 is a functional block diagram of a vehicle control system to which the present invention is applied.
  • a vehicle control system 1 shown in FIG. 1 is mounted on a vehicle (self-vehicle) V1, and performs travel control of the vehicle V1.
  • the vehicle control system 1 shown in FIG. 1 can automatically drive the vehicle V1 to a preset target point and assist the driver in driving.
  • the vehicle control system 1 is composed of an input device 11, a recognition device 12, a control device 13, and an output device 14.
  • the input device 11 includes, for example, an own vehicle behavior acquisition unit 111, a vehicle external environment acquisition unit 112, and a road information acquisition unit 113.
  • the input device 11 is connected to the recognition device 12 , and outputs information acquired by the own vehicle behavior acquisition unit 111 , the vehicle external environment acquisition unit 112 , and the road information acquisition unit 113 to the recognition device 12 .
  • the own vehicle behavior acquisition unit 111 acquires information on physical behavior such as the position, speed, and acceleration of the own vehicle V1.
  • the host vehicle behavior acquisition unit 111 uses, for example, a GNSS (Global Navigation Satellite System) receiver, and internal sensors such as a gyro sensor, an acceleration sensor, and a wheel speed sensor (none of which are shown).
  • GNSS Global Navigation Satellite System
  • the vehicle external environment acquisition unit 112 acquires information about objects around the vehicle V1, road markings (road surface paint) such as white lines and stop lines on the road, traffic lights around the road, speed signs, and other information around the vehicle V1. Get information about the environment.
  • road markings road surface paint
  • External environment sensors such as a camera, a 77 GHz radar, a 24 GHz radar, a short-range lidar, a long-range lidar, and a sonar sensor (none of which are shown) are used for the vehicle exterior environment acquisition unit 112, for example.
  • the road information acquisition unit 113 acquires, for example, road network information composed of nodes and links, traffic rule information, and traffic safety facility information.
  • the road network information includes road structure information such as detailed node information (crossroads, T-junctions, etc.) and detailed link information (number of lanes, shape, etc.).
  • Traffic regulation information is a concept that includes not only traffic regulations but also traffic manners generally shared by the public.
  • the traffic safety facility information refers to facilities such as traffic lights and road signs intended to be visually recognized by the driver for traffic safety.
  • the road information acquisition unit 113 may acquire the road information from a storage medium that stores the road information, or may acquire the road information from a server on the network, if necessary.
  • the recognition device 12 is connected to the input device 11, and based on various information input from the input device 11, creates information necessary for controlling the running of the vehicle.
  • the recognition device 12 is mainly composed of a computer including a CPU 12A.
  • the CPU 12A includes, for example, a driving situation recognition unit 121, a dynamic object recognition unit 122, and a lighting state determination unit 123.
  • the recognition device 12 is connected to the control device 13 and outputs information created by the traveling situation recognition section 121 , the dynamic object recognition section 122 and the lighting state determination section 123 to the control device 13 .
  • the driving situation recognition unit 121 uses, for example, the position information acquired by the own vehicle behavior acquisition unit 111, the white line information acquired by the vehicle external environment acquisition unit 112, and the road information acquired by the road information acquisition unit 113, The lane in which the own vehicle V1 is traveling is recognized, and the position information of the own vehicle V1 is updated.
  • the dynamic object recognition unit 122 uses, for example, the speed information of the own vehicle V1 acquired by the own vehicle behavior acquisition unit 111 and the information of objects existing around the own vehicle V1 acquired by the vehicle external environment acquisition unit 112. , other vehicles and pedestrians (hereinafter referred to as dynamic objects in some cases), and calculate the traveling direction and speed of these dynamic objects.
  • the road information acquired by the road information acquisition unit 113 By combining with the road information acquired by the road information acquisition unit 113, position information on the road on which the dynamic object exists is acquired.
  • the recognized dynamic object is a parallel running vehicle running in a lane adjacent to the own lane, a stopped vehicle stopping in a lane adjacent to the own lane, or a vehicle crossing the intersection road traffic such as intersecting vehicles driving in lanes crossing lanes, stopped vehicles stopping at intersections, pedestrians present at intersections, and pedestrians crossing pedestrian crossings create information.
  • vehicles running parallel or crossing are trying to stop before the stop line, and vehicles running parallel or crossing are trying to enter an intersection without stopping before the stop line. , to create predictive behavior information.
  • the lighting state determination unit 123 determines whether the traffic signal for the vehicle V1 (that is, the traffic signal installed on the road on which the vehicle V1 travels) is turned on based on the image captured by the vehicle-mounted camera used as the vehicle external environment acquisition unit 112. determine the state.
  • the lighting state indicates any one or a combination of the general red, yellow, and green lights, as well as the presence/absence and direction of the arrow signal display, and the blinking state of the red light.
  • FIG. 2 is a flowchart showing a characteristic process flow when the lighting state determination unit 123 determines the lighting state of the traffic light for the host vehicle V1. Further, in the flowchart shown in FIG. 2, for the sake of simplicity, the object is a traffic light whose lighting states are only red, yellow, and green.
  • step S101 the lighting state determination unit 123 determines whether there is a self-luminous object in the captured image acquired by the vehicle external environment acquisition unit 112. If it is determined that there is a self-luminous object, step S102 is executed. If it is determined that there is no self-luminous object, the processing is terminated as no traffic light is detected.
  • step S102 the lighting state determination unit 123 calculates the position information of the self-luminous object. Since the position information obtained from the captured image is the position relative to the position of the vehicle, it is combined with the absolute position information of the vehicle calculated by the driving situation recognition unit 121 to calculate the absolute position information of the self-luminous object. If multiple self-luminous objects are detected in the captured image, position information is calculated for all self-luminous objects.
  • step S103 the lighting state determination unit 123 compares the absolute position information of the self-luminous object with the road information obtained from the road information acquisition unit 113 to determine whether the self-luminous object is a traffic signal for the vehicle V1. do. When a plurality of self-luminous objects are detected, determination processing is performed for all self-luminous objects. If there is one or more self-luminous objects that are determined to be traffic signals for host vehicle V1, step S104 is executed. In other cases, the processing is terminated assuming that the traffic signal has not been detected.
  • step S104 the lighting state determination unit 123 extracts the region of the self-luminous object (self-luminous region) determined to be the traffic light for the vehicle V1 from the captured image acquired by the vehicle external environment acquisition unit 112. After that, in step S105, the lighting state determination unit 123 classifies the colors included in the extracted region of the self-luminous object for each pixel. Finally, in step S106, the lighting state determination unit 123 calculates the ratio of ⁇ red, yellow, blue ⁇ included in the area of the self-luminous object from the classified result.
  • FIG. 3 is an image of the processing contents performed in step S105 of the flowchart shown in FIG.
  • the lighting state determination unit 123 scans all pixels included in the region of the self-luminous object and classifies them into ⁇ red, yellow, and blue ⁇ . At this time, pixels that do not belong to any color are not included in the classification result as not applicable.
  • FIG. 4 is an example of the result of determining the lighting state of a traffic light according to the determination method shown in FIG.
  • the result of FIG. 4 shows that a self-luminous object can be detected from the captured image, and the respective proportions of ⁇ red, yellow, blue ⁇ included in the region of the self-luminous object are ⁇ 80%, 10%, 10% ⁇ . It is shown that.
  • the lighting state determination unit 123 determines that the lighting state in which the ratio is equal to or higher than a reference value (for example, 75%) is the lighting state of the traffic signal for the own vehicle V1, and outputs the result to the outside. do. At the same time, the ratio of colors included in the region of the self-luminous object as shown in FIG. 4 is output to the outside as the reliability of the lighting state of the traffic light. If the ratio of all lighting states is less than the reference value, that is, if the result is ambiguous, the processing is terminated as no traffic signal is detected.
  • a reference value for example, 75%)
  • a classifier is constructed with a machine learning model using a neural network, and the lighting state of the traffic light for the own vehicle V1 is determined by reasoning based on the machine learning method.
  • the color corresponding to the largest output value among the output values from the output layer of the neural network is determined to be the lighting state of the traffic light, and the output value itself from the output layer is the reliability of the lighting state of the traffic light.
  • the control device 13 uses various types of information output from the input device 11 and the recognition device 12 to perform information processing related to travel control of the own vehicle.
  • the control device 13 is mainly composed of a computer including a CPU 13A.
  • the CPU 13A includes, for example, a lighting state evaluation section 131 and a vehicle control section 132.
  • the control device 13 is connected to the output device 14 and outputs to the output device 14 information created by the lighting state evaluation section 131 and the vehicle control section 132 .
  • the lighting state evaluation unit 131 uses, for example, the information of the dynamic objects such as other vehicles and pedestrians output from the dynamic object recognition unit 122 to determine whether the lighting state of the traffic signal output from the lighting state determination unit 123 is reliable. (more on that later).
  • the dynamic object information referred to here includes not only position information and speed information of the dynamic object, but also information such as when a parallel running vehicle or an intersecting vehicle is entering an intersection, or when a parallel running or intersecting vehicle is stopped at a stop line. It also includes road traffic information such as pedestrians crossing, pedestrians at intersections, and pedestrians crossing pedestrian crossings.
  • the dynamic object information also includes predictive behavior information such as parallel or intersecting vehicles about to stop before the stop line, or parallel or intersecting vehicles about to enter an intersection. .
  • the vehicle control unit 132 uses various types of information output from the input device 11, the recognition device 12, and the lighting state evaluation unit 131 to calculate a control command value for controlling travel of the own vehicle V1, and outputs the control command value. Output the value to the output device 14 .
  • the control command value referred to here includes control information for changing the physical state of the vehicle such as running, turning, and stopping via various actuators 143, as well as display device 141 (meter, etc.), audio output device 142 (speaker, etc.). etc.) to provide information to the driver.
  • the output device 14 includes a display 141, an audio output device 142, and various actuators 143, as shown in FIG.
  • the output device 14 is connected to the control device 13 , receives control command values output from the control device 13 , and controls the display device 141 , the audio output device 142 and various actuators 143 .
  • the display device 141 provides various types of information, for example, operation information of driving support functions as visual information to the vehicle occupants including the driver.
  • the indicator 141 is, for example, an instrument panel or a display arranged near the driver's seat of the vehicle.
  • the display may be a heads-up display.
  • a mobile phone held by the passenger, a mobile information terminal including a so-called smart phone, a tablet personal computer, or the like may be used as part or all of the display 141 .
  • the audio output device 142 provides various types of information, for example, activation information of driving support functions, as auditory information to vehicle occupants including the driver.
  • the audio output device 142 is, for example, a speaker arranged near the driver's seat of the vehicle.
  • a mobile phone held by the passenger, a mobile information terminal including a so-called smart phone, or a speaker mounted on a tablet personal computer may be used as part or all of the audio output device 142 .
  • Various actuators 143 change the steering angle, acceleration/deceleration, and braking pressure of the vehicle based on control command values input from the control device 13 .
  • FIG. 5 is a diagram showing a vehicle V1 equipped with the vehicle control system 1 shown in FIG. 1 approaching an intersection with a traffic light.
  • the host vehicle V1 has observed one parallel vehicle V2 and one crossing vehicle V3, and the dynamic object recognition unit 122 can recognize their behavior.
  • FIG. 6 is a flow chart showing a characteristic process flow when vehicle control system 1 shown in FIG. 1 evaluates the lighting state of a traffic signal at an intersection with a traffic signal as shown in FIG.
  • the flowchart shown in FIG. 6 is performed periodically (periodically) in this example. You may make it
  • the lighting state evaluation unit 131 predicts the behavior of vehicles running parallel to the lighting state of the traffic light at the intersection.
  • a probability distribution table as shown in FIG. 7A is read.
  • the probability distribution table shown in FIG. 7A is a probability distribution table that expresses the behavior prediction of the parallel running vehicle (dynamic object) according to the lighting state of the traffic light at the intersection in terms of probability.
  • the probability that the parallel running vehicle will or will not stop before the stop line is set in advance by the designer for each lighting state. For example, when the traffic light for the own lane is red, the probability that the parallel running vehicle will stop before the stop line is 95%, and the probability that it will not stop is 5%.
  • the probability distribution table shown in FIG. 7A is desirably set by statistically analyzing road traffic conditions for each intersection.
  • the behavior of vehicles running parallel to three patterns of red, yellow, and blue is set as the lighting state of a traffic light. May be set.
  • the behavior of the vehicle running side by side two patterns of stopping and not stopping before the stop line are set.
  • the behavior of the parallel running vehicle to be set at this time should be one in which the own vehicle can be properly observed.
  • the set probability value may be a fixed value, or may be a function of the speed of the parallel running vehicle or the distance to the stop line.
  • the lighting state evaluation unit 131 predicts the behavior of intersecting vehicles with respect to the lighting state of the traffic light at the intersection shown in FIG. Specifically, a probability distribution table as shown in FIG. 7B is read.
  • the probability distribution table shown in FIG. 7B is a probability distribution table that expresses the behavior prediction of an intersecting vehicle (dynamic object) according to the lighting state of the traffic light at the intersection in terms of probability. This is a table preset by the designer showing the probability that the intersecting vehicle will or will not stop by the stop line for each lighting state. For example, if the traffic light for your lane is red, the traffic light for the crossing vehicle is green, so there is a 90% probability that the crossing vehicle will enter the intersection and a 10% probability that it will stop at the stop line. It shows that The probability distribution table shown in FIG. 7B is desirably set by statistically analyzing road traffic conditions for each intersection.
  • the behavior of the crossing vehicle with respect to patterns such as arrow signals and red blinking may be set as the lighting state of the traffic light.
  • patterns such as arrow signals and red blinking
  • the set probability value may be a fixed value, or may be a function of the speed of the crossing vehicle or the distance to the stop line.
  • step S ⁇ b>203 the lighting state evaluation unit 131 acquires the reliability of the lighting state of the traffic signal for the own vehicle from the lighting state determination unit 123 .
  • step S ⁇ b>204 the lighting state evaluation unit 131 acquires information on parallel running vehicles and crossing vehicles from the dynamic object recognition unit 122 . Specifically, the predicted behavior information that the parallel running vehicle set in FIG. 7A is going to stop or is not going to stop before the stop line is acquired. At the same time, road traffic information such as that the crossing vehicle set in FIG. 7B is entering the intersection or stopped at the stop line is acquired.
  • the dynamic object recognition unit 122 predicts behavior, if the behavior cannot be clearly predicted, the probability of each behavior occurring is acquired. For example, if a vehicle running alongside is decelerating, but the predicted stopping point calculated from the deceleration is over the stop line, the probability of stopping by the stop line is 70%, and the probability of not stopping is 30%. get.
  • step S205 the lighting state evaluation unit 131 first updates the reliability of the lighting state of the traffic light based on the behavior of the parallel running vehicle. Specifically, it is calculated by the following formula [Equation 1] using Bayes' theorem.
  • T is the pattern of the lighting state of the traffic light
  • ⁇ T 1 red
  • T 2 yellow
  • T i ) is the probability that the parallel running vehicle behaves as X j when the lighting state of the traffic light is T i , and its meaning is the probability distribution shown in FIG. 7A.
  • Equation 1 P(T i
  • FIG. 8A is the result of calculating P(T i
  • the probability that the lighting state of the traffic light for the own vehicle is red is 91%. Compared to the 80% reliability, it can be said that the possibility of a red light is higher.
  • FIG. 8A also shows an example in which the behavior of the parallel running vehicle observed by the dynamic object recognition unit 122 is represented by probability.
  • P(X 1 ) be the probability that the vehicle running side by side will stop before the stop line
  • P(X 2 ) be the probability that the vehicle running side by side will not stop before the stop line. Confidence for a state can be calculated.
  • the lighting state evaluation unit 131 further updates the reliability of the lighting state of the traffic signal based on the behavior of the crossing vehicle. Specifically, it is calculated by the following equation [Equation 3] using Bayes' theorem.
  • T i ) is the probability that the crossing vehicle behaves as Y k when the lighting state of the traffic light is T i , and is represented by the probability distribution shown in FIG. 7B.
  • X j , Y k ) calculated from the above equation [Equation 3] is the lighting state of the traffic light when the behavior of the parallel running vehicle is X j and the behavior of the crossing vehicle is Y k . represents the probability that is T i .
  • FIG. 8B is the result of calculating P(T i
  • FIG. 8B also shows an example in which the behaviors of parallel running vehicles and crossing vehicles observed by the dynamic object recognition unit 122 are represented by probabilities.
  • P(X 1 ) is the probability that the parallel vehicle will stop before the stop line ; ) and the probability that the intersecting vehicle stops at the stop line is P(Y 2 ), the reliability of the lighting state of the traffic light can be calculated by the following equation [Equation 4].
  • step S206 the lighting state evaluation unit 131 calculates the degree of divergence between the reliability (before update) output from the lighting state determination unit 123 and the reliability (after update) calculated in step S205.
  • the reliability of the lighting state of the traffic signal determined by the lighting state determination unit 123 is evaluated.
  • the following formula [Equation 5] is used to calculate the degree of divergence.
  • P XY (T) represents reliability after update
  • P(T) represents reliability before update
  • the lighting state evaluation unit 131 outputs the calculated degree of deviation to the vehicle control unit 132 as an evaluation result (evaluation value).
  • FIG. 9 is an example of calculating the deviation with respect to the reliability obtained in FIG. 8B.
  • the degree of divergence is larger than the other patterns. showing. That is, when the degree of divergence indicates a large value, it can be said that there is a high possibility that the lighting state of the traffic light determined by the lighting state determination unit 123 is erroneous.
  • step S207 the vehicle control unit 132 makes a decision regarding the driving support function at an intersection with a traffic light.
  • the vehicle control unit 132 basically determines the vehicle running content (control content) based on (reliability of) the lighting state of the traffic light determined by the lighting state determination unit 123.
  • step S206 is performed. If the deviation of the reliability obtained from the lighting state evaluation unit 131 is greater than or equal to the reference value, the lighting state of the traffic light determined by the lighting state determination unit 123 is considered to be incorrect, and the driving support function is not operated. to If the driving support function is already in operation, the driving support function is interrupted to notify the driver of the fact, or to execute a degeneracy operation to avoid danger. Further, when the degree of deviation of the reliability continues to be higher than the reference value, it may be treated as a failure assuming that the recognition processing system has failed.
  • the reliability of the lighting state of the traffic light obtained from the captured image can be obtained from the surroundings of the own vehicle. It can be updated based on the behavior of other vehicles.
  • the degree of deviation in reliability between before and after the update is evaluated, and if the degree of deviation shows a large value compared to the reference value, the driving support function is suspended or treated as a failure, thereby Even in a scene in which the lighting state is erroneously determined, it is possible to prevent the vehicle from being controlled by executing the driving support function based on the erroneous lighting state.
  • the vehicle control system 1 shown in FIG. 1 can evaluate the determination result.
  • the behavior of the pedestrian ⁇ crossing the pedestrian crossing, not crossing the pedestrian crossing ⁇ with respect to the lighting state of the pedestrian traffic light ⁇ red, blue, blue flashing ⁇
  • a probability distribution table in which probabilities are set may be used.
  • the vehicle control system 1 of the present embodiment determines the lighting state of the traffic signal installed on the road on which the vehicle is traveling, and determines the lighting state for calculating the reliability of the determined lighting state of the traffic light.
  • a dynamic object recognition unit 122 that recognizes information about dynamic objects existing around the own vehicle (behavior of other vehicles, pedestrians, etc.), and the lighting state calculated by the lighting state determination unit 123.
  • a lighting state evaluation unit 131 that updates the reliability based on the information recognized by the dynamic object recognition unit 122 (information on dynamic objects existing around the own vehicle).
  • the vehicle control unit 132 of the vehicle control system 1 determines the control details of the own vehicle based on the reliability updated by the lighting state evaluation unit 131 .
  • the lighting state evaluation unit 131 compares the reliability of the lighting state calculated by the lighting state determination unit 123 and the reliability updated based on the information recognized by the dynamic object recognition unit 122. Calculate the degree of divergence.
  • the vehicle control unit 132 of) the vehicle control system 1 determines the control details of the own vehicle based on the magnitude of the deviation calculated by the lighting state evaluation unit 131 .
  • the determination result of the lighting state of the traffic light obtained from the captured image can be evaluated based on the behavior of dynamic objects existing around the own vehicle. As a result, even if a captured image contains a lot of noise and an erroneous lighting state is determined, it is possible to prevent the own vehicle from being controlled according to the erroneous determination result, thereby ensuring safety. It is possible to provide a vehicle control system 1 capable of
  • each of the above configurations, functions, processing units, processing means, etc. may be realized in hardware, for example, by designing a part or all of them with an integrated circuit.
  • each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function.
  • Information such as programs, tables, files, etc. that realize each function can be stored in storage devices such as memory, hard disks, SSDs (Solid State Drives), or recording media such as IC cards, SD cards, and DVDs.
  • control lines and information lines indicate what is considered necessary for explanation, and not all control lines and information lines are necessarily indicated on the product. In practice, it may be considered that almost all configurations are interconnected.
  • vehicle control system 11 input device 111 host vehicle behavior acquisition unit 112 vehicle environment acquisition unit 113 road information acquisition unit 12 recognition device 121 driving situation recognition unit 122 dynamic object recognition unit 123 lighting state determination unit 13 control device 131 lighting state evaluation unit 132 vehicle control unit 14 output device 141 indicator 142 audio output device 143 various actuators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

信号機の点灯状態を誤判定する場合において、その誤った点灯状態に基づいて運転支援機能が実行されて自車両が制御されることを防止する車両制御システムを提供する。自車両が走行する道路に設置された信号機の点灯状態を判定し、判定した信号機の点灯状態に対する信頼度を算出する点灯状態判定部１２３と、自車両の周囲に存在する動的物体に関する情報（他車両、歩行者などの挙動）を認識する動的物体認識部１２２と、前記点灯状態判定部１２３で算出した前記点灯状態に対する信頼度を、前記動的物体認識部１２２で認識した情報（自車両の周囲に存在する動的物体に関する情報）に基づき更新する点灯状態評価部１３１と、を備える。

Description

車両制御システム
　本発明は、信号機の点灯状態に基づいて自車両の走行を制御する車両制御システムに関する。
　近年、自動車等の車両においては、自動運転を含む運転支援の技術として、自車両が目標コースや先行車両に追従して走行するように制御する追従走行制御の技術が開発されている。この追従走行を自動的に実施する場合、交差点等の信号機が設置されている地点においては、信号機の点灯状態を正確に判定して自車両が安全に停止、発進、通過できるように制御する必要がある。
　そこで、車載カメラなどで得られた撮像画像に基づいて信号機の点灯状態を高精度に判定する技術が考えられている（例えば、特許文献１参照）。また、吹雪や濃霧、豪雨等の気象条件により信号機の点灯状態を把握できない場合であっても安全を確保することのできる車両の走行制御システムが考えられている（例えば、特許文献２参照）。
特開２０１７－１３０１６３号公報 特開２０１８－１７３７２３号公報
　しかしながら、特許文献１に記載された信号機の点灯状態判定方法は撮像画像のみが入力となるため、例えば、他の発光源の存在などで撮像画像中にノイズが多く含まれてしまう場合は、信号機の点灯状態を正しく判定することができず、場合によっては誤判定してしまう可能性が考えられる。このとき、誤判定といっても信号機の点灯状態は検知されているため、例えば特許文献２に記載された走行制御システムでは、誤判定された点灯状態に従って自車両が制御されることになり、安全を確保することができないと考えられる。
　一方で、自車両周囲に他車両や歩行者といった動的物体が存在する場面は多い。これら動的物体は車載カメラ以外にもレーダーやライダーなどのセンサで検出可能であり、撮像画像に依存せずにそれらの挙動を観測することができる。また、自車両周囲の動的物体は、自車両に対する信号機と同じ信号機の点灯状態によってその挙動を変える。したがって、自車両周囲の動的物体の挙動を観測することで、自車両に対する信号機の点灯状態を予測でき、撮像画像から判定された信号機の点灯状態が信頼できるかを評価することができると考えられる。
　本発明は、上記を鑑み、自車両を制御する際に、撮像画像から得られた信号機の点灯状態の判定結果をそのまま使用するのではなく、自車両の周囲に存在する動的物体を観測し、その挙動を基に前記信号機の点灯状態の判定結果を評価することで、誤った判定結果に従い自車両が制御されることを防止する車両制御システムを提供することを目的とする。
　上記目的を達成するため、本発明は、自車両が走行する道路に設置された信号機の点灯状態を判定し、判定した信号機の点灯状態に対する信頼度を算出する点灯状態判定部と、自車両の周囲に存在する動的物体に関する情報を認識する動的物体認識部と、前記点灯状態判定部で算出した前記点灯状態に対する信頼度を、前記動的物体認識部で認識した情報に基づき更新する点灯状態評価部と、を備えることを特徴とする。
　本発明によれば、撮像画像から得られる信号機の点灯状態の判定結果を自車両の周囲に存在する動的物体の挙動に基づいて評価することができる。これにより、撮像画像中にノイズが多く含まれてしまい、誤った点灯状態が判定されてしまう場合においても、誤った判定結果に従い自車両が制御されることを防止し、安全を確保することのできる車両制御システムを提供することができる。
　上記した以外の課題、構成および効果については、以下の実施形態の説明により明らかにされる。
本発明が適用された車両制御システムの機能ブロック図の一例。 信号機の点灯状態を判定する際の特徴的な処理の流れを示すフローチャート。 図２で示すフローチャートのステップＳ１０５における処理内容のイメージ。 信号機の点灯状態を判定した結果の一例を示した図。 信号機のある交差点を示した図。 信号機の点灯状態を評価する際の特徴的な処理の流れを示すフローチャート。 信号機の点灯状態に対する並走車両の挙動を整理した確率分布表の一例。 信号機の点灯状態に対する交差車両の挙動を整理した確率分布表の一例。 並走車両の挙動に基づいて、信号機の点灯状態の信頼度を更新した結果の一例。 並走車両および交差車両の挙動に基づいて、信号機の点灯状態の信頼度を更新した結果の一例。 更新前の信頼度と更新後の信頼度との乖離度を算出した結果の一例。
　以下、図面に基づいて、本発明の実施の形態を説明する。
　図１は、本発明が適用された車両制御システムの機能ブロック図である。図１に示す車両制御システム１は、車両（自車両）Ｖ１に搭載されるものであり、車両Ｖ１の走行制御を実施する。図１に示す車両制御システム１は、予め設定された目標地点まで車両Ｖ１を自動走行させたり、運転者の運転を支援したりすることができる。
　図１に示すように、車両制御システム１は、入力装置１１、認識装置１２、制御装置１３、出力装置１４より構成される。
　入力装置１１は、例えば、自車両挙動取得部１１１と、車外環境取得部１１２と、道路情報取得部１１３を含んで構成される。入力装置１１は、認識装置１２に接続されており、自車両挙動取得部１１１と、車外環境取得部１１２と、道路情報取得部１１３と、でそれぞれ取得した情報を認識装置１２へ出力する。
　自車両挙動取得部１１１は、自車両Ｖ１の位置、速度、加速度といった物理的な挙動に関する情報を取得する。自車両挙動取得部１１１は、例えば、GNSS(Global Navigation Satellite System)の受信装置や、ジャイロセンサ、加速度センサ、車輪速センサ（いずれも不図示）などの内界センサが用いられる。
　車外環境取得部１１２は、自車両Ｖ１周辺の物体に関する情報や、道路上の白線、停止線などの路面標示（路面ペイント）や、道路周辺に存在する信号機、速度標識などの自車両Ｖ１周辺の環境に関する情報を取得する。車外環境取得部１１２は、例えば、カメラ、77GHzレーダー、24GHzレーダー、短距離ライダー、長距離ライダー、ソナーセンサ（いずれも不図示）などの外界センサが用いられる。
　道路情報取得部１１３は、例えば、ノードおよびリンクから構成される道路ネットワーク情報と、交通規則情報と、交通安全施設情報とを取得する。道路ネットワーク情報には、ノード詳細情報（十字路、Ｔ字路など）、リンク詳細情報（車線数、形状など）といった道路構造情報が含まれる。交通規則情報は、交通法規だけでなく、世間で一般的に共有されている交通マナーなども含む概念をいう。交通安全施設情報は、信号機や道路標識などの交通安全のために運転者へ視認させることを目的とした設備のことをいう。道路情報取得部１１３は、これらの道路情報を記憶する記憶媒体から必要に応じて取得してもよいし、ネットワーク上のサーバから必要に応じて取得してもよい。
　認識装置１２は、入力装置１１に接続されており、入力装置１１から入力される各種情報を基に、車両の走行を制御するために必要な情報を作成する。認識装置１２は、ＣＰＵ１２Ａを含むコンピュータを主体に構成される。ＣＰＵ１２Ａは、例えば、走行状況認識部１２１と、動的物体認識部１２２と、点灯状態判定部１２３と、を含む。認識装置１２は、制御装置１３に接続されており、走行状況認識部１２１と、動的物体認識部１２２と、点灯状態判定部１２３と、でそれぞれ作成した情報を制御装置１３へ出力する。
　走行状況認識部１２１は、例えば、自車両挙動取得部１１１が取得した位置情報と、車外環境取得部１１２が取得した白線情報と、道路情報取得部１１３が取得した道路情報と、を用いて、自車両Ｖ１が走行している車線を認識したり、自車両Ｖ１の位置情報を更新したりする。
　動的物体認識部１２２は、例えば、自車両挙動取得部１１１が取得した自車両Ｖ１の速度情報と、車外環境取得部１１２が取得した自車両Ｖ１周辺に存在する物体の情報と、を用いて、他車両や歩行者（以降、これらを動的物体と称する場合がある）の存在を認識したり、それら動的物体の進行方向や速度を算出したりする。また、道路情報取得部１１３が取得した道路情報と組み合わせることで、前記動的物体が存在する道路上の位置情報を取得する。それにより、認識された動的物体が、自車線に隣接する車線を走行している並走車両である、自車線に隣接する車線で停止している停止車両である、交差点を直交する（自車線に交差する車線を走行している）交差車両である、交差点で停止している停止車両である、交差点に存在する歩行者である、横断歩道を渡っている歩行者である、といった道路交通情報を作成する。また、動的物体の時系列データを用いて、並走車両や交差車両が停止線までに停止しようとしている、並走車両や交差車両が停止線までに停止せずに交差点に進入しようとしている、といった予測挙動情報を作成する。
　点灯状態判定部１２３は、例えば、車外環境取得部１１２として用いられる車載カメラが撮像した画像を基に、自車両Ｖ１に対する信号機（すなわち、自車両Ｖ１が走行する道路に設置された信号機）の点灯状態を判定する。ここでいう点灯状態は、一般的な赤信号、黄信号、青信号の他に、矢印信号の表示有無や方向、赤信号の点滅状態、のいずれかもしくは組み合わせを表す。
　ここで、図２を用いて、自車両Ｖ１に対する信号機の点灯状態の判定方法を説明する。図２は、点灯状態判定部１２３が、自車両Ｖ１に対する信号機の点灯状態を判定する際の特徴的な処理の流れを示すフローチャートである。また、図２に示すフローチャートでは、簡単のため、点灯状態が赤信号、黄信号、青信号のみである信号機を対象としている。
　ステップＳ１０１において、点灯状態判定部１２３は、車外環境取得部１１２が取得した撮像画像中に自発光物体があるかを判定する。自発光物体があると判定された場合は、ステップＳ１０２を実行する。自発光物体がないと判定された場合は、信号機未検出として処理を終了する。
　ステップＳ１０２において、点灯状態判定部１２３は、自発光物体の位置情報を算出する。撮像画像から得られる位置情報は自車両位置に対する相対位置となるため、走行状況認識部１２１により算出される自車両の絶対位置情報と組み合わせることで、自発光物体の絶対位置情報を算出する。撮像画像中に自発光物体が複数検出された場合は、すべての自発光物体に対して位置情報を算出する。
　ステップＳ１０３において、点灯状態判定部１２３は、自発光物体の絶対位置情報と道路情報取得部１１３から得られる道路情報とを照合することにより、自発光物体が自車両Ｖ１に対する信号機であるかを判定する。複数の自発光物体が検出された場合は、すべての自発光物体に対して判定処理を実行する。自車両Ｖ１に対する信号機であると判定された自発光物体が１つ以上ある場合は、ステップＳ１０４を実行する。それ以外の場合は、信号機未検出として処理を終了する。
　ステップＳ１０４において、点灯状態判定部１２３は、車外環境取得部１１２が取得した撮像画像から、自車両Ｖ１に対する信号機であると判定された自発光物体の領域（自発光領域）を抽出する。その後、ステップＳ１０５において、点灯状態判定部１２３は、抽出された自発光物体の領域中に含まれる色をピクセルごとに分類する。最後に、ステップＳ１０６において、点灯状態判定部１２３は、分類された結果から、自発光物体の領域中に含まれる｛赤、黄、青｝の割合を算出する。
　図３は、図２で示すフローチャートのステップＳ１０５で実施される処理内容のイメージである。図３に示すように、点灯状態判定部１２３は、自発光物体の領域中に含まれるすべてのピクセルを走査して｛赤、黄、青｝に分類する。このとき、どの色にも属さないピクセルに対しては、該当なしとして分類結果には含めない。
　図４は、図２で示した判定方法に従い、信号機の点灯状態を判定した結果の一例である。図４の結果は、撮像画像から自発光物体が検出でき、その自発光物体の領域中に含まれる｛赤、黄、青｝のそれぞれの割合が｛８０％、１０％、１０％｝であることを示している。
　点灯状態判定部１２３は、図４に示すような分類結果に基づいて、割合が基準値（例えば７５％）以上である点灯状態を、自車両Ｖ１に対する信号機の点灯状態と判定して外部に出力する。また併せて、図４に示すような自発光物体の領域中に含まれる色の割合を、信号機の点灯状態の信頼度として外部に出力する。すべての点灯状態の割合が基準値未満である場合、つまりあいまいな場合は、信号機未検出として処理を終了する。
　また、図２で示した以外にも、例えば、ニューラルネットワークを用いた機械学習モデルにて分類器を構築して、機械学習手法に基づく推論により、自車両Ｖ１に対する信号機の点灯状態の判定を行っても良い。この場合、ニューラルネットワークの出力層からの出力値のうち最も値が大きい出力値に対応する色を信号機の点灯状態と判定し、また、出力層からの出力値自体を信号機の点灯状態の信頼度として扱う。
　制御装置１３は、入力装置１１および認識装置１２から出力された各種情報を用いて、自車両の走行制御に係る情報処理を行う。制御装置１３は、ＣＰＵ１３Ａを含むコンピュータを主体に構成される。ＣＰＵ１３Ａは、例えば、点灯状態評価部１３１と、車両制御部１３２と、を含む。制御装置１３は、出力装置１４に接続されており、点灯状態評価部１３１と、車両制御部１３２と、でそれぞれ作成した情報を出力装置１４へ出力する。
　点灯状態評価部１３１は、例えば、動的物体認識部１２２から出力された他車両および歩行者といった動的物体の情報を用いて、点灯状態判定部１２３から出力された信号機の点灯状態が信頼できるかを評価する（詳細は後で説明）。ここでいう動的物体の情報は、動的物体の単なる位置情報、速度情報の他に、並走車両や交差車両が交差点に進入している、並走車両や交差車両が停止線にて停止している、歩行者が交差点に存在する、歩行者が横断歩道を横断している、といった道路交通情報も含んでいる。また、動的物体の情報は他にも、並走車両や交差車両が停止線までに停止しようとしている、並走車両や交差車両が交差点に進入しようとしている、といった予測挙動情報も含んでいる。
　車両制御部１３２は、入力装置１１、認識装置１２、および点灯状態評価部１３１から出力された各種情報を用いて、自車両Ｖ１の走行を制御するための制御指令値を計算し、その制御指令値を出力装置１４へ出力する。ここでいう制御指令値には、各種アクチュエータ１４３を介して車両の走る、曲がる、停まるなどの物理状態を変化させる制御情報の他に、表示器１４１（メーターなど）、音声出力器１４２（スピーカーなど）を介して運転者へ情報を提供する信号情報も含まれる。
　出力装置１４は、図１に示すように、表示器１４１と、音声出力器１４２と、各種アクチュエータ１４３と、を備える。出力装置１４は、制御装置１３に接続されており、制御装置１３から出力される制御指令値を受けて、表示器１４１、音声出力器１４２、各種アクチュエータ１４３を制御する。
　表示器１４１は、運転者を含む車両の乗員に対して、各種情報、例えば、運転支援機能の作動情報を視覚情報として提供する。表示器１４１としては、例えば、車両の運転席近傍に配置されたインストルメントパネル、ディスプレイなどである。ディスプレイは、ヘッドアップディスプレイであってもよい。または、乗員の保持する携帯電話、いわゆるスマートフォンを含む携帯情報端末、タブレット型パーソナルコンピュータなどを表示器１４１の一部または全部として利用してもよい。
　音声出力器１４２は、運転者を含む車両の乗員に対して、各種情報、例えば、運転支援機能の作動情報を聴覚情報として提供する。音声出力器１４２としては、例えば、車両の運転席近傍に配置されたスピーカーなどである。または、乗員の保持する携帯電話、いわゆるスマートフォンを含む携帯情報端末、タブレット型パーソナルコンピュータに搭載されているスピーカーを音声出力器１４２の一部または全部として利用してもよい。
　各種アクチュエータ１４３は、制御装置１３から入力される制御指令値に基づいて、車両の操舵角、加減速、制動圧を変化させる。
　図５は、図１に示す車両制御システム１を搭載した自車両Ｖ１が、信号機のある交差点に差し掛かっている様子を表した図である。この例では、自車両Ｖ１は並走車両Ｖ２と交差車両Ｖ３を１台ずつ観測しており、動的物体認識部１２２にてそれらの挙動を認識できているとする。また、自車両Ｖ１は自車両Ｖ１に対する信号機を検出しており、点灯状態判定部１２３にてその信号機の点灯状態を赤信号、信頼度を｛赤、黄、青｝＝｛８０％、１０％、１０％｝として判定しているとする。
　図６を用いて、図１に示す車両制御システム１が信号機の点灯状態を評価する際の動作を説明する。図６は、図５に示すような信号機のある交差点において、図１に示す車両制御システム１が信号機の点灯状態を評価する際の特徴的な処理の流れを示すフローチャートである。図６に示すフローチャートは、本例では定期的（周期的）に実施するものとするが、例えば、信号機のある交差点に近づいたとき、交差点に設置された信号機を検知したときなどに処理を開始するようにしてもよい。
　ステップＳ２０１において、点灯状態評価部１３１は、当該交差点における信号機の点灯状態に対する並走車両の挙動を予測する。具体的には、図７Ａに示すような確率分布表を読み込む。図７Ａに示す確率分布表は、当該交差点における信号機の点灯状態に応じた並走車両（動的物体）の挙動予測を確率で表現した確率分布の表であり、自車線に対する信号機の点灯状態と、その点灯状態ごとに並走車両が停止線までに止まるか止まらないかの確率を、予め設計者が設定した表である。例えば、自車線に対する信号機が赤信号である場合、並走車両が停止線までに止まるであろう確率が９５％、止まらないであろう確率が５％であることを示している。図７Ａに示す確率分布表は、交差点ごとに道路交通状況を統計して設定されるのが望ましい。
　図７Ａに示す確率分布表では、信号機の点灯状態として赤、黄、青の３パターンに対する並走車両の挙動が設定されているが、矢印信号や赤点滅などのパターンに対する並走車両の挙動を設定してもよい。また、並走車両の挙動として停止線までに止まる、止まらないの２パターンを設定しているが、このパターンに限らず、並走車両が取り得るパターンを設定することができる。ただし、このとき設定する並走車両の挙動としては自車両が適切に観測できるものが望ましい。また、設定する確率値は、固定値としても良いし、並走車両の速度や停止線までの距離の関数としても良い。
　ステップＳ２０２において、点灯状態評価部１３１は、図５に示す交差点における信号機の点灯状態に対する交差車両の挙動を予測する。具体的には、図７Ｂに示すような確率分布表を読み込む。図７Ｂに示す確率分布表は、当該交差点における信号機の点灯状態に応じた交差車両（動的物体）の挙動予測を確率で表現した確率分布の表であり、自車線に対する信号機の点灯状態と、その点灯状態ごとに交差車両が停止線までに止まるか止まらないかの確率を、予め設計者が設定した表である。例えば、自車線に対する信号機が赤信号である場合、交差車両に対する信号機は青信号であるため、交差車両が交差点に進入するであろう確率が９０％、停止線で停止するであろう確率が１０％であることを示している。図７Ｂに示す確率分布表は、交差点ごとに道路交通状況を統計して設定されるのが望ましい。
　図７Ｂは、図７Ａと同様に、信号機の点灯状態として矢印信号や赤点滅などのパターンに対する交差車両の挙動を設定してもよい。また、交差車両が取り得るパターンを追加、変更することができる。ただし、このとき設定する交差車両の挙動としては自車両が適切に観測できるものが望ましい。また、設定する確率値は、固定値としても良いし、交差車両の速度や停止線までの距離の関数としても良い。
　ステップＳ２０３において、点灯状態評価部１３１は、点灯状態判定部１２３から自車両に対する信号機の点灯状態の信頼度を取得する。図４に示す交差点の例では、点灯状態評価部１３１は、前記信頼度として｛赤、黄、青｝＝｛８０％、１０％、１０％｝を点灯状態判定部１２３から取得する。
　ステップＳ２０４において、点灯状態評価部１３１は、動的物体認識部１２２から並走車両および交差車両の情報を取得する。具体的には、図７Ａで設定した並走車両が停止線までに停止しようとしているもしくはしていないといった予測挙動情報を取得する。また併せて、図７Ｂで設定した交差車両が交差点に進入しているもしくは停止線で停止しているといった道路交通情報を取得する。
　動的物体認識部１２２が挙動予測をする際、その挙動がはっきりと予測できない場合は、それぞれの挙動が発生する確率を取得する。例えば、並走車両は減速しているが、減速度から算出される予測停止地点が停止線を越えている場合、停止線までに停止する確率が７０％、停止しない確率が３０％といった値を取得する。
　ステップＳ２０５において、点灯状態評価部１３１は、まずは、並走車両の挙動に基づいて、信号機の点灯状態の信頼度を更新する。具体的には、ベイズの定理を用いて以下の式［数１］にて計算する。
Figure JPOXMLDOC01-appb-M000001
 ここで、Tは信号機の点灯状態のパターンであり、図７Ａに示す例では｛T1＝赤、T2＝黄、T3＝青｝が要素となる。Xは並走車両の挙動のパターンであり、図７Ａに示す例では｛X1＝停止線までに止まる、X2＝停止線までに止まらない｝が要素となる。また、P(Ti)は信号機の点灯状態がTiであるときの信頼度であり、図５に示す例では｛P(T1)＝８０％、P(T2)＝１０％、P(T3)＝１０％｝となる。P(Xj|Ti)は信号機の点灯状態がTiであるときに並走車両がXjの挙動をする確率であり、図７Ａに示す確率分布がその意味するところとなる。
　以上の式［数１］より計算されるP(Ti|Xj)は、並走車両の挙動がXjとして観測されたときに信号機の点灯状態がTiである確率を表している。
　図８Ａは、各パターンに対してP(Ti|Xj)を計算した結果である。例えば、動的物体認識部１２２により、並走車両が停止線までに止まることが観測された場合、自車両に対する信号機の点灯状態が赤である可能性は９１％であり、更新前の赤＝８０％という信頼度と比較して、赤信号である可能性がより高くなったといえる。一方で、図８Ａにおいて、並走車両が停止線までに止まらないことが観測された場合、自車両に対する信号機の点灯状態が赤である可能性が（更新前の赤＝８０％から）２５％まで低下しており、点灯状態判定部１２３の判定結果が誤りであるかもしれないと考えることができる。
　図８Ａは、動的物体認識部１２２にて観測された並走車両の挙動が確率で表現されている場合の例も示している。並走車両が停止線までに止まる確率をP(X1)、並走車両が停止線までに止まらない確率をP(X2)とすれば、以下の式［数２］にて信号機の点灯状態に対する信頼度を算出することができる。ここで、PX(Ti)は、並走車両の挙動に基づいて更新された信号機の点灯状態の信頼度である。
Figure JPOXMLDOC01-appb-M000002
 例えば、P(X1)＝７０％、P(X2)＝３０％とすれば、PX(T1)＝７１％となり、更新前の赤＝８０％と比較して、赤信号である可能性が少し低くなったといえる。
　ステップＳ２０５において、点灯状態評価部１３１は、次に、交差車両の挙動に基づいて信号機の点灯状態の信頼度をさらに更新する。具体的には、ベイズの定理を用いて以下の式［数３］にて計算する。
Figure JPOXMLDOC01-appb-M000003
 ここで、Yは交差車両の挙動のパターンであり、図７Ｂに示す例では｛Y1＝交差点に進入する、Y2＝停止線で停止する｝が要素となる。また、P(Yk|Ti)は信号機の点灯状態がTiであるときに交差車両がYkの挙動をする確率であり、図７Ｂに示す確率分布がその意味するところとなる。
　以上の式［数３］より計算されるP(Ti|Xj,Yk)は、並走車両の挙動がXj、交差車両の挙動がYkとして観測されたときに信号機の点灯状態がTiである確率を表している。
　図８Ｂは、各パターンに対してP(Ti|Xj,Yk)を計算した結果である。例えば、動的物体認識部１２２により、並走車両が停止線までに止まることが観測され、かつ交差車両が交差点に進入中であることが観測された場合、自車両に対する信号機の点灯状態が赤である可能性が１００％であり、更新前の赤＝８０％という信頼度と比較して、ほぼ間違いなく赤信号であると考えられる。一方で、図８Ｂにおいて、並走車両が停止線までに止まらないことが観測され、かつ交差車両が停止線にて停止していたことが観測された場合、自車両に対する信号機の点灯状態が赤である可能性が（更新前の赤＝８０％から）３％まで低下しており、点灯状態判定部１２３の判定結果が高い確率で誤りであると考えることができる。
　図８Ｂは、動的物体認識部１２２にて観測された並走車両および交差車両の挙動が確率で表現されている場合の例も示している。並走車両が停止線までに止まる確率をP(X1)、並走車両が停止線までに止まらない確率をP(X2)、交差車両が交差点に進入している確率をP(Y1)、交差車両が停止線にて停止している確率をP(Y2)とすれば、以下の式［数４］にて信号機の点灯状態に対する信頼度を算出することができる。ここで、PXY(Ti)は、並走車両および交差車両の挙動に基づいて更新された信号機の点灯状態の信頼度である。
Figure JPOXMLDOC01-appb-M000004
 例えば、P(X1)＝７０％、P(X2)＝３０％、P(Y1)＝１００％、P(Y2)＝０％、とすれば、PXY(T)＝｛９７％、０％、３％｝となる。
　ステップＳ２０６において、点灯状態評価部１３１は、点灯状態判定部１２３から出力された信頼度（更新前）と、ステップＳ２０５で計算された信頼度（更新後）との乖離度を算出することで、点灯状態判定部１２３が判定した信号機の点灯状態の信頼度を評価する。乖離度の算出には、例えば以下の式［数５］を用いる。
Figure JPOXMLDOC01-appb-M000005
 ここで、PXY(T)は更新後の信頼度、P(T)は更新前の信頼度を表す。また、nは信号機の色のパターン数であり、本実施例においてはn＝３（赤、黄、青の３パターン）となる。点灯状態評価部１３１は、算出した乖離度を評価結果（評価値）として車両制御部１３２に出力する。
　図９は、図８Ｂで得られた信頼度に対して、乖離度を算出した例である。赤である可能性が３％まで低下した「並走車両が停止線までに止まらない、かつ交差車両が停止線で停止しているパターン」では、乖離度は他のパターンと比べて大きな値を示している。つまり、乖離度が大きな値を示す場合、点灯状態判定部１２３が判定した信号機の点灯状態は誤りである可能性が高いと言える。
　ステップＳ２０７において、車両制御部１３２は、信号機のある交差点での運転支援機能に係る意思決定を行う。車両制御部１３２は、基本的には点灯状態判定部１２３にて判定された信号機の点灯状態（の信頼度）に基づいて車両の走行内容（制御内容）を決定するが、このとき、ステップＳ２０６にて点灯状態評価部１３１から得られる信頼度の乖離度が基準値以上の場合は、点灯状態判定部１２３にて判定された信号機の点灯状態が誤りであるとして、運転支援機能を作動させないようにする。すでに運転支援機能が作動中である場合は、運転支援機能を中断してその旨を運転者に通知したり、危険を回避するための縮退動作を実行したりする。また、信頼度の乖離度が基準値より高い状態が継続する場合は、認識処理系が失陥したとしてフェール扱いにしても良い。
　このように、予め交差点における信号機の点灯状態に対する他車両の挙動（予測）を確率分布として設定しておくことで、撮像画像から得られる信号機の点灯状態の信頼度を、自車両の周囲に存在する他車両の挙動に基づいて更新することができる。また、更新前と更新後との信頼度の乖離度を評価し、乖離度が基準値と比べて大きな値を示す場合は運転支援機能を中断したり、フェール扱いとしたりすることで、信号機の点灯状態が誤判定されてしまうシーンにおいても、その誤った点灯状態に基づいて運転支援機能が実行されて自車両が制御されることを防止することができる。
　以上、本発明の好ましい実施例について説明したが、本発明は上述した実施例に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することができる。
　例えば、自車両が歩行者用信号機の点灯状態を判定するケースにおいても、図１に示す車両制御システム１にて、その判定結果を評価することができる。この場合は、図７Ａ、図７Ｂの代わりに歩行者用信号機の点灯状態｛赤、青、青点滅｝に対する歩行者の挙動｛横断歩道を渡っている、横断歩道を渡っていない｝のそれぞれの確率を設定した確率分布表を用いればよい。
　以上で説明したように、本実施例の車両制御システム１は、自車両が走行する道路に設置された信号機の点灯状態を判定し、判定した信号機の点灯状態に対する信頼度を算出する点灯状態判定部１２３と、自車両の周囲に存在する動的物体に関する情報（他車両、歩行者などの挙動）を認識する動的物体認識部１２２と、前記点灯状態判定部１２３で算出した前記点灯状態に対する信頼度を、前記動的物体認識部１２２で認識した情報（自車両の周囲に存在する動的物体に関する情報）に基づき更新する点灯状態評価部１３１と、を備える。
　前記車両制御システム１（の車両制御部１３２）は、前記点灯状態評価部１３１が更新した信頼度に基づいて自車両の制御内容を決定する。
　より詳しくは、前記点灯状態評価部１３１は、前記点灯状態判定部１２３が算出した前記点灯状態の信頼度と、前記動的物体認識部１２２で認識した情報に基づき更新された信頼度と、の乖離度を算出する。
　前記車両制御システム１（の車両制御部１３２）は、前記点灯状態評価部１３１が算出した前記乖離度の大きさに基づいて自車両の制御内容を決定する。
　本実施例によれば、撮像画像から得られる信号機の点灯状態の判定結果を自車両の周囲に存在する動的物体の挙動に基づいて評価することができる。これにより、撮像画像中にノイズが多く含まれてしまい、誤った点灯状態が判定されてしまう場合においても、誤った判定結果に従い自車両が制御されることを防止し、安全を確保することのできる車両制御システム１を提供することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１　　　車両制御システム
１１　　入力装置
１１１　自車両挙動取得部
１１２　車外環境取得部
１１３　道路情報取得部
１２　　認識装置
１２１　走行状況認識部
１２２　動的物体認識部
１２３　点灯状態判定部
１３　　制御装置
１３１　点灯状態評価部
１３２　車両制御部
１４　　出力装置
１４１　表示器
１４２　音声出力器
１４３　各種アクチュエータ

Claims (8)

  1. 　自車両が走行する道路に設置された信号機の点灯状態を判定し、判定した信号機の点灯状態に対する信頼度を算出する点灯状態判定部と、
    　自車両の周囲に存在する動的物体に関する情報を認識する動的物体認識部と、
    　前記点灯状態判定部で算出した前記点灯状態に対する信頼度を、前記動的物体認識部で認識した情報に基づき更新する点灯状態評価部と、を備えることを特徴とする車両制御システム。
  2. 　前記動的物体認識部は、自車線に隣接する車線を走行もしくは停止している車両、自車線に交差する車線を走行もしくは停止している車両、交差点に存在する歩行者、の少なくとも一つの挙動を認識することを特徴とする、請求項１に記載の車両制御システム。
  3. 　前記点灯状態判定部は、撮像画像から自発光物体の領域を抽出し、前記自発光物体の領域中に含まれる色の割合から、前記信号機の点灯状態を判定および信頼度を算出することを特徴とする、請求項１に記載の車両制御システム。
  4. 　前記点灯状態判定部は、機械学習手法に基づく推論により、前記信号機の点灯状態を判定および信頼度を算出することを特徴とする、請求項１に記載の車両制御システム。
  5. 　前記点灯状態評価部は、信号機の点灯状態に応じた動的物体の挙動予測を確率で表現した確率分布を用いて、前記点灯状態の信頼度を更新することを特徴とする、請求項１に記載の車両制御システム。
  6. 　前記車両制御システムは、前記点灯状態評価部が更新した信頼度に基づいて自車両の制御内容を決定することを特徴とする、請求項１に記載の車両制御システム。
  7. 　前記点灯状態評価部は、前記点灯状態判定部が算出した前記点灯状態の信頼度と、前記動的物体認識部で認識した情報に基づき更新された信頼度と、の乖離度を算出することを特徴とする、請求項１に記載の車両制御システム。
  8. 　前記車両制御システムは、前記点灯状態評価部が算出した前記乖離度の大きさに基づいて自車両の制御内容を決定することを特徴とする、請求項７に記載の車両制御システム。
PCT/JP2022/028589 2022-01-05 2022-07-25 車両制御システム WO2023132092A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023572343A JPWO2023132092A1 (ja) 2022-01-05 2022-07-25
DE112022005670.3T DE112022005670T5 (de) 2022-01-05 2022-07-25 Fahrzeugsteuersystem

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-000335 2022-01-05
JP2022000335 2022-01-05

Publications (1)

Publication Number Publication Date
WO2023132092A1 true WO2023132092A1 (ja) 2023-07-13

Family

ID=87073620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028589 WO2023132092A1 (ja) 2022-01-05 2022-07-25 車両制御システム

Country Status (3)

Country Link
JP (1) JPWO2023132092A1 (ja)
DE (1) DE112022005670T5 (ja)
WO (1) WO2023132092A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991586A (ja) * 1995-09-26 1997-04-04 Babcock Hitachi Kk 道路状態監視方法と装置
JP2019096012A (ja) * 2017-11-22 2019-06-20 日本電信電話株式会社 移動体制御方法及び移動体制御装置
JP2020027328A (ja) * 2018-08-09 2020-02-20 パナソニックＩｐマネジメント株式会社 信号機推定装置、信号機推定方法およびプログラム
JP2021196827A (ja) * 2020-06-12 2021-12-27 本田技研工業株式会社 運転支援装置、車両、携帯端末、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6742736B2 (ja) 2016-01-22 2020-08-19 株式会社デンソーテン 信号機の点灯色判定装置および信号機の点灯色判定方法
JP6552064B2 (ja) 2017-03-31 2019-07-31 株式会社Ｓｕｂａｒｕ 車両の走行制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991586A (ja) * 1995-09-26 1997-04-04 Babcock Hitachi Kk 道路状態監視方法と装置
JP2019096012A (ja) * 2017-11-22 2019-06-20 日本電信電話株式会社 移動体制御方法及び移動体制御装置
JP2020027328A (ja) * 2018-08-09 2020-02-20 パナソニックＩｐマネジメント株式会社 信号機推定装置、信号機推定方法およびプログラム
JP2021196827A (ja) * 2020-06-12 2021-12-27 本田技研工業株式会社 運転支援装置、車両、携帯端末、およびプログラム

Also Published As

Publication number Publication date
DE112022005670T5 (de) 2024-09-26
JPWO2023132092A1 (ja) 2023-07-13

Similar Documents

Publication Publication Date Title
JP7472170B2 (ja) 自律マシン・アプリケーションにおける交差点姿勢検出
EP3091370B1 (en) Method and arrangement for determining safe vehicle trajectories
CN110001643B (zh) 车辆控制装置、车辆控制方法、存储介质、以及信息获取装置
JP6831419B2 (ja) 自動運転車と警告サービスの操作方法、システム及び機械可読メディア
JP6964271B2 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
CN114450724A (zh) 用于自主机器应用的多活动者环境中的未来轨迹预测
US20230286519A1 (en) Endogenic protection method for function security and network security of sensing and decision-making module of intelligent connected vehicle
JP2021513484A (ja) ブロッキング静止車両の検出
CN111382768A (zh) 多传感器数据融合方法和装置
CN110036426B (zh) 控制装置和控制方法
US11858532B2 (en) Gesture-based control for semi-autonomous vehicle
US11693405B2 (en) Systems for implementing fallback behaviors for autonomous vehicles
CN110015293B (zh) 限界区域和运动路径的低维度求取
US11945433B1 (en) Risk mitigation in speed planning
US20230130814A1 (en) Yield scenario encoding for autonomous systems
US20210146953A1 (en) Electronic Control Unit
JP2021047644A (ja) 電子制御装置
CN112249016A (zh) 用于自动驾驶车辆的掉头控制系统和方法
US10539959B1 (en) Detecting and responding to people directing traffic for autonomous vehicles
CN113370972A (zh) 行驶控制装置、行驶控制方法以及存储程序的计算机可读取存储介质
WO2023132092A1 (ja) 車両制御システム
CN113226878A (zh) 铁路灯检测
US10346690B2 (en) Driving assistance systems and method implemented in such a system
CN112970029B (zh) 用于自主机器应用中传感器视盲检测的深度神经网络处理
US20230194704A1 (en) Anomaly prioritization using dual-mode adaptive radar

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22918681

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023572343

Country of ref document: JP