WO2016067550A1 - 危険予測装置、運転支援システム - Google Patents

危険予測装置、運転支援システム Download PDF

Info

Publication number
WO2016067550A1
WO2016067550A1 PCT/JP2015/005261 JP2015005261W WO2016067550A1 WO 2016067550 A1 WO2016067550 A1 WO 2016067550A1 JP 2015005261 W JP2015005261 W JP 2015005261W WO 2016067550 A1 WO2016067550 A1 WO 2016067550A1
Authority
WO
WIPO (PCT)
Prior art keywords
proof
logical expression
risk
cost
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/005261
Other languages
English (en)
French (fr)
Inventor
直也 井之上
英一 奥野
克則 安部
近藤 敏之
康隆 栗谷
健太郎 乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Denso Corp
Original Assignee
Tohoku University NUC
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, Denso Corp filed Critical Tohoku University NUC
Priority to US15/522,625 priority Critical patent/US20170323568A1/en
Publication of WO2016067550A1 publication Critical patent/WO2016067550A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/143Speed control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/143Speed control
    • B60W30/146Speed limiting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/20Data confidence level
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • B60W2710/182Brake pressure, e.g. of fluid or between pad and disc
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • This disclosure relates to a technology for predicting various dangers that occur when a vehicle is driven by hypothetical reasoning.
  • the danger level to be output depends only on the type of danger to be predicted, and may be far from the actual situation.
  • the detection result (observation information) of the surrounding situation is used as evidence, but the reliability of the observation information and the process of proof are not considered at all in the prior art. For this reason, even if the type of risk proved is the same, regardless of whether it was obtained from a proof by inferior reasoning that is not fully supported by observational information or by a proof by reasoning that is fully supported by observational information. In that case, the degree of risk will be the same.
  • the observation information that “the ball is near the blind spot” is obtained, and the observation information that “the ball is” is In the case where only the observation information that “there is a blind spot” is obtained, the former, in which more observation information is obtained, usually feels more dangerous.
  • both are at the same risk level.
  • the present disclosure has been made in view of these points, and one of its purposes is to provide a technology that realizes accurate risk prediction according to the surrounding situation.
  • the risk prediction apparatus includes an observation information acquisition unit, a logical expression conversion unit, a hypothesis inference unit, and an inference result interpretation unit.
  • the observation information acquisition unit acquires observation information related to the surrounding situation of the vehicle.
  • the logical expression conversion unit converts the observation information acquired by the observation information acquisition unit into a logical expression expressing the situation around the vehicle.
  • the hypothesis reasoning unit uses the knowledge base, which is a set of rules describing the dangers and general knowledge that appear when driving a vehicle, in a logical expression, and from the logical expression converted by the logical expression conversion unit by weighted hypothesis reasoning. Proof is performed with the predicted risk as the object of proof.
  • the inference result interpretation unit obtains the degree of risk for the proved danger from the proof cost obtained in the inference process in the hypothesis reasoning unit, and associates the logical expression used for the proof with the observation information. It can be said that the proved danger is a danger predicted from the observation information.
  • a driving support system includes the above-described risk prediction device and a support execution device.
  • the assistance execution device executes a driving assistance process for dealing with the danger proved by the danger prediction device.
  • FIG. 1 is a block diagram showing the configuration of the driving support system.
  • FIG. 2 is a flowchart of processing executed by the logical expression conversion unit.
  • FIG. 3A is an explanatory diagram illustrating the correspondence between recognized objects and logical constants
  • FIG. 3B is an explanatory diagram illustrating conversion rules from observation information to logical expressions.
  • FIG. 4 is an explanatory diagram showing an example of assigning costs to observation literals.
  • 5 (a) to 5 (c) are explanatory diagrams illustrating the contents of the knowledge base.
  • FIG. 6 is a flowchart of processing executed by the hypothesis reasoning unit in the first embodiment.
  • FIG. 7 is an explanatory diagram illustrating a specific example of a driving scene and observation information extracted from the driving scene.
  • FIG. 8A is an explanatory diagram showing the relationship between the blind spot, the driving scene where the ball is recognized, and the proof candidate, and
  • FIG. 8B is an explanatory diagram showing the proof procedure and the proof cost calculation method.
  • FIG. 9A is an explanatory diagram showing the relationship between a driving scene in which a blind spot is recognized and a certification candidate, and FIG.
  • FIG. 9B is an explanatory diagram showing a certification procedure, a certification cost calculation method, and the like.
  • FIG. 10A is an explanatory diagram showing a relationship between a driving scene in which a blind spot and a ball-like object are recognized and a certification candidate
  • FIG. 10B is an explanatory diagram showing a certification procedure, a certification cost calculation method, and the like.
  • FIG. 11 is a flowchart of processing executed by the hypothesis reasoning unit according to the second embodiment.
  • FIG. 12A is an explanatory diagram illustrating a driving scene and observation information extracted from the driving scene
  • FIG. 12B is an explanatory diagram illustrating a proof procedure.
  • FIG. 13 is a flowchart of processing executed by the hypothesis reasoning unit and the physical calculation unit in the third embodiment.
  • FIG. 14A is an explanatory diagram illustrating a situation that is a target of hypothetical reasoning
  • FIG. 14B is an explanatory diagram illustrating a calculation result of a trajectory and a hypothetical reasoning in a physical calculation unit. This is an example in which the results in the section influence the results of hypothetical reasoning.
  • FIG. 15A is an explanatory diagram illustrating a situation that is a target of hypothetical reasoning
  • FIG. 15B is an explanatory diagram illustrating a calculation result of a trajectory and a hypothetical reasoning in a physical calculation unit. This is an example in which the results in the section do not affect the results of hypothetical reasoning.
  • the driving support system 1 illustrated in FIG. 1 includes an observation information acquisition unit 2, a logical expression conversion unit 3, a knowledge base 4, a hypothesis reasoning unit 5, an inference result interpretation unit 6, and a risk handling unit 7.
  • a microcomputer not shown mainly composed of a CPU, a ROM, and a RAM.
  • the observation information acquisition unit 2 detects information on the behavior and state of the vehicle, and is obtained from the image sensor 21, the laser sensor 22, the navigation system 23, the vehicle state sensor group 24, the road-to-vehicle communication device 25, the vehicle-to-vehicle communication device 26, and the like. Based on the above, the situation of the vehicle and the situation around the vehicle are observed, and observation information of each object existing around the vehicle is generated. Hereinafter, a set of observation information of each object is referred to as an observation information group D1.
  • the vehicle state sensor group 24 acquires information on the behavior of the vehicle and the state of the vehicle.
  • the detection results from the image sensor 21 and the laser sensor 22 are processed to obtain information on various objects existing around the host vehicle.
  • From the road-to-vehicle communication device 25 information on traffic jams, road regulations, and the like is acquired via the infrastructure that is the communication partner.
  • From the inter-vehicle communication device 26 information on the behavior of other vehicles is acquired.
  • the navigation system 23 various types of information obtained from the current location of the host vehicle and map information around the current location are acquired.
  • the observation information generated from these pieces of information includes at least information on the type of object, the attribute of the object, and the reliability of the information.
  • the attributes of the object for example, when the object is a moving object, the position, moving speed, moving direction, etc. of the object are included.
  • the object when the object is a human, information such as sex, adult / child, and belongings may be included.
  • the logical expression conversion unit 3 converts the observation information group D1 generated by the observation information acquisition unit 2 into a logical expression.
  • a literal constituting a logical expression is represented by Li.
  • i is an identifier and is represented by a positive integer.
  • a literal means a logical expression that does not have a partial logical expression.
  • Each literal is given a cost.
  • the cost is a value set in accordance with the reliability of the literal, and thus the reliability of the observation that has become the literal generation source, and is expressed by ci.
  • the cost ci is set to a value that is inversely proportional to the reliability between 1 and 100.
  • a microcomputer functioning as the logical expression conversion unit 3 (hereinafter referred to as “conversion microcomputer”) first assigns an identification name for identifying an object (object) to each piece of observation information constituting the observation information group D1.
  • the observation information group D11 with an identification name is generated (S110).
  • the identification name a logical constant composed of symbols such as alphabets is used as shown in FIG.
  • the conversion rules are related to weather and road conditions (raining / nighttime / intersection etc.), and object attributes (object X is It is a car / object Y is a pedestrian / object Y is holding an umbrella, etc., and is related to the positional relationship between objects (Y is in front of X / Y is on intersection C / with respect to intersection C) And Y is closer than X).
  • the knowledge base 4 represents general knowledge by a logical expression, and includes an intention estimation knowledge base 41, a natural law knowledge base 42, and a risk factor knowledge base 43.
  • each knowledge base 41 to 43 are expressed by a logical expression of the form shown in Expression (1), where Aj and C are literals and wj is the weight of the literal Aj.
  • the weight wj is set to a real value greater than or equal to zero.
  • the intention estimation knowledge base 41 describes the relationship between the driver's intention and the state of the vehicle, the road environment, the positional relationship of the detected object, etc. in the form of predicate logic. For example, as shown in FIG. 5 (a), "If there is a will to turn left, there is a will to slow down”"If the left tail light is on, there is a will to turn left””If there is a large car ahead "Take avoidance action" is expressed by a logical expression.
  • the natural law knowledge base 42 describes physical laws, contradictory concepts, relationships between objects, and the like. For example, as shown in FIG. 5 (b), expressions such as “the nature of adults and children do not exist at the same time”, “automobiles cannot belong to different lanes at the same time”, and “children chase a soccer ball” are expressed by logical expressions. Is done.
  • the risk factor knowledge base 43 describes a pattern of dangerous surrounding situations, and is expressed by a logical expression in which the consequent part is “risk”. For example, as shown in FIG. 5 (c), “If there is another object in the same position as me in the future, it is dangerous” "If there is an object with the intention to turn left in front of my eyes, Contents such as “danger” and “danger if an object that is invisible to you suddenly pops out” are expressed in a logical expression.
  • the logical expressions stored in the knowledge base 4 may be generated manually, or may be automatically acquired from the Web, a database recording accident cases, or the like by a well-known text mining technique.
  • the weight wj of the literal Aj may be given manually, or a well-known supervised machine learning method (for example, Kazuto Yamamoto, Naoya Sakurai, Yotaro Hiwatari, Nao Kanokazaki, Kentaro Usui, incorporated herein by reference. Supervised learning of weighted hypothesis inference using error back propagation. (Information Processing Society of Japan Research Report, Vol.2012-NL-206, May 2012)) etc.
  • examples of literals converted from the observation information group D1 and literals used for describing the contents (logical expressions) of the knowledge base 4 are listed below.
  • Literals are things that express the type of object, things that express the state of an object, things that express the will of an agent, things that express a positional relationship between objects, things that express a semantic relationship between objects, roads There are things that express the state.
  • literals that represent object types include adults (adult), actors (agent), dangerous actors (dangerous-agent), dogs (dog), elderly people (elder), children (child), and children (Children), people (person), groups of children (group-of-children), groups of people (group-of-persons), pedestrians (ambulance), bicycles (bicycle), buses (bus), vehicles (car ), Group-of-cars (), motorcycle (motor-bicycle), motor vehicle (motor-cycle), tank / truck (tank-truck), taxi (taxi), van (van), vehicle (vehicle) , Alley, apartment, break, building, bridge, cone, gate, park, wall, cross- road, cross-walk, curve, descent, lane, Intersection, railroad-crossing, signal, signal for pedestrians (signal4walker), safety-zone, dangerous-spot, manhole (biscuit), soccer ball (soccer) -ball), object (thing), iron-plate, leaf, illuminant (light), load, obstacle, screen, puddle
  • literals that represent the state of the object include left-head-lamp-on, left-tail-light-on, and right-head-lamp- on, right-tail-light-on, parking-being, empty, signal-blue, signal-blue-blink, yellow signal -yellow), nothing-on, parked, invisible-to, visible-to, visible-to, waving-hands, derailed (wheel- drop) etc.
  • Predicates that represent the will of the agent include, for example, crossing (will-across), avoiding (will-avoid), leaving the lane (will-be-out-of-lane), changing direction (will-change) -direction), changing lanes (will-change-lane), crossing (will-cross), giving way (will-give-way), going back (will-go-back), going forward (will-go) -front), go left (will-go-left), go right (will-go-right), move forward (will-move-front-side), open the door (will-open-door) , Open the left door (will-open-left-door), overtake (will-overtake), jump out (will-rush-out), slow down (will-slow-down), increase speed (will-speed -up), (water or mud) will scatter (will-splash), keep current (will-stay), stop (will-stop), etc.
  • Examples of literals that express the positional relationship between objects include: around, behind, behind-left-behind, and left-front-of ), To the left of (left-of), not to the front of (not-in-front-of), not to the left of to (not-left-front-of), not to the left of (not- left-of), right-behind of right-behind, front-right of -right-front-of, right-of-, side-front-of of- Front-side-of, in-between, in-front-of, is-closer-to, nearest vehicle (is- closest-vehicle-to), on (on), involving (catch), and contacting (contact).
  • literals that express semantic relationships between objects include: (belongs-to), having (has), keeping (keep), the source of (mother-of), playing with (Plays-at), follow (follows), ride on (ride-on), -heavier-than.
  • literals that express road conditions include the environment, facilities, construction-site, rainy, wet, ice-covered (icy), and mud Covered (muddy), dark (dark), snowy (snowy), straight road (straight), etc.
  • the hypothesis reasoning unit 5 is based on the observation formula D2 converted by the formula conversion unit 3 and the formula stored in the knowledge base 4 (hereinafter referred to as “knowledge formula D3”). Execute. Here, the risk predicted from the observation logical formula D2 is proved using the knowledge logical formula D3 as background knowledge.
  • weighted hypothesis inference Hobbs, Jerry R., Mark Stickel, Douglas Appelt, and Paul Martin, 1993, ⁇ Interpretation as Abduction '', Artificial Intelligence, Vol. 63, Nos. 1 -2, pp. 69-142.
  • the microcomputer functioning as the hypothetical reasoning unit 5 (hereinafter referred to as “inference microcomputer”) firstly calculates a logical expression obtained by combining the observation logical expression D2 and a literal representing “risk” with the logical symbol “AND ( ⁇ )”.
  • a plurality of proof candidates are generated by generating the proof candidates and performing backward inference on the generated proof candidates (S210).
  • a plurality of proof candidates are created by applying the rules of the risk factor knowledge base 43 to a literal representing “danger” included in the first proof candidate.
  • applying a rule here means extracting a knowledge logical expression D3 having a target literal as a consequent part of the rule with a certain literal constituting the proof candidate as a target literal, and the target literal in the proof candidate Is replaced with the antecedent part of the extracted knowledge logical formula D3.
  • the set of proof candidates generated in this way is hereinafter referred to as a proof candidate group D21.
  • the proof cost is obtained for each proof candidate belonging to the proof candidate group D21, the cheapest proof that is the proof candidate with the lowest proof cost, that is, the most likely proof is extracted, and the logic related to the cheapest proof
  • the formula and the proof cost are output as the cheapest proof information D4 (S220).
  • the proof cost is obtained by summing up the costs of all literals constituting the proof candidate.
  • a value obtained by multiplying the cost ci of the literal before replacement (replaced literal) by the weight wj assigned to the literal after replacement (replacement literal). Cost. If there is a literal representing the same predicate in the proof candidate, the one with the higher cost is deleted to unify both literals. In other words, when the number of literals that make up a proof candidate increases by applying a rule, the proof cost increases. However, if the same literal exists in the proof candidate, the proof cost decreases. There will be. This intuitively indicates that among the rules of the risk factor knowledge base 43, those that can be proved by using more observation logical expressions are the most likely proofs.
  • the proof cost cost (H1) of the proof candidate H1 is obtained by the equation (5).
  • the inference result interpretation unit 6 refers to the observation logical expression D2 and the observation information associated with each literal constituting the observation logical expression D2 based on the cheapest proof information D4, and the risk predicted from the current surrounding situation For the identified danger, the risk level is calculated and the dangerous part is identified, and this information is output as the risk prediction result D5.
  • the risk can be identified from the rules of the risk factor knowledge base 43 used for generating the lowest proof.
  • the degree of risk can be obtained from the certification cost. Specifically, it is conceivable to obtain the reciprocal of the certification cost as the degree of risk. Not limited to this, the degree of risk may be obtained using a regression model that uses the result of the proof, the cost of the proof, the speed of the vehicle, and the like as feature quantities.
  • the literal that constitutes the cheapest proof is associated with the identifier assigned to the literal that constitutes the observation logical formula D2, and the object indicated in the observation information identified through the identifier is identified. It is conceivable to use position information.
  • the danger handling unit 7 executes danger handling such as vehicle control and notification to the driver for the predicted danger based on the danger prediction result D5.
  • vehicle control for example, speed control, speed suppression, emergency stop, automatic driving to avoid danger, and the like can be considered.
  • the notice of alerting the driver includes an audible notice and a visual notice.
  • audible notification for example, a warning by a buzzer or a warning by a voice guide can be considered.
  • Possible visual notifications include, for example, the display of a dangerous spot on a map displayed on a liquid crystal display, the display of a dangerous spot using a windshield integrated display (head-up display), and guidance of the line of sight to the dangerous spot. It is done.
  • the risk countermeasure unit 7 may change the contents of the risk countermeasures to be executed according to the magnitude of the degree of risk calculated for the predicted danger.
  • the objects for which the observation information is generated include the left wall of the vehicle, the ball on the road, and the car in the garage visible on the right side of the vehicle. Then, information including “type: wall” and “reliability: 0.89” as the observation information of the wall is generated, and “type: ball” and “reliability: 0.9” are generated as the observation information of the ball. Is generated, and information including “type: passenger car” and “reliability: 0.78” is generated as observation information of the cars in the garage.
  • a logical constant that is an identifier is assigned to each object.
  • W is assigned to the “wall” and B is assigned to the “ball”.
  • the observation information is converted into an observation literal with a cost.
  • “wall” is converted to “wall (W) $ 1 ”
  • “ball” is converted to “soccer-ball (B) $ 1 ”.
  • the cost of the observation literal is the reciprocal of the reliability in the observation information, but here it is set to $ 1 for simplicity.
  • one of the rules of the risk factor knowledge base 43 is applied to the literal “risk (R)” of the first proof candidate.
  • the rule “ ⁇ x invisible (x) 0.4 ⁇ child (x) 0.4 ⁇ will-rush-out (x) 0.4 ⁇ ⁇ r risk (r)” is applied (AP1 in the figure). reference).
  • This rule is “dangerous” if “x is invisible” and “x is a child” and “x jumps out”, that is, “a child pops out from a blind spot (generated at the wall)”. It expresses the knowledge.
  • a rule having a replacement literal as a consequent part is searched using the intention estimation knowledge base 41 and the natural law knowledge base 42, and if there is such a rule, the rule is applied to the replacement literal.
  • ⁇ x, y wall (x) 1.0 ⁇ behind (y, x) 0.2 ⁇ invisible (y) (see AP2 in the figure)
  • ⁇ x, y soccer-ball (x) 1 0.0 ⁇ follows (y, x) 0.55 ⁇ will-rush-out (y) ”(see AP3 in the figure).
  • the former rule expresses the knowledge that “y is invisible” if “x is a wall” and “y is behind x”, ie, “y is behind a wall”. .
  • the latter rule expresses the knowledge that “y jumps out” if “x is a soccer ball” and “y follows x”, ie, “y follows a soccer ball”.
  • the costs of the replacement literals “invisible (y)” and “will-rush-out (y)” are $ 0 indicating deletion.
  • new proof candidates are generated by further applying rules to the replacement literals of the third to fifth proof candidates, but the explanation is omitted here for simplicity.
  • the certification costs of the first to fifth certification candidates are obtained, they become $ 102, $ 122, $ 90, $ 104, and $ 72, respectively. That is, the fifth proof candidate is the maximum likelihood proof, and the risk is calculated using the proof cost. Further, by identifying the position of each object (wall or ball) by associating the literal constituting the fifth proof candidate with the observation information, the dangerous place is specified.
  • the driving support system 1 does not simply determine the presence or absence of danger when making a risk prediction by hypothetical reasoning, but instead determines the cost according to the reliability of observation and the rules of knowledge.
  • the certification cost is obtained from the weight given in advance to the literal, and the danger level of the certified danger is set according to the certification cost.
  • the evidence observation logical formula
  • the reliability of the rules can be reflected in the risk level of the proved risk, so that an accurate risk prediction according to the surrounding situation can be realized.
  • the driving support system 1 executes driving support for dealing with the accurately predicted danger, it is possible to realize driving support with high reliability.
  • the knowledge base 4 that stores the rules to be applied to the proof includes the intention estimation knowledge base 41 and the natural law knowledge base 42, the danger caused by human intentions and the natural law Can infer the danger caused by
  • this embodiment is different from the first embodiment in that proof relating to a plurality of risk factors having a high degree of risk is extracted. Specifically, the processing in the hypothesis reasoning part is partially different.
  • the inference microcomputer functioning as the hypothesis reasoning unit 5A first executes the same processing as the processing in the hypothesis reasoning unit 5 of the first embodiment (S210 to S220).
  • a preset end condition is satisfied in order to end the hypothetical reasoning (S230). Specifically, for example, a predetermined number of cheapest proofs are extracted, or the proof cost of the extracted cheapest proof is equal to or higher than a preset threshold, all proof candidates It can be considered that the process is executed as an end condition.
  • the generated negative logical expression is added to the observation logical expression, and again generation of a proof candidate (S210) and selection of the cheapest proof (S220) are repeated.
  • the first negative logical expression is added to the observation logical expression used in the first hypothetical reasoning to generate proof candidates and select the cheapest proof.
  • the proof candidate “dangerous because red car R suddenly backs up” is selected as the cheapest proof, and the proof cost is 80.
  • the termination condition is not satisfied.
  • a logical expression “the red car R does not come back” (second negative logical expression) that negates the cheapest proof is generated.
  • a second negative logic expression is added to the observation logic expression used in the second hypothesis reasoning to generate a proof candidate and select the cheapest proof.
  • the certification candidate “dangerous because car Y pops out from the sight of T-junction C” is selected as the cheapest certification, and the certification cost is 85.
  • the three cheapest certificates have been extracted and the termination condition is satisfied. For this reason, the three cheapest proofs obtained by the two inferences are output.
  • the new cheapest proof is selected by excluding the selected cheapest proof from the proof candidates and repeating hypothetical reasoning.
  • a plurality of dangers can be efficiently extracted in ascending order of certification cost, that is, in descending order of the degree of danger.
  • hypothesis inference is performed in accordance with the observation logical expression obtained from the observation information.
  • the behavior of the moving object is simulated from the content of the selected cheapest proof, and the hypothetical reasoning is repeated by adding the simulation result to the observation logical expression. Is different. Specifically, the configuration of the hypothetical reasoning unit 5B is partially different, and a physical calculation unit 8 is newly added.
  • the inference microcomputer functioning as the hypothesis reasoning unit 5B first executes the same process as the process in the hypothesis reasoning part 5 of the first embodiment (S210 to S220).
  • information on the intention of the moving object is extracted from the selected lowest certificate (S250).
  • Examples of the information related to the intention of the moving object include “avoid XX”, “jump out to XX”, and “slow down”.
  • a preset termination condition is satisfied in order to terminate the hypothetical reasoning (S260). Specifically, for example, the intention of the moving object extracted from the cheapest proof is the same as the intention inferred in the past, or the hypothetical reasoning added with the simulation results is repeated. It is conceivable that the end condition is that the number has reached a predetermined number.
  • the microcomputer functioning as the physical calculation unit 8 acquires the intention information from the hypothesis reasoning unit 5B, the microcomputer and the mobile object that is the target of the intention information in the observation information group D1.
  • the trajectory of the host vehicle and each object is obtained based on the information (position, speed, movement direction) representing the behavior of the object existing around the host vehicle including the host vehicle (S310).
  • object collision information group D31 This object collision information group D31 is provided to the hypothesis reasoning unit 5B.
  • the hypothesis reasoning unit 5B adds the object collision information group D31 provided from the physical calculation unit 8 to the observation logical expression D2, and again generates a proof candidate (S210), selects the cheapest proof (S220), and the mobile object intention.
  • the information extraction (S260) is repeated.
  • the hypothesis reasoning unit 5B selects the same proof as the observation logical formula as the cheapest proof. No intention is extracted from this lowest proof.
  • the physics calculation unit 8 obtains the movement trajectory of the object based on the observation information D1 regarding the object around the own vehicle including the own vehicle. As a result, since it is predicted that the two-wheeled vehicle and the puddle will collide, the object collision information of “the two-wheeled vehicle (MotorBicycle) and the puddle collide” is generated.
  • the hypothesis reasoning unit 5B adds the object collision information generated by the physical calculation unit 8 to the observation logical expression D2, and executes hypothesis reasoning again. As a result, the hypothesis reasoning unit 5B selects “a motorcycle avoids a puddle” as the cheapest proof, and further extracts “a motorcycle avoids a puddle” as intention information from the cheapest proof. To do.
  • the physics calculation unit 8 obtains the movement trajectory of the object based on the extracted intention information and the observation information group D1 related to the object around the own vehicle including the own vehicle. In particular, for an object (in this case, a two-wheeled vehicle) that is the target of intention information, a movement trajectory that reflects the intention is predicted. The physical calculation unit 8 determines whether or not the own vehicle collides with another object based on the obtained movement trajectory using simulation. In scene 1, as shown in FIG. 14 (b), since the host vehicle and the two-wheeled vehicle are predicted to collide, object collision information having the content "the host vehicle (Me) and the two-wheeled vehicle collide" is generated. .
  • the hypothesis reasoning unit 5B adds the object collision information generated by the physical calculation unit 8 to the observation logical expression D2, and executes hypothesis reasoning again. As a result, “dangerous because own vehicle and motorcycle collide” is selected as the cheapest proof. That is, the risk prediction reflecting the simulation result is performed.
  • the hypothesis reasoning unit 5B selects the cheapest proof, extracts intention information from the selected cheapest proof, and the physical calculation unit 8 obtains the movement trajectory of the object based on the intention information.
  • the process up to determining whether or not the vehicle collides is the same as that in the scene 1.
  • the hypothesis reasoning unit 5B adds this object collision information to the observation logical expression D2 and executes hypothesis reasoning again. As a result, since the danger selected in the scene 1 cannot be proved, “the motorcycle avoids the puddle” which is the cheapest proof selected before reflecting the simulation is selected as the cheapest proof.
  • the functions of one component in the above embodiment may be distributed to a plurality of components, or the functions of a plurality of components may be integrated into one component. Further, at least a part of the configuration of the above embodiment may be replaced with a configuration having the same function. Moreover, you may abbreviate
  • various systems including a driving support system including the risk prediction device as a component, a program for causing a computer to function as the risk prediction device, and the program are recorded Various forms such as a medium and a risk prediction method may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)

Abstract

 周囲の状況に応じた的確な危険予測を実現する技術を提供する。観測情報取得部(2)は、車両の周辺状況に関する観測情報を取得する。論理式変換部(3)は、観測情報取得部にて取得された観測情報を、車両周辺の状況を表現する論理式に変換する。仮説推論部(5)は、車両運転時に現れる危険および一般的な知識を、論理式で記述したルールの集合である知識ベース(4)を用い、重み付き仮説推論によって、前記論理式変換部にて変換された論理式から予測される危険を証明対象として証明を実施する。推論結果解釈部(6)は、仮説推論部での推論の過程で求められる証明コストから、証明された危険についての危険度を求めると共に、証明に使用された論理式を観測情報に関連づける。

Description

危険予測装置、運転支援システム 関連出願の相互参照
 本出願は、2014年10月29日に出願された日本国特許出願2014-220329号に基づくものであり、その開示をここに参照により援用する。
 本開示は、仮説推論により車両運転時に生じる各種危険を予測する技術に関する。
 従来、画像センサ等により、車両の周辺状況をセンシングした結果を用いて、交通シーンの危険性を判定し、運転者に警告する技術が研究されている。
 例えば、センシング結果を表す論理式から、一般常識等を論理式によって定義したルールの集合である知識ベースを用いて、論理式を用いて予め定義された危険の存在を証明できるか否かを判定する。そして、証明された危険について、その危険に対して予め割り当てられた危険度と共に出力する技術が知られている(特許文献1参照)。
Andreas D. Lattner, Ingo J. Timm, Martin Lorenz, and Otthein Herzog." Knowledge-based Risk Assessment for Intelligent Vehicles" KIMAS2005.
 しかしながら、従来技術では、出力される危険度が、予測対象となる危険の種類のみに依存しており、実態とはかけ離れたものとなる可能性がある。
 即ち、証明の過程では、周囲状況の検出結果(観測情報)が証拠として使用されるが、その観測情報の信頼度や、どのような過程で証明されたかについて従来技術では、全く考慮されない。このため、観測情報から十分に支持されないこじつけの推論による証明から得られたか、観測情報から十分に支持された推論による証明から得られたかによらず、証明された危険の種類が同じでさえあれば、その危険度は同じ大きさとなってしまう。
 例えば、死角から子供が飛び出してくる可能性があるという危険が証明された場合、「死角の近くにボールがある」という観測情報が得られている場合と、「ボールがある」という観測情報はなく「死角がある」という観測情報のみが得られている場合とでは、通常、より多くの観測情報が得られている前者の方が、危険度が高いと感じるはずである。しかし、従来技術では、どうちらも同じ危険度となってしまう。
 本開示は、こうした点に鑑みてなされたものであり、その目的の一つは、周囲の状況に応じた的確な危険予測を実現する技術を提供することにある。
 本開示の一例に係る危険予測装置は、観測情報取得部と、論理式変換部と、仮説推論部と、推論結果解釈部とを備える。
 観測情報取得部は、車両の周辺状況に関する観測情報を取得する。論理式変換部は、観測情報取得部にて取得された観測情報を、車両周辺の状況を表現する論理式に変換する。仮説推論部は、車両運転時に現れる危険および一般的な知識を、論理式で記述したルールの集合である知識ベースを用い、重み付き仮説推論によって、論理式変換部にて変換された論理式から予測される危険を証明対象として証明を実施する。推論結果解釈部は、仮説推論部での推論の過程で求められる証明コストから、証明された危険についての危険度を求めると共に、証明に使用された論理式を観測情報に関連づける。なお、証明された危険が、観測情報から予測される危険といえる。
 このような構成によれば、仮説推論によって単に危険の有無を判断するだけでなく、証明のよさを表す証明コストを求め、その証明コストから、証明された危険の危険度を求めている。従って、証明のよさ、即ち、証明に適用する証拠(観測情報)やルールの信頼度を、危険度に反映させることができるため、周囲の状況に応じた的確な予測を実現することができる。
 また、本開示の一例に係る運転支援システムは、上述の危険予測装置と、支援実行装置とを備える。支援実行装置は、危険予測装置により証明された危険に対処するための運転支援処理を実行する。
 このような構成によれば、信頼性の高い運転支援処理を実現することができる。
 本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において
図1は、運転支援システムの構成を示すブロック図である。 図2は、論理式変換部が実行する処理のフローチャートである。 図3(a)は認識された物体と論理定数との対応関係を例示する説明図であり、図3(b)は観測情報から論理式への変換ルールを例示する説明図である。 図4は、観測リテラルへのコストの付与例を示す説明図である。 図5(a)~(c)は、知識ベースの内容を例示する説明図であり、(a)は意図推定知識ベース、(b)は自然法則知識ベース、(c)は危険要因知識ベースである。 図6は、第1実施形態における仮説推論部が実行する処理のフローチャートである。 図7は、運転シーンの具体例、運転シーンから抽出される観測情報を例示する説明図である。 図8(a)は死角とボールが認識される運転シーンと証明候補の関係を示す説明図であり、図8(b)は証明の手順および証明コストの算出方法などを示す説明図である。 図9(a)は死角が認識される運転シーンと証明候補の関係を示す説明図であり、図9(b)は証明の手順および証明コストの算出方法などを示す説明図である。 図10(a)は死角とボールらしきものが認識される運転シーンと証明候補の関係を示す説明図、図10(b)は証明の手順および証明コストの算出方法などを示す説明図である。 図11は、第2実施形態における仮説推論部が実行する処理のフローチャートである。 図12(a)は運転シーンと運転シーンから抽出される観測情報を例示する説明図であり、図12(b)は証明の手順を示す説明図である。 図13は、第3実施形態における仮説推論部および物理計算部が実行する処理のフローチャートである。 図14(a)は仮説推論の対象となる状況を示す説明図であり、図14(b)は物理計算部での軌跡の計算結果、および仮説推論の結果を示す説明図であり、物理計算部での結果が仮説推論の結果に影響を与える例である。 図15(a)は仮説推論の対象となる状況を示す説明図であり、図15(b)は物理計算部での軌跡の計算結果、および仮説推論の結果を示す説明図であり、物理計算部での結果が仮説推論の結果に影響を与えない例である。
 以下、実施形態について、図面を用いて説明する。
 <1.第1実施形態>
 <1.1.全体構成>
 図1に示す運転支援システム1は、観測情報取得部2、論理式変換部3、知識ベース4、仮説推論部5、推論結果解釈部6、危険対処部7を備える。このうち、少なくとも、論理式変換部3、仮説推論部5、推論結果解釈部6は、CPU,ROM,RAMを中心に構成された図示しないマイクロコンピュータが実行する処理によって実現される。
 <1.2.観測情報取得部>
 観測情報取得部2は、車両の挙動や状態を検出する、画像センサ21、レーザセンサ22、ナビゲーションシステム23、車両状態センサ群24、路車間通信機25、車車間通信機26等から得られる情報に基づいて、車両の状況や車両周辺の状況を観測し、車両周辺に存在する各オブジェクトの観測情報を生成する。以下では、各オブジェクトの観測情報の集合を観測情報群D1とよぶ。
 なお、車両状態センサ群24からは、車両の挙動や車両の状態に関する情報を取得する。画像センサ21やレーザセンサ22からの検出結果は、これを処理することによって自車両周辺に存在する各種物体に関する情報を取得する。路車間通信機25からは、通信相手となるインフラを介して渋滞や道路規制などに関する情報を取得する。車車間通信機26からは、他車両の挙動に関する情報を取得する。ナビゲーションシステム23からは、自車両の現在地や現在地周辺の地図情報から得られる各種情報を取得する。
 そして、これらの情報から生成する観測情報には、少なくとも、オブジェクトの種類、オブジェクトの属性、情報の信頼度に関する情報が含まれている。オブジェクトの属性としては、例えば、オブジェクトが移動体である場合、オブジエクトの位置や移動速度、移動方向などが含まれる。また、オブジェクトが人間である場合、性別、大人/子供、持ち物等の情報が含まれていてもよい。なお、信頼度に関する情報は、例えば、ここに参照により援用する特開2008ー26997号公報に開示されている技術を用いて取得することが考えられる。
 <1.3.論理式変換部>
 論理式変換部3は、観測情報取得部2にて生成された観測情報群D1を論理式に変換する。以下では、論理式を構成するリテラルを、Liで表現するものとする。但し、iは識別子であり正整数によって表される。リテラルとは、部分論理式を持たない論理式のことをいう。また、各リテラルにはコストを付与する。コストは、リテラルの信頼度、ひいてはリテラルの生成源となった観測の信頼度に応じて設定される値であり、ciで表現するものとする。コストciは、ここでは、1~100の間で信頼度に反比例する値に設定される。つまり、コストci=1は、リテラルLiで表現される内容が確実に成立すること、即ち、信頼度が100%であることを意味する。また、コストci=100は、リテラルLiで表現される内容が成立するか否かが全く不明であること、即ち、信頼度が0%であることを意味する。以下では、コスト付きリテラルをLi$ci で表すものとする。
 以下、処理の詳細を、図2に示すフローチャートを用いて説明する。
 論理式変換部3として機能するマイクロコンピュータ(以下、「変換マイコン」という)は、まず、観測情報群D1を構成する観測情報のそれぞれに、物体(オブジェクト)を識別するための識別名を付与することで識別名付き観測情報群D11を生成する(S110)。なお、識別名には、図3(a)に示すように、アルファベットなどの記号からなる論理定数を用いる。
 次に、変換マイコンは、識別名付き観測情報群D11を構成する観測情報を、予め用意された変換ルール31と照合して、リテラルLiに変換すると共に、各リテラルLiのコストを一律にci=1に設定する。そして、これらのコスト付きリテラルをAND(∧)で結合した論理式である観測論理式D12を生成する(S120)。
 なお、変換ルールは、例えば図3(b)に示すように、天候や道路の状態に関するもの(雨が降っている/夜間である/交差点がある等)、物体の属性に関するもの(物体Xは自動車である/物体Yは歩行者である/物体Yは傘をさしている等)、物体間の位置関係に関するもの(Xの前方にYがいる/交差点C上にYがいる/交差点Cに対してXよりもYの方が近い等)などがある。
 図2に戻り、変換マイコンは、観測論理式D12を構成するコスト付きリテラルLi$ci のそれぞれについて、図4に例示するように、その生成源となった観測情報に関する認識の信頼度に応じてコストciを調整し、その調整結果をコスト付き観測論理式D2として出力する(S130)。
 <1.4.知識ベース>
 知識ベース4は、一般的な知識を論理式によって表現したものであり、意図推定知識ベース41と、自然法則知識ベース42と、危険要因知識ベース43とで構成されている。
 各知識ベース41~43の内容は、Aj,Cをリテラル、wjをリテラルAjの重みとして、(1)式に示す形式の論理式で表現される。重みwjは0以上の実数値に設定される。
Figure JPOXMLDOC01-appb-M000001
 意図推定知識ベース41は、ドライバの意図と、車両の状態や道路環境、検出された物体の位置関係等との関係を、述語論理の形式で記述したものである。例えば、図5(a)に示すように、「左折する意志があるなら、減速する意志もある」「左尾灯が点灯しているなら、左折する意志がある」「前方に大型車がいるなら、回避行動をとる」といった内容が論理式で表現される。
 自然法則知識ベース42は、物理法則や概念の矛盾関係、オブジェクト間の関係等を記述したものである。例えば、図5(b)に示すように、「大人と子供という性質は同時に存在しない」「自動車は同時に違う車線に属することはできない」「子供はサッカーボールを追いかける」といった内容が論理式で表現される。
 危険要因知識ベース43は、危険な周辺状況のパターンを記述したものであり、後件部が「危険(risk)」となる論理式で表現される。例えば、図5(c)に示すように、「将来、自分と同じ位置に別のオブジェクトがいるならば、危険」「自分の目の前に、減速左折する意志を持つオブジェクトがあるならば、危険」「自分から見えないオブジェクトが突然飛び出してくるならば、危険」といった内容が論理式で表現される。
 なお、知識ベース4に格納される論理式は、人手によって生成してもよいし、周知のテキストマイニング技術により、Web、事故事例を記録したデータベース等から自動獲得してもよい。また、リテラルAjの重みwjは、人手によって付与してもよいし、公知の教師あり機械学習手法(例えば、ここに参照により援用する山本風人, 井之上直也, 渡邊陽太郎, 岡崎直観, 乾健太郎. 誤差逆伝播を利用した重み付き仮説推論の教師あり学習. 情報処理学会研究報告, Vol.2012-NL-206, May 2012.)等を利用して自動的に付与してもよい。
 <1.5.論理式で使用される述語の例>
 ここで、観測情報群D1から変換されるリテラルや、知識ベース4の内容(論理式)の記述に使用されるリテラルの例を以下に列挙する。リテラルには、オブジェクトの種類を表現するもの、オブジェクトの状態を表現するもの、エージェントの意志を表現するもの、オブジェクト間の位置関係を表現するもの、オブジェクト間の意味的関係を表現するもの、道路状態を表現するもの等がある。
 オブジェクトの種類を表現するリテラルとしては、例えば、大人(adult )、行為者(agent )、危険な行為者(dangerous-agent )、犬(dog )、老人(elder )、子供(child )、子供たち(children)、人(person)、子供の集団(group-of-children )、人の集団(group-of-persons)、歩行者(ambulance )、自転車(bicycle )、バス(bus )、車両(car )、車両の集団(group-of-cars )、バイク(motor-bicycle ), 自動車(motor-cycle )、タンク/トラック(tank-truck)、タクシー(taxi)、バン(van )、乗り物(vehicle )、小道(alley )、アパート(apartment )、裂け目(break )、建物(building)、橋(bridge)、コーン(cone)、門(gate)、公園(park)、壁(wall)、十字路(cross-road)、横断歩道(cross-walk)、カーブ(curve )、下り坂(descent )、車線(lane)、交差点(intersection)、踏切(railroad-crossing )、信号(signal)、歩行者用信号(signal4walker )、安全地帯(safety-zone )、危険箇所(dangerous-spot)、マンホール(biscuit )、サッカーボール(soccer-ball )、物体(thing )、鉄板(iron-plate)、葉(leaf)、発光体(light )、荷物(load)、障害物(obstacle)、遮蔽物(screen)、水たまり(puddle)、砂地(sandy-spot)等がある。
 オブジェクトの状態を表現するリテラルとしては、例えば、左前照灯オン(left-head-lamp-on)、左尾灯オン(left-tail-light-on)、右前照灯オン(right-head-lamp-on)、右尾灯オン(right-tail-light-on)、駐車中(being-parked)、空車(empty)、青信号(signal-blue)、青信号点滅(signal-blue-blink)、黄信号(signal-yellow)、上に何もない(nothing-on)、駐車(parked)、見えない(invisible-to)、見える(visible-to)、手を振る(waving-hands)、脱輪する(wheel-drop)等がある。
 エージェントの意志を表す述語としては、例えば、横断する(will-across)、回避する(will-avoid)、車線から外れる(will-be-out-of-lane)、方向を変更する(will-change-direction)、車線変更する(will-change-lane)、横切る(will-cross)、道を譲る(will-give-way)、後に行く(will-go-back)、前に行く(will-go-front)、左に行く(will-go-left)、右に行く(will-go-right)、前側に移動する(will-move-front-side)、ドアを開く(will-open-door)、左のドアを開く(will-open-left-door)、追い越す(will-overtake)、飛び出す(will-rush-out)、速度を落とす(will-slow-down)、速度を上げる(will-speed-up)、(水や泥が)飛び散る(will-splash)、現状を保つ(will-stay)、停止する(will-stop)等がある。
 オブジェクト間の位置関係を表現するリテラルとしては、例えば、~の周辺(around)、~の後側(behind)、~の左後側(left-behind)、~の左前側(left-front-of)、~の左側(left-of)、~の前側ではない(not-in-front-of)、~の左前側ではない(not-left-front-of)、~の左側ではない(not-left-of)、~の右後側(right-behind)、~の右前側(right-front-of)、~の右側(right-of)、~の側方(side-front-of),~の前側(front-side-of)、 ~の間(in-between)、~の前側(in-front-of)、~により
近接している(is-closer-to)、最も近い乗り物(is-closest-vehicle-to)、~の上に(on)、巻き込む(catch)、 接触する(contact)等がある。
 オブジェクト間の意味的関係を表現するリテラルとしては、例えば、~に属する(belongs-to)、~を持つ(has)、~を保つ(keep)、~の源(mother-of)、~で遊ぶ(plays-at)、~に従う(follows)、~に乗る(ride-on)、~より重い(heavier-than)等がある。
 道路状態を表現するリテラルとしては、例えば、環境(environment)、施設(facility)、工事現場(construction-site)、雨(rainy)、湿った(wet)、氷に覆われた(icy), 泥に覆われた(muddy)、暗い(dark)、雪に覆われた(snowy)、直線道路(straight)等がある。
 <1.6.仮説推論部>
 仮説推論部5は、論理式変換部3で変換された観測論理式D2と知識ベース4に記憶された論理式(以下「知識論理式D3」という)とに基づき、危険な状況についての仮説推論を実行する。ここでは、背景知識となる知識論理式D3を用いて、観測論理式D2から予測される危険を証明する。ここでは、重み付き仮説推論(ここに参照により援用するHobbs, Jerry R., Mark Stickel, Douglas Appelt, and Paul Martin, 1993. ``Interpretation as Abduction'', Artificial Intelligence, Vol. 63, Nos. 1-2, pp. 69-142.参照)を用いることによって、最尤の証明を求める。
 以下、処理の詳細を、図6に示すフローチャートを用いて説明する。
 仮説推論部5として機能するマイクロコンピュータ(以下「推論マイコン」という)は、まず、観測論理式D2と「危険(risk)」を表すリテラルを論理記号「AND(∧)」で結合した論理式を証明候補として生成すると共に、その生成した証明候補に対して後ろ向き推論を実行することにより、複数の証明候補を生成する(S210)。
 より詳しくは、まず、最初の証明候補に含まれる「危険」を表すリテラルに、危険要因知識ベース43のルールを適用して複数の証明候補を作成する。なお、ここでいう「ルールを適用する」とは、証明候補を構成するあるリテラルを対象リテラルとして、対象リテラルをルールの後件部とする知識論理式D3を抽出し、証明候補中の対象リテラルを、抽出した知識論理式D3の前件部で置換することをいう。更に、その生成された複数の証明候補のそれぞれについて、その証明候補の任意のリテラルに対して、意図推定知識ベース41および自然法則知識ベース42のルールを適用する手順を繰り返すことによって、連鎖的に複数の証明候補を生成する。このようにして生成された証明候補の集合を、以下では証明候補群D21とよぶ。
 次に、証明候補群D21に属する証明候補のそれぞれについて、証明コストを求め、証明コストが最安の証明候補である最安証明、即ち、最尤の証明を抽出し、その最安証明に関する論理式および証明コストを、最安証明情報D4として出力する(S220)。
 なお、証明コストは、証明候補を構成する全てのリテラルのコストを合計することによって求める。このとき、「ルールの適用」があった場合は、置換前のリテラル(被置換リテラル)のコストciに、置換後のリテラル(置換リテラル)に付与された重みwjを乗じたものを、置換リテラルのコストとする。また、証明候補中に同一の述語を表すリテラルが存在する場合、コストの大きい方を削除して、両リテラルを単一化する。つまり、通常、ルールを適用することによって、証明候補を構成するリテラルの数が増加すると、証明コストが増大するが、証明候補中に同一のリテラルが存在する場合には、証明コストが低下する場合があることになる。このことは、直感的には、危険要因知識ベース43のルールのうち、より多くの観測論理式を使用して証明できるものが最尤の証明となることを表している。
 <1.7.証明候補の生成例>
 証明に使用されるルールである知識論理式D3の集合Bが(2)式、観測論理式を構成するリテラルの集合Oが(3)式で表されるものとする。p(x),q(x),r(x),s(x)は、リテラルを表す。
Figure JPOXMLDOC01-appb-M000002
 まず、(4)式に示すように、観測論理式そのものを証明候補H1とすると、証明候補H1の証明コストcost(H1)は、(5)式で求められる。
Figure JPOXMLDOC01-appb-M000003
 次に、証明候補H1に属するリテラルq(a)に対してルールを適用すると、(6)に示す証明候補H2が生成される。なお、ここでは、証明候補H2から、被置換リテラルを削除することを、リテラルのコストを$0に設定することで表すものとする。証明候補H2の証明コストcost(H2)は、(7)式で求められる。証明候補H2は、ルールの適用、即ち後向き推論が行われたことにより、証明候補H1より証明コストが増加していることがわかる。
Figure JPOXMLDOC01-appb-M000004
 次に、証明候補H2に属するリテラルs(b)に対してルールを適用すると、(8)式に示す証明候補H3が生成される。この証明候補H3の証明コストcost(H3)を、単純に求めた結果は(9)式で表される。
Figure JPOXMLDOC01-appb-M000005
 しかし、証明候補H3には、同一のリテラルp(a)、p(b)が存在するため、両者を単一化(a=b)し、コストの大きいp(a)を削除する。これにより、証明候補H3は、(10)式で表されることになる。つまり、証明候補H3の証明コストcost(H3)は、実際には(11)式で求められ、単一化により、証明コストが減少することがわかる。
Figure JPOXMLDOC01-appb-M000006
 <1.8.推論結果解釈部>
 推論結果解釈部6は、最安証明情報D4に基づき、観測論理式D2および観測論理式D2を構成する各リテラルに対応づけられた観測情報を参照して、現在の周囲状況から予測される危険を特定し、その特定された危険について、危険度を算出すると共に危険箇所を特定し、これらの情報を、危険予測結果D5として出力する。
 なお、危険の特定は、最安証明の生成に使用された危険要因知識ベース43のルールから特定することができる。また、危険度は、証明コストから求めることができる。具体的には、証明コストの逆数を危険度として求めることが考えられる。これに限らず、証明の結果・証明のコスト・自車の速度等を特徴量とした回帰モデルを用いて、危険度を求める等してもよい。危険箇所の特定には、最安証明を構成するリテラルを、観測論理式D2を構成するリテラルに付与された識別名と関連づけ、その識別名を介して特定される観測情報に示されたオブジェクトの位置情報を利用することが考えられる。
 <1.9.危険対処部>
 危険対処部7は、危険予測結果D5に基づき、予測された危険に対して、車両制御やドライバに対する通知等の危険対処を実行する。車両制御には、例えば、スピード制御、スピード抑制、緊急停止、危険を回避するための自動運転等が考えられる。ドライバに対する注意喚起の通知には、聴覚的な通知と、視覚的な通知とがある。聴覚的な通知としては、例えば、ブザーによる警告や音声ガイドによる警告等が考えられる。視覚的な通知としては、例えば、液晶ディスプレイに示された地図上での危険箇所の表示、フロントガラス一体型ディスプレイ(ヘッドアップディスプレイ)による危険箇所の表示や危険箇所への視線の誘導等が考えられる。また、危険対処部7は、予測された危険について求められた危険度の大きさに応じて実行する危険対処の内容を変化させてもよい。
 <1.10.具体例>
 ここで、図7に示すような、住宅街を走行中に遭遇するシーンを例にして、運転支援システム1の動作を説明する。
 まず、このシーンでは、観測情報の生成対象となるオブジェクトとして、車両の左側の壁、道路上のボール、車両の右側に見える車庫中の車などがある。そして、壁の観測情報として「種類:壁」「信頼度:0.89」との情報を含んだものが生成され、ボールの観測情報として「種類:ボール」「信頼度:0.9」との情報を含んだものが生成され、車庫中の車の観測情報として「種類:乗用車」「信頼度:0.78」との情報を含んだものが生成される。
 <ケース1>
 次に、簡単のため、図8(a)に示すように、観測情報が「壁」と「ボール」だけであるものとして、その状況で生じるリスクを予測する場合について説明する。
 まず、各オブジェクトに対して識別子となる論理定数を付与する。ここでは、「壁」にはW、「ボール」にはBが付与されるものとする。
 次に、観測情報をコスト付き観測リテラルに変換する。ここでは、「壁」は「wall(W)$1 」、「ボール」は「soccer-ball(B)$1 」に変換される。観測リテラルのコストは、観測情報中の信頼度の逆数を求めたものであるが、ここでは簡単のため、いずれも$1に設定している。
 次に、上述の観測リテラルと、「交通シーンにリスクRが存在する」ことを表すリテラルである「risk(R)$100 」を用いて証明候補(第1証明候補)「wall(W)$1 ∧soccer-ball(B)$1 ∧risk(R)$100 」を生成する。危険を表すリテラルのコストが$100である理由は、そのリスクが存在するか否かが不明であるからである。
 次に、図8(b)に示すように、第1証明候補のリテラル「risk(R) 」に、危険要因知識ベース43のルールの一つを適用する。ここでは、「∀x invisible(x)0.4 ∧ child(x)0.4 ∧ will-rush-out(x)0.4 → ∃r risk(r) 」というルールを適用する(図中AP1参照)。このルールは、「xが不可視である」かつ「xが子供である」かつ「xが飛び出す」、即ち、「(壁で生じる)死角から子供が飛び出してくる」のであれば「危険である」という知識を表現したものである。このルールを適用することにより、ルールの前件部を構成する各リテラル(置換リテラル)のコストは、いずれも$40(=$100×0.4)となる。これを、新たな証明候補(第2証明候補)として追加する。
 次に、意図推定知識ベース41および自然法則知識ベース42を用いて置換リテラルを後件部とするルールを検索し、そのようなルールがあれば、そのルールを置換リテラルに適用する。ここでは、「∀x, y wall(x)1.0 ∧ behind(y, x)0.2 → invisible(y)」(図中AP2参照)、「∀x, y soccer-ball(x)1.0 ∧ follows(y, x) 0.55 → will-rush-out(y)」(図中AP3参照)という二つのルールを適用する。前者のルールは「xが壁である」かつ「yがxの背後にいる」、即ち「yが壁の背後にいる」のであれば「yは不可視である」という知識を表現したものである。後者のルールは「xがサッカーボールである」かつ「yがxを追いかける」、即ち「yがサッカーボールを追いかける」のであれば「yが飛び出す」という知識を表現したものである。これらのルールを適用することにより、置換リテラルである「wall(x)」「behind(y, x)」「soccer-ball(x)」「follows(y, x)」のコストは、それぞれ、$40(=$40×1.0)、$8(=$40×0.2)、$40(=$40×1.0)、$22(=$40×0.55)となる。このとき、被置換リテラルである「invisible(y)」「will-rush-out(y)」のコストは、削除したことを表す$0となる。また、置換リテラルである「wall(x)」「soccer-ball(x)」については、同一の観測リテラルが存在するため(図中の矢印線を参照)、コストを比較し、コストの高い置換リテラルは削除される。なお、「invisible(y)」を後件部とするルールのみを適用した場合を第3証明候補、「will-rush-out(y)」を後件部とするルールのみを適用した場合を第4証明候補、両ルールを適用した場合を第5証明候補として追加する。
 実際には、第3~第5証明候補の置換リテラルに対して、更にルールの適用を行って新たな証明候補を生成するが、ここでは簡単のため説明を省略する。
 次に、第1~第5証明候補の証明コストを求めると、それぞれ$102、$122、$90、$104、$72となる。つまり、第5証明候補が最尤の証明となり、証明コストを用いて危険度が算出される。また、第5証明候補を構成するリテラルと観測情報を関連づけることによって、各オブジェクト(壁やボール)の位置を特定することによって、危険箇所を特定する。
 <ケース2>
 次に、図9(a)に示すように、「ボール」が観測されていない以外は、ケース1と同じシーン、即ち、観測情報が「壁」だけである状況である場合について説明する。
 この場合、ケース1と同様の後向き推論が実施され、同様の証明候補が生成される。但し、図9(b)に示すように、「soccer-ball(x)」のリテラルが存在せず、これについての単一化が行われないため、ケース1の場合とは異なった証明コストが得られる。そして、ここでは、第3証明候補が最尤の証明となり、その証明コストは$89となる。つまり、予測される危険要因は、ケース1の場合と同じであるが、その危険度は、ケース1の場合より小さな値となる。なお、図では「will-rush-out(y)」を後件部とするルールを適用する例は、証明コストが大きくなるため、図示を省略している。
 <ケース3>
 次に、図10(a)に示すように、ケース1と同じシーンで、「ボール」についての観測情報の信頼度が低い場合、即ち、「ボール」を表すリテラルのコストがケース1の時より大きい場合について説明する。
 この場合、ケース1と同様の後向き推論が実施され、同様の証明候補が生成される。但し、図10(b)に示すように、リテラル「soccer-ball(x)」のコストが大きいため、ケース1とは異なった証明コストが得られる。ここでは、ケース1と同様に第5証明候補が最尤の証明となるが、その証明コストはケース1とは異なり$81となる。つまり、予測される危険は、ケース1,2の場合と同じであるが、その危険度は、ケース1より小さくケース2より大きな値となる。
 <1.11.効果>
 以上説明したように、運転支援システム1では、仮説推論によって危険予測をする際に、単に危険の有無を判断するのではなく、観測の信頼度に応じたコストと、知識のルールを構成する各リテラルに予め付与された重みから証明コストを求め、証明された危険の危険度を、証明コストに従って設定するようにしている。
 つまり、証明に適用する証拠(観測論理式)やルールの信頼度を、証明された危険の危険度に反映させることができるため、周囲の状況に応じた的確な危険予測を実現することができる。
 更に、運転支援システム1では、その的確に予測された危険に対処する運転支援を実行するため、信頼性の高い運転支援を実現することができる。
 また、運転支援システム1では、証明に適用するルールを記憶する知識ベース4に、意図推定知識ベース41や自然法則知識ベース42が含まれているため、人間の意図に起因する危険や、自然法則により引き起こされる危険を推論することができる。
 <2.第2実施形態>
 第2実施形態は、基本的な構成は第1実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。
 前述した第1実施形態では、危険度が最大となる危険要因に関する証明を一つだけ抽出する。これに対し、本実施形態では、危険度が大きい複数の危険要因に関する証明を抽出する点で第1実施形態とは相違する。具体的には、仮説推論部での処理が一部異なる。
 <2.1.仮説推論部>
 仮説推論部5Aにて実行される処理を、図11に示すフローチャートを用いて説明する。
 仮説推論部5Aとして機能する推論マイコンは、まず、第1実施形態の仮説推論部5での処理と同様の処理を実行する(S210~S220)。
 そして、仮説推論を終了させるために予め設定された終了条件が成立しているか否かを判断する(S230)。具体的には、例えば、予め決められた数の最安証明が抽出されていること、あるいは抽出された最安証明の証明コストが予め設定された閾値以上になっていること、全ての証明候補について処理が実行されることなどを終了条件とすることが考えられる。
 終了条件が成立していれば(S230:YES)、S220で選択された全ての証明について、その証明の論理式および証明コストを出力する。
 終了条件が成立していなければ(S230:NO)、S220で選択された最安証明の否定論理式を生成する(S240)。
 この生成された否定論理式を、観測論理式に加えて、再び、証明候補の生成(S210)、最安証明の選択(S220)を繰り返す。
 <2.2.具体例>
 図12(a)に示すように、図7で説明したものと同じシーンを前提とする。また、上述の終了条件は、3つの最安証明が抽出されるとこを用いるものとする。
 図12(b)に示すように、1周目の仮説推論では、観測情報から「ボールBがある」「壁Wがある」「赤い車Rがいる」「T字路Cがある」というリテラルで構成された観測論理式を生成し、この観測論理式を用いて証明候補の生成、最安証明の選択を行う。ここでは、「壁Wの影から子供Xが飛び出すので、危険」という証明候補が最安証明として選択され、その証明コストは70となる。この時点では、一つの最安証明が抽出されているだけであり、終了条件は成立しない。このため、最安証明を否定する論理式「壁Wの影から子供は飛び出さない」(第1否定論理式)が生成される。
 2周目の仮説推論では、1回目の仮説推論で使用した観測論理式に、第1否定論理式を加えて、証明候補の生成、最安証明の選択を行う。ここでは「赤い車Rが突然バックしてくるので、危険」という証明候補が最安証明として選択され、その証明コストは80となる。この時点では、二つの最安証明が抽出されているだけであり、終了条件は成立しない。このため、最安証明を否定する論理式「赤い車Rはバックしてこない」(第2否定論理式)が生成される。
 3周目の仮説推論では、2回目の仮説推論で使用した観測論理式に、第2否定論理式を加えて、証明候補の生成、最安証明の選択を行う。ここでは「T字路Cの視覚から自動車Yが飛び出すので、危険」という証明候補が最安証明として選択され、その証明コストは85となる。この時点では、三つの最安証明が抽出されており、終了条件が成立する。このため、2回の推論で得られた3つの最安証明が出力されることになる。
 なお、3周目の推論でも終了条件が成立しなかった場合は、最安証明を否定する論理式「T字路Cの死角から自動車は飛び出さない」(第3否定論理式)が生成される。以下、同様に4周目以降の推論が実行され、新たな最安証明が抽出されることになる。
 <2.3.効果>
 以上説明したように、本実施形態では、選択された最安証明を証明候補から除外して、仮説推論を繰り返すことにより新たな最安証明を選択している。これにより、証明コストの小さい順、即ち、危険度の高い順に複数の危険を、効率良く抽出することができる。また、その結果を用いて、複数の危険に同時に対処する運転支援処理を実現することができる。
 一般に、証明候補の数は膨大であるため、あらゆる証明候補を生成し、コストの安い順に証明を抽出することは現実的ではない。一方で、最尤の証明を求める手法には高速な手法が提案されており(例えば、ここに参照により援用するNaoya Inoue and Kentaro Inui. ILP-based Inference for Cost-based Abduction on First-order Predicate Logic. Journal of Natural Language Processing, Vol.20, No.5, pp.629-656, December 2013.)、これを利用することにより効率的に複数の証明を列挙することが可能になる。
 <3.第3実施形態>
 第3実施形態は、基本的な構成は第1実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。
 前述した第1,2実施形態では、観測情報から得られた観測論理式に従って仮説推論を行っている。これに対し、本実施形態では、選択された最安証明の内容から、移動物体の挙動をシミュレーションし、そのシミュレーションの結果を観測論理式に加えて仮説推論を繰り返す点で上述の実施形態とは相違する。具体的には、仮説推論部5Bの構成が一部異なると共に、新たに物理計算部8が追加されている。
 <3.1.仮説推論部>
 仮説推論部5Bにて実行される処理を、図13に示すフローチャートを用いて説明する。
 仮説推論部5Bとして機能する推論マイコンは、まず、第1実施形態の仮説推論部5での処理と同様の処理を実行する(S210~S220)。
 そして、選択された最安証明から、移動体の意図に関する情報を抽出する(S250)。移動体の意図に関する情報とは、例えば「○○を避ける」「××に飛び出す」「速度を落とす」などがある。
 次に、仮説推論を終了させるために予め設定された終了条件が成立しているか否かを判断する(S260)。具体的には、例えば、最安証明から抽出される移動体の意図が、過去に推論された意図と同一であることや、シミュレーションの結果を加えた仮説推論を繰り返すことによって抽出された危険の数が所定数に達していることなどを終了条件とすることが考えられる。
 終了条件が成立していれば(S260:YES)、S220で選択された全ての証明について、その証明の論理式および証明コストを出力する。
 終了条件が成立していなければ(S260:NO)、S250で抽出した移動体の意図に関する意図情報を物理計算部8に渡す。
 <3.2.物理計算部>
 物理計算部8は、仮説推論部5Bと同様に、マイクロコンピュータが実行する処理によって実現される。
 物理計算部8として機能するマイクロコンピュータ(以下「物理計算マイコン」という)は、仮説推論部5Bから意図情報を取得すると、観測情報群D1のうち、自車両および意図情報の対象となる移動体を含む自車両の周囲に存在する物体の挙動を表す情報(位置、速度、移動方向)に基づいて、自車両および各物体の軌道を求める(S310)。
 次に、求めた軌道に基づき自車両と各物体とが衝突するか否かをシミュレーションによって判定し、物体毎の判定結果を論理式で表現した物体衝突情報を生成する(S320)。この物体衝突情報の集合を物体衝突情報群D31とよぶ。この物体衝突情報群D31は、仮説推論部5Bに提供される。
 仮説推論部5Bは、物理計算部8から提供された物体衝突情報群D31を観測論理式D2に加えて、再び、証明候補の生成(S210)、最安証明の選択(S220)、移動体意図情報の抽出(S260)を繰り返す。
 <3.3.具体例>
 自車両の前を二輪車が走行しており、二輪車の走行経路上に水たまりがあるシーンを前提とする。
 <シーン1>
 まず、図14(a)に示すように、自車両と二輪車とが接近した状態にある場合について説明する。
 仮説推論部5Bは、最安証明として、観測論理式と同一の証明を選択する。この最安証明からは、意図は抽出されない。
 物理計算部8は、自車両を含む自車両周辺の物体に関する観測情報D1に基づいて、物体の移動軌跡を求める。この結果、二輪車と水たまりが衝突することが予測されるため、「二輪車(MotorBicycle)と水たまり(Puddle)が衝突する」という内容の物体衝突情報を生成する。
 仮説推論部5Bは、物理計算部8にて生成された物体衝突情報を観測論理式D2に加えて仮説推論を再度実行する。その結果、仮説推論部5Bは、最安証明として、「二輪車(MotorBicycle)が水たまり(Puddle)を避ける」を選択し、更に、この最安証明から「二輪車が水たまりを避ける」を意図情報として抽出する。
 物理計算部8は、抽出された意図情報と、自車両を含む自車両周辺の物体に関する観測情報群D1とに基づいて、物体の移動軌跡を求める。特に、意図情報の対象となる物体(ここでは二輪車)については、意図を反映した移動軌跡を予測する。物理計算部8は、求めた移動軌跡に基づき、自車両が他の物体と衝突するか否かを、シミュレーションを用いて判定する。シーン1では、図14(b)に示すように、自車両と二輪車とが衝突することが予測されるため、「自車両(Me)と二輪車が衝突する」という内容の物体衝突情報を生成する。なお、二輪車以外の物体(対向車、併走車、先々行車、路側物、落下物等)が存在する場合には、自車両とそれら物体との衝突、および物体同士の衝突も判定する。
 仮説推論部5Bは、物理計算部8にて生成された物体衝突情報を観測論理式D2に加えて仮説推論を再度実行する。その結果、最安証明として「自車両と二輪車が衝突するので危険」が選択される。つまり、シミュレーション結果を反映した危険予測が行われる。
 <シーン2>
 次に、図15(a)に示すように、自車両と二輪車とがシーン1の場合と比較して十分に離れた状態にある場合について説明する。
 なお、仮説推論部5Bが最安証明を選択し、その選択された最安証明から意図情報を抽出し、物理計算部8が、意図情報に基づいて物体の移動軌跡を求め、自車両と他車両とが衝突するか否かを判定するところまでは、シーン1と同様である。
 シーン2では、図15(b)に示すように、シミュレーションの結果、自車両と二輪車との衝突は起きないと判定されるため、「自車両と二輪車とは衝突しない」という内容の物体衝突情報が生成される。
 仮説推論部5Bは、この物体衝突情報を観測論理式D2に加えて仮説推論を再度実行する。その結果、シーン1で選択された危険を証明できないため、結局、最安証明として、シミュレーションを反映するまえに選択された最安証明である「二輪車が水たまりを避ける」が選択される。
 <3.4.効果>
 以上説明したように、本実施形態では、意図情報と、物体に関する観測情報(位置、速度、移動方向等)に基づいてシミュレーションにより得られた衝突判定結果を、観測論理式D2に加えて仮説推論を繰り返している。
 これにより、最初の仮説推論で得られた情報をもと推定された物体の挙動も考慮して危険予測することになるため、より緻密な危険予測を実現することができる。
 <4.他の実施形態>
 以上、実施形態を例示したが、実施形態は、上記実施形態に限定されることなく、種々の形態を採り得る。
 (1)上記実施形態における一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換等してもよい。
 (2)実施形態は、危険予測装置の他、当該危険予測装置を構成要素とする運転支援システムを始めとする各種システム、当該危険予測装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、危険予測方法など、種々の形態とすることもできる。

 

Claims (11)

  1.  車両の周辺状況に関する観測情報を取得する観測情報取得部(2)と、
     前記観測情報取得部にて取得された観測情報を、車両周辺の状況を表現する論理式に変換する論理式変換部(3)と、
     車両運転時に現れる危険および一般的な知識を、論理式で記述したルールの集合である知識ベース(4)を用い、重み付き仮説推論によって、前記論理式変換部にて変換された論理式から予測される危険を証明対象として証明を実施する仮説推論部(5,5A,5B,8)と、
     前記仮説推論部での推論の過程で求められる証明コストから、証明された危険についての危険度を求めると共に、証明に使用された論理式を前記観測情報に関連づける推論結果解釈部(6)と、
     を備える危険予測装置。
  2.  前記仮説推論部は、前記ルールを構成する各論理式のコストを、前記観測情報の信頼度に応じて、前記信頼度が高いほど前記コストが小さくなるように変化させ、前記証明に使用された論理式のコストを合計したものを前記証明コストとする、請求項1に記載の危険予測装置。
  3.  前記仮説推論部は、証明コストが小さい順に、一つ以上の証明を抽出する、請求項1または請求項2に記載の危険予測装置。
  4.  前記仮説推論部は、証明コストが最小となる最安証明を抽出し、該最安証明により証明された危険を否定する論理式を前記証明対象に追加して、前記仮説推論を繰り返す、請求項1または請求項2に記載の危険予測装置。
  5.  前記仮説推論部は、証明コストが最小となる最安証明を抽出すると共に、該最安証明に含まれる移動体の意図を表す論理式を抽出し、該論理式の内容に従って前記移動体の挙動を推定した結果を表す論理式を前記証明対象に追加して、前記仮説推論を繰り返す、請求項1または請求項2に記載の危険予測装置。
  6.  前記知識ベースは、前記一般的な知識に関するルールとして、物理法則などの自然法則を表現したルール(42)を含む、請求項1ないし請求項5のいずれか1項に記載の危険予測装置。
  7.  前記知識ベースは、前記一般的な知識に関するルールとして、車両やドライバの状態と、該状態から想定される前記ドライバの意図との関係を表現したルール(41)を含む、請求項1ないし請求項6のいずれか1項に記載の危険予測装置。
  8.  請求項1ないし請求項7のいずれか1項に記載の危険予測装置と、
     前記危険予測装置により証明された危険に対処するための運転支援処理を実行する支援実行装置(7)と、
     を備える運転支援システム。
  9.  前記支援実行装置は、前記運転支援処理として、ドライバに対する聴覚的または視覚的な注意喚起を実行する、請求項8に記載の運転支援システム。
  10.  前記支援実行装置は、前記運転支援処理として、車両制御を実行する、請求項8または請求項9に記載の運転支援システム。
  11.  前記支援実行装置は、前記推論結果解釈部で求められた危険度に応じて、前記運転支援処理の内容を変更する、請求項8ないし請求項10のいずれか1項に記載の運転支援システム。

     
PCT/JP2015/005261 2014-10-29 2015-10-19 危険予測装置、運転支援システム Ceased WO2016067550A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/522,625 US20170323568A1 (en) 2014-10-29 2015-10-19 Risk prediction device and driving support system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-220329 2014-10-29
JP2014220329A JP2016091039A (ja) 2014-10-29 2014-10-29 危険予測装置、運転支援システム

Publications (1)

Publication Number Publication Date
WO2016067550A1 true WO2016067550A1 (ja) 2016-05-06

Family

ID=55856917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005261 Ceased WO2016067550A1 (ja) 2014-10-29 2015-10-19 危険予測装置、運転支援システム

Country Status (3)

Country Link
US (1) US20170323568A1 (ja)
JP (1) JP2016091039A (ja)
WO (1) WO2016067550A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633138A (zh) * 2019-08-28 2019-12-31 中山大学 一种基于边缘计算的自动驾驶服务卸载方法
CN111986489A (zh) * 2019-11-07 2020-11-24 深圳鼎然信息科技有限公司 交通工具的智能安全预警方法、装置、系统及存储介质
US20230316113A1 (en) * 2020-06-17 2023-10-05 Nec Corporation Inference apparatus, inference method, and computer-readable recording medium
WO2025238830A1 (ja) * 2024-05-17 2025-11-20 株式会社Subaru 運転支援システム、車両および運転支援方法

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US20160085733A1 (en) 2005-10-26 2016-03-24 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US20140156901A1 (en) 2005-10-26 2014-06-05 Cortica Ltd. Computing device, a system and a method for parallel processing of data streams
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US11537636B2 (en) 2007-08-21 2022-12-27 Cortica, Ltd. System and method for using multimedia content as search queries
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US11037015B2 (en) 2015-12-15 2021-06-15 Cortica Ltd. Identification of key points in multimedia data elements
EP3205540A1 (de) * 2016-02-09 2017-08-16 Continental Automotive GmbH Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs
US9919648B1 (en) 2016-09-27 2018-03-20 Robert D. Pedersen Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method
US10394245B2 (en) * 2016-11-22 2019-08-27 Baidu Usa Llc Method and system to predict vehicle traffic behavior for autonomous vehicles to make driving decisions
DE112018000477B4 (de) 2017-01-23 2023-03-02 Panasonic Intellectual Property Management Co., Ltd. Ereignisvorhersagesystem, Ereignisvorhersageverfahren, Programm und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist
US11760387B2 (en) 2017-07-05 2023-09-19 AutoBrains Technologies Ltd. Driving policies determination
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
WO2019017253A1 (ja) 2017-07-18 2019-01-24 パイオニア株式会社 制御装置、制御方法、およびプログラム
WO2019064600A1 (ja) 2017-09-29 2019-04-04 日本電気株式会社 仮説検証装置、仮説検証方法、及びコンピュータ読み取り可能な記録媒体
JP7135308B2 (ja) * 2017-12-04 2022-09-13 スズキ株式会社 走行支援装置
WO2020008631A1 (ja) * 2018-07-06 2020-01-09 日本電気株式会社 観測事象判定装置、観測事象判定方法、及びコンピュータ読み取り可能な記録媒体
WO2020008632A1 (ja) * 2018-07-06 2020-01-09 日本電気株式会社 仮説推論装置、仮説推論方法、及びコンピュータ読み取り可能な記録媒体
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US10564641B2 (en) * 2018-07-20 2020-02-18 May Mobility, Inc. Multi-perspective system and method for behavioral policy selection by an autonomous agent
US10614709B2 (en) 2018-07-24 2020-04-07 May Mobility, Inc. Systems and methods for implementing multimodal safety operations with an autonomous agent
US11475773B2 (en) 2018-08-03 2022-10-18 Nec Corporation Alert of occurrence of pre-dangerous state of vehicle
US11934970B2 (en) * 2018-08-27 2024-03-19 Nec Corporation Abduction apparatus, abduction method, and computer-readable recording medium
JP7140195B2 (ja) * 2018-08-27 2022-09-21 日本電気株式会社 推論装置、推論方法、及びプログラム
US11613261B2 (en) 2018-09-05 2023-03-28 Autobrains Technologies Ltd Generating a database and alerting about improperly driven vehicles
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11392738B2 (en) 2018-10-26 2022-07-19 Autobrains Technologies Ltd Generating a simulation scenario
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11904863B2 (en) 2018-10-26 2024-02-20 AutoBrains Technologies Ltd. Passing a curve
US11270132B2 (en) 2018-10-26 2022-03-08 Cartica Ai Ltd Vehicle to vehicle communication and signatures
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
JP6995068B2 (ja) * 2019-01-21 2022-01-14 先進モビリティ株式会社 自動運転車両の軌跡設計走行制御検証方法
US11170647B2 (en) 2019-02-07 2021-11-09 Cartica Ai Ltd. Detection of vacant parking spaces
US10969470B2 (en) 2019-02-15 2021-04-06 May Mobility, Inc. Systems and methods for intelligently calibrating infrastructure devices using onboard sensors of an autonomous agent
WO2020170400A1 (ja) * 2019-02-21 2020-08-27 日本電気株式会社 仮説検証装置、仮説検証方法、及びコンピュータ読み取り可能な記録媒体
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
JP7092702B2 (ja) 2019-03-19 2022-06-28 本田技研工業株式会社 リスク推定装置及び自動運転装置
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US12055408B2 (en) 2019-03-28 2024-08-06 Autobrains Technologies Ltd Estimating a movement of a hybrid-behavior vehicle
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11908242B2 (en) 2019-03-31 2024-02-20 Cortica Ltd. Efficient calculation of a robust signature of a media unit
JP7316541B2 (ja) * 2019-05-07 2023-07-28 マツダ株式会社 歩行者位置予測方法及び歩行者位置予測装置
JP7316540B2 (ja) * 2019-05-07 2023-07-28 マツダ株式会社 歩行者位置予測方法及び歩行者位置予測装置
US11704292B2 (en) 2019-09-26 2023-07-18 Cortica Ltd. System and method for enriching a concept database
WO2021084733A1 (ja) * 2019-11-01 2021-05-06 日本電気株式会社 情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体
JP7338697B2 (ja) * 2019-11-08 2023-09-05 日本電気株式会社 推論装置、推論方法、及びプログラム
JP7136761B2 (ja) 2019-11-12 2022-09-13 本田技研工業株式会社 リスク推定装置及び車両制御装置
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
WO2021255861A1 (ja) * 2020-06-17 2021-12-23 日本電気株式会社 推論装置、推論方法、及びコンピュータ読み取り可能な記録媒体
JP7485035B2 (ja) * 2020-06-17 2024-05-16 日本電気株式会社 推論装置、推論方法、及びプログラム
WO2022006418A1 (en) 2020-07-01 2022-01-06 May Mobility, Inc. Method and system for dynamically curating autonomous vehicle policies
EP4260009A4 (en) 2020-12-14 2024-11-20 May Mobility, Inc. AUTONOMOUS VEHICLE SAFETY PLATFORM SYSTEM AND METHOD
EP4264181A4 (en) 2020-12-17 2024-10-30 May Mobility, Inc. METHOD AND SYSTEM FOR DYNAMIC UPDATING AN ENVIRONMENTAL REPRESENTATION OF AN AUTONOMOUS AGENT
JP7616347B2 (ja) * 2021-03-11 2025-01-17 日本電気株式会社 推論分析装置、推論装置、推論分析方法、及びプログラム
EP4314708A4 (en) 2021-04-02 2024-12-25 May Mobility, Inc. METHOD AND SYSTEM FOR OPERATING AN AUTONOMOUS AGENT WITH INCOMPLETE ENVIRONMENTAL INFORMATION
WO2022256249A1 (en) 2021-06-02 2022-12-08 May Mobility, Inc. Method and system for remote assistance of an autonomous agent
WO2023102098A1 (en) 2021-12-01 2023-06-08 May Mobility, Inc. Method and system for impact-based operation of an autonomous agent
US12296849B2 (en) 2021-12-02 2025-05-13 May Mobility, Inc. Method and system for feasibility-based operation of an autonomous agent
JP7851524B2 (ja) 2022-02-14 2026-04-27 メイ モビリティー,インコーポレイテッド 自律エージェントの条件付き動作のための方法及びシステム
JP2024014381A (ja) * 2022-07-22 2024-02-01 トヨタ自動車株式会社 車両制御方法、車両制御装置、及び車両制御プログラム
JP2026500243A (ja) 2022-12-13 2026-01-06 メイ モビリティー,インコーポレイテッド 自律車両が遭遇し得るリスクを評価し軽減するための方法およびシステム
WO2025203445A1 (ja) * 2024-03-28 2025-10-02 株式会社Subaru 運転支援装置、車両および運転支援方法
WO2025203444A1 (ja) * 2024-03-28 2025-10-02 株式会社Subaru 運転支援装置、車両および運転支援方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334368A (ja) * 1994-06-08 1995-12-22 Hitachi Ltd 知識ベースシステムおよび認識システム
JPH08137695A (ja) * 1994-11-11 1996-05-31 Fujitsu Ltd 仮説比較装置および仮説比較処理方法
JPH08185322A (ja) * 1994-12-27 1996-07-16 Nippon Telegr & Teleph Corp <Ntt> 信念を扱う高次推論装置及び信念を扱う高次推論方法
JPH092098A (ja) * 1995-06-19 1997-01-07 Fuji Heavy Ind Ltd 車両用前方監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334368A (ja) * 1994-06-08 1995-12-22 Hitachi Ltd 知識ベースシステムおよび認識システム
JPH08137695A (ja) * 1994-11-11 1996-05-31 Fujitsu Ltd 仮説比較装置および仮説比較処理方法
JPH08185322A (ja) * 1994-12-27 1996-07-16 Nippon Telegr & Teleph Corp <Ntt> 信念を扱う高次推論装置及び信念を扱う高次推論方法
JPH092098A (ja) * 1995-06-19 1997-01-07 Fuji Heavy Ind Ltd 車両用前方監視装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633138A (zh) * 2019-08-28 2019-12-31 中山大学 一种基于边缘计算的自动驾驶服务卸载方法
CN110633138B (zh) * 2019-08-28 2023-04-07 中山大学 一种基于边缘计算的自动驾驶服务卸载方法
CN111986489A (zh) * 2019-11-07 2020-11-24 深圳鼎然信息科技有限公司 交通工具的智能安全预警方法、装置、系统及存储介质
CN111986489B (zh) * 2019-11-07 2021-08-03 深圳鼎然信息科技有限公司 交通工具的智能安全预警方法、装置、系统及存储介质
US20230316113A1 (en) * 2020-06-17 2023-10-05 Nec Corporation Inference apparatus, inference method, and computer-readable recording medium
WO2025238830A1 (ja) * 2024-05-17 2025-11-20 株式会社Subaru 運転支援システム、車両および運転支援方法

Also Published As

Publication number Publication date
JP2016091039A (ja) 2016-05-23
US20170323568A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
WO2016067550A1 (ja) 危険予測装置、運転支援システム
US11845462B2 (en) Driving assistance device and driving assistance program product
US11738768B2 (en) Manual vehicle control notification
CN110488802B (zh) 一种网联环境下的自动驾驶车辆动态行为决策方法
KR20190107057A (ko) 차량 움직임에 기반한 항법
JP6575612B2 (ja) 運転支援方法及び装置
CN116466697B (zh) 用于运载工具的方法、系统以及存储介质
Shimosaka et al. Modeling risk anticipation and defensive driving on residential roads with inverse reinforcement learning
EP4124530B1 (en) Pedestrian intent yielding
CN117698770A (zh) 基于多场景融合的自动驾驶决策安全碰撞风险评估方法
Zhao et al. Ontologies for advanced driver assistance systems
Ni et al. A V2X-based approach for avoiding potential blind-zone collisions between right-turning vehicles and pedestrians at intersections
KR20250052385A (ko) 지능형 에이전트들의 존재 시의 자율주행 차량에 대한 액션의 결정
CN119343277A (zh) 用于数据处理的针对自主运载工具的规则违反的过错辨别
Karyemsetty et al. Road safety: An accident prevention using intelligent vehicular network
Li et al. Exploring factors influencing crash occurrence involving autonomous vehicle: random parameters model with heterogeneity in means and variances approach
CN115571121B (zh) 高速公路风险预警方法、装置、设备及可读存储介质
CN114973656B (zh) 交通交互性能的评估方法、装置、设备、介质和产品
KR20250034374A (ko) 자율주행 차량을 제어하기 위한 방법 및 시스템
JP6849017B2 (ja) 運転支援装置及び運転支援プログラム
US12424093B2 (en) Method and apparatus for generating safety control signal notifying risk of accident on road
US20250157325A1 (en) Systems and methods for encouraging pedestrian group movement
Kau et al. A study on the classification of danger from traffic conflict caused by aggressive driving behavior
CN116923419A (zh) 一种无人驾驶边界场景的风险评估方法、系统及电子设备
CN120148291A (zh) 向行人发送停止距离

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15854878

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15522625

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15854878

Country of ref document: EP

Kind code of ref document: A1