WO2012033173A1 - 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法 - Google Patents

移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法 Download PDF

Info

Publication number
WO2012033173A1
WO2012033173A1 PCT/JP2011/070518 JP2011070518W WO2012033173A1 WO 2012033173 A1 WO2012033173 A1 WO 2012033173A1 JP 2011070518 W JP2011070518 W JP 2011070518W WO 2012033173 A1 WO2012033173 A1 WO 2012033173A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving object
moving
distribution
existence
map
Prior art date
Application number
PCT/JP2011/070518
Other languages
English (en)
French (fr)
Inventor
清水 司
吉紘 大濱
真一 永田
政行 清水
純 佐久川
Original Assignee
株式会社豊田中央研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田中央研究所 filed Critical 株式会社豊田中央研究所
Priority to CN201180043108.3A priority Critical patent/CN103155015B/zh
Priority to EP11823647.0A priority patent/EP2615596A4/en
Priority to US13/821,147 priority patent/US9424468B2/en
Priority to JP2012533026A priority patent/JP5475138B2/ja
Publication of WO2012033173A1 publication Critical patent/WO2012033173A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • the present invention relates to a moving object prediction apparatus, a virtual movable object prediction apparatus, a program, a moving object prediction method, and a virtual movable object prediction method, and in particular, a moving object prediction apparatus, a program, and a program for predicting a future position of a moving object.
  • the present invention relates to a moving object prediction method, a virtual movable object prediction apparatus, a program, and a virtual movable object prediction method for predicting a future position of a virtual movable object.
  • an object course prediction apparatus that generates a change in a position that an object can take over time as a trajectory in time and space and performs probabilistic prediction of the course of the object is known (Japanese Patent Application Laid-Open No. 2007-2007). 233646). In this object course prediction device, a trajectory that can ensure safety is generated even in a situation that may occur in reality.
  • an online risk learning system in which the system autonomously learns the experience in an actual environment and enables recognition of the degree of danger for various external environments (Japanese Patent Laid-Open No. 2008-238831). ).
  • This online risk learning system is realized by automatically extracting the feature amount of an image and learning the relationship with the driving operation of the driver.
  • intersection collision prevention apparatus that prevents a collision of the host vehicle by warning the driver when the host vehicle is in a situation where the risk of collision is high at an intersection or junction (specialty). No. 2005-173703).
  • This intersection collision prevention apparatus is realized by having an accident form at an intersection in a database, searching based on sensor information, and performing scoring.
  • the present invention has been made to solve the above-described problems.
  • a moving object prediction apparatus, a program, and a moving object prediction method capable of accurately predicting a future position of a moving object in various situations are provided.
  • the purpose is to provide.
  • the first aspect of the present invention includes a moving object detection unit that detects a position of a moving object and an operation state or a movement state from a detection target range, and a plurality of types from the detection target range.
  • An area detection unit that detects the area of the road segment and the area of the stationary object, and the ease or presence of a moving object relative to the area of the road segment and the area of the stationary object detected by the area detection unit.
  • a map generation unit that generates a presence probability map that gives a presence probability indicating difficulty, and the movement based on the position of the moving object detected by the moving object detection unit, and an operation state or a movement state.
  • a moving object recording unit that generates a position distribution and a moving state distribution of an object and records the generated position distribution on the existence possibility map, and moves the position distribution of the moving object based on the moving state distribution of the moving object
  • Transfer A prediction unit that changes the position distribution that has been made based on the existence possibility of the existence possibility map and predicts the future position distribution of the moving object on the existence possibility map, Yes.
  • the second aspect of the present invention is a computer that detects a position of a moving object and a moving object detection unit that detects an operation state or a moving state from a detection target range, and a plurality of types of lane classifications from the detection target range.
  • An area detection unit that detects an area and an area of a stationary object, and represents whether the moving object is present or difficult to exist with respect to the area of the road segment and the area of the stationary object detected by the area detection unit
  • a map generation unit that generates an existence possibility map giving the existence possibility, the position of the moving object detected by the moving object detection unit, and the position distribution and movement of the moving object based on the operation state or the movement state
  • the moving state distribution of the moving object recording unit that generates a state distribution and records it in the existence possibility map
  • the position distribution of the moving object is moved and the moved
  • the prescaler fabric and change on the basis of the possible presence of the said existable level map, a program for functioning as a predictor for predicting a future position distribution of the moving object on the possible presence of the map.
  • the moving object detection unit detects the position of the moving object and the operation state or the moving state from the detection target range.
  • the area detection unit detects a plurality of types of road segment areas and a stationary object area from the detection target range.
  • the existence possibility which gave the existence possibility showing the ease of existence or the difficulty of existence of a moving object to the area of the runway section detected by the area detection part and the area of the stationary object by the map generation part Generate a map.
  • the moving object recording unit Based on the position of the moving object detected by the moving object detecting unit and the operation state or the moving state, the moving object recording unit generates the position distribution and the moving state distribution of the moving object, and records them in the existence possibility map. .
  • the prediction unit moves the position distribution of the moving object based on the moving state distribution of the moving object, and can change the moved position distribution based on the existence possibility of the existence possibility map to exist. Predict the future position distribution of moving objects on the degree map.
  • the position distribution is moved based on the moving state distribution of the moving object, and the position is determined based on the existence possibility map in which the existence possibility of the moving object is given to the area of the road segment and the area of the stationary object.
  • the future position of the moving object can be accurately predicted in various situations.
  • the position distribution is represented by a plurality of moving object particles
  • the predicting unit represents a plurality of moving objects representing the position distribution of the moving object based on the moving state distribution of the moving object. Move each of the particles and change the position distribution of the moving object by erasing the moved moving object particles and duplicating other moving object particles based on the existence possibility of the existence possibility map Predict the future position distribution of moving objects on the existence probability map.
  • the position distribution is represented by a probability distribution
  • the prediction unit moves the probability distribution representing the position distribution of the moving object based on the moving state distribution of the moving object
  • the position distribution of the moving object is changed by weighting the moved probability distribution based on the existence possibility of the existence possibility map to predict the future position distribution of the moving object on the existence possibility map.
  • the area detection unit further detects the type of the road segment and the height of the stationary object, and the map generation unit determines the type of the road segment for the area of the road segment.
  • a presence possibility map corresponding to the height of the stationary object is given to the area of the stationary object, and an existence possibility map is generated. Thereby, the future position of the moving object can be predicted more accurately.
  • the moving object detection unit detects the type of the moving object together with the position of the moving object and the operation state or the movement state from the detection target range, and the map generation unit An existence possibility map is generated in which the existence possibility is given for each type. Thereby, the future position of the moving object can be predicted more accurately.
  • the prediction unit moves the position distribution of the moving object based on the moving state distribution of the moving object, and gives the moved position distribution to the region corresponding to the position distribution.
  • the moving object on the existence possibility map is changed based on the size or the difference or ratio of the existence possibility given to the area corresponding to the position distribution and the area corresponding to the position distribution before the movement. Predict the future position distribution.
  • the moving object prediction device is based on the position distribution of the moving object to be calculated and the position distribution of the moving object other than the moving object to be calculated, which are predicted by the prediction unit.
  • a risk level calculation unit for calculating a risk level of collision between the moving object to be calculated and a moving object other than the moving object to be calculated.
  • the moving object recording unit is viewed from the moving object equipped with the own device based on the detected area of the stationary object and the position of the moving object equipped with the own device.
  • the dead angle area formed by the stationary object at the time is identified, and the position distribution and the moving state distribution of the moving object that is assumed to exist within the identified blind spot area are generated, and the identified blind spot in the existence possibility map
  • the position distribution and the movement state distribution of the generated moving object are recorded in the area.
  • the moving object recording unit that identifies the blind spot area described above determines the blind spot area based on the detected stationary object area and the position of the moving object on which the device is mounted. Based on the moving environment around the specified blind spot area of the moving environment detected by the moving environment detection unit that detects and detects the moving environment of the moving object in the detection target range, or the position of the specified blind spot area In addition to estimating the type of moving object that is assumed to exist in the specified blind spot area, the position distribution and moving state distribution of the moving object in the blind spot area are generated, and the specified in the existence possibility map The position distribution and the movement state distribution of the generated moving object are recorded in the blind spot area.
  • the moving object predicting apparatus includes the object position detecting unit that detects the position of the object existing in the detection target range as viewed from the moving object on which the own apparatus is mounted, and the own apparatus.
  • the motion estimation unit that estimates the motion of the moving object, and the previously updated map information is installed based on the current motion of the moving object that is equipped with the device estimated by the motion estimation unit.
  • the map update unit that repeatedly updates the map information viewed from the moving object, and each time the map information is updated by the map update unit, the updated map information includes the current object position detected by the object position detection unit.
  • a position of a moving object and an operation state or a movement state are detected from a detection target range, and a step of detecting a region of a plurality of types of track sections and a region of a stationary object are detected.
  • Generating an existence possibility map that gives the existence possibility indicating the ease of existence or the difficulty of existence of moving objects for the area of the runway section and the area of the stationary object and the detected Based on the position of the moving object and the operating state or the moving state, the position distribution and the moving state distribution of the moving object are generated, and further, the position distribution of the moving object is moved based on the moving state distribution of the moving object. And changing the moved position distribution based on the existence possibility of the existence possibility map to predict a future position distribution of the moving object on the existence possibility map.
  • an area detection unit that detects a plurality of types of road segment areas and a stationary object area from a detection target range, the road segment area detected by the area detection unit, and the stationary A moving object exists from the detection target range, and a map generation unit that generates an existence possibility map that gives the existence possibility indicating the ease of existence or difficulty of existence of the moving object with respect to the object region.
  • a blind spot area specifying unit that specifies a blind spot area to be obtained, a virtual movable object generating part that generates a virtual movable object that is assumed to exist in the blind spot area specified by the blind spot area specifying unit, and the virtual movable object generating unit.
  • the position distribution and the movement state distribution of the virtual movable object are generated, and the existence possibility map is displayed.
  • the position distribution of the virtual movable object is moved, and the moved position distribution is converted into the existence possibility of the existence possibility map.
  • a predicting unit that predicts a future position distribution of the virtual movable object on the existence possibility map.
  • a computer comprising: a region detection unit that detects a plurality of types of road segment regions and a stationary object region from a detection target range; the region of the road segment detected by the region detection unit; A map generation unit that generates an existence possibility map that gives the existence possibility indicating the ease of existence or difficulty of existence of a moving object for the area of the stationary object, and there is a movable object from the detection target range Generated by the virtual movable object generator, a virtual movable object generator that generates a virtual movable object that is assumed to exist in the blind spot area specified by the blind spot area Assuming the position of the virtual movable object and the operating state or the moving state of the virtual movable object, the position of the virtual movable object and the movement state distribution are generated, and the existence possibility Based on the virtual movable object recording unit that records on the screen and the movement state distribution of the virtual movable object, the position distribution of the virtual movable object is moved, and the
  • the area detection unit detects a plurality of types of road segment areas and a stationary object area from the detection target range.
  • Existence that gives the existence possibility indicating the ease of existence or difficulty of existence of the moving object to the area of the road section and the area of the stationary object detected by the area detection unit by the map generation unit Generate a degree map.
  • the blind spot area specifying unit specifies a blind spot area where a movable object can exist from the detection target range.
  • the virtual movable object generation unit generates a virtual movable object that is assumed to exist within the blind spot area specified by the blind spot area specifying unit. Assuming the position of the virtual movable object and the operating state or moving state of the virtual movable object generated by the virtual movable object generator by the virtual movable object recording unit, the position distribution and movement of the virtual movable object A state distribution is generated and recorded in the existence possibility map.
  • the prediction unit moves the position distribution of the virtual movable object based on the movement state distribution of the virtual movable object, and the moved position distribution is based on the existence possibility of the existence possibility map. Change to predict the future position distribution of the virtual movable object on the existence possibility map.
  • the position distribution is moved based on the assumed movement state distribution, and the moving object is moved with respect to the area of the road segment and the area of the stationary object.
  • the blind spot area specifying unit specifies the blind spot area and sets the possibility of existence of the blind spot area in the existence possibility map based on the distance of the blind spot area.
  • the virtual movable object recording unit assumes a position of the virtual movable object and an operation state or a movement state with respect to the virtual movable object generated by the virtual movable object generation unit.
  • the type of the virtual movable object is assumed, the position distribution and the movement state distribution of the virtual movable object are generated, and the existence possibility map To record.
  • the virtual movable object recording unit automatically detects when the virtual movable object jumps out of the blind spot area with respect to the virtual movable object generated by the virtual movable object generator. Assuming the position of the virtual movable object and the operation state or the movement state so as to collide with a moving object on which the apparatus is mounted, a position distribution and a movement state distribution of the virtual movable object are generated, and the existence possibility map To record.
  • the virtual movable object recording unit detects that the virtual movable object jumps out of the blind spot area with respect to the virtual movable object generated by the virtual movable object generator. Assuming the position in the blind spot area closest to the position where it is assumed to collide with a moving object equipped with the virtual movable object position, and when the virtual movable object jumps out of the blind spot area Assuming the operating state or moving state of the virtual movable object so as to collide with a moving object equipped with its own device, the position distribution and moving state distribution of the virtual movable object are generated and recorded in the existence possibility map. To do.
  • a step of detecting a plurality of types of road segment areas and stationary object areas from a detection target range, and the detected path segment area and the stationary object area are detected.
  • the position distribution is moved based on the moving state distribution of the moving object, and the area of the runway section.
  • the virtual movable object that is assumed to exist in the blind spot area is based on the assumed movement state distribution.
  • the position distribution and changing the position distribution based on the existence possibility map that gives the existence possibility of the moving object to the area of the road segment and the area of the stationary object in various situations, The effect that the future position of the movable object can be accurately predicted can be obtained.
  • It is an image figure which shows the example of driving environment. It is an image figure which shows the local map information in an initial state. It is an image figure which shows the local map information with which the detection result by a laser radar was recorded. It is an image figure which shows the example of driving environment. It is an image figure which shows the example of the presence possibility map showing the presence possibility with respect to a pedestrian. It is an image figure which shows the example of the presence possibility map showing the presence possibility with respect to the own vehicle. It is a figure which shows the example of the table which defined the existence possibility with respect to a pedestrian. It is a figure which shows the example of the table which defined the existence possibility with respect to the own vehicle.
  • the collision risk determination apparatus 10 irradiates the front of the host vehicle, which is the determination target range, while scanning the laser in a one-dimensional (horizontal direction) direction.
  • a laser radar 12 that detects the two-dimensional position of an object irradiated with laser by reflection
  • a motion sensor 14 that detects the motion state of the host vehicle
  • a camera 18 that captures the front of the host vehicle
  • a determination target Based on the GPS device 20 that detects the position of the host vehicle and the detection results, local map information that records the presence of a stationary object ahead viewed from the host vehicle is generated, and a collision with a moving object is generated.
  • the computer 22 is provided with a computer 22 that determines the danger and issues an alarm by the alarm device 24 when there is a danger of a collision.
  • the laser radar 12 is a device that is installed in front of the vehicle and detects a distance to an object existing in front of the vehicle with reference to the device.
  • the laser radar 12 can detect the positions of a plurality of points on the surface of a plurality of objects existing in front of the host vehicle due to the reflection of the laser by scanning the output laser in the horizontal direction.
  • the detection result by the laser radar 12 is a set of two-dimensional coordinates representing the position of a point on the surface of the object existing in front of the host vehicle. Detection processing by the laser radar 12 is executed in a constant cycle.
  • the laser radar 12 outputs data indicating the two-dimensional positions of a plurality of points on the surface of the object existing in front of the host vehicle at each time point to the computer 22.
  • the laser radar 12 is an example of an object position detection unit.
  • the motion sensor 14 includes a vehicle speed sensor that measures the speed of the host vehicle, a gyro sensor that measures the yaw rate, or an acceleration sensor that measures the acceleration of the host vehicle.
  • the camera 18 is composed of a small CCD camera or CMOS camera, and is attached to the upper part of the front window of the vehicle so as to photograph the front of the vehicle. Image data such as road conditions ahead taken by the camera 18 is input to the computer 22.
  • the computer 22 includes a CPU, a ROM that stores programs for executing each of a local map generation processing routine and a danger determination processing routine, which will be described later, a RAM that stores data, and a bus that connects these. Yes. If the computer 22 is described with function blocks divided for each function realizing means determined based on hardware and software, as shown in FIG.
  • an object for obtaining a two-dimensional position of an object detected by the laser radar 12 Based on the vehicle speed, yaw rate, or acceleration detected by the position acquisition unit 30 and the motion sensor 14, the own vehicle motion estimation unit 32 that estimates the motion of the host vehicle, and based on the motion of the host vehicle, until one hour before
  • a local map update unit 34 that updates the local map information of the current local vehicle to local map information in the coordinate system viewed from the current vehicle, and staticity in the updated local map information based on the detected two-dimensional position of the current object
  • the existence probability changing unit 36 is an example of a stationary object recording unit.
  • the own vehicle motion estimation unit 32 is based on the vehicle speed, yaw rate, or acceleration detected by the motion sensor 14 between the time when the local map information is updated and the current time, and the current time after the local map information is updated last time. Estimate the movement of the vehicle until.
  • the local map update unit 34 converts the local map information updated by one hour ago into a coordinate system viewed from the current own vehicle according to the estimated movement of the own vehicle. Generate local map information representing the viewed forward area. Further, the local map update unit 34 repeatedly updates the local map information. As shown in FIG. 2B, the local map information is a map represented by a plurality of blocks obtained by dividing a certain area in front of the host vehicle by a grid (block) having a certain size. In each block, the probability that a stationary object is present at that position is recorded. In the initial state, as shown in FIG. 2B, an initial value of 0.5 (intermediate value) is recorded as the existence probability.
  • the existence probability change unit 36 updates the local map information updated based on the two-dimensional positions of the current object acquired by the object position acquisition unit 30. , The existence probability of the block corresponding to the two-dimensional position of the object is increased. Also, the existence probability changing unit 36 reduces the existence probability of each block existing on a straight line from the own vehicle to the two-dimensional position of the object. By changing the existence probability in this way, the existence probability of a block in which an object is detected at a corresponding position is increased for a certain period or longer, and the existence probability of a block in which an object is detected only temporarily is reduced. In the driving environment as shown in FIG. 2A, as shown in FIG.
  • 1 maximum value
  • 0 minimum value
  • an initial value of 0.5 intermediate value is recorded as a presence probability in a block (block in a blind spot area) whose position information is not obtained due to reasons such as being hidden by another object. Is done.
  • the computer 22 stores a map database 38 storing an electronic map, a forward image taken by the camera 18, generated local map information, a stored electronic map, and a position of the host vehicle detected by the GPS device 20.
  • an environment detection unit 40 for detecting the moving object around the host vehicle, the state of the moving object, and the state of the traveling environment, and the possibility of existence for each type of the moving object based on the detected state of the traveling environment.
  • a plurality of moving object particles as data representing moving objects, and a moving state corresponding to the moving state distribution of the moving object is generated on each moving object particle.
  • a moving object generating unit 44 arranged on the existence possibility map so as to represent the distribution of the position of the detected moving object, and each moving object particle is moved based on the moving state.
  • a position update unit 46 a distribution change unit 48 that changes the arrangement of moving object particles by disappearing and replicating based on the existence possibility map, and the own vehicle and the moving object based on the arrangement of moving object particles of each moving object
  • a risk determination unit 50 that outputs a determination result by the alarm device 24.
  • the environment detection unit 40 is an example of a moving object detection unit, a region detection unit, and a movement environment detection unit. Further, the position update unit 46 and the distribution change unit 48 are examples of a prediction unit. The risk determination unit 50 is an example of a risk level calculation unit.
  • the electronic map stored in the map database 38 stores information on road shapes, sign displays, and buildings.
  • the environment detection unit 40 is based on the electronic map of the map database 38, the travel classification (lane, sidewalk, pedestrian crossing, etc.) and area of the travel path classification around the vehicle, Detect signs (signals, pauses, etc.) and information about buildings.
  • the surrounding area type school zone, shopping street, residential area, etc.
  • road attributes number of lanes, lane width, presence / absence of median
  • the environment detection unit 40 detects an area where a stationary object (guardrail, planting, building, parked vehicle, etc.) exists from the local map information. Further, the height of each stationary object is detected from the front image photographed by the camera 18.
  • the environment detection unit 40 specifies a blind spot area formed by the stationary object viewed from the own vehicle based on the own vehicle position and the position of the stationary object in the local map information.
  • the environment detection unit 40 uses the learning type pattern recognition technology (for example, SVM) from the front image captured by the camera 18 to determine the position and size of the moving object that exists in the front, and the type (for example, the moving object). Detects pedestrians, two-wheeled vehicles, automobiles, etc.), movement status (direction, gait, etc.) and movement status (speed, etc.), as well as various types of lanes on the road ahead (lanes, sidewalks, crosswalks, signals , Pause lines, etc.) and areas.
  • SVM learning type pattern recognition technology
  • the environment detection unit 40 identifies a moving object that is moving and a moving object that is stationary by taking a time difference between successive local map information, and identifies a region where the moving object exists, A region where the identified moving object exists is associated with the type of the detected moving object.
  • the map generation unit 42 generates an existence possibility map for each type of moving object based on the detected road segment area, stationary object area, road attribute, and the like. For example, the driving environment as shown in FIG. 3 (the roadway is one lane on each side, the sidewalk and the roadway are separated by a curb with a height of 0.2 [m]), and there are pedestrians walking on the sidewalk In such a situation, the map generation unit 42 generates a presence possibility map for a pedestrian as shown in FIG. 4A. Moreover, the map generation part 42 produces
  • the existence possibility map the existence possibility is given to the areas of various road sections and the areas of stationary objects.
  • the presence possibility degree represents the ease of existence of a pedestrian and the own vehicle with respect to the target area from 0.0 to 1.0.
  • the existence possibility of the runway segment is determined according to a combination of the runway segment and the road attribute, for example, and is prepared in advance as a table. For example, a table as shown in FIG. 5 is prepared as the existence possibility for the pedestrian, and a table as shown in FIG. 6 is prepared as the existence possibility for the host vehicle.
  • the existence possibility of the area of the stationary object for the pedestrian is calculated according to the height h ([m]) of the stationary object.
  • the existence possibility is calculated according to the following equation (1).
  • min (a, b) is a function that returns a smaller one of a and b.
  • 0.0 is given as the possibility of existence of a stationary object for the host vehicle.
  • the moving object generation unit 44 sets a region where the specified moving object exists in the existence possibility map as a particle generation candidate region, and also sets a blind spot region as a particle generation candidate region. In addition, a region where the host vehicle exists is also set as a particle generation candidate region. In addition, the moving object generation unit 44 generates a plurality of moving object particles for each particle generation candidate region using a random number generator so that the total number of particles is designed in advance, as shown in FIG. 7A. Arrange.
  • the moving object generation unit 44 sets the moving state of the moving object as a distribution based on the detected operating state and moving state of the moving object.
  • the moving object generation unit 44 sets the direction, speed, acceleration, or both as the physical quantity used as the moving state.
  • the moving object generation unit 44 distributes the pedestrian according to the average speed of the pedestrian as shown in FIG.
  • the distribution of the moving state of the moving object is set using the covariance table.
  • the movement state distribution is set so that the speed dispersion becomes large.
  • the moving object generation unit 44 generates a moving state distribution of the host vehicle based on the vehicle speed and direction detected by the motion sensor 14.
  • the covariance matrix of the movement state (speed) is 0 matrix.
  • the covariance matrix of a pedestrian's movement state (speed) represents the uncertainty of a pedestrian's movement.
  • the moving state is determined based on the moving state distribution of the moving object set as described above.
  • the moving object particles arranged in the particle generation candidate area include a detection result label of a moving object such as an automobile, a two-wheeled vehicle, and a pedestrian, and information on a moving state determined based on a set moving state distribution. Are also assigned.
  • the total number of particles may be set in advance according to the processing capability of the computer 22.
  • identification information for identifying moving objects is assigned to moving object particles. For example, for the particle generation candidate region generated for one moving object, moving object particles to which the same identification information is assigned are generated.
  • the moving object particles in the particle generation candidate region generated from the blind spot region are based on the detection result of the environment detection unit 40 and the predetermined IF-THEN rule as shown in FIG.
  • a label indicating the type of moving object such as a person is assigned.
  • information indicating a moving state determined based on a moving state distribution such as a predetermined direction, speed, and acceleration corresponding to the type of moving object is assigned to the moving object particle. For example, if the road shape is a one-lane road on one side, the blind spot area is formed by a parked vehicle, and the blind spot area includes a pedestrian crossing, a pedestrian label is assigned.
  • Moving object particles are arranged.
  • the position update unit 46 moves the position of each moving object particle based on the moving state given to the moving object particle, and updates the arrangement of each moving object particle by one step.
  • the distribution changing unit 48 After moving each moving object particle, the distribution changing unit 48 extinguishes / replicates the moving object particle and reselects the moving object particle according to the possibility of existence given to the area of the moving point.
  • the position distribution of the moving object is changed (the movement of the moving object is restricted according to the ease of existence).
  • a difference or ratio of existence possibilities given to areas before and after the movement may be used instead of the existence possibility given to the area of the movement point.
  • each moving object particle transits based on the moving state assigned to each moving object particle by the update process.
  • the distribution changing unit 48 extinguishes the moving object particles with a higher probability as the transition destination is less likely to exist.
  • the distribution changing unit 48 duplicates the moving object particles as much as they disappear and arranges them so as to overlap the positions of other moving object particles that have not disappeared, or other objects that have not disappeared. It is arranged at a position around the moving object particle position (a position multiplied by a random number). As a result, moving object particles are newly generated around an area having a high possibility of existence. In addition, the above disappearance and replication are performed so that the total number of particles is constant.
  • the danger determination unit 50 Based on the arrangement of the moving object particles of each moving object changed by the distribution changing unit 48, the danger determination unit 50 counts the number of overlapping moving object particles of the own vehicle and the moving object particles of other moving objects. Then, the collision probability with the other moving object is calculated based on the counted number. When the calculated collision probability exceeds the threshold, the danger determination unit 50 determines that there is a danger of collision, and the alarm device 24 determines the type and position of the moving object of the overlapping opponent moving object particle. The driver is notified by a method such as sound or image. For example, if there is a risk of colliding with a pedestrian in the right front of the host vehicle, the driver is informed of the “right front pedestrian attention” by voice. In addition, you may make it alarm by the alarm device 24 with respect to the moving object of the overlapping other party's moving object particle.
  • the collision between moving objects other than the own vehicle is determined before calculating the collision probability with the own vehicle.
  • the position distribution of moving objects (arrangement of moving object particles) where the collision occurs may be changed.
  • the position distribution (arrangement of moving object particles) of the own vehicle and the moving object in which the collision has occurred is changed. Also good.
  • the laser is scanned by the laser radar 12 in front of the host vehicle in the horizontal direction, and the distance to each of the two-dimensional positions of the object as the laser irradiation position aligned in the scanning direction is measured.
  • a two-dimensional position of an existing object is detected.
  • the two-dimensional position detected by the laser radar 12 is obtained every time the laser is scanned.
  • step 100 the computer 22 acquires from the laser radar 12 data indicating the two-dimensional position (measurement distance to each two-dimensional position arranged in the scanning direction) of an object existing ahead.
  • step 102 the computer 22 acquires the vehicle speed, yaw rate, or acceleration detected by the motion sensor 14 from one hour before to the present, and based on the acquired vehicle speed, yaw rate, or acceleration, one time before To estimate the movement of the vehicle from the current to the present.
  • step 104 the computer 22 expresses the local map information updated last time in step 106, which will be described later, in the coordinate system viewed from the current host vehicle according to the motion of the host vehicle estimated in step 102. Update to local map information.
  • the computer 22 uses the two-dimensional position of the object existing in front of the host vehicle acquired in step 100, and the object existing in front of the host vehicle in the local map information updated in step 104.
  • the existence probability of the block corresponding to the two-dimensional position is increased, and the existence probability of each block existing on the straight line from the own vehicle to the two-dimensional position of the object is reduced.
  • the computer 22 records a position where no object is present on the map. Then, the computer 22 returns to step 100 above.
  • the position of the stationary object viewed from the current host vehicle is estimated at any time.
  • the generated local map information may be validated when the local map generation processing routine is repeated a predetermined number of times.
  • the computer 22 executes a danger determination processing routine shown in FIG.
  • step 120 the computer 22 acquires the front image captured by the camera 18 and the own vehicle position detected by the GPS device 20.
  • the computer 22 is based on the front image acquired in the above step 120, the own vehicle position, and the driving environment including various road segment areas and road attributes around the own vehicle based on the electronic map of the map database 38.
  • the surrounding moving object, the operating state of the moving object, the moving state, the type of the moving object, and the height of the stationary object are detected.
  • step 124 the computer 22 acquires current local map information obtained by the above-described local map generation processing routine.
  • step 125 the computer 22 detects an area where a stationary object exists from the local map information acquired in the above step 124.
  • step 126 the computer 22 determines the travel classification for each area of the road segment detected in step 122, the road attribute, the area where the stationary object detected in step 125 exists, and the type of the moving object.
  • the existence possibility map is generated based on the table in which the existence possibility corresponding to the type, road attribute, and stationary object is determined.
  • step 130 the computer 22 sets the moving object particle generation candidate area for the moving object and the own vehicle detected in step 122 in the existence possibility map generated in step 126, and sets the preset particle.
  • the moving object particles of each moving object including the host vehicle are generated so as to be the total number, and are arranged in the corresponding moving object particle generation candidate areas.
  • the computer 22 obtains a moving state distribution for each moving object based on the detected operating state and moving state, and moves the moving state for each moving object particle based on the obtained moving state distribution. Are respectively determined, and a moving state is assigned to each moving object particle.
  • the computer 22 sets a variable n for counting the number of prediction steps to an initial value 1.
  • step 134 the computer 22 moves each moving object particle according to the assigned movement state.
  • step 136 the computer 22 performs extinction and replication of the moving object particles moved in the above-mentioned step 134 according to the existence possibility of the existence possibility map, and changes the arrangement of the moving object particles.
  • step 138 the computer 22 determines the collision risk based on the overlapping frequency of the moving object particles of the other moving object and the moving object particles of the host vehicle, which have been changed in step 136. Each collision probability is calculated.
  • step 140 the computer 22 determines whether there is a moving object whose collision probability calculated in step 138 is equal to or greater than a threshold value. If there is no corresponding moving object, the computer 22 proceeds to step 144. On the other hand, when the corresponding moving object exists, in step 142, the computer 22 displays the future predicted position and warning information of the corresponding moving object on the alarm device 24, and proceeds to step 144.
  • step 144 the computer 22 determines whether or not the variable n indicating the prediction step has reached the number of steps N corresponding to the future prediction time. If the variable n has not reached the constant N, in step 146, the computer 22 increments the variable n, returns to step 134, and repeats the processing after step 134. On the other hand, when the variable n reaches the constant N, the computer 22 ends the danger determination processing routine.
  • each moving object particle is moved based on the moving state distribution of the moving object, and the area of the road segment and the area of the stationary object
  • the position distribution of each moving object is predicted by changing the arrangement of each moving object particle based on the existence possibility map in which the existence possibility of the moving object is given.
  • the collision risk determination device can accurately predict the future position of the moving object in various situations.
  • Predicting the future position of moving objects is important when estimating the risk of collision with others.
  • Moving objects are restricted in movement according to the traffic environment in which they are placed (stationary obstacles, runways such as sidewalks, roadways, and pedestrian crossings).
  • the driver changes the prediction of the future position depending on the state of the moving object (direction, gait, etc.).
  • the future position prediction of moving objects in various traffic situations, there are many combinations of traffic environments and moving objects that should be assumed, and these combinations must be prepared in advance. It is difficult.
  • the collision risk determination apparatus determines that the “movability of a moving object with respect to a place” determined only by environmental factors and “the uncertainty of movement of the moving object (moving state distribution) determined only by the state of the moving object. ) ”Is set independently, and the moving object is moved based on the moving state distribution of the moving object on the existence possibility map.
  • the collision risk determination device can predict the future position of the moving object in consideration of various combinations of traffic environments and moving object states.
  • the collision risk determination device can estimate the degree of collision risk in various traffic conditions (consisting of combinations of road environment and moving object state) by predicting the degree of collision with the own vehicle.
  • moving object particles are also generated in the blind spot area where sensor information cannot be originally obtained, thereby making it possible to determine the danger in consideration of the presence of the moving object existing in the blind spot area.
  • the second embodiment is mainly different from the first embodiment in that the roadside device predicts the future distribution of moving objects and determines the risk of collision.
  • the collision risk determination device is fixedly installed on the road side, and is installed, for example, at a main intersection. As shown in FIG. 12, the collision risk determination device 210 irradiates the front of the device that is the determination target range while scanning the laser in one dimension (horizontal direction), and the laser is irradiated by the reflection of the laser.
  • a laser radar 12 for detecting the two-dimensional position of the detected object, a camera 18 for photographing the front of the own device, a GPS device 20 for detecting the position of the own device, and the current own device based on these detection results.
  • a computer 222 that transmits a command to display a warning message to a communication device 224 in a vehicle equipped with a display device to be displayed.
  • the computer 222 includes an object position acquisition unit 30 and an existence probability changing unit 236 that changes the existence probability of a stationary object in the local map information of the coordinate system viewed from the own device based on the detected two-dimensional position of the current object. And.
  • the computer 222 includes a map database 38, an environment detection unit 40 that detects a moving object and a traveling environment around the device, a map generation unit 42, a moving object generation unit 44, a position update unit 46, Based on the distribution changing unit 48 and the arrangement of moving object particles of each moving object, the risk of colliding with other moving objects is determined for each moving object, and the determination result is displayed on a vehicle equipped with a display device. And a risk determination unit 250 that transmits a command by the communication device 224.
  • the computer 222 acquires data indicating the two-dimensional position of an object existing ahead from the laser radar 12.
  • the computer 222 increases the existence probability of the block corresponding to the two-dimensional position of the object existing in front of the own apparatus in the local map information based on the acquired two-dimensional position of the object existing in front of the own apparatus.
  • the existence probability of each block existing on the straight line from the own device to the two-dimensional position of the object is reduced.
  • the computer 222 records the position where the object is not present on the map. Then, the computer 222 returns to the first process.
  • the local map generation processing routine is repeatedly executed, so that the position of the stationary object viewed from the current device is estimated at any time.
  • the computer 222 acquires the front image captured by the camera 18 and the own device position detected by the GPS device 20.
  • the computer 222 detects the situation of the driving environment including the various road segment areas and the road attributes around the own device based on the front image acquired above, the own device position, and the electronic map of the map database 38.
  • the surrounding moving object, the moving state of the moving object, the moving state, the type of the moving object, and the height of the stationary object are detected.
  • the computer 222 acquires the current local map information obtained by the above-described local map generation processing routine.
  • the computer 222 detects the area of the stationary object based on the acquired local map information, and based on the area of the various road segments detected above, the road attributes, and the area of the stationary object detected above, An existence possibility map in which existence possibility is given to the area of the stationary object and the area of the runway section is generated.
  • the computer 222 sets the moving object particle generation candidate region for the moving object detected above in the existence possibility map generated as described above, and sets each moving object so that the total number of particles is set in advance. Of moving object particles are generated and arranged in a corresponding moving object particle generation candidate region. Further, the computer 222 obtains a moving state distribution for each moving object, determines a moving state for each moving object particle based on the obtained moving state distribution, and assigns the moving state.
  • the computer 222 sets a variable n for counting the number of prediction steps to an initial value of 1. Then, the computer 222 moves each moving object particle in accordance with the assigned movement state. Next, the computer 222 performs extinction and replication of the moving object particles moved as described above according to the existence possibility of the existence possibility map, and changes the arrangement of the moving object particles. Then, the computer 222 sets the collision risk based on the overlapping frequency of the moving object particle of the moving object to be determined and the moving object particle of another moving object, which has been changed as described above, with each moving object as the determination object. As described above, the collision probability with another moving object is calculated.
  • the computer 222 determines whether or not there is a moving object for which the collision probability calculated above is equal to or greater than a threshold value. If the corresponding moving object exists, the computer 222 uses the communication device 224 to issue a command to display the predicted future position and warning information of the corresponding moving object on the display device mounted on the moving object to be determined. Send to the moving object to be judged.
  • the computer 222 repeats the above processing until the variable n indicating the prediction step reaches the number of steps N corresponding to the future prediction time, and when the variable n reaches the constant N, the risk determination processing routine is executed. finish.
  • the roadside device can accurately predict the future positions of the surrounding moving objects for various situations. it can. Moreover, the collision risk determination device can estimate the degree of collision risk in various traffic situations by predicting the degree of collision between surrounding mobile objects.
  • the third embodiment is mainly different from the first embodiment in that the position distribution and the movement state distribution of each moving object are represented by a normal distribution.
  • the moving object generation unit 44 based on the position and size of the moving object detected by the environment detection unit 40 by the moving object generation unit 44, as illustrated in FIG.
  • the position is expressed by a two-dimensional normal distribution (average vector and variance matrix) in the vehicle center xy coordinate space, and moving object data representing the position distribution of the moving object is generated.
  • the moving object generation unit 44 records the generated moving object data on the existence possibility map.
  • the moving object generation unit 44 uses the observed value (the position of the detected moving object) as the average position vector, and sets the position covariance matrix based on the size of the detected moving object.
  • the moving object generation unit 44 determines the speed of the moving object based on the movement state and the moving state of the moving object detected by the environment detection unit 40, as shown in FIG. 13B. It is expressed by a two-dimensional normal distribution (average vector and variance matrix) and is assigned to moving object data recorded on the existence possibility map.
  • generation part 44 uses what was estimated from the pedestrian detection result (an operation state, a movement state) by the environment detection part 40 as an average vector of speed.
  • the moving object generation unit 44 sets a covariance matrix of speeds using a variance / covariance table as shown in FIG. 8 according to the average speed of pedestrians.
  • the moving object generation unit 44 generates a speed distribution of the own vehicle based on the vehicle speed detected by the motion sensor 14, generates moving object data representing the position distribution and the speed distribution of the own vehicle, and the existence possibility. Record at your vehicle location on the map.
  • ⁇ pos is a position average vector and is represented by the following equation (3)
  • ⁇ pos is a position covariance matrix and is represented by the following equation (4).
  • ⁇ vel is a velocity average vector and is expressed by the following equation (6)
  • ⁇ vel is a velocity covariance matrix and is expressed by the following equation (7).
  • the moving object generation unit 44 records moving object data also in the blind spot area specified by the environment detection unit 40 in the existence possibility map.
  • the moving object data recorded in the blind spot area includes the movement of an automobile, a two-wheeled vehicle, a pedestrian, etc. based on the detection result of the environment detection unit 40 and a predetermined IF-THEN rule as shown in FIG. A label indicating the type of object is assigned. Furthermore, a predetermined position distribution and velocity distribution are assigned to the moving object data in accordance with the type of the moving object.
  • the position update unit 46 obtains the position distribution of the moving object after ⁇ t seconds by linear prediction using the position distribution and the velocity distribution of the moving object.
  • the position average vector ⁇ pos ′ and the position covariance matrix ⁇ pos ′ of the updated position distribution are expressed by the following expressions (8) and (9).
  • the distribution changing unit 48 gives the probability density at each point (position) of the position distribution after movement to the corresponding region as shown in FIG. Weighting is performed according to the existence possibility. It should be noted that weighting may be performed using the difference or ratio of the existence possibility given to the areas before and after the movement, instead of the existence possibility given to the area of the movement point, when weighting based on the existence possibility.
  • the position distribution of the pedestrian after movement is represented by the following expression (10), and the pedestrian existence degree at the position x is Exist ped (x).
  • the position distribution after the change obtained above is used only at the time of collision determination, and the position distribution before the change is used when the moving object moves at the next time.
  • the danger determination unit 50 calculates the collision probability as the degree of danger using the position distribution of the host vehicle and the position distribution of other moving objects.
  • the collision probability is a probability (simultaneous probability) of existing at the same position at the same future time, and is obtained as follows.
  • the joint probability can be obtained as a value obtained by integrating the position distribution of the vehicle and other moving objects over the collision range (generally, this integral value is obtained by numerical integration).
  • this integral value is obtained by numerical integration.
  • the entire existence possibility map is used as the integration range.
  • the position distribution of the host vehicle is normalized to the position distribution weighted by the existence possibility as shown in the following expression (13), similarly to the above expression (12). It is expressed as
  • Ego (x) is the position distribution of the host vehicle expressed in the same manner as the above equation (2).
  • Exist ego (x) is the possibility of existence of the host vehicle at the position x.
  • the position distribution of other moving objects is expressed by the above equation (12), and the integral value to be obtained is the sum of the integrated values of all combinations of the position distributions of the host vehicle and the other moving objects, as follows: It calculates
  • D is an integration range (two-dimensional region) and is the entire region of the existence possibility map.
  • the danger determination unit 50 determines whether or not the calculated collision probability is equal to or higher than a threshold value. When there is a moving object whose collision probability is equal to or greater than the threshold, the danger determination unit 50 displays the future predicted position of the moving object, warning information, and the like on the alarm device 24 to alert the driver.
  • a series of processes by the position update unit 46, the distribution change unit 48, and the risk determination unit 50 are repeatedly executed for a preset prediction time.
  • the position distribution is moved for each moving object, and The position distribution is changed according to the possibility of existence.
  • the collision probability between the host vehicle and each moving object is calculated, and when the collision probability exceeds a threshold value, the future predicted position of the moving object in that prediction step, risk information, etc. Is displayed by the alarm device 24.
  • a laser is scanned horizontally in front of the host vehicle by the laser radar 12, and a two-dimensional position of an object existing in front of the host vehicle is detected. Then, a local map shown in FIG. A generation processing routine is executed. By repeatedly executing the local map generation processing routine, the position of the stationary object viewed from the current host vehicle is estimated at any time.
  • the computer 22 executes a danger determination processing routine shown in FIG.
  • symbol is attached
  • step 120 the computer 22 acquires a front image captured by the camera 18 and the position of the host vehicle detected by the GPS device 20.
  • step 122 the computer 22 detects the state of the driving environment including various road segment areas and road attributes around the host vehicle, and the surrounding moving object, the moving state of the moving object, the moving state, and the moving object. The type of the object and the height of the stationary object are detected.
  • step 124 the computer 22 acquires current local map information.
  • step 125 the computer 22 detects an area where a stationary object is present.
  • step 126 the computer 22 generates an existence possibility map.
  • step 300 the computer 22 represents the moving object representing the position distribution and the velocity distribution of the moving object including the own vehicle based on the operation state, the moving state, and the detection result of the motion sensor 14 detected in step 122. Data is generated and recorded on the existence possibility map.
  • the computer 22 sets a variable n for counting the number of prediction steps to an initial value 1.
  • step 302 the computer 22 calculates the position distribution of the moving object in the prediction step n for each moving object including the host vehicle based on the position distribution and the speed distribution obtained in step 300 or the previous step 302. Predict and move the position distribution of each moving object.
  • step 304 the computer 22 changes the position distribution of each moving object moved in the above step 302 according to the existence possibility of the existence possibility map.
  • step 306 the computer 22 sets the collision probability with the other moving object as the collision risk based on the position distribution of the other moving object and the position distribution of the own vehicle changed in step 304. calculate.
  • step 140 the computer 22 determines whether or not there is a moving object with the collision probability calculated in step 306 above a threshold value. If there is no corresponding moving object, the computer 22 proceeds to step 144. On the other hand, when the corresponding moving object exists, in step 142, the computer 22 displays the future predicted position and warning information of the corresponding moving object on the alarm device 24, and proceeds to step 144.
  • step 144 the computer 22 determines whether or not the variable n indicating the prediction step has reached the number of steps N corresponding to the future prediction time. If the variable n has not reached the constant N, in step 146, the computer 22 increments the variable n, returns to step 302, and repeats the processing after step 302. On the other hand, when the variable n reaches the constant N, the computer 22 ends the danger determination processing routine.
  • the position distribution of the moving object is moved based on the moving state distribution of the moving object, and the area of the runway section and the stationary object are moved.
  • the position distribution of the moving object is changed based on the existence possibility map in which the existence possibility of the moving object is given to the region, and the position distribution of the moving object is predicted.
  • the collision risk determination apparatus can accurately predict the future position of the moving object in various situations.
  • the collision risk determination device can estimate the collision risk in various traffic situations (consisting of combinations of road environment and moving object state) by predicting the degree of collision with the own vehicle.
  • the fourth embodiment is mainly different from the third embodiment in that the roadside apparatus predicts the future distribution of moving objects and determines the risk of collision.
  • the collision risk determination device 210 according to the fourth embodiment is fixedly installed on the road side, and is installed at a main intersection, for example.
  • the moving object generation unit 46, the position update unit 46, and the distribution change unit 48 of the computer 222 are the same as those in the third embodiment. Further, the risk determination unit 250 determines the risk of collision with other moving objects for each moving object based on the position distribution of each moving object, and displays the determination result in a vehicle equipped with a display device. The command is transmitted by the communication device 224.
  • the local map information processing routine according to the fourth embodiment is the same as the local map information processing routine according to the second embodiment, the description thereof is omitted.
  • the computer 222 acquires the front image captured by the camera 18 and the own device position detected by the GPS device 20.
  • the computer 222 detects the situation of the driving environment including the various road segment areas and the road attributes around the own device based on the front image acquired above, the own device position, and the electronic map of the map database 38.
  • the surrounding moving object, the operating state of the moving object, the type of the moving object, and the height of the stationary object are detected.
  • the computer 222 acquires the current local map information obtained by the above-described local map generation processing routine. Next, the computer 222 detects a region of a stationary object based on the acquired local map information.
  • the computer 222 is an existence possibility map that gives existence possibility to the area of the stationary object and the area of the road segment based on the area of the various road segments detected above, the road attribute, and the area of the stationary object detected above. Is generated.
  • the computer 222 generates moving object data representing the position distribution and velocity distribution for each moving object detected above, and records it on the existence possibility map generated above.
  • the computer 222 sets a variable n for counting the number of prediction steps to an initial value of 1. Then, the computer 222 moves the position distribution of each moving object according to the assigned velocity distribution. Next, the computer 222 changes the position distribution of the moving object moved as described above by weighting according to the existence possibility of the existence possibility map. Then, the computer 222 sets other moving objects as the collision risk based on the position distribution of the moving object to be determined and the position distribution of other moving objects, which are changed as described above, with each moving object as the determination target. The probability of collision with an object is calculated for each.
  • the computer 222 determines whether or not there is a moving object for which the collision probability calculated above is equal to or greater than a threshold value. If the corresponding moving object exists, the computer 222 uses the communication device 224 to issue a command to display the predicted future position and warning information of the corresponding moving object on the display device mounted on the moving object to be determined. Send to the moving object to be judged.
  • the computer 222 repeats the above processing until the variable n indicating the prediction step reaches the number of steps N corresponding to the future prediction time, and when the variable n reaches the constant N, the risk determination processing routine is executed. finish.
  • the roadside device can accurately predict the future position of the moving object for various situations. Further, the collision risk determination device can estimate the degree of collision risk in various traffic situations by predicting the degree of collision between surrounding mobile objects.
  • a collision risk determination device according to a fifth embodiment. Note that the configuration of the collision risk determination device according to the fifth embodiment is the same as that of the first embodiment, and therefore the same reference numerals are given and description thereof is omitted.
  • the fifth embodiment is different from the first embodiment in that the type of moving object of moving object particles arranged in the blind spot area is estimated based on the position of the blind spot area.
  • the moving object particles in the particle generation candidate area generated from the blind spot area are based on the position of the blind spot area as shown below. Then, a label indicating the type of moving object such as an automobile, a motorcycle, or a pedestrian is assigned.
  • the frequency of appearance of moving objects at the location is recorded and accumulated in advance by fixed point observation.
  • Fig. 17 record the type of moving objects passing or crossing the roadway / sidewalk along the road, stratified by season, time zone, etc., by the method of camera photography etc.
  • FIG. 18 a database storing the moving direction, the type of moving object, and the frequency is generated for each position.
  • the moving object generation unit 44 identifies the type of moving object having a high appearance frequency based on the database generated for the position of the blind spot area, and moves the moving object particles in the particle generation candidate area generated in the blind spot area. Assign a label indicating the type of the identified moving object. In addition, the moving object generation unit 44 determines a moving state based on a moving state distribution determined in advance according to the type of the specified moving object, and assigns the moving state to the moving object particles.
  • the method for estimating the type of moving object assumed in the blind spot area described in the above embodiment may be applied to the above third embodiment.
  • the estimated moving object type and the position distribution and velocity distribution corresponding to the moving object type may be assigned to the moving object data recorded in the blind spot area.
  • the configuration of the collision risk determination device according to the sixth exemplary embodiment is the same as that of the first exemplary embodiment, and thus the same reference numerals are given and description thereof is omitted.
  • the type of moving object of moving object particles arranged in the blind spot area is estimated from the peripheral information of the blind spot area based on the learning model. Is different.
  • the moving object generation unit 44 of the collision risk determination device for the moving object particles in the particle generation candidate area generated from the blind spot area, as shown below, based on the learning model, Assign a label that indicates the type of moving object, such as a car, motorcycle, or pedestrian.
  • the learning model learn the peripheral information of the blind spot area and the mapping relationship between the types of moving objects to be assumed.
  • an expert for example, a driving instructor
  • the sensor information is aggregated to obtain the peripheral information of the blind spot area.
  • blind spot product positional relationship between own vehicle and blind spot area, presence / absence of crosswalk, presence / absence of traffic light, presence / absence of stop line, presence / absence of overtaking regulation,
  • assumed output items type of moving object to be assumed in blind spot area
  • mapping relationship between various items of the peripheral information of the blind spot area and the type of moving object to be assumed in the blind spot area is learned in advance.
  • learning may be performed using a linear regression model with a fixed structure, a decision tree, a Bayesian network, or the like.
  • the moving object generation unit 44 receives the peripheral information of the blind spot area obtained from the detection result of the environment detection unit 40 as an input, acquires the type of moving object to be assumed in the blind spot area output from the neural network, A label indicating the type of the moving object is assigned to the moving object particles in the particle generation candidate region generated in (1). In addition, the moving object generation unit 44 determines a moving state based on a moving state distribution determined in advance according to the type of the specified moving object, and assigns the moving state to the moving object particles.
  • the method for estimating the type of moving object assumed in the blind spot area described in the above embodiment may be applied to the above third embodiment.
  • the estimated moving object type and the position distribution and velocity distribution corresponding to the moving object type may be assigned to the moving object data recorded in the blind spot area.
  • the seventh embodiment is different from the first embodiment in that moving object particles are arranged assuming a virtual movable object in a blind spot area where a movable object can exist.
  • the computer 722 of the collision risk determination device 710 includes an object position acquisition unit 30, a host vehicle motion estimation unit 32, a local map update unit 34, and an existence probability change.
  • a moving object generating unit 743 that arranges moving object particles on the existence possibility map, a moving object generating unit 44, a position updating unit 46, a distribution changing unit 48, and a risk determining unit 50.
  • the virtual movable object generation unit 743 is an example of a virtual movable object generation unit and a virtual movable object recording unit.
  • the blind spot area specifying unit 742 is based on the blind spot area formed by the stationary object seen from the vehicle in the local map information detected by the environment detection unit 40 and the map database. Identify blind spot areas where animals can exist. In addition, the blind spot area specifying unit 742 sets the blind spot distance of the specified blind spot area to the blind spot distance d of the blind spot area (if the blind spot area is a road, the blind spot area indicates the road width). Based on this, as shown in FIG. 23, the pedestrian's existence possibility and the vehicle's existence possibility are set.
  • the blind spot area specifying unit 742 sets the pedestrian existence possibility to 1.0 when the blind spot distance d is less than or equal to the threshold value Dx1, and when the blind spot distance d is greater than the threshold value Dx1, the pedestrian. Is set to 0.8. As a result, the blind spot area specifying unit 742 can set the pedestrian presence possibility higher as the blind spot distance d is smaller. In addition, the blind spot area specifying unit 742 sets the vehicle existence possibility to 0.2 when the blind spot distance d is equal to or less than the threshold value Dx1, and the presence of the vehicle when the blind spot distance d is greater than the threshold value Dx1. Set the likelihood to 1.0. Accordingly, the blind spot area specifying unit 742 can set the vehicle existence possibility higher as the blind spot distance d is larger. Note that the blind spot distance d of the blind spot area may be obtained using the road width information database of the navigation system.
  • the virtual movable object generation unit 743 sets a blind spot area where the identified movable object can exist in the existence possibility map as a particle generation candidate area.
  • the virtual movable object generation unit 743 generates and arranges a plurality of moving object particles with respect to the particle generation candidate area in the blind spot area by using a random number generator so that the total number of particles designed in advance is obtained.
  • the arrangement position of the moving object particles is determined based on the position of a virtual movable object described later.
  • the virtual movable object generation unit 743 generates a type of virtual movable object (for example, for the moving object particles in the particle generation candidate area generated from the blind spot area, based on the blind spot distance d described above, for example, (Pedestrian, vehicle) is determined, and a label indicating the determined type of virtual movable object is assigned to the moving object particle. For example, when the blind spot distance d is less than or equal to the threshold Dx2, the virtual movable object generation unit 743 determines that the type of the virtual movable object is a pedestrian, and when the blind spot distance d is greater than the threshold Dx2. The virtual movable object generation unit 743 determines that the type of the virtual movable object is a vehicle.
  • a type of virtual movable object for example, for the moving object particles in the particle generation candidate area generated from the blind spot area, based on the blind spot distance d described above, for example, (Pedestrian, vehicle) is determined, and a label indicating the determined type of virtual movable object
  • the virtual movable object generation unit 743 calculates the position, operation state, and movement state of the virtual movable object on the assumption that the virtual movable object assumed in the blind spot area jumps out and collides with the host vehicle. Based on the calculated operation state and movement state of the virtual movable object, the movement state of the virtual movable object is set as a distribution.
  • the pop-up position of a virtual movable object (for example, a pedestrian) is set as Wp, the pop-up speed is fixed as Vp, the current speed of the own vehicle is v, and the cross is assumed to collide with the own vehicle.
  • the distance to the point is d
  • the virtual movable object generation unit 743 always moves the virtual movable object based on the position (dp, Wp) in the blind spot area at each calculation time. While arranging the particles, the distribution of the moving state of the moving object particles of the virtual movable object is set based on the velocity Vp.
  • the position and movement state of the virtual movable object are set assuming the worst case in which a moving object that always collides with the vehicle at the cross point pops out.
  • identification information for identifying the virtual movable object is assigned to the moving object particle.
  • a moving object particle to which the same identification information is assigned is generated for a particle generation candidate area generated for one virtual movable object.
  • step 120 the computer 722 acquires a front image photographed by the camera 18 and the own vehicle position detected by the GPS device 20.
  • the computer 722 detects the conditions of the driving environment including the areas of the various road segments around the host vehicle and the road attributes, and the surrounding moving object, the moving state of the moving object, the moving state, Detect the type and height of stationary objects.
  • step 124 the computer 722 acquires current local map information obtained by the above-described local map generation processing routine.
  • the computer 722 detects an area where a stationary object exists from the local map information acquired in step 124.
  • the computer 722 generates an existence possibility map.
  • the computer 722 specifies the blind spot area where the movable object can exist, and sets the existence possibility of the blind spot area in the existence possibility map.
  • the computer 722 sets the blind spot area in the existence possibility map as a moving object particle generation candidate area. Further, the computer 722 determines the type of the virtual movable object based on the blind spot distance of the blind spot area specified in step 760, and calculates the position and movement state of the virtual movable object. The computer 722 generates the moving object particles of the virtual movable object so that the total number of particles is set in advance, and moves the moving object particles to the moving object particle generation candidate region according to the calculated position of the virtual movable object. Deploy.
  • the computer 722 obtains a moving state distribution for the virtual movable object based on the calculated moving state, and determines a moving state for each moving object particle based on the obtained moving state distribution. Then, a moving state is assigned to each moving object particle.
  • step 130 the computer 722 sets a moving object particle generation candidate region for the moving object and the own vehicle in the existence possibility map, and generates moving object particles of each moving object including the own vehicle, and the corresponding movement.
  • the object particle generation candidate area is arranged. Further, the computer 722 obtains a moving state distribution for each moving object, and assigns a moving state to each moving object particle based on the obtained moving state distribution.
  • the computer 722 sets a variable n for counting the number of prediction steps to an initial value 1.
  • step 134 the computer 722 moves each moving object particle including the moving object particles with respect to the virtual movable object according to the assigned movement state.
  • step 136 the computer 722 erases and duplicates the moving object particles moved in step 134 according to the existence possibility of the existence possibility map, and changes the arrangement of the moving object particles.
  • step 138 the computer 722 determines the collision risk based on the overlapping frequency of the moving object particles of the other moving object and the moving object particles of the own vehicle, which are changed in the above step 136. Each collision probability is calculated.
  • step 140 the computer 722 determines whether there is a moving object whose collision probability calculated in step 138 is equal to or greater than a threshold value. If there is no corresponding moving object, the computer 722 proceeds to step 144. On the other hand, when the corresponding moving object exists, in step 142, the computer 722 displays the future predicted position and warning information of the corresponding moving object on the alarm device 24, and proceeds to step 144.
  • step 144 the computer 722 determines whether or not the variable n indicating the prediction step has reached the number N of steps corresponding to the future prediction time. If the variable n has not reached the constant N, in step 146, the variable n is incremented, the process returns to step 134, and the processes after step 134 are repeated. On the other hand, when the variable n reaches the constant N, the danger determination processing routine is terminated.
  • the position distribution of the virtual movable object that is assumed to be present in the blind spot area is moved based on the assumed movement state distribution.
  • the position distribution is changed based on the existence possibility map in which the existence possibility of the moving object is given to the area of the road segment, the area of the stationary object, and the blind spot area.
  • the collision risk determination device can determine the collision risk at the time of passing through the blind spot that is not actually manifested by arranging the moving object particles with respect to the virtual movable object in the blind spot area.
  • the position of the virtual movable object is calculated so as to collide with the host vehicle at the cross point when the pop-out speed is fixed has been described as an example, but the present invention is not limited thereto. It is not a thing.
  • the position of the virtual movable object may be calculated on the assumption that the blind spot area always pops out from the position closest to the cross point. For example, when the distance between the blind spot area and the cross point is dp and the pop-out position is Wp, the position of the virtual movable object is calculated as the position (dp, Wp).
  • the method of generating and predicting a virtual movable object assumed in the blind spot area described in the above embodiment may be applied to the above second embodiment.
  • the method of generating and predicting a virtual movable object assumed in the blind spot area described in the above embodiment may be applied to the above third embodiment.
  • the virtual movable object generation unit 743 records virtual movable object data in the blind spot area where the identified movable object can exist in the existence possibility map. Further, the virtual movable object generation unit 743 calculates the position and movement state of the assumed virtual movable object, and expresses the position of the virtual movable object as a two-dimensional normal distribution in the vehicle center xy coordinate space. Virtual movable object data representing the position distribution of the virtual movable object is generated and recorded on the existence possibility map.
  • the assumed position of the virtual movable object is used as the average vector of the positions, and the covariance matrix of the position is set based on the size of the virtual movable object obtained in advance.
  • the virtual movable object generation unit 743 represents the speed of the moving object based on the assumed moving state of the virtual movable object by a two-dimensional normal distribution in the vehicle center xy coordinate space, and the existence possibility Assign to virtual movable object data recorded on the map.
  • the calculated speed of the virtual movable object is used as the average vector of the speed.
  • a covariance matrix of speeds is set using a variance / covariance table as shown in FIG. 8 according to the average speed of pedestrians.
  • the movement state distribution of the moving object may be detected and used. Moreover, you may use the movement state distribution which the designer defined beforehand for every kind of moving object.
  • the moving state can be determined by using a predetermined average speed for each type of moving object. A distribution may be obtained.
  • the motion of the host vehicle is estimated using the detection result of the motion sensor. It may be estimated. Further, for example, the motion of the host vehicle may be estimated using the detection result of the host vehicle position by the GPS device. Further, the motion of the host vehicle may be estimated by combining the detection results of the laser radar, the motion sensor, and the GPS device.
  • the present invention is not limited to this, and the position of the object is determined by scanning electromagnetic waves such as millimeter waves forward. You may make it detect.
  • the present invention is not limited to this.
  • the position may be detected.
  • the blind spot area viewed from the host vehicle may be specified by stereo technology using a camera.
  • a computer readable medium includes a computer that detects a position of a moving object and an operation state or a moving state from a detection target range, a region of a plurality of types of runway sections from the detection target range, and An area detection unit for detecting a region of a stationary object, and an existence indicating whether or not a moving object is present or difficult to exist with respect to the region of the roadway detected by the region detection unit and the region of the stationary object
  • the computer-readable medium is a computer-readable medium having an area detection unit that detects a plurality of types of road segment areas and a stationary object area from a detection target range, and the road segment classification detected by the area detection unit.
  • a map generation unit that generates an existence possibility map that gives an existence possibility representing the ease of existence or difficulty of existence of a moving object with respect to the region and the region of the stationary object, and the movable object from the detection target range
  • a blind spot area identifying unit that identifies a blind spot area that can exist, a virtual movable object generating part that generates a virtual movable object that is assumed to exist within the blind spot area identified by the blind spot area identifying unit, and the virtual movable object generating unit Assuming the position of the virtual movable object and the operation state or the movement state, the position distribution and the movement state distribution of the virtual movable object are generated for the virtual movable object generated by , Based on the moving state distribution of the virtual movable object recording unit and the virtual

Abstract

 環境検出部(40)によって、移動物の位置、動作状態、及び移動状態を検出すると共に、複数種類の走路区分の領域及び静止物の領域を検出する。マップ生成部(42)によって、検出された走路区分の領域及び静止物の領域に対して存在可能度を与えた存在可能度マップを生成する。移動物生成部(44)によって、検出された移動物の位置、動作状態、及び移動状態に基づいて、移動物の位置分布及び移動状態分布を生成して、存在可能度マップに記録する。位置更新部(46)によって、移動物の移動状態分布に基づいて、移動物の位置分布を移動させ、分布変更部(48)によって、移動させた位置分布を、存在可能度マップの存在可能度に基づいて変更して、存在可能度マップ上の移動物の将来の位置分布を予測する。これによって、様々な状況において、移動物の将来の位置を精度よく予測することができるようにする。

Description

移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法
 本発明は、移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法に係り、特に、移動物の将来の位置を予測する移動物予測装置、プログラム、及び移動物予測方法、並びに、仮想可動物の将来の位置を予測する仮想可動物予測装置、プログラム、及び仮想可動物予測方法に関する。
 従来より、物体が時間の経過とともに取りうる位置の変化を、時空間上での軌跡として生成し、物体の進路の確率的な予測を行う物体進路予測装置が知られている(特開2007-233646号公報)。この物体進路予測装置では、現実として起こりうる状況下においても、安全性を確保できる軌道を生成している。
 また、実際の環境下での経験をシステムが自律的に学習し、多様な外界環境に対して危険度の認識を可能とするオンラインリスク学習システムが知られている(特開2008-238831号公報)。このオンラインリスク学習システムは、画像の特徴量を自動抽出し、運転者の運転操作との関係を学習しておくことで、実現されている。
 また、交差点や合流点において自車両が衝突危険度の高い状況下にあるときに、運転者に対して警告することにより、自車両の衝突を予防する交差点衝突予防装置が知られている(特開2005-173703号公報)。この交差点衝突予防装置は、交差点での事故形態をデータベースで持ち、センサ情報に基づいて検索してスコア付けを行うことで、実現されている。
 しかしながら、上記の特開2007-233646号公報に記載の技術では、移動物が移動できる領域に対する制限について明確にされておらず、どこにでも移動物の移動が可能となっているため、移動物の将来の位置を精度良く予測することができない、という問題がある。
 また、上記の特開2008-238831号公報に記載の技術では、運転者が運転行動を変えるような操作を行う傾向がない限りはリスク評価を行うことができないため、移動物の将来の位置を予測することができない場合がある、という問題がある。
 また、上記の特開2005-173703号公報に記載の技術では、交差点や合流点での様々な交通状況におけるリスクを表わすデータベースを必要としており、必ずしも実際に起こる全ての状況に対して対処できるとは限らない、という問題がある。また、リスク評価は設計者のスコア付けに基づいているため、物理的な意味を持たない。
 本発明は、上記の問題点を解決するためになされたもので、様々な状況において、移動物の将来の位置を精度よく予測することができる移動物予測装置、プログラム、及び移動物予測方法を提供することを目的とする。
 また、仮想可動物の将来の位置を精度よく予測することができる仮想可動物予測装置、プログラム、及び仮想可動物予測方法を提供することを目的とする。
 上記の目的を達成するために本発明の第1の態様は、検出対象範囲から、移動物の位置、及び動作状態又は移動状態を検出する移動物検出部と、前記検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する領域検出部と、前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するマップ生成部と、前記移動物検出部によって検出された前記移動物の位置、及び動作状態又は移動状態に基づいて、前記移動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する移動物記録部と、前記移動物の移動状態分布に基づいて、前記移動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記移動物の将来の位置分布を予測する予測部と、を含んで構成されている。
 また、本発明の第2の態様は、コンピュータを、検出対象範囲から、移動物の位置、及び動作状態又は移動状態を検出する移動物検出部、前記検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する領域検出部、前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するマップ生成部、前記移動物検出部によって検出された前記移動物の位置、及び動作状態又は移動状態に基づいて、前記移動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する移動物記録部、及び前記移動物の移動状態分布に基づいて、前記移動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記移動物の将来の位置分布を予測する予測部として機能させるためのプログラムである。
 本発明の第1の態様及び第2の態様によれば、移動物検出部によって、検出対象範囲から、移動物の位置、及び動作状態又は移動状態を検出する。領域検出部によって、検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する。
 そして、マップ生成部によって、領域検出部によって検出された走路区分の領域及び静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成する。移動物記録部によって、移動物検出部によって検出された移動物の位置、及び動作状態又は移動状態に基づいて、移動物の位置分布及び移動状態分布を生成して、存在可能度マップに記録する。
 そして、予測部によって、移動物の移動状態分布に基づいて、移動物の位置分布を移動させると共に、移動させた位置分布を、存在可能度マップの存在可能度に基づいて変更して、存在可能度マップ上の移動物の将来の位置分布を予測する。
 このように、移動物の移動状態分布に基づいて、位置分布を移動させると共に、走路区分の領域及び静止物の領域に対して移動物の存在可能度を与えた存在可能度マップに基づいて位置分布を変更することにより、様々な状況において、移動物の将来の位置を精度よく予測することができる。
 本発明の第3の態様によれば、位置分布は、複数の移動物粒子で表わされ、予測部は、移動物の移動状態分布に基づいて、移動物の位置分布を表わす複数の移動物粒子の各々を移動させると共に、存在可能度マップの存在可能度に基づいて、移動させた移動物粒子を消滅させて他の移動物粒子を複製することにより、移動物の位置分布を変更して、存在可能度マップ上の移動物の将来の位置分布を予測する。
 本発明の第4の態様によれば、位置分布は、確率分布で表わされ、予測部は、移動物の移動状態分布に基づいて、移動物の位置分布を表わす確率分布を移動させると共に、存在可能度マップの存在可能度に基づいて、移動させた確率分布を重み付けすることにより、移動物の位置分布を変更して、存在可能度マップ上の移動物の将来の位置分布を予測する。
 本発明の第5の態様によれば、領域検出部は、更に、走路区分の種別及び静止物の高さを検出し、マップ生成部は、走路区分の領域に対して、走路区分の種類に応じた存在可能度を与え、静止物の領域に対して、静止物の高さに応じた存在可能度を与えて、存在可能度マップを生成する。これによって、移動物の将来の位置をより精度よく予測することができる。
 本発明の第6の態様によれば、移動物検出部は、検出対象範囲から、移動物の位置、及び動作状態又は移動状態と共に、移動物の種類を検出し、マップ生成部は、移動物の種類毎に存在可能度を与えた存在可能度マップを生成する。これによって、移動物の将来の位置をより精度よく予測することができる。
 本発明の第7の態様によれば、予測部は、移動物の移動状態分布に基づいて、移動物の位置分布を移動させると共に、移動させた位置分布を、位置分布に対応する領域に与えられた存在可能度の大きさ、又は位置分布に対応する領域及び移動前の位置分布に対する領域に与えられた存在可能度の差もしくは比に基づいて変更して、存在可能度マップ上の移動物の将来の位置分布を予測する。
 本発明の第8の態様によれば、移動物予測装置は、予測部によって予測された、算出対象の移動物の位置分布と、算出対象の移動物以外の移動物の位置分布とに基づいて、算出対象の移動物と算出対象の移動物以外の移動物との衝突危険度を算出する危険度算出部を更に含む。
 本発明の第9の態様によれば、移動物記録部は、検出された静止物の領域と、自装置を搭載した移動物の位置とに基づいて、自装置を搭載した移動物から見たときの静止物によって形成された死角領域を特定し、特定された死角領域内に存在すると想定される移動物の位置分布及び移動状態分布を生成して、存在可能度マップにおける、特定された死角領域内に、生成された移動物の位置分布及び移動状態分布を記録する。
 本発明の第10の態様によれば、上記の死角領域を特定する移動物記録部は、検出された静止物の領域と、自装置を搭載した移動物の位置とに基づいて、死角領域を特定し、検出対象範囲の移動物の移動環境を検出する移動環境検出部によって検出された前記移動環境のうちの特定された死角領域の周辺の移動環境、又は特定された死角領域の位置に基づいて、特定された死角領域内に存在すると想定される移動物の種類を推定すると共に、死角領域内の移動物の位置分布及び移動状態分布を生成して、存在可能度マップにおける、特定された死角領域内に、生成された移動物の位置分布及び移動状態分布を記録する。
 本発明の第11の態様によれば、移動物予測装置は、自装置を搭載した移動物から見て、検出対象範囲に存在する物体の位置を検出する物体位置検出部と、自装置を搭載した移動物の運動を推定する運動推定部と、前回更新された地図情報を、運動推定部によって推定された自装置を搭載した移動物の現在の運動に基づいて、現在の前記自装置を搭載した移動物から見た地図情報に繰り返し更新する地図更新部と、地図更新部によって地図情報が更新される毎に、更新された地図情報に、物体位置検出部によって検出された現在の物体の位置に対応するブロックに、静止物の存在を記録すると共に、自装置を搭載した移動物から検出された現在の物体の位置までの間に対応する各ブロックにおける静止物の存在の記録を減少させる静止物記録部と、を更に含み、領域検出部は、地図情報に基づいて、静止物の領域を検出する。
 本発明の第12の態様は、検出対象範囲から、移動物の位置、及び動作状態又は移動状態を検出すると共に、複数種類の走路区分の領域及び静止物の領域を検出するステップと、検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するステップと、検出された前記移動物の位置、及び動作状態又は移動状態に基づいて、前記移動物の位置分布及び移動状態分布を生成し、更に、前記移動物の移動状態分布に基づいて、前記移動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記移動物の将来の位置分布を予測するステップと、を含む。
 本発明の第13の態様は、検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する領域検出部と、前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するマップ生成部と、前記検出対象範囲から、可動物が存在し得る死角領域を特定する死角領域特定部と、前記死角領域特定部によって特定された死角領域内に存在すると想定される仮想可動物を生成する仮想可動物生成部と、前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物の位置、及び動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する仮想可動物記録部と、前記仮想可動物の移動状態分布に基づいて、前記仮想可動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記仮想可動物の将来の位置分布を予測する予測部と、を含んで構成されている。
 本発明の第14の態様は、コンピュータを、検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する領域検出部、前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するマップ生成部、前記検出対象範囲から、可動物が存在し得る死角領域を特定する死角領域特定部、前記死角領域特定部によって特定された死角領域内に存在すると想定される仮想可動物を生成する仮想可動物生成部、前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物の位置、及び動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する仮想可動物記録部、及び前記仮想可動物の移動状態分布に基づいて、前記仮想可動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記仮想可動物の将来の位置分布を予測する予測部として機能させるためのプログラムである。
 本発明の第13の態様及び第14の態様によれば、領域検出部によって、検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する。マップ生成部によって、前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成する。
 そして、死角領域特定部によって、前記検出対象範囲から、可動物が存在し得る死角領域を特定する。仮想可動物生成部によって、前記死角領域特定部によって特定された死角領域内に存在すると想定される仮想可動物を生成する。仮想可動物記録部によって、前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物の位置、及び動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する。
 そして、予測部によって、前記仮想可動物の移動状態分布に基づいて、前記仮想可動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記仮想可動物の将来の位置分布を予測する。
 このように、死角領域内に存在すると想定される仮想可動物について、想定される移動状態分布に基づいて、位置分布を移動させると共に、走路区分の領域及び静止物の領域に対して移動物の存在可能度を与えた存在可能度マップに基づいて位置分布を変更することにより、様々な状況において、仮想可動物の将来の位置を精度よく予測することができる。
 本発明の第15の態様によれば、死角領域特定部は、前記死角領域を特定すると共に、前記存在可能度マップにおける前記死角領域の存在可能度を、前記死角領域の距離に基づいて設定する。
 本発明の第16の態様によれば、仮想可動物記録部は、前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物の位置、及び動作状態又は移動状態を想定すると共に、前記仮想可動物が存在する前記死角領域の距離に基づいて、前記仮想可動物の種類を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する。
 本発明の第17の態様によれば、前記仮想可動物記録部は、前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物が前記死角領域から飛び出したときに自装置を搭載した移動物と衝突するように、前記仮想可動物の位置、及び動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する。
 本発明の第18の態様によれば、仮想可動物記録部は、前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物が前記死角領域から飛び出したときに自装置を搭載した移動物と衝突することが想定される位置に最も近い、前記死角領域内の位置を、前記仮想可動物の位置として想定すると共に、前記仮想可動物が前記死角領域から飛び出したときに自装置を搭載した移動物と衝突するように、前記仮想可動物の動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する。
 本発明の第19の態様は、検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出するステップと、前記検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するステップと、前記検出対象範囲から、可動物が存在し得る死角領域を特定するステップと、前記特定された死角領域内に存在すると想定される仮想可動物を生成するステップと、前記生成された前記仮想可動物に対し、前記仮想可動物の位置、及び動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録するステップと、前記仮想可動物の移動状態分布に基づいて、前記仮想可動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記仮想可動物の将来の位置分布を予測するステップと、を含む。
 以上説明したように、本発明の一態様である移動物予測装置、プログラム、及び移動物予測方法によれば、移動物の移動状態分布に基づいて、位置分布を移動させると共に、走路区分の領域及び静止物の領域に対して移動物の存在可能度を与えた存在可能度マップに基づいて位置分布を変更することにより、様々な状況において、移動物の将来の位置を精度よく予測することができる、という効果が得られる。
 また、本発明の一態様である仮想可動物予測装置、プログラム、及び仮想可動物予測方法によれば、死角領域内に存在すると想定される仮想可動物について、想定される移動状態分布に基づいて、位置分布を移動させると共に、走路区分の領域及び静止物の領域に対して移動物の存在可能度を与えた存在可能度マップに基づいて位置分布を変更することにより、様々な状況において、仮想可動物の将来の位置を精度よく予測することができる、という効果が得られる。
本発明の第1の実施の形態に係る衝突危険判定装置を示すブロック図である。 走行環境の例を示すイメージ図である。 初期状態における局所地図情報を示すイメージ図である。 レーザレーダによる検出結果が記録された局所地図情報を示すイメージ図である。 走行環境の例を示すイメージ図である。 歩行者に対する存在可能度を表わす存在可能度マップの例を示すイメージ図である。 自車両に対する存在可能度を表わす存在可能度マップの例を示すイメージ図である。 歩行者に対する存在可能度を定めたテーブルの例を示す図である。 自車両に対する存在可能度を定めたテーブルの例を示す図である。 存在可能度マップ上に移動物粒子を配置した様子を示す図である。 移動及び変更された移動物粒子の配置を示す図である。 移動及び変更された移動物粒子の配置を示す図である。 平均速度に応じた速度共分散行列を定めたテーブルの例を示す図である。 IF-THENルールの例を示す図である。 本発明の第1の実施の形態に係る衝突危険判定装置における局所地図生成処理ルーチンの内容を示すフローチャートである。 本発明の第1の実施の形態に係る衝突危険判定装置における危険判定処理ルーチンの内容を示すフローチャートである。 本発明の第2の実施の形態に係る衝突危険判定装置を示すブロック図である。 位置分布の例を示すイメージ図である。 速度分布の例を示すイメージ図である。 位置分布が移動する様子を示すイメージ図である。 移動後の位置分布に対する重み付けを説明するための図である。 本発明の第3の実施の形態に係る衝突危険判定装置における危険判定処理ルーチンの内容を示すフローチャートである。 定点観測を行っている様子を示す図である。 データベースの例を示す図である。 周辺情報入力と想定出力とを格納したテーブルを示す図である。 ニューラルネットワークを示す図である。 本発明の第7の実施の形態に係る衝突危険判定装置を示すブロック図である。 死角領域を説明するための図である。 死角距離と存在可能度との対応を示す図である。 死角距離と仮想可動物の種類との対応を示す図である。 想定される仮想可動物の位置及び速度を算出する方法を説明するための図である。 本発明の第7の実施の形態に係る衝突危険判定装置における危険判定処理ルーチンの内容を示すフローチャートである。 想定される仮想可動物の位置及び速度を算出する方法を説明するための図である。
 以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載された衝突危険判定装置に、本発明を適用した場合を例に説明する。
 図1に示すように、第1の実施の形態に係る衝突危険判定装置10は、判定対象範囲である自車両の前方に対してレーザを1次元(水平方向)に走査しながら照射し、レーザの反射によりレーザが照射された物体の2次元位置を検出するレーザレーダ12と、自車両の運動状態を検出する運動センサ14と、自車両の前方を撮影するカメラ18と、判定対象物である自車両の位置を検出するGPS装置20と、これらの検出結果に基づいて、現在の自車両から見た前方の静止物の存在を記録した局所地図情報を生成すると共に、移動物との衝突の危険性を判定し、衝突の危険性がある場合に、警報装置24によって警報を行うコンピュータ22とを備えている。
 また、レーザレーダ12は、車両前方に設置され、装置を基準とする車両前方に存在する物体までの距離を検出する装置である。レーザレーダ12は、出力するレーザを水平方向に走査することで、レーザの反射により自車両前方に存在する複数の物体表面上の複数の点の位置を検出することができる。レーザレーダ12による検出結果は、自車両前方に存在する物体表面のある点の位置を表す2次元座標の集合である。レーザレーダ12による検出処理は一定サイクルで実行される。レーザレーダ12は、各時点での自車両前方に存在する物体表面の複数の点の2次元位置を示すデータをコンピュータ22に出力する。なお、レーザレーダ12は、物体位置検出部の一例である。
 運動センサ14は、自車両の速度を計測する車速センサ、ヨーレートを計測するジャイロセンサ、又は自車両の加速度を計測する加速度センサで構成されている。
 カメラ18は、小型のCCDカメラ又はCMOSカメラで構成され、車両の前方を撮影するように車両のフロントウィンドウ上部等に取り付けられている。カメラ18で撮影された前方の道路状況等の画像データは、コンピュータ22に入力される。
 コンピュータ22は、CPU、後述する局所地図生成処理ルーチン及び危険判定処理ルーチンの各々を実行するためのプログラムを記憶したROM、データ等を記憶するRAM、及びこれらを接続するバスを含んで構成されている。このコンピュータ22をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図1に示すように、レーザレーダ12により検出された物体の2次元位置を取得する物体位置取得部30と、運動センサ14により検出された車速、ヨーレート、又は加速度に基づいて、自車両の運動を推定する自車運動推定部32と、自車両の運動に基づいて、一時刻前までの局所地図情報を現在の自車両から見た座標系の局所地図情報に更新する局所地図更新部34と、検出された現在の物体の2次元位置に基づいて、更新された局所地図情報における静止物の存在確率を変更する存在確率変更部36と、を備えている。なお、存在確率変更部36は、静止物記録部の一例である。
 自車運動推定部32は、局所地図情報が前回更新されてから現在までの間における、運動センサ14により検出された車速、ヨーレート、又は加速度に基づいて、局所地図情報が前回更新されてから現在までの自車両の運動を推定する。
 局所地図更新部34は、一時刻前までに更新された局所地図情報を、推定された自車両の運動に従って、現在の自車から見た座標系へと変換することで、現在の自車両から見た前方領域を表わす局所地図情報を生成する。また、局所地図更新部34は、局所地図情報の更新を繰り返し行う。局所地図情報は、図2Bに示すように、自車両前方の一定領域内を、一定の大きさの格子(ブロック)によって分割した複数のブロックで表される地図である。各ブロックにはその位置に静止物が存在する確率が記録され、初期状態では、図2Bに示すように、存在確率として初期値である0.5(中間値)が記録されている。
 存在確率変更部36は、局所地図更新部34により局所地図情報が更新される毎に、物体位置取得部30によって取得された現在の物体の2次元位置それぞれに基づいて、更新された局所地図情報において、その物体の2次元位置に対応するブロックの存在確率を増加させる。また、存在確率変更部36は、自車両からその物体の2次元位置までの直線上に存在する各ブロックの存在確率を減少させる。このように存在確率を変更することにより、一定期間以上、対応する位置で物体が検出されたブロックの存在確率は高くなり、物体が一時的にしか検出されないブロックの存在確率は低くなる。図2Aに示すような走行環境である場合、図2Cに示すように、例えば、静止物が確実に存在する位置のブロックには存在確率として1(最大値)が記録され、静止物が存在しない位置のブロックには存在確率として0(最小値)が記録される。また、他の物体によって隠されているなどの原因によって、その位置の情報が得られていないブロック(死角領域のブロック)には、存在確率として初期値である0.5(中間値)が記録される。
 この結果、多くの移動物が存在する走行環境においても、比較的長時間同じ位置に観測される路側物などの静止物のみを安定して検出可能である。また、現在までレーザレーダ12により観測できていない部分(不可視領域)も、存在確率が初期値(0.5)のままのブロックとして検出可能である。また、レーザレーダ12の計測点がほとんど得られない遠方領域は、初期値から変化しないので、死角領域とみなすことができる。
 また、コンピュータ22は、電子地図を記憶した地図データベース38と、カメラ18によって撮影された前方画像、生成された局所地図情報、記憶された電子地図、及びGPS装置20によって検出された自車両の位置に基づいて、自車両周辺の移動物、移動物の状態、及び走行環境の状況を検出する環境検出部40と、検出された走行環境の状況に基づいて、移動物の種別毎に存在可能度を表わした存在可能度マップを生成するマップ生成部42と、移動物を表わすデータとしての移動物粒子を複数生成すると共に、各移動物粒子に、移動物の移動状態分布に応じた移動状態を付与して、検出された移動物の位置の分布を表わすように存在可能度マップ上に配置する移動物生成部44と、移動状態に基づいて、各移動物粒子を移動させる位置更新部46と、存在可能度マップに基づいて消滅及び複製して移動物粒子の配置を変更する分布変更部48と、各移動物の移動物粒子の配置に基づいて、自車両と移動物との衝突の危険性を判定して、判定結果を警報装置24により出力する危険判定部50とを備えている。
 位置更新部46、分布変更部48、及び危険判定部50による一連の処理は、繰り返し実行される。なお、環境検出部40は、移動物検出部、領域検出部、及び移動環境検出部の一例である。また、位置更新部46及び分布変更部48は、予測部の一例である。危険判定部50は、危険度算出部の一例である。
 地図データベース38に記憶されている電子地図には、道路形状や標識表示、建造物に関する情報が格納されている。
 環境検出部40は、GPS装置20によって検出された自車位置に基づいて、地図データベース38の電子地図から、自車両周辺の走行区分(車線、歩道、横断歩道など)及び走路区分の領域や、標識表示(信号、一時停止など)、建造物に関する情報を検出する。また、地図データベース38の電子地図から、自車両の周辺地域種別(スクールゾーン、商店街、住宅街など)や、道路属性(車線数、車線幅、中央分離帯の有無)を検出する。
 また、環境検出部40は、局所地図情報から、静止物(ガードレール、植込み、建物、駐停車車両など)が存在する領域を検出する。また、カメラ18によって撮影された前方画像から、各静止物の高さを検出する。
 また、環境検出部40は、局所地図情報において、自車位置と静止物の位置とに基づいて、自車から見た静止物によって形成される死角領域を特定する。
 また、環境検出部40は、カメラ18によって撮影された前方画像から、学習型のパターン認識技術(例えば、SVM)によって、前方に存在する移動物の位置や大きさ、移動物の種類(例えば、歩行者、二輪車、自動車等)、動作状態(向き、歩様など)、及び移動状態(速度など)を検出すると共に、前方の道路における各種の走路区分の種別(車線、歩道、横断歩道、信号、一時停止線など)及び領域を検出する。なお、環境検出部40は、連続する局所地図情報の時間差分をとることによって、移動している可動物と静止している可動物とを識別して、移動物が存在する領域を特定し、特定された移動物が存在する領域と、検出された移動物の種類とを対応付ける。
 マップ生成部42は、検出した走路区分の領域、静止物の領域、道路属性等に基づいて、移動物の種別毎に存在可能度マップを生成する。例えば、図3に示すような走行環境(車道は片側1車線であり、歩道と車道が高さ0.2[m]の縁石によって区切られている)、及び歩道を歩行中の歩行者が存在する状況では、マップ生成部42は、図4Aに示すような、歩行者に対する存在可能度マップを生成する。また、マップ生成部42は、図4Bに示すような、自車両に対する存在可能度マップを生成する。
 存在可能度マップでは、各種走路区分の領域、及び静止物の領域に対して、存在可能度が与えられている。ここでは、存在可能度は、対象領域に対する歩行者、自車の存在し易さを0.0から1.0で表す。走路区分の存在可能度は、例えば、走路区分及び道路属性の組み合わせに応じて定められ、予めテーブルとして用意しておく。例えば、歩行者に対する存在可能度として、図5に示すようなテーブルを用意しておき、自車両に対する存在可能度として、図6に示すようなテーブルを用意しておく。
 また、歩行者に対する静止物の領域の存在可能度は、静止物の高さh([m])に応じて算出するものとし、例えば、以下の(1)式に従って、存在可能度が算出される。
存在可能度=1.0-min(h,1.0)   ・・・(1)
 ただし、min(a,b)は、a,bのうち小さいものを返す関数である。
 また、自車両に対する静止物の存在可能度として、例えば、0.0が与えられている。
 移動物生成部44は、存在可能度マップにおいて、特定された移動物が存在する領域を、粒子生成候補領域とし、死角領域も粒子生成候補領域とする。また、自車両が存在する領域も、粒子生成候補領域とする。また、移動物生成部44は、予め設計された粒子総数となるように、乱数発生器を用いて、図7Aに示すように、各粒子生成候補領域に対して複数の移動物粒子を生成して配置する。
 また、移動物生成部44は、検出した移動物の動作状態及び移動状態に基づき、移動物の移動状態を分布として設定する。移動物生成部44は、移動状態として用いる物理量として、向きと、速度、加速度のいずれかもしくは両方とを設定する。
 たとえば、歩行者の速度が大きい程、直進性が強く、移動の不確実性は低いと考えられるので、移動物生成部44は、図8に示すような歩行者の平均速度に応じた分散・共分散のテーブルを利用して、移動物の移動状態の分布を設定する。また、歩行者の動作状態が、ふらふら・キョロキョロしている場合には、速度分散が大きくなるように移動状態の分布が設定される。
 また、移動物生成部44は、運動センサ14によって検出された車速及び向きに基づいて、自車両の移動状態分布を生成する。
 ここでは、自車に対しては移動の不確実性はないものとして、移動状態(速度)の共分散行列は0行列とする。また、歩行者の移動状態(速度)の共分散行列は、歩行者の移動の不確実性を表すものである。
 また、各移動物粒子に対して、上記のように設定された移動物の移動状態の分布に基づいて、移動状態が各々決定される。
 粒子生成候補領域に配置された移動物粒子には、自動車、二輪車、歩行者などの移動物の種類の検出結果のラベルや、設定された移動状態の分布に基づいて決定された移動状態の情報が併せて割り当てられる。なお、粒子総数は、コンピュータ22の処理能力に応じて予め設定しておけばよい。
 また、移動物を識別するための識別情報が、移動物粒子に割り当てられる。例えば、1つの移動物について生成された粒子生成候補領域に対しては、同じ識別情報が割り当てられた移動物粒子が生成される。
 死角領域から生成された粒子生成候補領域の移動物粒子には、環境検出部40の検出結果と、図9に示すような予め定められたIF-THENルールとに基づいて、自動車、二輪車、歩行者などの移動物の種類を示すラベルが割り当てられる。更に、移動物の種類に応じた予め定められた向き・速度・加速度などの移動状態分布に基づいて決定された移動状態を示す情報が、移動物粒子に割り当てる。例えば、道路形状が、片側1車線道路であり、死角領域が、駐車車両により形成されるものであり、かつ、死角領域に、横断歩道が含まれる場合には、歩行者のラベルが割り当てられた移動物粒子が配置される。
 位置更新部46は、各移動物粒子の位置を、移動物粒子に与えられた移動状態に基づいて移動させて、各移動物粒子の配置を1ステップ更新する。
 分布変更部48は、各移動物粒子を移動させた後に、移動地点の領域に与えられた存在可能度に応じて、移動物粒子を消滅・複製して、移動物粒子の再選択を行って、移動物の位置分布を変更する(存在し易さに応じて、移動物の移動に制約を与える)。
 移動物粒子の再選択の時に、移動地点の領域に与えられた存在可能度ではなく、移動前後の領域に与えられた存在可能度の差または比を用いてもよい。
 ここで、分布変更部48が各移動物粒子を再選択する原理について説明する。
 まず、更新処理により、各移動物粒子に割り当てられた移動状態に基づいて、各移動物粒子が遷移する。
 そして、分布変更部48は、遷移先の存在可能度が低いほど、高い確率で当該移動物粒子を消滅させる。次に、分布変更部48は、消滅させた分だけ、移動物粒子を複製して、消滅していない他の移動物粒子の位置に重複するように配置し、又は、消滅していない他の移動物粒子の位置の周辺の位置(乱数を乗じた位置)に配置する。これによって、存在可能度が高い領域を中心に、移動物粒子が新たに生成される。また、全粒子数が一定になるように、上記の消滅及び複製が行われる。
 例えば、安定した歩き方をしている歩行者であって、速度分散が小さい場合に、遷移先の存在可能度が低い領域を中心に移動物粒子は消滅し、遷移先の存在可能度が高い領域を中心に、移動物粒子が新たに生成されることにより、図7Bに示すように、移動物粒子の配置が変更され、横断歩道を渡らないことが表わされる。一方、ふらふら・キョロキョロしている歩行者であって、速度分散が大きい場合には、遷移先の存在可能度が低い領域を中心に移動物粒子は消滅し、遷移先の存在可能度が高い領域を中心に、移動物粒子が新たに生成されることにより、図7Cに示すように、移動物粒子の配置が変更され、横断歩道を渡ることが表わされる。
 危険判定部50は、分布変更部48によって変更された各移動物の移動物粒子の配置に基づいて、自車両の移動物粒子と、他の移動物の移動物粒子とが重複する数をカウントし、カウントした数に基づいて、当該他の移動物との衝突確率を算出する。危険判定部50は、算出された衝突確率が、閾値を超えた時に、衝突の危険性があると判定し、警報装置24によって、重複した相手の移動物粒子の移動物の種類及び位置を、音や画像などの方法によって、ドライバに報知する。例えば、自車両の右前方で、歩行者と衝突する危険性がある場合には、音声により「右前方歩行者注意」と、ドライバに報知する。なお、重複した相手の移動物粒子の移動物に対して、警報装置24により警報するようにしてもよい。
 なお、自車以外の移動物同士の衝突回避の行動を模擬するために、自車との衝突確率を算出する前に、自車以外の移動物同士の衝突(移動物粒子の重複)を判定し、衝突が生じている場合には、衝突が生じている移動物の位置分布(移動物粒子の配置)を変更してもよい。また、次時刻の移動および衝突判定に備えて、自車と移動物との衝突確率の算出後に、衝突が生じている自車および移動物の位置分布(移動物粒子の配置)を変更してもよい。
 次に、本実施の形態に係る衝突危険判定装置10の作用について説明する。
 まず、レーザレーダ12によって、レーザが自車両の前方を水平方向に走査されて、走査方向に並んだレーザ照射位置としての物体の2次元位置の各々までの距離が計測され、自車両の前方に存在する物体の2次元位置が検出される。レーザレーダ12によって検出される2次元位置は、レーザを走査する毎に得られる。
 そして、コンピュータ22によって、図10に示す局所地図生成処理ルーチンが実行される。
 まず、ステップ100において、コンピュータ22は、レーザレーダ12から、前方に存在する物体の2次元位置(走査方向に並んだ各2次元位置までの計測距離)を示すデータを取得する。ステップ102において、コンピュータ22は、一時刻前から現在までの間における、運動センサ14により検出された車速、ヨーレート、又は加速度を取得し、取得した車速、ヨーレート、又は加速度に基づいて、一時刻前から現在までの自車両の運動を推定する。
 そして、ステップ104において、コンピュータ22は、後述するステップ106で前回更新された局所地図情報を、上記ステップ102で推定された自車両の運動に応じて、現在の自車両から見た座標系で表わされる局所地図情報に更新する。
 次のステップ106では、コンピュータ22は、上記ステップ100で取得した自車両前方に存在する物体の2次元位置に基づいて、上記ステップ104で更新された局所地図情報において、自車両前方に存在する物体の2次元位置に対応するブロックの存在確率を増加させると共に、自車両から物体の2次元位置までの直線上に存在する各ブロックの存在確率を減少させる。これによって、コンピュータ22は、現在物体が存在しない位置を地図上に記録する。そして、コンピュータ22は、上記ステップ100へ戻る。
 上述したように、局所地図生成処理ルーチンが繰り返し実行されることにより、現在の自車両から見た静止物の位置が随時推定される。
 なお、生成される局所地図情報は、上記局所地図生成処理ルーチンが所定回数繰り返されたときに有効とされるようにしてもよい。
 また、コンピュータ22によって、図11に示す危険判定処理ルーチンが実行される。まず、ステップ120において、コンピュータ22は、カメラ18により撮影された前方画像及びGPS装置20によって検出された自車両位置を取得する。次のステップ122では、コンピュータ22は、上記ステップ120で取得した前方画像、自車両位置、及び地図データベース38の電子地図に基づいて、自車両周辺の各種走路区分の領域及び道路属性を含む走行環境の状況を検出すると共に、周辺の移動物、移動物の動作状態、移動状態、移動物の種類、及び静止物の高さを検出する。
 そして、ステップ124において、コンピュータ22は、上述した局所地図生成処理ルーチンにより得られる現在の局所地図情報を取得する。次のステップ125では、コンピュータ22は、上記ステップ124で取得した局所地図情報から、静止物が存在する領域を検出する。
 そして、ステップ126において、コンピュータ22は、上記ステップ122で検出された走路区分の領域、道路属性、及び上記ステップ125で検出された静止物が存在する領域と、移動物の種類毎に、走行区分の種類、道路属性、及び静止物に応じた存在可能度が定められたテーブルとに基づいて、存在可能度マップを生成する。
 ステップ130では、コンピュータ22は、上記ステップ126で生成された存在可能度マップにおいて、上記ステップ122で検出された移動物及び自車両に対する移動物粒子生成候補領域を設定すると共に、予め設定された粒子総数となるように、自車両を含む各移動物の移動物粒子を生成して、対応する移動物粒子生成候補領域に配置する。また、コンピュータ22は、各移動物に対して、検出された動作状態及び移動状態に基づいて、移動状態分布を求め、求められた移動状態分布に基づいて、各移動物粒子に対して移動状態を各々決定して、各移動物粒子に移動状態を割り当てる。
 次のステップ132では、コンピュータ22は、予測ステップ数をカウントする変数nを、初期値1に設定する。
 そして、ステップ134において、コンピュータ22は、各移動物粒子を、割り当てられた移動状態に応じて移動させる。次のステップ136では、コンピュータ22は、存在可能度マップの存在可能度に応じて、上記ステップ134により移動した移動物粒子の消滅及び複製を行い、移動物粒子の配置を変更する。ステップ138では、コンピュータ22は、上記ステップ136で変更された、他の移動物の移動物粒子と、自車両の移動物粒子との重複頻度に基づいて、衝突危険度として、他の移動物との衝突確率を各々算出する。
 そして、ステップ140では、コンピュータ22は、上記ステップ138で算出された衝突確率が、閾値以上となる移動物が存在するか否かを判定する。該当する移動物が存在しない場合には、コンピュータ22は、ステップ144へ移行する。一方、該当する移動物が存在する場合には、ステップ142において、コンピュータ22は、該当する移動物の将来予測位置及び警告情報を警報装置24に表示させて、ステップ144へ移行する。
 ステップ144では、コンピュータ22は、予測ステップを示す変数nが、将来予測時間に対応するステップ数Nに到達したか否かを判定する。変数nが、定数Nに到達していない場合には、ステップ146において、コンピュータ22は、変数nをインクリメントして、上記ステップ134へ戻り、上記ステップ134以降の処理を繰り返す。一方、変数nが、定数Nに到達した場合には、コンピュータ22は、危険判定処理ルーチンを終了する。
 以上説明したように、第1の実施の形態に係る衝突危険判定装置によれば、移動物の移動状態分布に基づいて、各移動物粒子を移動させると共に、走路区分の領域及び静止物の領域に対して移動物の存在可能度を与えた存在可能度マップに基づいて各移動物粒子の配置を変更して、各移動物の位置分布を予測する。これによって、衝突危険判定装置は、様々な状況において、移動物の将来の位置を精度よく予測することができる。
 他者との衝突危険度を推定する際には、移動物の将来位置予測が重要となる。移動物は、置かれている交通環境(静止障害物、歩道や車道、横断歩道などの走路区分など)に応じて、移動に制約を受ける。また、ドライバは、移動物の状態(向きや歩様など)により、将来位置の予測を変えている。このように、様々な交通状況の中での移動物の将来位置予測を実現するためには、想定すべき交通環境・移動物の状態の組み合わせが多く、予めそれらの組合せを用意しておくことは困難である。そこで、本実施の形態の衝突危険判定装置は、環境要因のみから決まる「場所に対する移動物の存在可能度」と、移動物の状態のみから決まる「移動物の移動の不確実性(移動状態分布)」とを独立に設定し、存在可能度マップ上で、移動物の移動状態分布に基づき移動物を移動させる。これによって、衝突危険判定装置は、様々な交通環境・移動物の状態の組合せを考慮した移動物の将来位置予測を行うことができる。また、衝突危険判定装置は、自車との衝突の程度を予測することで、様々な交通状況(道路環境と移動物状態の組合せからなる)における衝突危険度を推定することがきる。
 また、交通環境の情報を手がかりとして、本来センサ情報が得られない死角領域にも移動物粒子を生成することで、死角領域に存在する移動物の存在を考慮した危険判定ができる。
 また、粒子の総数を可変とすることで、処理するコンピータの能力に応じて危険判定の精度を調整することができる。
 また、粒子総数が常に一定値であるため、走行環境の状況の複雑さに依存しない計算効率を確保することができる。
 次に、第2の実施の形態に係る衝突危険判定装置について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
 第2の実施の形態では、路側の装置において、移動物の将来分布を予測して、衝突する危険性を判定している点が、第1の実施の形態と主に異なっている。
 第2の実施の形態に係る衝突危険度判定装置は、路側に固定して設置されており、例えば、主要交差点に設置されている。図12に示すように、衝突危険度判定装置210は、判定対象範囲である自装置の前方に対してレーザを1次元(水平方向)に走査しながら照射し、レーザの反射によりレーザが照射された物体の2次元位置を検出するレーザレーダ12と、自装置の前方を撮影するカメラ18と、自装置の位置を検出するGPS装置20と、これらの検出結果に基づいて、現在の自装置から見た前方の静止物の存在を記録した局所地図情報を生成すると共に、移動物の将来の位置を予測し、予測結果に応じて衝突する危険性があると判定された場合に、警告メッセージを表示させる表示装置を搭載した車両において警告メッセージを表示させる指令を通信装置224に送信させるコンピュータ222とを備えている。
 コンピュータ222は、物体位置取得部30と、検出された現在の物体の2次元位置に基づいて、自装置から見た座標系の局所地図情報における静止物の存在確率を変更する存在確率変更部236と、を備えている。
 また、コンピュータ222は、地図データベース38と、自装置周辺の移動物及び走行環境の状況を検出する環境検出部40と、マップ生成部42と、移動物生成部44と、位置更新部46と、分布変更部48と、各移動物の移動物粒子の配置に基づいて、各移動物について、他の移動物と衝突する危険性を判定し、表示装置を搭載した車両において判定結果を表示させるように指令を通信装置224により送信させる危険判定部250とを備えている。
 次に、第2の実施の形態に係る局所地図情報処理ルーチンでは、コンピュータ222は、レーザレーダ12から、前方に存在する物体の2次元位置を示すデータを取得する。次に、コンピュータ222は、取得した自装置前方に存在する物体の2次元位置に基づいて、局所地図情報において、自装置前方に存在する物体の2次元位置に対応するブロックの存在確率を増加させると共に、自装置から物体の2次元位置までの直線上に存在する各ブロックの存在確率を減少させる。これにより、コンピュータ222は、現在物体が存在しない位置を地図上に記録する。そして、コンピュータ222は、最初の処理へ戻る。
 上述したように、局所地図生成処理ルーチンが繰り返し実行されることにより、現在の自装置から見た静止物の位置が随時推定される。
 また、第2の実施の形態に係る危険判定処理ルーチンでは、まず、コンピュータ222は、カメラ18により撮影された前方画像及びGPS装置20によって検出された自装置位置を取得する。次に、コンピュータ222は、上記で取得した前方画像、自装置位置、及び地図データベース38の電子地図に基づいて、自装置周辺の各種の走路区分の領域及び道路属性を含む走行環境の状況を検出すると共に、周辺の移動物、移動物の動作状態、移動状態、移動物の種類、及び静止物の高さを検出する。
 そして、コンピュータ222は、上述した局所地図生成処理ルーチンにより得られる現在の局所地図情報を取得する。次に、コンピュータ222は、取得した局所地図情報に基づいて、静止物の領域を検出し、上記で検出した各種走路区分の領域、道路属性、及び上記で検出した静止物の領域に基づいて、静止物の領域及び走路区分の領域に存在可能度を与えた存在可能度マップを生成する。
 そして、コンピュータ222は、上記で生成された存在可能度マップにおいて、上記で検出された移動物に対する移動物粒子生成候補領域を設定すると共に、予め設定された粒子総数となるように、各移動物の移動物粒子を生成して、対応する移動物粒子生成候補領域に配置する。また、コンピュータ222は、各移動物に対して移動状態分布を求め、求められた移動状態分布に基づいて、各移動物粒子に対して移動状態を決定して、移動状態を割り当てる。
 次に、コンピュータ222は、予測ステップ数をカウントする変数nを、初期値1に設定する。そして、コンピュータ222は、各移動物粒子を、割り当てられた移動状態に応じて移動させる。次に、コンピュータ222は、存在可能度マップの存在可能度に応じて、上記で移動した移動物粒子の消滅及び複製を行い、移動物粒子の配置を変更する。そして、コンピュータ222は、各移動物を判定対象として、上記で変更された、判定対象の移動物の移動物粒子と、他の移動物の移動物粒子との重複頻度に基づいて、衝突危険度として、他の移動物との衝突確率を各々算出する。
 次に、コンピュータ222は、上記で算出された衝突確率が、閾値以上となる移動物が存在するか否かを判定する。該当する移動物が存在する場合には、コンピュータ222は、判定対象の移動物に搭載された表示装置に、該当する移動物の将来予測位置及び警告情報を表示させる指令を、通信装置224により当該判定対象の移動物へ送信する。
 コンピュータ222は、予測ステップを示す変数nが、将来予測時間に対応するステップ数Nに到達するまで、上記の処理を繰り返し、変数nが、定数Nに到達した場合には、危険判定処理ルーチンを終了する。
 以上説明したように、第2の実施の形態に係る衝突危険判定装置によれば、路側の装置で、様々な状況に対して、周辺の各移動物の将来の位置を精度よく予測することができる。また、衝突危険判定装置は、周辺の移動体同士の衝突の程度を予測することで、様々な交通状況における衝突危険度を推定することができる。
 次に、第3の実施の形態に係る衝突危険判定装置について説明する。なお、第3の実施の形態に係る衝突危険判定装置の構成は、第1の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
 第3の実施の形態では、各移動物の位置分布及び移動状態の分布を、正規分布で表している点が、第1の実施の形態と主に異なっている。
 第3の実施の形態に係る衝突危険判定装置では、移動物生成部44によって、環境検出部40によって検出された移動物の位置及び大きさに基づいて、図13Aに示すように、移動物の位置を、自車中心x-y座標空間での2次元正規分布(平均ベクトルと分散行列)で表現し、移動物の位置分布を表わす移動物データを生成する。移動物生成部44は、生成した移動物データを、存在可能度マップ上に記録する。なお、移動物生成部44は、位置の平均ベクトルとして、観測値(検出された移動物の位置)を用い、位置の共分散行列を、検出された移動物の大きさに基づき設定する。
 また、移動物生成部44は、環境検出部40によって検出された移動物の動作状態及び移動状態に基づいて、図13Bに示すように、移動物の速度を、自車中心x-y座標空間での2次元正規分布(平均ベクトルと分散行列)で表現し、存在可能度マップ上に記録された移動物データに割り当てる。なお、移動物生成部44は、速度の平均ベクトルとして、環境検出部40による歩行者検出結果(動作状態、移動状態)から推定したものを用いる。また、移動物生成部44は、歩行者の平均速度に応じた上記図8に示すような分散・共分散のテーブルを利用して、速度の共分散行列を設定する。
 また、移動物生成部44は、運動センサ14によって検出された車速に基づいて、自車両の速度分布を生成し、自車両の位置分布及び速度分布を表わす移動物データを生成し、存在可能度マップ上の自車位置に記録する。
 移動物の位置分布は、以下の(2)式によって表される。
Figure JPOXMLDOC01-appb-M000001
 ただし、μposは、位置平均ベクトルであり、以下の(3)式によって表され、Σposは、位置共分散行列であり、以下の(4)式によって表される。
Figure JPOXMLDOC01-appb-M000002
 また、速度分布は、以下の(5)式によって表される。
Figure JPOXMLDOC01-appb-M000003
 ただし、μvelは、速度平均ベクトルであり、以下の(6)式によって表され、Σvelは、速度共分散行列であり、以下の(7)式によって表される。
Figure JPOXMLDOC01-appb-M000004
 移動物生成部44は、存在可能度マップにおいて、環境検出部40によって特定された死角領域内にも、移動物データを記録する。
 死角領域内に記録される移動物データには、環境検出部40の検出結果と、上記図9に示すような予め定められたIF-THENルールに基づいて、自動車、二輪車、歩行者などの移動物の種類を示すラベルが割り当てられる。更に、移動物データには、移動物の種類に応じて予め定められた位置分布及び速度分布が割り当てられる。
 位置更新部46は、図14に示すように、移動物の位置分布及び速度分布を用いて、Δt秒後の移動物の位置分布を線形予測によって求める。
 更新後の位置分布の位置平均ベクトルμpos’及び位置共分散行列Σpos’は、以下の(8)式、(9)式で表される。
Figure JPOXMLDOC01-appb-M000005
 分布変更部48は、後段の危険判定部50における衝突確率の算出のために、移動後の位置分布の各点(位置)における確率密度を、図15に示すように、対応する領域に与えられた存在可能度により重み付けを行う。なお、存在可能度による重み付けの際に、移動地点の領域に与えられた存在可能度ではなく、移動前後の領域に与えられた存在可能度の差または比を用いて重み付けを行ってもよい。
 例えば、移動後の歩行者の位置分布を、以下の(10)式とし、位置xにおける歩行者の存在可能度を、Existped(x)とする。
Figure JPOXMLDOC01-appb-M000006
 このとき、存在可能度で重み付けした位置分布Ped’(x)は、以下の(11)式で表される。
Figure JPOXMLDOC01-appb-M000007
 上記(11)式のままでは、対象領域に全体に渡り位置分布を積分した値が1とならない場合があるので、積分値が1となるように、以下の(12)式のように正規化する。
Figure JPOXMLDOC01-appb-M000008
 上記で求めた変更後の位置分布は衝突判定時にのみ用い、次時刻での移動物の移動の際には、変更前の位置分布を用いる。
 危険判定部50は、自車両の位置分布と、他の移動物の位置分布とを用いて、危険度として衝突確率を算出する。衝突確率は、同一将来時刻における同一位置に存在する確率(同時確率)であり、以下のようにして求められる。
 同時確率(衝突確率)は、自車と他の移動物の位置分布を掛け合わせたものを、衝突範囲に渡って積分した値として求めることができる(一般にこの積分値は数値積分によって求める)。本実施例では、積分範囲として、存在可能度マップの全体を用いる。
 移動物の位置分布の移動及び変更の結果、自車両の位置分布は、上記(12)式と同様に、以下の(13)式に示すように、存在可能度で重み付けした位置分布を正規化して表わされている。
Figure JPOXMLDOC01-appb-M000009
 ただし、Ego(x)は、上記(2)式と同様に表わされる自車両の位置分布である。また、Existego(x)は、位置xにおける自車両の存在可能度である。
 また、他の移動物の位置分布は、上記(12)式で表されており、求める積分値は、自車両および他の移動物の位置分布の全ての組合せの積分値の和として、以下の(14)式に従って求める。
Figure JPOXMLDOC01-appb-M000010
 ただし、Dは、積分範囲(2次元領域)であり、存在可能度マップの全領域である。
 また、危険判定部50は、算出した衝突確率が、閾値以上であるか否かを判定する。衝突確率が閾値以上となる移動物が存在する場合には、危険判定部50は、当該移動物の将来予測位置及び警告情報等を、警報装置24に表示させて、ドライバに注意喚起を行う。
 位置更新部46、分布変更部48、及び危険判定部50による一連の処理は、予め設定された予測時間分だけ繰り返し実行され、各予測ステップにおいて、各移動物について、位置分布を移動させると共に、存在可能度に応じて、位置分布の変更が行われる。また、各予測ステップにおいて、自車両と各移動物との衝突確率が算出され、衝突確率が閾値以上となった場合には、その予測ステップにおける当該移動物の将来予測位置、及び危険度情報等が警報装置24によって表示される。
 次に、第3の実施の形態に係る衝突危険度判定装置の作用について説明する。
 まず、レーザレーダ12によって、レーザが自車両の前方を水平方向に走査されて、自車両の前方に存在する物体の2次元位置が検出され、そして、コンピュータ22によって、上記図10に示す局所地図生成処理ルーチンが実行される。局所地図生成処理ルーチンが繰り返し実行されることにより、現在の自車両から見た静止物の位置が随時推定される。
 また、コンピュータ22によって、図16に示す危険判定処理ルーチンが実行される。なお、第1の実施の形態と同様の処理については、同一符号を付して説明を省略する。
 まず、ステップ120において、コンピュータ22は、カメラ18により撮影された前方画像及びGPS装置20によって検出された自車両位置を取得する。次のステップ122では、コンピュータ22は、自車両周辺の各種の走路区分の領域及び道路属性を含む走行環境の状況を検出すると共に、周辺の移動物、移動物の動作状態、移動状態、移動物の種類、及び静止物の高さを検出する。
 そして、ステップ124において、コンピュータ22は、現在の局所地図情報を取得する。次のステップ125では、コンピュータ22は、静止物が存在する領域を検出する。そして、ステップ126において、コンピュータ22は、存在可能度マップを生成する。
 ステップ300では、コンピュータ22は、上記ステップ122で検出した移動物の動作状態、移動状態、及び運動センサ14の検出結果に基づいて、自車両も含む移動物の位置分布及び速度分布を表わす移動物データを生成して、存在可能度マップ上に記録する。
 次のステップ132では、コンピュータ22は、予測ステップ数をカウントする変数nを、初期値1に設定する。
 そして、ステップ302において、コンピュータ22は、上記ステップ300又は前回のステップ302で得られた位置分布及び速度分布に基づいて、自車両も含む各移動物について、予測ステップnにおける移動物の位置分布を予測して、各移動物の位置分布を移動する。
 次のステップ304では、コンピュータ22は、存在可能度マップの存在可能度に応じて、上記ステップ302により移動した各移動物の位置分布を変更する。ステップ306では、コンピュータ22は、上記ステップ304で変更された、他の移動物の位置分布と、自車両の位置分布とに基づいて、衝突危険度として、他の移動物との衝突確率を各々算出する。
 そして、ステップ140では、コンピュータ22は、上記ステップ306で算出された衝突確率が、閾値以上となる移動物が存在するか否かを判定する。該当する移動物が存在しない場合には、コンピュータ22は、ステップ144へ移行する。一方、該当する移動物が存在する場合には、ステップ142において、コンピュータ22は、該当する移動物の将来予測位置及び警告情報を警報装置24に表示させて、ステップ144へ移行する。
 ステップ144では、コンピュータ22は、予測ステップを示す変数nが、将来予測時間に対応するステップ数Nに到達したか否かを判定する。変数nが、定数Nに到達していない場合には、ステップ146において、コンピュータ22は、変数nをインクリメントして、上記ステップ302へ戻り、上記ステップ302以降の処理を繰り返す。一方、変数nが、定数Nに到達した場合には、コンピュータ22は、危険判定処理ルーチンを終了する。
 以上説明したように、第3の実施の形態に係る衝突危険度判定装置によれば、移動物の移動状態分布に基づいて、移動物の位置分布を移動させると共に、走路区分の領域及び静止物の領域に対して移動物の存在可能度を与えた存在可能度マップに基づいて移動物の位置分布を変更して、移動物の位置分布を予測する。これにより、衝突危険度判定装置は、様々な状況において、移動物の将来の位置を精度よく予測することができる。また、衝突危険度判定装置は、自車との衝突の程度を予測することで、様々な交通状況(道路環境と移動物状態の組合せからなる)における衝突危険度を推定することができる。
 次に、第4の実施の形態に係る衝突危険判定装置について説明する。なお、第4の実施の形態に係る衝突危険判定装置の構成は、第2の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
 第4の実施の形態では、路側の装置において、移動物の将来分布を予測して、衝突する危険性を判定している点が、第3の実施の形態と主に異なっている。
 第4の実施の形態に係る衝突危険度判定装置210は、路側に固定して設置されており、例えば、主要交差点に設置されている。
 コンピュータ222の移動物生成部46、位置更新部46、及び分布変更部48は、上記の第3の実施の形態と同様である。また、危険判定部250は、各移動物の位置分布に基づいて、各移動物について、他の移動物と衝突する危険性を判定し、表示装置を搭載した車両において判定結果を表示させるように指令を通信装置224により送信させる。
 次に、第4の実施の形態に係る局所地図情報処理ルーチンは、上記の第2の実施の形態に係る局所地図情報処理ルーチンと同様であるため、説明を省略する。
 また、第4の実施の形態に係る危険判定処理ルーチンでは、まず、コンピュータ222は、カメラ18により撮影された前方画像及びGPS装置20によって検出された自装置位置を取得する。次に、コンピュータ222は、上記で取得した前方画像、自装置位置、及び地図データベース38の電子地図に基づいて、自装置周辺の各種の走路区分の領域及び道路属性を含む走行環境の状況を検出すると共に、周辺の移動物、移動物の動作状態、移動物の種類、及び静止物の高さを検出する。
 そして、コンピュータ222は、上述した局所地図生成処理ルーチンにより得られる現在の局所地図情報を取得する。次に、コンピュータ222は、取得した局所地図情報に基づいて、静止物の領域を検出する。コンピュータ222は、上記で検出した各種走路区分の領域、道路属性、及び上記で検出した静止物の領域に基づいて、静止物の領域及び走路区分の領域に存在可能度を与えた存在可能度マップを生成する。
 そして、コンピュータ222は、上記で検出された各移動物に対する位置分布及び速度分布を表わす移動物データを生成して、上記で生成された存在可能度マップ上に記録する。
 次に、コンピュータ222は、予測ステップ数をカウントする変数nを、初期値1に設定する。そして、コンピュータ222は、各移動物の位置分布を、割り当てられた速度分布に応じて移動させる。次に、コンピュータ222は、存在可能度マップの存在可能度に応じて重み付けすることにより、上記で移動した移動物の位置分布を変更する。そして、コンピュータ222は、各移動物を判定対象として、上記で変更された、判定対象の移動物の位置分布と、他の移動物の位置分布とに基づいて、衝突危険度として、他の移動物との衝突確率を各々算出する。
 次に、コンピュータ222は、上記で算出された衝突確率が、閾値以上となる移動物が存在するか否かを判定する。該当する移動物が存在する場合には、コンピュータ222は、判定対象の移動物に搭載された表示装置に、該当する移動物の将来予測位置及び警告情報を表示させる指令を、通信装置224により当該判定対象の移動物へ送信する。
 コンピュータ222は、予測ステップを示す変数nが、将来予測時間に対応するステップ数Nに到達するまで、上記の処理を繰り返し、変数nが、定数Nに到達した場合には、危険判定処理ルーチンを終了する。
 以上説明したように、第4の実施の形態に係る衝突危険判定装置によれば、路側の装置で、様々な状況に対して、移動物の将来の位置を精度よく予測することができる。また、衝突危険判定装置は、周辺の移動体同士の衝突の程度を予測することで、様々な交通状況における衝突危険度を推定することがきる。
 次に、第5の実施の形態に係る衝突危険判定装置について説明する。なお、第5の実施の形態に係る衝突危険判定装置の構成は、第1の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
 第5の実施の形態では、死角領域の位置に基づいて、死角領域内に配置される移動物粒子の移動物の種類を推定している点が、第1の実施の形態と異なっている。
 第5の実施の形態に係る衝突危険判定装置の移動物生成部44では、死角領域から生成された粒子生成候補領域の移動物粒子に対して、以下に示すように、死角領域の位置に基づいて、自動車、二輪車、歩行者などの移動物の種類を示すラベルを割り当てる。
 例えば、予め定点観測により、その場所での移動物の出現頻度を記録して蓄積しておく。事故の多い交差点などで、図17に示すように、カメラ撮影等による方法で、季節・時間帯等で層別して、車道・歩道を道なりに通過あるいは横断する移動物の種類を記録して、図18に示すように、移動方向、移動物の種類、及び頻度が格納されたデータベースを、各位置について生成しておく。
 移動物生成部44は、死角領域の位置について生成されたデータベースに基づいて、出現頻度の高い移動物の種類を特定し、死角領域内に生成された粒子生成候補領域の移動物粒子に対して、特定された移動物の種類を示すラベルを割り当てる。また、移動物生成部44は、特定された移動物の種類に応じて予め定められた移動状態分布に基づいて、移動状態を決定して、移動物粒子に割り当てる。
 なお、第5の実施の形態に係る衝突危険判定装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
 また、上記の実施の形態で説明した、死角領域内に想定される移動物の種類の推定方法を、上記の第3の実施の形態に適用してもよい。この場合には、死角領域内に記録される移動物データに、推定された移動物の種類や、移動物の種類に応じた位置分布及び速度分布を割り当てればよい。
 次に、第6の実施の形態に係る衝突危険判定装置について説明する。なお、第6の実施の形態に係る衝突危険判定装置の構成は、第1の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
 第6の実施の形態では、学習モデルに基づいて、死角領域の周辺情報から、死角領域内に配置される移動物粒子の移動物の種類を推定している点が、第1の実施の形態と異なっている。
 第6の実施の形態に係る衝突危険判定装置の移動物生成部44では、死角領域から生成された粒子生成候補領域の移動物粒子に対して、以下に示すように、学習モデルに基づいて、自動車、二輪車、歩行者などの移動物の種類を示すラベルを割り当てる。
 まず、学習モデルに、死角領域の周辺情報と、想定すべき移動物の種類の写像関係を学習させる。例えば、専門家(例えば運転指導員)に対して、交通場面の写真・映像などを提示したり、同乗による聞き取り調査を行ったりして、死角領域に何を想定すべきかを回答してもらい、事後的にセンサ情報を集計して、死角領域の周辺情報を求める。そして、図19に示すような、周辺情報入力の各種項目(死角生成物、自車と死角領域との位置関係、横断歩道の有無、信号機の有無、一時停止線の有無、追い越し規制の有無、制限速度、道路規模、交差点の有無、歩道の有無、バリアの有無、道路線形、自車速など)と想定出力の項目(死角領域に想定すべき移動物の種類)とからなるテーブルを作成する。
 そして、図20に示すように、ニューラルネットワークを使用して、死角領域の周辺情報の各種項目と、死角領域に想定すべき移動物の種類との写像関係を予め学習させておく。なお、構造を固定した線形回帰モデルや、決定木、ベイジアンネットワーク等を使用して学習するようにしてもよい。
 移動物生成部44は、環境検出部40による検出結果から得られる死角領域の周辺情報を入力として、ニューラルネットワークから出力される、死角領域に想定すべき移動物の種類を取得し、死角領域内に生成された粒子生成候補領域の移動物粒子に対して、当該移動物の種類を示すラベルを割り当てる。また、移動物生成部44は、特定された移動物の種類に応じて予め定められた移動状態分布に基づいて、移動状態を決定して、移動物粒子に割り当てる。
 なお、第6の実施の形態に係る衝突危険判定装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
 また、上記の実施の形態で説明した、死角領域内に想定される移動物の種類の推定方法を、上記の第3の実施の形態に適用してもよい。この場合には、死角領域内に記録される移動物データに、推定された移動物の種類や、移動物の種類に応じた位置分布及び速度分布を割り当てればよい。
 次に、第7の実施の形態に係る衝突危険判定装置について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
 第7の実施の形態では、可動物が存在し得る死角領域内に仮想可動物を想定して、移動物粒子を配置している点が、第1の実施の形態と異なっている。
 図21に示すように、第7の実施の形態に係る衝突危険判定装置710のコンピュータ722は、物体位置取得部30と、自車運動推定部32と、局所地図更新部34と、存在確率変更部36と、地図データベース38と、環境検出部40と、マップ生成部42と、可動物が存在し得る死角領域を特定する死角領域特定部742と、特定された死角領域内に、仮想可動物を表わすデータとしての移動物粒子を複数生成すると共に、各移動物粒子に、想定される仮想可動物の移動状態分布に応じた移動状態を付与して、想定される仮想可動物の位置の分布を表わすように存在可能度マップ上に移動物粒子を配置する仮想可動物生成部743と、移動物生成部44と、位置更新部46と、分布変更部48と、危険判定部50とを備えている。なお、仮想可動物生成部743が、仮想可動物生成部及び仮想可動物記録部の一例である。
 死角領域特定部742は、環境検出部40によって検出された、局所地図情報における自車から見た静止物によって形成される死角領域と、地図データベースとに基づいて、図22に示すように、可動物が存在可能な死角領域を特定する。また、死角領域特定部742は、特定された死角領域に対し、存在可能度マップにおいて、当該死角領域の死角距離d(死角領域が道路である場合には死角領域は道路幅を示す。)に基づいて、図23に示すように、歩行者の存在可能度、及び車両の存在可能度を設定する。すなわち、死角領域特定部742は、死角距離dが閾値Dx1以下である場合には、歩行者の存在可能度を1.0に設定し、死角距離dが閾値Dx1より大きい場合には、歩行者の存在可能度を0.8に設定する。これによって、死角領域特定部742は、死角距離dが小さいほど、歩行者の存在可能度を高く設定することができる。また、死角領域特定部742は、死角距離dが閾値Dx1以下である場合には、車両の存在可能度を0.2に設定し、死角距離dが閾値Dx1より大きい場合には、車両の存在可能度を1.0に設定する。これによって、死角領域特定部742は、死角距離dが大きいほど、車両の存在可能度を高く設定することができる。なお、死角領域の死角距離dについては、ナビゲーションシステムの道路幅情報データベースを用いて求めてもよい。
 仮想可動物生成部743は、存在可能度マップにおいて、特定された可動物が存在可能な死角領域を、粒子生成候補領域とする。仮想可動物生成部743は、予め設計された粒子総数となるように、乱数発生器を用いて、死角領域の粒子生成候補領域に対して複数の移動物粒子を生成して配置する。なお、移動物粒子の配置位置は、後述する仮想可動物の位置に基づいて決定される。
 また、仮想可動物生成部743は、死角領域から生成された粒子生成候補領域の移動物粒子について、図24に示すように、上記の死角距離dに基づいて、仮想可動物の種類(例えば、歩行者、車両)を決定し、決定した仮想可動物の種類を示すラベルを移動物粒子に割り当てる。例えば、死角距離dが、閾値Dx2以下である場合には、仮想可動物生成部743は、仮想可動物の種類が歩行者であると決定し、死角距離dが、閾値Dx2より大きい場合には、仮想可動物生成部743は、仮想可動物の種類が車両であると決定する。
 また、仮想可動物生成部743は、死角領域内に想定される仮想可動物が飛び出して自車両と衝突することを仮定して、仮想可動物の位置、動作状態、及び移動状態を算出し、算出された仮想可動物の動作状態及び移動状態に基づき、仮想可動物の移動状態を分布として設定する。
 例えば、図25に示すように、仮想可動物(例えば、歩行者)の飛び出し位置をWpとし、飛び出し速度をVpとして固定し、自車両の現在速度がv、自車両と衝突すると仮定されるクロスポイントまでの距離をdとすると、自車両がクロスポイントまで到達する時間tは、t=d/vである。また、速度vpで移動中の仮想可動物が、時間tの間にクロスポイントまで到達できる距離dpは、dp=vp×t=vp×d/vである。
 従って、自車両が、死角領域の周辺を走行するにあたり、仮想可動物生成部743は、各演算時刻にて、常に、死角領域における位置(dp、Wp)に基づいて、仮想可動物の移動物粒子を配置すると共に、速度Vpに基づいて、仮想可動物の移動物粒子の移動状態の分布を設定する。
 要するに、常に自車とクロスポイントで衝突する移動物が飛び出してくるという最悪のケースを想定して、仮想可動物の位置、及び移動状態を設定する。
 ただし、仮想可動物の想定位置(dp、Wp)が、死角領域より手前に来た時点で、仮想可動物の想定をやめ、仮想可動物生成部743は、当該仮想可動物の移動物粒子を消滅させる。
 また、仮想可動物を識別するための識別情報が、移動物粒子に割り当てられる。例えば、1つの仮想可動物について生成された粒子生成候補領域に対しては、同じ識別情報が割り当てられた移動物粒子が生成される。
 次に、第7の実施の形態に係る危険判定処理ルーチンについて、図26を用いて説明する。なお、第1の実施の形態と同様の処理となる部分については、同一符号を付して詳細な説明を省略する。
 まず、ステップ120において、コンピュータ722は、カメラ18により撮影された前方画像及びGPS装置20によって検出された自車両位置を取得する。次のステップ122では、コンピュータ722は、自車両周辺の各種走路区分の領域及び道路属性を含む走行環境の状況を検出すると共に、周辺の移動物、移動物の動作状態、移動状態、移動物の種類、及び静止物の高さを検出する。
 そして、ステップ124において、コンピュータ722は、上述した局所地図生成処理ルーチンにより得られる現在の局所地図情報を取得する。次のステップ125では、コンピュータ722は、上記ステップ124で取得した局所地図情報から、静止物が存在する領域を検出する。そして、ステップ126において、コンピュータ722は、存在可能度マップを生成する。
 次のステップ760では、コンピュータ722は、可動物が存在可能な死角領域を特定すると共に、存在可能度マップにおける当該死角領域の存在可能度を設定する。そして、ステップ762において、コンピュータ722は、存在可能度マップにおける当該死角領域を、移動物粒子生成候補領域として設定する。また、コンピュータ722は、上記ステップ760で特定された死角領域の死角距離に基づいて、仮想可動物の種類を決定すると共に、仮想可動物の位置及び移動状態を算出する。コンピュータ722は、予め設定された粒子総数となるように、仮想可動物の移動物粒子を生成して、算出された仮想可動物の位置に応じて、移動物粒子生成候補領域に移動物粒子を配置する。また、コンピュータ722は、仮想可動物に対して、算出された移動状態に基づいて、移動状態分布を求め、求められた移動状態分布に基づいて、各移動物粒子に対して移動状態を各々決定して、各移動物粒子に移動状態を割り当てる。
 ステップ130では、コンピュータ722は、存在可能度マップにおいて、移動物及び自車両に対する移動物粒子生成候補領域を設定すると共に、自車両を含む各移動物の移動物粒子を生成して、対応する移動物粒子生成候補領域に配置する。また、コンピュータ722は、各移動物に対して、移動状態分布を求め、求められた移動状態分布に基づいて、各移動物粒子に移動状態を割り当てる。
 次のステップ132では、コンピュータ722は、予測ステップ数をカウントする変数nを、初期値1に設定する。
 そして、ステップ134において、コンピュータ722は、仮想可動物に対する移動物粒子を含む各移動物粒子を、割り当てられた移動状態に応じて移動させる。次のステップ136では、コンピュータ722は、存在可能度マップの存在可能度に応じて、上記ステップ134により移動した移動物粒子の消滅及び複製を行い、移動物粒子の配置を変更する。ステップ138では、コンピュータ722は、上記ステップ136で変更された、他の移動物の移動物粒子と、自車両の移動物粒子との重複頻度に基づいて、衝突危険度として、他の移動物との衝突確率を各々算出する。
 そして、ステップ140では、コンピュータ722は、上記ステップ138で算出された衝突確率が、閾値以上となる移動物が存在するか否かを判定する。該当する移動物が存在しない場合には、コンピュータ722は、ステップ144へ移行する。一方、該当する移動物が存在する場合には、ステップ142において、コンピュータ722は、該当する移動物の将来予測位置及び警告情報を警報装置24に表示させて、ステップ144へ移行する。
 ステップ144では、コンピュータ722は、予測ステップを示す変数nが、将来予測時間に対応するステップ数Nに到達したか否かを判定する。変数nが、定数Nに到達していない場合には、ステップ146において、変数nをインクリメントして、上記ステップ134へ戻り、上記ステップ134以降の処理を繰り返す。一方、変数nが、定数Nに到達した場合には、危険判定処理ルーチンを終了する。
 なお、第7の実施の形態に係る衝突危険判定装置710の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
 以上説明したように、第7の実施の形態に係る衝突危険判定装置によれば、死角領域内に存在すると想定される仮想可動物について、想定される移動状態分布に基づいて、位置分布を移動させると共に、走路区分の領域、静止物の領域、及び死角領域に対して移動物の存在可能度を与えた存在可能度マップに基づいて位置分布を変更する。これにより、衝突危険判定装置は、様々な状況において、仮想可動物の将来の位置を精度よく予測することができる。
 また、衝突危険判定装置は、死角領域に、仮想可動物に対する移動物粒子を配置することで、実際には顕在化していない死角通過時における衝突危険を判定することができる。
 なお、上記の実施の形態では、飛び出し速度を固定とした場合に、自車両とクロスポイントで衝突するように、仮想可動物の位置を算出する場合を例に説明したが、これに限定されるものではない。図27に示すように、各演算時刻ごとに、死角領域に対して常にクロスポイントに一番近い位置からの飛び出しを想定して、仮想可動物の位置を算出するようにしてもよい。例えば、死角領域とクロスポイントとの距離をdpとし、飛び出し位置をWpとすると、仮想可動物の位置が位置(dp、Wp)と算出される。
 また、上記の実施の形態で説明した、死角領域内に想定される仮想可動物を生成し、予測する方法を、上記の第2の実施の形態に適用してもよい。この場合には、路側の装置から見た静止物によって形成される死角領域であって、可動物が存在可能な死角領域を特定して、特定された死角領域内に想定される仮想可動物を生成するようにすればよい。
 また、上記の実施の形態で説明した、死角領域内に想定される仮想可動物を生成し、予測する方法を、上記の第3の実施の形態に適用してもよい。この場合には、仮想可動物生成部743は、存在可能度マップにおいて、特定された可動物が存在可能な死角領域内に、仮想可動物データを記録する。また、仮想可動物生成部743によって、想定される仮想可動物の位置及び移動状態を算出し、仮想可動物の位置を、自車中心x-y座標空間での2次元正規分布で表現し、仮想可動物の位置分布を表わす仮想可動物データを生成して、存在可能度マップ上に記録する。なお、位置の平均ベクトルとして、想定される仮想可動物の位置を用い、位置の共分散行列は、予め求められた仮想可動物の大きさに基づき設定する。また、仮想可動物生成部743は、想定される仮想可動物の移動状態に基づいて、移動物の速度を、自車中心x-y座標空間での2次元正規分布で表現し、存在可能度マップ上に記録された仮想可動物データに割り当てる。なお、速度の平均ベクトルとして、算出された仮想可動物の速度を用いる。また、歩行者の平均速度に応じた上記図8に示すような分散・共分散のテーブルを利用して、速度の共分散行列を設定する。
 また、上記の第1の実施の形態~第8の実施の形態では、検出した移動物の動作状態又は移動状態に基づいて、移動状態分布を求める場合を例に説明したが、これに限定されるものではない。移動物の移動状態分布を検出して用いるようにしてもよい。また、移動物の種類毎に予め設計者が定めた移動状態分布を用いてもよい。また、歩行者を観測した結果(向きや歩様などの動作状態)を用いて移動状態の分散や向きを設定すると共に、移動物の種類毎に予め定めた平均速度を用いることにより、移動状態分布を求めてもよい。
 また、存在可能度が、移動物が存在しやすさを表わす場合を例に説明したが、移動物の存在しにくさを表わす存在可能度を用いて、存在可能度マップを生成するようにしてもよい。
 また、運動センサの検出結果を用いて、自車両の運動を推定する場合を例に説明したが、これに限定されるものではなく、レーザレーダの検出結果の時間差分によって、自車両の運動を推定してもよい。また、例えば、GPS装置による自車位置の検出結果を用いて自車両の運動を推定するようにしてもよい。また、レーザレーダ、運動センサ、及びGPS装置の検出結果を組み合わせて、自車両の運動を推定するようにしてもよい。
 また、レーザレーダによりレーザを前方に走査して物体の位置を検出する場合を例に説明したが、これに限定されるものではなく、ミリ波などの電磁波を前方に走査して物体の位置を検出するようにしてもよい。
 また、レーザレーダによって自車両前方の物体の位置を検出する場合を例に説明したが、これに限定されるものではなく、例えば、ステレオカメラによって撮影された前方画像から、自車両前方の物体の位置を検出するようにしてもよい。
 また、カメラを用いたステレオ技術によって、自車両から見た死角領域を特定するようにしてもよい。
 本発明のプログラムを、記憶媒体に格納して提供することも可能である。
 本発明に係るコンピュータ可読媒体は、コンピュータを、検出対象範囲から、移動物の位置、及び動作状態又は移動状態を検出する移動物検出部、前記検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する領域検出部、前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するマップ生成部、前記移動物検出部によって検出された前記移動物の位置、及び動作状態又は移動状態に基づいて、前記移動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する移動物記録部、及び前記移動物の移動状態分布に基づいて、前記移動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記移動物の将来の位置分布を予測する予測部として機能させるためのプログラムを記憶する。
 また、本発明に係るコンピュータ可読媒体は、コンピュータを、検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する領域検出部、前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するマップ生成部、前記検出対象範囲から、可動物が存在し得る死角領域を特定する死角領域特定部、前記死角領域特定部によって特定された死角領域内に存在すると想定される仮想可動物を生成する仮想可動物生成部、前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物の位置、及び動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する仮想可動物記録部、及び前記仮想可動物の移動状態分布に基づいて、前記仮想可動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記仮想可動物の将来の位置分布を予測する予測部として機能させるためのプログラムを記憶する。
 日本出願2010-201214の開示はその全体が参照により本明細書に取り込まれる。
 本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
10、210、710 衝突危険判定装置
12 レーザレーダ
14 運動センサ
18 カメラ
20 GPS装置
22、222、722 コンピュータ
32 自車運動推定部
34 局所地図更新部
36、236 存在確率変更部
38 地図データベース
40 環境検出部
42 マップ生成部
44 移動物生成部
46 位置更新部
46 移動物生成部
48 分布変更部
50、250 危険判定部
742 死角領域特定部
743 仮想可動物生成部

Claims (19)

  1.  検出対象範囲から、移動物の位置、及び動作状態又は移動状態を検出する移動物検出部と、
     前記検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する領域検出部と、
     前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するマップ生成部と、
     前記移動物検出部によって検出された前記移動物の位置、及び動作状態又は移動状態に基づいて、前記移動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する移動物記録部と、
     前記移動物の移動状態分布に基づいて、前記移動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記移動物の将来の位置分布を予測する予測部と、
     を含む移動物予測装置。
  2.  前記位置分布は、複数の移動物粒子で表わされ、
     前記予測部は、前記移動物の移動状態分布に基づいて、前記移動物の位置分布を表わす前記複数の移動物粒子の各々を移動させると共に、前記存在可能度マップの存在可能度に基づいて、前記移動させた移動物粒子を消滅させて他の移動物粒子を複製することにより、前記移動物の位置分布を変更して、前記存在可能度マップ上の前記移動物の将来の位置分布を予測する請求項1記載の移動物予測装置。
  3.  前記位置分布は、確率分布で表わされ、
     前記予測部は、前記移動物の移動状態分布に基づいて、前記移動物の位置分布を表わす前記確率分布を移動させると共に、前記存在可能度マップの存在可能度に基づいて、前記移動させた確率分布を重み付けすることにより、前記移動物の位置分布を変更して、前記存在可能度マップ上の前記移動物の将来の位置分布を予測する請求項1記載の移動物予測装置。
  4.  前記領域検出部は、更に、前記走路区分の種別及び前記静止物の高さを検出し、
     前記マップ生成部は、前記走路区分の領域に対して、前記走路区分の種類に応じた前記存在可能度を与え、前記静止物の領域に対して、前記静止物の高さに応じた前記存在可能度を与えて、前記存在可能度マップを生成する請求項1~請求項3の何れか1項記載の移動物予測装置。
  5.  前記移動物検出部は、前記検出対象範囲から、前記移動物の位置、及び動作状態又は移動状態と共に、前記移動物の種類を検出し、
     前記マップ生成部は、前記移動物の種類毎に前記存在可能度を与えた前記存在可能度マップを生成する請求項1~請求項4の何れか1項記載の移動物予測装置。
  6.  前記予測部は、前記移動物の移動状態分布に基づいて、前記移動物の位置分布を移動させると共に、前記移動させた位置分布を、前記位置分布に対応する領域に与えられた存在可能度の大きさ、又は前記位置分布に対応する領域及び移動前の位置分布に対する領域に与えられた存在可能度の差もしくは比に基づいて変更して、前記存在可能度マップ上の前記移動物の将来の位置分布を予測する請求項1~請求項5の何れか1項記載の移動物予測装置。
  7.  前記予測部によって予測された、算出対象の移動物の位置分布と、前記算出対象の移動物以外の移動物の位置分布とに基づいて、前記算出対象の移動物と前記算出対象の移動物以外の移動物との衝突危険度を算出する危険度算出部を更に含む請求項1~請求項6の何れか1項記載の移動物予測装置。
  8.  前記移動物記録部は、前記検出された静止物の領域と、自装置を搭載した移動物の位置とに基づいて、前記自装置を搭載した移動物から見たときの静止物によって形成された死角領域を特定し、前記特定された前記死角領域内に存在すると想定される移動物の位置分布及び移動状態分布を生成して、前記存在可能度マップにおける、前記特定された死角領域内に、前記生成された移動物の位置分布及び移動状態分布を記録する請求項1~請求項7の何れか1項記載の移動物予測装置。
  9.  前記移動物記録部は、前記検出された静止物の領域と、前記自装置を搭載した移動物の位置とに基づいて、前記死角領域を特定し、前記検出対象範囲の移動物の移動環境を検出する移動環境検出部によって検出された前記移動環境のうちの前記特定された死角領域の周辺の移動環境、又は前記特定された死角領域の位置に基づいて、前記特定された前記死角領域内に存在すると想定される移動物の種類を推定すると共に、前記死角領域内の前記移動物の位置分布及び移動状態分布を生成して、前記存在可能度マップにおける、前記特定された死角領域内に、前記生成された移動物の位置分布及び移動状態分布を記録する請求項8記載の移動物予測装置。
  10.  自装置を搭載した移動物から見て、前記検出対象範囲に存在する物体の位置を検出する物体位置検出部と、
     前記自装置を搭載した移動物の運動を推定する運動推定部と、
     前回更新された前記地図情報を、前記運動推定部によって推定された前記自装置を搭載した移動物の現在の運動に基づいて、現在の前記自装置を搭載した移動物から見た前記地図情報に繰り返し更新する地図更新部と、
     前記地図更新部によって前記地図情報が更新される毎に、前記更新された地図情報に、前記物体位置検出部によって検出された現在の物体の位置に対応するブロックに、前記静止物の存在を記録すると共に、前記自装置を搭載した移動物から前記検出された現在の物体の位置までの間に対応する各ブロックにおける前記静止物の存在の記録を減少させる静止物記録部と、を更に含み、
     前記領域検出部は、前記地図情報に基づいて、前記静止物の領域を検出する請求項1~請求項9の何れか1項記載の移動物予測装置。
  11.  検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する領域検出部と、
     前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するマップ生成部と、
     前記検出対象範囲から、可動物が存在し得る死角領域を特定する死角領域特定部と、
     前記死角領域特定部によって特定された死角領域内に存在すると想定される仮想可動物を生成する仮想可動物生成部と、
     前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物の位置、及び動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する仮想可動物記録部と、
     前記仮想可動物の移動状態分布に基づいて、前記仮想可動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記仮想可動物の将来の位置分布を予測する予測部と、
     を含む仮想可動物予測装置。
  12.  前記死角領域特定部は、前記死角領域を特定すると共に、前記存在可能度マップにおける前記死角領域の存在可能度を、前記死角領域の距離に基づいて設定する請求項11記載の仮想可動物予測装置。
  13.  前記仮想可動物記録部は、前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物の位置、及び動作状態又は移動状態を想定すると共に、前記仮想可動物が存在する前記死角領域の距離に基づいて、前記仮想可動物の種類を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する請求項11又は12記載の仮想可動物予測装置。
  14.  前記仮想可動物記録部は、前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物が前記死角領域から飛び出したときに自装置を搭載した移動物と衝突するように、前記仮想可動物の位置、及び動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する請求項11~請求項13の何れか1項記載の仮想可動物予測装置。
  15.  前記仮想可動物記録部は、前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物が前記死角領域から飛び出したときに自装置を搭載した移動物と衝突することが想定される位置に最も近い、前記死角領域内の位置を、前記仮想可動物の位置として想定すると共に、前記仮想可動物が前記死角領域から飛び出したときに自装置を搭載した移動物と衝突するように、前記仮想可動物の動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する請求項11~請求項13の何れか1項記載の仮想可動物予測装置。
  16.  コンピュータを、
     検出対象範囲から、移動物の位置、及び動作状態又は移動状態を検出する移動物検出部、
     前記検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する領域検出部、
     前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するマップ生成部、
     前記移動物検出部によって検出された前記移動物の位置、及び動作状態又は移動状態に基づいて、前記移動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する移動物記録部、及び
     前記移動物の移動状態分布に基づいて、前記移動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記移動物の将来の位置分布を予測する予測部
     として機能させるためのプログラム。
  17.  検出対象範囲から、移動物の位置、及び動作状態又は移動状態を検出すると共に、複数種類の走路区分の領域及び静止物の領域を検出するステップと、
     検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するステップと、
     検出された前記移動物の位置、及び動作状態又は移動状態に基づいて、前記移動物の位置分布及び移動状態分布を生成し、更に、前記移動物の移動状態分布に基づいて、前記移動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記移動物の将来の位置分布を予測するステップと、
     を含む移動物予測方法。
  18.  コンピュータを、
     検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出する領域検出部、
     前記領域検出部によって検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するマップ生成部、
     前記検出対象範囲から、可動物が存在し得る死角領域を特定する死角領域特定部、
     前記死角領域特定部によって特定された死角領域内に存在すると想定される仮想可動物を生成する仮想可動物生成部、
     前記仮想可動物生成部によって生成された前記仮想可動物に対し、前記仮想可動物の位置、及び動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録する仮想可動物記録部、及び
     前記仮想可動物の移動状態分布に基づいて、前記仮想可動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記仮想可動物の将来の位置分布を予測する予測部
     として機能させるためのプログラム。
  19.  検出対象範囲から、複数種類の走路区分の領域及び静止物の領域を検出するステップと、
     前記検出された前記走路区分の領域及び前記静止物の領域に対して、移動物の存在しやすさ又は存在しにくさを表わす存在可能度を与えた存在可能度マップを生成するステップと、
     前記検出対象範囲から、可動物が存在し得る死角領域を特定するステップと、
     前記特定された死角領域内に存在すると想定される仮想可動物を生成するステップと、
     前記生成された前記仮想可動物に対し、前記仮想可動物の位置、及び動作状態又は移動状態を想定し、前記仮想可動物の位置分布及び移動状態分布を生成して、前記存在可能度マップに記録するステップと、
     前記仮想可動物の移動状態分布に基づいて、前記仮想可動物の位置分布を移動させると共に、前記移動させた位置分布を、前記存在可能度マップの存在可能度に基づいて変更して、前記存在可能度マップ上の前記仮想可動物の将来の位置分布を予測するステップと、
     を含む仮想可動物予測方法。
PCT/JP2011/070518 2010-09-08 2011-09-08 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法 WO2012033173A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180043108.3A CN103155015B (zh) 2010-09-08 2011-09-08 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
EP11823647.0A EP2615596A4 (en) 2010-09-08 2011-09-08 Moving-object prediction device, virtual-mobile-object prediction device, program, mobile-object prediction method, and virtual-mobile-object prediction method
US13/821,147 US9424468B2 (en) 2010-09-08 2011-09-08 Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
JP2012533026A JP5475138B2 (ja) 2010-09-08 2011-09-08 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010201214 2010-09-08
JP2010-201214 2010-09-08

Publications (1)

Publication Number Publication Date
WO2012033173A1 true WO2012033173A1 (ja) 2012-03-15

Family

ID=45810769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/070518 WO2012033173A1 (ja) 2010-09-08 2011-09-08 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法

Country Status (5)

Country Link
US (1) US9424468B2 (ja)
EP (1) EP2615596A4 (ja)
JP (1) JP5475138B2 (ja)
CN (1) CN103155015B (ja)
WO (1) WO2012033173A1 (ja)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928836A (zh) * 2012-10-29 2013-02-13 电子科技大学 一种地面目标跟踪方法
CN103454639A (zh) * 2012-05-31 2013-12-18 现代自动车株式会社 用于检测车辆周围的移动物体的设备和方法
CN103680291A (zh) * 2012-09-09 2014-03-26 复旦大学 基于天花板视觉的同步定位与地图绘制的方法
CN104603855A (zh) * 2012-09-03 2015-05-06 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
WO2015072002A1 (ja) * 2013-11-15 2015-05-21 株式会社日立製作所 移動ロボットシステム
JP2016053846A (ja) * 2014-09-03 2016-04-14 株式会社デンソーアイティーラボラトリ 自動運転支援システム、自動運転支援方法及び自動運転装置
EP2963633A4 (en) * 2013-02-27 2016-12-07 Hitachi Automotive Systems Ltd OBJECT SENSOR
WO2017122354A1 (ja) * 2016-01-15 2017-07-20 三菱電機株式会社 位置推定装置、位置推定方法及び位置推定プログラム
JP2018092368A (ja) * 2016-12-02 2018-06-14 株式会社豊田中央研究所 移動物状態量推定装置及びプログラム
WO2018135605A1 (ja) * 2017-01-23 2018-07-26 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
WO2018135509A1 (ja) * 2017-01-23 2018-07-26 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラムおよびそれを記録した記録媒体
JP2018120290A (ja) * 2017-01-23 2018-08-02 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
JP2018120291A (ja) * 2017-01-23 2018-08-02 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
WO2018198769A1 (ja) * 2017-04-26 2018-11-01 日立オートモティブシステムズ株式会社 周辺環境認識装置、表示制御装置
WO2018216066A1 (ja) * 2017-05-22 2018-11-29 三菱電機株式会社 車載装置、走行支援方法および走行支援プログラム
CN109859527A (zh) * 2019-01-30 2019-06-07 杭州鸿泉物联网技术股份有限公司 一种非机动车转弯预警方法及装置
JP2019516955A (ja) * 2016-03-29 2019-06-20 アプティブ・テクノロジーズ・リミテッド 自動化車両のためのv2x物体−ロケーション検証システム
WO2019138443A1 (ja) * 2018-01-09 2019-07-18 三菱電機株式会社 移動経路推定装置、移動経路推定システムおよび移動経路推定方法
JP2019178971A (ja) * 2018-03-30 2019-10-17 パナソニックIpマネジメント株式会社 環境地図生成装置、環境地図生成方法、及び環境地図生成プログラム
WO2020054108A1 (ja) * 2018-09-14 2020-03-19 オムロン株式会社 検知装置、移動体システム、及び検知方法
JP2020046882A (ja) * 2018-09-18 2020-03-26 株式会社東芝 情報処理装置、車両制御装置および移動体制御方法
WO2020070909A1 (ja) * 2018-10-05 2020-04-09 オムロン株式会社 検知装置、移動体システム、及び検知方法
WO2020070908A1 (ja) * 2018-10-05 2020-04-09 オムロン株式会社 検知装置、移動体システム、及び検知方法
JP2020060674A (ja) * 2018-10-10 2020-04-16 トヨタ自動車株式会社 地図情報システム
JP2020061139A (ja) * 2018-10-08 2020-04-16 株式会社ストラドビジョン ブラインドスポットモニタリングのためのcnnの学習方法、テスティング方法、学習装置、及びテスティング装置
JPWO2021149095A1 (ja) * 2020-01-20 2021-07-29
JP2021521058A (ja) * 2018-05-16 2021-08-26 マサチューセッツ インスティテュート オブ テクノロジー リスクレベルセットを使用した混雑環境のナビゲート
US11132611B2 (en) 2016-05-27 2021-09-28 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method for determining presence probability of object
JP6956932B1 (ja) * 2021-03-30 2021-11-02 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法、及び、運転支援プログラム
US20210388578A1 (en) * 2019-03-14 2021-12-16 Hitachi Construction Machinery Co., Ltd. Construction machine
US11222438B2 (en) 2016-05-27 2022-01-11 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method for presence probability of object
WO2022209607A1 (ja) * 2021-03-29 2022-10-06 本田技研工業株式会社 情報処理装置、車両、走行支援方法および走行支援プログラム
WO2023157301A1 (ja) * 2022-02-21 2023-08-24 日立Astemo株式会社 電子制御装置及び軌道生成方法
WO2024079970A1 (ja) * 2022-10-13 2024-04-18 トヨタ自動車株式会社 情報処理装置、方法、及びプログラム

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
US9383753B1 (en) 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
KR101807484B1 (ko) * 2012-10-29 2017-12-11 한국전자통신연구원 객체 및 시스템 특성에 기반한 확률 분포 지도 작성 장치 및 그 방법
US9286693B2 (en) * 2013-02-25 2016-03-15 Hanwha Techwin Co., Ltd. Method and apparatus for detecting abnormal movement
DE102013102087A1 (de) * 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Verfahren zum Betrieb eines Fahrerassistenzsystems eines Fahrzeugs
US20140278392A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Pre-Processing Audio Signals
JP5905846B2 (ja) * 2013-03-29 2016-04-20 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム
US9898929B2 (en) * 2013-04-10 2018-02-20 Toyota Jidosha Kabushiki Kaisha Vehicle driving assistance apparatus
US11036238B2 (en) 2015-10-15 2021-06-15 Harman International Industries, Incorporated Positioning system based on geofencing framework
US9805592B2 (en) * 2013-10-07 2017-10-31 Savari, Inc. Methods of tracking pedestrian heading angle using smart phones data for pedestrian safety applications
DE202013006467U1 (de) * 2013-07-18 2014-10-22 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrzeugumfeld-Überwachungssystem
US9280899B2 (en) * 2013-08-06 2016-03-08 GM Global Technology Operations LLC Dynamic safety shields for situation assessment and decision making in collision avoidance tasks
US9607015B2 (en) 2013-12-20 2017-03-28 Qualcomm Incorporated Systems, methods, and apparatus for encoding object formations
JP6331402B2 (ja) * 2014-01-14 2018-05-30 株式会社デンソー 移動体検出装置および移動体検出方法
US10482658B2 (en) * 2014-03-31 2019-11-19 Gary Stephen Shuster Visualization and control of remote objects
JP6174516B2 (ja) * 2014-04-24 2017-08-02 本田技研工業株式会社 衝突回避支援装置、衝突回避支援方法、及びプログラム
US9550498B2 (en) * 2014-05-13 2017-01-24 Ford Global Technologies, Llc Traffic light anticipation
US20150336575A1 (en) * 2014-05-21 2015-11-26 GM Global Technology Operations LLC Collision avoidance with static targets in narrow spaces
JP6318864B2 (ja) * 2014-05-29 2018-05-09 トヨタ自動車株式会社 運転支援装置
DE102014008283A1 (de) * 2014-06-03 2015-12-03 Man Truck & Bus Ag Verfahren und Anordnung zur Warnung von Verkehrsteilnehmern, die ein stillstehendes Fahrzeug passieren
JP5962706B2 (ja) * 2014-06-04 2016-08-03 トヨタ自動車株式会社 運転支援装置
JP6260462B2 (ja) * 2014-06-10 2018-01-17 株式会社デンソー 運転支援装置
US9558659B1 (en) 2014-08-29 2017-01-31 Google Inc. Determining the stationary state of detected vehicles
DE102014219148A1 (de) * 2014-09-23 2016-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen eines Bewegungsmodells eines Straßenverkehrsteilnehmers
US10309797B2 (en) * 2014-12-19 2019-06-04 Here Global B.V. User interface for displaying navigation information in a small display
US9569693B2 (en) * 2014-12-31 2017-02-14 Here Global B.V. Method and apparatus for object identification and location correlation based on received images
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
KR20160107054A (ko) * 2015-03-03 2016-09-13 엘지전자 주식회사 차량 제어 장치, 차량 운전 보조 장치, 이동 단말기 및 그 제어 방법
US10024965B2 (en) 2015-04-01 2018-07-17 Vayavision, Ltd. Generating 3-dimensional maps of a scene using passive and active measurements
CN107533804B (zh) 2015-04-23 2018-11-06 日产自动车株式会社 情形理解装置
US9610945B2 (en) * 2015-06-10 2017-04-04 Ford Global Technologies, Llc Collision mitigation and avoidance
JP6430907B2 (ja) * 2015-07-17 2018-11-28 株式会社Soken 運転支援システム
JP6418332B2 (ja) * 2015-08-28 2018-11-07 日産自動車株式会社 車両位置推定装置、車両位置推定方法
CN108353485B (zh) * 2015-10-22 2020-06-09 飞利浦照明控股有限公司 为了成本减小而优化的照明系统
US10013881B2 (en) 2016-01-08 2018-07-03 Ford Global Technologies System and method for virtual transformation of standard or non-connected vehicles
CN105718905A (zh) * 2016-01-25 2016-06-29 大连楼兰科技股份有限公司 基于行人特征与车载摄像头的盲人检测与识别方法与系统
CN105718907A (zh) * 2016-01-25 2016-06-29 大连楼兰科技股份有限公司 基于导盲犬特征与车载摄像头的盲人检测识别方法与系统
CN105718904A (zh) * 2016-01-25 2016-06-29 大连楼兰科技股份有限公司 基于组合特征与车载摄像头的盲人检测与识别方法与系统
CN108604419B (zh) * 2016-01-29 2021-02-09 日产自动车株式会社 车辆的行驶控制方法及车辆的行驶控制装置
JP6650635B2 (ja) * 2016-02-29 2020-02-19 パナソニックIpマネジメント株式会社 判定装置、判定方法、および判定プログラム
WO2016117713A1 (ja) * 2016-02-29 2016-07-28 株式会社小松製作所 作業機械の制御システム、作業機械、及び作業機械の管理システム
JP6601679B2 (ja) * 2016-03-01 2019-11-06 パナソニックIpマネジメント株式会社 判定装置、判定方法、および判定プログラム
JP6597408B2 (ja) * 2016-03-04 2019-10-30 株式会社デンソー 衝突緩和制御装置
JP6462610B2 (ja) * 2016-03-07 2019-01-30 株式会社デンソー 横断判定装置
US10282634B2 (en) * 2016-03-11 2019-05-07 Panasonic Intellectual Property Corporation Of America Image processing method, image processing apparatus, and recording medium for reducing variation in quality of training data items
CN107181908B (zh) * 2016-03-11 2020-09-11 松下电器(美国)知识产权公司 图像处理方法、图像处理装置及计算机可读记录介质
US10055652B2 (en) * 2016-03-21 2018-08-21 Ford Global Technologies, Llc Pedestrian detection and motion prediction with rear-facing camera
JP6214702B2 (ja) 2016-03-22 2017-10-18 三菱電機株式会社 移動体認識システム
JP6508114B2 (ja) 2016-04-20 2019-05-08 トヨタ自動車株式会社 移動体の自動運転制御システム
US11204610B2 (en) * 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
US11137763B2 (en) * 2016-05-30 2021-10-05 Faraday & Future Inc. Generating and fusing traffic scenarios for automated driving systems
EP3252658B1 (en) * 2016-05-30 2021-08-11 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10829116B2 (en) 2016-07-01 2020-11-10 nuTonomy Inc. Affecting functions of a vehicle based on function-related information about its environment
DE102016212187A1 (de) * 2016-07-05 2018-01-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer eine Signalquelle umfassenden Verkehrsinfrastruktureinheit
US10625746B2 (en) * 2016-07-26 2020-04-21 Nissan Motor Co., Ltd. Self-position estimation method and self-position estimation device
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug
US10258851B2 (en) * 2016-09-13 2019-04-16 AO Kaspersky Lab System and method for calculating projected impact generated by sports implements and gaming equipment
JP6566145B2 (ja) * 2016-10-07 2019-08-28 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10339708B2 (en) * 2016-11-01 2019-07-02 Google Inc. Map summarization and localization
JP2018081545A (ja) * 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像データ抽出装置及び画像データ抽出方法
US10262539B2 (en) * 2016-12-15 2019-04-16 Ford Global Technologies, Llc Inter-vehicle warnings
WO2018132614A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Rules-based navigation
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
EP3361466B1 (en) * 2017-02-14 2024-04-03 Honda Research Institute Europe GmbH Risk-based driver assistance for approaching intersections of limited visibility
JP6846624B2 (ja) * 2017-02-23 2021-03-24 パナソニックIpマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
US10766492B2 (en) * 2017-03-02 2020-09-08 Nissan Motor Co., Ltd. Driving assistance method and driving assistance device
US10234864B2 (en) 2017-03-07 2019-03-19 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10281920B2 (en) 2017-03-07 2019-05-07 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10095234B2 (en) * 2017-03-07 2018-10-09 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
JP6509279B2 (ja) * 2017-05-31 2019-05-08 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
JP6613265B2 (ja) * 2017-06-01 2019-11-27 本田技研工業株式会社 予測装置、車両、予測方法およびプログラム
JP6808590B2 (ja) * 2017-08-08 2021-01-06 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび移動体
JP6904849B2 (ja) * 2017-08-14 2021-07-21 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム。
US11210744B2 (en) * 2017-08-16 2021-12-28 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
JP7051366B2 (ja) * 2017-10-18 2022-04-11 株式会社東芝 情報処理装置、学習済モデル、情報処理方法、およびプログラム
JP6880455B2 (ja) * 2017-10-26 2021-06-02 トヨタ自動車株式会社 運転支援装置及び運転支援システム
JP6338006B1 (ja) * 2017-11-02 2018-06-06 オムロン株式会社 人集結分析装置、移動先予定作成装置、人集結分析システム、車両、および、人集結分析プログラム
JP6958630B2 (ja) * 2017-11-17 2021-11-02 株式会社アイシン 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
FR3076045A1 (fr) * 2017-12-22 2019-06-28 Orange Procede de surveillance d'un environnement d'un premier element positionne au niveau d'une voie de circulation, et systeme associe
JP7009252B2 (ja) * 2018-02-20 2022-01-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10726275B2 (en) * 2018-03-07 2020-07-28 Visteon Global Technologies, Inc. System and method for correlating vehicular sensor data
WO2019195415A1 (en) * 2018-04-03 2019-10-10 Mobileye Vision Technologies Ltd. Systems and methods for determining navigational parameters
WO2020017111A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 エージェント、存在確率マップ作成方法、エージェントの行動制御方法、及びプログラム
US11353872B2 (en) * 2018-07-30 2022-06-07 Pony Ai Inc. Systems and methods for selectively capturing and filtering sensor data of an autonomous vehicle
JP7195098B2 (ja) * 2018-09-27 2022-12-23 株式会社Subaru 車両用通信装置、並びにこれを用いる車両制御システムおよび交通システム
US10549678B1 (en) * 2018-12-03 2020-02-04 Gentex Corporation System and method for a vehicle control system
CN109901193A (zh) * 2018-12-03 2019-06-18 财团法人车辆研究测试中心 近距离障碍物的光达侦测装置及其方法
US10814870B2 (en) * 2018-12-04 2020-10-27 GM Global Technology Operations LLC Multi-headed recurrent neural network (RNN) for multi-class trajectory predictions
US11624630B2 (en) * 2019-02-12 2023-04-11 International Business Machines Corporation Using augmented reality to present vehicle navigation requirements
JP2020154384A (ja) * 2019-03-18 2020-09-24 いすゞ自動車株式会社 衝突確率算出装置、衝突確率算出システムおよび衝突確率算出方法
US11618439B2 (en) * 2019-04-11 2023-04-04 Phantom Auto Inc. Automatic imposition of vehicle speed restrictions depending on road situation analysis
JP7323356B2 (ja) * 2019-06-28 2023-08-08 フォルシアクラリオン・エレクトロニクス株式会社 駐車支援装置及び駐車支援方法
JP7078587B2 (ja) * 2019-09-30 2022-05-31 本田技研工業株式会社 走行支援システム、走行支援方法およびプログラム
CN111027692A (zh) * 2019-11-04 2020-04-17 中国电子科技集团公司第十四研究所 一种目标运动态势预测方法及装置
CN112818727A (zh) * 2019-11-18 2021-05-18 华为技术有限公司 一种道路约束确定方法及装置
US11473927B2 (en) * 2020-02-05 2022-10-18 Electronic Arts Inc. Generating positions of map items for placement on a virtual map
US11385642B2 (en) 2020-02-27 2022-07-12 Zoox, Inc. Perpendicular cut-in training
CN111126362B (zh) * 2020-03-26 2020-08-07 北京三快在线科技有限公司 一种预测障碍物轨迹的方法及装置
KR20210129913A (ko) * 2020-04-21 2021-10-29 주식회사 만도모빌리티솔루션즈 운전자 보조 시스템
CN111598169B (zh) * 2020-05-18 2023-04-07 腾讯科技(深圳)有限公司 一种模型训练方法、游戏测试方法、模拟操作方法及装置
RU2762636C1 (ru) * 2020-09-28 2021-12-21 Федеральное государственное бюджетное образовательное учреждение высшего образования "МИРЭА - Российский технологический университет" Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени
US11733054B2 (en) 2020-12-11 2023-08-22 Motional Ad Llc Systems and methods for implementing occlusion representations over road features
US11950567B2 (en) 2021-03-04 2024-04-09 Sky View Environmental Service Llc Condor monitoring systems and related methods
US20220396313A1 (en) * 2021-06-15 2022-12-15 Steering Solutions Ip Holding Corporation Systems and methods for active blind zone assist
CN114371697B (zh) * 2021-12-08 2024-05-07 珠海云洲智能科技股份有限公司 救生圈的控制方法、控制装置、电子设备以及存储介质
US11872937B2 (en) * 2022-02-16 2024-01-16 GM Global Technology Operations LLC Severity prediction system and method
CN116467565B (zh) * 2023-06-20 2023-09-22 国家海洋局北海预报中心((国家海洋局青岛海洋预报台)(国家海洋局青岛海洋环境监测中心站)) 一种浒苔绿潮斑块最优搜寻区域预报方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173703A (ja) 2003-12-08 2005-06-30 Nissan Motor Co Ltd 交差点衝突予防装置
JP2006219119A (ja) * 2005-01-17 2006-08-24 Toyota Central Res & Dev Lab Inc 衝突挙動制御装置
JP2007102639A (ja) * 2005-10-06 2007-04-19 Fuji Heavy Ind Ltd 衝突判定装置
JP2007233646A (ja) 2006-02-28 2007-09-13 Toyota Motor Corp 物体進路予測方法、装置、およびプログラム
JP2008117082A (ja) * 2006-11-01 2008-05-22 Toyota Motor Corp 走行制御計画評価装置
JP2008238831A (ja) 2007-03-23 2008-10-09 Fuji Heavy Ind Ltd オンラインリスク学習システム
JP2010201214A (ja) 2001-05-09 2010-09-16 Daiichi Shokai Co Ltd 遊技機
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2011198266A (ja) * 2010-03-23 2011-10-06 Toyota Central R&D Labs Inc 危険判定装置及びプログラム
JP2011248445A (ja) * 2010-05-24 2011-12-08 Toyota Central R&D Labs Inc 可動物予測装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100519781B1 (ko) * 2004-02-18 2005-10-07 삼성전자주식회사 객체 추적 방법 및 그 장치
JP4760715B2 (ja) * 2004-12-28 2011-08-31 株式会社豊田中央研究所 車両運動制御装置
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
US7710248B2 (en) * 2007-06-12 2010-05-04 Palo Alto Research Center Incorporated Human-machine-interface (HMI) customization based on collision assessments
JP4939564B2 (ja) * 2009-03-23 2012-05-30 本田技研工業株式会社 車両用情報提供装置
WO2012014430A1 (ja) * 2010-07-27 2012-02-02 パナソニック株式会社 移動体検出装置および移動体検出方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010201214A (ja) 2001-05-09 2010-09-16 Daiichi Shokai Co Ltd 遊技機
JP2005173703A (ja) 2003-12-08 2005-06-30 Nissan Motor Co Ltd 交差点衝突予防装置
JP2006219119A (ja) * 2005-01-17 2006-08-24 Toyota Central Res & Dev Lab Inc 衝突挙動制御装置
JP2007102639A (ja) * 2005-10-06 2007-04-19 Fuji Heavy Ind Ltd 衝突判定装置
JP2007233646A (ja) 2006-02-28 2007-09-13 Toyota Motor Corp 物体進路予測方法、装置、およびプログラム
JP2008117082A (ja) * 2006-11-01 2008-05-22 Toyota Motor Corp 走行制御計画評価装置
JP2008238831A (ja) 2007-03-23 2008-10-09 Fuji Heavy Ind Ltd オンラインリスク学習システム
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2011198266A (ja) * 2010-03-23 2011-10-06 Toyota Central R&D Labs Inc 危険判定装置及びプログラム
JP2011248445A (ja) * 2010-05-24 2011-12-08 Toyota Central R&D Labs Inc 可動物予測装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2615596A4

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103454639A (zh) * 2012-05-31 2013-12-18 现代自动车株式会社 用于检测车辆周围的移动物体的设备和方法
CN104603855B (zh) * 2012-09-03 2016-06-22 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
CN104603855A (zh) * 2012-09-03 2015-05-06 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
CN103680291A (zh) * 2012-09-09 2014-03-26 复旦大学 基于天花板视觉的同步定位与地图绘制的方法
CN103680291B (zh) * 2012-09-09 2016-12-21 复旦大学 基于天花板视觉的同步定位与地图绘制的方法
CN102928836B (zh) * 2012-10-29 2014-07-16 电子科技大学 一种地面目标跟踪方法
CN102928836A (zh) * 2012-10-29 2013-02-13 电子科技大学 一种地面目标跟踪方法
EP2963633A4 (en) * 2013-02-27 2016-12-07 Hitachi Automotive Systems Ltd OBJECT SENSOR
US9679196B2 (en) 2013-02-27 2017-06-13 Hitachi Automotive Systems, Ltd. Object sensing device
US10198008B2 (en) 2013-11-15 2019-02-05 Hitachi, Ltd. Mobile robot system
JP6072934B2 (ja) * 2013-11-15 2017-02-01 株式会社日立製作所 移動ロボットシステム
JPWO2015072002A1 (ja) * 2013-11-15 2017-03-09 株式会社日立製作所 移動ロボットシステム
WO2015072002A1 (ja) * 2013-11-15 2015-05-21 株式会社日立製作所 移動ロボットシステム
JP2016053846A (ja) * 2014-09-03 2016-04-14 株式会社デンソーアイティーラボラトリ 自動運転支援システム、自動運転支援方法及び自動運転装置
WO2017122354A1 (ja) * 2016-01-15 2017-07-20 三菱電機株式会社 位置推定装置、位置推定方法及び位置推定プログラム
US11049396B2 (en) 2016-01-15 2021-06-29 Mitsubishi Electric Corporation Position estimation apparatus, position estimation method, and computer readable medium
JP2019516955A (ja) * 2016-03-29 2019-06-20 アプティブ・テクノロジーズ・リミテッド 自動化車両のためのv2x物体−ロケーション検証システム
US11132611B2 (en) 2016-05-27 2021-09-28 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method for determining presence probability of object
US11222438B2 (en) 2016-05-27 2022-01-11 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method for presence probability of object
JP2018092368A (ja) * 2016-12-02 2018-06-14 株式会社豊田中央研究所 移動物状態量推定装置及びプログラム
JP2018120291A (ja) * 2017-01-23 2018-08-02 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
JP2018120292A (ja) * 2017-01-23 2018-08-02 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
JP2018120290A (ja) * 2017-01-23 2018-08-02 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
WO2018135509A1 (ja) * 2017-01-23 2018-07-26 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラムおよびそれを記録した記録媒体
WO2018135605A1 (ja) * 2017-01-23 2018-07-26 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
US11003925B2 (en) 2017-01-23 2021-05-11 Panasonic Intellectual Property Management Co., Ltd. Event prediction system, event prediction method, program, and recording medium having same recorded therein
WO2018198769A1 (ja) * 2017-04-26 2018-11-01 日立オートモティブシステムズ株式会社 周辺環境認識装置、表示制御装置
JP2018185668A (ja) * 2017-04-26 2018-11-22 日立オートモティブシステムズ株式会社 周辺環境認識装置、表示制御装置
WO2018216066A1 (ja) * 2017-05-22 2018-11-29 三菱電機株式会社 車載装置、走行支援方法および走行支援プログラム
JPWO2019138638A1 (ja) * 2018-01-09 2020-01-16 三菱電機株式会社 移動経路推定装置、移動経路推定システムおよび移動経路推定方法
WO2019138443A1 (ja) * 2018-01-09 2019-07-18 三菱電機株式会社 移動経路推定装置、移動経路推定システムおよび移動経路推定方法
WO2019138638A1 (ja) * 2018-01-09 2019-07-18 三菱電機株式会社 移動経路推定装置、移動経路推定システムおよび移動経路推定方法
JP2019178971A (ja) * 2018-03-30 2019-10-17 パナソニックIpマネジメント株式会社 環境地図生成装置、環境地図生成方法、及び環境地図生成プログラム
JP2021521058A (ja) * 2018-05-16 2021-08-26 マサチューセッツ インスティテュート オブ テクノロジー リスクレベルセットを使用した混雑環境のナビゲート
JP7145234B2 (ja) 2018-05-16 2022-09-30 マサチューセッツ インスティテュート オブ テクノロジー リスクレベルセットを使用した混雑環境のナビゲート
JP2020046755A (ja) * 2018-09-14 2020-03-26 オムロン株式会社 検知装置、移動体システム、及び検知方法
JP7063208B2 (ja) 2018-09-14 2022-05-09 オムロン株式会社 検知装置、移動体システム、及び検知方法
WO2020054108A1 (ja) * 2018-09-14 2020-03-19 オムロン株式会社 検知装置、移動体システム、及び検知方法
JP2020046882A (ja) * 2018-09-18 2020-03-26 株式会社東芝 情報処理装置、車両制御装置および移動体制御方法
US11400923B2 (en) 2018-09-18 2022-08-02 Kabushiki Kaisha Toshiba Information processing device, vehicle control device, and mobile object control method
JP7043376B2 (ja) 2018-09-18 2022-03-29 株式会社東芝 情報処理装置、車両制御装置および移動体制御方法
JP2020060864A (ja) * 2018-10-05 2020-04-16 オムロン株式会社 検知装置、移動体システム、及び検知方法
JP2020060863A (ja) * 2018-10-05 2020-04-16 オムロン株式会社 検知装置、移動体システム、及び検知方法
WO2020070909A1 (ja) * 2018-10-05 2020-04-09 オムロン株式会社 検知装置、移動体システム、及び検知方法
WO2020070908A1 (ja) * 2018-10-05 2020-04-09 オムロン株式会社 検知装置、移動体システム、及び検知方法
JP7070307B2 (ja) 2018-10-05 2022-05-18 オムロン株式会社 検知装置、移動体システム、及び検知方法
JP7067400B2 (ja) 2018-10-05 2022-05-16 オムロン株式会社 検知装置、移動体システム、及び検知方法
JP2020061139A (ja) * 2018-10-08 2020-04-16 株式会社ストラドビジョン ブラインドスポットモニタリングのためのcnnの学習方法、テスティング方法、学習装置、及びテスティング装置
JP7147448B2 (ja) 2018-10-10 2022-10-05 トヨタ自動車株式会社 地図情報システム
JP2020060674A (ja) * 2018-10-10 2020-04-16 トヨタ自動車株式会社 地図情報システム
CN109859527A (zh) * 2019-01-30 2019-06-07 杭州鸿泉物联网技术股份有限公司 一种非机动车转弯预警方法及装置
US20210388578A1 (en) * 2019-03-14 2021-12-16 Hitachi Construction Machinery Co., Ltd. Construction machine
JPWO2021149095A1 (ja) * 2020-01-20 2021-07-29
WO2021149095A1 (ja) * 2020-01-20 2021-07-29 三菱電機株式会社 移動支援装置、移動支援学習装置、及び、移動支援方法
WO2022209607A1 (ja) * 2021-03-29 2022-10-06 本田技研工業株式会社 情報処理装置、車両、走行支援方法および走行支援プログラム
JP6956932B1 (ja) * 2021-03-30 2021-11-02 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法、及び、運転支援プログラム
WO2022208675A1 (ja) * 2021-03-30 2022-10-06 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法、及び、運転支援プログラム
WO2023157301A1 (ja) * 2022-02-21 2023-08-24 日立Astemo株式会社 電子制御装置及び軌道生成方法
WO2024079970A1 (ja) * 2022-10-13 2024-04-18 トヨタ自動車株式会社 情報処理装置、方法、及びプログラム

Also Published As

Publication number Publication date
EP2615596A4 (en) 2017-12-06
EP2615596A1 (en) 2013-07-17
JP5475138B2 (ja) 2014-04-16
CN103155015A (zh) 2013-06-12
US9424468B2 (en) 2016-08-23
CN103155015B (zh) 2014-12-31
US20130223686A1 (en) 2013-08-29
JPWO2012033173A1 (ja) 2014-01-20

Similar Documents

Publication Publication Date Title
JP5475138B2 (ja) 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法
JP5620147B2 (ja) 可動物予測装置及びプログラム
US11400925B2 (en) Planning for unknown objects by an autonomous vehicle
US11685360B2 (en) Planning for unknown objects by an autonomous vehicle
US11554785B2 (en) Driving scenario machine learning network and driving environment simulation
JP5535816B2 (ja) 移動物予測装置及びプログラム
CN108062095B (zh) 在概率框架内使用传感器融合的物体追踪
US10234864B2 (en) Planning for unknown objects by an autonomous vehicle
Hashimoto et al. A probabilistic model of pedestrian crossing behavior at signalized intersections for connected vehicles
JP5587170B2 (ja) 運転支援装置及びプログラム
KR20230130147A (ko) 자율 주행을 위한 항법 정보의 융합 프레임워크 및 배치 정렬
JP2016115334A (ja) 意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両
CN106462727A (zh) 用于车道尽头识别的系统和方法
JP2013225295A (ja) 方位情報を考慮する衝突警告システム
Hashimoto et al. Probability estimation for pedestrian crossing intention at signalized crosswalks
JP7024610B2 (ja) 検知装置及び検知システム
Hashimoto et al. A probabilistic model for the estimation of pedestrian crossing behavior at signalized intersections
JP2013004021A (ja) 衝突危険度判定装置
JP2011198266A (ja) 危険判定装置及びプログラム
JP2012164159A (ja) 危険度判定装置、危険度判定プログラム及び危険度判定方法
WO2015155867A1 (ja) 移動推定装置
JP2012198774A (ja) 規範車速算出装置及びプログラム
Klette et al. Vision-based driver assistance systems
Morris et al. Intersection Monitoring Using Computer Vision Techniques for Capacity, Delay, and Safety Analysis
Wu et al. Development of a Roadside LiDAR-Based Situational Awareness System for Work Zone Safety: Proof-of-Concept Study

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180043108.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11823647

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012533026

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011823647

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13821147

Country of ref document: US