WO2013042206A1 - 対象物変化検出装置および対象物変化検出方法 - Google Patents

対象物変化検出装置および対象物変化検出方法 Download PDF

Info

Publication number
WO2013042206A1
WO2013042206A1 PCT/JP2011/071399 JP2011071399W WO2013042206A1 WO 2013042206 A1 WO2013042206 A1 WO 2013042206A1 JP 2011071399 W JP2011071399 W JP 2011071399W WO 2013042206 A1 WO2013042206 A1 WO 2013042206A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape
change
shape information
information
change detection
Prior art date
Application number
PCT/JP2011/071399
Other languages
English (en)
French (fr)
Inventor
小川　雅弘
金道　敏樹
船山　竜士
深町　映夫
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to US14/346,062 priority Critical patent/US9373042B2/en
Priority to PCT/JP2011/071399 priority patent/WO2013042206A1/ja
Priority to JP2013534490A priority patent/JP5780307B2/ja
Priority to EP11872617.3A priority patent/EP2759997B1/en
Priority to CN201180073587.3A priority patent/CN103814401B/zh
Publication of WO2013042206A1 publication Critical patent/WO2013042206A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Definitions

  • the present invention relates to an object change detection device and an object change detection method.
  • Patent Document 1 the time series change of the position and movement speed of the pedestrian existing in front of the host vehicle and the peripheral information are acquired, the time series change of the acquired position and movement speed, and the pedestrian Compared with the time-series change pattern of the position and moving speed when jumping out on the roadway, by comparing the acquired surrounding information with the peripheral information obtained in advance when the pedestrian jumps out on the roadway, There has been disclosed a pedestrian jump prediction device that predicts whether or not a pedestrian jumps out on a traveling roadway.
  • Patent Document 2 generates an edge image from image data input from an external sensor, detects the opening W of the left and right legs of the pedestrian candidate, and estimates the head of the pedestrian candidate.
  • the height H of the pedestrian candidate is estimated according to the position of the head, and the ratio (W / H) of the leg W to the height H is a predetermined value based on the height H of the pedestrian candidate and the opening W of the leg.
  • a pedestrian recognition device that determines whether or not there is a possibility that a pedestrian candidate crosses the course of the host vehicle by determining whether or not ⁇ is greater than or equal to ⁇ .
  • Patent Document 3 a histogram is created for each section obtained by dividing the distance image at a predetermined interval to obtain the existence position of the three-dimensional object and its distance, and the distances for each section are collected as a group, After dividing the group at the part where the data alignment direction changes greatly for each group, the group is recombined from the mutual positional relationship of each group to recognize one solid object as a combination of an object and a side wall, An out-of-vehicle monitoring device that detects the position and behavior of an obliquely forward vehicle by calculating the position of a corner point of an object and calculating parameters such as the position of a three-dimensional object and the movement speed in the front-rear and left-right directions is disclosed. Yes.
  • Patent Documents 1 to 3 etc. there is a problem that a change in an object around the vehicle cannot be detected quickly and accurately.
  • the outside-of-vehicle monitoring device described in Patent Document 3 has a problem that it cannot be applied to a highway with a wide lane width because a side wall must exist next to the vehicle. Moreover, in the vehicle monitoring device, since a distance image is essential as an input, there is a problem that the configuration of the sensor becomes complicated.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an object change detection device and an object change detection method capable of detecting a change in an object around a vehicle quickly and accurately. .
  • An object change detection apparatus includes an object detection unit that detects an object from an image, and a shape information acquisition unit that acquires a feature amount distribution representing shape information of the object detected by the object detection unit.
  • the shape information storage means for storing the shape information represented by the feature amount distribution acquired by the shape information acquisition means and the shape information stored by the shape information storage means, and the shape before a predetermined time It comprises object change detecting means for detecting change of the object by comparing information with the current shape information.
  • the shape information accumulating unit further includes a normalizing unit that normalizes the shape information represented by the feature amount distribution acquired by the shape information acquiring unit.
  • the shape information normalized by the normalizing means is stored.
  • the shape information acquisition unit acquires the feature amount distribution of the object detected by the object detection unit using a predetermined feature amount, and performs the normalization.
  • Means normalizes the feature quantity distribution obtained by the shape information obtaining means to obtain a probability distribution corresponding to the feature quantity distribution; and the shape information storage means obtains the probability distribution obtained by the normalizing means.
  • the object change detecting means calculates a difference between the probability distribution of the predetermined time accumulated by the shape information storing means and the current probability distribution by using a predetermined scale. It is preferable to detect a change in the object when the difference is larger than a predetermined threshold.
  • the object change detection device described above further includes a processing object region extracting unit that extracts a processing object region from an image region including the object detected by the object detecting unit, and the shape information acquiring unit includes Preferably, the feature amount distribution of the target object is acquired from the processing target area extracted by the processing target area extracting unit.
  • the object change detection apparatus described above uses the probability distribution accumulated by the shape information accumulation unit to calculate a difference between the probability distribution before the predetermined time and the current probability distribution of the object.
  • Shape change information acquisition means for acquiring as shape change information
  • shape change information storage means for storing the shape change information acquired by the shape change information acquisition means, further comprising: the object change detection means
  • the similarity is calculated using the shape change information accumulated by the change information accumulating means, and the change in the object is detected when the similarity is smaller than a predetermined threshold.
  • the object change detection device described above further includes shape change averaging means for averaging the plurality of shape change information accumulated by the shape change information accumulating means to obtain averaged shape change information,
  • the object change detection means calculates the similarity using the averaged shape change information acquired by the shape change averaging means, and changes the object when the similarity is smaller than the predetermined threshold. Is preferably detected.
  • the predetermined feature amount is a feature amount that can be expressed as a probability distribution, a first feature amount that uses the luminance of the image itself, and a second feature amount that uses the edge of the image. It is preferable that at least one of the third feature amounts using the color of the image is included.
  • the first feature amount includes at least one of luminance, luminance PCA, Hu moment, LBP, Haarlike feature, and position
  • the second feature amount is It is preferable that at least one of SIFT, PCA, SURF, GLOH, shape context, HOG, CoHOG, FIND, and edgelet is included
  • the third feature amount includes at least one of RGB and Lab.
  • the predetermined scale is a scale for measuring a difference between probability distributions by a distance or a pseudorange.
  • the distance includes at least one of a Manhattan distance, an Euclidean distance, a uniform norm, a Mahalanobis distance, and a Hamming distance
  • the pseudo distance is a Calbach-Librler information amount. It is preferable to contain.
  • the similarity includes a cosine similarity.
  • the object change detection method of the present invention includes an object detection step for detecting an object from an image, and a shape information acquisition step for acquiring a feature amount distribution representing shape information of the object detected in the object detection step. Using the shape information storage step for storing the shape information represented by the feature amount distribution acquired in the shape information acquisition step, and the shape information stored in the shape information storage step. The object change detection step of detecting a change in the object by comparing the shape information and the current shape information.
  • the present invention has an effect that a change in an object around a vehicle can be detected quickly and accurately.
  • FIG. 1 is a block diagram showing an example of the configuration of an object change detection device according to the present invention.
  • FIG. 2 is a flowchart illustrating an example of the object change detection process according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a change detection graph according to the first embodiment.
  • FIG. 4 is a flowchart illustrating an example of the object change detection process according to the second embodiment.
  • FIG. 5 is a diagram illustrating an example of the object image area and the processing object area according to the second embodiment.
  • FIG. 6 is a flowchart illustrating an example of the object change detection process according to the third embodiment.
  • FIG. 7 is a diagram illustrating an example of a change detection graph according to the third embodiment.
  • FIG. 8 is a flowchart illustrating an example of the object change detection process according to the fourth embodiment.
  • FIG. 9 is a diagram illustrating an example of a change detection graph according to the fourth embodiment.
  • FIG. 1 is a block diagram showing an example of the configuration of an object change detection device according to the present invention.
  • the object change detection device 1 is configured by using, for example, an automobile control computer mounted on a vehicle and is connected to a camera 2 mounted on the vehicle so as to be communicable. ing.
  • the camera 2 is a device that captures the periphery of the host vehicle and generates image data in which the periphery of the host vehicle is projected.
  • the camera 2 is, for example, a CCD camera or a CMOS camera that can capture an image in the visible light region or the infrared region.
  • the camera 2 is installed at an arbitrary position capable of capturing an image of the vehicle periphery such as the front, side, and rear of the vehicle.
  • the object change detection device 1 includes a control unit 12 and a storage unit 14.
  • the control unit 12 controls the object change detection device 1 in an integrated manner, and is, for example, a CPU (Central Processing Unit).
  • the storage unit 14 is for storing data, and is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), or a hard disk.
  • the storage unit 14 includes a shape information storage unit 14a, a processing target region storage unit 14b, a shape change information storage unit 14c, and an averaged shape change information storage unit 14d.
  • the shape information storage unit 14a is shape information storage means for storing the shape information of the object extracted from the image data.
  • the target object includes at least one of moving objects such as a pedestrian, a bicycle, a motorcycle, and a vehicle that exist around the own vehicle.
  • the object may be a part of an object such as a vehicle door.
  • the shape information is data indicating the feature amount of the shape of the object.
  • the feature amount is not limited to this, but the first feature amount using the luminance of the image data itself, the second feature amount using the edge of the image data, and the third feature amount using the color of the image data. At least one of them.
  • the first feature amount includes, for example, at least one of luminance, luminance PCA, Hu moment, LBP, Haarlike feature, and position.
  • the second feature amount includes, for example, at least one of SIFT, PCA, SURF, GLOH, shape context, HOG, CoHOG, FIND, and edge.
  • the third feature amount includes, for example, at least one
  • the process target area storage unit 14b is a process target area storage unit that stores a process target area corresponding to a part of the image area of the image data including the target object.
  • the shape change information storage unit 14c is a shape change information storage unit that stores shape change information indicating a time change of the shape information within a predetermined time.
  • the averaged shape change information storage unit 14d is an averaged shape change information storage unit that stores averaged shape change information indicating the average of the shape change information.
  • the control unit 12 includes an object detection unit 12a, a processing target region extraction unit 12b, a shape information acquisition unit 12c, a normalization unit 12d, a shape information storage unit 12e, a shape change information acquisition unit 12f, a shape change information storage unit 12g, a shape A change averaging unit 12h and an object change detection unit 12i are provided.
  • the object detection unit 12a is an object detection unit that detects an object from an image.
  • the object detection unit 12a detects the object by performing pattern matching or the like using data indicating an outline of the shape of the object stored in the storage unit 14 in advance.
  • the processing target region extraction unit 12b is processing target region extraction means for extracting a processing target region from an image region including the target detected by the target detection unit 12a.
  • the processing target area is a predetermined area that is effective for object change detection processing by the object change detection unit 12i described later. For example, when the object is a pedestrian, the processing target area includes an area including only the entire pedestrian or only the lower body.
  • the processing target area extraction unit 12b may store the extracted processing target area in the processing target area storage unit 14b.
  • the shape information acquisition unit 12c is a shape information acquisition unit that acquires a feature amount distribution representing the shape information of the object detected by the object detection unit 12a. Specifically, the shape information acquisition unit 12c acquires the feature amount distribution of the object detected by the object detection unit 12a using a predetermined feature amount.
  • the predetermined feature amount is a feature amount that can be expressed as a probability distribution, and includes at least one of the first feature amount, the second feature amount, and the third feature amount.
  • the shape information acquisition unit 12c may acquire the feature quantity distribution of the target object from the processing target region extracted by the processing target region extraction unit 12b or the processing target region stored in the processing target region storage unit 14b. .
  • the normalization unit 12d is normalization means for normalizing the shape information represented by the feature amount distribution acquired by the shape information acquisition unit 12c. Specifically, the normalization unit 12d normalizes the feature amount distribution acquired by the shape information acquisition unit 12c, and acquires a probability distribution corresponding to the feature amount distribution.
  • the shape information accumulation unit 12e is a shape information accumulation unit that accumulates shape information represented by the feature amount distribution acquired by the shape information acquisition unit 12c.
  • the shape information storage unit 12e stores the shape information normalized by the normalization unit 12d.
  • the shape information accumulation unit 12e accumulates the probability distribution acquired by the normalization unit 12d. That is, the shape information storage unit 12e stores the normalized shape information (probability distribution) in the shape information storage unit 14a.
  • the shape information accumulation unit 12e may accumulate the feature amount distribution before normalization acquired by the shape information acquisition unit 12c.
  • the shape change information acquisition unit 12f uses the normalized shape information accumulated by the shape information accumulation unit 12e, that is, the probability distribution stored in the shape information storage unit 14a, and the probability distribution before a predetermined time and the current It is a shape change information acquisition means for acquiring the difference from the probability distribution as the shape change information of the object.
  • the shape change information accumulating unit 12g is a shape change information accumulating unit that accumulates the shape change information acquired by the shape change information acquiring unit 12f. That is, the shape change information storage unit 12g stores the acquired shape change information in the shape change information storage unit 14c.
  • the shape change averaging unit 12h averages the plurality of shape change information accumulated by the shape change information accumulation unit 12g, that is, the shape change information stored in the shape change information storage unit 14c, to obtain the averaged shape change information. This is a shape change averaging means to be acquired.
  • the shape change averaging unit 12h may store the acquired averaged shape change information in the averaged shape change information storage unit 14d.
  • the object change detection unit 12i uses the shape information accumulated by the shape information accumulation unit 12e, that is, the shape information stored in the shape information storage unit 14a, to obtain the shape information before a predetermined time and the current shape information. It is an object change detection means for detecting a change in the object by comparison.
  • the change of the object means a dangerous change of the object in the traffic environment, and includes a change of the shape at the start of the movement change of the object. Examples of changes in objects include, but are not limited to, for example, changes in which pedestrians and bicycles suddenly change their movements and come out on the road, and parallel vehicles and motorcycles suddenly change lanes and interrupt their own lanes. Changes that come in front, changes that the vehicle ahead suddenly starts a U-turn, changes that the vehicle ahead suddenly starts a left or right turn to enter a store beside the road, and the door of the parked vehicle suddenly opens Including changes such as
  • the object change detection unit 12i calculates the difference between the probability distribution before the predetermined time stored in the shape information storage unit 14a and the current probability distribution using a predetermined scale, and is calculated. If the difference is greater than a predetermined threshold, a change in the object is detected.
  • the predetermined scale is a scale for measuring a difference between probability distributions by distance or pseudorange.
  • the distance includes, but is not limited to, Lp norm, for example, L1 norm (Manhattan distance), L2 norm (Euclidean distance), L infinity norm (uniform norm), and the like. Further, the distance may include a Mahalanobis distance. When using this Mahalanobis distance, it is preferable to create a distribution from a plurality of past vectors p (t).
  • the distance may include a Hamming distance. When this hamming distance is used, it is preferable to discretize numerical values to some extent.
  • the pseudorange includes, but is not limited to, a Kullback-Leibler divergence (hereinafter referred to as a KL information amount).
  • the KL information amount is a measure for measuring the difference between the two probability distributions P and Q, and is well known in the field of information theory.
  • the object change detection unit 12i when the feature information distribution before normalization is accumulated by the shape information accumulation unit 12e, and the feature amount distribution before a predetermined time stored in the shape information storage unit 14a and Normalize the current feature quantity distribution, acquire the feature quantity distribution before the predetermined time and the probability distribution corresponding to the current feature quantity distribution, respectively, and use the predetermined scale to obtain the acquired probability before the predetermined time A difference between the distribution and the current probability distribution may be calculated, and a change in the object may be detected when the calculated difference is greater than a predetermined threshold.
  • the object change detection unit 12i calculates the degree of similarity using the shape change information accumulated by the shape change information accumulation unit 12g, that is, the shape change information stored in the shape change information storage unit 14c.
  • a change in the object may be detected.
  • the similarity is not limited to this, but includes cosine similarity and the like.
  • the object change detection unit 12i uses the averaged shape change information acquired by the shape change averaging unit 12h or the averaged shape change information stored in the averaged shape change information storage unit 14d to calculate the similarity.
  • a change in the object may be detected.
  • object change detection processing executed in the object change detection apparatus 1 will be described in the order of Embodiments 1 to 4.
  • a pedestrian will be described as an example of an object present around the vehicle, but the present invention is not limited to this.
  • SIFT feature amount is described as an example of the feature amount indicating the shape of the target object, but is not limited thereto.
  • KL information amount will be described as an example as a scale for measuring the difference between the probability distributions P and Q, it is not limited to this.
  • Embodiment 1 In Embodiment 1, it is executed in the object change detection device 1 including an object detection unit 12a, a shape information acquisition unit 12c, a normalization unit 12d, a shape information storage unit 12e, and an object change detection unit 12i.
  • the object change detection process will be described with reference to FIGS.
  • FIG. 2 is a flowchart illustrating an example of the object change detection process according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a change detection graph according to the first embodiment.
  • the control unit 12 of the object change detection device 1 acquires image data in which the periphery of the own vehicle is projected from the camera 2 (step SA1).
  • the object detection unit 12a of the object change detection device 1 detects a pedestrian as an object from the image data acquired in step SA1 (step SA2). For example, the object detection unit 12a detects the object by performing pattern matching or the like using data indicating an outline of the shape of the object such as a pedestrian stored in the storage unit 14 in advance.
  • the shape information acquisition unit 12c of the object change detection device 1 acquires a feature amount distribution representing the shape information of the object detected in step SA2 (step SA3). Specifically, the shape information acquisition unit 12c calculates a SIFT feature amount as a feature amount distribution v (t) representing the shape information from the object detected in step SA2.
  • the SIFT feature value is well known in the field of image recognition and the like as a feature value representing a shape. Also, the SIFT feature value can be expressed as a probability distribution because it can be expressed in a histogram which edge of the image data including the object is distributed in which direction.
  • the normalization unit 12d normalizes L1 norm of the feature amount distribution v (t) acquired in step SA3 to 1 as shown in the following mathematical formula (1), and the feature amount (probability distribution) p ( t) is acquired (step SA4).
  • the shape information storage unit 12e of the object change detection device 1 stores the shape information acquired in step SA4 in the shape information storage unit 14a (step SA5). That is, the shape information accumulation unit 12e accumulates the feature quantity (probability distribution) p (t) normalized in step SA4.
  • control unit 12 of the object change detection device 1 calculates the feature quantity n frames before from the feature quantity (probability distribution) p (t) accumulated in step SA5, as shown in the following formula (2).
  • the difference d (t, n) from the current feature amount is calculated (step SA6).
  • the control unit 12 calculates the difference d (t, n) using the KL information amount as shown in the following mathematical formula (3).
  • the object change detection unit 12i determines whether or not the difference d (t, n) calculated in step SA6 is larger than a predetermined threshold value Thre as shown in FIG. 3 (step SA7).
  • the vertical axis in FIG. 3 indicates the amount of KL information, and the horizontal axis indicates a time frame.
  • frames 54 to 174 represent a state in which the pedestrian of the object is moving along the sidewalk, and frame 180 represents a state in which the pedestrian suddenly changed movement.
  • Step SA7 If the object change detection unit 12i determines that the difference d (t, n) is larger than the threshold value Thre in Step SA7 (Step SA7: Yes), it determines that there is a change in the object (Step SA8). Thereafter, the object change detection process is terminated. In addition, after the process of step SA8, it returns to step SA1 and may perform a target object change detection process repeatedly.
  • the object change detection part 12i returns to the process of step SA1, when it determines with the difference d (t, n) being less than threshold value Thre in step SA7 (step SA7: No).
  • the object change detection unit 12i uses the accumulated shape information to detect the change in the object by comparing the shape information before a predetermined time with the current shape information. . Thereafter, the object change detection unit 12i returns to the image acquisition of the next frame j after the determination of whether or not the object has changed.
  • a change in an object around the vehicle can be detected more quickly and accurately than in the prior art.
  • the pedestrian pop-out prediction device described in Patent Document 1 of the prior art there is a problem that the pedestrian pop-out prediction is slower than when predicting from the posture of the pedestrian (that is, the shape of the object).
  • a dangerous change of the object in the traffic environment for example, a pedestrian jumps out
  • the change of the object around the vehicle is quickly detected. And it can detect correctly.
  • the pedestrian recognition device described in Patent Document 2 of the prior art a pedestrian who may cross the course of the host vehicle cannot be predicted unless the pedestrian starts to cross, and jumps out with a small stride.
  • the change of the object can be detected before the pedestrian starts crossing regardless of the step size of the pedestrian.
  • the change of the object around the vehicle can be detected quickly and accurately.
  • the vehicle exterior monitoring device described in Patent Document 3 of the prior art cannot be applied to a highway with a wide lane width, and there is a problem that the configuration of the sensor is complicated. Regardless of the presence or absence, the object change detection can be realized with a simple camera configuration.
  • the driver when a dangerous change occurs in an object around the vehicle while the driver is driving the vehicle, the driver can be notified of the danger quickly and accurately. The possibility of an accident can be reduced.
  • dangerous changes in objects around the vehicle can be classified into continuous changes and discontinuous changes.
  • examples of the continuous change include an operation in which the pedestrian enters linearly at a constant speed from the sidewalk toward the roadway.
  • discontinuous change from the state where the pedestrian is moving along the sidewalk, suddenly changing the direction of travel and entering the roadside, the state where the pedestrian is moving at a low speed along the sidewalk
  • an operation of suddenly moving at a high speed and an operation of suddenly moving from a state where the pedestrian is stopped is detected by linear prediction.
  • discontinuous changes could not be detected quickly and accurately.
  • the object change detection device 1 detects an object from an image, acquires a feature amount distribution representing shape information of the detected object using a predetermined feature amount, and acquires the acquired feature amount.
  • the distribution is normalized, a probability distribution corresponding to the feature amount distribution is acquired, and the acquired probability distribution is accumulated.
  • the object change detection apparatus 1 according to the first embodiment calculates a difference between the accumulated probability distribution before the predetermined time and the current probability distribution using a predetermined scale, and the calculated difference is greater than a predetermined threshold. If it is larger, the change of the object is detected.
  • discontinuous changes that could not be adequately handled by the conventional technology for example, an operation that starts moving from a state in which the object is stopped, an operation that accelerates the object
  • the action of changing the direction of the object, etc. can be detected quickly and accurately.
  • a pedestrian or a bicycle suddenly changes its movement and comes out on the road.
  • a parallel vehicle vehicle or a motorcycle suddenly changes its lane and interrupts its own lane.
  • the driver can be notified of the danger quickly and accurately, so that the possibility of a traffic accident can be reduced.
  • FIG. 4 is a flowchart illustrating an example of the object change detection process according to the second embodiment.
  • FIG. 5 is a diagram illustrating an example of the object image area and the processing object area according to the second embodiment.
  • the control unit 12 of the object change detection device 1 acquires image data in which the periphery of the own vehicle is projected from the camera 2 (step SB1).
  • the object detection unit 12a of the object change detection device 1 detects a pedestrian as an object from the image data acquired in step SB1 (step SB2).
  • the processing target area extraction unit 12b of the target change detection device 1 extracts a processing target area from the image area including the target detected in step SB2 (step SB3). Specifically, as illustrated in FIG. 5, the processing target area extraction unit 12 b performs processing such as pattern matching in an image area including the target object, and thus is a processing target that is an effective area for the target change detection process. A region (a region surrounded by bold characters in FIGS. 5A and 5B) is extracted. In FIG. 5A, when the object is a pedestrian, since the change in the shape of the lower body is important, the processing target area is set to the lower half of the image area. In FIG.
  • the processing target area extraction unit 12b may store the extracted processing target area in the processing coping area storage unit 14b.
  • the shape information acquisition unit 12c of the object change detection device 1 acquires the object shape information from the processing target area extracted in step SB3 (step SB4). Specifically, the shape information acquisition unit 12c calculates a SIFT feature amount as a feature amount distribution v (t) representing the shape information of the target object from the processing target region extracted in step SB3.
  • the normalization unit 12d normalizes L1 norm of the feature amount distribution v (t) acquired in step SB4 to 1 as shown in the following mathematical formula (1), and the feature amount (probability distribution) p ( t) is acquired (step SB5).
  • the shape information storage unit 12e of the object change detection device 1 stores the shape information acquired in step SB5 in the shape information storage unit 14a (step SB6). That is, the shape information accumulation unit 12e accumulates the feature amount (probability distribution) p (t) normalized in step SB5.
  • the control unit 12 of the object change detection device 1 calculates the feature amount n frames before from the feature amount (probability distribution) p (t) accumulated in step SB6 as shown in the following formula (2).
  • the difference d (t, n) from the current feature amount is calculated (step SB7).
  • the control unit 12 calculates the difference d (t, n) using the KL information amount as shown in the following mathematical formula (3).
  • the object change detection unit 12i determines whether or not the difference d (t, n) calculated in step SB7 is larger than a predetermined threshold value Thre as shown in FIG. 3 (step SB8). .
  • Step SB8 If the object change detection unit 12i determines that the difference d (t, n) is larger than the threshold value Thre in Step SB8 (Step SB8: Yes), it determines that there is a change in the object (Step SB9). Thereafter, the object change detection process is terminated. In addition, after the process of step SB9, it returns to step SB1 and may perform a target object change detection process repeatedly.
  • Step SB8 No
  • the shape information acquisition unit 12c acquires the shape information of the target object from the extracted processing target region, and the target object change detection unit 12i uses the accumulated shape information to perform a predetermined time ago.
  • the change in the object is detected by comparing the current shape information with the current shape information. Thereafter, the object change detection unit 12i returns to the image acquisition of the next frame j after the determination of whether or not the object has changed.
  • Embodiment 2 since the range which detects the change of the shape of a target object is limited, the detection accuracy and calculation speed of a target object change detection process can be improved. Thereby, according to Embodiment 2, since the change of the target object around a vehicle can be detected more rapidly and correctly, the possibility of occurrence of a traffic accident can be further reduced.
  • FIG. 6 is a flowchart illustrating an example of the object change detection process according to the third embodiment.
  • FIG. 7 is a diagram illustrating an example of a change detection graph according to the third embodiment.
  • control unit 12 of the object change detection device 1 acquires image data in which the periphery of the host vehicle is projected from the camera 2 (step SC1).
  • the object detection unit 12a of the object change detection device 1 detects a pedestrian as an object from the image data acquired in step SC1 (step SC2).
  • the shape information acquisition unit 12c of the object change detection device 1 acquires the shape information of the object detected in step SC2 (step SC3). Specifically, the shape information acquisition unit 12c calculates SIFT feature values as the feature value distribution v (t) representing the shape information from the object detected in step SC2.
  • the normalization unit 12d normalizes L1 norm of the feature quantity distribution v (t) acquired in step SC3 to 1 as shown in the following mathematical formula (1), and the feature quantity (probability distribution) p ( t) is acquired (step SC4).
  • the shape information storage unit 12e of the object change detection apparatus 1 stores the shape information acquired in step SC4 in the shape information storage unit 14a (step SC5). That is, the shape information accumulation unit 12e accumulates the feature amount (probability distribution) p (t) normalized in step SC4.
  • the shape change information acquisition unit 12f of the object change detection device 1 receives the n frames before the feature amount (probability distribution) p (t) accumulated in step SC5, as shown in the following formula (2).
  • a difference d (t, n) between the feature quantity and the current feature quantity (that is, shape change information in the third embodiment) is calculated (step SC6).
  • the shape change information acquisition unit 12f calculates the difference d (t, n) as the shape change information using the KL information amount as shown in the following formula (3). In this way, the shape change information acquisition unit 12f acquires the shape change information of the object using the shape information accumulated in step SC5.
  • the shape change information accumulation unit 12g of the object change detection device 1 accumulates the shape change information d (t, n) acquired in step SC6 in the shape change information storage unit 14c (step SC7). Specifically, the shape change information accumulating unit 12g accumulates the shape change information d (t, n) calculated in step SC6 for one frame, and a vector u (t, n, l shown in the following equation (4). ).
  • the object change detection unit 12i of the object change detection device 1 calculates the similarity cos ⁇ using the following formulas (5) and (6) (step SC8).
  • the similarity cos ⁇ is an n-dimensional vector similarity generally used in this technical field when analyzing the similarity in the n-dimensional space.
  • the similarity cos ⁇ is called a cosine similarity and means a cosine cos ⁇ of an angle ⁇ formed by a vector, and the closeness of the vector direction is used as an index of similarity.
  • the maximum value is 1 when the vector directions match, 0 when the vector direction is orthogonal, and -1 when the vector direction is reversed.
  • the object change detection unit 12i of the object change detection device 1 determines whether or not the similarity cos ⁇ calculated in step SC8 is smaller than a predetermined threshold Thre as shown in FIG. 7 (step SC9). ).
  • the vertical axis in FIG. 7 indicates cos ⁇ , and the horizontal axis indicates a time frame.
  • frames 66 to 162 represent a state in which the pedestrian of the object is moving along the sidewalk
  • frames 168 to 180 represent a state in which the pedestrian suddenly changed movement. Yes.
  • step SC9 determines that the degree of similarity cos ⁇ is smaller than the threshold value Thre (step SC9: Yes). Thereafter, the object change detection process is terminated. Note that, after the process of step SC10, the process may return to step SC1 to repeatedly execute the object change detection process.
  • step SC9 If the object change detection unit 12i determines in step SC9 that the degree of similarity cos ⁇ is equal to or greater than the threshold value Thre (step SC9: No), the process returns to step SC1.
  • the shape change information acquisition unit 12f uses the accumulated shape information to acquire the difference between the shape information before a predetermined time and the current shape information as the shape change information of the target object.
  • the shape change information storage unit 12g stores the acquired shape change information.
  • the object change detection unit 12i calculates a similarity using the accumulated shape change information, and detects a change in the object when the similarity is smaller than a predetermined threshold. Thereafter, the object change detection unit 12i returns to the image acquisition of the next frame j after the determination of whether or not the object has changed.
  • the detection accuracy of the object change detection process is further improved.
  • This can be further improved.
  • the detection accuracy of the object change detection process is further improved.
  • the change of the object around the vehicle can be detected more quickly and accurately, the possibility of occurrence of a traffic accident can be further reduced.
  • the example in which the similarity is compared with the threshold when detecting the change of the object has been described.
  • the present invention is not limited to this.
  • the object change detection apparatus 1 according to the third embodiment may detect a change in the object only by the presence or absence of the similarity.
  • FIG. 8 is a flowchart illustrating an example of the object change detection process according to the fourth embodiment.
  • FIG. 9 is a diagram illustrating an example of a change detection graph according to the fourth embodiment.
  • control unit 12 of the object change detection device 1 acquires image data in which the periphery of the host vehicle is projected from the camera 2 (step SD1).
  • the object detection unit 12a of the object change detection device 1 detects a pedestrian as an object from the image data acquired in step SD1 (step SD2).
  • the shape information acquisition unit 12c of the object change detection device 1 acquires the shape information of the object detected in step SD2 (step SD3). Specifically, the shape information acquisition unit 12c calculates SIFT feature values as the feature value distribution v (t) representing the shape information from the object detected in step SC2.
  • the normalization unit 12d normalizes L1 norm of the feature quantity distribution v (t) acquired in step SD3 to 1, as shown in the following mathematical formula (1), and the feature quantity (probability distribution) p ( t) is acquired (step SD4).
  • the shape information storage unit 12e of the object change detection apparatus 1 stores the shape information acquired in step SC4 in the shape information storage unit 14a (step SC5). That is, the shape information accumulation unit 12e accumulates the feature amount (probability distribution) p (t) normalized in step SC4.
  • the shape change information acquisition unit 12f of the object change detection device 1 receives the n frames before the feature amount (probability distribution) p (t) accumulated in step SC5, as shown in the following formula (2).
  • a difference d (t, n) between the feature quantity and the current feature quantity (that is, shape change information in the fourth embodiment) is calculated (step SD6).
  • the shape change information acquisition unit 12f calculates the difference d (t, n) as the shape change information using the KL information amount as shown in the following formula (3).
  • the shape change information acquisition unit 12f acquires the shape change information of the object using the shape information accumulated in step SD5.
  • the shape change information accumulating unit 12g of the object change detecting device 1 accumulates the shape change information d (t, n) acquired in step SD6 in the shape change information storage unit 14c (step SD7). Specifically, the shape change information accumulating unit 12g accumulates the shape change information d (t, n) calculated in step SD6 for one frame, and a vector u (t, n, l shown in the following equation (4). ).
  • the shape change averaging unit 12h of the object change detection device 1 further adds K vectors u (t, n, l) calculated in step SD7 using the following equation (7).
  • the noise is reduced by taking a time average (step SD8).
  • the shape change averaging unit 12h averages the plurality of shape change information accumulated in step SD7, and obtains the vector u (t, K, n, l) as the averaged shape change information.
  • the object change detection unit 12i of the object change detection device 1 calculates the similarity cos ⁇ using the following formulas (5) and (6) (step SD9).
  • the object change detection unit 12i of the object change detection apparatus 1 determines whether or not the similarity cos ⁇ calculated in step SD9 is smaller than a predetermined threshold Thre as shown in FIG. 9 (step SD10). ).
  • the vertical axis represents cos ⁇
  • the horizontal axis represents a time frame.
  • step SD10 determines that the similarity cos ⁇ is smaller than the threshold value Thre (step SD10: Yes). Thereafter, the object change detection process is terminated. In addition, after the process of step SD11, it returns to step SD1 and may perform an object change detection process repeatedly.
  • step SD10 If the object change detection unit 12i determines in step SD10 that the degree of similarity cos ⁇ is equal to or greater than the threshold Thre (step SD10: No), the process returns to step SD1.
  • the shape change information acquisition unit 12f uses the accumulated shape information to acquire the difference between the shape information before a predetermined time and the current shape information as the shape change information of the target object.
  • the shape change information storage unit 12g stores the acquired shape change information.
  • the shape change averaging unit 12h averages the plurality of accumulated shape change information and obtains averaged shape change information.
  • the object change detection unit 12i calculates a similarity using the acquired average shape change information, and detects a change in the object when the similarity is smaller than a predetermined threshold. Thereafter, the object change detection unit 12i returns to the image acquisition of the next frame j after the determination of whether or not the object has changed.
  • the temporal change of the shape information of the object is accumulated as the shape change information, and the similarity is analyzed using the averaged cosine similarity.
  • the detection accuracy of the change detection process can be further improved.
  • the object change detection device 1 according to the present invention may be executed by appropriately combining the above-described first to fourth embodiments.
  • the object change detection apparatus 1 according to the present invention may use the first to fourth embodiments in accordance with the complexity of the background of the image including the object. For example, when the vehicle is traveling in a city, it may be complicated because various objects are included in the background including the target pedestrian and other vehicles. In this case, the object change detection device 1 according to the present invention may execute the fourth embodiment in order to reduce the noise of the background image. Further, for example, when traveling on a highway, it is conceivable that the background including other vehicles and motorcycles as objects is relatively simple. In this case, the object change detection device 1 according to the present invention may execute the first embodiment with a small calculation load. Further, the object change detection device 1 according to the present invention executes a process of detecting a continuous change by performing a conventional linear prediction in parallel with the process of detecting the discontinuous change shown in the first to fourth embodiments. May be.
  • SYMBOLS 1 Object change detection apparatus 12 Control part 12a Object detection part 12b Processing target area extraction part 12c Shape information acquisition part 12d Normalization part 12e Shape information storage part 12f Shape change information acquisition part 12g Shape change information storage part 12h Shape change average Conversion unit 12i object change detection unit 14 storage unit 14a shape information storage unit 14b processing target region storage unit 14c shape change information storage unit 14d averaged shape change information storage unit 2 camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　本発明は、画像から対象物を検出し、検出した対象物の形状情報を表す特徴量分布を取得し、取得した特徴量分布により表される形状情報を蓄積し、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する。ここで、本発明は、対象物を含む画像領域から抽出した処理対象領域から対象物の特徴量分布を取得する。また、本発明は、形状情報から取得し蓄積した形状変化情報を用いて、対象物の変化を検出する。また、本発明は、形状変化情報を平均化した平均化形状変化情報を用いて、対象物の変化を検出する。

Description

対象物変化検出装置および対象物変化検出方法
　本発明は、対象物変化検出装置および対象物変化検出方法に関する。
　従来、車両周辺の対象物を検出する技術が開発されている。
　例えば、特許文献１には、自車両の前方に存在する歩行者の位置及び移動速度の時系列変化と周辺情報とを取得し、取得された位置及び移動速度の時系列変化と、歩行者が車道に飛び出すときの位置及び移動速度の時系列変化のパターンと比較すると共に、取得した周辺情報と、歩行者が車道に飛び出すときの予め求められた周辺情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する歩行者飛び出し予測装置が開示されている。
　また、特許文献２には、外界センサから入力される画像データからエッジ画像を生成し、歩行者候補の左右の脚部の開度Ｗを検出すると共に、歩行者候補の頭部を推定し、この頭部の位置に応じて歩行者候補の身長Ｈを推定し、歩行者候補の身長Ｈおよび脚部の開度Ｗに基づき、身長Ｈに対する脚部Ｗの比率（Ｗ／Ｈ）が所定値α以上であるか否かを判定することにより、歩行者候補が自車両の進路を横断する可能性があるか否かを判定する歩行者認識装置が開示されている。
　また、特許文献３には、距離画像を所定間隔で区分した区分毎にヒストグラムを作成して立体物の存在位置とその距離を求め、区分毎の距離が接近しているものをグループとしてまとめ、各グループについてデータの並び方向が大きく変化する部分でグループを分割した後、各グループの相互の位置関係からグループを再結合して１個の立体物を物体と側壁との組み合わせとして認識し、立体物のコーナー点の位置を算出して立体物の位置、前後・左右方向への移動速度等のパラメータを算出することで、斜め前方の車両の位置および挙動を検出する車外監視装置が開示されている。
特開２０１０－１０２４３７号公報 特開２００７－２６４７７８号公報 特開平１０－２８３４６１号公報
　しかしながら、従来技術（特許文献１～３等）においては、車両周辺の対象物の変化を迅速かつ正確に検出できないという問題点があった。
　例えば、特許文献１に記載の歩行者飛び出し予測装置では、歩行者の位置変化および速度変化のみを見ているため、位置および速度の変化が確認できるまで歩行者の飛び出しを予測できず、歩行者の姿勢（すなわち、対象物の形状）から予測する場合よりも、歩行者の飛び出し予測が遅くなるという問題があった。
　また、特許文献２に記載の歩行者認識装置では、歩行者の姿勢（すなわち、対象物の形状）として、身長Ｈに対する開脚度Ｗのみを見ているため、歩行者が横断を開始した後でないと、自車両の進路を横断する可能性がある歩行者を予測できないという問題があった。また、当該歩行者認識装置では、全ての歩行者について身長Ｈに対する開脚度Ｗの閾値を１つしか設定できないため、小さな歩幅で飛び出してくる歩行者の行動を予測できないという問題もあった。
　また、特許文献３に記載の車外監視装置では、車両の横に側壁が存在しなければならないため、車線幅の広い高速道路では適用できないという問題があった。また、当該車両監視装置では、入力として距離画像が必須であるため、センサの構成が複雑になるという問題もあった。
　本発明は、上記の事情に鑑みてなされたものであって、車両周辺の対象物の変化を迅速かつ正確に検出できる対象物変化検出装置および対象物変化検出方法を提供することを目的とする。
　本発明の対象物変化検出装置は、画像から対象物を検出する対象物検出手段と、前記対象物検出手段により検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報を蓄積する形状情報蓄積手段と、前記形状情報蓄積手段により蓄積した前記形状情報を用いて、所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記対象物の変化を検出する対象物変化検出手段と、を備えることを特徴とする。
　ここで、上記記載の対象物変化検出装置において、前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報を正規化する正規化手段、を更に備え、前記形状情報蓄積手段は、前記正規化手段により正規化した前記形状情報を蓄積することが好ましい。
　また、上記記載の対象物変化検出装置において、前記形状情報取得手段は、所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物の前記特徴量分布を取得し、前記正規化手段は、前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得し、前記形状情報蓄積手段は、前記正規化手段により取得した前記確率分布を蓄積し、前記対象物変化検出手段は、所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記対象物の変化を検出することが好ましい。
　また、上記記載の対象物変化検出装置は、前記対象物検出手段により検出した前記対象物を含む画像領域から処理対象領域を抽出する処理対象領域抽出手段、を更に備え、前記形状情報取得手段は、前記処理対象領域抽出手段により抽出した前記処理対象領域から前記対象物の特徴量分布を取得することが好ましい。
　また、上記記載の対象物変化検出装置は、前記形状情報蓄積手段により蓄積した前記確率分布を用いて、前記所定時間前の前記確率分布と現在の前記確率分布との差を、前記対象物の形状変化情報として取得する形状変化情報取得手段と、前記形状変化情報取得手段により取得した前記形状変化情報を蓄積する形状変化情報蓄積手段と、を更に備え、前記対象物変化検出手段は、前記形状変化情報蓄積手段により蓄積した前記形状変化情報を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、前記対象物の変化を検出することが好ましい。
　また、上記記載の対象物変化検出装置は、前記形状変化情報蓄積手段により蓄積した複数の前記形状変化情報を平均化して、平均化形状変化情報を取得する形状変化平均化手段、を更に備え、前記対象物変化検出手段は、前記形状変化平均化手段により取得した平均化形状変化情報を用いて前記類似度を計算し、当該類似度が前記所定の閾値より小さい場合に、前記対象物の変化を検出することが好ましい。
　また、上記記載の対象物変化検出装置において、前記所定の特徴量は、確率分布として表せる特徴量であり、画像の輝度自体を使用する第１特徴量、画像のエッジを使用する第２特徴量、および、画像の色を使用する第３特徴量のうち少なくとも１つを含むことが好ましい。
　また、上記記載の対象物変化検出装置において、前記第１特徴量は、輝度、輝度のＰＣＡ、Ｈｕ　ｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅ　ｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含み、第２特徴量は、ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅ　ｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含み、第３特徴量は、ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含むことが好ましい。
　また、上記記載の対象物変化検出装置において、前記所定の尺度は、確率分布間の差異を距離または擬距離で計る尺度であることが好ましい。
　また、上記記載の対象物変化検出装置において、前記距離は、マンハッタン距離、ユークリッド距離、一様ノルム、マハラノビス距離、ハミング距離のうち少なくとも１つを含み、前記擬距離は、カルバック・ライブラー情報量を含むことが好ましい。
　また、上記記載の対象物変化検出装置において、前記類似度は、コサイン類似度を含むことが好ましい。
　本発明の対象物変化検出方法は、画像から対象物を検出する対象物検出ステップと、前記対象物検出ステップにて検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得ステップと、前記形状情報取得ステップにて取得した前記特徴量分布により表される前記形状情報を蓄積する形状情報蓄積ステップと、前記形状情報蓄積ステップにて蓄積した前記形状情報を用いて、所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記対象物の変化を検出する対象物変化検出ステップと、を含むことを特徴とする。
　本発明は、車両周辺の対象物の変化を迅速かつ正確に検出できるという効果を奏する。
図１は、本発明に係る対象物変化検出装置の構成の一例を示すブロック図である。 図２は、実施形態１にかかる対象物変化検出処理の一例を示すフローチャートである。 図３は、実施形態１にかかる変化検出用グラフの一例を示す図である。 図４は、実施形態２にかかる対象物変化検出処理の一例を示すフローチャートである。 図５は、実施形態２にかかる対象物画像領域と処理対象領域の一例を示す図である。 図６は、実施形態３にかかる対象物変化検出処理の一例を示すフローチャートである。 図７は、実施形態３にかかる変化検出用グラフの一例を示す図である。 図８は、実施形態４にかかる対象物変化検出処理の一例を示すフローチャートである。 図９は、実施形態４にかかる変化検出用グラフの一例を示す図である。
　以下に、本発明にかかる対象物変化検出装置および対象物変化検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。
　本発明にかかる対象物変化検出装置の構成について図１を参照しながら説明する。図１は、本発明にかかる対象物変化検出装置の構成の一例を示すブロック図である。
　図１に示すように、対象物変化検出装置１は、例えば車両に搭載された自動車制御用コンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ２と通信可能に接続されている。カメラ２は、自車両周辺を撮影し、自車両周辺が写し出されている画像データを生成する機器である。カメラ２は、例えば可視光領域または赤外線領域にて撮像可能なＣＣＤカメラまたはＣＭＯＳカメラ等である。カメラ２は、車両の前方、側方、後方等の車両周辺を撮像可能な任意の位置に設置される。
　対象物変化検出装置１は、制御部１２および記憶部１４を備えている。制御部１２は、対象物変化検出装置１を統括的に制御するものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、またはハードディスクなどである。
　記憶部１４は、形状情報記憶部１４ａ、処理対象領域記憶部１４ｂ、形状変化情報記憶部１４ｃ、平均化形状変化情報記憶部１４ｄを備えている。
　形状情報記憶部１４ａは、画像データから抽出された対象物の形状情報を記憶する形状情報記憶手段である。対象物は、自車両周辺に存在する、歩行者、自転車、バイク、車両等の移動物体の少なくとも１つを含む。また、対象物は、車両のドア等の対象物の一部であってもよい。形状情報は、対象物の形状の特徴量を示すデータである。なお、特徴量は、これに限定されないが、画像データの輝度自体を使用する第１特徴量、画像データのエッジを使用する第２特徴量、および、画像データの色を使用する第３特徴量のうち少なくとも１つを含む。第１特徴量は、例えば、輝度、輝度のＰＣＡ、Ｈｕ　ｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅ　ｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含む。第２特徴量は、例えば、ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅ　ｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含む。第３特徴量は、例えば、ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含む。
　処理対象領域記憶部１４ｂは、対象物を含む画像データの画像領域の一部に対応する処理対象領域を記憶する処理対象領域記憶手段である。形状変化情報記憶部１４ｃは、所定時間内における形状情報の時間変化を示す形状変化情報を記憶する形状変化情報記憶手段である。平均化形状変化情報記憶部１４ｄは、形状変化情報の平均を示す平均化形状変化情報を記憶する平均化形状変化情報記憶手段である。
　制御部１２は、対象物検出部１２ａ、処理対象領域抽出部１２ｂ、形状情報取得部１２ｃ、正規化部１２ｄ、形状情報蓄積部１２ｅ、形状変化情報取得部１２ｆ、形状変化情報蓄積部１２ｇ、形状変化平均化部１２ｈ、および、対象物変化検出部１２ｉを備えている。
　対象物検出部１２ａは、画像から対象物を検出する対象物検出手段である。対象物検出部１２ａは、予め記憶部１４に記憶された対象物の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。
　処理対象領域抽出部１２ｂは、対象物検出部１２ａにより検出した対象物を含む画像領域から処理対象領域を抽出する処理対象領域抽出手段である。処理対象領域は、後述する対象物変化検出部１２ｉによる対象物の変化検出処理に有効な所定領域である。例えば対象物が歩行者の場合、処理対象領域は、歩行者の全体のみまたは下半身のみを含む領域等を含む。処理対象領域抽出部１２ｂは、抽出した処理対象領域を処理対象領域記憶部１４ｂに格納してもよい。
　形状情報取得部１２ｃは、対象物検出部１２ａにより検出した対象物の形状情報を表す特徴量分布を取得する形状情報取得手段である。具体的には、形状情報取得部１２ｃは、所定の特徴量を用いて、対象物検出部１２ａにより検出した対象物の特徴量分布を取得する。ここで、所定の特徴量は、確率分布として表せる特徴量であり、上述の第１特徴量、第２特徴量、および、第３特徴量の少なくとも１つを含む。また、形状情報取得部１２ｃは、処理対象領域抽出部１２ｂにより抽出した処理対象領域、または、処理対象領域記憶部１４ｂに記憶された処理対象領域から対象物の特徴量分布を取得してもよい。
　正規化部１２ｄは、形状情報取得部１２ｃにより取得した特徴量分布により表される形状情報を正規化する正規化手段である。具体的には、正規化部１２ｄは、形状情報取得部１２ｃにより取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する。
　形状情報蓄積部１２ｅは、形状情報取得部１２ｃにより取得した特徴量分布により表される形状情報を蓄積する形状情報蓄積手段である。ここで、形状情報蓄積部１２ｅは、正規化部１２ｄにより正規化した形状情報を蓄積する。具体的には、形状情報蓄積部１２ｅは、正規化部１２ｄにより取得した確率分布を蓄積する。すなわち、形状情報蓄積部１２ｅは、正規化した形状情報（確率分布）を形状情報記憶部１４ａに格納する。なお、本実施形態において、形状情報蓄積部１２ｅは、形状情報取得部１２ｃにより取得した正規化前の特徴量分布を蓄積してもよい。
　形状変化情報取得部１２ｆは、形状情報蓄積部１２ｅにより蓄積した正規化済みの形状情報、すなわち、形状情報記憶部１４ａに記憶された確率分布、を用いて、所定時間前の確率分布と現在の確率分布との差を、対象物の形状変化情報として取得する形状変化情報取得手段である。
　形状変化情報蓄積部１２ｇは、形状変化情報取得部１２ｆにより取得した形状変化情報を蓄積する形状変化情報蓄積手段である。すなわち、形状変化情報蓄積部１２ｇは、取得した形状変化情報を形状変化情報記憶部１４ｃに格納する。
　形状変化平均化部１２ｈは、形状変化情報蓄積部１２ｇにより蓄積した複数の形状変化情報、すなわち、形状変化情報記憶部１４ｃに記憶された形状変化情報、を平均化して、平均化形状変化情報を取得する形状変化平均化手段である。形状変化平均化部１２ｈは、取得した平均化形状変化情報を平均化形状変化情報記憶部１４ｄに格納してもよい。
　対象物変化検出部１２ｉは、形状情報蓄積部１２ｅにより蓄積した形状情報、すなわち、形状情報記憶部１４ａに記憶された形状情報、を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する対象物変化検出手段である。対象物の変化とは、交通環境における対象物の危険な変化を意味し、対象物の運動変化開始時における形状の変化を含む。対象物の変化としては、これに限定されないが、例えば、歩行者や自転車が急に動きを変えて道路に出てくるという変化、併走車車両やバイクが急に車線変更して自車線に割り込んでくるという変化、前方車両が急にＵターンを開始するという変化、前方車両が道路脇の店等に入るために急に右左折を開始するという変化、および、駐車車両のドアが急に開くという変化などを含む。
　具体的には、対象物変化検出部１２ｉは、所定の尺度を用いて、形状情報記憶部１４ａに記憶された所定時間前の確率分布と現在の確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、対象物の変化を検出する。所定の尺度とは、確率分布間の差異を距離または擬距離で計る尺度である。距離は、これに限定されないが、Ｌｐ　ｎｏｒｍ、例えば、Ｌ１　ｎｏｒｍ（マンハッタン距離）、Ｌ２　ｎｏｒｍ（ユークリッド距離）、Ｌ　ｉｎｆｉｎｉｔｙ　ｎｏｒｍ（一様ノルム）等を含む。また、距離は、マハラノビス距離を含んでいてもよい。このマハラノビス距離を用いる場合、過去の複数のベクトルｐ（ｔ）から分布を作成しておくことが好ましい。また、距離は、ハミング距離を含んでいてもよい。このハミング距離を用いる場合、ある程度数値を離散化しておくことが好ましい。また、擬距離は、これに限定されないが、カルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ　ｄｉｖｅｒｇｅｎｃｅ）（以下、ＫＬ情報量と呼ぶ）を含む。ここで、ＫＬ情報量とは、２つの確率分布Ｐ，Ｑ間の差異を計る尺度であり、情報理論分野において周知である。
　なお、本実施形態において、対象物変化検出部１２ｉは、形状情報蓄積部１２ｅにより正規化前の特徴量分布を蓄積した場合、形状情報記憶部１４ａに記憶された所定時間前の特徴量分布および現在の特徴量分布をそれぞれ正規化して、当該所定時間前の特徴量分布および当該現在の特徴量分布に対応する確率分布をそれぞれ取得し、所定の尺度を用いて、取得した所定時間前の確率分布と現在の確率分布との差を計算して、計算された差が所定の閾値より大きい場合に、対象物の変化を検出してもよい。
　ここで、対象物変化検出部１２ｉは、形状変化情報蓄積部１２ｇにより蓄積した形状変化情報、すなわち、形状変化情報記憶部１４ｃに記憶された形状変化情報、を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、対象物の変化を検出してもよい。類似度は、これに限定されないが、コサイン類似度等を含む。また、対象物変化検出部１２ｉは、形状変化平均化部１２ｈにより取得した平均化形状変化情報、または、平均化形状変化情報記憶部１４ｄに記憶された平均化形状変化情報を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、対象物の変化を検出してもよい。
　続いて、図２～図９を参照して、上述した対象物変化検出装置１において実行される対象物変化検出処理について説明する。以下、本発明における対象物変化検出装置１において実行される対象物変化検出処理について、実施形態１～４の順に説明する。なお、以下の対象物変化検出処理において、車両周辺に存在する対象物として、歩行者を一例に説明するが、これに限定されない。また、対象物の形状を示す特徴量として、ＳＩＦＴ特徴量を一例に説明するが、これに限定されない。また、確率分布Ｐ，Ｑ間の差異を計る尺度として、ＫＬ情報量を一例に説明するが、これに限定されない。
　〔実施形態１〕
　実施形態１では、対象物検出部１２ａと、形状情報取得部１２ｃと、正規化部１２ｄと、形状情報蓄積部１２ｅと、対象物変化検出部１２ｉとを備える対象物変化検出装置１において実行される対象物変化検出処理について、図２および図３を参照して説明する。図２は、実施形態１にかかる対象物変化検出処理の一例を示すフローチャートである。図３は、実施形態１にかかる変化検出用グラフの一例を示す図である。
　図２に示すように、まず、対象物変化検出装置１の制御部１２は、カメラ２から自車両周辺が写し出されている画像データを取得する（ステップＳＡ１）。
　つぎに、対象物変化検出装置１の対象物検出部１２ａは、ステップＳＡ１で取得した画像データから対象物として歩行者を検出する（ステップＳＡ２）。例えば、対象物検出部１２ａは、予め記憶部１４に記憶された歩行者等の対象物の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。
　つぎに、対象物変化検出装置１の形状情報取得部１２ｃは、ステップＳＡ２で検出した対象物の形状情報を表す特徴量分布を取得する（ステップＳＡ３）。具体的には、形状情報取得部１２ｃは、ステップＳＡ２で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。ここで、ＳＩＦＴ特徴量は、形状を表す特徴量として画像認識分野等において周知である。また、ＳＩＦＴ特徴量は、対象物を含む画像データのどの部分にどの向きのエッジが分布しているかをヒストグラムで表せるため、確率分布として表せる。
　つぎに、正規化部１２ｄは、下記の数式（１）を示すように、ステップＳＡ３で取得した特徴量分布ｖ（ｔ）のＬ１　ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＡ４）。
Figure JPOXMLDOC01-appb-M000001
　つぎに、対象物変化検出装置１の形状情報蓄積部１２ｅは、ステップＳＡ４で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳＡ５）。すなわち、形状情報蓄積部１２ｅは、ステップＳＡ４で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。
　つぎに、対象物変化検出装置１の制御部１２は、下記の数式（２）に示すように、ステップＳＡ５で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）の計算を行う（ステップＳＡ６）。制御部１２は、下記の数式（３）に示すように、ＫＬ情報量を用いて、差ｄ（ｔ，ｎ）の計算を行う。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　つぎに、対象物変化検出部１２ｉは、ステップＳＡ６で計算した差ｄ（ｔ，ｎ）が、図３に示すように、所定の閾値Ｔｈｒｅより大きいか否かを判定する（ステップＳＡ７）。図３の縦軸は、ＫＬ情報量を示し、横軸は、時間のフレームを示している。図３において、フレーム５４～１７４までは、対象物の歩行者が歩道に沿って移動している状態を表しており、フレーム１８０では歩行者が急に動きを変えた状態を表している。
　対象物変化検出部１２ｉは、ステップＳＡ７で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅより大きいと判定した場合（ステップＳＡ７：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＡ８）。その後、対象物変化検出処理を終了する。なお、ステップＳＡ８の処理の後、ステップＳＡ１に戻り、対象物変化検出処理を繰り返し実行してもよい。
　対象物変化検出部１２ｉは、ステップＳＡ７で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅ未満であると判定した場合（ステップＳＡ７：Ｎｏ）、ステップＳＡ１の処理に戻る。
　このように、実施形態１において、対象物変化検出部１２ｉは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する。その後、対象物変化検出部１２ｉは、対象物の変化の有無の判定終了後、次のフレームｊの画像取得に戻る。
　以上、実施形態１によれば、従来技術よりも、車両周辺の対象物の変化を迅速かつ正確に検出できる。例えば、従来技術の特許文献１に記載の歩行者飛び出し予測装置では、歩行者の姿勢（すなわち、対象物の形状）から予測する場合よりも、歩行者の飛び出し予測が遅くなるという問題があったが、実施形態１によれば、対象物の形状に基づいて、交通環境における対象物の危険な変化（例えば、歩行者の飛び出し）を検出しているので、車両周辺の対象物の変化を迅速かつ正確に検出することができる。また、従来技術の特許文献２に記載の歩行者認識装置では、歩行者が横断を開始した後でないと、自車両の進路を横断する可能性がある歩行者を予測できず、小さな歩幅で飛び出してくる歩行者の行動を予測できないという問題もあったが、実施形態１によれば、歩行者の歩幅の大小に関係なく、歩行者が横断を開始する前に対象物の変化を検出できるので、車両周辺の対象物の変化を迅速かつ正確に検出できる。また、従来技術の特許文献３に記載の車外監視装置では、車線幅の広い高速道路では適用できず、センサの構成が複雑になるという問題があったが、実施形態１によれば、側壁の有無に関係なく、簡易なカメラの構成で対象物変化検出を実現できる。このように、実施形態１によれば、運転者が車両を運転中に車両周辺の対象物の危険な変化が生じた場合、迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。
　ここで、車両周辺の対象物の危険な変化は、連続変化と不連続変化に分類できる。例えば、対象物を歩行者とした場合、連続変化としては、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。一方、不連続変化としては、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。従来技術では、線形予測により、この連続変化（例えば、対象物が連続的に移動する動作、対象物が動いている状態から停止する動作、および、対象物が減速する動作等）については、検出可能であったが、不連続変化については迅速かつ正確に検出することができなかった。
　一方、実施形態１の対象物変化検出装置１は、画像から対象物を検出し、所定の特徴量を用いて、検出した対象物の形状情報を表す特徴量分布を取得し、取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得し、取得した確率分布を蓄積する。そして、実施形態１の対象物変化検出装置１は、所定の尺度を用いて、蓄積した所定時間前の確率分布と現在の確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、対象物の変化を検出する。これにより、実施形態１の対象物変化検出装置１によれば、従来技術では十分に対応できなかった不連続変化（例えば、対象物が止まっている状態から動き始める動作、対象物が加速する動作、および、対象物が方向転換する動作等）についても、迅速かつ正確に検出することができる。例えば、実施形態１によれば、不連続変化の一例として、歩行者や自転車が急に動きを変えて道路に出てくる、併走車車両やバイクが急に車線変更して自車線に割り込んでくる、前方車両が急にＵターンを開始する、前方車両が道路脇の店等に入るために急に右左折を開始する、および、駐車車両のドアが急に開くといった、車両周辺の対象物の危険な変化が生じた場合に、迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。
　〔実施形態２〕
　実施形態２では、対象物検出部１２ａと、処理対象領域抽出部１２ｂと、形状情報取得部１２ｃと、正規化部１２ｄと、形状情報蓄積部１２ｅと、対象物変化検出部１２ｉとを備える対象物変化検出装置１において実行される対象物変化検出処理について、図４および図５を参照して説明する。図４は、実施形態２にかかる対象物変化検出処理の一例を示すフローチャートである。図５は、実施形態２にかかる対象物画像領域と処理対象領域の一例を示す図である。
　図４に示すように、まず、対象物変化検出装置１の制御部１２は、カメラ２から自車両周辺が写し出されている画像データを取得する（ステップＳＢ１）。
　つぎに、対象物変化検出装置１の対象物検出部１２ａは、ステップＳＢ１で取得した画像データから対象物として歩行者を検出する（ステップＳＢ２）。
　つぎに、対象物変化検出装置１の処理対象領域抽出部１２ｂは、ステップＳＢ２で検出した対象物を含む画像領域から処理対象領域を抽出する（ステップＳＢ３）。具体的には、図５に示すように、処理対象領域抽出部１２ｂは、対象物を含む画像領域内でパターンマッチング等を行うことにより、対象物の変化検出処理に有効な領域である処理対象領域（図５（ａ）および（ｂ）の太字で囲った領域）を抽出する。図５（ａ）では、対象物が歩行者の場合は下半身の形状の変化が重要となるため、処理対象領域を画像領域の下半分に設定している。図５（ｂ）では、対象物が歩行者の場合は歩道の線などの背景画像は変化検出処理に不要な領域となるため、歩行者の全体のみを含むよう処理対象領域を設定している。ここで、処理対象領域抽出部１２ｂは、抽出した処理対象領域を処理対処領域記憶部１４ｂに格納してもよい。
　つぎに、対象物変化検出装置１の形状情報取得部１２ｃは、ステップＳＢ３で抽出した処理対象領域から対象物の形状情報を取得する（ステップＳＢ４）。具体的には、形状情報取得部１２ｃは、ステップＳＢ３で抽出した処理対象領域から、対象物の形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。
　つぎに、正規化部１２ｄは、下記の数式（１）を示すように、ステップＳＢ４で取得した特徴量分布ｖ（ｔ）のＬ１　ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＢ５）。
Figure JPOXMLDOC01-appb-M000004
　つぎに、対象物変化検出装置１の形状情報蓄積部１２ｅは、ステップＳＢ５で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳＢ６）。すなわち、形状情報蓄積部１２ｅは、ステップＳＢ５で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。
　つぎに、対象物変化検出装置１の制御部１２は、下記の数式（２）に示すように、ステップＳＢ６で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）の計算を行う（ステップＳＢ７）。制御部１２は、例えば、下記の数式（３）に示すように、ＫＬ情報量を用いて、差ｄ（ｔ，ｎ）の計算を行う。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　つぎに、対象物変化検出部１２ｉは、ステップＳＢ７で計算した差ｄ（ｔ，ｎ）が、上述の図３に示すように、所定の閾値Ｔｈｒｅより大きいか否かを判定する（ステップＳＢ８）。
　対象物変化検出部１２ｉは、ステップＳＢ８で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅより大きいと判定した場合（ステップＳＢ８：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＢ９）。その後、対象物変化検出処理を終了する。なお、ステップＳＢ９の処理の後、ステップＳＢ１に戻り、対象物変化検出処理を繰り返し実行してもよい。
　対象物変化検出部１２ｉは、ステップＳＢ８で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅ未満であると判定した場合（ステップＳＢ８：Ｎｏ）、ステップＳＢ１の処理に戻る。
　このように、実施形態２において、形状情報取得部１２ｃは、抽出した処理対象領域から対象物の形状情報を取得し、対象物変化検出部１２ｉは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する。その後、対象物変化検出部１２ｉは、対象物の変化の有無の判定終了後、次のフレームｊの画像取得に戻る。
　以上、実施形態２によれば、対象物の形状の変化を検出する範囲を限定しているため、対象物変化検出処理の検出精度や計算速度を向上させることができる。これにより、実施形態２によれば、車両周辺の対象物の変化をより迅速かつ正確に検出できるので、交通事故の発生可能性をより低減することができる。
　〔実施形態３〕
　実施形態３では、対象物検出部１２ａと、形状情報取得部１２ｃと、正規化部１２ｄと、形状情報蓄積部１２ｅと、形状変化情報取得部１２ｆと、形状変化情報蓄積部１２ｇと、対象物変化検出部１２ｉとを備える対象物変化検出装置１において実行される対象物変化検出処理について、図６および図７を参照して説明する。図６は、実施形態３にかかる対象物変化検出処理の一例を示すフローチャートである。図７は、実施形態３にかかる変化検出用グラフの一例を示す図である。
　図６に示すように、まず、対象物変化検出装置１の制御部１２は、カメラ２から自車両周辺が写し出されている画像データを取得する（ステップＳＣ１）。
　つぎに、対象物変化検出装置１の対象物検出部１２ａは、ステップＳＣ１で取得した画像データから対象物として歩行者を検出する（ステップＳＣ２）。
　つぎに、対象物変化検出装置１の形状情報取得部１２ｃは、ステップＳＣ２で検出した対象物の形状情報を取得する（ステップＳＣ３）。具体的には、形状情報取得部１２ｃは、ステップＳＣ２で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。
　つぎに、正規化部１２ｄは、下記の数式（１）を示すように、ステップＳＣ３で取得した特徴量分布ｖ（ｔ）のＬ１　ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＣ４）。
Figure JPOXMLDOC01-appb-M000007
　つぎに、対象物変化検出装置１の形状情報蓄積部１２ｅは、ステップＳＣ４で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳＣ５）。すなわち、形状情報蓄積部１２ｅは、ステップＳＣ４で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。
　つぎに、対象物変化検出装置１の形状変化情報取得部１２ｆは、下記の数式（２）に示すように、ステップＳＣ５で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）（すなわち、本実施形態３において、形状変化情報）の計算を行う（ステップＳＣ６）。形状変化情報取得部１２ｆは、下記の数式（３）に示すように、ＫＬ情報量を用いて、形状変化情報として差ｄ（ｔ，ｎ）の計算を行う。このように、形状変化情報取得部１２ｆは、ステップＳＣ５で蓄積した形状情報を用いて、対象物の形状変化情報を取得する。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　つぎに、対象物変化検出装置１の形状変化情報蓄積部１２ｇは、ステップＳＣ６で取得した形状変化情報ｄ（ｔ，ｎ）を形状変化情報記憶部１４ｃに蓄積する（ステップＳＣ７）。具体的には、形状変化情報蓄積部１２ｇは、ステップＳＣ６で計算した形状変化情報ｄ（ｔ，ｎ）をｌフレーム分蓄積した、下記の数式（４）に示すベクトルｕ（ｔ，ｎ，ｌ）を計算する。
Figure JPOXMLDOC01-appb-M000010
　つぎに、対象物変化検出装置１の対象物変化検出部１２ｉは、下記の数式（５）および数式（６）を用いて、類似度ｃｏｓθを計算する（ステップＳＣ８）。ここで、類似度ｃｏｓθは、ｎ次元空間での類似度を分析する際に当該技術分野において一般的に用いられるｎ次元ベクトルの類似度である。具体的には、類似度ｃｏｓθは、コサイン類似度と呼ばれ、ベクトルのなす角θの余弦ｃｏｓθのことを意味し、ベクトルの向きの近さを類似性の指標としたものである。ベクトルの向きが一致している場合は最大値の１となり、ベクトルの向きが直行する場合は０となり、ベクトルの向きが逆になる場合は最小値の－１となる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　つぎに、対象物変化検出装置１の対象物変化検出部１２ｉは、ステップＳＣ８で計算した類似度ｃｏｓθが、図７に示すように、所定の閾値Ｔｈｒｅより小さいか否かを判定する（ステップＳＣ９）。図７の縦軸は、ｃｏｓθを示し、横軸は、時間のフレームを示している。図７において、フレーム６６～１６２までは、対象物の歩行者が歩道に沿って移動している状態を表しており、フレーム１６８～１８０では、歩行者が急に動きを変えた状態を表している。
　対象物変化検出部１２ｉは、ステップＳＣ９で類似度ｃｏｓθが閾値Ｔｈｒｅより小さいと判定した場合（ステップＳＣ９：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＣ１０）。その後、対象物変化検出処理を終了する。なお、ステップＳＣ１０の処理の後、ステップＳＣ１に戻り、対象物変化検出処理を繰り返し実行してもよい。
　対象物変化検出部１２ｉは、ステップＳＣ９で類似度ｃｏｓθが閾値Ｔｈｒｅ以上であると判定した場合（ステップＳＣ９：Ｎｏ）、ステップＳＣ１の処理に戻る。
　このように、実施形態３において、形状変化情報取得部１２ｆは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報との差を対象物の形状変化情報として取得し、形状変化情報蓄積部１２ｇは、取得した形状変化情報を蓄積する。そして、対象物変化検出部１２ｉは、蓄積した形状変化情報を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、対象物の変化を検出する。その後、対象物変化検出部１２ｉは、対象物の変化の有無の判定終了後、次のフレームｊの画像取得に戻る。
　以上、実施形態３によれば、対象物の形状情報の時間変化を形状変化情報として蓄積し、コサイン類似度を用いて類似性を分析しているため、対象物変化検出処理の検出精度をより一層向上させることができる。これにより、実施形態３によれば、車両周辺の対象物の変化をより一層迅速かつ正確に検出できるので、交通事故の発生可能性をより一層低減することができる。なお、実施形態３において、対象物の変化を検出する際に、類似度を閾値と比較する例について説明したが、これに限られない。実施形態３の対象物変化検出装置１は、類似度の有無のみで対象物の変化を検出してもよい。
　〔実施形態４〕
　実施形態４では、対象物検出部１２ａと、形状情報取得部１２ｃと、正規化部１２ｄと、形状情報蓄積部１２ｅと、形状変化情報取得部１２ｆと、形状変化情報蓄積部１２ｇと、形状変化平均化部１２ｈと、対象物変化検出部１２ｉとを備える対象物変化検出装置１において実行される、対象物変化検出処理について、図８および図９を参照して説明する。図８は、実施形態４にかかる対象物変化検出処理の一例を示すフローチャートである。図９は、実施形態４にかかる変化検出用グラフの一例を示す図である。
　図８に示すように、まず、対象物変化検出装置１の制御部１２は、カメラ２から自車両周辺が写し出されている画像データを取得する（ステップＳＤ１）。
　つぎに、対象物変化検出装置１の対象物検出部１２ａは、ステップＳＤ１で取得した画像データから対象物として歩行者を検出する（ステップＳＤ２）。
　つぎに、対象物変化検出装置１の形状情報取得部１２ｃは、ステップＳＤ２で検出した対象物の形状情報を取得する（ステップＳＤ３）。具体的には、形状情報取得部１２ｃは、ステップＳＣ２で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。
　つぎに、正規化部１２ｄは、下記の数式（１）を示すように、ステップＳＤ３で取得した特徴量分布ｖ（ｔ）のＬ１　ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＤ４）。
Figure JPOXMLDOC01-appb-M000013
　つぎに、対象物変化検出装置１の形状情報蓄積部１２ｅは、ステップＳＣ４で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳＣ５）。すなわち、形状情報蓄積部１２ｅは、ステップＳＣ４で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。
　つぎに、対象物変化検出装置１の形状変化情報取得部１２ｆは、下記の数式（２）に示すように、ステップＳＣ５で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）（すなわち、本実施形態４において、形状変化情報）の計算を行う（ステップＳＤ６）。形状変化情報取得部１２ｆは、下記の数式（３）に示すように、ＫＬ情報量を用いて、形状変化情報として差ｄ（ｔ，ｎ）の計算を行う。このように、形状変化情報取得部１２ｆは、ステップＳＤ５で蓄積した形状情報を用いて、対象物の形状変化情報を取得する。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　つぎに、対象物変化検出装置１の形状変化情報蓄積部１２ｇは、ステップＳＤ６で取得した形状変化情報ｄ（ｔ，ｎ）を形状変化情報記憶部１４ｃに蓄積する（ステップＳＤ７）。具体的には、形状変化情報蓄積部１２ｇは、ステップＳＤ６で計算した形状変化情報ｄ（ｔ，ｎ）をｌフレーム分蓄積した、下記の数式（４）に示すベクトルｕ（ｔ，ｎ，ｌ）を計算する。
Figure JPOXMLDOC01-appb-M000016
　つぎに、対象物変化検出装置１の形状変化平均化部１２ｈは、下記の数式（７）を用いて、ステップＳＤ７で計算したベクトルｕ（ｔ，ｎ，ｌ）を更にＫ個分足し合わせて、時間平均を取ることによりノイズを低減する（ステップＳＤ８）。このように、形状変化平均化部１２ｈは、ステップＳＤ７で蓄積した複数の形状変化情報を平均化して、平均化形状変化情報としてベクトルｕ（ｔ，Ｋ，ｎ，ｌ）を取得する。
Figure JPOXMLDOC01-appb-M000017
　つぎに、対象物変化検出装置１の対象物変化検出部１２ｉは、下記の数式（５）および数式（６）を用いて、類似度ｃｏｓθを計算する（ステップＳＤ９）。
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
　つぎに、対象物変化検出装置１の対象物変化検出部１２ｉは、ステップＳＤ９で計算した類似度ｃｏｓθが、図９に示すように、所定の閾値Ｔｈｒｅより小さいか否かを判定する（ステップＳＤ１０）。図９の縦軸は、ｃｏｓθを示し、横軸は、時間のフレームを示している。図９では、４つのサンプル数分（Ｋ＝４）の時間平均を取った場合を表している。図９に示すように、４つともフレーム１８０付近で急激な変化を示しており、フレーム１８０付近で歩行者が急に動きを変えた状態を表している。
　対象物変化検出部１２ｉは、ステップＳＤ１０で類似度ｃｏｓθが閾値Ｔｈｒｅより小さいと判定した場合（ステップＳＤ１０：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＤ１１）。その後、対象物変化検出処理を終了する。なお、ステップＳＤ１１の処理の後、ステップＳＤ１に戻り、対象物変化検出処理を繰り返し実行してもよい。
　対象物変化検出部１２ｉは、ステップＳＤ１０で類似度ｃｏｓθが閾値Ｔｈｒｅ以上であると判定した場合（ステップＳＤ１０：Ｎｏ）、ステップＳＤ１の処理に戻る。
　このように、実施形態４において、形状変化情報取得部１２ｆは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報との差を対象物の形状変化情報として取得し、形状変化情報蓄積部１２ｇは、取得した形状変化情報を蓄積する。更に、形状変化平均化部１２ｈは、蓄積した複数の形状変化情報を平均化して、平均化形状変化情報を取得する。そして、対象物変化検出部１２ｉは、取得した平均化形状変化情報を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、対象物の変化を検出する。その後、対象物変化検出部１２ｉは、対象物の変化の有無の判定終了後、次のフレームｊの画像取得に戻る。
　以上、実施形態４によれば、対象物の形状情報の時間変化を形状変化情報として蓄積し、平均化したコサイン類似度を用いて類似性を分析しているため、実施形態３よりも対象物変化検出処理の検出精度をより一層向上させることができる。これにより、実施形態４によれば、車両周辺の対象物の変化をより一層迅速かつ正確に検出できるので、交通事故の発生可能性をより一層低減することができる。
　その他、本発明に係る対象物変化検出装置１は、上述の実施形態１～４を適宜組み合わせて実行してもよい。また、本発明に係る対象物変化検出装置１は、対象物を含む画像の背景の複雑度に応じて実施形態１～４を使い分けてもよい。例えば、車両が街中を走行中の場合、対象物である歩行者や他車両を含む背景に種々の物体が含まれるため複雑になることが考えられる。この場合、本発明に係る対象物変化検出装置１は、背景画像のノイズを低減するために実施形態４を実行してもよい。また、例えば、高速道路を走行中の場合、対象物である他車両やバイクを含む背景が比較的単純になることが考えられる。この場合、本発明に係る対象物変化検出装置１は、計算負荷の少ない実施形態１を実行してもよい。また、本発明に係る対象物変化検出装置１は、実施形態１～４に示した不連続変化を検出する処理と並行して、従来の線形予測を行うことで連続変化を検出する処理を実行してもよい。
１　対象物変化検出装置
　　１２　制御部
　　　　　１２ａ　対象物検出部
　　　　　１２ｂ　処理対象領域抽出部
　　　　　１２ｃ　形状情報取得部
　　　　　１２ｄ　正規化部
　　　　　１２ｅ　形状情報蓄積部
　　　　　１２ｆ　形状変化情報取得部
　　　　　１２ｇ　形状変化情報蓄積部
　　　　　１２ｈ　形状変化平均化部
　　　　　１２ｉ　対象物変化検出部
　　１４　記憶部
　　　　　１４ａ　形状情報記憶部
　　　　　１４ｂ　処理対象領域記憶部
　　　　　１４ｃ　形状変化情報記憶部
　　　　　１４ｄ　平均化形状変化情報記憶部
２　カメラ

Claims (12)

  1. 　画像から対象物を検出する対象物検出手段と、
    　前記対象物検出手段により検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、
    　前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報を蓄積する形状情報蓄積手段と、
    　前記形状情報蓄積手段により蓄積した前記形状情報を用いて、所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記対象物の変化を検出する対象物変化検出手段と、
    を備えることを特徴とする対象物変化検出装置。
  2. 　前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報を正規化する正規化手段、
    を更に備え、
    　前記形状情報蓄積手段は、
    　前記正規化手段により正規化した前記形状情報を蓄積することを特徴とする請求項１に記載の対象物変化検出装置。
  3. 　前記形状情報取得手段は、
    　所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物の前記特徴量分布を取得し、
    　前記正規化手段は、
    　前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得し、
    　前記形状情報蓄積手段は、
    　前記正規化手段により取得した前記確率分布を蓄積し、
    　前記対象物変化検出手段は、
    　所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記対象物の変化を検出することを特徴とする請求項２に記載の対象物変化検出装置。
  4. 　前記対象物検出手段により検出した前記対象物を含む画像領域から処理対象領域を抽出する処理対象領域抽出手段、
    を更に備え、
    　前記形状情報取得手段は、
    　前記処理対象領域抽出手段により抽出した前記処理対象領域から前記対象物の前記特徴量分布を取得することを特徴とする請求項１に記載の対象物変化検出装置。
  5. 　前記形状情報蓄積手段により蓄積した前記確率分布を用いて、前記所定時間前の前記確率分布と現在の前記確率分布との差を、前記対象物の形状変化情報として取得する形状変化情報取得手段と、
    　前記形状変化取得情報手段により取得した前記形状変化情報を蓄積する形状変化情報蓄積手段と、
    を更に備え、
    　前記対象物変化検出手段は、
    　前記形状変化情報蓄積手段により蓄積した前記形状変化情報を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、前記対象物の変化を検出することを特徴とする請求項３または４に記載の対象物変化検出装置。
  6. 　前記形状変化情報蓄積手段により蓄積した複数の前記形状変化情報を平均化して、平均化形状変化情報を取得する形状変化平均化手段、
    を更に備え、
    　前記対象物変化検出手段は、
    　前記形状変化平均化手段により取得した平均化形状変化情報を用いて前記類似度を計算し、当該類似度が前記所定の閾値より小さい場合に、前記対象物の変化を検出することを特徴とする請求項５に記載の対象物変化検出装置。
  7. 　前記所定の特徴量は、確率分布として表せる特徴量であり、
    　画像の輝度自体を使用する第１特徴量、画像のエッジを使用する第２特徴量、および、画像の色を使用する第３特徴量のうち少なくとも１つを含むことを特徴とする請求項３に記載の対象物変化検出装置。
  8. 　前記第１特徴量は、
    　輝度、輝度のＰＣＡ、Ｈｕ　ｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅ　ｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含み、
    　第２特徴量は、
    　ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅ　ｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含み、
    　第３特徴量は、
    　ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含むことを特徴とする請求項７に記載の対象物変化検出装置。
  9. 　前記所定の尺度は、確率分布間の差異を距離または擬距離で計る尺度であることを特徴とする請求項３に記載の対象物変化検出装置。
  10. 　前記距離は、
    　マンハッタン距離、ユークリッド距離、一様ノルム、マハラノビス距離、ハミング距離のうち少なくとも１つを含み、
    　前記擬距離は、
    　カルバック・ライブラー情報量を含むことを特徴とする請求項９に記載の対象物変化検出装置。
  11. 　前記類似度は、コサイン類似度を含むことを特徴とする請求項６に記載の対象物変化検出装置。
  12. 　画像から対象物を検出する対象物検出ステップと、
    　前記対象物検出ステップにて検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得ステップと、
    　前記形状情報取得ステップにて取得した前記特徴量分布により表される前記形状情報を蓄積する形状情報蓄積ステップと、
    　前記形状情報蓄積ステップにて蓄積した前記形状情報を用いて、所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記対象物の変化を検出する対象物変化検出ステップと、
    を含むことを特徴とする対象物変化検出方法。
PCT/JP2011/071399 2011-09-20 2011-09-20 対象物変化検出装置および対象物変化検出方法 WO2013042206A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/346,062 US9373042B2 (en) 2011-09-20 2011-09-20 Subject change detection system and subject change detection method
PCT/JP2011/071399 WO2013042206A1 (ja) 2011-09-20 2011-09-20 対象物変化検出装置および対象物変化検出方法
JP2013534490A JP5780307B2 (ja) 2011-09-20 2011-09-20 対象物変化検出装置および対象物変化検出方法
EP11872617.3A EP2759997B1 (en) 2011-09-20 2011-09-20 Object change detection system and object change detection method
CN201180073587.3A CN103814401B (zh) 2011-09-20 2011-09-20 对象物变化检测装置及对象物变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/071399 WO2013042206A1 (ja) 2011-09-20 2011-09-20 対象物変化検出装置および対象物変化検出方法

Publications (1)

Publication Number Publication Date
WO2013042206A1 true WO2013042206A1 (ja) 2013-03-28

Family

ID=47914018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/071399 WO2013042206A1 (ja) 2011-09-20 2011-09-20 対象物変化検出装置および対象物変化検出方法

Country Status (5)

Country Link
US (1) US9373042B2 (ja)
EP (1) EP2759997B1 (ja)
JP (1) JP5780307B2 (ja)
CN (1) CN103814401B (ja)
WO (1) WO2013042206A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162538A1 (ja) * 2013-04-03 2014-10-09 トヨタ自動車株式会社 検出装置、検出方法、運転支援装置及び運転支援方法
JP2014215204A (ja) * 2013-04-26 2014-11-17 パイオニア株式会社 サーバ装置、端末装置、情報処理方法並びに情報処理システム及び情報処理プログラム
JP2014215205A (ja) * 2013-04-26 2014-11-17 パイオニア株式会社 情報処理装置、サーバ装置、情報処理方法並びに情報処理システム及び情報処理プログラム
KR101970358B1 (ko) * 2017-12-12 2019-04-18 엘지전자 주식회사 중앙 서버 및 이를 포함하는 공연 시스템
US11204607B2 (en) * 2017-04-06 2021-12-21 Toyota Jidosha Kabushiki Kaisha Trajectory setting device and trajectory setting method

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907146A (zh) * 2011-09-20 2014-07-02 丰田自动车株式会社 行人行动预测装置以及行人行动预测方法
DE102014201159A1 (de) * 2014-01-23 2015-07-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
JP6174516B2 (ja) * 2014-04-24 2017-08-02 本田技研工業株式会社 衝突回避支援装置、衝突回避支援方法、及びプログラム
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
US20170199994A1 (en) * 2016-01-13 2017-07-13 Microsoft Technology Licensing, Llc Imaging devices and methods for authenticating a user
KR101808937B1 (ko) * 2016-02-29 2017-12-13 국민대학교산학협력단 그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치
JP6627680B2 (ja) * 2016-07-27 2020-01-08 株式会社Ｊｖｃケンウッド 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム
JP6613265B2 (ja) * 2017-06-01 2019-11-27 本田技研工業株式会社 予測装置、車両、予測方法およびプログラム
JP6847876B2 (ja) * 2018-01-29 2021-03-24 株式会社東芝 情報処理装置、情報処理システム、および情報処理方法
CN109827578B (zh) * 2019-02-25 2019-11-22 中国人民解放军军事科学院国防科技创新研究院 基于轮廓相似性的卫星相对姿态估计方法
CN115410059B (zh) * 2022-11-01 2023-03-24 山东锋士信息技术有限公司 基于对比损失的遥感图像部分监督变化检测方法及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283461A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2007264778A (ja) 2006-03-27 2007-10-11 Honda Motor Co Ltd 歩行者認識装置
JP2008152586A (ja) * 2006-12-18 2008-07-03 Nec Engineering Ltd エリア警戒自動識別監視システム
JP2010102437A (ja) 2008-10-22 2010-05-06 Toyota Central R&D Labs Inc 歩行者飛び出し予測装置及びプログラム
JP2010267134A (ja) * 2009-05-15 2010-11-25 Fuji Heavy Ind Ltd リスク認識システム
JP2011150577A (ja) * 2010-01-22 2011-08-04 Toyota Motor Corp 警報装置
JP2011170499A (ja) * 2010-02-17 2011-09-01 Honda Motor Co Ltd 車両の周辺監視装置
WO2011108258A1 (ja) * 2010-03-03 2011-09-09 パナソニック株式会社 車両周辺監視装置および車両周辺監視方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4396400B2 (ja) * 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
US7263472B2 (en) * 2004-06-28 2007-08-28 Mitsubishi Electric Research Laboratories, Inc. Hidden markov model based object tracking and similarity metrics
JP4321821B2 (ja) * 2005-01-28 2009-08-26 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
US8131011B2 (en) * 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
JP2009122859A (ja) * 2007-11-13 2009-06-04 Toyota Motor Corp 物体検出装置
JP4623135B2 (ja) * 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置
US20110109745A1 (en) * 2008-07-07 2011-05-12 Yuzuru Nakatani Vehicle traveling environment detection device
JP2010020594A (ja) * 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
US8175617B2 (en) * 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
JP2011113313A (ja) * 2009-11-26 2011-06-09 Secom Co Ltd 姿勢推定装置
JP5574692B2 (ja) 2009-12-17 2014-08-20 キヤノン株式会社 映像情報処理方法及びその装置
US8660355B2 (en) * 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283461A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2007264778A (ja) 2006-03-27 2007-10-11 Honda Motor Co Ltd 歩行者認識装置
JP2008152586A (ja) * 2006-12-18 2008-07-03 Nec Engineering Ltd エリア警戒自動識別監視システム
JP2010102437A (ja) 2008-10-22 2010-05-06 Toyota Central R&D Labs Inc 歩行者飛び出し予測装置及びプログラム
JP2010267134A (ja) * 2009-05-15 2010-11-25 Fuji Heavy Ind Ltd リスク認識システム
JP2011150577A (ja) * 2010-01-22 2011-08-04 Toyota Motor Corp 警報装置
JP2011170499A (ja) * 2010-02-17 2011-09-01 Honda Motor Co Ltd 車両の周辺監視装置
WO2011108258A1 (ja) * 2010-03-03 2011-09-09 パナソニック株式会社 車両周辺監視装置および車両周辺監視方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2759997A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5983865B2 (ja) * 2013-04-03 2016-09-06 トヨタ自動車株式会社 検出装置及び運転支援装置
WO2014162538A1 (ja) * 2013-04-03 2014-10-09 トヨタ自動車株式会社 検出装置、検出方法、運転支援装置及び運転支援方法
DE112013006910B4 (de) * 2013-04-03 2020-12-10 Toyota Jidosha Kabushiki Kaisha Erfassungsvorrichtung, Erfassungsverfahren, Fahrassistenzvorrichtung und Fahrassistenzverfahren
JP2014215204A (ja) * 2013-04-26 2014-11-17 パイオニア株式会社 サーバ装置、端末装置、情報処理方法並びに情報処理システム及び情報処理プログラム
JP2014215205A (ja) * 2013-04-26 2014-11-17 パイオニア株式会社 情報処理装置、サーバ装置、情報処理方法並びに情報処理システム及び情報処理プログラム
US11204607B2 (en) * 2017-04-06 2021-12-21 Toyota Jidosha Kabushiki Kaisha Trajectory setting device and trajectory setting method
US11932284B2 (en) 2017-04-06 2024-03-19 Toyota Jidosha Kabushiki Kaisha Trajectory setting device and trajectory setting method
US11662733B2 (en) 2017-04-06 2023-05-30 Toyota Jidosha Kabushiki Kaisha Trajectory setting device and trajectory setting method
CN111542864A (zh) * 2017-12-12 2020-08-14 百赫娱乐有限公司 中央服务器和包括该中央服务器的表演系统
CN111542864B (zh) * 2017-12-12 2022-05-24 海谱有限公司 中央服务器和包括该中央服务器的表演系统
US11452192B2 (en) 2017-12-12 2022-09-20 Hybe Co., Ltd Central server and dramatic performance system including same
WO2019117409A1 (ko) * 2017-12-12 2019-06-20 엘지전자 주식회사 중앙 서버 및 이를 포함하는 공연 시스템
KR101970358B1 (ko) * 2017-12-12 2019-04-18 엘지전자 주식회사 중앙 서버 및 이를 포함하는 공연 시스템

Also Published As

Publication number Publication date
JPWO2013042206A1 (ja) 2015-03-26
US9373042B2 (en) 2016-06-21
EP2759997A1 (en) 2014-07-30
CN103814401A (zh) 2014-05-21
EP2759997A4 (en) 2015-04-15
JP5780307B2 (ja) 2015-09-16
US20150049908A1 (en) 2015-02-19
EP2759997B1 (en) 2020-05-06
CN103814401B (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
JP5780307B2 (ja) 対象物変化検出装置および対象物変化検出方法
JP5786947B2 (ja) 歩行者行動予測装置および歩行者行動予測方法
JP5737397B2 (ja) 歩行者動作予測装置
EP2919159A2 (en) Image processing device and image processing method
JP6436357B2 (ja) 車両用の歩行者動作識別装置
US20140002658A1 (en) Overtaking vehicle warning system and overtaking vehicle warning method
JP5986949B2 (ja) 境界線認識装置
JP5838940B2 (ja) 画像処理装置及び車両制御システム
US8160300B2 (en) Pedestrian detecting apparatus
JP2005316607A (ja) 画像処理装置及び画像処理方法
WO2017043358A1 (ja) 物体検出装置および物体検出方法
JP6046327B2 (ja) 車両用蛇行運転検出装置
EP3410345B1 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP2010072947A (ja) 障害物検出装置
JP5692024B2 (ja) 対象物変化検出装置および対象物変化検出方法
JP2013008315A (ja) 歩行者認識装置
JP5892075B2 (ja) 対象物検出装置及び対象物検出方法、警報装置及び警報方法、運転支援装置及び運転支援方法
JP5811951B2 (ja) 対象物変化検出装置
JP4239834B2 (ja) 物体検出装置
JP5686119B2 (ja) 対象物変化検出装置および対象物変化検出方法
JP2020101935A (ja) 画像認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11872617

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013534490

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011872617

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14346062

Country of ref document: US