WO2018011964A1 - 移動物体検出装置 - Google Patents

移動物体検出装置 Download PDF

Info

Publication number
WO2018011964A1
WO2018011964A1 PCT/JP2016/070943 JP2016070943W WO2018011964A1 WO 2018011964 A1 WO2018011964 A1 WO 2018011964A1 JP 2016070943 W JP2016070943 W JP 2016070943W WO 2018011964 A1 WO2018011964 A1 WO 2018011964A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving
moving object
unit
speed
data
Prior art date
Application number
PCT/JP2016/070943
Other languages
English (en)
French (fr)
Inventor
響介 小西
小幡　康
守屋　芳美
勝治 今城
亮史 服部
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018515317A priority Critical patent/JP6351917B2/ja
Priority to PCT/JP2016/070943 priority patent/WO2018011964A1/ja
Priority to TW105132825A priority patent/TW201804445A/zh
Publication of WO2018011964A1 publication Critical patent/WO2018011964A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M7/00—Counting of objects carried by a conveyor

Definitions

  • the present invention relates to a moving object detection apparatus that estimates the moving speed including the number, position, and moving direction of moving objects.
  • a technique for estimating the number, position, or moving direction of a moving object such as a pedestrian within a sensor observation range using various sensors is known.
  • a technique for estimating the number, position, or moving direction of moving objects for example, by observing an object passing through a passage by a plurality of cameras, and based on the displacement of the moving object image on the image captured by each camera.
  • the estimation accuracy is significantly degraded when a low-resolution camera is used.
  • the shape of the moving object cannot be obtained correctly from the image, and the estimation accuracy is significantly deteriorated.
  • the estimation accuracy deteriorates.
  • Patent Document 1 discloses that when a person passes through a slit light irradiation position using a laser that irradiates slit light on a passage and an imaging device that observes reflected light of the slit light. Discloses a technique for estimating the number, position, or traveling direction of a person from a change in luminance.
  • the technique disclosed in Patent Literature 1 when one imaging device and one laser arranged in the vicinity of the imaging device are used, the number of passages of a person in the passage can be counted.
  • one imaging device and lasers arranged at a plurality of locations in the vicinity of the imaging device are used, it is possible to count the number of passes for each direction of person movement.
  • the moving direction detection device Since the range where it is necessary to observe the flow of a moving object such as a pedestrian may be wide, it is desirable that the moving direction detection device be low-cost.
  • Patent Document 1 in order to estimate the number of moving objects in each moving direction, there is a problem that it is necessary to arrange lasers in at least two places.
  • the present invention has been made to solve the above problems, and accurately estimates the number, position, and moving direction of a moving object by using one camera and one laser sensor installed at one place. It is an object of the present invention to provide a moving object detection device that can do this.
  • the moving object detection device is based on an object position data creation unit that calculates a position coordinate of a moving object based on distance measurement information measured by a distance sensor, and on video information captured by a video acquisition sensor.
  • a pixel movement direction data creation unit that calculates the estimated movement direction of each area on the video, and a position movement direction correlation unit that estimates the number of moving objects and the movement direction based on the position coordinates and the estimated movement direction. is there.
  • the present invention it is possible to accurately estimate the moving speed including the number, position, and moving direction of moving objects by using one camera and one laser sensor installed at one place.
  • FIG. 1 It is a block diagram of the moving object detection system provided with the moving object detection apparatus which concerns on Embodiment 1 of this invention. It is a figure for demonstrating an example of the installation condition of a ranging sensor and a video acquisition sensor in this Embodiment 1, and the observation conditions of a ranging sensor and a video acquisition sensor. It is a figure for demonstrating an example of the installation condition of a ranging sensor and a video acquisition sensor in this Embodiment 1, and an example of the observation conditions of a ranging sensor and a video acquisition sensor, and FIG. It is the bird's-eye view seen from. It is a block diagram of the moving object detection apparatus which concerns on Embodiment 1 of this invention.
  • Embodiment 1 FIG.
  • the moving object detection device 100 according to Embodiment 1 of the present invention is applied to a pedestrian moving in a path extending in one direction as a detection target.
  • the following description will be made assuming that a pedestrian is detected as a moving object.
  • FIG. 1 is a configuration diagram of a moving object detection system including a moving object detection device 100 according to Embodiment 1 of the present invention.
  • the moving object detection device 100 is connected to a distance measuring sensor 200 and a video acquisition sensor 300 via a network.
  • the distance measuring sensor 200 is, for example, a laser distance meter, a radar, an ultrasonic sensor, an active stereo sensor, or the like, and scans within one time frame of an image captured by the image acquisition sensor 300 to acquire distance measurement data.
  • the image acquisition sensor 300 is a visible light camera, an infrared camera, or the like, and is installed so as to look down the passage for detecting a pedestrian, and images the passage.
  • the moving object detection device 100 is based on the distance measurement information in the distance measurement sensor observation range in the time frame acquired from the distance measurement sensor 200 and the image in the image acquisition sensor observation range in the time frame acquired from the image acquisition sensor 300. The position of the pedestrian moving along the passage, the moving speed including the moving direction, etc. are estimated.
  • one distance measuring sensor 200 and one image acquisition sensor 300 form one set, and the one set of distance measurement sensor 200 and image acquisition sensor 300 is installed for one moving object detection target region. Is done.
  • a plurality of sets including the one distance measuring sensor 200 and one image acquisition sensor 300 are connected to one moving object detecting device 100 via a network, and the moving object detecting device 100 has one distance measuring method. For each set of the sensor 200 and one image acquisition sensor 300, a process for estimating the position, moving speed, etc. of a pedestrian moving through the passage can be performed. Specific processing contents will be described later.
  • FIG. 2 and 3 are diagrams for explaining an example of the installation status of the distance measurement sensor 200 and the image acquisition sensor 300 and the observation conditions of the distance measurement sensor 200 and the image acquisition sensor 300 in the first embodiment. is there.
  • FIG. 3 is an overhead view of FIG. 2 viewed from the positive direction of the z-axis. 2 and 3, the x-axis direction is the direction in which the passage extends, the z-axis direction is the direction perpendicular to the ground, the y-axis direction is perpendicular to the direction in which the passage extends and is parallel to the ground, and the x-axis, y-axis,
  • the positive direction of the z-axis is a right-handed orthogonal coordinate system.
  • the image acquisition sensor 300 and the distance measuring sensor 200 are installed so as to look down the passage.
  • the image acquisition sensor 300 acquires the image of the passage at a preset viewing angle, and the range obtained by projecting the installation position of the image acquisition sensor 300 onto the xy plane on the passage is the observation range 53 of the image acquisition sensor 300.
  • the distance measuring sensor 200 scans the y-axis direction at least once in one time frame to acquire distance measurement data, and is one-dimensional on the xy plane parallel to the y-axis from the position where the distance measuring sensor 200 is installed.
  • a range projected onto the line is set as an observation range 54 of the distance measuring sensor 200.
  • the observation range 53 of the image acquisition sensor 300 and the observation range 54 of the distance measurement sensor 200 partially overlap, and the width of the observation range 54 of the distance measurement sensor 200 in the x-axis direction is the observation of the image acquisition sensor 300. It is sufficiently narrower than the width of the range 53 in the x-axis direction.
  • the one-dimensional line that is the observation range of the distance measuring sensor 200 may be selectable according to the observation environment. For example, the distance measuring sensor 200 may observe a plurality of one-dimensional lines and select a one-dimensional line that is less likely to be blocked by an obstacle or the like as an observation range from each one-dimensional line.
  • FIG. 4 is a configuration diagram of the moving object detection device 100 according to Embodiment 1 of the present invention.
  • the moving object detection apparatus 100 includes a distance measurement data acquisition unit 11, an object position data creation unit 12, a video acquisition unit 13, a pixel movement direction data creation unit 14, and a position movement direction correlation unit. 15, a display unit 16, and a recording unit 17.
  • the distance measurement data acquisition unit 11 and the object position data creation unit 12 constitute a distance measurement sensor processing unit 101
  • the video acquisition unit 13 and the pixel movement direction data creation unit 14 constitute a video acquisition sensor processing unit 102.
  • the position movement direction correlation unit 15 constitutes a fusion processing unit 103.
  • a command is sent to the distance measurement data acquisition unit 11 and the distance measurement sensor 200, and distance measurement information of the distance measurement sensor observation range in the latest time frame is acquired from the distance measurement sensor 200.
  • the distance measurement data acquisition unit 11 outputs the acquired distance measurement information to the object position data creation unit 12.
  • the object position data creation unit 12 identifies a time frame in which the center of gravity position of the moving object has passed through the observation range 54 of the distance measurement sensor 200 based on the distance measurement information acquired from the distance measurement data acquisition unit 11 in a plurality of time frames. . Further, the object position data creation unit 12 calculates the gravity center position of the moving object in the x-axis and y-axis directions from the plurality of time frames acquired from the distance measurement data acquisition unit 11, and the object position data representing the gravity center position.
  • the object position data creation unit 12 outputs the time frame when the center of gravity of the moving object passes, that is, the passing time of the moving object in the observation range 54 of the distance measuring sensor 200 and the object position data to the position movement direction correlation unit 15. .
  • the apparatus calculates the center of gravity position of the entire moving object as an example of the physical quantity representing the position coordinates of the moving object.
  • the position coordinates of a part of the moving object may be used instead of the center of gravity position. For example, it is good also as a position of the both shoulders with respect to a pedestrian, and the position of the wheel with respect to a motor vehicle.
  • the video acquisition unit 13 sends a command to the video acquisition sensor 300 and acquires the video in the observation range 53 of the video acquisition sensor 300 in the latest time frame from the video acquisition sensor 300.
  • the video acquisition unit 13 outputs the acquired video to the pixel movement direction data creation unit 14.
  • the pixel movement direction data creation unit 14 calculates the estimated speeds in the x-axis and y-axis directions for each pixel based on the videos in the plurality of time frames acquired from the video acquisition unit 13, and generates pixel speed data representing the estimated speeds. Create for each time frame.
  • the pixel movement direction data creation unit 14 outputs the pixel velocity data to the position movement direction correlation unit 15.
  • the pixel movement direction data creation unit 14 that is a device that calculates the estimated speed for each pixel is used, but the estimated speed on the video is calculated. It is not always necessary to select the region for each pixel. For example, the processing load may be reduced by calculating the estimated speed for each area of 10 pixels vertically and 10 pixels horizontally.
  • the pixel movement direction data creation unit 14 calculates the velocity in the x-axis and y-axis directions as an example of the physical quantity representing the movement direction of the object, but the purpose is to estimate only the movement direction of each moving object. In, it is not always necessary to calculate the speed.
  • the pixel movement direction data creation unit 14 may calculate a vector having a constant size that represents only the movement direction or an azimuth angle that represents the movement direction.
  • the position movement direction correlation unit 15 receives the object position data output from the object position data creation unit 12 and the pixel velocity data output from the pixel movement direction data creation unit 14, and receives the moving object specified by the object position data. Estimate the moving speed.
  • the position movement direction correlator 15 is data representing the time at which the center of gravity position passes through the observation range 54 of the distance measuring sensor 200, the center of gravity position on the x axis and the y axis, and the estimated speed in the x axis and y axis directions for the moving object. Is displayed on the display unit 16.
  • the position movement direction correlator 15 also determines, for each moving object, the time when the centroid position passes the observation range 54 of the distance measuring sensor 200, the centroid position on the x-axis and y-axis, and the estimated speed in the x-axis and y-axis directions. Is stored in the recording unit 17.
  • the time when the centroid position passes the observation range 54 of the distance measuring sensor 200, the centroid position on the x-axis and the y-axis, and data representing the estimated speed in the x-axis and y-axis directions are combined, This is called fusion data.
  • the display unit 16 is a display device such as a display, for example, and displays the fusion data output from the position movement direction correlation unit 15.
  • the recording unit 17 stores the fusion data output from the position movement direction correlation unit 15.
  • the display unit 16 and the recording unit 17 are included in the moving object detection device 100, but not limited thereto, the display unit 16 and the recording unit 17 are moved. It may be provided outside the object detection device 100, and the moving object detection device 100, the display unit 16, and the recording unit 17 may be connected via a network.
  • FIG. 5A and 5B are diagrams showing an example of a hardware configuration of the moving object detection device 100 according to Embodiment 1 of the present invention.
  • each function of the distance measuring sensor processing unit 101, the image acquisition sensor processing unit 102, and the fusion processing unit 103 is realized by the processing circuit 501.
  • the moving object detection device 100 includes a processing circuit 501 for performing control for displaying or storing information on the position, speed, and the like of the moving object based on the acquired distance measurement information and video information.
  • the processing circuit 501 may be dedicated hardware as illustrated in FIG. 5A or a CPU (Central Processing Unit) 507 that executes a program stored in the memory 506 as illustrated in FIG. 5B.
  • CPU Central Processing Unit
  • the processing circuit 501 When the processing circuit 501 is dedicated hardware, the processing circuit 501 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable). Gate Array) or a combination of these.
  • the processing circuit 501 is the CPU 507
  • the functions of the distance measurement sensor processing unit 101, the video acquisition sensor processing unit 102, and the fusion processing unit 103 are realized by software, firmware, or a combination of software and firmware. That is, the ranging sensor processing unit 101, the image acquisition sensor processing unit 102, and the fusion processing unit 103 are a CPU 507 that executes a program stored in an HDD (Hard Disk Drive) 502, a memory 506, and the like, a system LSI (Large- This is realized by a processing circuit such as Scale Integration.
  • HDD Hard Disk Drive
  • a system LSI Large- This is realized by a processing circuit such as Scale Integration.
  • the programs stored in the HDD 502, the memory 506, and the like cause the computer to execute the procedures and methods of the distance measurement sensor processing unit 101, the video acquisition sensor processing unit 102, and the fusion processing unit 103.
  • the memory 506 may be, for example, RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory, etc.) And volatile semiconductor memories, magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs (Digital Versatile Discs), and the like.
  • the distance sensor processing unit 101 is realized by a processing circuit 501 as dedicated hardware, and the processing circuit 501 is stored in the memory 506 for the image acquisition sensor processing unit 102 and the fusion processing unit 103.
  • the function can be realized by reading out and executing.
  • the display unit 16 is a display 503, for example.
  • the recording unit 17 uses the HDD 502. This is only an example, and the recording unit 17 may be configured by a DVD, a memory 506, or the like.
  • the moving object detection device 100 includes an input interface device 504 and an output interface device 505 that communicate with external devices such as the distance measurement sensor 200 and the image acquisition sensor 300.
  • the distance sensor processing unit 101 uses the input interface device 504 such as USB (Universal Serial Bus) or Ethernet (registered trademark; description is omitted below) as the distance measurement information acquired by the distance sensor 200. get.
  • the video acquisition sensor processing unit 102 inputs video captured by the video acquisition sensor 300 into an input such as DVI (Digital Visual Interface (registered trademark)), HDMI (High-Definition Multimedia Interface (registered trademark)), USB, Ethernet, or the like. Obtained using the interface device 504.
  • the fusion processing unit 103 connects and outputs information such as the number, position, and speed of moving objects to the display 503 using an output interface device 505 such as USB or Ethernet.
  • FIG. 6 is a flowchart for explaining the operation of the moving object detection device 100 according to the first embodiment of the present invention.
  • FIG. 6 as an example, in the case where the moving speed is estimated for a moving object whose center of gravity has passed the observation range 54 of the distance measuring sensor 200 in the kth (k is a natural number) time frame from the start of observation.
  • the operation of the moving object detection device 100 will be described.
  • the kth time frame from the start of observation is denoted as time k.
  • the installation positions and observation ranges of the distance measurement sensor 200 and the video acquisition sensor 300 are preset and known, and a clock for measuring the observation times of the distance measurement sensor 200 and the video acquisition sensor 300 is a distance measurement. Assume that the sensor 200 and the image acquisition sensor 300 are synchronized.
  • the ranging sensor processing unit 101 extracts a moving object whose center of gravity has passed through the observation range 54 of the ranging sensor 200 at time k from ranging information of a plurality of time frames acquired by the ranging sensor 200.
  • Object position data is created (step ST601). Specifically, the object position data creation unit 12 extracts a moving object that has passed through the observation range 54 of the distance measurement sensor 200 based on the distance measurement information of a plurality of time frames output from the distance measurement data acquisition unit 11. The time frame when the gravity center position of the moving object passes through the observation range of the distance measuring sensor 200 is specified, and the object position data is created. When a plurality of moving objects are extracted, the time frame is specified and the object position data is created for each moving object.
  • the object position data creation unit 12 accumulates the distance measurement information of the time frame output by the distance measurement data acquisition unit 11 in a distance measurement information storage unit (not shown), and is stored in the distance measurement information storage unit. Object position data may be created based on a plurality of distance measurement information.
  • the object position data creation unit 12 outputs the created object position data to the position movement direction correlation unit 15.
  • a method of extracting the center of gravity position of the moving object from the distance measurement information of each time frame for example, a method disclosed in Japanese Patent Application Laid-Open No. 2011-108223 is used.
  • the method disclosed in this document is a method for extracting the number and position of moving objects at a specific height. For example, when extracting the position of a pedestrian, the height of the pedestrian's head is extracted.
  • the object position data preparation part 12 may acquire the object position data of the time k produced beforehand.
  • the object position data creation unit 12 does not create the object position data at time k in each case in step ST601, but stores the already created object position data.
  • the object position data may be acquired.
  • the video acquisition sensor processing unit 102 creates pixel velocity data at time k from the video of each time frame acquired by the video acquisition sensor 300 (step ST602). Specifically, the pixel movement direction data creation unit 14 creates pixel velocity data based on the videos in a plurality of time frames output from the video acquisition unit 13. Note that the pixel movement direction data creation unit 14 causes the video information storage unit (not shown) to store the video of the time frame output from the video acquisition unit 13, and based on the video stored in the video information storage unit. In addition, pixel speed data may be created. The pixel movement direction data creation unit 14 outputs the created pixel velocity data to the position movement direction correlation unit 15. As a method for creating pixel velocity data from the video of each time frame, for example, B.I.
  • Lucas, T .; Kanade “An Iterative Image Registration Technology with an Application to Stereo Vision,” Proceedings DARPA Image Understanding Working Shop. 121-130, April 1981. Is used.
  • the method disclosed in this document is based on the assumption that the luminance intensity of each pixel is spatially continuous and that the motion of the object is linear.
  • the velocity vector that minimizes is estimated.
  • pixel velocity data is obtained in which the velocity vector of a pixel representing a stationary object has a value close to zero, and the velocity vector of a pixel representing a moving object has a value close to the moving velocity of the object.
  • the pixel moving direction data preparation part 14 may acquire the pixel velocity data of the time k produced beforehand.
  • the pixel movement direction data creation unit 14 does not create pixel speed data at time k in each step ST602, but stores already created pixel speed data and stores the data.
  • the acquired pixel speed data may be acquired.
  • the pixel movement direction data creation unit 14 may create pixel velocity data only for a partial region on the video according to the observation environment. For example, if an area where a moving object cannot exist, such as an area where pedestrians cannot pass, is known from the data of the previous time frame or before data acquisition, the pixel speed of the area where the moving object cannot exist Creation of data may be omitted.
  • the position movement direction correlation unit 15 uses the object position data at time k output from the object position data generation unit 12 in step ST601 and the pixel velocity data at time k output from the pixel movement direction data generation unit 14 in step ST602. Thus, the moving speed is estimated for the moving object specified by the object position data at time k, and fusion data at time k relating to the moving object is created (step ST603).
  • FIG. 7 is a conceptual diagram illustrating the speed estimation operation of the moving object in step ST603 of FIG.
  • the position movement direction correlation unit 15 extracts a pixel velocity 62 within the object size 63 around the center of gravity 61 for the center of gravity 61 of each moving object at time k. Then, the position movement direction correlation unit 15 calculates the estimated speeds v 1 and v 2 of each moving object from the pixel speed within the object size 63.
  • a method of calculating the estimated speed v 1 (v 1, x , v 1, y ) is taken as an example of a moving object in which the center of gravity position at time k is (x d , y d ) in the object position data.
  • x d is the x-axis position of the center of gravity of the moving object
  • y d is the y-axis position of the center of gravity of the moving object.
  • v 1, x and v 1, y are the x-axis direction component and the y-axis direction component of the estimated speed. Since the observation range 54 of the distance measuring sensor 200 is narrow in the x-axis direction, xd may be the x-axis position at the center of the observation range of the distance measuring sensor 200.
  • the pixel velocity data at the time k is expressed as V x (x i , y i ) and V y (x i , y i ).
  • x i and y i represent the x-axis center position and the y-axis center position of the i-th pixel, respectively
  • V x (x i , y i ) represents the x-axis direction component of the pixel velocity
  • V y (x i , Y i ) represents the y-axis direction component of the pixel velocity.
  • the total number of pixels is set to N p.
  • the estimated velocity v 1 of the moving object at the center of gravity position (x d , y d ) is calculated from the following equations (1) and (2).
  • W (x i, y i ; x d, y d ) is a function representing the object size 63, and is a function that satisfies the following expression (3) for any (x d , y d ). is there.
  • the circular object size 63 is defined around (x d , y d ), it is defined as the following equation (4).
  • R represents a parameter representing the radius of the object size 63
  • n (R) represents the number of pixels (x i ′ , y i ′ ) satisfying the following expression (5).
  • the size of the object size 63 is changed or the shape is changed to an ellipse or a rectangle according to the type of the moving object to be assumed, the error in the pixel velocity data in the image acquisition sensor 300, and the error in the object position data in the distance measuring sensor 200. You may make it.
  • the object size 63 may represent the average size of the pedestrian looking down from above.
  • the function W (x i , y i ; x d , y d ) is weighted averaged within the object size 63.
  • the value may be inclined. Further, it is possible to reject unnecessary data based on the estimated speed on the assumption that unnecessary data other than a stationary object or an actual object is erroneously included in the object position data. For example, if the estimated speed is less than the threshold value, it may be excluded from the number of moving objects as stationary objects. That is, the number of moving objects calculated by the object position data creation unit 12 may be used as a temporary moving object number, and the position moving direction correlation unit 15 may estimate the final number of moving objects.
  • the position movement direction correlation unit 15 determines whether or not the estimated speed has been estimated for all the moving objects specified by the object position data at time k (step ST604). If it is determined in step ST604 that the estimated speed has not been estimated for all moving objects specified by the object position data at time k (in the case of “NO” in step ST604), the process returns to step ST603, and thereafter Repeat the process.
  • step ST604 When it is determined in step ST604 that the estimated speed is estimated for all moving objects specified by the object position data at time k (in the case of “YES” in step ST604), the position movement direction correlation unit 15 For all the moving objects specified by the object position data at time k, for each moving object, the passing time, the center of gravity position, and the estimated speed estimated in step ST603 are combined, and the display unit 16 as fusion data, and It outputs to the recording part 17 (step ST605).
  • the display unit 16 displays information based on the fusion data output from the position movement direction correlation unit 15.
  • the information displayed on the display unit 16 is, for example, the number of moving objects, the position of the center of gravity of each moving object, and the estimated speed.
  • the display unit 16 passes the observation range 54 of the distance measuring sensor 200 per unit time in the x positive direction or the x negative direction of the passage, for example. It is also possible to display the number of moved objects.
  • the information displayed on the display unit 16 may be determined based on preset conditions. Not limited to this, information to be displayed on the display unit 16 by the user from an input device (not shown) may be set in advance, or information to be displayed by the user during display. It can also be made switchable.
  • the recording unit 17 records the fusion data output from the position movement direction correlation unit 15.
  • the information recorded by the recording unit 17 is, for example, the number of moving objects, the position of the center of gravity of each moving object, and the estimated speed. Further, for example, the number of moving objects that have passed through the observation range 54 of the distance measuring sensor 200 in the x positive direction or the x negative direction of the passage per unit time may be recorded in the recording unit 17.
  • the information to be recorded in the recording unit 17 may be determined based on preset conditions. However, the present invention is not limited to this, and information to be recorded in the recording unit 17 by an input device (not shown) may be set in advance, or the information to be recorded can be changed by the user. You can also
  • the number, position, and movement of moving objects are achieved by one image acquisition sensor 300 and one distance measuring sensor 200 arranged at one detection location.
  • the moving speed including the direction can be estimated.
  • a distance measurement sensor equipped with both a light projecting element and a light receiving element has more components and more frequently corrects aging deterioration than an image acquisition sensor that requires only a light receiving element. , Operating costs are high.
  • only one distance measuring sensor 200 such as a laser sensor is required for one detection point, so that the number is smaller than a method using a plurality of distance measuring sensors. The same function can be realized at a cost.
  • the moving speed including the moving direction of the moving object can be estimated by the light projecting element of one distance measuring sensor 200 installed at one place, slit light is projected at a plurality of places. There are fewer restrictions on the installation conditions and the cost of installation work can be reduced compared to the method of lighting.
  • the number, position, and moving direction of the moving object can be estimated by the image acquisition sensor 300 and the distance measuring sensor 200 that scans only in the one-dimensional direction.
  • the distance measuring sensor 200 that scans in a one-dimensional direction requires less costs for manufacturing, installation work, and operation than the distance measuring sensor that scans in a two-dimensional direction. . Therefore, the same function can be realized at a lower cost compared to a method using a distance measuring sensor such as a laser sensor that scans in a two-dimensional direction.
  • the distance measuring sensor 200 can also observe the shape of the moving object in the irradiation direction of the laser or the like irradiated by the distance measuring sensor 200, the position estimation error of the moving object is smaller than the image acquisition sensor 300, and It is easy to distinguish each moving object from a plurality of adjacent moving objects. Therefore, according to the first embodiment, the estimation accuracy of the number and positions of moving objects is higher than the method using only the video acquisition sensor 300 such as a visible light camera.
  • the estimated speed for each pixel is calculated based on the luminance and intensity of the pixel, and the moving direction of the moving object is estimated. Therefore, when the resolution of the image acquisition sensor 300 is low and the shape at the time of moving object observation is unclear, for example, when the pixel of the image is rough with respect to the size of the moving object, or when the outline of the moving object is missing, Compared to the method using only the video acquisition sensor 300 such as a visible light camera, the movement direction estimation accuracy is less deteriorated.
  • the number of moving objects is estimated based on the observation result of the distance measuring sensor 200, when the shadow of the moving object is reflected in the image or on the background screen When a moving image is being reproduced, the number of moving objects can be estimated without erroneously determining a change in luminance intensity with no substance in the background as a moving object.
  • Embodiment 2 on the assumption that the luminance and intensity of the moving object are continuous on the video acquired by the video acquisition sensor 300, the center of gravity position of the moving object based on the distance measurement information from the distance measurement sensor 200, The pixel speed based on the video from the video acquisition sensor 300 is associated in the same time frame.
  • the luminance intensity of the moving object changes discontinuously due to, for example, a deviation in illuminance of the light source, a change in background color, rotation and deformation of the moving object, sensitization noise during night photographing, and the like.
  • the pixel speed of the moving object temporarily becomes a value greatly different from the speed of the true moving object, and the moving object may disappear on the pixel speed of a certain time frame. Therefore, in this second embodiment, an embodiment will be described in which a plurality of candidates for the estimated speed of each moving object are set from the pixel velocities of a plurality of time frames, and a likely estimated speed is determined from each candidate. .
  • FIG. 8 is a block diagram of a moving object detection device 100a according to Embodiment 2 of the present invention.
  • the moving object detection device 100a according to the second embodiment of the present invention is different from the moving object detection device 100 according to the first embodiment in that the fusion processing unit 103 sets a moving direction hypothesis instead of the position movement direction correlation unit 15.
  • the unit 18 and the movement direction determining unit 19 are configured.
  • the object position data creation unit 12 outputs the object position data to the movement direction hypothesis setting unit 18.
  • the pixel movement direction data creation unit 14 outputs the pixel velocity data to the movement direction hypothesis setting unit 18 and the movement direction determination unit 19.
  • the movement direction hypothesis setting unit 18 acquires the object position data output from the object position data generation unit 12 and the pixel velocity data of the time frame output from the pixel movement direction data generation unit 14, and is observed by the distance measuring sensor 200. A plurality of candidate values of the moving speed of the moving object thus set are set.
  • the candidate value of the moving speed of the moving object set by the moving direction hypothesis setting unit 18 is referred to as a speed hypothesis.
  • the movement direction hypothesis setting unit 18 outputs the speed hypothesis to the movement direction determination unit 19.
  • the movement direction determination unit 19 acquires the pixel velocity data of the time frame output from the pixel movement direction data creation unit 14 and the velocity hypothesis of the moving object output from the movement direction hypothesis setting unit 18, and from among the velocity hypotheses.
  • the moving speed of the moving object is determined.
  • the moving direction determination unit 19 obtains fusion data representing the time at which the center of gravity of the moving object has passed the observation range 54 of the distance measuring sensor, the center of gravity on the x-axis and the y-axis, and the estimated speed in the x-axis and y-axis directions. Output to the display unit 16 and the recording unit 17.
  • FIG. 9 is a flowchart for explaining the operation of the moving object detection device 100a according to the second embodiment of the present invention.
  • k is a natural number equal to or greater than N + 1.
  • the parameter N will be described later.
  • the ranging sensor processing unit 101 extracts a moving object whose center of gravity has passed through the observation range 54 of the ranging sensor 200 at time k from ranging information of a plurality of time frames acquired by the ranging sensor 200.
  • Object position data is created (step ST901). The specific operation is the same as step ST601 in FIG. 6 described in the first embodiment.
  • the object position data creation unit 12 of the distance measurement sensor processing unit 101 outputs the created object position data to the movement direction hypothesis setting unit 18.
  • the control unit (not shown) of moving object detection apparatus 100a initializes variable i (step ST902).
  • the initial value of the variable i is 0.
  • the video acquisition sensor processing unit 102 creates pixel velocity data at time ki from the video of a plurality of time frames acquired by the video acquisition sensor 300 (step ST903).
  • a specific method for creating pixel velocity data is the same as that in step ST602 of FIG. 6 described in the first embodiment.
  • the pixel movement direction data creation unit 14 of the video acquisition sensor processing unit 102 outputs the pixel velocity data at the time k ⁇ i to the movement direction hypothesis setting unit 18 and the movement direction determination unit 19.
  • the movement direction hypothesis setting unit 18 includes the object position data at time k output from the object position data creation unit 12 in step ST901, and the pixel velocity data at time ki output from the pixel movement direction data creation unit 14 in step ST903. Is used to set a speed hypothesis for the moving object included in the object position data at time k (step ST904).
  • the moving direction hypothesis setting unit 18 sets the estimated value of the center of gravity position of the moving object at the time k ⁇ 1, that is, the estimated object position value 64 at the time k ⁇ 1, and the time of the center of gravity position 61 of the moving object at the time k.
  • the pixel velocity 65 at time k ⁇ 1 within the object size 63 centering on the object position estimated value 64 of k ⁇ 1 is extracted.
  • the moving direction hypothesis setting unit 18 calculates a moving object speed hypothesis v 1 from the extracted pixel speed 65 at time k ⁇ 1.
  • FIG. 11 is a flowchart for explaining in detail the operation of step ST904 of FIG.
  • the center of gravity position of a certain moving object as a target is (x d , y d )
  • x d is the x-axis position of the center of gravity of the moving object
  • y d is the y-axis position of the center of gravity of the moving object
  • v u, x , v u, y are the x-axis direction component of the estimated speed and the y-axis, respectively.
  • the direction component Since the observation range 54 of the distance measuring sensor 200 is narrow in the x-axis direction, xd may be the x-axis position at the center of the observation range 54 of the distance measuring sensor 200.
  • the pixel velocity data at the time k ⁇ i is expressed as V k ⁇ i , x (x q , y q ) and V k ⁇ i , y (x q , y q ).
  • x q and y q represent the x-axis center position and y-axis center position of the q-th pixel, respectively
  • V k ⁇ i , x (x q , y q ) are x-axis direction components of the pixel velocity.
  • V k ⁇ i , y (x q , y q ) represent the y-axis direction component of the pixel velocity.
  • the total number of pixels is set to N p.
  • the movement direction hypothesis setting unit 18 selects one unselected pixel from the video acquired from the pixel movement direction data creation unit 14, that is, the video acquired by the video acquisition sensor 300 (step ST1101).
  • the pixel selected by the movement direction hypothesis setting unit 18 in step ST1101 is referred to as a “selected pixel”, and the x-axis center position and the y-axis center position of the selected pixel are (x s , y s ).
  • v m, x and v m, y are the x-axis direction component and the y-axis direction component of the average speed.
  • the average velocity v m (v m, x , v m, y) is calculated from the following equation (6) and (7).
  • W (x q , y q ; x s , y s ) is a function that represents the object size 63, and is a function that satisfies the following expression (8) for any (x s , y s ): is there.
  • the circular object size 63 is defined around (x s , y s ), it is defined as the following formula (9).
  • a parameter representing the radius of the object size 63 is R
  • the number of pixels (x q ′ , y q ′ ) satisfying the following expression (10) is n (R).
  • the size of the object size 63 is changed or the shape is changed to an ellipse or a rectangle according to the type of the moving object to be assumed, the error in the pixel velocity data in the image acquisition sensor 300, and the error in the object position data in the distance measuring sensor 200. You may make it.
  • the object size 63 may represent the average size of the pedestrian looking down from above.
  • the function W (x q , y q ; x s , y s ) is weighted and averaged within the object size 63. The value may be inclined.
  • the moving direction hypothesis setting unit 18 calculates a position where the selected pixel is extrapolated to the time k at the average speed based on the average speed calculated in step ST1102 (step ST1103).
  • the position where the selected pixel is extrapolated at time k to the average speed is referred to as an extrapolation position.
  • the moving direction hypothesis setting unit 18 assumes the extrapolated position (x e , y e ) and the moving object travels straight at a constant speed from time k ⁇ i to time k, and the following equations (11) and (12 ).
  • T k ⁇ i, k represents the elapsed time between frames from time k ⁇ i to time k.
  • constant-velocity linear motion is assumed as the motion model of the moving object.
  • another motion model such as constant-acceleration linear motion is assumed.
  • the insertion position may be calculated.
  • the moving direction hypothesis setting unit 18 calculates the residual between the extrapolated position calculated in step ST1103 and the gravity center position of the moving object (step ST1104).
  • the moving direction hypothesis setting unit 18 uses the extrapolated position (x e , y e ) calculated from the pixel velocity data at time k ⁇ i and the center of gravity position (x d , y d ) of the moving object in the object position data at time k. Is calculated by the following equation (13).
  • t in the upper right of the matrix represents transposition of the matrix
  • ⁇ 1” in the upper right of the matrix represents the inverse matrix.
  • ⁇ x 2 , ⁇ y 2 , and ⁇ xy 2 are parameters representing the magnitude of fluctuation related to the residual between the extrapolated position and the center of gravity of the moving object
  • ⁇ x 2 is the variance of the x-axis component
  • ⁇ y 2 represents the variance of the y-axis component
  • ⁇ xy 2 represents the covariance of the x component and the y component.
  • the moving direction hypothesis setting unit 18 determines whether or not the residual ⁇ r calculated in step ST1104 is minimum compared to other residuals already calculated in the loop processing of steps ST1101 to ST1107 ( Step ST1105).
  • step ST1105 When it is determined in step ST1105 that it is not minimum compared to other residuals, that is, when the residual calculated in the immediately preceding step ST1104 is not temporarily minimum (in the case of “NO” in step ST1105), the process of step ST1106 is skipped and the process proceeds to step ST1107.
  • step ST1105 When it is determined in step ST1105 that it is minimum compared to other residuals, that is, when the residual calculated in the immediately preceding step ST1104 is provisionally minimum (in the case of “YES” in step ST1105),
  • the moving direction hypothesis setting unit 18 sets the average velocity v m calculated in step ST1102 as the velocity hypothesis v u of the moving object whose center of gravity position at time k is (x d , y d ) (step ST1106). Note that if another value already been set as a speed hypothesis in the loop processing in steps ST1101 ⁇ step ST 1107, the moving direction hypothesis setting unit 18 replaces the average velocity v m calculated in step ST1102 as the new average speed.
  • the moving direction hypothesis setting unit 18 determines whether or not all the pixels in the pixel velocity data at the time ki have been selected (step ST1107).
  • step ST1107 If it is determined in step ST1107 that all pixels are not selected (in the case of “NO” in step ST1107), the process returns to step ST1101, and the subsequent processing is repeated.
  • step ST1107 If it is determined in step ST1107 that all the pixels have been selected (in the case of “YES” in step ST1107), the processing in FIG. 11 ends.
  • the speed hypothesis of the moving object is set based on the pixel speed data at the time ki.
  • the average hypothesis, extrapolation position, and residual with the center of gravity of the moving object are calculated for all the pixels in the pixel velocity data at time ki, and the velocity hypothesis is set.
  • the processing load may be reduced by limiting the pixels to be selected from the assumed maximum speed of the moving object.
  • the pixel movement direction data creation unit 14 calculates the velocity in the x-axis and y-axis directions.
  • the pixel movement direction data creation unit 14 calculates only the movement direction. For example, based on a parameter representing a typical moving speed of a pedestrian set in advance, the estimated moving direction may be converted into speeds in the x-axis and y-axis directions and processed in the same manner.
  • the pixel movement direction data creation unit 14 calculates the velocity in the x-axis and y-axis directions as an example of the physical quantity representing the movement direction of the object, but the purpose is to estimate only the movement direction of each moving object. In, it is not always necessary to calculate the speed. For example, a vector having a constant size representing only the moving direction or an azimuth angle representing the moving direction may be calculated.
  • the object speed hypothesis set by the movement direction hypothesis setting unit 18 is also referred to as a movement direction hypothesis.
  • the control unit (not shown) of moving object detection device 100a determines whether variable i is greater than or equal to parameter N (step ST905).
  • the parameter N represents the number of past time frames to be referred to when setting the speed hypothesis.
  • the parameter N is set to the maximum value of the number of time frames in which it is appropriate to assume that the target motion is straight ahead at a constant speed between time k-N and time k.
  • Step ST905 when it is determined that the variable i is less than the parameter N (in the case of “NO” in Step ST905), the moving direction hypothesis setting unit 18 adds 1 to the variable i (Step ST906), and returns to Step ST903.
  • step ST905 When it is determined in step ST905 that the variable i is equal to or greater than the parameter N (in the case of “YES” in step ST905), the control unit of the moving object detection device 100a initializes the variable j (step ST907).
  • the initial value of the variable j is 1. That is, the control unit substitutes 1 for the variable j.
  • the control unit outputs information indicating that the variable j has been initialized to the video acquisition sensor processing unit 102.
  • the video acquisition sensor processing unit 102 creates pixel velocity data at time k + j from the videos of a plurality of time frames acquired by the video acquisition sensor 300 (step ST908).
  • a specific method for creating pixel velocity data is the same as that in step ST602 of FIG. 6 described in the first embodiment.
  • the pixel movement direction data creation unit 14 of the video acquisition sensor processing unit 102 outputs the pixel velocity data at time k + j to the movement direction hypothesis setting unit 18 and the movement direction determination unit 19.
  • the moving direction determination unit 19 uses the pixel velocity data at time k + j acquired in step ST908, and the likelihood of each velocity hypothesis for the plurality of moving velocity hypotheses set by the moving direction hypothesis setting unit 18 in step ST904. Is updated (step ST909).
  • the value representing the likelihood of the moving object's speed hypothesis is called the speed hypothesis likelihood.
  • the likelihood of each speed hypothesis is sequentially updated in the loop processing relating to the variable j in steps ST908 to ST911.
  • the likelihood L i, k + j updated by the pixel speed data at time k + j also includes the likelihood L i, k + j ⁇ 1 calculated by the loop processing of the previous variable j. And calculated.
  • the moving direction determination unit 19 calculates object position estimated values 66a to 66c at time k + 1 and object position estimated values 68a to 68c at time k + 2 based on each speed hypothesis with respect to the center of gravity position 61 of the moving object at time k. To do.
  • the moving direction determination unit 19 extracts the pixel velocities 67a to 67c and 69a to 69c at time k + 1 and time k + 2 within the object size 63 centered on each estimated object position value from the pixel velocity data at time k + 1 and time k + 2. To do. Then, the moving direction determination unit 19 calculates the likelihood of the speed hypothesis from the difference between the speed hypothesis and the pixel speed within the object size 63 in each time frame. The likelihood represents the degree of matching between the speed hypothesis set from the pixel speed before time k and the pixel speed after time k + 1, and the pixels in the speed hypothesis and the object size 63 are passed through each time frame after time k + 1. The smaller the difference from the speed, the higher the value.
  • the velocity hypothesis v 1 and the pixel rate 67a near the object position estimate 66a, the difference between the pixel rate 69a of the peripheral object position estimates 68a, compared to the rest of the velocity hypothesis v 0, v 2 Therefore, the likelihood of the speed hypothesis v 1 is larger than the likelihoods of the speed hypotheses v 0 and v 2 .
  • FIG. 13 is a flowchart for describing detailed operation of step ST909 of FIG.
  • the center of gravity position of a certain moving object as a target is (x d , y d )
  • x d is the x-axis position of the center of gravity of the moving object
  • y d is the y-axis position of the center of gravity of the moving object
  • v u, x and v u, y are the x-axis direction component, y-axis direction component of the estimated speed, To do.
  • xd may be the center of the observation range 54 of the distance measurement sensor 200.
  • the pixel velocity data at time k + j is represented as V k + j, x (x q , y q ) and V k + j, y (x q , y q ).
  • x q and y q represent the x-axis center position and the y-axis center position of the q-th pixel
  • x (x q , y q ) represents the x-axis direction component of the pixel velocity
  • y Let (x q , y q ) represent the y-axis direction component of the pixel velocity. Note that the total number of pixels is N p .
  • Moving direction determination unit 19 the center of gravity of the moving object at time k (x d, y d) and the velocity hypothesis v u from, the object position estimate at time k + j on the velocity hypothesis v u (x e, k + j, y e, k + j ) is calculated (step ST1301).
  • the moving direction determination unit 19 assumes that the object position estimated value (x e, k + j , y e, k + j ) is traveling at a constant speed straight from time k to time k + j, and the following equations (15) and (15) Calculate from (16).
  • T k, k + j represents the elapsed time between frames from time k to time k + j.
  • a constant velocity linear motion is assumed as the motion model of the moving object.
  • the moving direction determination unit 19 is different depending on the type of the moving object, such as a constant acceleration linear motion, for example.
  • the extrapolation position may be calculated assuming the following motion model.
  • v m, k + j, x , v m, k + j, y are the x-axis direction component and y-axis direction component of the average speed.
  • W (x q , y q ; x e, k + j , y e, k + j ) is a function representing the object size 63, and for an arbitrary (x e, k + j , y e, k + j ), This is a function that satisfies the equation (19).
  • the circular object size 63 is defined around (x e, k + j , y e, k + j ), it is defined as the following equation (20).
  • R is a parameter representing the radius of the object size 63
  • n (R) is the number of pixels (x q ′ , y q ′ ) that satisfy the following expression (21).
  • the size of the object size 63 is changed or the shape is changed to an ellipse or a rectangle according to the type of the moving object to be assumed, the error of the pixel velocity data in the image acquisition sensor 300, and the error of the object position data of the distance measuring sensor 200. You may make it.
  • the object size 63 may represent the average size of the pedestrian looking down from above.
  • the function W (x q , y q ; x e, k + j , y e is used so as to perform weighted averaging within the object size 63.
  • K + j may have a slope.
  • the likelihood L u, k + j of the speed hypothesis v u at time k + j is calculated from the following equation (22).
  • the velocity hypotheses v u , v m and k + j are vertical vectors represented by the following equations (23) and (24).
  • S k + j is a 2-by-2 parameter representing the residual covariance matrix of v u ⁇ v m, k + j .
  • the above likelihood L u, k + j is a value based on a model in which the average velocity v m, k + j is obtained by adding white Gaussian noise to the true velocity of the moving object, and the error distribution of the average velocity is colored non-Gaussian.
  • a model for noise may be used.
  • Movement direction determination unit 19 determines whether or not the hypothesis likelihood at time k + j has been updated for all speed hypotheses (step ST1304). If it is determined in step ST1304 that the hypothesis likelihood at time k + 1 is not updated for all speed hypotheses (in the case of “NO” in step ST1304), the process returns to step ST1301, and the subsequent processing is repeated.
  • step ST1304 If it is determined in step ST1304 that the hypothesis likelihood at time k + 1 has been updated for all speed hypotheses (in the case of “YES” in step ST1304), the processing in FIG. 13 ends.
  • the moving direction determination unit 19 updates the value representing the likelihood of each speed hypothesis of the moving object based on the pixel velocity data at time k + j.
  • the control unit determines whether variable j is greater than or equal to parameter M (step ST910).
  • the parameter M represents the number of time frames used for calculating the likelihood of the speed hypothesis.
  • a maximum value of the number of time frames in which it is appropriate to assume that the target motion goes straight at a constant speed between time k and time k + M is set in advance.
  • step ST910 when the variable j is less than the parameter M (in the case of “NO” in step ST910), the moving direction determination unit 19 adds 1 to the variable j (step ST911), and returns to step ST908.
  • step ST910 when the variable j is greater than or equal to the parameter M (in the case of “YES” in step ST910), the moving direction determination unit 19 calculates each speed hypothesis from the likelihood of each speed hypothesis calculated and updated in step ST909.
  • V k: k + M ) is calculated from the following equation (26) with respect to N H is the number of velocity hypotheses.
  • P (H u) denotes the prior probability of rate hypotheses v u, a parameter to be set for each speed hypothesis v u.
  • P (H u ) the residual ⁇ r related to the equation (14) when setting the speed hypothesis v u , the magnitude of the value of v 1 , and the light source and background in the video obtained from the pixel speed data Set by color.
  • all speed hypotheses may be considered equally likely at the set time, and P (H u ) may be a constant.
  • the moving direction determination unit 19 determines the speed hypothesis v u having the maximum posterior probability as the estimated speed of the moving object from the posterior probabilities P (H 1
  • the moving direction determination unit 19 determines whether or not the estimated speed has been determined for all moving objects among one or more moving objects specified by the object position data at time k (step ST914). In step ST914, when the estimated speed has not been determined for all moving objects (in the case of “NO” in step ST914), the process returns to step ST902. When the estimated speed is determined for all moving objects in step ST914 (in the case of “YES” in step ST914), the moving direction determining unit 19 determines the moving speed of the moving object determined in step ST913 and the gravity center position. Is output to the display unit 16 and the recording unit 17 (step ST915).
  • the object position data creation unit 12 estimates the number of moving objects. However, it is assumed that the object position data includes erroneous data including unnecessary data other than stationary objects and real objects.
  • the direction determining unit 19 may reject unnecessary data based on the estimated speed. For example, if the estimated speed is less than the threshold value, it may be excluded from the number of moving objects as stationary objects. That is, the number of moving objects calculated by the object position data creation unit 12 may be used as a temporary moving object number, and the final moving object number may be estimated by the moving direction determination unit 19.
  • the fusion processing unit 103 sets the moving object speed hypothesis from the pixel speed data before time k and determines the speed of the moving object based on the pixel speed data after time k + 1. This is not the only way to choose a frame.
  • the fusion processing unit 103 may set a speed hypothesis based on pixel speed data after time k + 1 and may determine a moving speed of the moving object from the speed hypothesis based on pixel speed data before time k.
  • the moving speed of the moving object is estimated from the pixel speeds of a plurality of time frames, in the pixel speed data calculated from the video acquisition sensor 300, the moving object periphery Even if the pixel speed of the image can temporarily differ greatly from the true object moving speed, the number, position, and number of moving objects by one distance measuring sensor and one image acquisition sensor installed at one detection location. And the moving speed including a moving direction can be estimated. This effect is effective, for example, when estimating the moving speed including the number, position, and moving direction of moving objects at night.
  • the image acquisition sensor 300 such as a camera has a characteristic that the luminance of each pixel is more likely to fluctuate due to noise in the sensor in an environment where the illuminance of the light source is low such as at night or in a dark place.
  • the pixel velocity data tends to have a value deviating from the true velocity of the moving object.
  • a candidate moving speed candidate value is set based on pixel speed data of a plurality of time frames, and each candidate value is compared to estimate a likely moving speed. Therefore, the probability that an erroneous moving speed is estimated can be reduced.
  • the image acquisition sensor 300 having a smaller luminance intensity fluctuation due to noise in a low illumination environment generally has a more complicated manufacturing process, and thus the cost of the image acquisition sensor 300 is higher. Therefore, according to the second embodiment, it is epoch-making in that the same accuracy can be realized at a lower cost as compared with the method using the image acquisition sensor 300 which is not easily affected by noise in a low illumination environment.
  • the above effect is also effective when, for example, a pedestrian is targeted as a type of moving object.
  • Pedestrians tend to irregularly change the brightness of the object surface on the image as compared to inorganic materials such as vehicles due to movements of limbs and body orientation. Therefore, for example, when the pedestrian changes the orientation of the face, the pixel speed data tends to be a value that greatly differs from the moving speed of the object.
  • the pixel speed at the time when the pixel speed data temporarily becomes unstable is rejected as being inconsistent with the pixel speed data of a plurality of time frames. Even when the luminance distribution of the image changes irregularly, the probability that an erroneous moving speed is estimated can be reduced.
  • the luminance distribution is more diverse than inorganic materials such as vehicles. Therefore, it is difficult in principle to select an environment in which the background and the pedestrian are not likely to be confused, and as a result, the pixel velocity data is the pedestrian movement speed in the time frame when the background luminance is the same as the pedestrian luminance. And can be very different values.
  • the speed hypothesis set from the pixel speed data of the time frame that is likely to be confused with the background is rejected as a hypothesis having low consistency with other time frames. Therefore, even when the pedestrian and the background are easily confused temporarily, the probability that an erroneous moving speed is estimated can be reduced.
  • the above effect is also effective when there is a large bias in the luminance distribution on the image, for example, when the outdoor environment during clear weather or when the background includes a light source. If there is a large deviation in the luminance distribution on the image, such as the sun and shade in the outdoors, the continuity of the luminance distribution, which is the premise for calculating the pixel velocity, does not hold, so the pixel velocity data around the moving object Can take values that differ greatly from speed.
  • the velocity hypothesis estimated from the pixel velocity data of the time frame when the moving object passes through the region where the luminance distribution is greatly biased is a hypothesis that the consistency with the pixel velocity of other time frames is low. Therefore, even when the luminance distribution is largely biased, it is possible to reduce the probability that an erroneous moving speed is estimated.
  • Embodiment 3 the number, position, and moving direction of the moving object are included from the barycentric position of the moving object based on the distance measurement information of the distance measuring sensor 200 and the pixel velocity based on the image of the image acquisition sensor 300. The movement speed was estimated.
  • the third embodiment based on the distance measurement information of the distance measuring sensor 200, data relating to the height of the moving object from the ground surface and the width of the moving object is created as attribute data of the moving object. A form is demonstrated.
  • FIG. 14 is a configuration diagram of a moving object detection device 100b according to Embodiment 3 of the present invention.
  • the moving object detection device 100b according to the third embodiment of the present invention is different from the moving object detection device 100 according to the first embodiment in that the distance measuring sensor processing unit 101 includes the object height data generation unit 20 and the object width data generation. The only difference is that the unit 21 is further provided, and the fusion processing unit 103 is further provided with the object attribute determination unit 22.
  • the object height data creation unit 20 acquires distance measurement information in a plurality of time frames from the distance measurement data acquisition unit 11, and creates data in which the height of the moving object from the ground surface is estimated.
  • data obtained by estimating the height of the moving object from the ground surface is referred to as object height data.
  • the object height data creation unit 20 outputs the created object height data to the object attribute determination unit 22.
  • the moving object in the object height data is associated with the moving object of the object position data created by the object position data creating unit 12, and the correspondence can be referred to from the object height data.
  • the object width data creation unit 21 obtains distance measurement information in a plurality of time frames from the distance measurement data obtaining unit 11, and creates data in which the widths of the moving object in the x-axis direction and the y-axis direction are estimated.
  • data in which the width of the moving object in the x-axis direction and the y-axis direction is estimated is referred to as object width data.
  • the object width data creation unit 21 outputs the created object width data to the object attribute determination unit 22.
  • the moving object in the object width data is associated with the moving object in the object position data created by the object position data creating unit 12, and the correspondence can be referred to from the object width data.
  • the object attribute determination unit 22 acquires the position and moving speed data of the moving object from the position movement direction correlation unit 15, the object height data from the object height data creation unit 20, and the object width data from the object width data creation unit 21.
  • the attribute of the moving object is determined based on the acquired data.
  • the object attribute determination unit 22 outputs data representing the position, moving speed, and attribute of the moving object to the display unit 16 and the recording unit 17.
  • data representing the position, moving speed, and attribute of the moving object output from the object attribute determination unit 22 is referred to as attributed fusion data.
  • FIG. 15 is a flowchart for explaining the operation of the moving object detection device 100b according to the third embodiment of the present invention.
  • the moving speed and the attribute are estimated for a moving object whose center of gravity has passed the observation range 54 of the distance measuring sensor 200 at time k.
  • the distance measurement data acquisition unit 11 and the object position data creation unit 12 of the distance measurement sensor processing unit 101 have the center of gravity position of the distance measurement sensor 200 at the time k based on the distance measurement information of the plurality of time frames acquired by the distance measurement sensor 200.
  • a moving object that has passed through the observation range 54 is extracted, and object position data at time k is created (step ST1501).
  • the specific operation is the same as step ST601 in FIG. 6 described in the first embodiment.
  • the object position data creation unit 12 outputs the created object position data to the position movement direction correlation unit 15.
  • the object height data creation unit 20 of the ranging sensor processing unit 101 acquires ranging information of a plurality of time frames acquired by the ranging sensor 200 from the ranging data acquisition unit 11, and the center of gravity position is measured at time k. For a moving object that has passed through the observation range 54 of the sensor 200, the height of the moving object from the ground surface is calculated, and object height data at time k is created (step ST1502).
  • the object height data creation unit 20 uses, for example, the method disclosed in Japanese Patent Application Laid-Open No. 2011-108223 described above as a method of calculating the height of the moving object from the distance measurement information of each time frame.
  • ranging information of each moving object in the observation range 54 is divided in the height direction, and a range in which the object is detected at each height is calculated. For example, the height of a pedestrian is calculated. In this case, the maximum height at which the pedestrian is detected can be calculated as the pedestrian height.
  • the object height data creation unit 20 outputs the created object height data to the object attribute determination unit 22.
  • the object width data creation unit 21 of the ranging sensor processing unit 101 acquires ranging information of a plurality of time frames acquired by the ranging sensor 200 from the ranging data acquisition unit 11, and the center of gravity position at the time k is the ranging sensor. For a moving object that has passed 200 observation ranges 54, the widths of the moving object in the x and y directions are calculated, and object width data at time k is created (step ST1503).
  • the object width data creation unit 21 uses, for example, the method disclosed in Japanese Patent Application Laid-Open No. 2011-108223 described above as a method of calculating the width of the moving object from the distance measurement information of each time frame.
  • This method divides the ranging information of each moving object in the observation range 54 in the distance direction, and calculates the width of the pedestrian's body from the maximum value and the minimum value in the distance direction in which the moving object is detected in each distance direction. can do. Further, the width in the direction perpendicular to the distance direction can be calculated from the time when the moving object is continuously detected.
  • the object width data creation unit 21 outputs the created object width data to the object attribute determination unit 22.
  • the video acquisition sensor processing unit 102 creates pixel velocity data at time k from the videos of a plurality of time frames acquired by the video acquisition sensor 300 (step ST1504).
  • a specific method for creating pixel velocity data is the same as that in step ST602 of FIG. 6 described in the first embodiment.
  • the pixel movement direction data creation unit 14 of the video acquisition sensor processing unit 102 outputs the pixel velocity data at time k to the position movement direction correlation unit 15.
  • the position movement direction correlation unit 15 uses the object position data at time k output from the object position data generation unit 12 in step ST1501 and the pixel velocity data at time k output from the pixel movement direction data generation unit 14 in step ST1504. Then, the estimated speed is estimated for the moving object specified by the object position data at time k, and fusion data at time k related to the moving object is created (step ST1505). The specific operation is the same as step ST603 in FIG. 6 described in the first embodiment.
  • the position movement direction correlation unit 15 outputs the created fusion data to the object attribute determination unit 22.
  • the object attribute determination unit 22 includes the object height data at time k created by the object height data creation unit 20 at step ST1502, the object width data at time k created by the object width data creation unit 21 at step ST1503, and the step Based on the center of gravity position and the estimated speed of the moving object included in the fusion data at time k created by the position movement direction correlation unit 15 in ST1505, the attribute of the moving object, that is, the shape attribute is determined (step ST1506).
  • the object attribute determination unit 22 determines that the moving object has the shape attribute “child”. Information necessary for determining shape attributes such as average adult height, typical adult body width, and general walking speed information is set in advance and can be referred to by the object attribute determination unit 22 It is assumed that it is stored in a different place.
  • the object attribute determination unit 22 determines that the mobile object has the shape attribute “wheelchair user”.
  • the present invention is not limited to this, determination of vehicle types for vehicles, determination of models for aircraft, determination of ship types for ships, You may use for the determination etc. of the seed
  • the object attribute determination unit 22 determines whether or not the estimated speed and shape attribute have been estimated for all of the one or more moving objects specified by the object position data at time k (step ST1507). In step ST1507, when the estimated speed and the shape attribute are not estimated for all of one or more moving objects specified by the object position data at time k (in the case of “NO” in step ST1507), step Return to ST1505.
  • step ST1507 when the estimated speed and shape attribute are estimated for all of the one or more moving objects specified by the object position data at time k (in the case of “YES” in step ST1507), the object attribute The determination unit 22 determines the relative position of each moving object from the position, estimated speed, and shape attribute of each moving object at time k estimated in Steps ST1505 to ST1506 and the fusion data in a time frame other than time k.
  • the attribute of the moving object based on the speed is determined (step ST1508).
  • the attribute determined in step ST1508 is referred to as a group attribute.
  • the object attribute determining unit 22 determines that the moving object at the corresponding time k has the group attribute “one of group pedestrians”. .
  • the group attribute of the moving object with the corresponding shape attribute “children” is set to “children with parents”, and the group attribute of the moving object with the corresponding shape attribute “non-children” is set to “children with children”.
  • “Guardian of”. In the above, an example for pedestrians has been given. However, the present invention is not limited to this, but it is not limited to determination of traffic jams for vehicles, determination of formations for aircraft, determination of fleets for ships, animals You may use for the judgment etc. of the flock for the object.
  • the object attribute determination unit 22 determines the position and moving speed of the moving object estimated in step ST1505, the shape attribute of the moving object determined in step ST1506, and the group attribute of the moving object determined in step ST1508.
  • the data is output to the display unit 16 and the recording unit 17 as attached fusion data.
  • the movement direction hypothesis setting unit 18 and the movement direction determination unit 19 described in Embodiment 2 estimate the number, position, and movement speed of moving objects. Also good.
  • the object attribute determination unit 22 determines the shape attribute and group attribute of the moving object based on the output of the movement direction determination unit 19.
  • the distance measurement information of the distance measurement sensor 200 the position and movement speed of the moving object based on the image information of the image acquisition sensor 300, and the distance measurement of the distance measurement sensor 200. Since the attribute of the moving object is determined using the height and width of the moving object calculated from the information, when the resolution of the image acquisition sensor 300 is low or the contour of the moving object is low on the image acquisition sensor due to low illuminance. Even in the case of unclearness, it is possible to determine an attribute useful for analyzing a moving object. Such a configuration is effective, for example, when estimating the proportion of children in pedestrians and the proportion of pedestrians acting as a group.
  • the age structure of pedestrians or the presence or absence of group pedestrians that cause congestion is useful information in security systems, event management, market analysis, etc.
  • each moving object obtained by fusing the height and width of the moving object acquired by the distance measuring sensor 200 and the observation results of the distance measuring sensor 200 and the image acquisition sensor 300 can be reduced.
  • the distance measuring sensor 200 can also observe the shape of the moving object in the depth direction, the probability of making an erroneous determination in attribute determination based on the position and speed of the moving object can be reduced compared to the image acquisition sensor 300.
  • the moving object detection device 100 is configured as shown in FIG. 4, but the moving object detection device 100 includes the object position data creation unit 12, the pixel movement direction data creation unit 14, and the like.
  • the position movement direction correlation unit 15 By providing the position movement direction correlation unit 15, the above-described effects can be obtained.
  • the invention of the present application can be freely combined with each embodiment, modified with any component in each embodiment, or omitted with any component in each embodiment. .
  • the moving object detection device is configured so that the number, position, and moving direction of moving objects can be accurately estimated by one camera and one laser sensor installed at one place.
  • the present invention can be applied to a moving object detection device that estimates the moving speed including the number, position, and moving direction of moving objects such as pedestrians.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

測距センサ（２００）で測定された測距情報に基づき、移動物体の位置座標を算出する物体位置データ作成部（１２）と、映像取得センサ（３００）で撮影された映像情報に基づき、映像上の領域それぞれの推定移動方向を算出する画素移動方向データ作成部（１４）と、位置座標および推定移動方向に基づき、移動物体の個数および移動方向を推定する位置移動方向相関部（１５）とを備えた。

Description

移動物体検出装置
　この発明は、移動物体の個数、位置、および、移動方向を含む移動速度等を推定する移動物体検出装置に関するものである。
　従来より、各種のセンサを用い、センサ観測範囲内の歩行者等の移動物体について個数、位置、あるいは、移動方向を推定する技術が知られている。
　移動物体の個数、位置、あるいは、移動方向を推定するには、例えば、複数のカメラによって通路を通過する物体を観測し、各カメラが撮影した画像上における移動物体の画像のずれを基に、個数、位置等を推定する方法がある。
　しかしながら、このように、複数のカメラによって移動物体の個数、位置等を推定する方法では、低解像度のカメラを利用した場合に推定精度が著しく劣化してしまう。また、例えば、夜間に可視光カメラを用いる場合等、移動物体による光の反射強度が低い場合は、画像から移動物体の形状が正しく得られず、推定精度が著しく劣化する。また、例えば、歩行者が顔の向きを変える等、移動物体の形状が時間的に変化する場合も、推定精度が劣化する。
　移動物体の個数、位置、あるいは、移動方向を推定する他の方法として、例えば、複数のレーザセンサによって物体を観測し、各レーザセンサの観測情報を同一座標上に統合することで、移動物体の個数、位置等を推定する方法がある。
　このように複数のレーザセンサを用いて移動物体を検出する方法では、移動物体の移動方向を推定するために、時刻フレーム当たりの移動物体の移動範囲に比べ十分に広い範囲がレーザセンサによって観測されることを前提としている。しかし、レーザ光を投光するレーザセンサは、カメラに比べ単位時間当たりの観測可能範囲が狭いため、レーザセンサの台数が少ないほど観測範囲が狭まり、結果として移動方向の推定精度が著しく劣化する。
　上述したような問題に関し、特許文献１には、通路上にスリット光を照射するレーザと、スリット光の反射光を観測する撮像装置とを用いて、人物がスリット光の照射位置を通過した際の輝度変化から人物の数、位置、あるいは、進行方向を推定する技術が開示されている。
　特許文献１に開示された技術では、１つの撮像装置と、当該撮像装置の近傍に配置された１つのレーザとを用いた場合には、通路における人物の通過数を計数することができる。また、１つの撮像装置と、当該撮像装置の近傍の複数箇所に配置されたレーザとを用いた場合には、人物の進行の向きごとに通過数を計数することができる。
特開２００５－２５５９３号公報
　歩行者等の移動物体の流れを観測することが必要となる範囲は、広域にわたることがあるため、移動方向検出装置は低コストであることが望ましい。
　特許文献１に開示されているような技術によると、移動物体の移動方向ごとの個数等を推定するためには、レーザを、少なくとも２箇所に配置することが必要となるという課題があった。
　この発明は上記のような課題を解決するためになされたもので、１箇所に設置された１台のカメラと１台のレーザセンサとによって、移動物体の個数、位置、移動方向を精度よく推定することができる移動物体検出装置を提供することを目的とする。
　この発明に係る移動物体検出装置は、測距センサで測定された測距情報に基づき、移動物体の位置座標を算出する物体位置データ作成部と、映像取得センサで撮影された映像情報に基づき、映像上の領域それぞれの推定移動方向を算出する画素移動方向データ作成部と、位置座標および推定移動方向に基づき、移動物体の個数および移動方向を推定する位置移動方向相関部とを備えたものである。
　この発明によれば、１箇所に設置された１台のカメラと１台のレーザセンサとによって、移動物体の個数、位置、および、移動方向を含む移動速度を精度よく推定することができる。
この発明の実施の形態１に係る移動物体検出装置を備えた移動物体検出システムの構成図である。 この実施の形態１における、測距センサと映像取得センサの設置状況、および、測距センサと映像取得センサの観測条件の一例を説明するための図である。 この実施の形態１における、測距センサと映像取得センサの設置状況、および、測距センサと映像取得センサの観測条件の一例を説明するための図であり、図２を、ｚ軸の正方向から見た俯瞰図である。 この発明の実施の形態１に係る移動物体検出装置の構成図である。 図５Ａ，図５Ｂは、この発明の実施の形態１に係る移動物体検出装置のハードウェア構成の一例を示す図である。 この発明の実施の形態１に係る移動物体検出装置の動作を説明するフローチャートである。 図６のステップＳＴ６０３における移動物体の速度推定動作を説明する概念図である。 この発明の実施の形態２に係る移動物体検出装置の構成図である。 この発明の実施の形態２に係る移動物体検出装置の動作を説明するフローチャートである。 ｉ＝１の場合を例として、図９のステップＳＴ９０４における、移動方向仮説設定部による速度仮説の設定の動作を表した概念図である。 図９のステップＳＴ９０４の動作を詳細に説明するフローチャートである。 ｊ＝１およびｊ＝２の場合を例として、図９のステップＳＴ９０９における、移動方向決定部による速度仮説ｖ０、ｖ１、ｖ２の尤度の更新の動作を表した概念図である。 図９のステップＳＴ９０９の詳細な動作について説明するフローチャートである。 この発明の実施の形態３に係る移動物体検出装置の構成図である。 この発明の実施の形態３に係る移動物体検出装置の動作を説明するフローチャートである。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　以下の説明においては、一例として、この発明の実施の形態１に係る移動物体検出装置１００を、１方向に延びた通路を移動する歩行者を検出対象として、適用したものとする。すなわち、ここでは、移動物体として歩行者を検出するものとして、以下説明する。
　図１は、この発明の実施の形態１に係る移動物体検出装置１００を備えた移動物体検出システムの構成図である。
　図１に示すように、移動物体検出システムにおいて、移動物体検出装置１００は、測距センサ２００および映像取得センサ３００と、ネットワークを介して接続される。
　測距センサ２００は、例えば、レーザ測距計、レーダ、超音波センサ、アクティブステレオセンサ等であり、映像取得センサ３００が撮影した画像の１時刻フレーム内を走査し、測距データを取得する。
　映像取得センサ３００は、可視光カメラ、赤外線カメラ等であり、歩行者を検出する通路を見下ろすように設置され、通路を撮影する。
　移動物体検出装置１００は、測距センサ２００から取得した時刻フレームにおける測距センサ観測範囲の測距情報と、映像取得センサ３００から取得した時刻フレームにおける映像取得センサ観測範囲内の映像とに基づき、通路を移動する歩行者の位置、移動方向を含む移動速度等を推定する。
　なお、１つの測距センサ２００と１つの映像取得センサ３００とが１セットになっており、１つの移動物体検出対象領域に対して、当該１セットの測距センサ２００および映像取得センサ３００が設置される。
　また、上記１つの測距センサ２００と１つの映像取得センサ３００とからなるセットが複数、１台の移動物体検出装置１００にネットワークを介して接続され、移動物体検出装置１００は、１つの測距センサ２００と１つの映像取得センサ３００とからなる１セットごとに、通路を移動する歩行者の位置、移動速度等を推定する処理を実施することができる。具体的な処理内容については後述する。
　図２，図３は、この実施の形態１における、測距センサ２００と映像取得センサ３００の設置状況、および、測距センサ２００と映像取得センサ３００の観測条件の一例を説明するための図である。なお、図３は、図２を、ｚ軸の正方向から見た俯瞰図である。
　図２，図３において、ｘ軸方向は通路の延伸方向、ｚ軸方向は地面と垂直な方向、ｙ軸方向は通路の延伸方向と垂直かつ地面と平行な方向とし、ｘ軸、ｙ軸、ｚ軸の正方向は右手系の直交座標系とする。
　図２，図３に示すように、映像取得センサ３００および測距センサ２００は通路を見下ろすように設置される。
　映像取得センサ３００は、予め設定された視野角で通路の映像を取得するものであり、映像取得センサ３００の設置位置から通路上のｘｙ平面へ射影した範囲を、映像取得センサ３００の観測範囲５３とする。
　測距センサ２００は、１時刻フレーム内にｙ軸方向を少なくとも１回走査し、測距データを取得するものであり、測距センサ２００の設置位置からｙ軸に平行なｘｙ平面上の１次元ラインへ射影した範囲を測距センサ２００の観測範囲５４とする。
　映像取得センサ３００の観測範囲５３と、測距センサ２００の観測範囲５４は、一部が重複しており、測距センサ２００の観測範囲５４のｘ軸方向の幅は、映像取得センサ３００の観測範囲５３のｘ軸方向の幅に比べて十分に狭い。
　なお測距センサ２００の観測範囲である１次元ラインは、観測環境に応じて選択可能としてもよい。例えば、測距センサ２００は複数の１次元ラインを観測し、各１次元ラインの中から障害物等によって遮られる可能性が低い１次元ラインを観測範囲として選択するとしてもよい。
　図４は、この発明の実施の形態１に係る移動物体検出装置１００の構成図である。
　図４に示すように、移動物体検出装置１００は、測距データ取得部１１と、物体位置データ作成部１２と、映像取得部１３と、画素移動方向データ作成部１４と、位置移動方向相関部１５と、表示部１６と、記録部１７とを備える。
　測距データ取得部１１と物体位置データ作成部１２とは、測距センサ処理部１０１を構成し、映像取得部１３と画素移動方向データ作成部１４とは、映像取得センサ処理部１０２を構成し、位置移動方向相関部１５は、融合処理部１０３を構成する。
　測距データ取得部１１、測距センサ２００に命令を送り、測距センサ２００から最新時刻フレームにおける測距センサ観測範囲の測距情報を取得する。測距データ取得部１１は、取得した測距情報を、物体位置データ作成部１２に出力する。
　物体位置データ作成部１２は、測距データ取得部１１から取得した複数の時刻フレームにおける測距情報に基づき、移動物体の重心位置が測距センサ２００の観測範囲５４を通過した時刻フレームを特定する。また、物体位置データ作成部１２は、測距データ取得部１１から取得した複数の時刻フレームから、移動物体のｘ軸およびｙ軸方向の重心位置を算出して、当該重心位置を表す物体位置データを作成する。
　物体位置データ作成部１２は、移動物体の重心が通過した時刻フレーム、すなわち、移動物体の測距センサ２００の観測範囲５４の通過時刻と、物体位置データを、位置移動方向相関部１５に出力する。
　なおここでは、移動物体の位置座標を表す物理量の一例として移動物体全体の重心位置を算出する装置としたが、重心位置の代わりに移動物体の一部に関する位置座標としてもよい。例えば、歩行者に対する両肩の位置や、自動車に対する車輪の位置としてもよい。
　映像取得部１３は、映像取得センサ３００に命令を送り、映像取得センサ３００から最新時刻フレームにおける映像取得センサ３００の観測範囲５３内の映像を取得する。映像取得部１３は、取得した映像を、画素移動方向データ作成部１４に出力する。
　画素移動方向データ作成部１４は、映像取得部１３から取得した複数の時刻フレームにおける映像に基づき、画素ごとのｘ軸およびｙ軸方向の推定速度を算出し、当該推定速度を表す画素速度データを、時刻フレームごとに作成する。画素移動方向データ作成部１４は、画素速度データを、位置移動方向相関部１５に出力する。
　なおここでは、映像上の領域ごとに推定速度を算出する装置の一例として、画素ごとに推定速度を算出する装置である画素移動方向データ作成部１４としたが、映像上の推定速度を算出する領域の選び方は、必ずしも１画素ごとである必要はない。例えば、縦１０画素、横１０画素の領域ごとに推定速度を算出することで、処理負荷を軽減させてもよい。
　またここでは、画素移動方向データ作成部１４は、物体の移動方向を表す物理量の一例としてｘ軸およびｙ軸方向の速度を算出することとしたが、各移動物体の移動方向のみを推定する目的においては、必ずしも速度を算出する必要はない。例えば、画素移動方向データ作成部１４は、移動方向のみを表す大きさ一定のベクトルや、移動方向を表す方位角を算出することとしてもよい。
　位置移動方向相関部１５は、物体位置データ作成部１２から出力された物体位置データと、画素移動方向データ作成部１４から出力された画素速度データを受け取り、物体位置データによって特定される移動物体の移動速度を推定する。
　位置移動方向相関部１５は、移動物体について、重心位置が測距センサ２００の観測範囲５４を通過した時刻、ｘ軸およびｙ軸上の重心位置、ｘ軸およびｙ軸方向の推定速度を表すデータを、表示部１６に表示させる。また、位置移動方向相関部１５は、移動物体ごとに、重心位置が測距センサ２００の観測範囲５４を通過した時刻、ｘ軸およびｙ軸上の重心位置、ｘ軸およびｙ軸方向の推定速度を表すデータを、記録部１７に記憶させる。
　ここでは、移動物体ごとの、重心位置が測距センサ２００の観測範囲５４を通過した時刻、ｘ軸およびｙ軸上の重心位置、ｘ軸およびｙ軸方向の推定速度を表すデータを合わせて、融合データという。
　表示部１６は、例えば、ディスプレイ等の表示装置であり、位置移動方向相関部１５から出力された融合データを表示する。
　記録部１７は、位置移動方向相関部１５から出力された融合データを記憶する。
　なお、ここでは、図４に示すように、表示部１６と記録部１７とは、移動物体検出装置１００が備えるものとしたが、これに限らず、表示部１６と記録部１７とを、移動物体検出装置１００の外部に備え、移動物体検出装置１００と表示部１６および記録部１７とが、ネットワークを介して接続されるようにしてもよい。
　図５Ａ，図５Ｂは、この発明の実施の形態１に係る移動物体検出装置１００のハードウェア構成の一例を示す図である。
　この発明の実施の形態１において、測距センサ処理部１０１と、映像取得センサ処理部１０２と、融合処理部１０３の各機能は、処理回路５０１により実現される。すなわち、移動物体検出装置１００は、取得した測距情報と映像情報とに基づき、移動物体の位置、速度等に関する情報を表示あるいは記憶させる制御を行うための処理回路５０１を備える。
　処理回路５０１は、図５Ａに示すように専用のハードウェアであっても、図５Ｂに示すようにメモリ５０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０７であってもよい。
　処理回路５０１が専用のハードウェアである場合、処理回路５０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路５０１がＣＰＵ５０７の場合、測距センサ処理部１０１と、映像取得センサ処理部１０２と、融合処理部１０３の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、測距センサ処理部１０１と、映像取得センサ処理部１０２と、融合処理部１０３は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）５０２、メモリ５０６等に記憶されたプログラムを実行するＣＰＵ５０７、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ５０２、メモリ５０６等に記憶されたプログラムは、測距センサ処理部１０１と、映像取得センサ処理部１０２と、融合処理部１０３の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ５０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、測距センサ処理部１０１と、映像取得センサ処理部１０２と、融合処理部１０３の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、測距センサ処理部１０１については専用のハードウェアとしての処理回路５０１でその機能を実現し、映像取得センサ処理部１０２と、融合処理部１０３については処理回路がメモリ５０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　表示部１６は、例えば、ディスプレイ５０３である。
　記録部１７は、例えば、ＨＤＤ５０２を使用する。なお、これは一例にすぎず、記録部１７は、ＤＶＤ、メモリ５０６等によって構成されるものであってもよい。
　また、移動物体検出装置１００は、測距センサ２００、映像取得センサ３００等の外部機器との通信を行う入力インタフェース装置５０４、出力インタフェース装置５０５を有する。例えば、測距センサ処理部１０１は、測距センサ２００が取得した測距情報を、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、イーサネット（登録商標。以下記載を省略する）等の入力インタフェース装置５０４を利用して取得する。また、例えば、映像取得センサ処理部１０２は、映像取得センサ３００が撮影した映像を、ＤＶＩ（Ｄｉｇｉｔａｌ　Ｖｉｓｕａｌ　Ｉｎｔｅｒｆａｃｅ、登録商標）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ、登録商標）、ＵＳＢ、イーサネット等の入力インタフェース装置５０４を利用して取得する。また、例えば、融合処理部１０３は移動物体の個数、位置、速度等の情報をＵＳＢ、イーサネット等の出力インタフェース装置５０５を利用してディスプレイ５０３に接続し出力する。
　この実施の形態１に係る移動物体検出装置１００の動作について説明する。
　図６は、この発明の実施の形態１に係る移動物体検出装置１００の動作を説明するフローチャートである。
　図６を用いて、観測開始からｋ（ｋは自然数）番目の時刻フレームにおいて、重心が測距センサ２００の観測範囲５４を通過した移動物体に対して、移動速度を推定する場合を例に、移動物体検出装置１００の動作を説明する。
　以下では、観測開始からｋ番目の時刻フレームを、時刻ｋと表記する。また、測距センサ２００および映像取得センサ３００の設置位置および観測範囲は予め設定されていて既知であるとし、測距センサ２００および映像取得センサ３００の観測時刻を計測するための時計は、測距センサ２００および映像取得センサ３００間で同期されているものとする。
　測距センサ処理部１０１は、測距センサ２００が取得した複数の時刻フレームの測距情報から、時刻ｋに重心位置が測距センサ２００の観測範囲５４を通過した移動物体を抽出し、時刻ｋの物体位置データを作成する（ステップＳＴ６０１）。具体的には、物体位置データ作成部１２は、測距データ取得部１１が出力した複数の時刻フレームの測距情報に基づき、測距センサ２００の観測範囲５４内を通過した移動物体を抽出し、移動物体の重心位置が測距センサ２００の観測範囲内を通過した時刻フレームを特定するとともに、物体位置データを作成する。複数の移動物体が抽出された場合、時刻フレームの特定、および、物体位置データの作成は、移動物体ごとに行われる。なお、物体位置データ作成部１２は、測距データ取得部１１が出力した時刻フレームの測距情報を測距情報蓄積部（図示省略）に蓄積させるようにし、当該測距情報蓄積部に蓄積された複数の測距情報をもとに、物体位置データを作成すればよい。物体位置データ作成部１２は、作成した物体位置データを、位置移動方向相関部１５に出力する。
　各時刻フレームの測距情報から移動物体の重心位置を抽出する方法としては、例えば、特開２０１１－１０８２２３号公報に開示されている方法を用いる。当該文献に開示されている方法は、特定の高さにおける移動物体の個数および位置を抽出する方法であり、例えば、歩行者の位置を抽出する場合には、歩行者の頭部の高さに存在する物体の個数および位置を求めることができる。
　なお、上記方法に限らず、物体位置データ作成部１２は、予め作成された時刻ｋの物体位置データを取得してもよい。具体的には、例えば、物体位置データ作成部１２は、ステップＳＴ６０１においてその都度時刻ｋの物体位置データを作成するのではなく、すでに作成済みの物体位置データを記憶しておき、当該記憶している物体位置データを取得するようにしてもよい。
　映像取得センサ処理部１０２は、映像取得センサ３００が取得した各時刻フレームの映像から、時刻ｋにおける画素速度データを作成する（ステップＳＴ６０２）。具体的には、画素移動方向データ作成部１４は、映像取得部１３が出力した複数の時刻フレームにおける映像に基づき、画素速度データを作成する。なお、画素移動方向データ作成部１４は、映像取得部１３が出力した時刻フレームの映像を映像情報蓄積部（図示省略）に蓄積させるようにし、当該映像情報蓄積部に蓄積された映像をもとに、画素速度データを作成すればよい。画素移動方向データ作成部１４は、作成した画素速度データを、位置移動方向相関部１５に出力する。
　各時刻フレームの映像から画素速度データを作成する方法としては、例えば、Ｂ．Ｌｕｃａｓ，Ｔ．Ｋａｎａｄｅ，“Ａｎ　Ｉｔｅｒａｔｉｖｅ　Ｉｍａｇｅ　Ｒｅｇｉｓｔｒａｔｉｏｎ　Ｔｅｃｈｎｉｑｕｅ　ｗｉｔｈ　ａｎ　Ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　Ｓｔｅｒｅｏ　Ｖｉｓｉｏｎ，”　Ｐｒｏｃｅｅｄｉｎｄｇｓ　ＤＡＲＰＡ　Ｉｍａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ　Ｗｏｒｋｓｈｏｐ，ｐｐ．１２１－１３０，Ａｐｒｉｌ　１９８１．に開示されている方法を用いる。当該文献に開示されている方法は、各画素の輝度強度は空間的に連続であることと、物体の運動が線形であることを前提に、最小二乗法によって時刻フレーム間の輝度強度の残差が最小となる速度ベクトルを推定する。この方法によって、静止物をあらわす画素の速度ベクトルは零に近い値となり、移動物体を表す画素の速度ベクトルは物体の移動速度に近い値となる画素速度データが得られる。
　なお、上記方法に限らず、画素移動方向データ作成部１４は、予め作成された時刻ｋの画素速度データを取得してもよい。具体的には、例えば、画素移動方向データ作成部１４は、ステップＳＴ６０２においてその都度時刻ｋの画素速度データを作成するのではなく、すでに作成済みの画素速度データを記憶しておき、当該記憶している画素速度データを取得するようにしてもよい。
　なお、画素移動方向データ作成部１４は、観測環境に応じて映像上の一部領域に対してのみ画素速度データを作成するようにしてもよい。例えば、歩行者が通行し得ない区域など、移動物体が存在し得ない領域が、データ取得前または過去の時刻フレームのデータから既知であれば、当該移動物体が存在し得ない領域の画素速度データの作成を省略してもよい。
　位置移動方向相関部１５は、ステップＳＴ６０１において物体位置データ作成部１２が出力した時刻ｋの物体位置データと、ステップＳＴ６０２において画素移動方向データ作成部１４が出力した時刻ｋの画素速度データとを用いて、時刻ｋの物体位置データによって特定されている移動物体に対して、移動速度を推定し、当該移動物体に関する時刻ｋの融合データを作成する（ステップＳＴ６０３）。
　ここで、図７は、図６のステップＳＴ６０３における移動物体の速度推定動作を説明する概念図である。なお、図７では、時刻ｋにおいて重心が測距センサ２００の観測範囲５４を通過した移動物体が、２つ抽出されたものとしている。
　位置移動方向相関部１５は、時刻ｋにおける各移動物体の重心位置６１に対して、当該重心位置６１を中心に物体サイズ６３以内の画素速度６２を抽出する。そして、位置移動方向相関部１５は、物体サイズ６３内の画素速度から、各移動物体の推定速度ｖ１およびｖ２を算出する。
　ここでは、実空間におけるｘ座標、ｙ座標は、映像取得センサ３００から得られる画像のフレーム上のｘ座標、ｙ座標と一致するものとする。
　以下では、物体位置データにおいて時刻ｋの重心位置が（ｘｄ，ｙｄ）とされた、ある移動物体を例に、推定速度ｖ１＝（ｖ１，ｘ，ｖ１，ｙ）の算出方法を説明する。ここで、ｘｄは移動物体の重心位置のｘ軸位置、ｙｄは移動物体の重心位置のｙ軸位置とする。また、ｖ１，ｘ、ｖ１，ｙは推定速度のｘ軸方向成分、ｙ軸方向成分とする。なお、測距センサ２００の観測範囲５４はｘ軸方向に狭いため、ｘｄは測距センサ２００の観測範囲の中心のｘ軸位置としてもよい。
　また、以下では、時刻ｋの画素速度データをＶｘ（ｘｉ，ｙｉ）およびＶｙ（ｘｉ，ｙｉ）と表す。ここで、ｘｉおよびｙｉはｉ番目の画素のｘ軸中心位置およびｙ軸中心位置をそれぞれ表し、Ｖｘ（ｘｉ，ｙｉ）は画素速度のｘ軸方向成分、Ｖｙ（ｘｉ，ｙｉ）は画素速度のｙ軸方向成分を表すとする。なお、画素の総数はＮｐとする。
　重心位置（ｘｄ，ｙｄ）の移動物体の推定速度ｖ１は、以下の式（１）および式（２）より算出する。
Figure JPOXMLDOC01-appb-I000001

Figure JPOXMLDOC01-appb-I000002
　ここで、Ｗ（ｘｉ，ｙｉ；ｘｄ，ｙｄ）は、物体サイズ６３を表す関数であり、任意の（ｘｄ、ｙｄ）に対して以下の式（３）を満たす関数である。
Figure JPOXMLDOC01-appb-I000003
　例えば、（ｘｄ、ｙｄ）を中心に円形の物体サイズ６３を定義する場合、以下の式（４）のように定義する。
Figure JPOXMLDOC01-appb-I000004
　ここで、物体サイズ６３の半径を表すパラメタをＲとし、以下の式（５）を満たす画素（ｘｉ’、ｙｉ’）の個数をｎ（Ｒ）とする。
Figure JPOXMLDOC01-appb-I000005
　なお、想定する移動物体の種類や、映像取得センサ３００における画素速度データの誤差および測距センサ２００の物体位置データの誤差に応じて、物体サイズ６３の大きさを変えたり、形状を楕円や長方形等にしてもよい。本実施の形態のように、歩行者を検出対象としている場合、物体サイズ６３は、上方から見下ろした歩行者の平均的な大きさを表すものとすればよい。
　また、上記のように物体サイズ６３内部の画像速度データを一様に加算平均する他に、物体サイズ６３内で重み付け平均するように関数Ｗ（ｘｉ、ｙｉ；ｘｄ、ｙｄ）の値に傾斜を持たせてもよい。
　また、物体位置データには静止物体や実在する物体以外の不要なデータも誤って含まれていることを前提に、推定速度を基に不要なデータを棄却してもよい。例えば、推定速度が閾値未満であれば静止物体として移動物体の個数から除いてもよい。すなわち、物体位置データ作成部１２で算出した移動物体の個数を、仮の移動物体個数とし、位置移動方向相関部１５において最終的な移動物体個数の推定をおこなうとしてもよい。
　図６のフローに戻る。
　位置移動方向相関部１５は、時刻ｋの物体位置データによって特定されているすべての移動物体に対して推定速度を推定したか否かを判定する（ステップＳＴ６０４）。
　ステップＳＴ６０４において、時刻ｋの物体位置データによって特定されているすべての移動物体に対して推定速度を推定していないと判定した場合（ステップＳＴ６０４の“ＮＯ”の場合）、ステップＳＴ６０３に戻り、以降の処理を繰り返す。
　ステップＳＴ６０４において、時刻ｋの物体位置データによって特定されているすべての移動物体に対して推定速度を推定したと判定した場合（ステップＳＴ６０４の“ＹＥＳ”の場合）、位置移動方向相関部１５は、時刻ｋの物体位置データによって特定されているすべての移動物体について、移動物体ごとに、通過時刻と、重心位置と、ステップＳＴ６０３において推定した推定速度を合わせて、融合データとして表示部１６、および、記録部１７へ出力する（ステップＳＴ６０５）。
　表示部１６は、位置移動方向相関部１５から出力された融合データに基づく情報を表示する。表示部１６が表示する情報は、例えば、移動物体の個数、各移動物体の重心位置、および、推定速度である。また、推定速度には移動方向の情報も含まれているので、表示部１６は、例えば、単位時間当たりに測距センサ２００の観測範囲５４を通路のｘ正方向、または、ｘ負方向へ通過した移動物体の個数を表示することもできる。
　表示部１６に表示させる情報は、予め設定された条件に基づき決められるようにすればよい。これに限らず、使用者が、入力装置（図示省略）から表示部１６に表示させる情報を、予め設定しておくようにしてもよいし、あるいは、使用者が、表示中に表示させる情報を切り替え可能とすることもできる。
　記録部１７は、位置移動方向相関部１５から出力された融合データを記録する。記録部１７が記録する情報は、例えば、移動物体の個数、各移動物体の重心位置、および、推定速度である。また、記録部１７には、例えば、単位時間当たりに測距センサ２００の観測範囲５４を通路のｘ正方向、または、ｘ負方向へ通過した移動物体の個数が記録されるものとしてもよい。
　記録部１７に記録させる情報は、予め設定された条件に基づき決められるようにすればよい。これに限らず、使用者が、入力装置（図示省略）から記録部１７に記録させる情報を予め設定しておくようにしてもよいし、あるいは、使用者が、記録させる情報を変更可能とすることもできる。
　以上のように、この実施の形態１によれば、１つの検出箇所に配置された１台の映像取得センサ３００と１台の測距センサ２００とによって、移動物体の個数、位置、および、移動方向を含む移動速度を推定することができる。
　一般に、受光素子のみを要する映像取得センサに比べ、投光素子と受光素子をともに備える測距センサの方が、構成する部品数が多く、また、経年劣化を補正する頻度が高いため、製造時、運用時の費用が高額になる。この実施の形態１に係る移動物体検出装置１００では、１つの検出箇所に対して、レーザセンサ等の測距センサ２００を１台しか必要としないため、測距センサを複数用いる方法に比べ、少ない費用で同じ機能を実現できる。
　また、この実施の形態１によれば、１箇所に設置された１台の測距センサ２００の投光素子によって移動物体の移動方向を含む移動速度を推定できるため、複数箇所にスリット光を投光する方式に比べ、設置条件の制約が少なく、また、設置工事の費用が少なくて済む。
　また、この実施の形態１によれば、映像取得センサ３００と１次元方向のみを走査する測距センサ２００によって移動物体の個数、位置、移動方向を推定することができる。一般に、１次元方向を走査する測距センサ２００は、２次元方向を走査する測距センサに比べ、走査に要する機器および処理の分だけ製造時、設置工事時、運用時の費用が少なくて済む。そのため、２次元方向を走査するレーザセンサ等の測距センサを用いる方法に比べ、少ない費用で同じ機能を実現できる。
　また、測距センサ２００は、測距センサ２００が照射するレーザ等の照射方向における移動物体の形状も観測することができるため、映像取得センサ３００に比べ移動物体の位置推定誤差が小さく、かつ、近接する複数の移動物体に対する各移動物体の区別が容易である。よって、実施の形態１によれば、可視光カメラ等の映像取得センサ３００のみを用いる方法に比べ、移動物体の個数および位置の推定精度が高い。
　また、この実施の形態１によれば、映像取得センサ３００の映像について、画素の輝度および強度を基に画素ごとの推定速度を算出し、移動物体の移動方向を推定するようにした。よって、映像取得センサ３００の解像度が低く移動物体観測時の形状が不明瞭な場合、例えば、移動物体の大きさに対し映像の画素が粗い場合や移動物体の輪郭の一部が欠ける場合において、可視光カメラ等の映像取得センサ３００のみを用いる方法に比べ、移動方向推定精度の劣化が少ない。
　また、この実施の形態１によれば、移動物体の個数は測距センサ２００の観測結果を元に推定するようにしたので、映像に移動物体の影が映っている場合や、背景のスクリーンで動画が再生されている場合等に、背景における実体のない輝度強度の変化を移動物体と誤って判定することなく、移動物体の個数を推定することができる。
実施の形態２．
　実施の形態１では、映像取得センサ３００によって取得された映像上において移動物体の輝度および強度が連続であることを前提に、測距センサ２００からの測距情報に基づく移動物体の重心位置と、映像取得センサ３００からの映像に基づく画素速度とを、同じ時刻フレーム内で対応付けるようにしていた。
　しかし、実際は、例えば光源照度の偏りや、背景色の変化、移動物体の回転および変形、夜間撮影時の増感ノイズ等によって、移動物体の輝度強度が不連続に変化する。このような場合、移動物体の画素速度が一時的に真の移動物体の速度と大きく異なる値となり、ある時刻フレームの画素速度上において移動物体が消失する事態が起こり得る。
　そこで、この実施の形態２では、複数の時刻フレームの画素速度から、各移動物体の推定速度の候補を複数通り設定し、各候補の中から尤もらしい推定速度を判定する実施の形態について説明する。
　この実施の形態２の移動物体検出システムの構成は、実施の形態１において図１を用いて説明したものと同様であるため、重複した説明を省略する。
　また、測距センサ２００と映像取得センサ３００の設置状況、および、測距センサ２００と映像取得センサ３００の観測条件についても、例えば、実施の形態１において、図２，図３を用いて説明したとおりであるので、重複した説明を省略する。
　図８は、この発明の実施の形態２に係る移動物体検出装置１００ａの構成図である。
　図８において、図４を用いて説明した実施の形態１に係る移動物体検出装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。
　この発明の実施の形態２に係る移動物体検出装置１００ａは、実施の形態１に係る移動物体検出装置１００とは、融合処理部１０３が、位置移動方向相関部１５に代えて、移動方向仮説設定部１８と移動方向決定部１９とから構成される点が異なるのみである。
　この実施の形態２において、物体位置データ作成部１２は、物体位置データを移動方向仮説設定部１８に出力する。また、画素移動方向データ作成部１４は、画素速度データを、移動方向仮説設定部１８および移動方向決定部１９に出力する。
　移動方向仮説設定部１８は、物体位置データ作成部１２から出力された物体位置データと、画素移動方向データ作成部１４から出力された時刻フレームの画素速度データを取得し、測距センサ２００で観測された移動物体の移動速度の候補値を複数通り設定する。ここでは、移動方向仮説設定部１８が設定する、移動物体の移動速度の候補値を、速度仮説という。
　移動方向仮説設定部１８は、速度仮説を移動方向決定部１９に出力する。
　移動方向決定部１９は、画素移動方向データ作成部１４から出力された時刻フレームの画素速度データと、移動方向仮説設定部１８から出力された移動物体の速度仮説を取得し、速度仮説の中から、移動物体の移動速度を決定する。移動方向決定部１９は、移動物体の重心位置が測距センサの観測範囲５４を通過した時刻、ｘ軸およびｙ軸上の重心位置、ｘ軸およびｙ軸方向の推定速度を表す融合データを、表示部１６および記録部１７に出力する。
　移動物体検出装置１００ａのハードウェア構成は、実施の形態１において図５Ａ，図５Ｂを用いて説明したものと同様であるため、重複した説明を省略する。
　この実施の形態２に係る移動物体検出装置１００ａの動作について説明する。
　図９は、この発明の実施の形態２に係る移動物体検出装置１００ａの動作を説明するフローチャートである。
　なお、以下の説明において、ｋはＮ＋１以上の自然数とする。パラメタＮについては後述する。
　測距センサ処理部１０１は、測距センサ２００が取得した複数の時刻フレームの測距情報から、時刻ｋに重心位置が測距センサ２００の観測範囲５４を通過した移動物体を抽出し、時刻ｋの物体位置データを作成する（ステップＳＴ９０１）。具体的な動作は、実施の形態１で説明した図６のステップＳＴ６０１と同様である。測距センサ処理部１０１の物体位置データ作成部１２は、作成した物体位置データを移動方向仮説設定部１８に出力する。
　移動物体検出装置１００ａの制御部（図示省略）は、変数ｉを初期化する（ステップＳＴ９０２）。ここでは、変数ｉの初期値は０とする。
　映像取得センサ処理部１０２は、映像取得センサ３００が取得した複数の時刻フレームの映像から、時刻ｋ－ｉにおける画素速度データを作成する（ステップＳＴ９０３）。具体的な画素速度データの作成方法は、実施の形態１で説明した図６のステップＳＴ６０２と同様である。映像取得センサ処理部１０２の画素移動方向データ作成部１４は、時刻ｋ－ｉにおける画素速度データを移動方向仮説設定部１８および移動方向決定部１９に出力する。
　移動方向仮説設定部１８は、ステップＳＴ９０１において物体位置データ作成部１２が出力した時刻ｋの物体位置データと、ステップＳＴ９０３において画素移動方向データ作成部１４が出力した時刻ｋ－ｉの画素速度データとを用いて、時刻ｋの物体位置データに含まれる、移動物体に対して、速度仮説を設定する（ステップＳＴ９０４）。
　ここで、図１０は、ｉ＝１の場合を例として、図９のステップＳＴ９０４における、移動方向仮説設定部１８による速度仮説の設定の動作を表した概念図である。
　移動方向仮説設定部１８は、時刻ｋの移動物体の重心位置６１に対して、時刻ｋ－１における移動物体の重心位置の推定値、すなわち、時刻ｋ－１の物体位置推定値６４と、時刻ｋ－１の物体位置推定値６４を中心とする物体サイズ６３以内の時刻ｋ－１の画素速度６５を抽出する。そして、移動方向仮説設定部１８は、抽出した時刻ｋ－１の画素速度６５から、移動物体の速度仮説ｖ１を算出する。
　図１１は、図９のステップＳＴ９０４の動作を詳細に説明するフローチャートである。
　ここでは、対象とする、ある移動物体の重心位置を（ｘｄ，ｙｄ）とし、速度仮説をｖｕ＝（ｖｕ，ｘ，ｖｕ，ｙ）とする。ｘｄは移動物体の重心位置のｘ軸位置、ｙｄは移動物体の重心位置のｙ軸位置とし、ｖｕ，ｘ，ｖｕ，ｙは、それぞれ、推定速度のｘ軸方向成分、ｙ軸方向成分とする。なお、測距センサ２００の観測範囲５４は、ｘ軸方向に狭いため、ｘｄは測距センサ２００の観測範囲５４の中心のｘ軸位置としてもよい。
　また、時刻ｋ－ｉの画素速度データをＶｋ－ｉ，ｘ（ｘｑ，ｙｑ）およびＶｋ－ｉ，ｙ（ｘｑ，ｙｑ）と表す。ここで、ｘｑおよびｙｑは、それぞれ、ｑ番目の画素のｘ軸中心位置、ｙ軸中心位置を表し、Ｖｋ－ｉ，ｘ（ｘｑ，ｙｑ）は画素速度のｘ軸方向成分、Ｖｋ－ｉ，ｙ（ｘｑ，ｙｑ）は、画素速度のｙ軸方向成分を表すものとする。なお、画素の総数はＮｐとする。
　まず、移動方向仮説設定部１８は、画素移動方向データ作成部１４から取得した映像、すなわち、映像取得センサ３００によって取得された映像のうち、未選択の画素を１つ選択する（ステップＳＴ１１０１）。以下、当該ステップＳＴ１１０１において移動方向仮説設定部１８が選択した画素を「選択画素」といい、当該選択画素のｘ軸中心位置、ｙ軸中心位置を（ｘｓ，ｙｓ）とする。
　移動方向仮説設定部１８は、選択画素の近傍の時刻ｋ－ｉの画素速度データから、選択画素の平均速度ｖｍ＝（ｖｍ，ｘ，ｖｍ，ｙ）を算出する（ステップＳＴ１１０２）。ここで、ｖｍ，ｘ、ｖｍ，ｙは、平均速度のｘ軸方向成分、ｙ軸方向成分とする。
　平均速度ｖｍ＝（ｖｍ，ｘ，ｖｍ，ｙ）は、以下の式（６）および式（７）より算出する。
Figure JPOXMLDOC01-appb-I000006

Figure JPOXMLDOC01-appb-I000007
　ここで、Ｗ（ｘｑ，ｙｑ；ｘｓ，ｙｓ）は、物体サイズ６３を表す関数であり、任意の（ｘｓ，ｙｓ）に対して以下の式（８）を満たす関数である。
Figure JPOXMLDOC01-appb-I000008
　例えば、（ｘｓ，ｙｓ）を中心に円形の物体サイズ６３を定義する場合、以下の式（９）のように定義する。
Figure JPOXMLDOC01-appb-I000009
　ここで、物体サイズ６３の半径を表すパラメタをＲとし、以下の式（１０）を満たす画素（ｘｑ’，ｙｑ’）の個数をｎ（Ｒ）とする。
Figure JPOXMLDOC01-appb-I000010
　また、想定する移動物体の種類や、映像取得センサ３００における画素速度データの誤差および測距センサ２００の物体位置データの誤差に応じて、物体サイズ６３の大きさを変えたり、形状を楕円や長方形等にしてもよい。本実施の形態のように、歩行者を検出対象としている場合、物体サイズ６３は、上方から見下ろした歩行者の平均的な大きさを表すものとすればよい。
　また、上記のように物体サイズ６３内部の画像速度データを一様に加算平均する他に、物体サイズ６３内で重み付け平均するように関数Ｗ（ｘｑ，ｙｑ；ｘｓ，ｙｓ）の値に傾斜を持たせてもよい。
　移動方向仮説設定部１８は、ステップＳＴ１１０２で算出した平均速度に基づき、選択画素を平均速度で時刻ｋへ外挿した位置を算出する（ステップＳＴ１１０３）。ここでは、選択画素を平均速度で時刻ｋへ外挿した位置を、外挿位置という。
　移動方向仮説設定部１８は、外挿位置（ｘｅ，ｙｅ）を、移動物体は時刻ｋ－ｉから時刻ｋの間に等速直進すると仮定し、以下の式（１１）および式（１２）から算出する。
Figure JPOXMLDOC01-appb-I000011

Figure JPOXMLDOC01-appb-I000012
　ここで、Ｔｋ－ｉ，ｋは時刻ｋ－ｉから時刻ｋのフレーム間経過時間を表す。特に、ｉ＝０の場合はＴｋ，ｋ＝０とする。
　また、式（１１）および式（１２）では、移動物体の運動モデルとして等速直進運動を仮定したが、移動物体の種類に応じて、例えば等加速度直進運動など別の運動モデルを仮定し外挿位置を算出してもよい。
　移動方向仮説設定部１８は、ステップＳＴ１１０３で算出した外挿位置と、移動物体の重心位置の残差を算出する（ステップＳＴ１１０４）。
　移動方向仮説設定部１８は、時刻ｋ－ｉの画素速度データから算出した外挿位置（ｘｅ，ｙｅ）と、時刻ｋの物体位置データにおける移動物体の重心位置（ｘｄ，ｙｄ）との残差Δｒを、以下の式（１３）により算出する。
Figure JPOXMLDOC01-appb-I000013
　ここで、行列右上のｔは行列の転置を表し、行列右上の「－１」は逆行列を表す。
　また、σｘ ２、σｙ ２、σｘｙ ２は、外挿位置と移動物体の重心位置との残差に関する揺らぎの大きさを表すパラメタとし、σｘ ２はｘ軸成分の分散、σｙ ２はｙ軸成分の分散、σｘｙ ２はｘ成分とｙ成分の共分散を表す。例えば、画素速度データのｙ軸方向成分が、ｘ軸方向成分に比べ誤差が大きい場合、σｙ ２をσｘ ２よりも大きな値に設定することで、成分ごとの揺らぎの違いを考慮した残差を算出できる。
　または、外挿位置と移動物体の重心位置との残差に関して揺らぎの数値化が困難な場合等では、各成分の揺らぎは独立かつ一様と仮定して、より簡単な、以下の式（１４）によって残差Δｒを求めてもよい。
Figure JPOXMLDOC01-appb-I000014
　移動方向仮説設定部１８は、ステップＳＴ１１０４で算出した残差Δｒが、ステップＳＴ１１０１～ステップＳＴ１１０７のループ処理の中で既に算出された他の残差に比べ、最小であるか否かを判定する（ステップＳＴ１１０５）。
　ステップＳＴ１１０５において、他の残差に比べ、最小ではないと判断した場合、すなわち、直前のステップＳＴ１１０４で算出した残差が暫定的に最小値ではない場合（ステップＳＴ１１０５の“ＮＯ”の場合）、ステップＳＴ１１０６の処理をスキップして、ステップＳＴ１１０７へ進む。
　ステップＳＴ１１０５において、他の残差に比べ、最小であると判定した場合、すなわち、直前のステップＳＴ１１０４で算出した残差が暫定的に最小値である場合（ステップＳＴ１１０５の“ＹＥＳ”の場合）、移動方向仮説設定部１８は、ステップＳＴ１１０２で算出した平均速度ｖｍを、時刻ｋの重心位置が（ｘｄ，ｙｄ）である移動物体の速度仮説ｖｕとして設定する（ステップＳＴ１１０６）。なお、ステップＳＴ１１０１～ステップＳＴ１１０７のループ処理中で既に別の値が速度仮説として設定されていた場合、移動方向仮説設定部１８は、ステップＳＴ１１０２で算出した平均速度ｖｍを新しい平均速度として置き換える。
　移動方向仮説設定部１８は、時刻ｋ－ｉの画素速度データ内のすべての画素が選択されたか否かを判定する（ステップＳＴ１１０７）。
　ステップＳＴ１１０７において、すべての画素が選択されていないと判定した場合（ステップＳＴ１１０７の“ＮＯ”の場合）、ステップＳＴ１１０１へ戻り、以降の処理を繰り返す。
　ステップＳＴ１１０７において、すべての画素が選択されたと判定した場合（ステップＳＴ１１０７の“ＹＥＳ”の場合）、図１１の処理を終了する。
　以上のように、図１１の処理を実行することで、時刻ｋ－ｉの画素速度データをもとに、移動物体の速度仮説を設定する。
　なお、以上の図１１の処理では、時刻ｋ－ｉの画素速度データ内のすべての画素に対して平均速度、外挿位置、移動物体の重心位置との残差を算出し、速度仮説を設定したが、例えば、移動物体の想定最大速度から選択する画素を制限することで処理負荷を軽減させてもよい。
　また、以上の図１１の処理では、時刻ｋ－ｉの画素速度データをもとに速度仮説を１つのみ設定するが、残差の大きさに応じて時刻ｋ－ｉの画素速度データから速度仮説を複数設定してもよい。
　また、以上の図１１の処理では、画素移動方向データ作成部１４がｘ軸及びｙ軸方向の速度を算出する場合について説明したが、画素移動方向データ作成部１４が移動方向のみを算出する場合は、例えばあらかじめ設定された歩行者の典型的な移動速度を表すパラメタに基づき、推定された移動方向をｘ軸及びｙ軸方向の速度に変換し、同様に処理するとしてもよい。
　またここでは、画素移動方向データ作成部１４は、物体の移動方向を表す物理量の一例としてｘ軸およびｙ軸方向の速度を算出することとしたが、各移動物体の移動方向のみを推定する目的においては、必ずしも速度を算出する必要はない。例えば、移動方向のみを表す大きさ一定のベクトルや、移動方向を表す方位角を算出することとしてもよい。この場合、移動方向仮説設定部１８が設定する物体の速度仮説は移動方向仮説ともいうこととする。
　図９のフローチャートに戻る。
　移動物体検出装置１００ａの制御部（図示省略）は、変数ｉがパラメタＮ以上か否かを判定する（ステップＳＴ９０５）。
　パラメタＮは、速度仮説を設定する際に参照する過去の時刻フレームの個数を表す。パラメタＮは、例えば、時刻ｋ－Ｎから時刻ｋの間で目標の運動を等速直進とする仮定が妥当となる時刻フレーム数の最大値を設定する。
　ステップＳＴ９０５において、変数ｉがパラメタＮ未満と判定した場合（ステップＳＴ９０５の“ＮＯ”の場合）、移動方向仮説設定部１８は、変数ｉに１を加算し（ステップＳＴ９０６）、ステップＳＴ９０３に戻る。
　ステップＳＴ９０５において、変数ｉがパラメタＮ以上と判定した場合（ステップＳＴ９０５の“ＹＥＳ”の場合）、移動物体検出装置１００ａの制御部は、変数ｊを初期化する（ステップＳＴ９０７）。変数ｊの初期値は１である。すなわち、制御部は、変数ｊに１を代入する。制御部は、変数ｊを初期化した旨の情報を、映像取得センサ処理部１０２に出力する。
　映像取得センサ処理部１０２は、映像取得センサ３００が取得した複数の時刻フレームの映像から、時刻ｋ＋ｊにおける画素速度データを作成する（ステップＳＴ９０８）。具体的な画素速度データの作成方法は、実施の形態１で説明した図６のステップＳＴ６０２と同様である。映像取得センサ処理部１０２の画素移動方向データ作成部１４は、時刻ｋ＋ｊにおける画素速度データを移動方向仮説設定部１８および移動方向決定部１９に出力する。
　移動方向決定部１９は、ステップＳＴ９０８で取得された時刻ｋ＋ｊの画素速度データを用いて、ステップＳＴ９０４で移動方向仮説設定部１８が設定した移動物体の複数の速度仮説について、各速度仮説の尤もらしさを表す値を更新する（ステップＳＴ９０９）。ここでは、移動物体の速度仮説の尤もらしさを表す値を速度仮説の尤度という。
　なお、各速度仮説の尤度は、ステップＳＴ９０８～ステップＳＴ９１１の変数ｊに関するループ処理の中で逐次更新する。例えば、ある速度仮説ｖｉに関して、時刻ｋ＋ｊの画素速度データによって更新された尤度Ｌｉ，ｋ＋ｊは、１つ前の変数ｊのループ処理で算出された尤度Ｌｉ，ｋ＋ｊ－１をもとに算出される。
　図１２は、ｊ＝１およびｊ＝２の場合を例として、図９のステップＳＴ９０９における、移動方向決定部１９による速度仮説ｖ０、ｖ１、ｖ２の尤度の更新の動作を表した概念図である。
　移動方向決定部１９は、時刻ｋの移動物体の重心位置６１に対して、各速度仮説をもとに時刻ｋ＋１の物体位置推定値６６ａ～６６ｃ、時刻ｋ＋２の物体位置推定値６８ａ～６８ｃを算出する。また、移動方向決定部１９は、各物体位置推定値を中心とする物体サイズ６３内の時刻ｋ＋１および時刻ｋ＋２の画素速度６７ａ～６７ｃ、６９ａ～６９ｃを時刻ｋ＋１および時刻ｋ＋２の画素速度データから抽出する。
　そして、移動方向決定部１９は、各時刻フレームにおいて、速度仮説と物体サイズ６３内の画素速度との差異から、速度仮説の尤度を算出する。当該尤度は、時刻ｋ以前の画素速度から設定した速度仮説と、時刻ｋ＋１以降の画素速度との整合の度合いを表し、時刻ｋ＋１以降の各時刻フレームを通して、速度仮説と物体サイズ６３内の画素速度との差異が小さいほど高い値となる。
　図１２の例では、速度仮説ｖ１と、物体位置推定値６６ａ周辺の画素速度６７ａと、物体位置推定値６８ａ周辺の画素速度６９ａとの差異が、残りの速度仮説ｖ０、ｖ２に比べて小さいため、速度仮説ｖ１の尤度が速度仮説ｖ０、ｖ２の尤度に比べ大きな値となる。
　以下、図９のステップＳＴ９０９の動作について詳細に説明する。
　図１３は、図９のステップＳＴ９０９の詳細な動作について説明するフローチャートである。
　ここでは、対象とする、ある移動物体の重心位置を（ｘｄ，ｙｄ）とし、速度仮説をｖｕ＝（ｖｕ，ｘ，ｖｕ，ｙ）とする。ｘｄは移動物体の重心位置のｘ軸位置、ｙｄは移動物体の重心位置のｙ軸位置とし、ｖｕ，ｘ及びｖｕ，ｙは推定速度のｘ軸方向成分、ｙ軸方向成分とする。なお、測距センサ２００の観測範囲５４はｘ軸方向に狭いため、ｘｄは測距センサ２００の観測範囲５４の中心としてもよい。
　また、時刻ｋ＋ｊの画素速度データをＶｋ＋ｊ，ｘ（ｘｑ，ｙｑ）およびＶｋ＋ｊ，ｙ（ｘｑ，ｙｑ）と表す。ここで、ｘｑおよびｙｑはｑ番目の画素のｘ軸中心位置、ｙ軸中心位置を表し、Ｖｋ＋ｊ，ｘ（ｘｑ，ｙｑ）は画素速度のｘ軸方向成分、Ｖｋ＋ｊ，ｙ（ｘｑ，ｙｑ）は画素速度のｙ軸方向成分を表すとする。なお画素の総数はＮpとする。
　移動方向決定部１９は、時刻ｋの移動物体の重心位置（ｘｄ，ｙｄ）および速度仮説ｖｕより、速度仮説ｖｕに関する時刻ｋ＋ｊにおける物体位置推定値（ｘｅ，ｋ＋ｊ，ｙｅ，ｋ＋ｊ）を算出する（ステップＳＴ１３０１）。
　移動方向決定部１９は、物体位置推定値（ｘｅ，ｋ＋ｊ，ｙｅ、ｋ＋ｊ）を、移動物体が時刻ｋから時刻ｋ＋ｊの間に等速直進すると仮定し、以下の式（１５）および式（１６）から算出する。
Figure JPOXMLDOC01-appb-I000015

Figure JPOXMLDOC01-appb-I000016
　ここで、Ｔｋ，ｋ＋ｊは時刻ｋから時刻ｋ＋ｊまでのフレーム間経過時刻を表す。
　また、式（１５）および（１６）では、移動物体の運動モデルとして等速直進運動を仮定したが、移動方向決定部１９は、移動物体の種類に応じて、例えば、等加速度直進運動など別の運動モデルを仮定し外挿位置を算出してもよい。
　移動方向決定部１９は、ステップＳＴ１３０１で算出した物体位置推定値と、時刻ｋ＋ｊの画素速度データとから、時刻ｋ＋ｊにおける移動物体近傍の平均速度ｖｍ，ｋ＋ｊ＝（ｖｍ，ｋ＋ｊ，ｘ，ｖｍ，ｋ＋ｊ，ｙ）を算出する（ステップＳＴ１３０２）。ｖｍ，ｋ＋ｊ，ｘ，ｖｍ，ｋ＋ｊ，ｙは平均速度のｘ軸方向成分、ｙ軸方向成分とする。
　移動方向決定部１９は、平均速度ｖｍ，ｋ＋ｊ＝（ｖｍ，ｋ＋ｊ，ｘ，ｖｍ，ｋ＋ｊ，ｙ）を、例えば図１１のステップＳＴ１１０２と同様に、以下の式（１７）および（１８）より算出する。
Figure JPOXMLDOC01-appb-I000017

Figure JPOXMLDOC01-appb-I000018
　ここで、Ｗ（ｘｑ，ｙｑ；ｘｅ、ｋ＋ｊ，ｙｅ，ｋ＋ｊ）は、物体サイズ６３を表す関数であり、任意の（ｘｅ，ｋ＋ｊ，ｙｅ，ｋ＋ｊ）に対して、以下の式（１９）を満たす関数である。
Figure JPOXMLDOC01-appb-I000019
　例えば、（ｘｅ、ｋ＋ｊ，ｙｅ、ｋ＋ｊ）を中心に円形の物体サイズ６３を定義する場合、以下の式（２０）のように定義する。
Figure JPOXMLDOC01-appb-I000020
　ここで、Ｒは物体サイズ６３の半径を表すパラメタとし、ｎ（Ｒ）は、以下の式（２１）を満たす画素（ｘｑ’，ｙｑ’）の個数とする。
Figure JPOXMLDOC01-appb-I000021
　また、想定する移動物体の種類や、映像取得センサ３００における画素速度データの誤差及び測距センサ２００の物体位置データの誤差に応じて、物体サイズ６３の大きさを変えたり、形状を楕円や長方形等にしてもよい。本実施の形態のように、歩行者を検出対象としている場合、物体サイズ６３は、上方から見下ろした歩行者の平均的な大きさを表すものとすればよい。
　また、上記のように物体サイズ６３内部の画像速度データを一様に加算平均する他に、物体サイズ６３内で重み付け平均するように関数Ｗ（ｘｑ，ｙｑ；ｘｅ，ｋ＋ｊ，ｙｅ，ｋ＋ｊ）の値に傾斜を持たせてもよい。
　移動方向決定部１９は、速度仮説ｖｕ＝（ｖｕ，ｘ，ｖｕ，ｙ）と、ステップＳＴ１３０２で算出した平均速度ｖｍ，ｋ＋ｊ＝（ｖｍ，ｋ＋ｊ，ｘ，ｖｍ，ｋ＋ｊ，ｙ）から、速度仮説の尤度Ｌｕ，ｋ＋ｊを算出する（ステップＳＴ１３０３）。
　速度仮説ｖｕの時刻ｋ＋ｊにおける尤度Ｌｕ，ｋ＋ｊは、以下の式（２２）より算出する。
Figure JPOXMLDOC01-appb-I000022
　ここで、速度仮説ｖｕ，ｖｍ、ｋ＋ｊは以下の式（２３）（２４）で表される縦ベクトルとする。
Figure JPOXMLDOC01-appb-I000023

Figure JPOXMLDOC01-appb-I000024
　Sｋ＋ｊはｖｕ－ｖｍ，ｋ＋ｊの残差共分散行列を表す２行２列のパラメタである。また、時刻ｋ＋ｊ－１の尤度Ｌｕ，ｋ＋ｊ－１に関しては、特にｊ＝１の場合
Figure JPOXMLDOC01-appb-I000025
とする。
　なお、以上の尤度Ｌｕ，ｋ＋ｊは、平均速度ｖｍ，ｋ＋ｊが移動物体の真の速度に白色ガウス雑音が加算されたとするモデルに基づく値であり、平均速度の誤差分布が有色非ガウス雑音とするモデルを用いてもよい。
　移動方向決定部１９は、すべての速度仮説について時刻ｋ＋ｊにおける仮説尤度が更新されたか否かを判定する（ステップＳＴ１３０４）。
　ステップＳＴ１３０４において、すべての速度仮説について時刻ｋ＋１における仮説尤度が更新されていないと判定した場合（ステップＳＴ１３０４の“ＮＯ”の場合）、ステップＳＴ１３０１に戻り、以降の処理を繰り返す。
　ステップＳＴ１３０４において、すべての速度仮説について時刻ｋ＋１における仮説尤度が更新されたと判定した場合（ステップＳＴ１３０４の“ＹＥＳ”の場合）、図１３の処理を終了する。
　以上の図１３の処理を実行することで、移動方向決定部１９は、時刻ｋ＋ｊの画素速度データを基に、移動物体の各々の速度仮説について尤もらしさを表す値を更新する。
　図９のフローチャートに戻る。
　制御部は、変数ｊがパラメタＭ以上か否かを判定する（ステップＳＴ９１０）。パラメタＭは、速度仮説の尤度算出に用いる時刻フレームの個数を表す。パラメタＭには、例えば、時刻ｋから時刻ｋ＋Ｍの間で目標の運動を等速直進とする仮定が妥当となる時刻フレーム数の最大値が、予め設定される。
　ステップＳＴ９１０において、変数ｊがパラメタＭ未満である場合（ステップＳＴ９１０の“ＮＯ”の場合）、移動方向決定部１９は、変数ｊに１を加算し（ステップＳＴ９１１）、ステップＳＴ９０８へ戻る。
　ステップＳＴ９１０において、変数ｊがパラメタＭ以上の場合（ステップＳＴ９１０の“ＹＥＳ”の場合）、移動方向決定部１９は、ステップＳＴ９０９で算出し、更新した各速度仮説の尤度から、各速度仮説の事後確率を算出する（ステップＳＴ９１２）。
　具体的には、移動方向決定部１９は、時刻ｋ＋１～時刻ｋ＋Ｍの画素速度データで更新された各々の速度仮説の尤度Ｌｕ、ｋ＋Ｍ（ｕ＝１，２，・・・，ＮＨ、ＮＨは速度仮説の個数）に対して、以下の式（２６）より事後確率Ｐ（Ｈｕ｜Ｖｋ：ｋ＋Ｍ）を算出する。
Figure JPOXMLDOC01-appb-I000026
　ここで、Ｐ（Ｈｕ）は速度仮説ｖｕの事前確率を表し、速度仮説ｖｕごとに設定するパラメタである。
　Ｐ（Ｈｕ）の設定方法としては、例えば速度仮説ｖｕを設定する際の式（１４）に関する残差Δｒや、ｖ１の値の大きさ、画素速度データを取得した映像における光源や背景色等によって設定する。または、すべての速度仮説は設定時点では等しく尤もらしいと見なし、Ｐ（Ｈｕ）を定数としてもよい。
　移動方向決定部１９は、ステップＳＴ９１２で算出した速度仮説の事後確率Ｐ（Ｈ１｜Ｖｋ：ｋ＋Ｍ）の中から、事後確率が最大の速度仮説ｖｕを移動物体の推定速度として決定する（ステップＳＴ９１３）。
　移動方向決定部１９は、時刻ｋの物体位置データによって特定されている１または複数の移動物体のうち、すべての移動物体に対して推定速度が決定されたか否かを決定する（ステップＳＴ９１４）。
　ステップＳＴ９１４において、すべての移動物体に対して推定速度が決定されていない場合（ステップＳＴ９１４の“ＮＯ”の場合）、ステップＳＴ９０２に戻る。
　ステップＳＴ９１４において、すべての移動物体に対して推定速度が決定された場合（ステップＳＴ９１４の“ＹＥＳ”の場合）、移動方向決定部１９は、ステップＳＴ９１３で決定した移動物体の移動速度と、重心位置を表した融合データを、表示部１６および記録部１７に出力する（ステップＳＴ９１５）。
　なお、上記では、物体位置データ作成部１２が移動物体の個数を推定したが、物体位置データには静止物体や実在する物体以外の不要なデータも誤って含まれていることを前提に、移動方向決定部１９において推定速度を基に不要なデータを棄却してもよい。例えば、推定速度が閾値未満であれば静止物体として移動物体の個数から除いてもよい。すなわち、物体位置データ作成部１２で算出した移動物体の個数を、仮の移動物体個数とし、移動方向決定部１９において最終的な移動物体個数の推定をおこなうとしてもよい。
　なお、上記では、融合処理部１０３は、時刻ｋ以前の画素速度データから移動物体の速度仮説を設定し、時刻ｋ＋１以降の画素速度データによって移動物体の速度を判定したが、各処理で用いる時刻フレームの選び方はこの限りではない。例えば、融合処理部１０３は、時刻ｋ＋１以降の画素速度データによって速度仮説を設定し、時刻ｋ以前の画素速度データによって速度仮説の中から移動物体の移動速度を決定してもよい。
　以上のように、実施の形態２によれば、複数の時刻フレームの画素速度から移動物体の移動速度を推定するようにしたため、映像取得センサ３００から算出された画素速度データ上において、移動物体周辺の画素速度が一時的に真の物体移動速度と大きく異なる値になり得る場合においても、１つの検出箇所に設置された測距センサ１台と映像取得センサ１台によって移動物体の個数、位置、および、移動方向を含む移動速度を推定することができる。
　当該効果は、例えば、夜間において移動物体の個数、位置、および、移動方向を含む移動速度を推定する場合に有効である。カメラ等の映像取得センサ３００は夜間や暗所等の光源照度が低い環境ほど、センサ内部の雑音によって、各画素の輝度が揺らぎやすい特性を持つ。このような場合、移動物体の輝度が雑音によって揺らぐために、画素速度データは移動物体の真の速度から外れた値を持ちやすい。しかし、この実施の形態２の構成によれば、複数時刻フレームの画素速度データを基に物体の移動速度の候補値を設定し、各候補値を比較することで、尤もらしい移動速度を推定するため、誤った移動速度が推定される確率を減らすことができる。
　また、低照度環境でも雑音による輝度強度の揺らぎが小さい映像取得センサ３００ほど、一般に製造工程が複雑化するため、映像取得センサ３００の費用が高額になる。そのため、この実施の形態２によれば、低照度環境において雑音の影響を受けにくい映像取得センサ３００を用いる方法に比べ、少ない費用で同様の精度を実現できる点で画期的である。
　また、上記効果は、例えば、移動物体の種類として歩行者を対象とする場合にも有効である。歩行者は、手足の動きや体の向きの変化により、車両等の無機物に比べ映像上の物体表面の輝度が不規則に変化しやすい。そのため、例えば歩行者が顔の向きを変化させた時点で、画素速度データが物体の移動速度から大きく異なる値になりやすい。しかし、この実施の形態２の構成によれば、一時的に画素速度データが不安定になった時刻の画素速度は、複数時刻フレームの画素速度データと整合が低いとして棄却されるため、歩行者の輝度分布が不規則に変化する場合でも誤った移動速度が推定される確率を減らすことができる。
　また歩行者は、身に着けている服飾品等があるため、車両等の無機物に比べ輝度分布が多様となる。そのため、背景と歩行者の混同が起こりにくい環境の選択が原理的に困難であり、結果として背景の輝度が歩行者の輝度と同様になった時刻フレームにおいて、画素速度データが歩行者の移動速度と大きく異なる値となり得る。しかし実施の形態２によれば、複数の速度仮説のうち、背景との混同が起こりやすい時刻フレームの画素速度データから設定された速度仮説は、他の時刻フレームとの整合性が低い仮説として棄却されるため、歩行者と背景が一時的に混同しやすい場合においても誤った移動速度が推定される確率を減らすことができる。
　また、上記効果は、例えば、快晴時の屋外環境や背景に光源を含む場合等、映像上での輝度分布に大きな偏りがある場合にも有効である。屋外における日なたと日陰等、映像上での輝度分布に大きな偏りがある場合、画素速度算出時の前提である輝度分布の連続性が成り立たないため、移動物体周辺の画素速度データが移動物体の速度と大きく異なる値をとり得る。しかし、この実施の形態２によれば、輝度分布が大きく偏る領域を移動物体が通過した時刻フレームの画素速度データから推定した速度仮説は、他の時刻フレームの画素速度との整合性が低い仮説として棄却されるため、輝度分布が大きく偏る場合においても誤った移動速度が推定される確率を減らすことができる。
実施の形態３．
　実施の形態１，２では、測距センサ２００の測距情報に基づく移動物体の重心位置と、映像取得センサ３００の映像に基づく画素速度から、移動物体の個数、位置、および、移動方向を含む移動速度を推定するようにしていた。
　この実施の形態３では、測距センサ２００の測距情報に基づき、さらに、移動物体の地表面からの高さ、および、移動物体の幅に関するデータを、移動物体の属性データとして作成する実施の形態について説明する。
　この実施の形態３の移動物体検出システムの構成は、実施の形態１において図１を用いて説明したものと同様であるため、重複した説明を省略する。
　また、測距センサ２００と映像取得センサ３００の設置状況、および、測距センサ２００と映像取得センサ３００の観測条件についても、例えば、実施の形態１において、図２，図３を用いて説明したとおりであるので、重複した説明を省略する。
　図１４は、この発明の実施の形態３に係る移動物体検出装置１００ｂの構成図である。
　図１４において、図４を用いて説明した実施の形態１に係る移動物体検出装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。
　この発明の実施の形態３に係る移動物体検出装置１００ｂは、実施の形態１に係る移動物体検出装置１００とは、測距センサ処理部１０１が、物体高さデータ作成部２０と物体幅データ作成部２１をさらに備える点と、融合処理部１０３が、物体属性判定部２２をさらに備える点が異なるのみである。
　物体高さデータ作成部２０は、測距データ取得部１１から複数の時刻フレームにおける測距情報を取得し、移動物体の地表面からの高さを推定したデータを作成する。ここでは、移動物体の地表面からの高さを推定したデータを、物体高さデータという。
　物体高さデータ作成部２０は、作成した物体高さデータを物体属性判定部２２に出力する。
　なお、物体高さデータにおける移動物体は、物体位置データ作成部１２で作成される物体位置データの移動物体と対応付けられており、対応関係は物体高さデータから参照できるものとする。
　物体幅データ作成部２１は、測距データ取得部１１から複数の時刻フレームにおける測距情報を取得し、移動物体のｘ軸方向およびｙ軸方向の幅を推定したデータを作成する。ここでは、移動物体のｘ軸方向およびｙ軸方向の幅を推定したデータを、物体幅データという。
　物体幅データ作成部２１は、作成した物体幅データを物体属性判定部２２に出力する。
　なお、物体幅データにおける移動物体は、物体位置データ作成部１２で作成される物体位置データの移動物体と対応付けられており、対応関係は物体幅データから参照できるものとする。
　物体属性判定部２２は、位置移動方向相関部１５から移動物体の位置および移動速度のデータ、物体高さデータ作成部２０から物体高さデータ、物体幅データ作成部２１から物体幅データを取得し、当該取得したデータに基づき、移動物体の属性を判定する。
　物体属性判定部２２は、移動物体の位置、移動速度、属性を表したデータを、表示部１６および記録部１７へ出力する。ここでは、物体属性判定部２２が出力する、移動物体の位置、移動速度、属性を表したデータを、属性付き融合データという。
　移動物体検出装置１００ｂのハードウェア構成は、実施の形態１において図５Ａ，図５Ｂを用いて説明したものと同様であるため、重複した説明を省略する。
　この実施の形態３に係る移動物体検出装置１００ｂの動作について説明する。
　図１５は、この発明の実施の形態３に係る移動物体検出装置１００ｂの動作を説明するフローチャートである。
　なお、以下の説明では、時刻ｋにおいて重心位置が測距センサ２００の観測範囲５４を通過した移動物体に対して、移動速度および属性を推定するものとする。
　測距センサ処理部１０１の測距データ取得部１１および物体位置データ作成部１２は、測距センサ２００が取得した複数の時刻フレームの測距情報から、時刻ｋに重心位置が測距センサ２００の観測範囲５４を通過した移動物体を抽出し、時刻ｋの物体位置データを作成する（ステップＳＴ１５０１）。具体的な動作は、実施の形態１で説明した図６のステップＳＴ６０１と同様である。物体位置データ作成部１２は、作成した物体位置データを、位置移動方向相関部１５に出力する。
　測距センサ処理部１０１の物体高さデータ作成部２０は、測距センサ２００が取得した複数の時刻フレームの測距情報を測距データ取得部１１から取得し、時刻ｋに重心位置が測距センサ２００の観測範囲５４を通過した移動物体について、その移動物体の地表面からの高さを算出し、時刻ｋの物体高さデータを作成する（ステップＳＴ１５０２）。
　物体高さデータ作成部２０は、各時刻フレームの測距情報から移動物体の高さを算出する方法として、例えば、前述の、特開２０１１－１０８２２３号公報に開示されている方法を用いる。当該方法では、観測範囲５４内の各移動物体の測距情報を高さ方向に分割し、各高さにおいて物体が検出された範囲を算出する方法であり、例えば、歩行者の高さを算出する場合には、歩行者が検出された高さの最大値を歩行者の高さとして算出することができる。
　物体高さデータ作成部２０は、作成した物体高さデータを物体属性判定部２２に出力する。
　測距センサ処理部１０１の物体幅データ作成部２１は、測距センサ２００が取得した複数の時刻フレームの測距情報を測距データ取得部１１から取得し、時刻ｋに重心位置が測距センサ２００の観測範囲５４を通過した移動物体について、その移動物体のｘ方向およびｙ方向の幅を算出し、時刻ｋの物体幅データを作成する（ステップＳＴ１５０３）。
　物体幅データ作成部２１は、各時刻フレームの測距情報から移動物体の幅を算出する方法として、例えば、前述の、特開２０１１－１０８２２３号公報に開示されている方法を用いる。当該方法は、観測範囲５４内の各移動物体の測距情報を距離方向に分割し、各距離方向において移動物体が検出される距離方向の最大値と最小値から歩行者の体の幅を算出することができる。また、距離方向に対して垂直な方向の幅に関しては、移動物体が連続して検出された時間から算出することができる。
　物体幅データ作成部２１は、作成した物体幅データを物体属性判定部２２に出力する。
　映像取得センサ処理部１０２は、映像取得センサ３００が取得した複数の時刻フレームの映像から、時刻ｋにおける画素速度データを作成する（ステップＳＴ１５０４）。具体的な画素速度データの作成方法は、実施の形態１で説明した図６のステップＳＴ６０２と同様である。映像取得センサ処理部１０２の画素移動方向データ作成部１４は、時刻ｋにおける画素速度データを位置移動方向相関部１５に出力する。
　位置移動方向相関部１５は、ステップＳＴ１５０１において物体位置データ作成部１２が出力した時刻ｋの物体位置データと、ステップＳＴ１５０４において画素移動方向データ作成部１４が出力した時刻ｋの画素速度データとを用いて、時刻ｋの物体位置データによって特定されている移動物体に対して、推定速度を推定し、当該移動物体に関する時刻ｋの融合データを作成する（ステップＳＴ１５０５）。具体的な動作は、実施の形態１で説明した図６のステップＳＴ６０３と同様である。
　位置移動方向相関部１５は、作成した融合データを物体属性判定部２２に出力する。
　物体属性判定部２２は、ステップＳＴ１５０２で物体高さデータ作成部２０が作成した時刻ｋの物体高さデータと、ステップＳＴ１５０３で物体幅データ作成部２１が作成した時刻ｋの物体幅データと、ステップＳＴ１５０５で位置移動方向相関部１５が作成した時刻ｋの融合データに含まれる移動物体の重心位置および推定速度とに基づき、移動物体の属性、すなわち、形状属性を判定する（ステップＳＴ１５０６）。
　例えば、移動物体として歩行者を対象とする場合、ある移動物体の高さが成人の平均的な身長以下であり、かつ、移動物体の幅が成人の典型的な体の幅以下であり、移動速度が一般的な歩行速度より速い場合、物体属性判定部２２は、当該移動物体は、形状属性が「子ども」であると判定する。なお、成人の平均的な身長、成人の典型的な体の幅、一般的な歩行速度の情報等の、形状属性の判定に必要な情報は、予め設定され、物体属性判定部２２が参照可能な場所に記憶されているものとする。
　また、例えば、移動物体として歩行者を対象とする場合、ある移動物体の高さが成人の平均的な身長以下であり、かつ、移動物体の地面付近の幅が車いすの車輪適度の大きさであり、かつ、移動速度が一般的な歩行速度より遅い場合、物体属性判定部２２は、当該移動体は、形状属性が「車椅子利用者」であると判定する。
　なお、上記では、歩行者を対象とした例を挙げたが、これに限らず、車両を対象とした車種の判定、航空機を対象とした機種の判定、船舶を対象とした船種の判定、動物を対象とした種の判定等に用いてもよい。
　物体属性判定部２２は、時刻ｋの物体位置データによって特定されている１または複数の移動物体のすべてに対して、推定速度および形状属性が推定されたか否かを判定する（ステップＳＴ１５０７）。
　ステップＳＴ１５０７において、時刻ｋの物体位置データによって特定されている１または複数の移動物体のすべてに対して、推定速度および形状属性が推定されていない場合（ステップＳＴ１５０７の“ＮＯ”の場合）、ステップＳＴ１５０５に戻る。
　ステップＳＴ１５０７において、時刻ｋの物体位置データによって特定されている１または複数の移動物体のすべてに対して、推定速度および形状属性が推定された場合（ステップＳＴ１５０７の“ＹＥＳ”の場合）、物体属性判定部２２は、ステップＳＴ１５０５～ステップＳＴ１５０６で推定された時刻ｋにおける各移動物体の位置、推定速度、形状属性と、時刻ｋ以外の時刻フレームにおける融合データから、各移動物体の相対的な位置、速度に基づく移動物体の属性を判定する（ステップＳＴ１５０８）。このステップＳＴ１５０８で判定される属性をグループ属性という。
　例えば、移動物体として歩行者を対象とする場合に、時刻ｋに重心位置が測距センサの観測範囲５４を通過した移動物体に対して、時刻ｋから一定数以内の過去または未来の時刻フレームにおいて、同じ位置かつ同じ移動方向の移動物体が一定個数以上観測されていた場合、物体属性判定部２２は、該当の時刻ｋの移動物体はグループ属性が「団体歩行者の一人」であると判定する。
　また、例えば、移動物体として歩行者を対象とする場合に、形状属性が「子ども」の移動物体に対して、その移動物体の近傍の位置、同じ移動速度、かつ形状属性が「子ども」以外の移動物体が観測されていた場合、該当する形状属性「子ども」の移動物体のグループ属性を「保護者連れの子ども」とし、該当する形状属性「子ども以外」の移動物体のグループ属性を「子ども連れの保護者」とする。
　なお、上記では、歩行者を対象とした例を挙げたが、これに限らず、車両を対象とした渋滞の判定、航空機を対象とした編隊の判定、船舶を対象とした船団の判定、動物を対象とした群れの判定等に用いてもよい。
　物体属性判定部２２は、ステップＳＴ１５０５にて推定した移動物体の位置および移動速度と、ステップＳＴ１５０６にて判定した移動物体の形状属性と、ステップＳＴ１５０８にて判定した移動物体のグループ属性とを、属性付き融合データとして表示部１６および記録部１７に出力する。
　なお、図１４における位置移動方向相関部１５の代わりに、実施の形態２で説明した移動方向仮説設定部１８と移動方向決定部１９によって移動物体の個数、位置、および、移動速度を推定してもよい。この場合、物体属性判定部２２は、移動方向決定部１９の出力をもとに、移動物体の形状属性およびグループ属性を判定する
　このように、実施の形態３によれば、測距センサ２００の測距情報と、映像取得センサ３００の映像情報をもとにした移動物体の位置および移動速度と、測距センサ２００の測距情報から算出した移動物体の高さおよび幅を用いて、移動物体の属性を判定するように構成したため、映像取得センサ３００の解像度が低い場合や、低照度によって移動物体の輪郭が映像取得センサ上で不明瞭な場合においても、移動物体の分析に有用な属性を判定することができる。
　このような構成は、例えば、歩行者における子どもの割合や、団体行動する歩行者の割合を推定する場合に有効である。歩行者の年齢構成あるいは混雑の原因となる団体歩行者の有無は、警備システムやイベント運営、市場分析等において、有用な情報であるが、可視光カメラ等の映像取得センサのみによって各歩行者の属性を判定するためには、歩行者の体の部位を映像上の輪郭から抽出する必要があり、低解像度の映像取得センサでは判定の精度が劣化する。例えば、子どもの歩行者を映像から抽出するためには、歩行者の頭部位置等を映像から抽出する必要があり、低解像度の映像からは困難である。
　一方、この実施の形態３によれば、測距センサ２００によって取得した移動物体の高さおよび幅、また、測距センサ２００と映像取得センサ３００の観測結果を融合して得られた各移動物体の位置および移動速度を用いて移動物体の属性を判定するため、映像取得センサ３００の解像度が低く移動物体の輪郭が不明確な場合においても、誤った属性を判定する確率を減らすことができる。
　また、測距センサ２００は、移動物体に対する奥行き方向の形状も観測できるため、映像取得センサ３００に比べ、移動物体の位置および速度にもとづく属性判定において誤った判定をする確率を減らすことができる。
　なお、実施の形態１において、移動物体検出装置１００は、図４で示すような構成としたが、移動物体検出装置１００は、物体位置データ作成部１２と、画素移動方向データ作成部１４と、位置移動方向相関部１５とを備えることにより、上述したような効果が得られるものである。
　ところで上記説明は、移動物体として歩行者を検出する場合について述べたが、移動物体として自動車、自転車、車椅子、鉄道車両、航空機、船舶、ヒト以外の動物、ロボット等を検出する場合についてもこの発明を利用できることは明らかである。
　また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る移動物体検出装置は、１箇所に設置された１台のカメラと１台のレーザセンサとによって、移動物体の個数、位置、移動方向を精度よく推定することができるように構成したため、歩行者等の移動物体の個数、位置、および、移動方向を含む移動速度を推定する移動物体検出装置等に適用することができる。
　１１　測距データ取得部、１２　物体位置データ作成部、１３　映像取得部、１４　画素移動方向データ作成部、１５　位置移動方向相関部、１６　表示部、１７　記録部、１８　移動方向仮説設定部、１９　移動方向決定部、２０　物体高さデータ作成部、２１　物体属性判定部、５３，５４　観測範囲、６１　物体重心位置、６２，６５，６７ａ，６７ｂ，６７ｃ，６９ａ，６９ｂ，６９ｃ　画素速度、６３　物体サイズ、６６ａ，６６ｂ，６６ｃ，６８ａ，６８ｂ，６８ｃ　物体位置推定値、１００，１００ａ，１００ｂ　移動物体検出装置、１０１　測距センサ処理部、１０２　映像取得センサ処理部、１０３　融合処理部、２００　測距センサ、３００　映像取得センサ、５０１　処理回路、５０２　ＨＤＤ、５０３　ディスプレイ、５０４　入力インタフェース装置、５０５　出力インタフェース装置、５０６　メモリ、５０７　ＣＰＵ。

Claims (5)

  1. 　測距センサで測定された測距情報に基づき、移動物体の位置座標を算出する物体位置データ作成部と、
    　映像取得センサで撮影された映像情報に基づき、映像上の領域それぞれの推定移動方向を算出する画素移動方向データ作成部と、
    　前記位置座標および前記推定移動方向に基づき、前記移動物体の個数および移動方向を推定する位置移動方向相関部
    　とを備えた移動物体検出装置。
  2. 　測距センサで測定された測距情報に基づき、移動物体の位置座標を算出する物体位置データ作成部と、
    　映像取得センサで撮影された映像情報に基づき、映像上の領域それぞれの推定移動方向を算出する画素移動方向データ作成部と、
    　前記位置座標および前記推定移動方向に基づき、移動物体について、複数の移動方向仮説を設定する移動方向仮説設定部と、
    　前記複数の移動方向仮説に基づき、前記移動物体の個数および移動方向を決定する移動方向決定部
    　とを備えた移動物体検出装置。
  3. 　前記移動方向決定部は、
    　前記複数の移動方向仮説の尤度をそれぞれ算出し、前記尤度に基づき前記移動物体の移動方向を決定する
    　ことを特徴とする請求項２記載の移動物体検出装置。
  4. 　前記測距情報に基づき、前記移動物体の高さを算出する物体高さデータ作成部と、
    　前記測距情報に基づき、前記移動物体の幅を算出する物体幅データ作成部と、
    　前記移動物体の高さおよび幅と、前記移動物体が複数存在する場合は前記移動物体間の相対的な位置関係と、前記移動物体間の相対的な移動方向とに基づき、前記移動物体の属性を判定する物体属性判定部とをさらに備えた
    　ことを特徴とする請求項１記載の移動物体検出装置。
  5. 　前記測距情報に基づき、前記移動物体の高さを算出する物体高さデータ作成部と、
    　前記測距情報に基づき、前記移動物体の幅を算出する物体幅データ作成部と、
    　前記移動物体の高さおよび幅と、前記移動物体が複数存在する場合は前記移動物体間の相対的な位置関係と、前記移動物体間の相対的な移動方向とに基づき、前記移動物体の属性を判定する物体属性判定部とをさらに備えた
    　ことを特徴とする請求項２記載の移動物体検出装置。
PCT/JP2016/070943 2016-07-15 2016-07-15 移動物体検出装置 WO2018011964A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018515317A JP6351917B2 (ja) 2016-07-15 2016-07-15 移動物体検出装置
PCT/JP2016/070943 WO2018011964A1 (ja) 2016-07-15 2016-07-15 移動物体検出装置
TW105132825A TW201804445A (zh) 2016-07-15 2016-10-12 移動物體檢測裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/070943 WO2018011964A1 (ja) 2016-07-15 2016-07-15 移動物体検出装置

Publications (1)

Publication Number Publication Date
WO2018011964A1 true WO2018011964A1 (ja) 2018-01-18

Family

ID=60951985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070943 WO2018011964A1 (ja) 2016-07-15 2016-07-15 移動物体検出装置

Country Status (3)

Country Link
JP (1) JP6351917B2 (ja)
TW (1) TW201804445A (ja)
WO (1) WO2018011964A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042029A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 障害物速度の検出方法、障害物速度の検出装置、コンピュータ機器、記憶媒体及び車両
CN112262028A (zh) * 2018-06-11 2021-01-22 松下知识产权经营株式会社 测距系统及测距方法
JP6952933B1 (ja) * 2020-10-08 2021-10-27 三菱電機株式会社 空調制御装置及び空調制御方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163110B (zh) * 2021-03-05 2022-04-08 北京宙心科技有限公司 一种人流密度分析系统及分析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1062546A (ja) * 1996-08-26 1998-03-06 Matsushita Electric Works Ltd 複合型赤外線人体検知装置
JPH1079012A (ja) * 1996-09-04 1998-03-24 Matsushita Electric Ind Co Ltd 通過人数検知装置
JP2005025590A (ja) * 2003-07-04 2005-01-27 Minolta Co Ltd 計数システム
JP2013175049A (ja) * 2012-02-24 2013-09-05 Toshiba Elevator Co Ltd エレベータの人数計測装置、これを備えるエレベータ、および複数のエレベータがそれぞれ人数計測装置を備えるエレベータシステム
US20150221094A1 (en) * 2011-09-23 2015-08-06 Shoppertrak Rct Corporation System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
JP2015203912A (ja) * 2014-04-11 2015-11-16 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1062546A (ja) * 1996-08-26 1998-03-06 Matsushita Electric Works Ltd 複合型赤外線人体検知装置
JPH1079012A (ja) * 1996-09-04 1998-03-24 Matsushita Electric Ind Co Ltd 通過人数検知装置
JP2005025590A (ja) * 2003-07-04 2005-01-27 Minolta Co Ltd 計数システム
US20150221094A1 (en) * 2011-09-23 2015-08-06 Shoppertrak Rct Corporation System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
JP2013175049A (ja) * 2012-02-24 2013-09-05 Toshiba Elevator Co Ltd エレベータの人数計測装置、これを備えるエレベータ、および複数のエレベータがそれぞれ人数計測装置を備えるエレベータシステム
JP2015203912A (ja) * 2014-04-11 2015-11-16 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112262028A (zh) * 2018-06-11 2021-01-22 松下知识产权经营株式会社 测距系统及测距方法
CN112262028B (zh) * 2018-06-11 2024-03-15 松下知识产权经营株式会社 测距系统及测距方法
JP2020042029A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 障害物速度の検出方法、障害物速度の検出装置、コンピュータ機器、記憶媒体及び車両
JP6952933B1 (ja) * 2020-10-08 2021-10-27 三菱電機株式会社 空調制御装置及び空調制御方法

Also Published As

Publication number Publication date
TW201804445A (zh) 2018-02-01
JPWO2018011964A1 (ja) 2018-08-16
JP6351917B2 (ja) 2018-07-04

Similar Documents

Publication Publication Date Title
Liu et al. A novel real-time moving target tracking and path planning system for a quadrotor UAV in unknown unstructured outdoor scenes
Zhu et al. The multivehicle stereo event camera dataset: An event camera dataset for 3D perception
US11461912B2 (en) Gaussian mixture models for temporal depth fusion
Yin et al. Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments
Berrio et al. Camera-LIDAR integration: Probabilistic sensor fusion for semantic mapping
EP3159121A1 (en) Device for updating map of mobile robot and method therefor
EP3159125A1 (en) Device for recognizing position of mobile robot by using direct tracking, and method therefor
US8712096B2 (en) Method and apparatus for detecting and tracking vehicles
US20150356357A1 (en) A method of detecting structural parts of a scene
CN109791696A (zh) 利用事件摄像机同时进行定位和映射
JP6351917B2 (ja) 移動物体検出装置
EP3159126A1 (en) Device and method for recognizing location of mobile robot by means of edge-based readjustment
EP3159122A1 (en) Device and method for recognizing location of mobile robot by means of search-based correlation matching
Levinson Automatic laser calibration, mapping, and localization for autonomous vehicles
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
AU2021255130B2 (en) Artificial intelligence and computer vision powered driving-performance assessment
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
McManus et al. Distraction suppression for vision-based pose estimation at city scales
JP2011513876A (ja) 物体の動作を特徴づけるための方法およびシステム
Huch et al. Quantifying the lidar sim-to-real domain shift: A detailed investigation using object detectors and analyzing point clouds at target-level
Song et al. Calibration of event-based camera and 3d lidar
Irmisch et al. Robust visual-inertial odometry in dynamic environments using semantic segmentation for feature selection
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
Loktev et al. Image Blur Simulation for the Estimation of the Behavior of Real Objects by Monitoring Systems.
Schilling et al. Mind the gap-a benchmark for dense depth prediction beyond lidar

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018515317

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16908865

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16908865

Country of ref document: EP

Kind code of ref document: A1