WO2020105226A1 - 情報処理装置、情報処理システム、および情報処理方法 - Google Patents

情報処理装置、情報処理システム、および情報処理方法

Info

Publication number
WO2020105226A1
WO2020105226A1 PCT/JP2019/030324 JP2019030324W WO2020105226A1 WO 2020105226 A1 WO2020105226 A1 WO 2020105226A1 JP 2019030324 W JP2019030324 W JP 2019030324W WO 2020105226 A1 WO2020105226 A1 WO 2020105226A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
information
body information
behavior
degree
Prior art date
Application number
PCT/JP2019/030324
Other languages
English (en)
French (fr)
Inventor
晃志 生田目
山本 信一
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2020558084A priority Critical patent/JP7428136B2/ja
Publication of WO2020105226A1 publication Critical patent/WO2020105226A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/015Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed

Definitions

  • the present invention relates to an information processing device, an information processing system, and an information processing method.
  • Patent Document 1 and Patent Document 2 there is a technique for determining a predefined abnormal behavior of the behavior of a person or a vehicle based on the position, speed, movement locus, etc. of the person or the vehicle. It is disclosed.
  • Patent Document 1 and Patent Document 2 have a problem that it is not possible to find an unknown abnormal behavior other than the predefined abnormal behavior.
  • the present invention has been made in view of the above circumstances, and regarding an action of a person or a vehicle, an information processing device, an information processing system, and an information processing device that can find an unknown abnormal action other than a predefined abnormal action
  • the purpose is to provide a method.
  • a position information acquisition unit that acquires time-series position information of an object within a predetermined area, a moving-body information acquisition unit that analyzes time-series position information of the object, and generates moving-object information of the object, Based on the moving body information storage unit that stores the moving body information of the object and the moving body information of the one object stored in the moving body information storage unit, the degree of unsteady behavior of the one object in the predetermined region And a survey processing unit that outputs information regarding the degree of unsteady behavior of the one object based on the determination result.
  • the survey processing unit performs statistical analysis using moving body information of the one object and moving body information of a plurality of other objects stored in the moving body information storage unit, and the statistical analysis is performed.
  • the information processing apparatus according to (1) above which determines the degree of unsteady behavior of the one object based on the result of (1) and outputs information regarding the degree of unsteady behavior of the one object.
  • the survey processing unit performs inference processing by a neural network using an inference processing parameter generated by learning the degree of unsteady behavior of the object based on the moving body information stored in the moving body information storage unit.
  • the survey processing unit performs inference processing by a neural network using inference processing parameters generated by learning the degree of steady behavior of the object based on the moving body information stored in the moving body information storage unit.
  • the information processing apparatus according to (1) above which determines the degree of unsteady behavior of the one object based on the information processing apparatus.
  • the moving body information acquisition unit Any one of (1) to (4) above, wherein at least one of a locus of movement of the object, a velocity, an acceleration, a size, a type, a cumulative movement amount, and a stay time is acquired as the moving body information of the object.
  • the information processing device according to one.
  • the survey processing unit outputs information regarding a degree of unsteady behavior of the one object based on a deviation of the moving body information of the one object with respect to a plurality of other moving body information, the above (1) ) To (5), the information processing device.
  • the survey processing unit performs statistical analysis on a population consisting of a plurality of pieces of moving body information data stored in the moving body information storage unit, and a moving body of the one object from a predetermined value in the population.
  • a population consisting of a plurality of pieces of moving body information data stored in the moving body information storage unit, and a moving body of the one object from a predetermined value in the population.
  • the survey processing unit includes an action estimation unit that estimates the action of the object in the predetermined region based on the action classification defined in advance according to the type of the object and the moving object information of the object.
  • the information processing apparatus according to any one of (1) to (7) above.
  • the survey processing unit calculates an abnormality score indicating whether the behavior of the object is normal or abnormal as the degree of the unsteady behavior, any one of (1) to (8) above.
  • the laser light is emitted toward the predetermined area so as to scan, the reflected light from the predetermined area is received, and the distance measurement point cloud data in the predetermined area is obtained based on the light reception signal of the reflected light.
  • a sensor unit for generating, based on the distance measuring point cloud data, a position information acquisition unit for acquiring time-series position information of an object in a predetermined region, and analyzing time-series position information of the object,
  • a moving body information acquisition unit that generates moving body information, a moving body information storage unit that stores the moving body information of a plurality of objects, and stored in the moving body information storage unit, based on the moving body information of one object,
  • An information processing system comprising: a survey processing unit that determines a degree of unsteady behavior of the one object within a predetermined area, and outputs information regarding a degree of unsteady behavior of the one object based on the determination result. ..
  • the survey processing unit performs statistical analysis using the moving body information of the one object and the moving body information of the other plurality of objects stored in the moving body information storage unit, and the statistical analysis is performed.
  • step (a) of obtaining time-series position information of the object within a predetermined area and a step (b) of analyzing the time-series position information of the object to generate moving body information of the object.
  • step (c) a statistical analysis is performed using the moving body information of the one object and the moving body information of a plurality of other objects stored in the moving body information storage unit, and the statistical analysis is performed.
  • At least one of a locus of movement of the object, a velocity, an acceleration, a size, a type, a cumulative movement amount, and a stay time is acquired as the moving body information of the object, (12) or (13) above.
  • Information processing method At least one of a locus of movement of the object, a velocity, an acceleration, a size, a type, a cumulative movement amount, and a stay time is acquired as the moving body information of the object, (12) or (13) above.
  • step (c) information regarding the degree of unsteady behavior of the one object is output based on a deviation of the moving body information of the one object with respect to a plurality of other moving body information.
  • the information processing method according to any one of 12) to (14).
  • step (c) statistical analysis is performed on a population consisting of a plurality of pieces of moving body information data stored in the moving body information storage unit, and the moving body of the one object from a predetermined value in the population is analyzed.
  • the deviation of the information is within the predetermined range, it is determined that the action of the object is a steady action, while when the deviation is outside the predetermined range, the action of the object is determined as the non-steady action.
  • step (c) a step of estimating the action of the object in the predetermined region based on the action classification defined in advance according to the type of the object and the moving body information of the object (d)
  • step (c) As the degree of the unsteady behavior, an abnormality score indicating whether the behavior of the object is normal or abnormal is calculated. Any one of the above (12) to (17) The information processing method described in 1.
  • the present invention based on the moving body information of the moving body of interest and other moving body information accumulated in the storage unit, information regarding the degree of unsteady behavior of the object within the predetermined area is output. Therefore, it is possible to find an unknown abnormal behavior other than the predefined abnormal behavior regarding the behavior of the person or the vehicle.
  • FIG. 7 is a schematic diagram showing information acquired in the process shown in FIG. 6 and a specific example thereof.
  • FIG. 3 is a schematic view of a pedestrian walking on a sidewalk and a meandering vehicle as viewed from above as an example of moving body detection in a rider's monitoring area.
  • 7 is a subroutine flowchart for explaining a process (step S103) of “estimating steady / unsteady behavior of a moving body” shown in FIG. 6. It is a graph which illustrates the statistical analysis result regarding the moving body information of a vehicle. It is a graph which illustrates the statistical analysis result regarding the moving body information of a vehicle. It is a chart which illustrates the processing result by a processing server. It is a schematic diagram which shows the user input example / output example of a processing server.
  • FIG. 1 is a block diagram showing the configuration of an information processing system 10 according to an embodiment.
  • FIG. 2 is a schematic diagram showing a pedestrian and a vehicle as moving bodies in the rider's monitoring area.
  • the vertical direction is the Y'direction
  • the traveling direction of the vehicle is the Z'direction
  • the direction orthogonal to these Y'and Z'directions is the X'direction.
  • the information processing system 10 includes an input unit (sensor unit) 100, a processing server (information processing device) 200, and a monitor unit 300.
  • the processing server 200 is, for example, a computer, and includes a CPU (Central Processing Unit), memory (semiconductor memory, magnetic recording medium (hard disk, etc.)), input / output unit (display, keyboard, speaker, etc.), communication I / F (interface). ) And the like.
  • the communication I / F is an interface for communicating with an external device.
  • a network interface according to standards such as Ethernet (registered trademark), SATA, PCI Express, USB, and IEEE 1394 may be used.
  • a wireless communication interface such as Bluetooth (registered trademark), IEEE 802.11, or 4G may be used for communication.
  • the input unit 100 includes a LiDAR (Light Detection and Ranging) 110 (see FIG. 3).
  • LiDAR Light Detection and Ranging
  • the input unit 100 is arranged so as to face a monitoring area 402 (a predetermined area indicated by a broken line) from a predetermined height by a pillar 401 standing at a predetermined position beside the road 400.
  • the monitoring area 402 is a three-dimensional area including, for example, a road 400 on which a person 600 or a vehicle 700 travels.
  • the input unit 100 measures the distance to an object (for example, a person 600 or a vehicle 700) in the monitoring area 402 by the rider 110, and generates distance measurement point cloud data indicating a distribution of distance values in the monitoring area 402.
  • FIG. 3 is a sectional view showing a schematic configuration of the rider 110.
  • the rider 110 has a light emitting / receiving unit 111 and a distance measuring point cloud data generation unit 112.
  • the light projecting / receiving unit 111 has a semiconductor laser 51, a collimator lens 52, a mirror unit 53, a lens 54, a photodiode 55, a motor 56, and a housing 57 that houses each of these components.
  • the light projecting / receiving unit 111 outputs a light receiving signal of each pixel obtained by scanning the inside of the surveillance space of the lidar 110 with the laser spot light 500.
  • the distance measurement point cloud data generation unit 112 generates distance measurement point cloud data based on the received light signal. This distance measuring point group data is also called a distance image or a distance map.
  • the semiconductor laser 51 emits a pulsed laser beam.
  • the collimator lens 52 converts the divergent light from the semiconductor laser 51 into parallel light.
  • the mirror unit 53 scans and projects the laser light collimated by the collimator lens 52 toward the monitoring area by the rotating mirror surface, and reflects the reflected light from the object.
  • the lens 54 collects the reflected light from the object reflected by the mirror unit 53.
  • the photodiode 55 receives the light condensed by the lens 54 and has a plurality of pixels arranged in the Y direction.
  • the motor 56 rotationally drives the mirror unit 53.
  • the distance measurement point cloud data generation unit 112 obtains distance information (distance value) according to the time difference between the emission timing of the semiconductor laser 51 and the light reception timing of the photodiode 55.
  • the distance measurement point cloud data generation unit 112 is composed of a CPU and a memory, and executes various programs by executing a program stored in the memory to obtain distance measurement point cloud data.
  • a dedicated hardware circuit for data generation may be provided.
  • the distance measurement point group data generation unit 112 may be integrated with the position information acquisition unit 210 (described later) as one function of the processing server 200 described above.
  • the semiconductor laser 51 and the collimator lens 52 constitute the emitting section 501
  • the lens 54 and the photodiode 55 constitute the light receiving section 502.
  • the optical axes of the emitting section 501 and the light receiving section 502 are preferably orthogonal to the rotation axis 530 of the mirror unit 53.
  • the box-shaped casing 57 fixedly installed on the rigid wall 91 or the like arranged at the tip of the column 401 includes an upper wall 57a, a lower wall 57b facing the upper wall 57a, an upper wall 57a and a lower wall 57b. And a side wall 57c that connects with.
  • An opening 57d is formed in a part of the side wall 57c, and a transparent plate 58 is attached to the opening 57d.
  • the mirror unit 53 has a shape in which two quadrangular pyramids are joined in the opposite direction and integrated, that is, four pairs of mirror surfaces 531a and 531b tilted in a pair to face each other (but not limited to four pairs). ) I have.
  • the mirror surfaces 531a and 531b are preferably formed by depositing a reflective film on the surface of a resin material (for example, PC (polycarbonate)) in the shape of a mirror unit.
  • the mirror unit 53 is connected to a shaft 56a of a motor 56 fixed to a housing 57 and is rotationally driven.
  • the axis (rotation axis) of the shaft 56a extends in the Y direction, which is the vertical direction, and is formed by the X and Z directions orthogonal to the Y direction.
  • the XZ plane is a horizontal plane, the axis of the shaft 56a may be inclined with respect to the vertical direction.
  • FIG. 2 and FIG. 8 described later show an X′Y′Z ′ space in which the XYZ space of the rider 110 is coordinate-converted in correspondence with the direction of the road (the traveling direction of the vehicle).
  • the Y'direction is the vertical direction
  • the Z'direction is parallel to the road extension direction
  • the X'direction is the direction orthogonal to them.
  • the divergent light emitted intermittently in a pulse form from the semiconductor laser 51 is converted into a parallel light flux by the collimator lens 52 and is incident on the first mirror surface 531a of the rotating mirror unit 53. After that, after being reflected by the first mirror surface 531a and further reflected by the second mirror surface 531b, the light is transmitted as a laser spot light having a vertically long rectangular cross section toward the external measurement space through the transparent plate 58. Be illuminated.
  • the direction in which the laser spot light is emitted and the direction in which the emitted laser spot light is reflected by the object and returns as reflected light overlap, and these two overlapping directions are called the light projecting and receiving directions.
  • Laser spot light traveling in the same light emitting / receiving direction is detected by the same pixel.
  • FIG. 4 is a diagram showing a state in which a laser spot light 500 (shown by hatching) emitted according to the rotation of the mirror unit 53 scans the inside of the monitoring area.
  • the four pairs have different crossing angles.
  • the laser light is sequentially reflected by the rotating first mirror surface 531a and second mirror surface 531b.
  • the laser light reflected by the first mirror surface 531a and the second mirror surface 531b of the first pair moves in the horizontal direction ("main scanning direction") in the uppermost region Ln1 of the measurement space in accordance with the rotation of the mirror unit 53.
  • the laser light reflected by the first mirror surface 531a and the second mirror surface of the 4th pair moves horizontally in the lowermost region Ln4 of the measurement space from left to right in accordance with the rotation of the mirror unit 53.
  • To be scanned. This completes one scan of the entire measurement space that can be measured by the lidar 110.
  • One frame 900 is obtained by combining the images obtained by scanning the regions Ln1 to Ln4. Then, after the mirror unit 53 makes one rotation, it returns to the first mirror surface 531a and the second mirror surface 531b of the pair 1 again, and thereafter, scanning from the top region Ln1 to the bottom region Ln4 of the measurement space is performed. (This vertical direction is also referred to as “sub-scanning direction”) is repeated to obtain the next frame 900.
  • the distance measurement point cloud data generation unit 112 obtains distance information according to the time difference between the emission timing of the semiconductor laser 51 and the light reception timing of the photodiode 55. This makes it possible to detect an object in the entire area of the monitoring space and obtain a frame 900 (see FIG. 4) as distance measuring point group data having distance information for each pixel. Further, according to a user's instruction, the obtained distance measuring point cloud data may be stored as background image data in the memory within the distance measuring point cloud data generation unit 112 or the memory of the processing server 200.
  • the processing server 200 includes a position information acquisition unit 210, a moving body information acquisition unit 220, a storage unit 230, and a survey processing unit 240.
  • the CPU of the processing server 200 described above functions as the moving body information acquisition unit 220 and the survey processing unit 240
  • the memory functions as the storage unit 230
  • the communication I / F functions as the position information acquisition unit 210.
  • the position information acquisition unit 210 detects a moving body in the monitoring area based on the distance measurement point cloud data generated by the input unit 100, and acquires time-series position information in which the positions of the moving body are arranged in time series.
  • the background subtraction method is adopted.
  • a background image generated and stored in advance is used.
  • the laser spot light 500 is scanned from the lidar 110 in a state where no moving object such as a person or a vehicle exists according to a user's instruction.
  • a background image can be obtained based on the reflected light obtained from the background object 92.
  • a pedestrian 600 for example, appears as an object of the behavior analysis target in front of the background object 92, reflected light from the pedestrian 600 is newly generated.
  • the position information acquisition unit 210 has a function of detecting a moving body.
  • the position information acquisition unit 210 compares the background image data stored in the memory with the current distance measuring point cloud data, and if there is a difference, some moving body (object) such as a pedestrian is present in the monitoring space. You can recognize that it has appeared.
  • the foreground data is extracted by using the background subtraction method to compare the background data with the current distance measuring point cloud data.
  • the pixels (pixel group) of the extracted foreground data are divided into clusters according to the distance information of the pixels, for example.
  • the size of each cluster is calculated. For example, vertical dimension, horizontal dimension, total area, etc. are calculated.
  • the “size” here is an actual size, and unlike the apparent size (angle of view, that is, the spread of pixels), the cluster of pixel groups is determined according to the distance to the object.
  • the position information acquisition unit 210 determines whether or not the calculated size is equal to or smaller than a predetermined size threshold value for specifying the moving object to be analyzed which is the extraction target.
  • the size threshold can be arbitrarily set depending on the measurement location, the behavior analysis target, and the like. For example, if pedestrians are tracked and their behavior is analyzed, the minimum value of the size of a normal person may be used as the size threshold value for clustering. On the contrary, if all moving objects are tracked, the size threshold may be set to a value smaller than this. Similarly, for an object larger than a person, for example, a vehicle, a size threshold for the vehicle can be obtained.
  • the center value or the center of gravity value of the clustered moving body may be used, and if the moving body is clustered by a rectangle, the center of the rectangle may be used as the position of the moving body.
  • the measured positions of the moving objects are arranged, for example, in ascending order of time, or in order of increasing elapsed time based on the date and time when the measurement by the rider 110 was started, and are transmitted to the moving object information acquisition unit 220 as time-series position information. ..
  • the time-series position information includes, for example, information on the position of the moving body in the three-dimensional space in the monitoring area and the time or elapsed time at which the moving body was measured.
  • the moving body information acquisition unit 220 analyzes the time-series position information of the moving body and generates information about the moving body (hereinafter referred to as “moving body information”).
  • the moving body information is objective information based on the time-series position information of the moving body. For example, the date and time, the position of the moving body, the locus of movement, the speed, the acceleration, the size, the type, the cumulative movement amount in the X ′ direction (hereinafter, It includes "cumulative movement amount X '", cumulative movement amount in the Z'direction (hereinafter referred to as “cumulative movement amount Z'"), and staying time (see FIG. 7).
  • the locus of movement of the moving body is obtained, for example, as a set of positions of the moving body in the time zone in which the moving body stays in the monitoring area, and the velocity of the moving body is the position of the moving body per unit time in a predetermined section in the monitoring area. Is calculated as the change amount of The acceleration is obtained as the amount of change in the velocity of the moving body per unit time. Further, the cumulative movement amount X ′ and the cumulative movement amount Z ′ of the moving body are cumulative movement amounts in the X ′ direction and the Z ′ direction, respectively, during the time zone in which the moving body stays in the monitoring area, and the staying time is This is the time zone during which the moving body stays in the surveillance area.
  • the moving body information acquisition unit 220 determines the type of each moving body by checking whether or not each moving body is applicable to the object classification.
  • the object classification includes, for example, people (pedestrians), vehicles (four-wheeled vehicles, two-wheeled vehicles, trucks), fallen objects, and the like. More specifically, the moving body information acquisition unit 220 determines the type of moving body by comparing the size, aspect ratio, etc. of the clustered moving body with reference data for each object classification.
  • the object classification and its reference data are input by the user in advance and stored in the storage unit 230.
  • the moving body information acquired by the moving body information acquisition unit 220 is stored in the storage unit (moving body information storage unit) 230. When the plurality of moving bodies pass through the monitoring area, the plurality of moving body information is accumulated in the storage unit 230.
  • the survey processing unit 240 Based on the moving body information of each moving body, the survey processing unit 240 estimates the behavior of each moving body in the monitoring area, that is, what kind of behavior each moving body has taken in the monitoring area, and the behavior of each moving body is estimated. It is determined whether the behavior is a steady behavior or a non-steady behavior.
  • the survey processing unit 240 provides the pedestrian and the driver of the vehicle with a driver in order to secure an action according to traffic rules or safe road traffic on a road such as an ordinary road or an expressway. It is assumed that the required behavior is protected by the majority of pedestrians and vehicle drivers, and behaviors outside the majority are judged as non-steady behaviors. As a result, it is possible to detect an action that violates the traffic rules or an action that is not preferable for securing safe road traffic, that is, an unsteady action that deviates from the actions of the majority of pedestrians (or vehicles).
  • FIG. 5 is an example of time-series position information data at each time of the moving body detected by the distance measurement point cloud data.
  • Each detected moving body is managed by a moving body ID.
  • the survey processing unit 240 has a behavior estimation unit 241, a behavior determination unit 242, and a determination result output unit 243 (see FIG. 1).
  • the behavior estimation unit 241 analyzes the behavior of each moving body by analyzing the moving body information of each moving body, and acquires information regarding the behavior of each moving body (hereinafter, “behavior information”). More specifically, the behavior estimation unit 241 determines whether or not the moving characteristics of each moving body represented by the moving body information apply to an action defined in advance in the action classification, and the determination result of each moving body is determined. Acquire as action information.
  • the action classification includes, for example, walking, entry of a person into a roadway, crossing a roadway, and the like in the case of a vehicle, such as normal running, reverse running, overspeed, U-turn, stop, meandering, etc. Can be The action classification is input in advance by the user and stored in the storage unit 230. Further, the action information acquired by the action estimation unit 241 is stored in the storage unit 230.
  • the action determination unit 242 determines whether the action of the moving body is a steady action or a non-steady action. More specifically, the action determination unit 242 focuses on one piece of moving body information among the plurality of pieces of moving body information stored in the storage unit 230, and sets the moving body information of the moving body of interest on the other moving body information. The "deviation" is calculated. The behavior determination unit 242 calculates the “deviation” one by one for each moving object detected within the extraction period. Note that, with respect to the moving body information acquired based on the distance measurement point cloud data measured by the rider 110 in real time, it is also possible to calculate the deviation with respect to the plurality of moving body information accumulated in the storage unit 230. Then, the behavior determination unit 242 determines whether the behavior of the moving body of interest is the steady behavior or the non-steady behavior based on this deviation. A specific method of calculating the deviation will be described later.
  • the determination result output unit 243 outputs information regarding the degree of unsteady behavior of the moving body based on the determination result of the behavior determination unit 242.
  • the determination result output unit 243 can also output an abnormality score based on the above-described deviation calculated by the action determination unit 242.
  • the abnormal score is a numerical score that indicates whether the moving body is normal or abnormal. The higher the score, the higher the possibility of abnormal behavior.
  • the determination result and the abnormality score are transmitted to the monitor unit 300.
  • the monitor unit 300 has a display, and displays the determination result of the behavior determination unit 242 and / or the abnormality score on the display.
  • the monitor unit 300 may include a speaker, and the determination result and / or the abnormality score may be output by voice from the speaker.
  • the monitor unit 300 has a storage unit and an output terminal to the printer, and can accumulate the determination result and / or the abnormality score as a report in the storage unit and output it to the printer as necessary.
  • FIG. 6 is a flowchart illustrating the information processing method according to the embodiment of the present invention.
  • the processing shown in FIG. 6 is realized by the CPU of the processing server 200 executing the control program.
  • FIG. 7 is a schematic diagram showing the information acquired in the process shown in FIG. 6 and a specific example thereof
  • FIG. 8 is a meandering example for detecting a moving object in the surveillance area of the rider and meandering with a pedestrian walking on a sidewalk. It is the schematic diagram which looked at the vehicle which looked at from the upper part.
  • the time series position information of the moving body is acquired (step S101).
  • the position information acquisition unit 210 detects a moving object in the monitoring area based on the distance measuring point cloud data acquired by the rider 110, and outputs time-series position information of each moving object. For example, as shown in FIG. 8, for the person (pedestrian) 600 as a moving body and the vehicle 700, as shown in FIG. 8, the person 600 at the time t0, the person 700 at the time t1, the person 601 at the time t1, and the person 701 at the vehicle 701, t2. The position information of the vehicle 602 and the position information of the vehicle 702 are acquired.
  • the moving body information acquisition unit 220 analyzes the time-series position information of each moving body, generates moving body information of each moving body, and stores the moving body information in the storage unit 230. For example, the moving body information acquisition unit 220 determines the types of the person (pedestrian) 600 and the vehicle 700 and acquires the movement trajectory as the moving body information. In the example shown in FIG. 8, between time t0 and time t1, the person 600 moves on the movement locus indicated by reference numerals 600 to 602, and the vehicle 700 moves on the movement locus indicated by reference numerals 700 to 702. ..
  • the behavior estimation unit 241 analyzes the behavior of each moving body by analyzing the moving body information, and acquires the behavior information of each moving body. More specifically, the behavior estimation unit 241 determines that the person 600 is walking on the sidewalk 403 in the Z ′ direction based on the characteristics of the movement trajectory of the person 600 in light of the behavior classification of FIG. 7. It is determined that the vehicle 700 is traveling on the road 404 in the Z ′ direction based on the characteristics of the movement trajectory of the vehicle 700. Further, since the vehicle 700 is traveling in the left lane in the traveling direction at the time t0, the behavior estimating unit 241 travels out of the lane at the time t1 and returns to the left lane again at the time t2. It is determined that the vehicle 700 meanders during the time period from time t0 to time t2.
  • the behavior determination unit 242 performs statistical analysis using, for example, a plurality of moving body information accumulated in the storage unit 230 as a population, and calculates a deviation from a predetermined value in the population for the moving body information of the moving body of interest. To do.
  • the predetermined value includes, for example, an average value, an average value, a variance, or a value evaluated by 3 ⁇ .
  • the behavior determination unit 242 determines that the behavior of the moving body is a stationary behavior when the shift of the moving body information of the moving body of interest is within a predetermined range, while the behavior determination unit 242 determines that the movement of the moving body is outside the predetermined range when the shift is outside the predetermined range.
  • the behavior of is determined to be an unsteady behavior. A specific procedure for determining the steady / unsteady behavior of the moving body will be described later. Further, the behavior determination unit 242 calculates an abnormality score as needed.
  • the determination result output unit 243 outputs the determination result of the action determination unit 242 to the monitor unit 300. Further, the determination result output unit 243 outputs the abnormality score to the monitor unit 300 based on the deviation calculated by the action determination unit 242.
  • the monitor unit 300 displays on the display that the action of the moving body of interest is a steady action or a non-steady action according to the determination result. Further, the monitor unit 300 displays the abnormality score on the display as necessary.
  • time-series position information of the moving body in the monitoring area is acquired, time-series position information of the moving body is analyzed, and moving body information of the moving body is acquired. Then, based on the moving body information of one moving body stored in the storage unit 230 or acquired in real time and the other moving body information stored in the storage unit 230, the moving body of the one moving body in the monitoring area is detected. Outputs information about the degree of unsteady behavior.
  • the information regarding the degree of non-stationary behavior of a moving object may include information that numerically represents the determination result of the non-steady-state behavior / steady-state behavior of the moving body, and the steady / unsteadyness of the behavior of the moving body.
  • FIG. 9 is a subroutine flowchart for explaining the process (step S104) of “estimating the steady / unsteady behavior of the moving body” shown in FIG.
  • the processing illustrated in FIG. 9 is realized by the CPU of the processing server 200 executing the control program.
  • FIG. 10A and FIG. 10B are graphs which illustrate the statistical analysis result regarding the moving body information of a vehicle.
  • FIG. 10A is a graph illustrating the distribution when the horizontal axis is the cumulative movement amount X ′ and the vertical axis is the stay time
  • FIG. 10B is the graph when the horizontal axis is the cumulative movement amount Z ′ and the vertical axis is the stay time. It is a graph which illustrates distribution.
  • “•” represents each sample.
  • step S201 statistical analysis is performed on the moving body information stored in the storage unit 230 (step S201).
  • the behavior determination unit 242 extracts, for example, n pieces of moving body information samples from a population composed of a plurality of pieces of moving body information data stored in the storage unit 230, and calculates a standard deviation ⁇ of the moving body information.
  • the population is preferably set within several hours before and after the moving body of interest appears.
  • the number of samples n is sufficiently large for statistical analysis.
  • the standard deviation ⁇ is calculated for each moving body information.
  • the stationary / unsteady behavior of the moving body is estimated by using the cumulative moving amount X ′, the cumulative moving amount Z ′, and the stay time as the moving body information.
  • the cumulative movement amount X ′, the cumulative movement amount Z ′, and the standard deviation of the stay time are represented as ⁇ X , ⁇ Z, and ⁇ T , respectively.
  • ⁇ X , ⁇ Z, and ⁇ T are represented as ⁇ .
  • reference numeral 800 represents a range of samples in which the residence time is out of the first predetermined range (for example, 3 ⁇ T ).
  • the samples 801 and 802 are samples in which the staying time is out of the first predetermined range.
  • reference numeral 820 represents a range of samples in which the cumulative movement amount X ′ is outside the second predetermined range (for example, 3 ⁇ X ), and in FIG. 10B, reference numeral 830 represents the cumulative movement amount Z ′ in the third range.
  • the sample 821 is a sample in which the cumulative movement amount X ′ is out of the second predetermined range
  • the sample 831 is a sample in which the cumulative movement amount Z ′ is out of the third predetermined range.
  • the range of samples included in the predetermined range for all of the stay time, the cumulative movement amount X ′, and the cumulative movement amount Z ′ is represented by reference numeral 810.
  • the samples 811 and 812 are samples included in a predetermined range.
  • the action determination unit 242 estimates that the moving object of interest is performing a steady action (step S203). For example, when the vehicle 700 is normally traveling in the Z ′ direction, the stay time is within the first predetermined range if the speed is appropriately protected, and the accumulated travel distance is if the vehicle 700 is traveling in the designated lane. X'is within the second predetermined range, and the cumulative movement amount Z'is also within the third predetermined range. As a result, the behavior of the vehicle 700 is determined to be a steady behavior.
  • the behavior determination unit 242 estimates that the moving body of interest is performing an unsteady behavior (Ste S204). For example, as shown in FIG. 8, when the vehicle 700 is meandering, the movement amount in the X ′ direction becomes larger than that during normal traveling, and the cumulative movement amount X ′ deviates from the second predetermined range. As a result, the behavior of the vehicle 700 is determined to be an unsteady behavior.
  • FIG. 11 is a diagram showing an example of processing results by the processing server 200.
  • relevant information is output as a log for the moving body information exceeding the predetermined range, that is, the moving body information determined to be performing the unsteady behavior.
  • Unclassified behaviors may include behaviors that are undesirable in ensuring safe road traffic.
  • the processing server 200 of this embodiment calculates based on the moving body information of one moving body stored in the storage unit 230 or acquired in real time, and the other moving body information stored in the storage unit 230. Information about the degree of unsteady behavior of an object in the monitoring area is output. Therefore, it is possible to find an unknown abnormal behavior other than the predefined abnormal behavior regarding the behavior of the person or the vehicle.
  • the processing server 200 of the present embodiment is highly resistant to disturbances due to environmental factors such as weather, and does not require learning or tuning for analysis, and thus is easy to install, and measurement and analysis can be performed immediately after installation. Can start. Further, depending on the evaluation target of the non-steady-state behavior, effective evaluation can be obtained by short-term measurement and analysis.
  • FIG. 12 is a schematic diagram showing a user input example / output example of the processing server 200.
  • the user input to the processing server 200 includes the extraction period (date and time), environment information (weather, road congestion status), and the like in addition to the action classification and object classification described above.
  • the extraction period is a period for which the processing server 200 determines the steady / unsteady behavior of the moving body.
  • Environmental information weather, road congestion status
  • the environmental information is also recorded when moving objects are measured, and is referred to when the user verifies unsteady behavior. By doing so, it is possible to easily grasp the influence of environmental factors when measuring the moving body.
  • the processing server 200 can output the number of extracted events as the whole information.
  • the number of extracted events can be output for each action classification and each object classification. For example, it is possible to output the number of vehicles in the monitoring area and the traveling state of the vehicles.
  • the processing server 200 can display the data by distinguishing the data for each action classification with a color so as to be visually easy to see (heat map).
  • the heat map for each action classification includes visualization of the occurrence pattern of unsteady actions.
  • the processing server 200 can output, as the individual information, the measurement date / time of the moving body, the action classification, the object classification, the environmental information, the movement trajectory, the camera image, and the like.
  • the input unit 100 may be configured to include a rider 110 and a camera (not shown).
  • the camera is, for example, a visible light camera.
  • the rider 110 and the camera are arranged such that the monitoring area 402 (measurement area / imaging area) substantially coincides with each other, and the optical axes substantially coincide with each other, and the alignment is performed.
  • the camera image is for visual confirmation of the event by the user. The user can confirm the appearance time of the moving body that has performed the unsteady behavior from the processing result of FIG.
  • the processing server 200 can output a comment about the cause of the non-steady-state behavior as additional information. For example, when it is determined that the vehicle makes a U-turn or back in the entry-prohibited area, it is considered that the driver erroneously entered the area. Then, as a cause of the driver's error, it is conceivable that it is difficult to see the entry prohibition sign, the distance from the sign to the place is short, and the driver's operation operation for avoiding entry is not in time. Further, when it is determined that the vehicle meanders or suddenly decelerates, it is considered that the driver has performed a driving operation to avoid an obstacle (for example, a person or an animal jumps out) on the road or a depression of the road. Then, as the cause of the driving operation of the driver, it is considered that popping out is likely to occur, the forward visibility in the front section of the road is poor, and the depression of the road is undiscovered or unrepaired.
  • an obstacle for example, a person or an animal jumps out
  • the processing server 200 can output a comment regarding the possible cause of such non-steady-state behavior. Businesses that maintain and manage roads can efficiently maintain and manage roads by referring to these comments.
  • the processing server 200 has an inference processing unit that performs analysis by inference processing by a neural network using inference processing parameters.
  • Yolo single shot detector
  • R-CNN Convolutional Neural Network
  • Fast R-CNN Fast R-CNN
  • This inference processing parameter is generated by performing learning of the degree of non-steady behavior of an object or the degree of steady behavior of an object based on moving body information, and is stored in the storage unit 230.
  • This inference processing parameter is obtained by performing machine learning in advance by a known algorithm using a huge number of pieces of moving body information accumulated in the storage unit 230 under a plurality of possible kinds of measurement conditions. ..
  • the assumed predetermined measurement conditions include at least one of weather, illuminance, temperature and humidity, and road congestion. In particular, it is preferable to include the measurement conditions when the weather is rainy, snowy, and fog, as well as at night (low illuminance) and when the road is congested.
  • the inference processing unit learns the degree of non-steady-state behavior of the object based on the moving body information accumulated in the storage unit 230 and generates the inference processing parameter. For example, learning is performed so that the degree of the correct unsteady behavior to be output is given to the input moving body information and the degree of the unsteady behavior of the correct answer is output to the input moving body information. Then, the inference processing unit determines and outputs the degree of unsteady behavior of one object based on the inference processing by the neural network using the generated inference processing parameter.
  • the inference processing unit learns the degree of regular behavior of the object based on the moving body information accumulated in the storage unit 230, and generates inference processing parameters. For example, learning is performed so that the degree of the correct steady behavior to be output is given to the input moving body information and the degree of the correct steady behavior is output to the input moving body information. Then, the inference processing unit determines and outputs the degree of unsteady behavior of one object based on the inference processing by the neural network using the generated inference processing parameter.
  • the inference processing parameter obtained by learning is used by using the moving body information obtained by the measurement under various assumed measurement conditions. As a result, the same effect as that of the above-described embodiment can be obtained.
  • the configurations of the information processing apparatus, the information processing system, and the information processing method described above are the main configurations in describing the features of the above embodiments, and are not limited to the above configurations. Various modifications can be made within.
  • the present invention is not limited to such a case.
  • the camera image of the input unit may be subjected to image processing to detect a moving body, and time-series position information of each detected moving body may be acquired.
  • a radar may be used to generate the distance measurement point cloud data.
  • a beacon other sensor (radar using millimeter wave), GPS or the like may be used.
  • the information processing system 10 has been described for estimating the steady / unsteadiness of the behavior of a moving body on a road, but the present invention is applied to a runway of an airport, etc., in addition to the road. You can also In this case, by using the distance measuring point cloud data generated by the radar and the cumulative movement amount Y ′ as the moving body information, the movement in the height direction can be taken into consideration.
  • the control program of the processing server 200 may be provided by a computer-readable recording medium such as a USB memory, a flexible disk, a CD-ROM, or may be provided online via a network such as the Internet.
  • the program recorded on the computer-readable recording medium is usually transferred to and stored in a memory or a storage.
  • this control program may be provided as, for example, independent application software, or may be incorporated in the software of each device as one function of the processing server 200.
  • Information processing system 100 input section, 110 riders, 111 light emitting and receiving unit, 112 distance measuring point cloud data generation unit, 200 processing servers, 210 location information acquisition unit, 220 Moving object information acquisition unit, 230 storage, 240 Survey processing unit, 241 Behavior estimation unit, 242 Behavior determination unit, 243 Judgment output unit, 300 monitor, 400 roads, 401 props, 402 monitoring area, 403 Sidewalk, 404 driveway, 600-602 people, 700-702 vehicles.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】人や車両の行動について、予め定義された異常行動以外の未知の異常行動を見つけることができる情報処理装置、情報処理システム、および情報処理方法を提供する。 【解決手段】情報処理装置200は、位置情報取得部210、動体情報取得部220、記憶部230、およびサーベイ処理部240を有する。位置情報取得部210は、監視領域内における物体の時系列位置情報を取得する。動体情報取得部220は、物体の時系列位置情報を解析して、物体の動体情報を生成する。記憶部230は、複数の物体の動体情報を蓄積する。サーベイ処理部240は、記憶部230に蓄積されている、一の物体の動体情報に基づいて、所定領域内における一の物体の非定常行動の度合いを判定し、判定結果に基づいて、一の物体の非定常行動の度合いに関する情報を出力する。

Description

情報処理装置、情報処理システム、および情報処理方法
 本発明は、情報処理装置、情報処理システム、および情報処理方法に関する。
 近年、人や車両が往来する道路などにおいて、人や車両の行動をカメラで監視する監視装置の設置が増加している。監視装置の設置が増加している背景には、交通ルールが守られない危険な行動に起因して発生する事故や、路上における人同士のトラブル等の増加がある。道路を往来する人や車両は、規定の交通ルールに則り、安全に配慮して行動することが期待されている。しかし、現実には危険運転や交通ルールを無視した行動による事故の発生や、事故の一歩手前の状況となることが後を絶たない。
 従来、このような危険な行動を含む異常行動に対する対策を立てるため、人が監視装置のカメラ映像を目視により解析し、道路を往来する人や車両の行動を確認することが多かったが、時間や手間がかかる上、発生頻度の低い事象を見つけることが困難であった。
 これに対して、下記特許文献1および特許文献2には、人や車両の行動について、人や車両の位置、速度、移動軌跡等に基づいて、予め定義された異常行動の判別を行う技術が開示されている。
特開2003-157487号公報 特開2008-217602号公報
 しかしながら、特許文献1および特許文献2の技術では、予め定義された異常行動以外の未知の異常行動を見つけることはできないという課題がある。
 本発明は、上記事情に鑑みてなされたものであり、人や車両の行動について、予め定義された異常行動以外の未知の異常行動を見つけることができる情報処理装置、情報処理システム、および情報処理方法を提供することを目的とする。
 本発明の上記目的は、下記の手段によって達成される。
 (1)所定領域内における物体の時系列位置情報を取得する位置情報取得部と、前記物体の時系列位置情報を解析して、前記物体の動体情報を生成する動体情報取得部と、複数の物体の前記動体情報を蓄積する動体情報蓄積部と、前記動体情報蓄積部に蓄積されている、一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いを判定し、判定結果に基づいて、前記一の物体の非定常行動の度合いに関する情報を出力するサーベイ処理部と、を有する、情報処理装置。
 (2)前記サーベイ処理部は、前記一の物体の動体情報と、前記動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、上記(1)に記載の情報処理装置。
 (3)前記サーベイ処理部は、前記動体情報蓄積部に蓄積されている動体情報に基づく前記物体の非定常行動の度合いの学習を行って生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、前記一の物体の非定常行動の度合いを判定する、上記(1)に記載の情報処理装置。
 (4)前記サーベイ処理部は、前記動体情報蓄積部に蓄積されている動体情報に基づく前記物体の定常行動の度合いの学習を行って生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、前記一の物体の非定常行動の度合いを判定する、上記(1)に記載の情報処理装置。
 (5)前記動体情報取得部は、
 前記物体の動体情報として、前記物体の移動の軌跡、速度、加速度、大きさ、種類、累積移動量、および滞在時間のうちの少なくとも1つを取得する、上記(1)~(4)のいずれか1つに記載の情報処理装置。
 (6)前記サーベイ処理部は、複数の前記他の動体情報に対する、前記一の物体の動体情報のずれに基づいて、前記一の物体の非定常行動の度合いに関する情報を出力する、上記(1)~(5)のいずれか1つに記載の情報処理装置。
 (7)前記サーベイ処理部は、前記動体情報蓄積部に蓄積されている複数の動体情報のデータからなる母集団について統計解析を行い、前記母集団における所定の値からの前記一の物体の動体情報のずれが所定範囲内である場合、前記物体の行動は定常行動であると判断する一方で、前記ずれが前記所定範囲外である場合、前記物体の行動は非定常行動であると判断する、上記(6)に記載の情報処理装置。
 (8)前記サーベイ処理部は、前記物体の種類に応じて予め規定されている行動分類と前記物体の動体情報とに基づいて、前記所定領域内における前記物体の行動を推定する行動推定部を有する、上記(1)~(7)のいずれか1つに記載の情報処理装置。
 (9)前記サーベイ処理部は、前記非定常行動の度合いとして、前記物体の行動が正常なのか、あるいは異常なのかを示す異常スコアを算出する、上記(1)~(8)のいずれか1つに記載の情報処理装置。
 (10)所定領域に向けてレーザー光を走査するように出射するとともに当該所定領域からの反射光を受光し、当該反射光の受光信号に基づいて、前記所定領域内における測距点群データを生成するセンサー部と、前記測距点群データに基づいて、所定領域内における物体の時系列位置情報を取得する位置情報取得部と、前記物体の時系列位置情報を解析して、前記物体の動体情報を生成する動体情報取得部と、複数の物体の前記動体情報を蓄積する動体情報蓄積部と、前記動体情報蓄積部に記蓄積されている、一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いを判定し、判定結果に基づいて、前記一の物体の非定常行動の度合いに関する情報を出力するサーベイ処理部と、を有する、情報処理システム。
 (11)前記サーベイ処理部は、前記一の物体の動体情報と、前記動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、上記(10)に記載の情報処理システム。
 (12)所定領域内における物体の時系列位置情報を取得するステップ(a)と、前記物体の時系列位置情報を解析して、前記物体の動体情報を生成するステップ(b)と、一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いについて判定し、前記一の物体の非定常行動の度合いに関する情報を出力するステップ(c)と、を有する、情報処理方法。
 (13)前記ステップ(c)では、前記一の物体の動体情報と、動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、上記(12)に記載の情報処理方法。
 (14)前記ステップ(b)では、
 前記物体の動体情報として、前記物体の移動の軌跡、速度、加速度、大きさ、種類、累積移動量、および滞在時間のうちの少なくとも1つを取得する、上記(12)または(13)に記載の情報処理方法。
 (15)前記ステップ(c)では、複数の前記他の動体情報に対する、前記一の物体の動体情報のずれに基づいて、前記一の物体の非定常行動の度合いに関する情報を出力する、上記(12)~(14)のいずれか1つに記載の情報処理方法。
 (16)前記ステップ(c)では、動体情報蓄積部に蓄積されている複数の動体情報のデータからなる母集団について統計解析を行い、前記母集団における所定の値からの前記一の物体の動体情報のずれが所定範囲内である場合、前記物体の行動は定常行動であると判断する一方で、前記ずれが前記所定範囲外である場合、前記物体の行動は非定常行動であると判断する、上記(15)に記載の情報処理方法。
 (17)前記ステップ(c)では、前記物体の種類に応じて予め規定されている行動分類と前記物体の動体情報とに基づいて、前記所定領域内における前記物体の行動を推定するステップ(d)をさらに有する、上記(12)~(16)のいずれか1つに記載の情報処理方法。
 (18)前記ステップ(c)では、前記非定常行動の度合いとして、前記物体の行動が正常なのか、あるいは異常なのかを示す異常スコアを算出する、上記(12)~(17)のいずれか1つに記載の情報処理方法。
 本発明によれば、注目している動体の動体情報と、記憶部に蓄積されている他の動体情報とに基づいて、所定領域内における物体の非定常行動の度合いに関する情報を出力する。したがって、人や車両の行動について、予め定義された異常行動以外の未知の異常行動を見つけることができる。
一実施形態の情報処理システムの構成を示すブロック図である。 ライダーの監視領域内における動体としての歩行者および車両を示す模式図である。 ライダーの概略構成を示す断面図である。 ライダーによって監視領域内を走査する状態を示す模式図である。 測距点群データにより検出した動体の各時刻での位置情報データの例である。 一実施形態の情報処理方法を例示するフローチャートである。 図6に示す処理において取得される情報とその具体例を示す模式図である。 ライダーの監視領域内の動体検出の一例として歩道を通行している歩行者と蛇行する車両とを上方から視た模式図である。 図6に示す「動体の行動の定常/非定常性を推定」する処理(ステップS103)について説明するためのサブルーチンフローチャートである。 車両の動体情報に関する統計解析結果を例示するグラフである。 車両の動体情報に関する統計解析結果を例示するグラフである。 処理サーバーによる処理結果を例示する図表である。 処理サーバーのユーザー入力例/出力例を示す模式図である。
 以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。 図1は、一実施形態に係る情報処理システム10の構成を示すブロック図である。また、図2はライダーの監視領域内における動体としての歩行者および車両を示す模式図である。図2においては、上下方向をY’方向、車両の進行方向をZ’方向、これらのY’、Z’方向に直交する方向をX’方向とする。
 情報処理システム10は、入力部(センサー部)100、処理サーバー(情報処理装置)200、およびモニター部300を有する。処理サーバー200は、例えば、コンピューターであり、CPU(Central Processing Unit)、メモリー(半導体メモリー、磁気記録媒体(ハードディスク等))、入出力部(ディスプレイ、キーボード、スピーカー等)、通信I/F(interface)等を備える。通信I/Fは、外部機器と通信するためのインターフェースである。通信には、イーサネット(登録商標)、SATA、PCI Express、USB、IEEE1394などの規格によるネットワークインターフェースが用いてもよい。また、通信には、Bluetooth(登録商標)、IEEE802.11、4Gなどの無線通信インターフェースを用いてもよい。
 (入力部100)
 入力部100は、ライダー(LiDAR:Light Detection and Ranging)110を含む(図3を参照)。
 図2に示すように、入力部100は、道路400脇の規定の位置に立てられた支柱401により、所定の高さから監視領域402(破線で示す所定領域)の方に向くように配置される。本実施形態では、監視領域402は、例えば人600や車両700が往来する道路400を含む3次元的な領域である。入力部100は、ライダー110により、監視領域402内の物体(例えば人600や車両700)までの距離を測定し、監視領域402内の距離値の分布を示す測距点群データを生成する。
 (ライダー110)
 以下、図3、図4を参照し、ライダー110の構成について説明する。図3は、ライダー110の概略構成を示す断面図である。
 ライダー110は、投受光ユニット111、および測距点群データ生成部112を有する。投受光ユニット111は、半導体レーザー51、コリメートレンズ52、ミラーユニット53、レンズ54、フォトダイオード55、およびモーター56、ならびにこれらの各構成部材を収容する筐体57を有する。投受光ユニット111は、レーザースポット光500によりライダー110の監視空間内を走査することで得られた各画素の受光信号を出力する。測距点群データ生成部112は、この受光信号に基づいて、測距点群データを生成する。この測距点群データは距離画像、または距離マップとも称される。
 半導体レーザー51は、パルス状のレーザー光束を出射する。コリメートレンズ52は、半導体レーザー51からの発散光を平行光に変換する。ミラーユニット53は、コリメートレンズ52で平行とされたレーザー光を、回転するミラー面により監視領域に向かって走査投光するとともに、対象物からの反射光を反射させる。レンズ54は、ミラーユニット53で反射された対象物からの反射光を集光する。フォトダイオード55は、レンズ54により集光された光を受光し、Y方向に並んだ複数の画素を有する。モーター56はミラーユニット53を回転駆動する。
 測距点群データ生成部112は、これらの半導体レーザー51の出射タイミングとフォトダイオード55の受光タイミングとの時間差に応じて距離情報(距離値)を求める。測距点群データ生成部112は、CPUとメモリーで構成され、メモリーに記憶しているプログラムを実行することにより各種の処理を実行することによって測距点群データを求めるが、測距点群データ生成用の専用ハードウエア回路を備えてもよい。また、測距点群データ生成部112は、上述の処理サーバー200の1つの機能として、位置情報取得部210(後述)に統合されてもよい。
 本実施形態において、半導体レーザー51とコリメートレンズ52とで出射部501を構成し、レンズ54とフォトダイオード55とで受光部502を構成する。出射部501、受光部502の光軸は、ミラーユニット53の回転軸530に対して直交していることが好ましい。
 支柱401の先端部に配置された剛体の壁91等に固定して設置されたボックス状の筐体57は、上壁57aと、これに対向する下壁57bと、上壁57aと下壁57bとを連結する側壁57cとを有する。側壁57cの一部に開口57dが形成され、開口57dには透明板58が取り付けられている。
 ミラーユニット53は、2つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面531a、531bを4対(但し4対に限られない)有している。ミラー面531a、531bは、ミラーユニットの形状をした樹脂素材(例えばPC(ポリカーボネート))の表面に、反射膜を蒸着することにより形成されていることが好ましい。
 ミラーユニット53は、筐体57に固定されたモーター56の軸56aに連結され、回転駆動されるようになっている。本実施形態では、例えば、壁91に設置された状態で、軸56aの軸線(回転軸線)が鉛直方向であるY方向に延在しており、Y方向に直交するX方向およびZ方向によりなすXZ平面が水平面となっているが、軸56aの軸線を鉛直方向に対して傾けてもよい。なお、図2、および後述の図8においては、ライダー110のXYZ空間を道路の向き(車両の進行方向)に対応させ座標変換させたX’Y’Z’空間を示している。X’Y’Z’空間において、Y’方向は鉛直方向であり、Z’方向は道路の延在方向に平行であり、X’方向はこれらに直交する方向である。
 次に、ライダー110の物体検出原理について説明する。図3において、半導体レーザー51からパルス状に間欠的に出射された発散光は、コリメートレンズ52で平行光束に変換され、回転するミラーユニット53の第1ミラー面531aに入射する。その後、第1ミラー面531aで反射され、さらに第2ミラー面531bで反射した後、透明板58を透過して外部の測定空間に向けて、例えば縦長の矩形断面を持つレーザースポット光として走査投光される。なお、レーザースポット光が出射される方向と、出射されたレーザースポット光が対象物で反射し、反射光として戻ってくる方向は重複し、この重複する2方向を投受光方向という。同一の投受光方向に進行するレーザースポット光は、同一の画素で検出される。
 図4は、ミラーユニット53の回転に応じて、出射するレーザースポット光500(ハッチングで示す)で、監視領域内を走査する状態を示す図である。ここで、ミラーユニット53の対のミラー(第1ミラー面531aと第2ミラー面531b)の組み合わせにおいて、4対はそれぞれ交差角が異なっている。レーザー光は、回転する第1ミラー面531aと第2ミラー面531bにて、順次反射される。まず1番対の第1ミラー面531aと第2ミラー面531bにて反射したレーザー光は、ミラーユニット53の回転に応じて、測定空間の一番上の領域Ln1を水平方向(「主走査方向」ともいう)に左から右へと走査される。次に、2番対の第1ミラー面531aと第2ミラー面531bで反射したレーザー光は、ミラーユニット53の回転に応じて、測定空間の上から2番目の領域Ln2を水平方向に左から右へと走査される。次に、3番対の第1ミラー面531aと第2ミラー面531bで反射したレーザー光は、ミラーユニット53の回転に応じて、測定空間の上から3番目の領域Ln3を水平方向に左から右へと走査される。次に、4番対の第1ミラー面531aと第2ミラー面で反射したレーザー光は、ミラーユニット53の回転に応じて、測定空間の最も下の領域Ln4を水平方向に左から右へと走査される。これによりライダー110が測定可能な測定空間全体の1回の走査が完了する。この領域Ln1~Ln4の走査により得られた画像を組み合わせて、1つのフレーム900が得られる。そして、ミラーユニット53が1回転した後、再び1番対の第1ミラー面531aと第2ミラー面531bに戻り、以降は測定空間の一番上の領域Ln1から最も下の領域Ln4までの走査(この上下方向を「副走査方向」ともいう)を繰り返し、次のフレーム900が得られる。
 図3において、走査投光された光束のうち対象物に当たって反射したレーザー光の一部は、再び透明板58を透過して筐体57内のミラーユニット53の第2ミラー面531bに入射し、ここで反射され、さらに第1ミラー面531aで反射されて、レンズ54により集光され、それぞれフォトダイオード55の受光面で画素毎に検知される。さらに、測距点群データ生成部112が、半導体レーザー51の出射タイミングとフォトダイオード55の受光タイミングとの時間差に応じて距離情報を求める。これにより監視空間内の全領域で物体の検出を行って、画素毎に距離情報を持つ測距点群データとしてのフレーム900(図4を参照)を得ることができる。また、ユーザーの指示により、得られた測距点群データを背景画像データとして、測距点群データ生成部112内のメモリー、または処理サーバー200のメモリーに記憶してもよい。
 (処理サーバー200)
 再び図1を参照し、処理サーバー200の構成について説明する。処理サーバー200は、位置情報取得部210、動体情報取得部220、記憶部230、サーベイ処理部240を含む。主に、上述の処理サーバー200のCPUが動体情報取得部220およびサーベイ処理部240として機能し、メモリーが記憶部230として機能し、通信I/Fが位置情報取得部210として機能する。
 (位置情報取得部210)
 位置情報取得部210は、入力部100において生成された測距点群データに基づいて、監視領域内における動体を検出し、動体の位置を時系列に並べた時系列位置情報を取得する。
 ここで、図4を参照して、背景差分法を用いた、ライダー110の動体検出アルゴリズムについて説明する。本実施形態では、例えば背景差分法を採用する。この背景差分法では、予め生成し、保存しておいた背景画像を用いる。具体的には、測定の前準備(前処理)として、ユーザーの指示により、人や車両等の移動物体が存在しない状態で、ライダー110からレーザースポット光500を走査する。これにより背景対象物92から得られた反射光に基づいて、背景画像を得ることができる。実際の測定時においては、背景対象物92の手前に行動解析の対象者である物体として例えば歩行者600が現れた場合、歩行者600からの反射光が新たに生じる。
 位置情報取得部210は、動体を検出する機能を有する。位置情報取得部210はメモリーに保持している背景画像データと現時点での測距点群データとを比較して、差が生じた場合、歩行者等の何らかの動体(物体)が監視空間内に現れたことを認識できる。例えば、背景差分法を用いて、背景データと、現時点での測距点群データとを比較することで、前景データを抽出する。そして抽出した前景データの画素(画素群)を、例えば画素の距離情報に応じてクラスタに分ける。そして、各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ(画角、すなわち画素の広がり)とは異なり、物体までの距離に応じて画素群の塊が判断される。例えば、位置情報取得部210は算定したサイズが抽出対象の解析対象の動体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。例えば、歩行者を追跡して行動を解析するのであれば、通常の人の大きさの最小値を、クラスタリングする場合のサイズ閾値とすればよい。逆にあらゆる動体を追跡するのであれば、サイズ閾値はこれよりも小さな値としてもよい。人よりも大きい物体、例えば車両についても同様に、車両用のサイズ閾値を求めることができる。
 動体の位置は、クラスタリングした動体の中心値、または重心値を用いてもよく、また、動体を矩形によりクラスタリングするのであれば、その矩形の中心を動体の位置として用いてもよい。
 測定された各動体の位置は、例えば、時刻の早い順、あるいはライダー110による測定を開始した日時を基準として経過時間の早い順に並べられ、時系列位置情報として動体情報取得部220に送信される。時系列位置情報は、例えば、監視領域内の3次元空間における動体の位置とその動体が測定された時刻または経過時間に関する情報を含む。
 (動体情報取得部220)
 動体情報取得部220は、動体の時系列位置情報を解析して、動体に関する情報(以下、「動体情報」という)を生成する。動体情報は、動体の時系列位置情報に基づく客観的な情報であり、例えば、日時、動体の位置、移動の軌跡、速度、加速度、大きさ、種類、X’方向の累積移動量(以下、「累積移動量X’」という)、Z’方向の累積移動量(以下、「累積移動量Z’」という)、滞在時間を含む(図7を参照)。
 動体の移動の軌跡は、例えば、動体が監視領域内に滞在している時間帯において動体の位置の集合として求められ、動体の速度は、監視領域内の所定区間における単位時間当たりの動体の位置の変化量として求められる。また、加速度は、単位時間当たりの動体の速度の変化量として求められる。また、動体の累積移動量X’および累積移動量Z’は、動体が監視領域内に滞在している時間帯において、それぞれX’方向およびZ’方向の累積の移動量であり、滞在時間は動体が監視領域内に滞在している時間帯である。
 また、動体情報取得部220は、各動体について、物体分類に当てはまるものがあるか否かを確認することによって、各動体の種類を判別する。物体分類は、例えば、人(歩行者)、車両(4輪車、2輪車、トラック)、落下物等を含む。より具体的には、動体情報取得部220は、クラスタリングした動体のサイズ、縦横比、等を、物体分類ごとの基準データと比較することにより、動体の種類を判別する。物体分類およびその基準データは、ユーザーによって予め入力され、記憶部230に記憶されている。また、動体情報取得部220によって取得された動体情報は、記憶部(動体情報蓄積部)230に記憶される。複数の動体が監視領域を通過することで、記憶部230には、複数の動体情報が蓄積される。
 (サーベイ処理部240)
 サーベイ処理部240は、各動体の動体情報に基づいて、監視領域内における各動体の挙動、すなわち監視領域内において各動体がどのような行動を取っていたかについて推定するとともに、各動体の行動が定常行動であるか、非定常行動であるかを判定する。
 より具体的には、サーベイ処理部240は、一般道路、高速道路等の道路上において、交通ルールに則った行動、または安全な道路交通を確保する上で、歩行者および車両の運転者に対して求められる行動が大多数の歩行者および車両の運転者に守られていると仮定し、大多数から外れた行動を非定常行動として判定する。その結果、交通ルールに違反する行動、または安全な道路交通を確保する上で好ましくない行動、すなわち大多数の歩行者(または車両)の行動から外れた非定常行動を検出できる。
 図5は、測距点群データにより検出した動体の各時刻での時系列位置情報データの一例である。検出された各動体は動体IDで管理されている。サーベイ処理部240は、行動推定部241、行動判定部242、および判定結果出力部243を有する(図1を参照)。
 行動推定部241は、各動体の動体情報を解析することで各動体の行動を解析し、各動体の行動に関する情報(以下、「行動情報」)を取得する。より具体的には、行動推定部241は、動体情報で表される各動体の移動の特徴が、行動分類で予め定義されている行動に当てはまるか否かによって判定し、判定結果を各動体の行動情報として取得する。行動分類には、人の場合、例えば歩行、車道への人の立ち入り、車道の横断等が含まれ、車両の場合、例えば通常走行、逆走、速度超過、Uターン、停車、蛇行等が含まれうる。行動分類は、ユーザーによって予め入力され、記憶部230に記憶されている。また、行動推定部241によって取得された行動情報は、記憶部230に記憶される。
 また、行動判定部242は、動体の行動が定常行動であるか、あるいは非定常行動であるかを判定する。より具体的には、行動判定部242は、記憶部230に蓄積されている複数の動体情報のうち、一の動体情報に注目し、他の動体情報に対する、注目している動体の動体情報の「ずれ」を算出する。行動判定部242は、抽出期間内に検出された各動体について1つずつ「ずれ」を算出する。なお、ライダー110によってリアルタイムに測定した測距点群データに基づいて取得した動体情報について、記憶部230に蓄積されている複数の動体情報に対するずれを算出することもできる。そして、行動判定部242は、このずれに基づいて、注目している動体の行動が定常行動であるか、非定常行動であるかを判定する。ずれを算出する具体的な方法は、後述する。
 判定結果出力部243は、行動判定部242の判定結果に基づいて、動体の非定常行動の度合いに関する情報を出力する。また、判定結果出力部243は、行動判定部242によって算出された上記ずれに基づいて、異常スコアを出力することもできる。
 異常スコアは、動体が正常なのか、異常なのかを数値で示すスコアであり、スコアが高いほど異常行動である可能性が高い。判定結果および異常スコアは、モニター部300へ送信される。
 (モニター部300)
 モニター部300は、ディスプレイを有し、行動判定部242の判定結果および/または異常スコアをディスプレイに表示する。また、モニター部300は、スピーカーを有し、スピーカーから音声にて判定結果および/または異常スコアを出力してもよい。また、モニター部300は、記憶部およびプリンターへの出力端子を有し、判定結果および/または異常スコアを記憶部にレポートとして蓄積するとともに、必要に応じてプリンターへ出力することもできる。
 <情報処理方法>
 図6は、本発明の一実施形態の情報処理方法を例示するフローチャートである。図6に示す処理は、処理サーバー200のCPUが制御プログラムを実行することにより実現される。また、図7は図6に示す処理において取得される情報とその具体例を示す模式図であり、図8はライダーの監視領域内の動体検出の一例として歩道を通行している歩行者と蛇行する車両とを上方から視た模式図である。
 まず、動体の時系列位置情報を取得する(ステップS101)。位置情報取得部210は、ライダー110によって取得された測距点群データに基づいて、監視領域内における動体を検出し、各動体の時系列位置情報を出力する。例えば、図8に示すように、位置情報取得部210は、動体としての人(歩行者)600および車両700について、時刻t0における人600および車両700、t1における人601および車両701、t2における人602および車両702の位置情報をそれぞれ取得する。
 次に、動体の動体情報を取得する(ステップS102)。動体情報取得部220は、各動体の時系列位置情報を解析して、各動体の動体情報を生成し、記憶部230に記憶させる。例えば、動体情報取得部220は、動体情報として、人(歩行者)600および車両700の種類を判別するとともに、移動軌跡を取得する。図8に示す例では、時刻t0~t1の間において、人600は符号600~602に示すような移動軌跡で移動し、車両700は符号700~702に示すような移動軌跡で移動している。
 次に、動体の行動情報を取得する(ステップS103)。行動推定部241は、動体情報を解析することで各動体の行動を解析し、各動体の行動情報を取得する。より具体的には、行動推定部241は、図7の行動分類に照らし、人600の移動軌跡の特徴に基づいて、人600が歩道403をZ’方向に向けて歩行していると判断し、車両700の移動軌跡の特徴に基づいて、車両700が車道404をZ’方向に向けて走行していると判断する。また、行動推定部241は、車両700は、時刻t0で進行方向の左側車線内を走行していたところ、時刻t1で車線をはみ出して走行し、時刻t2で再び左側車線に戻っていることから、車両700が時刻t0~t2の時間帯において蛇行していたと判断する。
 次に、動体の行動の定常/非定常性を判定する(ステップS104)。行動判定部242は、例えば、記憶部230に蓄積されている複数の動体情報を母集団として統計解析を行い、注目している動体の動体情報について、母集団における所定の値からのずれを算出する。所定の値は、例えば、平均値や、平均値、分散、または3σで評価を行った値を含む。行動判定部242は、注目している動体の動体情報のずれが所定範囲内である場合、この動体の行動は定常行動であると判定する一方で、ずれが所定範囲外である場合、この動体の行動は非定常行動であると判定する。動体の行動の定常/非定常性を判定する具体的な手順については後述する。また、行動判定部242は、必要に応じて異常スコアを算出する。
 次に、動体の非定常行動の度合いに関する情報を出力する(ステップS105)。判定結果出力部243は、行動判定部242の判定結果をモニター部300に出力する。また、判定結果出力部243は、行動判定部242によって算出された上記ずれに基づいて、異常スコアをモニター部300に出力する。モニター部300は、判定結果に応じて、注目している動体の行動が定常行動である旨、あるいは非定常行動である旨をディスプレイに表示する。さらに、モニター部300は、必要に応じて、異常スコアをディスプレイに表示する。
 このように、図6のフローチャートに示す処理では、監視領域内における動体の時系列位置情報を取得し、動体の時系列位置情報を解析して、動体の動体情報を取得する。そして、記憶部230に蓄積されている、またはリアルタイムに取得した一の動体の動体情報と、記憶部230に蓄積されている他の動体情報とに基づいて、監視領域内における上記一の動体の非定常行動の度合いに関する情報を出力する。本明細書において、動体の非定常行動の度合いに関する情報は、動体の非定常行動/定常行動の判定結果、動体の行動の定常/非定常性を数値的に表現した情報を含みうる。
 <ステップS104の処理>
 図9は、図6に示す「動体の行動の定常/非定常性を推定」する処理(ステップS104)について説明するためのサブルーチンフローチャートである。図9に示す処理は、処理サーバー200のCPUが制御プログラムを実行することにより実現される。また、図10Aおよび図10Bは、車両の動体情報に関する統計解析結果を例示するグラフである。図10Aは横軸を累積移動量X’、縦軸を滞在時間とした場合の分布を例示するグラフであり、図10Bは横軸を累積移動量Z’、縦軸を滞在時間とした場合の分布を例示するグラフである。図中、「・」は個々のサンプルを表す。
 図9に示すように、まず、記憶部230に記憶されている動体情報について統計解析を行う(ステップS201)。行動判定部242は、例えば、記憶部230に記憶されている複数の動体情報のデータからなる母集団から、n個の動体情報のサンプルを抽出し、動体情報の標準偏差σを算出する。なお、母集団は、注目する動体が出現する前後数時間以内に設定されることが好ましい。また、サンプル数nは、統計解析を行う上で十分に多いものとする。標準偏差σは、各々の動体情報について算出される。
 以下、動体情報として、累積移動量X’、累積移動量Z’、滞在時間を使用して、動体の行動の定常/非定常性を推定する場合について例示する。累積移動量X’、累積移動量Z’、滞在時間の標準偏差をそれぞれσ、σおよびσと表す。また、σ、σおよびσを代表してσと表す。
 次に、注目している動体の動体情報が所定範囲(例えば3σ)内にあるか否かを判断する(ステップS202)。図10Aおよび図10Bにおいて、符号800は滞在時間が第1の所定範囲(例えば3σ)を外れたサンプルの範囲を表す。例えば、サンプル801,802は、滞在時間が第1の所定範囲を外れたサンプルである。また、図10Aにおいて、符号820は累積移動量X’が第2の所定範囲(例えば3σ)を外れたサンプルの範囲を表し、図10Bにおいて、符号830は累積移動量Z’が第3の所定範囲(例えば3σ)を外れたサンプルの範囲を表す。例えば、サンプル821は累積移動量X’が第2の所定範囲を外れたサンプルであり、サンプル831は累積移動量Z’が第3の所定範囲を外れたサンプルである。滞在時間、累積移動量X’、累積移動量Z’の全てについて、所定範囲内に含まれるサンプルの範囲は、符号810で表されている。例えば、サンプル811,812は、所定範囲内に含まれるサンプルである。
 注目している動体の動体情報が所定範囲内にある場合(ステップS202:YES)、行動判定部242は、注目している動体が定常行動を行っていると推定する(ステップS203)。例えば、車両700がZ’方向に通常走行している場合、速度が適切に守られていれば滞在時間は第1の所定範囲内となり、指定された車線内を走行していれば累積移動量X’は第2の所定範囲内となり、累積移動量Z’も第3の所定範囲内となる。この結果、車両700の行動は、定常行動であると判断される。
 一方、注目している動体の動体情報のずれが所定範囲内にはない場合(ステップS202:NO)、行動判定部242は、注目している動体が非定常行動を行っていると推定する(ステップS204)。例えば、図8に示すように、車両700が蛇行している場合、X’方向の移動量が通常走行時と比べて大きくなり、累積移動量X’は第2の所定範囲を外れる。この結果、車両700の行動は、非定常行動であると判断される。
 このように、図9のサブルーチンフローチャートに示す処理では、記憶部230に記憶されている動体情報を母集団として統計解析を行い、注目している動体の動体情報が所定範囲内にあるか否かに応じて、注目している動体の行動の定常/非定常性を推定する。
 図11は、処理サーバー200による処理結果を例示する図表である。図11では、統計解析の結果、動体情報が所定範囲を超えたもの、すなわち動体が非定常行動を行っていると判断されたものについて関連情報がログとして出力されている。
 非定常行動を行った動体のうち、行動分類として分類されていないもの(未分類)がある。未分類の行動には、安全な道路交通を確保する上で好ましくない行動が含まれている可能性がある。
 本実施形態の処理サーバー200は、記憶部230に蓄積されている、またはリアルタイムに取得した一の動体の動体情報と、記憶部230に蓄積されている他の動体情報とに基づいて、算出した監視領域内における物体の非定常行動の度合いに関する情報を出力する。したがって、人や車両の行動について、予め定義された異常行動以外の未知の異常行動を見つけることができる。
 また、道路を通行する全ての人や車両の移動状況を把握することができ、その中から非定常行動を確実に見つけることができる。また非定常行動がどのように発生しているのかを移動軌跡から把握することができるため、なぜそのような非定常行動を取ったのか、ユーザーは推測することができ、安全対策を打つことが容易になる。
 また、本実施形態の処理サーバー200は、天候などの環境要因による外乱に対する耐性が高く、解析のための学習やチューニングが不要であるため、設置が容易であり、設置後、すぐに測定および解析を開始することができる。また、非定常行動の評価対象によっては、短期間の測定および解析で有効な評価を得ることができる。
 また、人や車両だけではなく、動体の大きさやY’方向の累積移動量Y’に基づいて、車両からの落下物等についても判別することができる。
 <処理サーバー200のユーザー入力例/出力例>
 図12は、処理サーバー200のユーザー入力例/出力例を示す模式図である。図12に示すように、処理サーバー200へのユーザー入力としては、上述した行動分類および物体分類の他に、抽出期間(日付および時刻)、環境情報(天気、道路混雑状況)等が挙げられる。抽出期間は、処理サーバー200によって動体の行動の定常/非定常性を判断する対象の期間である。環境情報(天気、道路混雑状況)は、監視領域における動体検出に影響する環境要因に関する情報であり、動体の測定時に環境情報を併せて記録し、ユーザーが非定常行動の検証を行う際に参考とすることにより、動体の測定時における環境要因による影響を容易に把握できる。
 また、処理サーバー200は、全体情報として、抽出事象件数を出力できる。抽出事象件数は、行動分類毎や物体分類毎に出力できる。例えば、監視領域における車両の数や車両の走行状態を出力できる。また、処理サーバー200は、行動分類毎にデータを色で区別して視覚的に見やすく(ヒートマップ化)して表示できる。行動分類毎のヒートマップは、非定常行動の発生パターンの可視化等を含む。
 また、処理サーバー200は、個別情報として、動体の測定日時、行動分類、物体分類、環境情報、移動軌跡、カメラ映像等を出力できる。入力部100はライダー110およびカメラ(不図示)を含むように構成されてもよい。カメラは、例えば、可視光カメラにより構成される。ライダー110およびカメラは、監視領域402(測定領域/撮影領域)が略一致し、また、光軸が略一致するように配置され、位置合わせが行われている。カメラ映像は、ユーザーによる事象の目視確認用である。ユーザーは、図11の処理結果から非定常行動を行った動体の出現時刻を確認し、この出現時刻の前後のカメラ映像を確認することにより、動体の非定常行動の事象を確認できる。したがって、非定常行動を行った動体が、どう行動して何が起きたのかを映像で確認できるので、ユーザーは事象をより正確に把握できる。
 さらに、処理サーバー200は、付加情報として、非定常行動の原因についてのコメントを出力することもできる。例えば、進入禁止の領域において、車両がUターンまたはバックをしたと判定された場合は、運転者が誤ってその領域に進入したと考えられる。そして、運転者の誤りの原因として、進入禁止の標識が見にくいことや、標識からその場所までの距離が短く、運転者による進入回避の運転操作が間に合わなかったこと等が考えられる。また、車両が蛇行または急に減速したと判定された場合は、運転者が道路上の障害物(例えば、人や動物の飛び出し)または道路の陥没を回避する運転操作をしたと考えられる。そして、この運転者の運転操作の原因として、飛び出しが起こりやすいこと、道路の前の区間における前方の見通しが悪いこと、道路の陥没が未発見または未補修であること等が考えられる。
 処理サーバー200は、このような非定常行動の原因の可能性についてコメントを出力できる。道路を保守・管理する事業者は、これらのコメントを参考にして、効率的に道路を保守・管理することができる。
 (他の実施形態)
 以下、他の実施形態に係る情報処理システム10について説明する。他の実施形態においては、処理サーバー200は、推論処理パラメーターを用いて、ニューラルネットワークによる推論処理により解析を行う推論処理部を有する。
 ニューラルネットワークを用いた物体検出アルゴリズムとしては、Yolo、もしくはSSD(single shot detector)、または、R-CNN(Convolutional Neural Network)、Fast R-CNNを適用できる。
 この推論処理パラメーターは、動体情報に基づく物体の非定常行動の度合い、または定常行動の度会いの学習を行って生成されたもので、記憶部230に記憶される。この推論処理パラメーターは、複数の想定できる種種の測定条件下で、記憶部230に蓄積されている膨大な数の動体情報を用いて公知のアルゴリズムにより事前に機械学習して得られたものである。想定される所定の測定条件としては天候、照度、温湿度、道路の混雑状況の少なくともいずれかが含まれる。特に、雨、雪、および霧の天候、ならびに夜間(低照度)、道路が混雑している時の測定条件が含まれることが好ましい。
 (a)機械学習により非定常行動を学習した場合
 推論処理部は、記憶部230に蓄積されている動体情報に基づき、物体の非定常行動の度合いの学習を行い、推論処理パラメーターを生成する。例えば、入力された動体情報に対し出力すべき正解の非定常行動の度合いが与えられ、当該入力された動体情報に対し当該正解の非定常行動の度合いが出力されるように学習を行う。そして、推論処理部は、生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、一の物体の非定常行動の度合いを判定し、出力する。
 (b)機械学習により定常行動を学習した場合
 推論処理部は、記憶部230に蓄積されている動体情報に基づき、物体の定常行動の度合いの学習を行い、推論処理パラメーターを生成する。例えば、入力された動体情報に対し出力すべき正解の定常行動の度合いが与えられ、当該入力された動体情報に対し当該正解の定常行動の度合いが出力されるように学習を行う。そして、推論処理部は、生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、一の物体の非定常行動の度合いを判定し、出力する。
 他の実施形態に係る情報処理システム10、および処理サーバー200においては、想定される種種の測定条件下で測定により得られた動体情報を用いて、学習して得られた推論処理パラメーターを用いる。これにより、上記一実施形態と同様の効果が得られる。
 以上に説明した情報処理装置、情報処理システム、および情報処理方法の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。
 たとえば、上述の実施形態では、ライダー110によって生成された測距点群データに基づいて動体の時系列位置情報を取得する例について説明したが、本発明はこのような場合に限定されない。例えば、入力部のカメラ映像を画像処理して動体を検出し、検出された各動体の時系列位置情報を取得する構成としてもよい。また、ライダー110の代わりにレーダーを使用して測距点群データを生成する構成としてもよい。また、ライダー110の代わりにビーコン、その他センサー(ミリ波を使用したレーダー)、GPS等を使用してもよい。
 また、上述の実施形態では、動体情報について統計解析を行い、動体情報の分布において多数を占める所定範囲内に入るものを定常行動とし、所定範囲に入らないものを非定行動として、動体の行動の定常/非定常性を推定することについて説明した。しかし、本発明はこのような場合に限定されず、正常系として、定常行動時の動体情報を処理サーバー200に学習させ、正常系のもの以外を非定常行動とするように構成することもできる。
 また、上述の実施形態では、情報処理システム10を道路上における動体の行動の定常/非定常性の推定について説明したが、本発明は道路以外にも、例えば、空港の滑走路等に適用することもできる。この場合、レーダーによって生成された測距点群データ使用し、動体情報として累積移動量Y’を使用することにより、高さ方向の移動を加味できる。
 また、処理サーバー200の制御プログラムは、USBメモリー、フレキシブルディスク、CD-ROMなどのコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリーやストレージなどに転送され記憶される。また、この制御プログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、処理サーバー200の一機能としてその各装置のソフトウェアに組み込んでもよい。
 本出願は、2018年11月22日に出願された日本国特許出願番号2018-219676号に基づいており、その開示内容は、参照により全体として組み入れられている。
10 情報処理システム、
100 入力部、
110 ライダー、
111 投受光ユニット、
112 測距点群データ生成部、
200 処理サーバー、
210 位置情報取得部、
220 動体情報取得部、
230 記憶部、
240 サーベイ処理部、
241 行動推定部、
242 行動判定部、
243 判定出力部、
300 モニター部、
400 道路、
401 支柱、
402 監視領域、
403 歩道、
404 車道、
600~602 人、
700~702 車両。

Claims (18)

  1.  所定領域内における物体の時系列位置情報を取得する位置情報取得部と、
     前記物体の時系列位置情報を解析して、前記物体の動体情報を生成する動体情報取得部と、
     複数の物体の前記動体情報を蓄積する動体情報蓄積部と、
     前記動体情報蓄積部に蓄積されている、一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いを判定し、判定結果に基づいて、前記一の物体の非定常行動の度合いに関する情報を出力するサーベイ処理部と、を有する、情報処理装置。
  2.  前記サーベイ処理部は、
     前記一の物体の動体情報と、前記動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、請求項1に記載の情報処理装置。
  3.  前記サーベイ処理部は、
     前記動体情報蓄積部に蓄積されている動体情報に基づく前記物体の非定常行動の度合いの学習を行って生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、前記一の物体の非定常行動の度合いを判定する、請求項1に記載の情報処理装置。
  4.  前記サーベイ処理部は、
     前記動体情報蓄積部に蓄積されている動体情報に基づく前記物体の定常行動の度合いの学習を行って生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、前記一の物体の非定常行動の度合いを判定する、請求項1に記載の情報処理装置。
  5.  前記動体情報取得部は、
     前記物体の動体情報として、前記物体の移動の軌跡、速度、加速度、大きさ、種類、累積移動量、および滞在時間のうちの少なくとも1つを取得する、請求項1~4のいずれか1項に記載の情報処理装置。
  6.  前記サーベイ処理部は、
     複数の前記他の動体情報に対する、前記一の物体の動体情報のずれに基づいて、前記一の物体の非定常行動の度合いに関する情報を出力する、請求項1~5のいずれか1項に記載の情報処理装置。
  7.  前記サーベイ処理部は、
     前記動体情報蓄積部に蓄積されている複数の動体情報のデータからなる母集団について統計解析を行い、前記母集団における所定の値からの前記一の物体の動体情報のずれが所定範囲内である場合、前記物体の行動は定常行動であると判断する一方で、前記ずれが前記所定範囲外である場合、前記物体の行動は非定常行動であると判断する、請求項6に記載の情報処理装置。
  8.  前記サーベイ処理部は、
     前記物体の種類に応じて予め規定されている行動分類と前記物体の動体情報とに基づいて、前記所定領域内における前記物体の行動を推定する行動推定部を有する、請求項1~7のいずれか1項に記載の情報処理装置。
  9.  前記サーベイ処理部は、
     前記非定常行動の度合いとして、前記物体の行動が正常なのか、あるいは異常なのかを示す異常スコアを算出する、請求項1~8のいずれか1項に記載の情報処理装置。
  10.  所定領域に向けてレーザー光を走査するように出射するとともに当該所定領域からの反射光を受光し、当該反射光の受光信号に基づいて、前記所定領域内における測距点群データを生成するセンサー部と、
     前記測距点群データに基づいて、所定領域内における物体の時系列位置情報を取得する位置情報取得部と、
     前記物体の時系列位置情報を解析して、前記物体の動体情報を生成する動体情報取得部と、
     複数の物体の前記動体情報を蓄積する動体情報蓄積部と、
     前記動体情報蓄積部に記蓄積されている、一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いを判定し、判定結果に基づいて、前記一の物体の非定常行動の度合いに関する情報を出力するサーベイ処理部と、を有する、情報処理システム。
  11.  前記サーベイ処理部は、
     前記一の物体の動体情報と、前記動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、請求項10に記載の情報処理システム。
  12.  所定領域内における物体の時系列位置情報を取得するステップ(a)と、
     前記物体の時系列位置情報を解析して、前記物体の動体情報を生成するステップ(b)と、
     一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いについて判定し、前記一の物体の非定常行動の度合いに関する情報を出力するステップ(c)と、を有する、情報処理方法。
  13.  前記ステップ(c)では、
     前記一の物体の動体情報と、動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、請求項12に記載の情報処理方法。
  14.  前記ステップ(b)では、
     前記物体の動体情報として、前記物体の移動の軌跡、速度、加速度、大きさ、種類、累積移動量、および滞在時間のうちの少なくとも1つを取得する、請求項12または13に記載の情報処理方法。
  15.  前記ステップ(c)では、
     複数の前記他の動体情報に対する、前記一の物体の動体情報のずれに基づいて、前記一の物体の非定常行動の度合いに関する情報を出力する、請求項12~14のいずれか1項に記載の情報処理方法。
  16.  前記ステップ(c)では、
     動体情報蓄積部に蓄積されている複数の動体情報のデータからなる母集団について統計解析を行い、前記母集団における所定の値からの前記一の物体の動体情報のずれが所定範囲内である場合、前記物体の行動は定常行動であると判断する一方で、前記ずれが前記所定範囲外である場合、前記物体の行動は非定常行動であると判断する、請求項15に記載の情報処理方法。
  17.  前記ステップ(c)では、
     前記物体の種類に応じて予め規定されている行動分類と前記物体の動体情報とに基づいて、前記所定領域内における前記物体の行動を推定するステップ(d)をさらに有する、請求項12~16のいずれか1項に記載の情報処理方法。
  18.  前記ステップ(c)では、
     前記非定常行動の度合いとして、前記物体の行動が正常なのか、あるいは異常なのかを示す異常スコアを算出する、請求項12~17のいずれか1項に記載の情報処理方法。
PCT/JP2019/030324 2018-11-22 2019-08-01 情報処理装置、情報処理システム、および情報処理方法 WO2020105226A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020558084A JP7428136B2 (ja) 2018-11-22 2019-08-01 情報処理装置、情報処理システム、および情報処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-219676 2018-11-22
JP2018219676 2018-11-22

Publications (1)

Publication Number Publication Date
WO2020105226A1 true WO2020105226A1 (ja) 2020-05-28

Family

ID=70774228

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030324 WO2020105226A1 (ja) 2018-11-22 2019-08-01 情報処理装置、情報処理システム、および情報処理方法

Country Status (2)

Country Link
JP (1) JP7428136B2 (ja)
WO (1) WO2020105226A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181097A1 (ja) * 2021-02-26 2022-09-01 ソニーグループ株式会社 測距装置およびその制御方法、並びに、測距システム
WO2024024555A1 (ja) * 2022-07-25 2024-02-01 株式会社小糸製作所 障害物検出システム、障害物検出方法、障害物検出装置及び障害物検出プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003157487A (ja) * 2001-11-22 2003-05-30 Mitsubishi Electric Corp 交通状況監視装置
JP2008217602A (ja) * 2007-03-06 2008-09-18 Toshiba Corp 不審行動検知システム及び方法
JP2013178827A (ja) * 2013-06-03 2013-09-09 Denso Corp 運転状況推定装置,運転支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003157487A (ja) * 2001-11-22 2003-05-30 Mitsubishi Electric Corp 交通状況監視装置
JP2008217602A (ja) * 2007-03-06 2008-09-18 Toshiba Corp 不審行動検知システム及び方法
JP2013178827A (ja) * 2013-06-03 2013-09-09 Denso Corp 運転状況推定装置,運転支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181097A1 (ja) * 2021-02-26 2022-09-01 ソニーグループ株式会社 測距装置およびその制御方法、並びに、測距システム
WO2024024555A1 (ja) * 2022-07-25 2024-02-01 株式会社小糸製作所 障害物検出システム、障害物検出方法、障害物検出装置及び障害物検出プログラム

Also Published As

Publication number Publication date
JPWO2020105226A1 (ja) 2021-10-21
JP7428136B2 (ja) 2024-02-06

Similar Documents

Publication Publication Date Title
US11390276B2 (en) Control device, control method, and non-transitory storage medium
Li et al. What happens for a ToF LiDAR in fog?
US9524643B2 (en) Orientation sensitive traffic collision warning system
CN104903915B (zh) 用于监视车辆的周围环境的方法和设备以及用于实施紧急制动的方法
Khatab et al. Vulnerable objects detection for autonomous driving: A review
KR102101956B1 (ko) 보행자 검지를 이용한 어린이보호구역 단속시스템
US20210208282A1 (en) Detection device and detection system
WO2020105226A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
CN113665570A (zh) 自动地感知行驶信号的方法、装置及运载工具
CN111247574B (zh) 信息生成装置
WO2020105527A1 (ja) 画像解析装置、画像解析システム、および制御プログラム
CN106643517B (zh) 一种车辆高度超限的测量及警告方法
KR101628547B1 (ko) 주행 차선 확인 장치 및 방법
JP2019207654A (ja) 検知装置及び検知システム
CN113253299B (zh) 障碍物检测方法、装置及存储介质
JP7073949B2 (ja) 避難誘導装置、避難誘導システム、および制御プログラム
JP2011106829A (ja) 移動体検出方法及びレーザ距離測定装置
KR102119641B1 (ko) 보행자 검출 장치 및 방법
WO2020008685A1 (ja) 情報報知装置、情報報知装置用プログラム、および情報報知システム
CN111025332A (zh) 用于机动车的环境感测系统
JP7201002B2 (ja) 画像処理装置、制御プログラム、および画像処理方法
JP7435429B2 (ja) 安全運転レベル評価装置
TWI823613B (zh) 防撞預警方法、車載裝置及儲存介質
Gabb et al. Probabilistic inference of visibility conditions by means of sensor fusion
WO2020105225A1 (ja) 機械学習方法、学習済みモデル、制御プログラム、および物体検知システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19886732

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558084

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19886732

Country of ref document: EP

Kind code of ref document: A1