WO2020105226A1 - 情報処理装置、情報処理システム、および情報処理方法 - Google Patents

情報処理装置、情報処理システム、および情報処理方法

Info

Publication number
WO2020105226A1
WO2020105226A1 PCT/JP2019/030324 JP2019030324W WO2020105226A1 WO 2020105226 A1 WO2020105226 A1 WO 2020105226A1 JP 2019030324 W JP2019030324 W JP 2019030324W WO 2020105226 A1 WO2020105226 A1 WO 2020105226A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
information
body information
behavior
degree
Prior art date
Application number
PCT/JP2019/030324
Other languages
English (en)
French (fr)
Inventor
晃志 生田目
山本　信一
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2020558084A priority Critical patent/JP7428136B2/ja
Publication of WO2020105226A1 publication Critical patent/WO2020105226A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed

Definitions

  • the present invention relates to an information processing device, an information processing system, and an information processing method.
  • Patent Document 1 and Patent Document 2 there is a technique for determining a predefined abnormal behavior of the behavior of a person or a vehicle based on the position, speed, movement locus, etc. of the person or the vehicle. It is disclosed.
  • Patent Document 1 and Patent Document 2 have a problem that it is not possible to find an unknown abnormal behavior other than the predefined abnormal behavior.
  • the present invention has been made in view of the above circumstances, and regarding an action of a person or a vehicle, an information processing device, an information processing system, and an information processing device that can find an unknown abnormal action other than a predefined abnormal action
  • the purpose is to provide a method.
  • a position information acquisition unit that acquires time-series position information of an object within a predetermined area, a moving-body information acquisition unit that analyzes time-series position information of the object, and generates moving-object information of the object, Based on the moving body information storage unit that stores the moving body information of the object and the moving body information of the one object stored in the moving body information storage unit, the degree of unsteady behavior of the one object in the predetermined region And a survey processing unit that outputs information regarding the degree of unsteady behavior of the one object based on the determination result.
  • the survey processing unit performs statistical analysis using moving body information of the one object and moving body information of a plurality of other objects stored in the moving body information storage unit, and the statistical analysis is performed.
  • the information processing apparatus according to (1) above which determines the degree of unsteady behavior of the one object based on the result of (1) and outputs information regarding the degree of unsteady behavior of the one object.
  • the survey processing unit performs inference processing by a neural network using an inference processing parameter generated by learning the degree of unsteady behavior of the object based on the moving body information stored in the moving body information storage unit.
  • the survey processing unit performs inference processing by a neural network using inference processing parameters generated by learning the degree of steady behavior of the object based on the moving body information stored in the moving body information storage unit.
  • the information processing apparatus according to (1) above which determines the degree of unsteady behavior of the one object based on the information processing apparatus.
  • the moving body information acquisition unit Any one of (1) to (4) above, wherein at least one of a locus of movement of the object, a velocity, an acceleration, a size, a type, a cumulative movement amount, and a stay time is acquired as the moving body information of the object.
  • the information processing device according to one.
  • the survey processing unit outputs information regarding a degree of unsteady behavior of the one object based on a deviation of the moving body information of the one object with respect to a plurality of other moving body information, the above (1) ) To (5), the information processing device.
  • the survey processing unit performs statistical analysis on a population consisting of a plurality of pieces of moving body information data stored in the moving body information storage unit, and a moving body of the one object from a predetermined value in the population.
  • a population consisting of a plurality of pieces of moving body information data stored in the moving body information storage unit, and a moving body of the one object from a predetermined value in the population.
  • the survey processing unit includes an action estimation unit that estimates the action of the object in the predetermined region based on the action classification defined in advance according to the type of the object and the moving object information of the object.
  • the information processing apparatus according to any one of (1) to (7) above.
  • the survey processing unit calculates an abnormality score indicating whether the behavior of the object is normal or abnormal as the degree of the unsteady behavior, any one of (1) to (8) above.
  • the laser light is emitted toward the predetermined area so as to scan, the reflected light from the predetermined area is received, and the distance measurement point cloud data in the predetermined area is obtained based on the light reception signal of the reflected light.
  • a sensor unit for generating, based on the distance measuring point cloud data, a position information acquisition unit for acquiring time-series position information of an object in a predetermined region, and analyzing time-series position information of the object,
  • a moving body information acquisition unit that generates moving body information, a moving body information storage unit that stores the moving body information of a plurality of objects, and stored in the moving body information storage unit, based on the moving body information of one object,
  • An information processing system comprising: a survey processing unit that determines a degree of unsteady behavior of the one object within a predetermined area, and outputs information regarding a degree of unsteady behavior of the one object based on the determination result. ..
  • the survey processing unit performs statistical analysis using the moving body information of the one object and the moving body information of the other plurality of objects stored in the moving body information storage unit, and the statistical analysis is performed.
  • step (a) of obtaining time-series position information of the object within a predetermined area and a step (b) of analyzing the time-series position information of the object to generate moving body information of the object.
  • step (c) a statistical analysis is performed using the moving body information of the one object and the moving body information of a plurality of other objects stored in the moving body information storage unit, and the statistical analysis is performed.
  • At least one of a locus of movement of the object, a velocity, an acceleration, a size, a type, a cumulative movement amount, and a stay time is acquired as the moving body information of the object, (12) or (13) above.
  • Information processing method At least one of a locus of movement of the object, a velocity, an acceleration, a size, a type, a cumulative movement amount, and a stay time is acquired as the moving body information of the object, (12) or (13) above.
  • step (c) information regarding the degree of unsteady behavior of the one object is output based on a deviation of the moving body information of the one object with respect to a plurality of other moving body information.
  • the information processing method according to any one of 12) to (14).
  • step (c) statistical analysis is performed on a population consisting of a plurality of pieces of moving body information data stored in the moving body information storage unit, and the moving body of the one object from a predetermined value in the population is analyzed.
  • the deviation of the information is within the predetermined range, it is determined that the action of the object is a steady action, while when the deviation is outside the predetermined range, the action of the object is determined as the non-steady action.
  • step (c) a step of estimating the action of the object in the predetermined region based on the action classification defined in advance according to the type of the object and the moving body information of the object (d)
  • step (c) As the degree of the unsteady behavior, an abnormality score indicating whether the behavior of the object is normal or abnormal is calculated. Any one of the above (12) to (17) The information processing method described in 1.
  • the present invention based on the moving body information of the moving body of interest and other moving body information accumulated in the storage unit, information regarding the degree of unsteady behavior of the object within the predetermined area is output. Therefore, it is possible to find an unknown abnormal behavior other than the predefined abnormal behavior regarding the behavior of the person or the vehicle.
  • FIG. 7 is a schematic diagram showing information acquired in the process shown in FIG. 6 and a specific example thereof.
  • FIG. 3 is a schematic view of a pedestrian walking on a sidewalk and a meandering vehicle as viewed from above as an example of moving body detection in a rider's monitoring area.
  • 7 is a subroutine flowchart for explaining a process (step S103) of “estimating steady / unsteady behavior of a moving body” shown in FIG. 6. It is a graph which illustrates the statistical analysis result regarding the moving body information of a vehicle. It is a graph which illustrates the statistical analysis result regarding the moving body information of a vehicle. It is a chart which illustrates the processing result by a processing server. It is a schematic diagram which shows the user input example / output example of a processing server.
  • FIG. 1 is a block diagram showing the configuration of an information processing system 10 according to an embodiment.
  • FIG. 2 is a schematic diagram showing a pedestrian and a vehicle as moving bodies in the rider's monitoring area.
  • the vertical direction is the Y'direction
  • the traveling direction of the vehicle is the Z'direction
  • the direction orthogonal to these Y'and Z'directions is the X'direction.
  • the information processing system 10 includes an input unit (sensor unit) 100, a processing server (information processing device) 200, and a monitor unit 300.
  • the processing server 200 is, for example, a computer, and includes a CPU (Central Processing Unit), memory (semiconductor memory, magnetic recording medium (hard disk, etc.)), input / output unit (display, keyboard, speaker, etc.), communication I / F (interface). ) And the like.
  • the communication I / F is an interface for communicating with an external device.
  • a network interface according to standards such as Ethernet (registered trademark), SATA, PCI Express, USB, and IEEE 1394 may be used.
  • a wireless communication interface such as Bluetooth (registered trademark), IEEE 802.11, or 4G may be used for communication.
  • the input unit 100 includes a LiDAR (Light Detection and Ranging) 110 (see FIG. 3).
  • LiDAR Light Detection and Ranging
  • the input unit 100 is arranged so as to face a monitoring area 402 (a predetermined area indicated by a broken line) from a predetermined height by a pillar 401 standing at a predetermined position beside the road 400.
  • the monitoring area 402 is a three-dimensional area including, for example, a road 400 on which a person 600 or a vehicle 700 travels.
  • the input unit 100 measures the distance to an object (for example, a person 600 or a vehicle 700) in the monitoring area 402 by the rider 110, and generates distance measurement point cloud data indicating a distribution of distance values in the monitoring area 402.
  • FIG. 3 is a sectional view showing a schematic configuration of the rider 110.
  • the rider 110 has a light emitting / receiving unit 111 and a distance measuring point cloud data generation unit 112.
  • the light projecting / receiving unit 111 has a semiconductor laser 51, a collimator lens 52, a mirror unit 53, a lens 54, a photodiode 55, a motor 56, and a housing 57 that houses each of these components.
  • the light projecting / receiving unit 111 outputs a light receiving signal of each pixel obtained by scanning the inside of the surveillance space of the lidar 110 with the laser spot light 500.
  • the distance measurement point cloud data generation unit 112 generates distance measurement point cloud data based on the received light signal. This distance measuring point group data is also called a distance image or a distance map.
  • the semiconductor laser 51 emits a pulsed laser beam.
  • the collimator lens 52 converts the divergent light from the semiconductor laser 51 into parallel light.
  • the mirror unit 53 scans and projects the laser light collimated by the collimator lens 52 toward the monitoring area by the rotating mirror surface, and reflects the reflected light from the object.
  • the lens 54 collects the reflected light from the object reflected by the mirror unit 53.
  • the photodiode 55 receives the light condensed by the lens 54 and has a plurality of pixels arranged in the Y direction.
  • the motor 56 rotationally drives the mirror unit 53.
  • the distance measurement point cloud data generation unit 112 obtains distance information (distance value) according to the time difference between the emission timing of the semiconductor laser 51 and the light reception timing of the photodiode 55.
  • the distance measurement point cloud data generation unit 112 is composed of a CPU and a memory, and executes various programs by executing a program stored in the memory to obtain distance measurement point cloud data.
  • a dedicated hardware circuit for data generation may be provided.
  • the distance measurement point group data generation unit 112 may be integrated with the position information acquisition unit 210 (described later) as one function of the processing server 200 described above.
  • the semiconductor laser 51 and the collimator lens 52 constitute the emitting section 501
  • the lens 54 and the photodiode 55 constitute the light receiving section 502.
  • the optical axes of the emitting section 501 and the light receiving section 502 are preferably orthogonal to the rotation axis 530 of the mirror unit 53.
  • the box-shaped casing 57 fixedly installed on the rigid wall 91 or the like arranged at the tip of the column 401 includes an upper wall 57a, a lower wall 57b facing the upper wall 57a, an upper wall 57a and a lower wall 57b. And a side wall 57c that connects with.
  • An opening 57d is formed in a part of the side wall 57c, and a transparent plate 58 is attached to the opening 57d.
  • the mirror unit 53 has a shape in which two quadrangular pyramids are joined in the opposite direction and integrated, that is, four pairs of mirror surfaces 531a and 531b tilted in a pair to face each other (but not limited to four pairs). ) I have.
  • the mirror surfaces 531a and 531b are preferably formed by depositing a reflective film on the surface of a resin material (for example, PC (polycarbonate)) in the shape of a mirror unit.
  • the mirror unit 53 is connected to a shaft 56a of a motor 56 fixed to a housing 57 and is rotationally driven.
  • the axis (rotation axis) of the shaft 56a extends in the Y direction, which is the vertical direction, and is formed by the X and Z directions orthogonal to the Y direction.
  • the XZ plane is a horizontal plane, the axis of the shaft 56a may be inclined with respect to the vertical direction.
  • FIG. 2 and FIG. 8 described later show an X′Y′Z ′ space in which the XYZ space of the rider 110 is coordinate-converted in correspondence with the direction of the road (the traveling direction of the vehicle).
  • the Y'direction is the vertical direction
  • the Z'direction is parallel to the road extension direction
  • the X'direction is the direction orthogonal to them.
  • the divergent light emitted intermittently in a pulse form from the semiconductor laser 51 is converted into a parallel light flux by the collimator lens 52 and is incident on the first mirror surface 531a of the rotating mirror unit 53. After that, after being reflected by the first mirror surface 531a and further reflected by the second mirror surface 531b, the light is transmitted as a laser spot light having a vertically long rectangular cross section toward the external measurement space through the transparent plate 58. Be illuminated.
  • the direction in which the laser spot light is emitted and the direction in which the emitted laser spot light is reflected by the object and returns as reflected light overlap, and these two overlapping directions are called the light projecting and receiving directions.
  • Laser spot light traveling in the same light emitting / receiving direction is detected by the same pixel.
  • FIG. 4 is a diagram showing a state in which a laser spot light 500 (shown by hatching) emitted according to the rotation of the mirror unit 53 scans the inside of the monitoring area.
  • the four pairs have different crossing angles.
  • the laser light is sequentially reflected by the rotating first mirror surface 531a and second mirror surface 531b.
  • the laser light reflected by the first mirror surface 531a and the second mirror surface 531b of the first pair moves in the horizontal direction ("main scanning direction") in the uppermost region Ln1 of the measurement space in accordance with the rotation of the mirror unit 53.
  • the laser light reflected by the first mirror surface 531a and the second mirror surface of the 4th pair moves horizontally in the lowermost region Ln4 of the measurement space from left to right in accordance with the rotation of the mirror unit 53.
  • To be scanned. This completes one scan of the entire measurement space that can be measured by the lidar 110.
  • One frame 900 is obtained by combining the images obtained by scanning the regions Ln1 to Ln4. Then, after the mirror unit 53 makes one rotation, it returns to the first mirror surface 531a and the second mirror surface 531b of the pair 1 again, and thereafter, scanning from the top region Ln1 to the bottom region Ln4 of the measurement space is performed. (This vertical direction is also referred to as “sub-scanning direction”) is repeated to obtain the next frame 900.
  • the distance measurement point cloud data generation unit 112 obtains distance information according to the time difference between the emission timing of the semiconductor laser 51 and the light reception timing of the photodiode 55. This makes it possible to detect an object in the entire area of the monitoring space and obtain a frame 900 (see FIG. 4) as distance measuring point group data having distance information for each pixel. Further, according to a user's instruction, the obtained distance measuring point cloud data may be stored as background image data in the memory within the distance measuring point cloud data generation unit 112 or the memory of the processing server 200.
  • the processing server 200 includes a position information acquisition unit 210, a moving body information acquisition unit 220, a storage unit 230, and a survey processing unit 240.
  • the CPU of the processing server 200 described above functions as the moving body information acquisition unit 220 and the survey processing unit 240
  • the memory functions as the storage unit 230
  • the communication I / F functions as the position information acquisition unit 210.
  • the position information acquisition unit 210 detects a moving body in the monitoring area based on the distance measurement point cloud data generated by the input unit 100, and acquires time-series position information in which the positions of the moving body are arranged in time series.
  • the background subtraction method is adopted.
  • a background image generated and stored in advance is used.
  • the laser spot light 500 is scanned from the lidar 110 in a state where no moving object such as a person or a vehicle exists according to a user's instruction.
  • a background image can be obtained based on the reflected light obtained from the background object 92.
  • a pedestrian 600 for example, appears as an object of the behavior analysis target in front of the background object 92, reflected light from the pedestrian 600 is newly generated.
  • the position information acquisition unit 210 has a function of detecting a moving body.
  • the position information acquisition unit 210 compares the background image data stored in the memory with the current distance measuring point cloud data, and if there is a difference, some moving body (object) such as a pedestrian is present in the monitoring space. You can recognize that it has appeared.
  • the foreground data is extracted by using the background subtraction method to compare the background data with the current distance measuring point cloud data.
  • the pixels (pixel group) of the extracted foreground data are divided into clusters according to the distance information of the pixels, for example.
  • the size of each cluster is calculated. For example, vertical dimension, horizontal dimension, total area, etc. are calculated.
  • the “size” here is an actual size, and unlike the apparent size (angle of view, that is, the spread of pixels), the cluster of pixel groups is determined according to the distance to the object.
  • the position information acquisition unit 210 determines whether or not the calculated size is equal to or smaller than a predetermined size threshold value for specifying the moving object to be analyzed which is the extraction target.
  • the size threshold can be arbitrarily set depending on the measurement location, the behavior analysis target, and the like. For example, if pedestrians are tracked and their behavior is analyzed, the minimum value of the size of a normal person may be used as the size threshold value for clustering. On the contrary, if all moving objects are tracked, the size threshold may be set to a value smaller than this. Similarly, for an object larger than a person, for example, a vehicle, a size threshold for the vehicle can be obtained.
  • the center value or the center of gravity value of the clustered moving body may be used, and if the moving body is clustered by a rectangle, the center of the rectangle may be used as the position of the moving body.
  • the measured positions of the moving objects are arranged, for example, in ascending order of time, or in order of increasing elapsed time based on the date and time when the measurement by the rider 110 was started, and are transmitted to the moving object information acquisition unit 220 as time-series position information. ..
  • the time-series position information includes, for example, information on the position of the moving body in the three-dimensional space in the monitoring area and the time or elapsed time at which the moving body was measured.
  • the moving body information acquisition unit 220 analyzes the time-series position information of the moving body and generates information about the moving body (hereinafter referred to as “moving body information”).
  • the moving body information is objective information based on the time-series position information of the moving body. For example, the date and time, the position of the moving body, the locus of movement, the speed, the acceleration, the size, the type, the cumulative movement amount in the X ′ direction (hereinafter, It includes "cumulative movement amount X '", cumulative movement amount in the Z'direction (hereinafter referred to as “cumulative movement amount Z'"), and staying time (see FIG. 7).
  • the locus of movement of the moving body is obtained, for example, as a set of positions of the moving body in the time zone in which the moving body stays in the monitoring area, and the velocity of the moving body is the position of the moving body per unit time in a predetermined section in the monitoring area. Is calculated as the change amount of The acceleration is obtained as the amount of change in the velocity of the moving body per unit time. Further, the cumulative movement amount X ′ and the cumulative movement amount Z ′ of the moving body are cumulative movement amounts in the X ′ direction and the Z ′ direction, respectively, during the time zone in which the moving body stays in the monitoring area, and the staying time is This is the time zone during which the moving body stays in the surveillance area.
  • the moving body information acquisition unit 220 determines the type of each moving body by checking whether or not each moving body is applicable to the object classification.
  • the object classification includes, for example, people (pedestrians), vehicles (four-wheeled vehicles, two-wheeled vehicles, trucks), fallen objects, and the like. More specifically, the moving body information acquisition unit 220 determines the type of moving body by comparing the size, aspect ratio, etc. of the clustered moving body with reference data for each object classification.
  • the object classification and its reference data are input by the user in advance and stored in the storage unit 230.
  • the moving body information acquired by the moving body information acquisition unit 220 is stored in the storage unit (moving body information storage unit) 230. When the plurality of moving bodies pass through the monitoring area, the plurality of moving body information is accumulated in the storage unit 230.
  • the survey processing unit 240 Based on the moving body information of each moving body, the survey processing unit 240 estimates the behavior of each moving body in the monitoring area, that is, what kind of behavior each moving body has taken in the monitoring area, and the behavior of each moving body is estimated. It is determined whether the behavior is a steady behavior or a non-steady behavior.
  • the survey processing unit 240 provides the pedestrian and the driver of the vehicle with a driver in order to secure an action according to traffic rules or safe road traffic on a road such as an ordinary road or an expressway. It is assumed that the required behavior is protected by the majority of pedestrians and vehicle drivers, and behaviors outside the majority are judged as non-steady behaviors. As a result, it is possible to detect an action that violates the traffic rules or an action that is not preferable for securing safe road traffic, that is, an unsteady action that deviates from the actions of the majority of pedestrians (or vehicles).
  • FIG. 5 is an example of time-series position information data at each time of the moving body detected by the distance measurement point cloud data.
  • Each detected moving body is managed by a moving body ID.
  • the survey processing unit 240 has a behavior estimation unit 241, a behavior determination unit 242, and a determination result output unit 243 (see FIG. 1).
  • the behavior estimation unit 241 analyzes the behavior of each moving body by analyzing the moving body information of each moving body, and acquires information regarding the behavior of each moving body (hereinafter, “behavior information”). More specifically, the behavior estimation unit 241 determines whether or not the moving characteristics of each moving body represented by the moving body information apply to an action defined in advance in the action classification, and the determination result of each moving body is determined. Acquire as action information.
  • the action classification includes, for example, walking, entry of a person into a roadway, crossing a roadway, and the like in the case of a vehicle, such as normal running, reverse running, overspeed, U-turn, stop, meandering, etc. Can be The action classification is input in advance by the user and stored in the storage unit 230. Further, the action information acquired by the action estimation unit 241 is stored in the storage unit 230.
  • the action determination unit 242 determines whether the action of the moving body is a steady action or a non-steady action. More specifically, the action determination unit 242 focuses on one piece of moving body information among the plurality of pieces of moving body information stored in the storage unit 230, and sets the moving body information of the moving body of interest on the other moving body information. The "deviation" is calculated. The behavior determination unit 242 calculates the “deviation” one by one for each moving object detected within the extraction period. Note that, with respect to the moving body information acquired based on the distance measurement point cloud data measured by the rider 110 in real time, it is also possible to calculate the deviation with respect to the plurality of moving body information accumulated in the storage unit 230. Then, the behavior determination unit 242 determines whether the behavior of the moving body of interest is the steady behavior or the non-steady behavior based on this deviation. A specific method of calculating the deviation will be described later.
  • the determination result output unit 243 outputs information regarding the degree of unsteady behavior of the moving body based on the determination result of the behavior determination unit 242.
  • the determination result output unit 243 can also output an abnormality score based on the above-described deviation calculated by the action determination unit 242.
  • the abnormal score is a numerical score that indicates whether the moving body is normal or abnormal. The higher the score, the higher the possibility of abnormal behavior.
  • the determination result and the abnormality score are transmitted to the monitor unit 300.
  • the monitor unit 300 has a display, and displays the determination result of the behavior determination unit 242 and / or the abnormality score on the display.
  • the monitor unit 300 may include a speaker, and the determination result and / or the abnormality score may be output by voice from the speaker.
  • the monitor unit 300 has a storage unit and an output terminal to the printer, and can accumulate the determination result and / or the abnormality score as a report in the storage unit and output it to the printer as necessary.
  • FIG. 6 is a flowchart illustrating the information processing method according to the embodiment of the present invention.
  • the processing shown in FIG. 6 is realized by the CPU of the processing server 200 executing the control program.
  • FIG. 7 is a schematic diagram showing the information acquired in the process shown in FIG. 6 and a specific example thereof
  • FIG. 8 is a meandering example for detecting a moving object in the surveillance area of the rider and meandering with a pedestrian walking on a sidewalk. It is the schematic diagram which looked at the vehicle which looked at from the upper part.
  • the time series position information of the moving body is acquired (step S101).
  • the position information acquisition unit 210 detects a moving object in the monitoring area based on the distance measuring point cloud data acquired by the rider 110, and outputs time-series position information of each moving object. For example, as shown in FIG. 8, for the person (pedestrian) 600 as a moving body and the vehicle 700, as shown in FIG. 8, the person 600 at the time t0, the person 700 at the time t1, the person 601 at the time t1, and the person 701 at the vehicle 701, t2. The position information of the vehicle 602 and the position information of the vehicle 702 are acquired.
  • the moving body information acquisition unit 220 analyzes the time-series position information of each moving body, generates moving body information of each moving body, and stores the moving body information in the storage unit 230. For example, the moving body information acquisition unit 220 determines the types of the person (pedestrian) 600 and the vehicle 700 and acquires the movement trajectory as the moving body information. In the example shown in FIG. 8, between time t0 and time t1, the person 600 moves on the movement locus indicated by reference numerals 600 to 602, and the vehicle 700 moves on the movement locus indicated by reference numerals 700 to 702. ..
  • the behavior estimation unit 241 analyzes the behavior of each moving body by analyzing the moving body information, and acquires the behavior information of each moving body. More specifically, the behavior estimation unit 241 determines that the person 600 is walking on the sidewalk 403 in the Z ′ direction based on the characteristics of the movement trajectory of the person 600 in light of the behavior classification of FIG. 7. It is determined that the vehicle 700 is traveling on the road 404 in the Z ′ direction based on the characteristics of the movement trajectory of the vehicle 700. Further, since the vehicle 700 is traveling in the left lane in the traveling direction at the time t0, the behavior estimating unit 241 travels out of the lane at the time t1 and returns to the left lane again at the time t2. It is determined that the vehicle 700 meanders during the time period from time t0 to time t2.
  • the behavior determination unit 242 performs statistical analysis using, for example, a plurality of moving body information accumulated in the storage unit 230 as a population, and calculates a deviation from a predetermined value in the population for the moving body information of the moving body of interest. To do.
  • the predetermined value includes, for example, an average value, an average value, a variance, or a value evaluated by 3 ⁇ .
  • the behavior determination unit 242 determines that the behavior of the moving body is a stationary behavior when the shift of the moving body information of the moving body of interest is within a predetermined range, while the behavior determination unit 242 determines that the movement of the moving body is outside the predetermined range when the shift is outside the predetermined range.
  • the behavior of is determined to be an unsteady behavior. A specific procedure for determining the steady / unsteady behavior of the moving body will be described later. Further, the behavior determination unit 242 calculates an abnormality score as needed.
  • the determination result output unit 243 outputs the determination result of the action determination unit 242 to the monitor unit 300. Further, the determination result output unit 243 outputs the abnormality score to the monitor unit 300 based on the deviation calculated by the action determination unit 242.
  • the monitor unit 300 displays on the display that the action of the moving body of interest is a steady action or a non-steady action according to the determination result. Further, the monitor unit 300 displays the abnormality score on the display as necessary.
  • time-series position information of the moving body in the monitoring area is acquired, time-series position information of the moving body is analyzed, and moving body information of the moving body is acquired. Then, based on the moving body information of one moving body stored in the storage unit 230 or acquired in real time and the other moving body information stored in the storage unit 230, the moving body of the one moving body in the monitoring area is detected. Outputs information about the degree of unsteady behavior.
  • the information regarding the degree of non-stationary behavior of a moving object may include information that numerically represents the determination result of the non-steady-state behavior / steady-state behavior of the moving body, and the steady / unsteadyness of the behavior of the moving body.
  • FIG. 9 is a subroutine flowchart for explaining the process (step S104) of “estimating the steady / unsteady behavior of the moving body” shown in FIG.
  • the processing illustrated in FIG. 9 is realized by the CPU of the processing server 200 executing the control program.
  • FIG. 10A and FIG. 10B are graphs which illustrate the statistical analysis result regarding the moving body information of a vehicle.
  • FIG. 10A is a graph illustrating the distribution when the horizontal axis is the cumulative movement amount X ′ and the vertical axis is the stay time
  • FIG. 10B is the graph when the horizontal axis is the cumulative movement amount Z ′ and the vertical axis is the stay time. It is a graph which illustrates distribution.
  • “•” represents each sample.
  • step S201 statistical analysis is performed on the moving body information stored in the storage unit 230 (step S201).
  • the behavior determination unit 242 extracts, for example, n pieces of moving body information samples from a population composed of a plurality of pieces of moving body information data stored in the storage unit 230, and calculates a standard deviation ⁇ of the moving body information.
  • the population is preferably set within several hours before and after the moving body of interest appears.
  • the number of samples n is sufficiently large for statistical analysis.
  • the standard deviation ⁇ is calculated for each moving body information.
  • the stationary / unsteady behavior of the moving body is estimated by using the cumulative moving amount X ′, the cumulative moving amount Z ′, and the stay time as the moving body information.
  • the cumulative movement amount X ′, the cumulative movement amount Z ′, and the standard deviation of the stay time are represented as ⁇ X , ⁇ Z, and ⁇ T , respectively.
  • ⁇ X , ⁇ Z, and ⁇ T are represented as ⁇ .
  • reference numeral 800 represents a range of samples in which the residence time is out of the first predetermined range (for example, 3 ⁇ T ).
  • the samples 801 and 802 are samples in which the staying time is out of the first predetermined range.
  • reference numeral 820 represents a range of samples in which the cumulative movement amount X ′ is outside the second predetermined range (for example, 3 ⁇ X ), and in FIG. 10B, reference numeral 830 represents the cumulative movement amount Z ′ in the third range.
  • the sample 821 is a sample in which the cumulative movement amount X ′ is out of the second predetermined range
  • the sample 831 is a sample in which the cumulative movement amount Z ′ is out of the third predetermined range.
  • the range of samples included in the predetermined range for all of the stay time, the cumulative movement amount X ′, and the cumulative movement amount Z ′ is represented by reference numeral 810.
  • the samples 811 and 812 are samples included in a predetermined range.
  • the action determination unit 242 estimates that the moving object of interest is performing a steady action (step S203). For example, when the vehicle 700 is normally traveling in the Z ′ direction, the stay time is within the first predetermined range if the speed is appropriately protected, and the accumulated travel distance is if the vehicle 700 is traveling in the designated lane. X'is within the second predetermined range, and the cumulative movement amount Z'is also within the third predetermined range. As a result, the behavior of the vehicle 700 is determined to be a steady behavior.
  • the behavior determination unit 242 estimates that the moving body of interest is performing an unsteady behavior (Ste S204). For example, as shown in FIG. 8, when the vehicle 700 is meandering, the movement amount in the X ′ direction becomes larger than that during normal traveling, and the cumulative movement amount X ′ deviates from the second predetermined range. As a result, the behavior of the vehicle 700 is determined to be an unsteady behavior.
  • FIG. 11 is a diagram showing an example of processing results by the processing server 200.
  • relevant information is output as a log for the moving body information exceeding the predetermined range, that is, the moving body information determined to be performing the unsteady behavior.
  • Unclassified behaviors may include behaviors that are undesirable in ensuring safe road traffic.
  • the processing server 200 of this embodiment calculates based on the moving body information of one moving body stored in the storage unit 230 or acquired in real time, and the other moving body information stored in the storage unit 230. Information about the degree of unsteady behavior of an object in the monitoring area is output. Therefore, it is possible to find an unknown abnormal behavior other than the predefined abnormal behavior regarding the behavior of the person or the vehicle.
  • the processing server 200 of the present embodiment is highly resistant to disturbances due to environmental factors such as weather, and does not require learning or tuning for analysis, and thus is easy to install, and measurement and analysis can be performed immediately after installation. Can start. Further, depending on the evaluation target of the non-steady-state behavior, effective evaluation can be obtained by short-term measurement and analysis.
  • FIG. 12 is a schematic diagram showing a user input example / output example of the processing server 200.
  • the user input to the processing server 200 includes the extraction period (date and time), environment information (weather, road congestion status), and the like in addition to the action classification and object classification described above.
  • the extraction period is a period for which the processing server 200 determines the steady / unsteady behavior of the moving body.
  • Environmental information weather, road congestion status
  • the environmental information is also recorded when moving objects are measured, and is referred to when the user verifies unsteady behavior. By doing so, it is possible to easily grasp the influence of environmental factors when measuring the moving body.
  • the processing server 200 can output the number of extracted events as the whole information.
  • the number of extracted events can be output for each action classification and each object classification. For example, it is possible to output the number of vehicles in the monitoring area and the traveling state of the vehicles.
  • the processing server 200 can display the data by distinguishing the data for each action classification with a color so as to be visually easy to see (heat map).
  • the heat map for each action classification includes visualization of the occurrence pattern of unsteady actions.
  • the processing server 200 can output, as the individual information, the measurement date / time of the moving body, the action classification, the object classification, the environmental information, the movement trajectory, the camera image, and the like.
  • the input unit 100 may be configured to include a rider 110 and a camera (not shown).
  • the camera is, for example, a visible light camera.
  • the rider 110 and the camera are arranged such that the monitoring area 402 (measurement area / imaging area) substantially coincides with each other, and the optical axes substantially coincide with each other, and the alignment is performed.
  • the camera image is for visual confirmation of the event by the user. The user can confirm the appearance time of the moving body that has performed the unsteady behavior from the processing result of FIG.
  • the processing server 200 can output a comment about the cause of the non-steady-state behavior as additional information. For example, when it is determined that the vehicle makes a U-turn or back in the entry-prohibited area, it is considered that the driver erroneously entered the area. Then, as a cause of the driver's error, it is conceivable that it is difficult to see the entry prohibition sign, the distance from the sign to the place is short, and the driver's operation operation for avoiding entry is not in time. Further, when it is determined that the vehicle meanders or suddenly decelerates, it is considered that the driver has performed a driving operation to avoid an obstacle (for example, a person or an animal jumps out) on the road or a depression of the road. Then, as the cause of the driving operation of the driver, it is considered that popping out is likely to occur, the forward visibility in the front section of the road is poor, and the depression of the road is undiscovered or unrepaired.
  • an obstacle for example, a person or an animal jumps out
  • the processing server 200 can output a comment regarding the possible cause of such non-steady-state behavior. Businesses that maintain and manage roads can efficiently maintain and manage roads by referring to these comments.
  • the processing server 200 has an inference processing unit that performs analysis by inference processing by a neural network using inference processing parameters.
  • Yolo single shot detector
  • R-CNN Convolutional Neural Network
  • Fast R-CNN Fast R-CNN
  • This inference processing parameter is generated by performing learning of the degree of non-steady behavior of an object or the degree of steady behavior of an object based on moving body information, and is stored in the storage unit 230.
  • This inference processing parameter is obtained by performing machine learning in advance by a known algorithm using a huge number of pieces of moving body information accumulated in the storage unit 230 under a plurality of possible kinds of measurement conditions. ..
  • the assumed predetermined measurement conditions include at least one of weather, illuminance, temperature and humidity, and road congestion. In particular, it is preferable to include the measurement conditions when the weather is rainy, snowy, and fog, as well as at night (low illuminance) and when the road is congested.
  • the inference processing unit learns the degree of non-steady-state behavior of the object based on the moving body information accumulated in the storage unit 230 and generates the inference processing parameter. For example, learning is performed so that the degree of the correct unsteady behavior to be output is given to the input moving body information and the degree of the unsteady behavior of the correct answer is output to the input moving body information. Then, the inference processing unit determines and outputs the degree of unsteady behavior of one object based on the inference processing by the neural network using the generated inference processing parameter.
  • the inference processing unit learns the degree of regular behavior of the object based on the moving body information accumulated in the storage unit 230, and generates inference processing parameters. For example, learning is performed so that the degree of the correct steady behavior to be output is given to the input moving body information and the degree of the correct steady behavior is output to the input moving body information. Then, the inference processing unit determines and outputs the degree of unsteady behavior of one object based on the inference processing by the neural network using the generated inference processing parameter.
  • the inference processing parameter obtained by learning is used by using the moving body information obtained by the measurement under various assumed measurement conditions. As a result, the same effect as that of the above-described embodiment can be obtained.
  • the configurations of the information processing apparatus, the information processing system, and the information processing method described above are the main configurations in describing the features of the above embodiments, and are not limited to the above configurations. Various modifications can be made within.
  • the present invention is not limited to such a case.
  • the camera image of the input unit may be subjected to image processing to detect a moving body, and time-series position information of each detected moving body may be acquired.
  • a radar may be used to generate the distance measurement point cloud data.
  • a beacon other sensor (radar using millimeter wave), GPS or the like may be used.
  • the information processing system 10 has been described for estimating the steady / unsteadiness of the behavior of a moving body on a road, but the present invention is applied to a runway of an airport, etc., in addition to the road. You can also In this case, by using the distance measuring point cloud data generated by the radar and the cumulative movement amount Y ′ as the moving body information, the movement in the height direction can be taken into consideration.
  • the control program of the processing server 200 may be provided by a computer-readable recording medium such as a USB memory, a flexible disk, a CD-ROM, or may be provided online via a network such as the Internet.
  • the program recorded on the computer-readable recording medium is usually transferred to and stored in a memory or a storage.
  • this control program may be provided as, for example, independent application software, or may be incorporated in the software of each device as one function of the processing server 200.
  • Information processing system 100 input section, 110 riders, 111 light emitting and receiving unit, 112 distance measuring point cloud data generation unit, 200 processing servers, 210 location information acquisition unit, 220 Moving object information acquisition unit, 230 storage, 240 Survey processing unit, 241 Behavior estimation unit, 242 Behavior determination unit, 243 Judgment output unit, 300 monitor, 400 roads, 401 props, 402 monitoring area, 403 Sidewalk, 404 driveway, 600-602 people, 700-702 vehicles.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】人や車両の行動について、予め定義された異常行動以外の未知の異常行動を見つけることができる情報処理装置、情報処理システム、および情報処理方法を提供する。 【解決手段】情報処理装置２００は、位置情報取得部２１０、動体情報取得部２２０、記憶部２３０、およびサーベイ処理部２４０を有する。位置情報取得部２１０は、監視領域内における物体の時系列位置情報を取得する。動体情報取得部２２０は、物体の時系列位置情報を解析して、物体の動体情報を生成する。記憶部２３０は、複数の物体の動体情報を蓄積する。サーベイ処理部２４０は、記憶部２３０に蓄積されている、一の物体の動体情報に基づいて、所定領域内における一の物体の非定常行動の度合いを判定し、判定結果に基づいて、一の物体の非定常行動の度合いに関する情報を出力する。

Description

情報処理装置、情報処理システム、および情報処理方法
　本発明は、情報処理装置、情報処理システム、および情報処理方法に関する。
　近年、人や車両が往来する道路などにおいて、人や車両の行動をカメラで監視する監視装置の設置が増加している。監視装置の設置が増加している背景には、交通ルールが守られない危険な行動に起因して発生する事故や、路上における人同士のトラブル等の増加がある。道路を往来する人や車両は、規定の交通ルールに則り、安全に配慮して行動することが期待されている。しかし、現実には危険運転や交通ルールを無視した行動による事故の発生や、事故の一歩手前の状況となることが後を絶たない。
　従来、このような危険な行動を含む異常行動に対する対策を立てるため、人が監視装置のカメラ映像を目視により解析し、道路を往来する人や車両の行動を確認することが多かったが、時間や手間がかかる上、発生頻度の低い事象を見つけることが困難であった。
　これに対して、下記特許文献１および特許文献２には、人や車両の行動について、人や車両の位置、速度、移動軌跡等に基づいて、予め定義された異常行動の判別を行う技術が開示されている。
特開２００３－１５７４８７号公報 特開２００８－２１７６０２号公報
　しかしながら、特許文献１および特許文献２の技術では、予め定義された異常行動以外の未知の異常行動を見つけることはできないという課題がある。
　本発明は、上記事情に鑑みてなされたものであり、人や車両の行動について、予め定義された異常行動以外の未知の異常行動を見つけることができる情報処理装置、情報処理システム、および情報処理方法を提供することを目的とする。
　本発明の上記目的は、下記の手段によって達成される。
　（１）所定領域内における物体の時系列位置情報を取得する位置情報取得部と、前記物体の時系列位置情報を解析して、前記物体の動体情報を生成する動体情報取得部と、複数の物体の前記動体情報を蓄積する動体情報蓄積部と、前記動体情報蓄積部に蓄積されている、一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いを判定し、判定結果に基づいて、前記一の物体の非定常行動の度合いに関する情報を出力するサーベイ処理部と、を有する、情報処理装置。
　（２）前記サーベイ処理部は、前記一の物体の動体情報と、前記動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、上記（１）に記載の情報処理装置。
　（３）前記サーベイ処理部は、前記動体情報蓄積部に蓄積されている動体情報に基づく前記物体の非定常行動の度合いの学習を行って生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、前記一の物体の非定常行動の度合いを判定する、上記（１）に記載の情報処理装置。
　（４）前記サーベイ処理部は、前記動体情報蓄積部に蓄積されている動体情報に基づく前記物体の定常行動の度合いの学習を行って生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、前記一の物体の非定常行動の度合いを判定する、上記（１）に記載の情報処理装置。
　（５）前記動体情報取得部は、
　前記物体の動体情報として、前記物体の移動の軌跡、速度、加速度、大きさ、種類、累積移動量、および滞在時間のうちの少なくとも１つを取得する、上記（１）～（４）のいずれか１つに記載の情報処理装置。
　（６）前記サーベイ処理部は、複数の前記他の動体情報に対する、前記一の物体の動体情報のずれに基づいて、前記一の物体の非定常行動の度合いに関する情報を出力する、上記（１）～（５）のいずれか１つに記載の情報処理装置。
　（７）前記サーベイ処理部は、前記動体情報蓄積部に蓄積されている複数の動体情報のデータからなる母集団について統計解析を行い、前記母集団における所定の値からの前記一の物体の動体情報のずれが所定範囲内である場合、前記物体の行動は定常行動であると判断する一方で、前記ずれが前記所定範囲外である場合、前記物体の行動は非定常行動であると判断する、上記（６）に記載の情報処理装置。
　（８）前記サーベイ処理部は、前記物体の種類に応じて予め規定されている行動分類と前記物体の動体情報とに基づいて、前記所定領域内における前記物体の行動を推定する行動推定部を有する、上記（１）～（７）のいずれか１つに記載の情報処理装置。
　（９）前記サーベイ処理部は、前記非定常行動の度合いとして、前記物体の行動が正常なのか、あるいは異常なのかを示す異常スコアを算出する、上記（１）～（８）のいずれか１つに記載の情報処理装置。
　（１０）所定領域に向けてレーザー光を走査するように出射するとともに当該所定領域からの反射光を受光し、当該反射光の受光信号に基づいて、前記所定領域内における測距点群データを生成するセンサー部と、前記測距点群データに基づいて、所定領域内における物体の時系列位置情報を取得する位置情報取得部と、前記物体の時系列位置情報を解析して、前記物体の動体情報を生成する動体情報取得部と、複数の物体の前記動体情報を蓄積する動体情報蓄積部と、前記動体情報蓄積部に記蓄積されている、一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いを判定し、判定結果に基づいて、前記一の物体の非定常行動の度合いに関する情報を出力するサーベイ処理部と、を有する、情報処理システム。
　（１１）前記サーベイ処理部は、前記一の物体の動体情報と、前記動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、上記（１０）に記載の情報処理システム。
　（１２）所定領域内における物体の時系列位置情報を取得するステップ（ａ）と、前記物体の時系列位置情報を解析して、前記物体の動体情報を生成するステップ（ｂ）と、一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いについて判定し、前記一の物体の非定常行動の度合いに関する情報を出力するステップ（ｃ）と、を有する、情報処理方法。
　（１３）前記ステップ（ｃ）では、前記一の物体の動体情報と、動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、上記（１２）に記載の情報処理方法。
　（１４）前記ステップ（ｂ）では、
　前記物体の動体情報として、前記物体の移動の軌跡、速度、加速度、大きさ、種類、累積移動量、および滞在時間のうちの少なくとも１つを取得する、上記（１２）または（１３）に記載の情報処理方法。
　（１５）前記ステップ（ｃ）では、複数の前記他の動体情報に対する、前記一の物体の動体情報のずれに基づいて、前記一の物体の非定常行動の度合いに関する情報を出力する、上記（１２）～（１４）のいずれか１つに記載の情報処理方法。
　（１６）前記ステップ（ｃ）では、動体情報蓄積部に蓄積されている複数の動体情報のデータからなる母集団について統計解析を行い、前記母集団における所定の値からの前記一の物体の動体情報のずれが所定範囲内である場合、前記物体の行動は定常行動であると判断する一方で、前記ずれが前記所定範囲外である場合、前記物体の行動は非定常行動であると判断する、上記（１５）に記載の情報処理方法。
　（１７）前記ステップ（ｃ）では、前記物体の種類に応じて予め規定されている行動分類と前記物体の動体情報とに基づいて、前記所定領域内における前記物体の行動を推定するステップ（ｄ）をさらに有する、上記（１２）～（１６）のいずれか１つに記載の情報処理方法。
　（１８）前記ステップ（ｃ）では、前記非定常行動の度合いとして、前記物体の行動が正常なのか、あるいは異常なのかを示す異常スコアを算出する、上記（１２）～（１７）のいずれか１つに記載の情報処理方法。
　本発明によれば、注目している動体の動体情報と、記憶部に蓄積されている他の動体情報とに基づいて、所定領域内における物体の非定常行動の度合いに関する情報を出力する。したがって、人や車両の行動について、予め定義された異常行動以外の未知の異常行動を見つけることができる。
一実施形態の情報処理システムの構成を示すブロック図である。 ライダーの監視領域内における動体としての歩行者および車両を示す模式図である。 ライダーの概略構成を示す断面図である。 ライダーによって監視領域内を走査する状態を示す模式図である。 測距点群データにより検出した動体の各時刻での位置情報データの例である。 一実施形態の情報処理方法を例示するフローチャートである。 図６に示す処理において取得される情報とその具体例を示す模式図である。 ライダーの監視領域内の動体検出の一例として歩道を通行している歩行者と蛇行する車両とを上方から視た模式図である。 図６に示す「動体の行動の定常／非定常性を推定」する処理（ステップＳ１０３）について説明するためのサブルーチンフローチャートである。 車両の動体情報に関する統計解析結果を例示するグラフである。 車両の動体情報に関する統計解析結果を例示するグラフである。 処理サーバーによる処理結果を例示する図表である。 処理サーバーのユーザー入力例／出力例を示す模式図である。
　以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。　図１は、一実施形態に係る情報処理システム１０の構成を示すブロック図である。また、図２はライダーの監視領域内における動体としての歩行者および車両を示す模式図である。図２においては、上下方向をＹ’方向、車両の進行方向をＺ’方向、これらのＹ’、Ｚ’方向に直交する方向をＸ’方向とする。
　情報処理システム１０は、入力部（センサー部）１００、処理サーバー（情報処理装置）２００、およびモニター部３００を有する。処理サーバー２００は、例えば、コンピューターであり、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、メモリー（半導体メモリー、磁気記録媒体（ハードディスク等））、入出力部（ディスプレイ、キーボード、スピーカー等）、通信Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）等を備える。通信Ｉ／Ｆは、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ　Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いてもよい。また、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースを用いてもよい。
　（入力部１００）
　入力部１００は、ライダー（ＬｉＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）１１０を含む（図３を参照）。
　図２に示すように、入力部１００は、道路４００脇の規定の位置に立てられた支柱４０１により、所定の高さから監視領域４０２（破線で示す所定領域）の方に向くように配置される。本実施形態では、監視領域４０２は、例えば人６００や車両７００が往来する道路４００を含む３次元的な領域である。入力部１００は、ライダー１１０により、監視領域４０２内の物体（例えば人６００や車両７００）までの距離を測定し、監視領域４０２内の距離値の分布を示す測距点群データを生成する。
　（ライダー１１０）
　以下、図３、図４を参照し、ライダー１１０の構成について説明する。図３は、ライダー１１０の概略構成を示す断面図である。
　ライダー１１０は、投受光ユニット１１１、および測距点群データ生成部１１２を有する。投受光ユニット１１１は、半導体レーザー５１、コリメートレンズ５２、ミラーユニット５３、レンズ５４、フォトダイオード５５、およびモーター５６、ならびにこれらの各構成部材を収容する筐体５７を有する。投受光ユニット１１１は、レーザースポット光５００によりライダー１１０の監視空間内を走査することで得られた各画素の受光信号を出力する。測距点群データ生成部１１２は、この受光信号に基づいて、測距点群データを生成する。この測距点群データは距離画像、または距離マップとも称される。
　半導体レーザー５１は、パルス状のレーザー光束を出射する。コリメートレンズ５２は、半導体レーザー５１からの発散光を平行光に変換する。ミラーユニット５３は、コリメートレンズ５２で平行とされたレーザー光を、回転するミラー面により監視領域に向かって走査投光するとともに、対象物からの反射光を反射させる。レンズ５４は、ミラーユニット５３で反射された対象物からの反射光を集光する。フォトダイオード５５は、レンズ５４により集光された光を受光し、Ｙ方向に並んだ複数の画素を有する。モーター５６はミラーユニット５３を回転駆動する。
　測距点群データ生成部１１２は、これらの半導体レーザー５１の出射タイミングとフォトダイオード５５の受光タイミングとの時間差に応じて距離情報（距離値）を求める。測距点群データ生成部１１２は、ＣＰＵとメモリーで構成され、メモリーに記憶しているプログラムを実行することにより各種の処理を実行することによって測距点群データを求めるが、測距点群データ生成用の専用ハードウエア回路を備えてもよい。また、測距点群データ生成部１１２は、上述の処理サーバー２００の１つの機能として、位置情報取得部２１０（後述）に統合されてもよい。
　本実施形態において、半導体レーザー５１とコリメートレンズ５２とで出射部５０１を構成し、レンズ５４とフォトダイオード５５とで受光部５０２を構成する。出射部５０１、受光部５０２の光軸は、ミラーユニット５３の回転軸５３０に対して直交していることが好ましい。
　支柱４０１の先端部に配置された剛体の壁９１等に固定して設置されたボックス状の筐体５７は、上壁５７ａと、これに対向する下壁５７ｂと、上壁５７ａと下壁５７ｂとを連結する側壁５７ｃとを有する。側壁５７ｃの一部に開口５７ｄが形成され、開口５７ｄには透明板５８が取り付けられている。
　ミラーユニット５３は、２つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面５３１ａ、５３１ｂを４対（但し４対に限られない）有している。ミラー面５３１ａ、５３１ｂは、ミラーユニットの形状をした樹脂素材（例えばＰＣ（ポリカーボネート））の表面に、反射膜を蒸着することにより形成されていることが好ましい。
　ミラーユニット５３は、筐体５７に固定されたモーター５６の軸５６ａに連結され、回転駆動されるようになっている。本実施形態では、例えば、壁９１に設置された状態で、軸５６ａの軸線（回転軸線）が鉛直方向であるＹ方向に延在しており、Ｙ方向に直交するＸ方向およびＺ方向によりなすＸＺ平面が水平面となっているが、軸５６ａの軸線を鉛直方向に対して傾けてもよい。なお、図２、および後述の図８においては、ライダー１１０のＸＹＺ空間を道路の向き（車両の進行方向）に対応させ座標変換させたＸ’Ｙ’Ｚ’空間を示している。Ｘ’Ｙ’Ｚ’空間において、Ｙ’方向は鉛直方向であり、Ｚ’方向は道路の延在方向に平行であり、Ｘ’方向はこれらに直交する方向である。
　次に、ライダー１１０の物体検出原理について説明する。図３において、半導体レーザー５１からパルス状に間欠的に出射された発散光は、コリメートレンズ５２で平行光束に変換され、回転するミラーユニット５３の第１ミラー面５３１ａに入射する。その後、第１ミラー面５３１ａで反射され、さらに第２ミラー面５３１ｂで反射した後、透明板５８を透過して外部の測定空間に向けて、例えば縦長の矩形断面を持つレーザースポット光として走査投光される。なお、レーザースポット光が出射される方向と、出射されたレーザースポット光が対象物で反射し、反射光として戻ってくる方向は重複し、この重複する２方向を投受光方向という。同一の投受光方向に進行するレーザースポット光は、同一の画素で検出される。
　図４は、ミラーユニット５３の回転に応じて、出射するレーザースポット光５００（ハッチングで示す）で、監視領域内を走査する状態を示す図である。ここで、ミラーユニット５３の対のミラー（第１ミラー面５３１ａと第２ミラー面５３１ｂ）の組み合わせにおいて、４対はそれぞれ交差角が異なっている。レーザー光は、回転する第１ミラー面５３１ａと第２ミラー面５３１ｂにて、順次反射される。まず１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂにて反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の一番上の領域Ｌｎ１を水平方向（「主走査方向」ともいう）に左から右へと走査される。次に、２番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の上から２番目の領域Ｌｎ２を水平方向に左から右へと走査される。次に、３番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の上から３番目の領域Ｌｎ３を水平方向に左から右へと走査される。次に、４番対の第１ミラー面５３１ａと第２ミラー面で反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の最も下の領域Ｌｎ４を水平方向に左から右へと走査される。これによりライダー１１０が測定可能な測定空間全体の１回の走査が完了する。この領域Ｌｎ１～Ｌｎ４の走査により得られた画像を組み合わせて、１つのフレーム９００が得られる。そして、ミラーユニット５３が１回転した後、再び１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂに戻り、以降は測定空間の一番上の領域Ｌｎ１から最も下の領域Ｌｎ４までの走査（この上下方向を「副走査方向」ともいう）を繰り返し、次のフレーム９００が得られる。
　図３において、走査投光された光束のうち対象物に当たって反射したレーザー光の一部は、再び透明板５８を透過して筐体５７内のミラーユニット５３の第２ミラー面５３１ｂに入射し、ここで反射され、さらに第１ミラー面５３１ａで反射されて、レンズ５４により集光され、それぞれフォトダイオード５５の受光面で画素毎に検知される。さらに、測距点群データ生成部１１２が、半導体レーザー５１の出射タイミングとフォトダイオード５５の受光タイミングとの時間差に応じて距離情報を求める。これにより監視空間内の全領域で物体の検出を行って、画素毎に距離情報を持つ測距点群データとしてのフレーム９００（図４を参照）を得ることができる。また、ユーザーの指示により、得られた測距点群データを背景画像データとして、測距点群データ生成部１１２内のメモリー、または処理サーバー２００のメモリーに記憶してもよい。
　（処理サーバー２００）
　再び図１を参照し、処理サーバー２００の構成について説明する。処理サーバー２００は、位置情報取得部２１０、動体情報取得部２２０、記憶部２３０、サーベイ処理部２４０を含む。主に、上述の処理サーバー２００のＣＰＵが動体情報取得部２２０およびサーベイ処理部２４０として機能し、メモリーが記憶部２３０として機能し、通信Ｉ／Ｆが位置情報取得部２１０として機能する。
　（位置情報取得部２１０）
　位置情報取得部２１０は、入力部１００において生成された測距点群データに基づいて、監視領域内における動体を検出し、動体の位置を時系列に並べた時系列位置情報を取得する。
　ここで、図４を参照して、背景差分法を用いた、ライダー１１０の動体検出アルゴリズムについて説明する。本実施形態では、例えば背景差分法を採用する。この背景差分法では、予め生成し、保存しておいた背景画像を用いる。具体的には、測定の前準備（前処理）として、ユーザーの指示により、人や車両等の移動物体が存在しない状態で、ライダー１１０からレーザースポット光５００を走査する。これにより背景対象物９２から得られた反射光に基づいて、背景画像を得ることができる。実際の測定時においては、背景対象物９２の手前に行動解析の対象者である物体として例えば歩行者６００が現れた場合、歩行者６００からの反射光が新たに生じる。
　位置情報取得部２１０は、動体を検出する機能を有する。位置情報取得部２１０はメモリーに保持している背景画像データと現時点での測距点群データとを比較して、差が生じた場合、歩行者等の何らかの動体（物体）が監視空間内に現れたことを認識できる。例えば、背景差分法を用いて、背景データと、現時点での測距点群データとを比較することで、前景データを抽出する。そして抽出した前景データの画素（画素群）を、例えば画素の距離情報に応じてクラスタに分ける。そして、各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、物体までの距離に応じて画素群の塊が判断される。例えば、位置情報取得部２１０は算定したサイズが抽出対象の解析対象の動体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。例えば、歩行者を追跡して行動を解析するのであれば、通常の人の大きさの最小値を、クラスタリングする場合のサイズ閾値とすればよい。逆にあらゆる動体を追跡するのであれば、サイズ閾値はこれよりも小さな値としてもよい。人よりも大きい物体、例えば車両についても同様に、車両用のサイズ閾値を求めることができる。
　動体の位置は、クラスタリングした動体の中心値、または重心値を用いてもよく、また、動体を矩形によりクラスタリングするのであれば、その矩形の中心を動体の位置として用いてもよい。
　測定された各動体の位置は、例えば、時刻の早い順、あるいはライダー１１０による測定を開始した日時を基準として経過時間の早い順に並べられ、時系列位置情報として動体情報取得部２２０に送信される。時系列位置情報は、例えば、監視領域内の３次元空間における動体の位置とその動体が測定された時刻または経過時間に関する情報を含む。
　（動体情報取得部２２０）
　動体情報取得部２２０は、動体の時系列位置情報を解析して、動体に関する情報（以下、「動体情報」という）を生成する。動体情報は、動体の時系列位置情報に基づく客観的な情報であり、例えば、日時、動体の位置、移動の軌跡、速度、加速度、大きさ、種類、Ｘ’方向の累積移動量（以下、「累積移動量Ｘ’」という）、Ｚ’方向の累積移動量（以下、「累積移動量Ｚ’」という）、滞在時間を含む（図７を参照）。
　動体の移動の軌跡は、例えば、動体が監視領域内に滞在している時間帯において動体の位置の集合として求められ、動体の速度は、監視領域内の所定区間における単位時間当たりの動体の位置の変化量として求められる。また、加速度は、単位時間当たりの動体の速度の変化量として求められる。また、動体の累積移動量Ｘ’および累積移動量Ｚ’は、動体が監視領域内に滞在している時間帯において、それぞれＸ’方向およびＺ’方向の累積の移動量であり、滞在時間は動体が監視領域内に滞在している時間帯である。
　また、動体情報取得部２２０は、各動体について、物体分類に当てはまるものがあるか否かを確認することによって、各動体の種類を判別する。物体分類は、例えば、人（歩行者）、車両（４輪車、２輪車、トラック）、落下物等を含む。より具体的には、動体情報取得部２２０は、クラスタリングした動体のサイズ、縦横比、等を、物体分類ごとの基準データと比較することにより、動体の種類を判別する。物体分類およびその基準データは、ユーザーによって予め入力され、記憶部２３０に記憶されている。また、動体情報取得部２２０によって取得された動体情報は、記憶部（動体情報蓄積部）２３０に記憶される。複数の動体が監視領域を通過することで、記憶部２３０には、複数の動体情報が蓄積される。
　（サーベイ処理部２４０）
　サーベイ処理部２４０は、各動体の動体情報に基づいて、監視領域内における各動体の挙動、すなわち監視領域内において各動体がどのような行動を取っていたかについて推定するとともに、各動体の行動が定常行動であるか、非定常行動であるかを判定する。
　より具体的には、サーベイ処理部２４０は、一般道路、高速道路等の道路上において、交通ルールに則った行動、または安全な道路交通を確保する上で、歩行者および車両の運転者に対して求められる行動が大多数の歩行者および車両の運転者に守られていると仮定し、大多数から外れた行動を非定常行動として判定する。その結果、交通ルールに違反する行動、または安全な道路交通を確保する上で好ましくない行動、すなわち大多数の歩行者（または車両）の行動から外れた非定常行動を検出できる。
　図５は、測距点群データにより検出した動体の各時刻での時系列位置情報データの一例である。検出された各動体は動体ＩＤで管理されている。サーベイ処理部２４０は、行動推定部２４１、行動判定部２４２、および判定結果出力部２４３を有する（図１を参照）。
　行動推定部２４１は、各動体の動体情報を解析することで各動体の行動を解析し、各動体の行動に関する情報（以下、「行動情報」）を取得する。より具体的には、行動推定部２４１は、動体情報で表される各動体の移動の特徴が、行動分類で予め定義されている行動に当てはまるか否かによって判定し、判定結果を各動体の行動情報として取得する。行動分類には、人の場合、例えば歩行、車道への人の立ち入り、車道の横断等が含まれ、車両の場合、例えば通常走行、逆走、速度超過、Ｕターン、停車、蛇行等が含まれうる。行動分類は、ユーザーによって予め入力され、記憶部２３０に記憶されている。また、行動推定部２４１によって取得された行動情報は、記憶部２３０に記憶される。
　また、行動判定部２４２は、動体の行動が定常行動であるか、あるいは非定常行動であるかを判定する。より具体的には、行動判定部２４２は、記憶部２３０に蓄積されている複数の動体情報のうち、一の動体情報に注目し、他の動体情報に対する、注目している動体の動体情報の「ずれ」を算出する。行動判定部２４２は、抽出期間内に検出された各動体について１つずつ「ずれ」を算出する。なお、ライダー１１０によってリアルタイムに測定した測距点群データに基づいて取得した動体情報について、記憶部２３０に蓄積されている複数の動体情報に対するずれを算出することもできる。そして、行動判定部２４２は、このずれに基づいて、注目している動体の行動が定常行動であるか、非定常行動であるかを判定する。ずれを算出する具体的な方法は、後述する。
　判定結果出力部２４３は、行動判定部２４２の判定結果に基づいて、動体の非定常行動の度合いに関する情報を出力する。また、判定結果出力部２４３は、行動判定部２４２によって算出された上記ずれに基づいて、異常スコアを出力することもできる。
　異常スコアは、動体が正常なのか、異常なのかを数値で示すスコアであり、スコアが高いほど異常行動である可能性が高い。判定結果および異常スコアは、モニター部３００へ送信される。
　（モニター部３００）
　モニター部３００は、ディスプレイを有し、行動判定部２４２の判定結果および／または異常スコアをディスプレイに表示する。また、モニター部３００は、スピーカーを有し、スピーカーから音声にて判定結果および／または異常スコアを出力してもよい。また、モニター部３００は、記憶部およびプリンターへの出力端子を有し、判定結果および／または異常スコアを記憶部にレポートとして蓄積するとともに、必要に応じてプリンターへ出力することもできる。
　＜情報処理方法＞
　図６は、本発明の一実施形態の情報処理方法を例示するフローチャートである。図６に示す処理は、処理サーバー２００のＣＰＵが制御プログラムを実行することにより実現される。また、図７は図６に示す処理において取得される情報とその具体例を示す模式図であり、図８はライダーの監視領域内の動体検出の一例として歩道を通行している歩行者と蛇行する車両とを上方から視た模式図である。
　まず、動体の時系列位置情報を取得する（ステップＳ１０１）。位置情報取得部２１０は、ライダー１１０によって取得された測距点群データに基づいて、監視領域内における動体を検出し、各動体の時系列位置情報を出力する。例えば、図８に示すように、位置情報取得部２１０は、動体としての人（歩行者）６００および車両７００について、時刻ｔ０における人６００および車両７００、ｔ１における人６０１および車両７０１、ｔ２における人６０２および車両７０２の位置情報をそれぞれ取得する。
　次に、動体の動体情報を取得する（ステップＳ１０２）。動体情報取得部２２０は、各動体の時系列位置情報を解析して、各動体の動体情報を生成し、記憶部２３０に記憶させる。例えば、動体情報取得部２２０は、動体情報として、人（歩行者）６００および車両７００の種類を判別するとともに、移動軌跡を取得する。図８に示す例では、時刻ｔ０～ｔ１の間において、人６００は符号６００～６０２に示すような移動軌跡で移動し、車両７００は符号７００～７０２に示すような移動軌跡で移動している。
　次に、動体の行動情報を取得する（ステップＳ１０３）。行動推定部２４１は、動体情報を解析することで各動体の行動を解析し、各動体の行動情報を取得する。より具体的には、行動推定部２４１は、図７の行動分類に照らし、人６００の移動軌跡の特徴に基づいて、人６００が歩道４０３をＺ’方向に向けて歩行していると判断し、車両７００の移動軌跡の特徴に基づいて、車両７００が車道４０４をＺ’方向に向けて走行していると判断する。また、行動推定部２４１は、車両７００は、時刻ｔ０で進行方向の左側車線内を走行していたところ、時刻ｔ１で車線をはみ出して走行し、時刻ｔ２で再び左側車線に戻っていることから、車両７００が時刻ｔ０～ｔ２の時間帯において蛇行していたと判断する。
　次に、動体の行動の定常／非定常性を判定する（ステップＳ１０４）。行動判定部２４２は、例えば、記憶部２３０に蓄積されている複数の動体情報を母集団として統計解析を行い、注目している動体の動体情報について、母集団における所定の値からのずれを算出する。所定の値は、例えば、平均値や、平均値、分散、または３σで評価を行った値を含む。行動判定部２４２は、注目している動体の動体情報のずれが所定範囲内である場合、この動体の行動は定常行動であると判定する一方で、ずれが所定範囲外である場合、この動体の行動は非定常行動であると判定する。動体の行動の定常／非定常性を判定する具体的な手順については後述する。また、行動判定部２４２は、必要に応じて異常スコアを算出する。
　次に、動体の非定常行動の度合いに関する情報を出力する（ステップＳ１０５）。判定結果出力部２４３は、行動判定部２４２の判定結果をモニター部３００に出力する。また、判定結果出力部２４３は、行動判定部２４２によって算出された上記ずれに基づいて、異常スコアをモニター部３００に出力する。モニター部３００は、判定結果に応じて、注目している動体の行動が定常行動である旨、あるいは非定常行動である旨をディスプレイに表示する。さらに、モニター部３００は、必要に応じて、異常スコアをディスプレイに表示する。
　このように、図６のフローチャートに示す処理では、監視領域内における動体の時系列位置情報を取得し、動体の時系列位置情報を解析して、動体の動体情報を取得する。そして、記憶部２３０に蓄積されている、またはリアルタイムに取得した一の動体の動体情報と、記憶部２３０に蓄積されている他の動体情報とに基づいて、監視領域内における上記一の動体の非定常行動の度合いに関する情報を出力する。本明細書において、動体の非定常行動の度合いに関する情報は、動体の非定常行動／定常行動の判定結果、動体の行動の定常／非定常性を数値的に表現した情報を含みうる。
　＜ステップＳ１０４の処理＞
　図９は、図６に示す「動体の行動の定常／非定常性を推定」する処理（ステップＳ１０４）について説明するためのサブルーチンフローチャートである。図９に示す処理は、処理サーバー２００のＣＰＵが制御プログラムを実行することにより実現される。また、図１０Ａおよび図１０Ｂは、車両の動体情報に関する統計解析結果を例示するグラフである。図１０Ａは横軸を累積移動量Ｘ’、縦軸を滞在時間とした場合の分布を例示するグラフであり、図１０Ｂは横軸を累積移動量Ｚ’、縦軸を滞在時間とした場合の分布を例示するグラフである。図中、「・」は個々のサンプルを表す。
　図９に示すように、まず、記憶部２３０に記憶されている動体情報について統計解析を行う（ステップＳ２０１）。行動判定部２４２は、例えば、記憶部２３０に記憶されている複数の動体情報のデータからなる母集団から、ｎ個の動体情報のサンプルを抽出し、動体情報の標準偏差σを算出する。なお、母集団は、注目する動体が出現する前後数時間以内に設定されることが好ましい。また、サンプル数ｎは、統計解析を行う上で十分に多いものとする。標準偏差σは、各々の動体情報について算出される。
　以下、動体情報として、累積移動量Ｘ’、累積移動量Ｚ’、滞在時間を使用して、動体の行動の定常／非定常性を推定する場合について例示する。累積移動量Ｘ’、累積移動量Ｚ’、滞在時間の標準偏差をそれぞれσＸ、σＺおよびσＴと表す。また、σＸ、σＺおよびσＴを代表してσと表す。
　次に、注目している動体の動体情報が所定範囲（例えば３σ）内にあるか否かを判断する（ステップＳ２０２）。図１０Ａおよび図１０Ｂにおいて、符号８００は滞在時間が第１の所定範囲（例えば３σＴ）を外れたサンプルの範囲を表す。例えば、サンプル８０１，８０２は、滞在時間が第１の所定範囲を外れたサンプルである。また、図１０Ａにおいて、符号８２０は累積移動量Ｘ’が第２の所定範囲（例えば３σＸ）を外れたサンプルの範囲を表し、図１０Ｂにおいて、符号８３０は累積移動量Ｚ’が第３の所定範囲（例えば３σＺ）を外れたサンプルの範囲を表す。例えば、サンプル８２１は累積移動量Ｘ’が第２の所定範囲を外れたサンプルであり、サンプル８３１は累積移動量Ｚ’が第３の所定範囲を外れたサンプルである。滞在時間、累積移動量Ｘ’、累積移動量Ｚ’の全てについて、所定範囲内に含まれるサンプルの範囲は、符号８１０で表されている。例えば、サンプル８１１，８１２は、所定範囲内に含まれるサンプルである。
　注目している動体の動体情報が所定範囲内にある場合（ステップＳ２０２：ＹＥＳ）、行動判定部２４２は、注目している動体が定常行動を行っていると推定する（ステップＳ２０３）。例えば、車両７００がＺ’方向に通常走行している場合、速度が適切に守られていれば滞在時間は第１の所定範囲内となり、指定された車線内を走行していれば累積移動量Ｘ’は第２の所定範囲内となり、累積移動量Ｚ’も第３の所定範囲内となる。この結果、車両７００の行動は、定常行動であると判断される。
　一方、注目している動体の動体情報のずれが所定範囲内にはない場合（ステップＳ２０２：ＮＯ）、行動判定部２４２は、注目している動体が非定常行動を行っていると推定する（ステップＳ２０４）。例えば、図８に示すように、車両７００が蛇行している場合、Ｘ’方向の移動量が通常走行時と比べて大きくなり、累積移動量Ｘ’は第２の所定範囲を外れる。この結果、車両７００の行動は、非定常行動であると判断される。
　このように、図９のサブルーチンフローチャートに示す処理では、記憶部２３０に記憶されている動体情報を母集団として統計解析を行い、注目している動体の動体情報が所定範囲内にあるか否かに応じて、注目している動体の行動の定常／非定常性を推定する。
　図１１は、処理サーバー２００による処理結果を例示する図表である。図１１では、統計解析の結果、動体情報が所定範囲を超えたもの、すなわち動体が非定常行動を行っていると判断されたものについて関連情報がログとして出力されている。
　非定常行動を行った動体のうち、行動分類として分類されていないもの（未分類）がある。未分類の行動には、安全な道路交通を確保する上で好ましくない行動が含まれている可能性がある。
　本実施形態の処理サーバー２００は、記憶部２３０に蓄積されている、またはリアルタイムに取得した一の動体の動体情報と、記憶部２３０に蓄積されている他の動体情報とに基づいて、算出した監視領域内における物体の非定常行動の度合いに関する情報を出力する。したがって、人や車両の行動について、予め定義された異常行動以外の未知の異常行動を見つけることができる。
　また、道路を通行する全ての人や車両の移動状況を把握することができ、その中から非定常行動を確実に見つけることができる。また非定常行動がどのように発生しているのかを移動軌跡から把握することができるため、なぜそのような非定常行動を取ったのか、ユーザーは推測することができ、安全対策を打つことが容易になる。
　また、本実施形態の処理サーバー２００は、天候などの環境要因による外乱に対する耐性が高く、解析のための学習やチューニングが不要であるため、設置が容易であり、設置後、すぐに測定および解析を開始することができる。また、非定常行動の評価対象によっては、短期間の測定および解析で有効な評価を得ることができる。
　また、人や車両だけではなく、動体の大きさやＹ’方向の累積移動量Ｙ’に基づいて、車両からの落下物等についても判別することができる。
　＜処理サーバー２００のユーザー入力例／出力例＞
　図１２は、処理サーバー２００のユーザー入力例／出力例を示す模式図である。図１２に示すように、処理サーバー２００へのユーザー入力としては、上述した行動分類および物体分類の他に、抽出期間（日付および時刻）、環境情報（天気、道路混雑状況）等が挙げられる。抽出期間は、処理サーバー２００によって動体の行動の定常／非定常性を判断する対象の期間である。環境情報（天気、道路混雑状況）は、監視領域における動体検出に影響する環境要因に関する情報であり、動体の測定時に環境情報を併せて記録し、ユーザーが非定常行動の検証を行う際に参考とすることにより、動体の測定時における環境要因による影響を容易に把握できる。
　また、処理サーバー２００は、全体情報として、抽出事象件数を出力できる。抽出事象件数は、行動分類毎や物体分類毎に出力できる。例えば、監視領域における車両の数や車両の走行状態を出力できる。また、処理サーバー２００は、行動分類毎にデータを色で区別して視覚的に見やすく（ヒートマップ化）して表示できる。行動分類毎のヒートマップは、非定常行動の発生パターンの可視化等を含む。
　また、処理サーバー２００は、個別情報として、動体の測定日時、行動分類、物体分類、環境情報、移動軌跡、カメラ映像等を出力できる。入力部１００はライダー１１０およびカメラ（不図示）を含むように構成されてもよい。カメラは、例えば、可視光カメラにより構成される。ライダー１１０およびカメラは、監視領域４０２（測定領域／撮影領域）が略一致し、また、光軸が略一致するように配置され、位置合わせが行われている。カメラ映像は、ユーザーによる事象の目視確認用である。ユーザーは、図１１の処理結果から非定常行動を行った動体の出現時刻を確認し、この出現時刻の前後のカメラ映像を確認することにより、動体の非定常行動の事象を確認できる。したがって、非定常行動を行った動体が、どう行動して何が起きたのかを映像で確認できるので、ユーザーは事象をより正確に把握できる。
　さらに、処理サーバー２００は、付加情報として、非定常行動の原因についてのコメントを出力することもできる。例えば、進入禁止の領域において、車両がＵターンまたはバックをしたと判定された場合は、運転者が誤ってその領域に進入したと考えられる。そして、運転者の誤りの原因として、進入禁止の標識が見にくいことや、標識からその場所までの距離が短く、運転者による進入回避の運転操作が間に合わなかったこと等が考えられる。また、車両が蛇行または急に減速したと判定された場合は、運転者が道路上の障害物（例えば、人や動物の飛び出し）または道路の陥没を回避する運転操作をしたと考えられる。そして、この運転者の運転操作の原因として、飛び出しが起こりやすいこと、道路の前の区間における前方の見通しが悪いこと、道路の陥没が未発見または未補修であること等が考えられる。
　処理サーバー２００は、このような非定常行動の原因の可能性についてコメントを出力できる。道路を保守・管理する事業者は、これらのコメントを参考にして、効率的に道路を保守・管理することができる。
　（他の実施形態）
　以下、他の実施形態に係る情報処理システム１０について説明する。他の実施形態においては、処理サーバー２００は、推論処理パラメーターを用いて、ニューラルネットワークによる推論処理により解析を行う推論処理部を有する。
　ニューラルネットワークを用いた物体検出アルゴリズムとしては、Ｙｏｌｏ、もしくはＳＳＤ（ｓｉｎｇｌｅ　ｓｈｏｔ　ｄｅｔｅｃｔｏｒ）、または、Ｒ－ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、Ｆａｓｔ　Ｒ－ＣＮＮを適用できる。
　この推論処理パラメーターは、動体情報に基づく物体の非定常行動の度合い、または定常行動の度会いの学習を行って生成されたもので、記憶部２３０に記憶される。この推論処理パラメーターは、複数の想定できる種種の測定条件下で、記憶部２３０に蓄積されている膨大な数の動体情報を用いて公知のアルゴリズムにより事前に機械学習して得られたものである。想定される所定の測定条件としては天候、照度、温湿度、道路の混雑状況の少なくともいずれかが含まれる。特に、雨、雪、および霧の天候、ならびに夜間（低照度）、道路が混雑している時の測定条件が含まれることが好ましい。
　（ａ）機械学習により非定常行動を学習した場合
　推論処理部は、記憶部２３０に蓄積されている動体情報に基づき、物体の非定常行動の度合いの学習を行い、推論処理パラメーターを生成する。例えば、入力された動体情報に対し出力すべき正解の非定常行動の度合いが与えられ、当該入力された動体情報に対し当該正解の非定常行動の度合いが出力されるように学習を行う。そして、推論処理部は、生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、一の物体の非定常行動の度合いを判定し、出力する。
　（ｂ）機械学習により定常行動を学習した場合
　推論処理部は、記憶部２３０に蓄積されている動体情報に基づき、物体の定常行動の度合いの学習を行い、推論処理パラメーターを生成する。例えば、入力された動体情報に対し出力すべき正解の定常行動の度合いが与えられ、当該入力された動体情報に対し当該正解の定常行動の度合いが出力されるように学習を行う。そして、推論処理部は、生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、一の物体の非定常行動の度合いを判定し、出力する。
　他の実施形態に係る情報処理システム１０、および処理サーバー２００においては、想定される種種の測定条件下で測定により得られた動体情報を用いて、学習して得られた推論処理パラメーターを用いる。これにより、上記一実施形態と同様の効果が得られる。
　以上に説明した情報処理装置、情報処理システム、および情報処理方法の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。
　たとえば、上述の実施形態では、ライダー１１０によって生成された測距点群データに基づいて動体の時系列位置情報を取得する例について説明したが、本発明はこのような場合に限定されない。例えば、入力部のカメラ映像を画像処理して動体を検出し、検出された各動体の時系列位置情報を取得する構成としてもよい。また、ライダー１１０の代わりにレーダーを使用して測距点群データを生成する構成としてもよい。また、ライダー１１０の代わりにビーコン、その他センサー（ミリ波を使用したレーダー）、ＧＰＳ等を使用してもよい。
　また、上述の実施形態では、動体情報について統計解析を行い、動体情報の分布において多数を占める所定範囲内に入るものを定常行動とし、所定範囲に入らないものを非定行動として、動体の行動の定常／非定常性を推定することについて説明した。しかし、本発明はこのような場合に限定されず、正常系として、定常行動時の動体情報を処理サーバー２００に学習させ、正常系のもの以外を非定常行動とするように構成することもできる。
　また、上述の実施形態では、情報処理システム１０を道路上における動体の行動の定常／非定常性の推定について説明したが、本発明は道路以外にも、例えば、空港の滑走路等に適用することもできる。この場合、レーダーによって生成された測距点群データ使用し、動体情報として累積移動量Ｙ’を使用することにより、高さ方向の移動を加味できる。
　また、処理サーバー２００の制御プログラムは、ＵＳＢメモリー、フレキシブルディスク、ＣＤ－ＲＯＭなどのコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリーやストレージなどに転送され記憶される。また、この制御プログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、処理サーバー２００の一機能としてその各装置のソフトウェアに組み込んでもよい。
　本出願は、２０１８年１１月２２日に出願された日本国特許出願番号２０１８－２１９６７６号に基づいており、その開示内容は、参照により全体として組み入れられている。
１０　情報処理システム、
１００　入力部、
１１０　ライダー、
１１１　投受光ユニット、
１１２　測距点群データ生成部、
２００　処理サーバー、
２１０　位置情報取得部、
２２０　動体情報取得部、
２３０　記憶部、
２４０　サーベイ処理部、
２４１　行動推定部、
２４２　行動判定部、
２４３　判定出力部、
３００　モニター部、
４００　道路、
４０１　支柱、
４０２　監視領域、
４０３　歩道、
４０４　車道、
６００～６０２　人、
７００～７０２　車両。

Claims (18)

  1. 　所定領域内における物体の時系列位置情報を取得する位置情報取得部と、
    　前記物体の時系列位置情報を解析して、前記物体の動体情報を生成する動体情報取得部と、
    　複数の物体の前記動体情報を蓄積する動体情報蓄積部と、
    　前記動体情報蓄積部に蓄積されている、一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いを判定し、判定結果に基づいて、前記一の物体の非定常行動の度合いに関する情報を出力するサーベイ処理部と、を有する、情報処理装置。
  2. 　前記サーベイ処理部は、
    　前記一の物体の動体情報と、前記動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、請求項１に記載の情報処理装置。
  3. 　前記サーベイ処理部は、
    　前記動体情報蓄積部に蓄積されている動体情報に基づく前記物体の非定常行動の度合いの学習を行って生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、前記一の物体の非定常行動の度合いを判定する、請求項１に記載の情報処理装置。
  4. 　前記サーベイ処理部は、
    　前記動体情報蓄積部に蓄積されている動体情報に基づく前記物体の定常行動の度合いの学習を行って生成された推論処理パラメーターを用いたニューラルネットワークによる推論処理に基づいて、前記一の物体の非定常行動の度合いを判定する、請求項１に記載の情報処理装置。
  5. 　前記動体情報取得部は、
    　前記物体の動体情報として、前記物体の移動の軌跡、速度、加速度、大きさ、種類、累積移動量、および滞在時間のうちの少なくとも１つを取得する、請求項１～４のいずれか１項に記載の情報処理装置。
  6. 　前記サーベイ処理部は、
    　複数の前記他の動体情報に対する、前記一の物体の動体情報のずれに基づいて、前記一の物体の非定常行動の度合いに関する情報を出力する、請求項１～５のいずれか１項に記載の情報処理装置。
  7. 　前記サーベイ処理部は、
    　前記動体情報蓄積部に蓄積されている複数の動体情報のデータからなる母集団について統計解析を行い、前記母集団における所定の値からの前記一の物体の動体情報のずれが所定範囲内である場合、前記物体の行動は定常行動であると判断する一方で、前記ずれが前記所定範囲外である場合、前記物体の行動は非定常行動であると判断する、請求項６に記載の情報処理装置。
  8. 　前記サーベイ処理部は、
    　前記物体の種類に応じて予め規定されている行動分類と前記物体の動体情報とに基づいて、前記所定領域内における前記物体の行動を推定する行動推定部を有する、請求項１～７のいずれか１項に記載の情報処理装置。
  9. 　前記サーベイ処理部は、
    　前記非定常行動の度合いとして、前記物体の行動が正常なのか、あるいは異常なのかを示す異常スコアを算出する、請求項１～８のいずれか１項に記載の情報処理装置。
  10. 　所定領域に向けてレーザー光を走査するように出射するとともに当該所定領域からの反射光を受光し、当該反射光の受光信号に基づいて、前記所定領域内における測距点群データを生成するセンサー部と、
    　前記測距点群データに基づいて、所定領域内における物体の時系列位置情報を取得する位置情報取得部と、
    　前記物体の時系列位置情報を解析して、前記物体の動体情報を生成する動体情報取得部と、
    　複数の物体の前記動体情報を蓄積する動体情報蓄積部と、
    　前記動体情報蓄積部に記蓄積されている、一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いを判定し、判定結果に基づいて、前記一の物体の非定常行動の度合いに関する情報を出力するサーベイ処理部と、を有する、情報処理システム。
  11. 　前記サーベイ処理部は、
    　前記一の物体の動体情報と、前記動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、請求項１０に記載の情報処理システム。
  12. 　所定領域内における物体の時系列位置情報を取得するステップ（ａ）と、
    　前記物体の時系列位置情報を解析して、前記物体の動体情報を生成するステップ（ｂ）と、
    　一の物体の動体情報に基づいて、前記所定領域内における前記一の物体の非定常行動の度合いについて判定し、前記一の物体の非定常行動の度合いに関する情報を出力するステップ（ｃ）と、を有する、情報処理方法。
  13. 　前記ステップ（ｃ）では、
    　前記一の物体の動体情報と、動体情報蓄積部に蓄積されている、他の複数の物体の動体情報とを使用して統計解析を行い、当該統計解析の結果に基づいて、前記一の物体の非定常行動の度合いを判定し、前記一の物体の非定常行動の度合いに関する情報を出力する、請求項１２に記載の情報処理方法。
  14. 　前記ステップ（ｂ）では、
    　前記物体の動体情報として、前記物体の移動の軌跡、速度、加速度、大きさ、種類、累積移動量、および滞在時間のうちの少なくとも１つを取得する、請求項１２または１３に記載の情報処理方法。
  15. 　前記ステップ（ｃ）では、
    　複数の前記他の動体情報に対する、前記一の物体の動体情報のずれに基づいて、前記一の物体の非定常行動の度合いに関する情報を出力する、請求項１２～１４のいずれか１項に記載の情報処理方法。
  16. 　前記ステップ（ｃ）では、
    　動体情報蓄積部に蓄積されている複数の動体情報のデータからなる母集団について統計解析を行い、前記母集団における所定の値からの前記一の物体の動体情報のずれが所定範囲内である場合、前記物体の行動は定常行動であると判断する一方で、前記ずれが前記所定範囲外である場合、前記物体の行動は非定常行動であると判断する、請求項１５に記載の情報処理方法。
  17. 　前記ステップ（ｃ）では、
    　前記物体の種類に応じて予め規定されている行動分類と前記物体の動体情報とに基づいて、前記所定領域内における前記物体の行動を推定するステップ（ｄ）をさらに有する、請求項１２～１６のいずれか１項に記載の情報処理方法。
  18. 　前記ステップ（ｃ）では、
    　前記非定常行動の度合いとして、前記物体の行動が正常なのか、あるいは異常なのかを示す異常スコアを算出する、請求項１２～１７のいずれか１項に記載の情報処理方法。
PCT/JP2019/030324 2018-11-22 2019-08-01 情報処理装置、情報処理システム、および情報処理方法 WO2020105226A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020558084A JP7428136B2 (ja) 2018-11-22 2019-08-01 情報処理装置、情報処理システム、および情報処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018219676 2018-11-22
JP2018-219676 2018-11-22

Publications (1)

Publication Number Publication Date
WO2020105226A1 true WO2020105226A1 (ja) 2020-05-28

Family

ID=70774228

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030324 WO2020105226A1 (ja) 2018-11-22 2019-08-01 情報処理装置、情報処理システム、および情報処理方法

Country Status (2)

Country Link
JP (1) JP7428136B2 (ja)
WO (1) WO2020105226A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181097A1 (ja) * 2021-02-26 2022-09-01 ソニーグループ株式会社 測距装置およびその制御方法、並びに、測距システム
WO2024024555A1 (ja) * 2022-07-25 2024-02-01 株式会社小糸製作所 障害物検出システム、障害物検出方法、障害物検出装置及び障害物検出プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003157487A (ja) * 2001-11-22 2003-05-30 Mitsubishi Electric Corp 交通状況監視装置
JP2008217602A (ja) * 2007-03-06 2008-09-18 Toshiba Corp 不審行動検知システム及び方法
JP2013178827A (ja) * 2013-06-03 2013-09-09 Denso Corp 運転状況推定装置，運転支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003157487A (ja) * 2001-11-22 2003-05-30 Mitsubishi Electric Corp 交通状況監視装置
JP2008217602A (ja) * 2007-03-06 2008-09-18 Toshiba Corp 不審行動検知システム及び方法
JP2013178827A (ja) * 2013-06-03 2013-09-09 Denso Corp 運転状況推定装置，運転支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181097A1 (ja) * 2021-02-26 2022-09-01 ソニーグループ株式会社 測距装置およびその制御方法、並びに、測距システム
WO2024024555A1 (ja) * 2022-07-25 2024-02-01 株式会社小糸製作所 障害物検出システム、障害物検出方法、障害物検出装置及び障害物検出プログラム

Also Published As

Publication number Publication date
JP7428136B2 (ja) 2024-02-06
JPWO2020105226A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
US11390276B2 (en) Control device, control method, and non-transitory storage medium
Li et al. What happens for a ToF LiDAR in fog?
US9524643B2 (en) Orientation sensitive traffic collision warning system
CN104903915B (zh) 用于监视车辆的周围环境的方法和设备以及用于实施紧急制动的方法
Khatab et al. Vulnerable objects detection for autonomous driving: A review
KR102101956B1 (ko) 보행자 검지를 이용한 어린이보호구역 단속시스템
US20210208282A1 (en) Detection device and detection system
WO2020105226A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
CN113665570A (zh) 自动地感知行驶信号的方法、装置及运载工具
CN111247574B (zh) 信息生成装置
WO2020105527A1 (ja) 画像解析装置、画像解析システム、および制御プログラム
CN106643517B (zh) 一种车辆高度超限的测量及警告方法
KR101628547B1 (ko) 주행 차선 확인 장치 및 방법
JP2019207654A (ja) 検知装置及び検知システム
CN113253299B (zh) 障碍物检测方法、装置及存储介质
JP7073949B2 (ja) 避難誘導装置、避難誘導システム、および制御プログラム
JP2011106829A (ja) 移動体検出方法及びレーザ距離測定装置
KR102119641B1 (ko) 보행자 검출 장치 및 방법
WO2020008685A1 (ja) 情報報知装置、情報報知装置用プログラム、および情報報知システム
CN111025332A (zh) 用于机动车的环境感测系统
JP7201002B2 (ja) 画像処理装置、制御プログラム、および画像処理方法
JP7435429B2 (ja) 安全運転レベル評価装置
TWI823613B (zh) 防撞預警方法、車載裝置及儲存介質
Gabb et al. Probabilistic inference of visibility conditions by means of sensor fusion
WO2020105225A1 (ja) 機械学習方法、学習済みモデル、制御プログラム、および物体検知システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19886732

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558084

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19886732

Country of ref document: EP

Kind code of ref document: A1