WO2016132775A1 - 映像分析装置、映像分析方法、および制御プログラム - Google Patents

映像分析装置、映像分析方法、および制御プログラム Download PDF

Info

Publication number
WO2016132775A1
WO2016132775A1 PCT/JP2016/050794 JP2016050794W WO2016132775A1 WO 2016132775 A1 WO2016132775 A1 WO 2016132775A1 JP 2016050794 W JP2016050794 W JP 2016050794W WO 2016132775 A1 WO2016132775 A1 WO 2016132775A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
approach
attribute
event
post
Prior art date
Application number
PCT/JP2016/050794
Other languages
English (en)
French (fr)
Inventor
知徳 清永
昌志 大角
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2016132775A1 publication Critical patent/WO2016132775A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a video analysis device that identifies an event reflected in a captured video.
  • Patent Document 1 describes a technique for determining movement between moving bodies such as a collision accident from a captured image.
  • Japanese Patent Publication Japanese Patent Laid-Open No. 2010-160802 (Publication Date: July 22, 2010)”
  • the present invention has been made in view of the above problems, and an object of the present invention is to realize a video analysis apparatus and the like for specifying in detail events appearing in a moving image.
  • the video analysis device provides an attribute specification that specifies, for each of two objects included in a moving image shot by the shooting unit, an attribute indicating a static characteristic of the object.
  • Event identification unit that identifies an event that has occurred between the two objects according to the unit
  • the post-approach motion identification unit that identifies the post-approach motion of the two objects, the attribute, and the post-approach motion And a section.
  • a video analysis method is a video analysis method using a video analysis device, in which two objects included in a moving image shot by a shooting unit are subjected to static analysis of the objects.
  • the two objects according to the attribute specifying step for specifying the attributes indicating the characteristic features, the post-approaching action specifying step for specifying the post-approach movements of the two objects, the attributes, and the post-approaching action, respectively.
  • an event specifying step for specifying an event occurring between the two.
  • FIG. 2A shows the data structure of the generated feature information.
  • B shows the characteristic information in the case where the operation after approach is further added to (a).
  • C shows characteristic information when an accident type and accuracy are further added to (b).
  • 3A shows an example before the occurrence of the accident
  • FIG. 3B shows an example after the occurrence of the accident.
  • 4A to 4E are diagrams showing the data structure of an accident type database used by the monitoring camera for specifying an accident type. It is a flowchart which shows the flow of the process which concerns on specification of accident type in the control part of the said monitoring camera. It is a block diagram which shows the principal part structure of the surveillance camera which concerns on Embodiment 2 of this invention. It is a flowchart which shows the flow of a process in the control part of the said monitoring camera.
  • FIG. 1 is a block diagram showing a main configuration of the surveillance camera 1.
  • FIG. 1 also shows the server 2 that performs data communication with the monitoring camera 1.
  • the surveillance camera 1 captures the surroundings of its own device and transmits the captured moving image to the server 2.
  • the surveillance camera 1 is, for example, a constant surveillance type surveillance camera provided in the city, on the side of the road, or in combination with a traffic light or a railroad crossing.
  • the monitoring camera 1 may have a configuration and functions that are normally included in the monitoring camera.
  • the server 2 is a data server that stores moving images taken by the surveillance camera 1.
  • the server 2 stores the moving image received from the monitoring camera 1 in its own device. Further, the server 2 may communicate with another device (such as a playback device) (not shown) and transmit the stored moving image to the other device.
  • the transmission timing and transmission method of the moving image from the monitoring camera 1 to the server 2 are not particularly limited.
  • the monitoring camera 1 may transmit the captured moving image to the server 2 in real time, or store the captured moving image for a predetermined time in a storage unit 30 or the like described later, and transmit this to the server 2 at a predetermined timing. May be.
  • the monitoring camera 1 may transmit a captured moving image when receiving a data transmission request from the server 2.
  • the monitoring camera 1 includes an imaging unit 20, a communication unit 40, an accident identification database 30, and a control unit 10.
  • the photographing unit 20 photographs the surroundings of the surveillance camera 1.
  • the image capturing unit 20 transmits the captured moving image to the control unit 10.
  • photography are not specifically limited.
  • the communication unit 40 performs communication between the monitoring camera 1 and the server 2.
  • the storage unit 30 is a storage device that stores various data used in the monitoring camera 1.
  • the storage unit 30 stores at least an accident type database (DB) 30A.
  • the accident type DB 30A is a database that is referred to when an accident type is specified by an accident specifying unit 15 described later.
  • the specific data structure of the accident type DB 30A will be described in detail later.
  • the storage unit 30 is described as a storage device built in the monitoring camera 1.
  • the storage unit 30 may be a recording device (recording medium) that can be attached to and detached from the monitoring camera 1. .
  • the control unit 10 controls the surveillance camera 1 in an integrated manner. Specifically, the control unit 10 detects the occurrence of an accident shown in the moving image captured by the imaging unit 20, and identifies the type of accident (accident type). In other words, the control unit 10 is a video analysis device that detects an accident that occurred during moving image shooting by the shooting unit 20 from the moving image and identifies the accident type of the accident. In addition, the control unit 10 includes a temporary storage unit (not shown) and holds characteristic information described later. The control unit 10 may receive the video captured by the imaging unit 20 in real time to detect the accident and specify the accident type, or temporarily store the video captured by the imaging unit 20 in the storage unit 30 or the like.
  • control unit 10 includes an object detection unit 11, an approach detection unit 12, an attribute specification unit 13, a post-approach action specification unit 14, an accident specification unit (event specification unit) 15, and an index addition unit (event). Recording unit, post-approaching operation recording unit, attribute recording unit) 16.
  • the object detection unit 11 detects an object (area occupied by the object in the moving image) included in the moving image shot by the shooting unit 20.
  • the “object” may be a living thing or an object (moving body or still life). More specifically, the “object” is any object existing within the photographing range of the surveillance camera 1 such as a person, an animal, a vehicle (passenger car, truck, light vehicle, etc.), a motorcycle, a train, a traffic light, and a guardrail. is there.
  • the object detection method of the object detection unit 11 is not particularly limited.
  • the object detection unit 11 may detect an object existing in a moving image by performing edge detection of a moving image or extraction of a feature amount, which is conventionally known.
  • the object detection unit 11 only needs to be able to detect at least the number and position of objects in the moving image.
  • the approach detection unit 12 detects that two objects included in the moving image photographed by the photographing unit 20 have approached.
  • the approach detection method by the approach detection unit 12 is not particularly limited.
  • the approach detection unit 12 has a position where any two objects (areas occupied by the object in the moving image) of the objects detected by the object detection unit 11 overlap each other, or a distance between any two objects is predetermined. When the value is less than or equal to the value, it may be detected that “two objects are approaching”.
  • the approach detection unit 12 detects the approach of two objects, the approach detection unit 12 assigns an object ID to each of the two close objects.
  • the “object ID” is an identifier that uniquely identifies an object, and is information that associates feature information described later with the two objects.
  • the approach detection unit 12 finally notifies the attribute identification unit 13 and the post-approaching motion identification unit 14 of the object IDs of the two objects that have approached.
  • the attribute specifying unit 13 specifies the attributes of two close objects.
  • the attribute identification unit 13 identifies the attribute of the object associated with the ID in the moving image.
  • the “object attribute” indicates a static feature extracted from the object in the captured moving image of the imaging unit 20.
  • the attribute specifying unit 13 specifies the size and type of the object as the attribute of the object. More specifically, the attribute specifying unit 13 includes a size specifying unit 13A that specifies the size of the object and a type specifying unit 13B that specifies the type of the object.
  • the specification of the size of the object by the size specification unit 13A and the specification of the type of the object by the type specification unit 13B may be performed in any order or simultaneously.
  • the size of the object is specified by the size specifying unit 13A, and then the type of the object is specified by the type specifying unit 13B.
  • the processing in the post-approaching action specifying unit 14 described later and the processing performed in the attribute specifying unit 13 may be performed in any order or simultaneously in parallel.
  • the after-approaching action specifying unit 14 performs processing after the attribute specifying unit 13 performs processing.
  • the size specifying unit 13A specifies the sizes of the two objects detected by the approach detection unit 12 as approaching.
  • the “object size” referred to here indicates the absolute size or relative size of the object on the captured moving image of the imaging unit 20.
  • the size identifying unit 13A can identify the sizes of the two objects with relative sizes. desirable.
  • the method for specifying the size of the object by the size specifying unit 13A is not particularly limited.
  • the size specifying unit 13A specifies the contour line of the object by edge detection or feature amount extraction, and an area surrounded by the contour line (or the area)
  • the size of the object may be specified from the relative size.
  • the type specifying unit 13B specifies the types of two objects for which the approach detecting unit 12 has detected an approach.
  • the method for specifying the type of object by the type specifying unit 13B is not particularly limited.
  • the type specifying unit 13B may specify the type of the object by performing pattern matching between the video of the two objects and an image for each type of object stored in the storage unit 30 or the like in advance.
  • the type identification unit 13B may identify the type by detecting the edge or feature amount of the object from the moving image by a conventionally known method.
  • an object type is a classification of an object into a predetermined category based on its shape.
  • object types include people, animals, vehicles (passenger cars, trucks, light vehicles, etc.), motorcycles, trains, traffic lights, guardrails, and the like.
  • the details of the classification of the object type may be determined as appropriate (for example, whether or not a truck and a passenger car are considered as different types of vehicles).
  • the type specifying unit 13B may use the size of the object specified by the size specifying unit 13A when specifying the type of the object. For example, the size specifying unit 13A specifies whether the size of the object is one of three levels (large, medium, or small), and the type specifying unit 13B determines that the object having the size “large” is “car”. An object with a “medium” length may be identified as “two-wheeled person”, and an object with a “small” size may be identified as “person”. Further, the type specifying unit 13B may specify the type of object by combining the result of pattern matching, edge detection, and feature amount detection described above with the size of the object specified by the size specifying unit 13A. As a result, it is possible to specify the type of the object more accurately than specifying the type of the object only from the shape.
  • FIG. 2A is a diagram illustrating a data structure of feature information generated by the attribute specifying unit 13. As illustrated, the feature information is information in which an object attribute is associated with an object ID.
  • the feature information generated by the attribute specifying unit 13 is read by the post-approaching operation specifying unit 14 and the accident specifying unit 15.
  • the post-approaching action specifying unit 14 specifies the post-approaching actions of the two objects notified from the approach detecting unit 12.
  • post-approach movement means an operation after two objects approach.
  • the “post-approach motion” may be specified in consideration of the motion before two objects approach (or contact). For example, if the object is moving at a predetermined speed or more before approaching and is stopped after approaching, the after-approaching action specifying unit 14 may specify the after-approaching action of the object as “sudden stop”. Further, for example, when the moving direction of the object is different before and after the approach, the post-approach action specifying unit 14 may specify the post-approach action of the object as “direction change”. It should be noted that it is possible to appropriately determine how long a period (the number of frames in the moving image) after the approach or before the approach is to be considered in specifying the operation after the approach.
  • the movement after approach is “moving”, “large movement (moving at a speed higher than a predetermined speed)”, “stop (not moving after approaching)”, “stopping for a long time (stopping more than a predetermined time (number of frames)) ”,“ Movement after stopping (starts moving after stopping) ”,“ Sudden acceleration after stopping (starts moving after stopping after approaching) ”,“ Disappearing (object after approaching) Cannot be detected, that is, disappeared from the photographing range of the photographing unit 20), “falling (the object has stopped and the shape of the object has changed from before the approach)”, “separation of the object (one after the approach)
  • the object has been separated (increased) into two (for example, a person has been thrown out of a motorcycle, etc.) ”and“ smoke / flame (smoke or flame from the vicinity of the object after approaching, and smoke or It shows the operation after close of such flame motion is detected) of "a combination of
  • the post-approach action specifying unit 14 further adds the post-approach action of the object corresponding to the object ID to the feature information.
  • (B) of FIG. 2 shows the feature information to which the information indicating the post-approach movement is added by the post-approach movement specifying unit 14.
  • the feature information becomes information indicating the feature (attribute) and action (movement after approach) of the object (object ID) that caused the accident.
  • the post-approaching operation specifying unit 14 may generate the feature information.
  • the after-approaching action specifying unit 14 may generate, as the feature information, information in which information indicating the after-approaching action is associated with the object ID, and when the attribute specifying part 13 specifies the attribute, the after-approaching action is generated. What is necessary is just to add the information which shows the attribute of a corresponding object to object ID of the characteristic information which the specific
  • the accident identification unit 15 identifies the type of accident (accident type) that has occurred between two approaching objects according to the attribute of the object and the action after the approach.
  • the method for identifying the accident type by the accident identifying unit 15 will be described in detail later.
  • the accident identification unit 15 may also identify the accuracy of the identified accident type. The specification of the accuracy will be described later in detail.
  • the accident type specified by the accident specifying unit 15 indicates not only a simple traffic accident but also any event that can be considered from the attribute of the object and the action after approach.
  • accident types include traffic accidents such as contact accidents and rear-end collisions, self-injury accidents (accidents between vehicles and still life), snatching incidents, and simple object stoppages. This includes accidents and non-incident events.
  • the accident identification unit 15 adds information indicating the identified accident type (and accuracy) to each of the feature information of the two objects.
  • FIG. 2C shows feature information to which information indicating the accident type and accuracy is added by the accident identification unit 15.
  • the index adding unit 16 includes at least one of the attribute of the object included in the feature information, the movement after approach, and the accident type and the accuracy of the accident, among the videos captured by the imaging unit 20 (that is, the scene where the accident occurred (that is, The approach detection unit 12 records the image in association with the frame of the scene in which the approach of the two objects is detected. In other words, the index adding unit 16 adds at least one of the attribute of the object, the action after approach, the accident type, and the accuracy of the accident as an index of the scene in which the accident indicated by the accident type has occurred. . Note that the configuration and function of the index adding unit 16 in the monitoring camera 1 are not essential.
  • the index adding unit 16 records the accident type or the like in association with the scene where the accident occurred, thereby specifying the accident type or the like when the user views the video later (for example, after saving in the server 2).
  • the scene where the accident occurred can be searched and specified from the entire video. Therefore, the moving image search by the user becomes easy.
  • FIG. 3 is a diagram illustrating a specific example of an accident that occurs within the imaging range of the surveillance camera 1.
  • 3A shows an example before the occurrence of the accident
  • FIG. 3B shows an example after the occurrence of the accident.
  • FIG. 4 is a diagram showing the data structure of the accident type DB 30A used by the monitoring camera 1 for specifying the accident type.
  • the object detection unit 11 of the control unit 10 detects the objects 100 and 200.
  • the approach detection unit 12 detects the approach and gives an object ID to the objects 100 and 200.
  • the attribute specifying unit 13 specifies the attributes of the objects 100 and 200
  • the post-approaching action specifying unit 14 specifies the post-approaching actions of the objects 100 and 200. Specifically, when the objects 100 and 200 are in a state as shown in FIG. 3B after approaching (after the occurrence of an accident), the attribute specifying unit 13 sets the attribute of the object 100 to “size: large, type”. : Vehicle ”, and the attribute of the object 200 is specified as“ size: small, type: person ”.
  • the post-approaching action specifying unit 14 specifies the post-approaching action of the object 100 as “stop” and the post-approaching action of the object 200 as “falling”.
  • the identified attribute and post-approach action are added to the feature information.
  • the type of the object is specified from the size of the object.
  • the accident specifying unit 15 refers to the feature information, and first specifies a combination of object attributes.
  • the combination of attributes of the objects 100 and 200 is “vehicle (size: large) and person (size: small)”.
  • the accident identification unit 15 reads the accident type DB 30A corresponding to the combination of the attributes from the storage unit 30.
  • 4A to 4E are diagrams showing the data structure of the accident type DB 30A.
  • the accident type DB 30A is data in which information indicating an accident type is associated with information indicating accuracy and information indicating an operation after approach. In the present embodiment, the accident type DB 30A is divided into tables for each combination of object attributes.
  • the accident identification unit 15 has a combination of attributes “vehicle (size: large) and person (size: small)” in FIG. Read (a).
  • the accident identification unit 15 continues to identify the accident type of the objects 100 and 200 from the data indicating the combination of the post-approach movements of the objects 100 and 200 from the table of FIG.
  • the combination of the movements of the objects 100 and 200 after the approach is that the object 100 (vehicle) is “stop” and the object 200 (person) is “falling”, so according to (a) of FIG. Identified as an "accident”.
  • the accident identification part 15 may identify the information which shows the probability of an accident like the accident classification. With the above processing, the accident type of the accident that occurred between the objects 100 and 200 is specified in the accident specifying unit 15.
  • FIG. 5 is a flowchart showing the flow of processing in the control unit 10 of the monitoring camera 1.
  • the object detection unit 11 of the control unit 10 inspects the moving image captured by the imaging unit 20 for each frame or a predetermined number of frames, and detects a new object (that is, an object that has entered the imaging range of the imaging unit 20). (S100).
  • the approach detection unit 12 detects when any two of the objects detected by the object detection unit 11 approach (YES in S102), assigns an object ID to the two approached objects, and assigns the object ID to the attribute Notify the specifying unit 13 and the post-approaching operation specifying unit 14
  • the size specifying unit 13A of the attribute specifying unit 13 specifies the size of the object indicated by the object ID (S104, attribute specifying step). Also, upon receiving the notification of the object ID, the type specifying unit 13B of the attribute specifying unit 13 specifies the type of the object (S106, attribute specifying step). Further, when the post-approach action specifying unit 14 receives the notification of the object ID, the post-approach action specifying unit 14 specifies the post-approach action of the object (S108, post-approach action specifying step).
  • the attribute of the object specified by the size specifying unit 13A and the type specifying unit 13B and the post-approach action specified by the post-approach action specifying unit 14 are associated with the object ID and added to the feature information.
  • the accident specifying unit 15 refers to the feature information and specifies the type of the accident that occurred between the approaching objects (S110, event Specific step), the identified accident type is added to the feature information.
  • the index adding unit 16 adds at least one of the attribute of the object, the action after approach, and the accident type included in the feature information as an index to the scene where the object in the moving image approaches, that is, the scene where the accident occurred. (S112).
  • control unit 10 performs object detection (S100) by the object detection unit 11 in each frame of the moving image or a predetermined number of frames. Continue to do.
  • the processing after S110 that is, the addition of various indexes by the index adding unit 16 is not essential. Further, as described in the description of FIG. 1, the processes of S104 to S108 may be performed in any order or in parallel. According to the above processing, the accident identification unit 15 can identify what accident has occurred between the objects when the objects recorded in the moving image approach each other based on the attribute of the object and the action after the approach. .
  • FIG. 6 is a block diagram showing the main configuration of the monitoring camera 3.
  • the monitoring camera 3 according to the present embodiment is different from the monitoring camera 1 according to the first embodiment in that the control determination unit (notification unit) 17 is provided in the control unit 90.
  • the monitoring camera 3 communicates with the alarm 50 via the communication part 40 as shown in the figure.
  • the notification determination unit 17 determines whether or not the accident type is a predetermined type, and if it is the predetermined type, causes the alarm 50 to output an alarm indicating that an accident has occurred.
  • the alarm 50 outputs the alarm.
  • the server 2 may be connected to the playback device 4.
  • the playback device 4 is a device that displays a moving image shot by the shooting unit 20 and stored in the server 2. As described in the first embodiment, when the moving images shot by the shooting unit 20 are sequentially transmitted to the server 2, the playback device 4 can display the moving images shot by the shooting unit 20 in real time. It is.
  • FIG. 7 is a flowchart showing the flow of processing in the control unit 90 of the monitoring camera 3. Note that among the steps in FIG. 7, steps that perform the same processing as the steps described in FIG. 5 are given the same numbers, and descriptions thereof are omitted.
  • the control unit 90 of the monitoring camera 3 according to the present embodiment is different from the control unit 10 of the monitoring camera 1 according to the first embodiment in that the processes of S120 and S122 are performed.
  • the accident determination unit 15 when the accident identification unit 15 identifies the accident type (S112), the accident determination unit 15 notifies the notification determination unit 17 of the accident type.
  • the notification determination unit 17 determines whether the accident type is a predetermined type (S120).
  • the notification determination unit 17 controls the alarm 50 via the communication unit 40 to output an alarm (S122).
  • the notification determination unit 17 ends the process without causing the alarm 50 to output the warning.
  • the notification determination unit 17 determines that the accident identified by the accident identification unit 15 is a predetermined accident (for example, “contact accident”, “hit”, etc., not “simple stop”).
  • An alarm 50 is used to notify the occurrence of an accident. Therefore, when the user is viewing the captured video in real time, the occurrence of the accident can be notified to the user in real time.
  • the configuration of the monitoring camera 3 may be incorporated in the monitoring camera 1.
  • the monitoring camera 1 includes a notification determination unit 17 and an alarm 50, and when an accident occurs, the index adding unit 16 adds the accident type of the accident as an index to the video, and the notification determination unit 17 It may be determined whether or not the accident type is a predetermined type, and if it is the predetermined type, the alarm 50 may output a warning.
  • the server 2 may store the accident type DB 30 ⁇ / b> A and may be responsible for the functions of the accident identification unit 15, the index addition unit 16, and the notification determination unit 17. That is, the monitoring camera 1 or the monitoring camera 3 detects an object (object detection unit 11), an object approach detection (approach detection unit 12), an attribute specification (attribute specification unit 13), and an after-approach operation specification (approach).
  • the post-operation specifying unit 14) may be performed, and the generated feature information may be transmitted to the server 2 together with the moving image shot by the shooting unit 20. Then, when the server 2 receives the moving image and the feature information, the server 2 only needs to specify the accident type (and accuracy) and perform the subsequent processing with reference to the feature information.
  • control block of the control unit 10 (particularly the approach detection unit 12, the attribute specifying unit 13, the post-approaching operation specifying unit 14, the accident specifying unit 15, the index adding unit 16, and the notification determining unit 17) is an integrated circuit (IC chip) or the like. It may be realized by a logic circuit (hardware) formed in the above, or may be realized by software using a CPU (Central Processing Unit).
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • the control unit 10 includes a CPU that executes instructions of a program that is software that implements each function, a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by a computer (or CPU), or A storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • a computer or CPU
  • the recording medium a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the video analysis device (control unit 10 or 90) specifies, for each of two objects included in a moving image shot by the shooting unit (shooting unit 20), an attribute indicating a static characteristic of the object.
  • the attribute specifying unit attribute specifying unit 13
  • the post-approaching motion specifying unit post-approaching motion specifying unit 14
  • an event specifying unit identity specifying unit 15
  • the event specifying unit specifies what has occurred between the objects when approaching the object recorded as a moving image from the static characteristics of the object and the action after the approach.
  • the event identification unit is at least an event with two static objects that have static characteristics, and an event (accident, incident, etc.) reflected in the video depending on how it moves after approaching. ).
  • the static characteristics it is possible to specify the event reflected in the moving image in detail as compared with the case of specifying based only on the operation after the approach.
  • the video analysis apparatus includes the approach detection unit (approach detection unit 12) that detects the approach of the two objects in the aspect 1, and the attribute specifying unit includes the access detection unit described above.
  • the attribute may be specified when an approach is detected, and the post-approach action specifying unit may specify the post-approach action when the approach detecting unit detects the approach.
  • the attribute specifying unit specifies the attribute
  • the post-approaching motion specifying unit specifies the post-approaching operation.
  • an event recording unit (index addition unit 16) that records information indicating the event in association with a scene where the event has occurred in the moving image. ) May be provided.
  • the event recording unit records information indicating the event in association with the scene where the event has occurred. Therefore, it is possible to perform a scene search for a moving image from the associated event. In other words, the user can search for the event from the moving image by designating the event that occurred when browsing the moving image.
  • a video-analysis apparatus makes easy the video search by a user.
  • the video analysis apparatus is the post-approach operation that records the information indicating the post-approach action in association with the scene in which the event occurs in the moving image in any of the above aspects 1 to 3.
  • a recording unit index adding unit 16 may be provided.
  • the post-approach action recording unit records information indicating the post-approach action in association with the scene where the event occurs. Therefore, it is possible to perform a scene search for a moving image from the associated post-approach action. In other words, when browsing the moving image, the user can search the moving image for a scene in which the object has performed the predetermined after-approaching operation by designating the moving operation of the object.
  • a video-analysis apparatus makes easy the video search by a user.
  • the video analysis apparatus is the attribute recording unit (index) according to any one of Aspects 1 to 4, in which information indicating the attribute is recorded in association with the scene where the event occurs in the moving image.
  • An additional unit 16) may be provided.
  • the attribute recording unit associates the information indicating the attribute with the scene where the event has occurred, so that it is possible to search for a scene of the moving image from the attribute of the object.
  • the user can search the moving image for an event related to the object having the attribute by designating the attribute of the object when browsing the moving image.
  • the video analysis apparatus may include a notification unit (notification determination unit 17) that notifies the occurrence of the event specified by the event specifying unit in the above-described aspect 1.
  • the notifying unit notifies the event specified by the event specifying unit, and thus can notify a predetermined user of the occurrence of the event. For example, when the user is viewing the captured video in real time, the occurrence of the event can be notified to the user in real time.
  • the event specifying unit further specifies the probability that the event has occurred according to the attribute and the post-approach action. Also good.
  • the event specifying unit can not only specify the event reflected in the moving image but also grasp the specific accuracy.
  • the attribute specifying unit includes a type specifying unit (type specifying unit 13B) that specifies the type of the object as the attribute of the object. May be included.
  • the event identification unit can identify an event reflected in a video according to the type of object.
  • the event specifying unit can specify an event by distinguishing between a case where two objects approach each other and a case where a vehicle approaches a person. Therefore, the event specifying unit can specify the event reflected in the moving image more accurately and in detail.
  • the video analysis device is the video analysis apparatus according to any one of the aspects 1 to 8, wherein the attribute specifying unit sets the size of the object or the relative of the object to the other object as the attribute of the object.
  • a size specifying unit (size specifying unit 13A) for specifying a specific size may be provided.
  • the event specifying unit can specify an event reflected in a video according to the size of the object.
  • the event specifying unit may be a case where two objects are close to each other (or close to each other), and a large object is close to a small object (relatively different in size). It is possible to identify an event by distinguishing from the case of the approach of objects). Therefore, the event specifying unit can specify the event reflected in the moving image more accurately and in detail.
  • the video analysis method is a video analysis method performed by a video analysis device (control unit 10 or 90), and for two objects included in a moving image shot by a shooting unit, static characteristics of the objects
  • An attribute specifying step S104 and / or S106 for specifying an attribute indicating each of the above
  • an after-approaching action specifying step (S108) for specifying an after-approach action of each of the two objects, the attribute, and the after-approaching
  • an event specifying step (S110) for specifying an event occurring between the two objects according to the motion.
  • the video analysis method has the same effect as the video analysis device according to the first aspect.
  • the video analysis apparatus may be realized by a computer.
  • the video analysis apparatus is operated on each computer by causing the computer to operate as each unit (software element) included in the video analysis apparatus.
  • the control program for the video analysis apparatus to be realized in this manner and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
  • the present invention can be suitably used for a video analysis device that identifies an event that has occurred in a moving image.
  • a video analysis device that identifies an event that has occurred in a moving image.
  • it can be suitably used for analysis of images taken for a long time by a surveillance camera or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

　動画に映った事象を詳細に特定する。映像分析装置は、撮影部（２０）が撮影した動画に含まれる２つのオブジェクトの静的特徴を示す属性を特定する属性特定部（１３）と、上記２つのオブジェクトの接近後動作を特定する接近後動作特定部（１４）と、上記属性と、上記接近後動作とに応じて、上記２つのオブジェクトの間で発生した事故を特定する事故特定部（１５）と、を備える。

Description

映像分析装置、映像分析方法、および制御プログラム
　本発明は、撮影された動画に映った事象を特定する映像分析装置などに関する。
　従来、録画されたまたはリアルタイムで撮影されている動画に映った事象を、当該動画から自動的に特定する技術が開発されている。例えば特許文献１には、撮影画像から衝突事故などの移動体間動作を判定する技術が記載されている。
日本国公開特許公報「特開２０１０－１６０８０２号公報（公開日：２０１０年７月２２日）」
　ところで、監視カメラなど常時動画撮影を行っている場合などは、撮影動画も長時間となる。この場合、動画中で特定の事象（例えば監視カメラの映像の場合、事故や事件など）が起こっていないか、人間が目視で確認することは大変な手間である。しかしながら、上述の従来技術を用いても、動画に映った事象を詳細に特定することは難しく、したがって動画に映った事象を詳細に判別したい場合は、人間が目視で動画を確認せざるをえなかった。
　本発明は上記問題点に鑑みたものであり、その目的は、動画に映った事象を詳細に特定する映像分析装置などを実現することにある。
　上記の課題を解決するために、本発明の一態様に係る映像分析装置は、撮影部が撮影した動画に含まれる２つのオブジェクトについて、当該オブジェクトの静的特徴を示す属性をそれぞれ特定する属性特定部と、上記２つのオブジェクトの接近後動作をそれぞれ特定する接近後動作特定部と、上記属性と、上記接近後動作とに応じて、上記２つのオブジェクトの間で発生した事象を特定する事象特定部と、を備えることを特徴とする。
　上記の課題を解決するために、本発明の一態様に係る映像分析方法は、映像分析装置による映像分析方法であって、撮影部が撮影した動画に含まれる２つのオブジェクトについて、当該オブジェクトの静的特徴を示す属性をそれぞれ特定する属性特定ステップと、上記２つのオブジェクトの接近後動作をそれぞれ特定する接近後動作特定ステップと、上記属性と、上記接近後動作とに応じて、上記２つのオブジェクトの間で発生した事象を特定する事象特定ステップと、を含むことを特徴とする。
　本発明の一態様によれば、動画に映った事象を詳細に特定することができるという効果を奏する。
本発明の実施形態１に係る監視カメラの要部構成を示すブロック図である。 特徴情報のデータ構造を示す図である。図２の（ａ）は生成された特徴情報のデータ構造を示す。図２の（ｂ）は（ａ）にさらに接近後動作が付加された場合の特徴情報を示す。図２の（ｃ）は（ｂ）にさらに事故種別および確度が付加された場合の特徴情報を示す。 監視カメラの撮影範囲内で起きる事故の具体例を示す図である。図３の（ａ）は事故の発生前、図３の（ｂ）は事故の発生後の一例を示す。 図４の（ａ）～（ｅ）は、上記監視カメラが事故種別の特定に利用する事故種別データベースのデータ構造を示す図である。 上記監視カメラの制御部における、事故種別の特定に係る処理の流れを示すフローチャートである。 本発明の実施形態２に係る監視カメラの要部構成を示すブロック図である。 上記監視カメラの制御部における処理の流れを示すフローチャートである。
　〔実施形態１〕
　以下、本発明の第１の実施形態について説明する。本実施形態では、本発明に係る映像分析装置を監視カメラに内蔵した例について、図１～５を参照して説明する。まず始めに、本実施形態に係る監視カメラ１の要部構成について図１を参照して説明する。
　≪要部構成≫
　（監視カメラ１とサーバ２）
　図１は、監視カメラ１の要部構成を示すブロック図である。なお、図１には、監視カメラ１とデータ通信を行うサーバ２についても記載している。監視カメラ１は、自装置の周囲を撮影し、撮影した動画をサーバ２に送信するものである。監視カメラ１は例えば、街中、道路脇、または信号機や踏切と併設して設けられるような常時監視型の監視カメラである。なお、監視カメラ１は以下で説明する構成および機能の他に、監視カメラが通常備えている構成および機能を備えていてもよい。
　サーバ２は、監視カメラ１が撮影した動画を記憶しておくデータサーバである。サーバ２は、監視カメラ１から受信した動画を自装置で保管する。また、サーバ２は図示しない他の装置（再生装置など）と通信し、当該保管している動画を上記他の装置へと送信してもよい。なお、監視カメラ１からサーバ２への動画の送信タイミングおよび送信方法は特に限定されない。例えば、監視カメラ１は撮影動画をリアルタイムでサーバ２に送信してもよいし、後述する記憶部３０などに所定時間分の撮影動画を記憶しておき、これを所定のタイミングでサーバ２に送信してもよい。また、監視カメラ１はサーバ２からデータの送信要求を受信した場合に撮影動画を送信してもよい。
　（監視カメラ１の構成）
　監視カメラ１は、さらに詳しくは、撮影部２０と、通信部４０と、事故特定データベース３０と、制御部１０とを含む。撮影部２０は、監視カメラ１の周囲を撮影するものである。撮影部２０は撮影動画を制御部１０へ送信する。なお、撮影部２０が撮影する動画の形式や、撮影に使用する部材は特に限定されない。
　通信部４０は、監視カメラ１とサーバ２との通信を行うものである。記憶部３０は、監視カメラ１にて使用される各種データを記憶する記憶装置である。記憶部３０は少なくとも事故種別データベース（ＤＢ）３０Ａを格納する。事故種別ＤＢ３０Ａは、後述する事故特定部１５により事故種別の特定の際に参照されるデータベースである。なお、事故種別ＤＢ３０Ａの具体的なデータ構造については、後で詳述する。また、本実施形態では、記憶部３０は監視カメラ１に内蔵された記憶装置であるとして説明を行うが、記憶部３０は監視カメラ１に着脱可能な記録装置（記録媒体）であってもよい。
　（制御部１０）
　制御部１０は、監視カメラ１を統括的に制御するものである。具体的には、制御部１０は撮影部２０の撮影した動画内に映った事故の発生を検出し、当該事故の種別（事故種別）を特定する。換言すると、制御部１０は、撮影部２０の動画撮影中に起こった事故を動画から検出し、当該事故の事故種別を特定する映像分析装置である。また、制御部１０は図示しない一時記憶部を備え、後述する特徴情報を保持する。なお、制御部１０は撮影部２０の撮影した映像をリアルタイムに受信して事故検出および事故種別の特定を行ってもよいし、撮影部２０の撮影した映像を記憶部３０などに一旦記憶させておき、これを順次読み出して、事故検出および事故種別の特定を行ってもよい。制御部１０はさらに詳しくは、オブジェクト検出部１１と、接近検知部１２と、属性特定部１３と、接近後動作特定部１４と、事故特定部（事象特定部）１５と、索引付加部（事象記録部、接近後動作記録部、属性記録部）１６とを含む。
　オブジェクト検出部１１は、撮影部２０が撮影した動画に含まれるオブジェクト（動画中で当該オブジェクトが占める領域）を検出するものである。ここで、「オブジェクト」とは、生物および物体（移動体または静物）のいずれであってもよい。より具体的には、「オブジェクト」とは、人、動物、車両（乗用車、トラック、軽車両など）、二輪車、電車、信号機、およびガードレールなど、監視カメラ１の撮影範囲内に存在するあらゆる物体である。なお、オブジェクト検出部１１のオブジェクトの検出方法は特に限定されない。例えば、オブジェクト検出部１１は従来知られた、動画像のエッジ検出や特徴量の抽出などを行うことにより、動画中に存在するオブジェクトを検出すればよい。さらに言えば、オブジェクト検出部１１は動画中におけるオブジェクトの数と位置とを最低限検出できればよい。
　接近検知部１２は、撮影部２０が撮影した動画に含まれる２つのオブジェクトが接近したことを検知するものである。なお、接近検知部１２による上記接近の検知方法は特に限定されない。例えば、接近検知部１２はオブジェクト検出部１１が検出したオブジェクトのうち、いずれか２つのオブジェクト（オブジェクトが動画の中で占める領域）の位置が重なった、もしくはいずれか２つのオブジェクト間の距離が所定値以下になった場合に、「２つのオブジェクトが接近した」と検知すればよい。接近検知部１２は２つのオブジェクトの接近を検知すると、接近した２つのオブジェクトのそれぞれにオブジェクトＩＤを付与する。ここで、「オブジェクトＩＤ」とは、オブジェクトを一意に特定する識別子であり、後述する特徴情報と上記２つのオブジェクトとを対応づける情報である。接近検知部１２は最後に、属性特定部１３および接近後動作特定部１４に、接近した２つのオブジェクトのオブジェクトＩＤを通知する。
　属性特定部１３は、接近した２つのオブジェクトの属性をそれぞれ特定するものである。属性特定部１３は接近検知部１２からオブジェクトＩＤを通知されると、動画中の当該ＩＤに紐付けるオブジェクトの属性を特定する。ここで、「オブジェクトの属性」とは、撮影部２０の撮影動画内の当該オブジェクトから抽出される静的特徴を示す。本実施形態では一例として、オブジェクトの属性として属性特定部１３がオブジェクトの大きさおよび種別を特定することとする。属性特定部１３は、さらに詳しくは、オブジェクトの大きさを特定する大きさ特定部１３Ａと、オブジェクトの種別を特定する種別特定部１３Ｂとを含む。
　なお、大きさ特定部１３Ａによるオブジェクトの大きさの特定と、種別特定部１３Ｂによるオブジェクトの種別の特定とは順不同または同時並行で行ってよい。本実施形態では説明の便宜上、大きさ特定部１３Ａによるオブジェクトの大きさの特定を行った後、種別特定部１３Ｂによるオブジェクトの種別の特定を行うこととする。また、後述する接近後動作特定部１４における処理と、属性特定部１３にて行う処理とも順不同または同時並行で行ってよい。本実施形態では説明の便宜上、属性特定部１３が処理を行った後に接近後動作特定部１４が処理を行うこととして説明する。
　大きさ特定部１３Ａは、接近検知部１２が接近を検知した２つのオブジェクトの大きさをそれぞれ特定する。なお、ここで言う「オブジェクトの大きさ」は、撮影部２０の撮影動画上でのオブジェクトの絶対的な大きさまたは相対的な大きさを示す。特に、撮影部２０が魚眼レンズなど撮影位置によってオブジェクトの大きさが異なって撮影されるものである場合、大きさ特定部１３Ａは２つのオブジェクトの大きさを、相対的な大きさで特定することが望ましい。なお、大きさ特定部１３Ａによるオブジェクトの大きさの特定方法は特に限定されない。例えば、大きさ特定部１３Ａはオブジェクト検出部１１によるオブジェクトの検出時と同様に、エッジ検出や特徴量の抽出によりオブジェクトの輪郭線を特定し、当該輪郭線で囲まれた領域（または当該領域の相対的な大小）からオブジェクトの大きさを特定すればよい。
　種別特定部１３Ｂは、接近検知部１２が接近を検知した２つのオブジェクトの種別をそれぞれ特定するものである。種別特定部１３Ｂによるオブジェクトの種類の特定方法は特に限定されない。例えば、種別特定部１３Ｂは上記２つのオブジェクトの映像と、予め記憶部３０などに記憶している、オブジェクトの種類ごとの画像とでパターンマッチングを行うことによってオブジェクトの種類を特定すればよい。もしくは、種別特定部１３Ｂは従来知られた方法により、動画からオブジェクトのエッジや特徴量を検出し種類を特定してもよい。
　ところで、オブジェクトの種別とはオブジェクトをその形状から所定のカテゴリに分類したものである。オブジェクトの種別の一例としては、人、動物、車両（乗用車、トラック、軽車両など）、二輪車、電車、信号機、およびガードレールなどが挙げられる。なお、オブジェクトの種別の分類の詳細さは（例えば車両のうち、トラックと乗用車を別種別とみなすか否かは）適宜定めてよい。
　なお、種別特定部１３Ｂはオブジェクトの種別を特定する際に、大きさ特定部１３Ａが特定したオブジェクトの大きさを利用してもよい。例えば、大きさ特定部１３Ａにてオブジェクトの大きさを３段階（大・中・小）のいずれであるか特定し、種別特定部１３Ｂは大きさが「大」のオブジェクトは「自動車」、大きさが「中」のオブジェクトは「二輪者」、大きさが「小」のオブジェクトは「人」と種類を特定してもよい。さらに、種別特定部１３Ｂは、上述したパターンマッチングやエッジ検出、特徴量検出の結果と大きさ特定部１３Ａが特定したオブジェクトの大きさとを組み合わせて、オブジェクトの種類を特定してもよい。これにより、形状からオブジェクトの種類をその形状からだけで特定するよりも正確にオブジェクトの種別を特定することができる。
　大きさ特定部１３Ａおよび種別特定部１３Ｂにてオブジェクトの属性を特定すると、属性特定部１３は特徴情報を生成する。図２（ａ）は、属性特定部１３が生成する特徴情報のデータ構造を示す図である。図示の通り、特徴情報は、オブジェクトＩＤに、オブジェクトの属性を対応付けた情報である。属性特定部１３の生成した特徴情報は、接近後動作特定部１４および事故特定部１５にて読み出される。
　接近後動作特定部１４は、接近検知部１２から通知された２つのオブジェクトの接近後動作をそれぞれ特定するものである。ここで、「接近後動作」とは、２つのオブジェクトの接近後の動作を意味する。なお、「接近後動作」は、２つのオブジェクトが接近（または接触）する前の動作を考慮して特定されてもよい。例えば、接近前にオブジェクトが所定以上のスピードで移動しており、接近後に停止していた場合、接近後動作特定部１４は当該オブジェクトの接近後動作を「急停止」と特定してもよい。また例えば、接近前と接近後とでオブジェクトの移動方向が異なる場合、接近後動作特定部１４は当該オブジェクトの接近後動作を「方向転換」と特定してもよい。なお、上記接近後または接近前のどの程度の期間（動画におけるフレーム数）を接近後動作の特定において考慮するかは、適宜決定してよい。
　以下、接近後動作の他の具体例を挙げる。接近後動作は例えば、「移動」、「大きな移動（所定以上のスピードで移動）」、「停止（接近後移動していない）」、「長時間停止（所定時間（フレーム数）以上停止している）」、「停止後移動（一旦停止してから移動開始した）」、「停止後急加速（接近後一旦停止してから所定以上のスピードで移動開始した）」、「消失（接近後にオブジェクトが検出できなくなった、すなわち撮影部２０の撮影範囲内から消えた）」、「転倒（オブジェクトが停止し、かつオブジェクトの形状が接近前から変化した）」、「オブジェクトの分離（接近後に１つのオブジェクトが２つに分離（増加）した（例えば二輪車から人が投げ出された、など））」、および「発煙・炎上（接近後にオブジェクトの近傍から煙または炎の発生、ならびに煙または炎の動きを検知した）」などの接近後動作と、これらの接近後動作の組み合わせとを示す。
　接近後動作特定部１４はさらに、特徴情報に、オブジェクトＩＤに対応するオブジェクトの接近後動作を追加する。図２の（ｂ）は、接近後動作特定部１４により接近後動作を示す情報が追加された特徴情報を示す。このように、オブジェクトの属性と接近後動作とが追加されることにより、特徴情報は事故を起こしたオブジェクト（オブジェクトＩＤ）の特徴（属性）および動作（接近後動作）を示す情報となる。
　なお、接近後動作特定部１４による接近後動作の特定が属性特定部１３による属性の特定よりも先に行われた場合、接近後動作特定部１４が上記特徴情報を生成してもよい。この場合、接近後動作特定部１４は特徴情報として、オブジェクトＩＤに接近後動作を示す情報を対応付けた情報を生成すればよい、そして、属性特定部１３は属性を特定したとき、接近後動作特定部１４が生成した特徴情報のオブジェクトＩＤに、対応するオブジェクトの属性を示す情報を追加すればよい。
　事故特定部１５は、オブジェクトの属性と接近後動作とに応じて、接近した２つのオブジェクトの間で発生した事故の種別（事故種別）を特定するものである。事故特定部１５による事故種別の特定方法については後で詳述する。事故特定部１５はさらに、特定した事故種別の確度も特定してもよい。当該確度の特定についても後で詳述する。なお、事故特定部１５が特定する事故種別とは、単なる交通事故だけでなく、オブジェクトの属性と接近後動作とから考えられるあらゆる事象を示す。具体的には、事故種別には、接触事故または追突事故のような交通事故の他に、自損事故（車両などと静物の衝突事故）、ひったくりなどの事件の他、単なるオブジェクトの停止など、事故・事件性なしの事象も含まれる。
　事故特定部１５は、特定した事故種別（および確度）を示す情報を、上記２つのオブジェクトの特徴情報のそれぞれに付加する。図２の（ｃ）は、事故特定部１５により事故種別および確度を示す情報が付加された特徴情報を示す。このように事故種別を示す情報が付加されることにより、特徴情報は、事故を起こしたオブジェクト（オブジェクトＩＤ）、事故の内容（事故種別）、およびその発生可能性（確度）を示す情報となる。
　索引付加部１６は、特徴情報に含まれるオブジェクトの属性、接近後動作、ならびに事故種別および事故の確度の少なくともいずれかを、撮影部２０が撮影した動画のうち、事故が発生した場面（すなわち、接近検知部１２が２つのオブジェクトの接近を検知した場面のフレームなど）に対応づけて記録するものである。換言すると、索引付加部１６は、オブジェクトの属性、接近後動作、ならびに事故種別および事故の確度の少なくともいずれかを、上記事故種別が示す事故が起こった場面の索引として動画に付加するものである。なお、監視カメラ１において索引付加部１６の構成および機能は必須ではない。しかしながら、索引付加部１６が事故種別などを事故が発生した場面に対応づけて記録することにより、後から（例えばサーバ２に保存した後）ユーザが動画を閲覧する場合、事故種別などを指定することで、事故が起こった場面を動画全体から検索および特定することができる。したがって、ユーザによる動画検索が容易になる。
　≪事故種別の特定処理≫
　ここで、事故特定部１５の事故種別（および確度）の特定方法、ならびに事故種別ＤＢ３０Ａのデータ構造について図３～４を用いて詳細に説明する。図３は、監視カメラ１の撮影範囲内で起きる事故の具体例を示す図である。図３の（ａ）は事故の発生前、図３の（ｂ）は事故の発生後の一例を示す。また、図４は、監視カメラ１が事故種別の特定に利用する事故種別ＤＢ３０Ａのデータ構造を示す図である。
　図３の（ａ）に示す通り、オブジェクト１００が道路を走行中で、オブジェクト２００が道路を横断中であるとする。このように、監視カメラ１の撮影範囲内にオブジェクトが入ると、制御部１０のオブジェクト検出部１１はオブジェクト１００および２００を検出する。
　この後、オブジェクト１００とオブジェクト２００とが接近すると、接近検知部１２は当該接近を検知し、上記オブジェクト１００および２００に対しオブジェクトＩＤを付与する。そして、属性特定部１３はオブジェクト１００および２００の属性を特定し、接近後動作特定部１４はオブジェクト１００および２００の接近後動作を特定する。具体的には、オブジェクト１００および２００が接近後（事故の発生後）図３の（ｂ）に示すような状態である場合、属性特定部１３はオブジェクト１００の属性を「大きさ：大、種類：車両」、オブジェクト２００の属性を「大きさ：小、種類：人」と特定する。また、接近後動作特定部１４はオブジェクト１００の接近後動作を「停止」、オブジェクト２００の接近後動作を「転倒」と特定する。特定された属性および接近後動作は特徴情報に追加される。なお、図３の例では、オブジェクトの大きさからオブジェクトの種類が特定されているものとする。
　属性特定部１３および接近後動作特定部１４の処理が終了すると、事故特定部１５は、特徴情報を参照し、まず始めにオブジェクトの属性の組み合わせを特定する。図３の例では、オブジェクト１００および２００の属性の組み合わせは、「車両（大きさ：大）と人（大きさ：小）」である。事故特定部１５は当該属性の組み合わせに対応した事故種別ＤＢ３０Ａを記憶部３０から読み出す。図４の（ａ）～（ｅ）は、事故種別ＤＢ３０Ａのデータ構造を示す図である。事故種別ＤＢ３０Ａは事故種別を示す情報に、確度を示す情報、および接近後動作を示す情報が対応付けられているデータである。なお、本実施形態においては、事故種別ＤＢ３０Ａはオブジェクトの属性の組み合わせ毎にテーブル分けされている。
　事故特定部１５は図４の（ａ）～（ｅ）に示した事故種別ＤＢ３０Ａのうち、属性の組み合わせが「車両（大きさ：大）と人（大きさ：小）」である図４の（ａ）を読み出す。事故特定部１５は続けて、図４の（ａ）のテーブルからオブジェクト１００と２００との接近後動作の組み合わせを示すデータから、オブジェクト１００と２００との事故種別を特定する。オブジェクト１００と２００との接近後動作の組み合わせは、オブジェクト１００（車両）が「停止」、オブジェクト２００（人）が「転倒」であるので、図４の（ａ）によると、事故種別は「接触事故」であると特定される。なお、事故特定部１５は事故種別と同様に、事故の確度を示す情報を特定してもよい。以上の処理により、事故特定部１５においてオブジェクト１００と２００との間で起こった事故の事故種別が特定される。
　≪処理の流れ≫
　最後に、監視カメラ１の事故種別の特定に係る処理の流れ（映像分析方法）について、図５を参照して説明する。図５は、監視カメラ１の制御部１０における処理の流れを示すフローチャートである。制御部１０のオブジェクト検出部１１は、撮影部２０の撮影した動画を各フレームまたは所定数のフレーム毎に検査し、新規の（すなわち、撮影部２０の撮影範囲に入ってきた）オブジェクトを検知する（Ｓ１００）。接近検知部１２は、オブジェクト検出部１１が検知したオブジェクトのうちいずれか２つが接近した場合これを検知し（Ｓ１０２でＹＥＳ）、接近した２つのオブジェクトにオブジェクトＩＤを付与し、当該オブジェクトＩＤを属性特定部１３および接近後動作特定部１４に通知する。
　属性特定部１３の大きさ特定部１３Ａは上記オブジェクトＩＤの通知を受けると、オブジェクトＩＤが示すオブジェクトの大きさを特定する（Ｓ１０４、属性特定ステップ）。また、属性特定部１３の種別特定部１３Ｂは上記オブジェクトＩＤの通知を受けると、オブジェクトの種別を特定する（Ｓ１０６、属性特定ステップ）。また、接近後動作特定部１４は上記オブジェクトＩＤの通知を受けると、オブジェクトの接近後動作を特定する（Ｓ１０８、接近後動作特定ステップ）。大きさ特定部１３Ａおよび種別特定部１３Ｂの特定したオブジェクトの属性、および接近後動作特定部１４の特定した接近後動作は、オブジェクトＩＤと対応付けられて、特徴情報に追加される。
　属性特定部１３および接近後動作特定部１４の処理が終わると、事故特定部１５は、上記特徴情報を参照して、接近したオブジェクトの間で発生した事故の種別を特定するとともに（Ｓ１１０、事象特定ステップ）、特定した事故種別を特徴情報に追加する。最後に索引付加部１６は、特徴情報に含まれるオブジェクトの属性、接近後動作、および事故種別の少なくともいずれかを、動画中のオブジェクトが接近した場面、すなわち事故が起こった場面に索引として付加する（Ｓ１１２）。
　なお、接近検知部１２がオブジェクトの接近を検知しない間は（Ｓ１０２でＮＯ）、制御部１０はオブジェクト検出部１１によるオブジェクトの検出（Ｓ１００）を動画の各フレームまたは所定のフレーム数毎のフレームで行い続ける。
　また、図５においてＳ１１０以降の処理、すなわち索引付加部１６による各種索引の付加は必須ではない。また、図１の説明にて述べたように、Ｓ１０４～Ｓ１０８の処理は順不同または同時並行で行ってよい。以上の処理によると、事故特定部１５は、動画に記録されたオブジェクト同士が接近した際に、オブジェクト間で何の事故が起こったかを、オブジェクトの属性と接近後動作とから特定することができる。
　〔実施形態２〕
　本発明の第２の実施形態について、図６～図７を用いて説明する。まず始めに、本実施形態に係る監視カメラ３の要部構成について説明する。図６は、監視カメラ３の要部構成を示すブロック図である。なお、説明の便宜上、第１の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態に係る監視カメラ３は、制御部９０に通知判定部（通知部）１７を備える点で、実施形態１に係る監視カメラ１と異なる。また、監視カメラ３は図示の通り、通信部４０を介してアラーム５０と通信を行う。通知判定部１７は、事故種別が所定の種別であるか否かを判定し、所定の種別である場合はアラーム５０に事故が発生したことを示す警報を出力させるものである。また、アラーム５０は上記警報を出力するものである。また、本実施形態に係るサーバ２は、再生装置４と接続されていてもよい。再生装置４は、撮影部２０が撮影しサーバ２に格納された動画を表示する装置である。実施形態１にて説明したように、撮影部２０にて撮影された動画が順次サーバ２に送信される場合、再生装置４は撮影部２０にて撮影された動画をリアルタイムで表示することが可能である。
　≪処理の流れ≫
　次に、本実施形態に係る監視カメラ３の制御部における処理について、図７を参照して説明する。図７は、監視カメラ３の制御部９０における処理の流れを示すフローチャートである。なお、図７の各ステップのうち、図５にて説明したステップと同じ処理を行うステップについては同じ番号を付し、その説明を省略する。本実施形態に係る監視カメラ３の制御部９０は、Ｓ１２０およびＳ１２２の処理を行う点で、実施形態１に係る監視カメラ１の制御部１０と異なる。
　本実施形態に係る制御部９０において、事故特定部１５は事故種別を特定すると（Ｓ１１２）、当該事故種別を通知判定部１７に通知する。通知判定部１７は事故種別の通知を受けると、当該事故種別が、所定の種別であるか否かを判定する（Ｓ１２０）。ここで、事故特定部１５の特定した事故種別が所定の種別である場合（Ｓ１２０でＹＥＳ）、通知判定部１７は、通信部４０を介しアラーム５０を制御し警報を出力させる（Ｓ１２２）。一方、事故特定部１５の特定した事故種別が所定の種別でない場合（Ｓ１２０でＮＯ）、通知判定部１７はアラーム５０に上記警報を出力させずに処理を終了する。
　上記の処理によれば、通知判定部１７は、事故特定部１５が特定した事故が所定の事故（例えば「単なる停車」などではなく、「接触事故」「ひき逃げ」などであった場合）に、アラーム５０を用いて事故発生を通知する。したがって、ユーザが撮影動画をリアルタイムで閲覧している場合、事故発生をユーザにリアルタイムで通知することができる。
　〔変形例〕
　なお、実施形態１に係る発明と実施形態２に係る発明とは組み合わせてもよい。すなわち、監視カメラ１に監視カメラ３の構成を組み込んでもよい。具体的には、監視カメラ１に通知判定部１７およびアラーム５０を備え、事故が起こった際に、索引付加部１６が当該事故の事故種別を動画に索引として付加するとともに、通知判定部１７が当該事故種別が所定の種別であるか否か判定し、所定の種別である場合はアラーム５０に警報を出力させてもよい。
　また、サーバ２が、事故種別ＤＢ３０Ａを格納するとともに、事故特定部１５、索引付加部１６、通知判定部１７の機能を担ってもよい。すなわち、監視カメラ１または監視カメラ３は、オブジェクトの検出（オブジェクト検出部１１）、オブジェクトの接近検知（接近検知部１２）、属性の特定（属性特定部１３）、および接近後動作の特定（接近後動作特定部１４）を行い、生成した特徴情報を撮影部２０が撮影した動画と共にサーバ２に送信してもよい。そして、サーバ２は動画と特徴情報とを受信すると、当該特徴情報を参照して事故種別（および確度）の特定と、それ以降の処理を行えばよい。
　〔ソフトウェアによる実現例〕
　制御部１０の制御ブロック（特に接近検知部１２、属性特定部１３、接近後動作特定部１４、事故特定部１５、索引付加部１６、および通知判定部１７）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、制御部１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕 
　本発明の態様１に係る映像分析装置（制御部１０または９０）は、撮影部（撮影部２０）が撮影した動画に含まれる２つのオブジェクトについて、当該オブジェクトの静的特徴を示す属性をそれぞれ特定する属性特定部（属性特定部１３）と、上記２つのオブジェクトの接近後動作をそれぞれ特定する接近後動作特定部（接近後動作特定部１４）と、上記属性と上記接近後動作とに応じて、上記２つのオブジェクトの間で発生した事象を特定する事象特定部（事故特定部１５）と、を備えることを特徴としている。
　上記の構成によれば、事象特定部は動画として記録された上記オブジェクトの接近の際に、オブジェクト間で何が起こったかを、オブジェクトの静的特徴と接近後動作とから特定する。換言すると、事象特定部は少なくとも、接近した２つのオブジェクトがどのような静的特徴を持ったオブジェクトで、接近後どのような動きをしたかに応じて、動画に映った事象（事故や事件など）を特定する。このように、静的特徴を加味することにより、接近後動作のみに基づいて特定する場合と比べて、動画に映った事象を詳細に特定することができる。
　本発明の態様２に係る映像分析装置は、上記態様１において、上記２つのオブジェクトの接近を検知する接近検知部（接近検知部１２）を備え、上記属性特定部は、上記接近検知部が上記接近を検知した場合に上記属性を特定し、上記接近後動作特定部は、上記接近検知部が上記接近を検知した場合に上記接近後動作を特定してもよい。
　上記の構成によれば、接近検知部が２つのオブジェクトの接近を検知した場合に、属性特定部が属性を特定し、接近後動作特定部が接近後動作を特定する。ところで、２つのオブジェクトが接近した場合、当該２つのオブジェクト間で事故や事件など、何らかの事象が起こった可能性が高いと考えられる。逆に言えば、オブジェクトは検出されたが、２つのオブジェクトが接近した状態にはならなかった場合（すなわち、何も事象が起こっていない可能性が高い場合）には、属性の特定も接近後動作の特定も行わない。したがって、オブジェクトを検出する毎に属性を特定する場合に比べ、処理に係る負荷を低減させることができる。
　本発明の態様３に係る映像分析装置は、上記態様１または２において、上記動画のうち上記事象が発生した場面に、上記事象を示す情報を対応付けて記録する事象記録部（索引付加部１６）を備えていてもよい。
　上記の構成によれば、事象記録部は、上記事象を示す情報を上記事象が発生した場面に対応付けて記録する。そのため、上記対応付けられた事象から動画の場面検索を行うことが可能になる。換言すると、ユーザは動画閲覧の際に、起こった事象を指定することで、当該事象を動画中から検索することができる。このように、上記の構成によれば映像分析装置はユーザによる動画検索を容易にするという効果を奏する。
　本発明の態様４に係る映像分析装置は、上記態様１～３のいずれかにおいて、上記動画のうち上記事象が発生した場面に、上記接近後動作を示す情報を対応付けて記録する接近後動作記録部（索引付加部１６）を備えていてもよい。
　上記の構成によれば、接近後動作記録部が上記接近後動作を示す情報を上記事象が発生した場面に対応付けて記録する。そのため、上記対応付けられた接近後動作から動画の場面検索を行うことが可能になる。換言すると、ユーザは動画閲覧の際に、オブジェクトの接近後動作を指定することで、オブジェクトが所定の接近後動作を行った場面を、動画中から検索することができる。このように、上記の構成によれば映像分析装置はユーザによる動画検索を容易にするという効果を奏する。
　本発明の態様５に係る映像分析装置は、上記態様１～４のいずれかにおいて、上記動画のうち上記事象が発生した場面に、上記属性を示す情報を対応付けて記録する属性記録部（索引付加部１６）を備えていてもよい。
　上記の構成によれば、属性記録部が上記属性を示す情報を上記事象が発生した場面に対応づけておくことにより、オブジェクトの属性から動画の場面検索を行うことが可能になる。換言すると、ユーザは動画閲覧の際にオブジェクトの属性を指定することで、当該属性を有するオブジェクトが関わった事象を動画中から検索することができる。このように、上記の構成によれば映像分析装置はユーザによる動画検索を容易にするという効果を奏する。
　本発明の態様６に係る映像分析装置は、上記態様１において、上記事象特定部が特定した上記事象の発生を通知する通知部（通知判定部１７）を備えていてもよい。
　上記の構成によれば、通知部は、事象特定部が特定した事象を通知するので、当該事象の発生を所定のユーザに知らせることができる。例えば、撮影された動画をユーザがリアルタイムで閲覧している場合には、上記事象の発生をリアルタイムで上記ユーザに通知することができる。
　本発明の態様７に係る映像分析装置は、上記態様１～６のいずれかにおいて、上記事象特定部はさらに、上記属性と上記接近後動作とに応じて上記事象の発生した確度を特定してもよい。
　上記の構成によれば、事象特定部は動画に映った事象を特定するだけでなく、当該特定の確度まで把握することができる。
　本発明の態様８に係る映像分析装置は、上記態様１～７のいずれかにおいて、上記属性特定部は、上記オブジェクトの属性として上記オブジェクトの種別を特定する種別特定部（種別特定部１３Ｂ）を含んでいてもよい。
　上記の構成によれば、事象特定部はオブジェクトの種別に応じて動画に映った事象を特定することができる。例えば、事象特定部は２つのオブジェクトの接近が、車両同士の接近だった場合と、車両と人との接近だった場合とを区別して事象の特定を行うことができる。したがって、事象特定部は動画に映った事象をより正確かつ詳細に特定することができる。
　本発明の態様９に係る映像分析装置は、上記態様１～８のいずれかにおいて、上記属性特定部は、上記オブジェクトの属性として、上記オブジェクトの大きさ、または、当該オブジェクトの他方のオブジェクトに対する相対的な大きさを特定する大きさ特定部（大きさ特定部１３Ａ）を備えていてもよい。
　上記の構成によれば、事象特定部はオブジェクトの大きさに応じて動画に映った事象を特定することができる。例えば、事象特定部は２つのオブジェクトの接近が、大きなオブジェクト同士の接近（または同じ大きさのオブジェクト同士の接近）だった場合と、大きいオブジェクトと小さいオブジェクトとの接近（相対的に大きさが異なるオブジェクト同士の接近）だった場合と、を区別して事象の特定を行うことができる。したがって、事象特定部は動画に映った事象をより正確かつ詳細に特定することができる。
　本発明の態様１０に係る映像分析方法は、映像分析装置（制御部１０または９０）による映像分析方法であって、撮影部が撮影した動画に含まれる２つのオブジェクトについて、当該オブジェクトの静的特徴を示す属性をそれぞれ特定する属性特定ステップ（Ｓ１０４およびＳ１０６の少なくともいずれか）と、上記２つのオブジェクトの接近後動作をそれぞれ特定する接近後動作特定ステップ（Ｓ１０８）と、上記属性と、上記接近後動作とに応じて、上記２つのオブジェクトの間で発生した事象を特定する事象特定ステップ（Ｓ１１０）と、を含むことを特徴としている。
　上記の構成によれば、映像分析方法は、上記態様１に係る映像分析装置と同様の効果を奏する。
　本発明の各態様に係る映像分析装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記映像分析装置が備える各部（ソフトウェア要素）として動作させることにより上記映像分析装置をコンピュータにて実現させる映像分析装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　本発明は、動画中で起こった事象を特定する映像分析装置に好適に利用することができる。特に、監視カメラなどによって長時間にわたり撮影された映像の分析に好適に利用することができる。
　１、３　監視カメラ
　２　サーバ
　４　再生装置
　１０　制御部（映像分析装置）
　１１　オブジェクト検出部
　１２　接近検知部
　１３　属性特定部
　１３Ａ　大きさ特定部
　１３Ｂ　種別特定部
　１４　接近後動作特定部
　１５　事故特定部（事象特定部）
　１６　索引付加部（事象記録部、接近後動作記録部、属性記録部）
　１７　通知判定部（通知部）
　２０　撮影部

Claims (11)

  1. 　撮影部が撮影した動画に含まれる２つのオブジェクトについて、当該オブジェクトの静的特徴を示す属性をそれぞれ特定する属性特定部と、
    　上記２つのオブジェクトの接近後動作をそれぞれ特定する接近後動作特定部と、
    　上記属性と、上記接近後動作とに応じて、上記２つのオブジェクトの間で発生した事象を特定する事象特定部と、を備えることを特徴とする映像分析装置。
  2. 　上記２つのオブジェクトの接近を検知する接近検知部を備え、
    　上記属性特定部は、上記接近検知部が上記接近を検知した場合に上記属性を特定し、
    　上記接近後動作特定部は、上記接近検知部が上記接近を検知した場合に上記接近後動作を特定することを特徴とする、請求項１に記載の映像分析装置。
  3. 　上記動画のうち上記事象が発生した場面に、上記事象を示す情報を対応付けて記録する事象記録部を備えることを特徴とする、請求項１または２に記載の映像分析装置。
  4. 　上記動画のうち上記事象が発生した場面に、上記接近後動作を示す情報を対応付けて記録する接近後動作記録部を備えることを特徴とする、請求項１～３のいずれか１項に記載の映像分析装置。
  5. 　上記動画のうち上記事象が発生した場面に、上記属性を示す情報を対応付けて記録する属性記録部を備えることを特徴とする、請求項１～４のいずれか１項に記載の映像分析装置。
  6. 　上記事象特定部が特定した上記事象の発生を通知する通知部を備えることを特徴とする、請求項１に記載の映像分析装置。
  7. 　上記事象特定部はさらに、上記属性と上記接近後動作とに応じて上記事象の発生した確度を特定することを特徴とする、請求項１～６のいずれか１項に記載の映像分析装置。
  8. 　上記属性特定部は、上記オブジェクトの属性として上記オブジェクトの種別を特定する種別特定部を含むことを特徴とする、請求項１～７のいずれか１項に記載の映像分析装置。
  9. 　上記属性特定部は、上記オブジェクトの属性として、上記オブジェクトの大きさ、または、当該オブジェクトの他方のオブジェクトに対する相対的な大きさを特定する大きさ特定部を備えることを特徴とする、請求項１～８のいずれか１項に記載の映像分析装置。
  10. 　映像分析装置による映像分析方法であって、
    　撮影部が撮影した動画に含まれる２つのオブジェクトについて、当該オブジェクトの静的特徴を示す属性をそれぞれ特定する属性特定ステップと、
    　上記２つのオブジェクトの接近後動作をそれぞれ特定する接近後動作特定ステップと、
    　上記属性と、上記接近後動作とに応じて、上記２つのオブジェクトの間で発生した事象を特定する事象特定ステップと、を含むことを特徴とする映像分析方法。
  11. 　請求項１に記載の映像分析装置としてコンピュータを機能させるための制御プログラムであって、上記属性特定部、上記接近後動作特定部および上記事象特定部としてコンピュータを機能させるための制御プログラム。
PCT/JP2016/050794 2015-02-19 2016-01-13 映像分析装置、映像分析方法、および制御プログラム WO2016132775A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015031104 2015-02-19
JP2015-031104 2015-02-19

Publications (1)

Publication Number Publication Date
WO2016132775A1 true WO2016132775A1 (ja) 2016-08-25

Family

ID=56692431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050794 WO2016132775A1 (ja) 2015-02-19 2016-01-13 映像分析装置、映像分析方法、および制御プログラム

Country Status (1)

Country Link
WO (1) WO2016132775A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148019A (ja) * 1999-06-01 2001-05-29 Fujitsu Ltd 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置
JP2007243342A (ja) * 2006-03-06 2007-09-20 Yokogawa Electric Corp 画像監視装置及び画像監視システム
JP2012174058A (ja) * 2011-02-22 2012-09-10 Nec Corp 特定事象検出装置、システム、方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148019A (ja) * 1999-06-01 2001-05-29 Fujitsu Ltd 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置
JP2007243342A (ja) * 2006-03-06 2007-09-20 Yokogawa Electric Corp 画像監視装置及び画像監視システム
JP2012174058A (ja) * 2011-02-22 2012-09-10 Nec Corp 特定事象検出装置、システム、方法及びプログラム

Similar Documents

Publication Publication Date Title
EP3965082B1 (en) Vehicle monitoring system and vehicle monitoring method
US11120282B2 (en) Traffic violation vehicle identification system, server and non-transitory recording medium in which vehicle control program is recorded
WO2020042984A1 (zh) 一种车辆行为检测方法及装置
WO2021159604A1 (zh) 一种轨道列车的监控系统，监控方法及监控装置
JP6815262B2 (ja) 交通違反検知装置、システム、交通違反検知方法およびプログラム
CN109191829B (zh) 道路安全监控方法及系统、计算机可读存储介质
CN101739809A (zh) 行人闯红灯自动报警监控系统
CN102142193A (zh) 交通违规行为自动侦测系统与方法
JP6275351B1 (ja) 事故防止システム、方法及びプログラム
KR20100073893A (ko) 차량용 블랙박스 및 이를 이용한 사고 관리 방법 및 시스템
KR100750347B1 (ko) 스테레오비디오 카메라를 이용한 지하철 승강장 모니터링시스템
US20210192215A1 (en) Platform for the management and validation of contents of video images, picture or similar, generated by different devices
CN110379172A (zh) 交通规则的生成方法及装置、存储介质、电子装置
CN114694197A (zh) 行车预警方法、电子设备和计算机可读存储介质
CN204496703U (zh) 机动车占道仪
WO2016132769A1 (ja) 撮影装置、撮影装置の制御方法、および制御プログラム
CN108280898A (zh) 一种可共享信息的行车记录仪
CN104599510A (zh) 双摄像头测速仪
CN109887303A (zh) 随意变更车道行为预警系统及方法
JP2024009906A (ja) 監視装置、監視方法、およびプログラム
CN111710168A (zh) 基于5g传输的违停车牌抓拍和监控方法及系统、设备
WO2016132775A1 (ja) 映像分析装置、映像分析方法、および制御プログラム
CN104408930B (zh) 一种连续闯红灯报警系统及方法
KR20170027093A (ko) 차량용 이동체 정보 제공 장치
WO2016132772A1 (ja) 情報管理装置、情報管理方法、および制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16752164

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16752164

Country of ref document: EP

Kind code of ref document: A1