WO2023166675A1 - 監視装置、監視システム、監視方法及び記録媒体 - Google Patents

監視装置、監視システム、監視方法及び記録媒体 Download PDF

Info

Publication number
WO2023166675A1
WO2023166675A1 PCT/JP2022/009199 JP2022009199W WO2023166675A1 WO 2023166675 A1 WO2023166675 A1 WO 2023166675A1 JP 2022009199 W JP2022009199 W JP 2022009199W WO 2023166675 A1 WO2023166675 A1 WO 2023166675A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
event
appearance
image
monitoring device
Prior art date
Application number
PCT/JP2022/009199
Other languages
English (en)
French (fr)
Inventor
悠太 並木
健全 劉
登 吉田
諒 川合
智史 山崎
テイテイ トウ
カレン ステファン
洋平 佐々木
直樹 進藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/009199 priority Critical patent/WO2023166675A1/ja
Publication of WO2023166675A1 publication Critical patent/WO2023166675A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring device, a monitoring system, a monitoring method and a recording medium.
  • Patent Literature 1 discloses a traffic vehicle monitoring system including a plurality of monitoring cameras that are connected in a daisy chain to image the traffic conditions of vehicles, and a center device connected to the plurality of monitoring cameras.
  • Each surveillance camera includes a plurality of imaging units, at least one spotlight, It includes an irradiation position changing unit, a distance image generating unit, a stationary object detection processing unit, a light lighting processing unit, and a light control unit.
  • the irradiation position changing section changes the irradiation position of the spotlight.
  • the distance image generator generates distance image data from a plurality of images obtained by the plurality of imaging units.
  • a stationary object detection processing unit detects a stationary object based on the distance image.
  • the stationary object detection processing unit detects a stationary object
  • the light lighting processing unit detects the position of the stationary object based on the distance image, and turns on the light for irradiating the stationary object with the light of the spotlight. Output a signal.
  • the light control unit controls the irradiation position changing unit so that the irradiation position of the spotlight is changed to the position of the stationary object, and controls the lighting of the spotlight.
  • Patent Document 2 discloses a monitoring system that detects the movement of a person photographed by a camera, determines "walking while walking", and effectively issues a warning.
  • "walking while walking” refers to an action of walking while looking at a mobile phone, an electronic terminal (including a smartphone), or a book while being inattentive to the front.
  • Non-Patent Document 1 describes a technique related to human skeleton estimation.
  • Patent Documents 1 and 2 Even if it is possible to detect a stationary object, or to detect an inattentive walking motion in front of the user while looking at a mobile phone, etc., safety in the city can be improved from a broader perspective. it is difficult to
  • An example of the object of the present invention is to provide a monitoring device, a monitoring system, a monitoring method, and a recording medium that solve the problem of improving safety in the city.
  • Acquisition means for acquiring exterior information about the exterior of a moving object included in images captured by a plurality of imaging devices installed in the city; and processing means for performing statistical processing using the appearance information.
  • a monitoring device as described above; the plurality of imaging devices; At least one terminal connected to the plurality of imaging devices, A monitoring system is provided in which the terminal transmits the appearance information to the monitoring device.
  • the computer Acquire appearance information about the appearance of moving objects included in images taken by multiple imaging devices installed in the city
  • a monitoring method is provided for performing statistical processing using the appearance information.
  • a recording medium recording a program for executing statistical processing using the appearance information is provided.
  • FIG. 1 is a diagram showing an overview of a monitoring system according to Embodiment 1;
  • FIG. 5 is a flowchart showing an overview of monitoring processing according to the first embodiment;
  • 2 is a diagram showing a detailed example of a monitoring system according to Embodiment 1;
  • FIG. It is a figure which shows an example of a structure of the appearance information which concerns on this embodiment. It is a figure which shows the functional structural example of the process part which concerns on this embodiment.
  • FIG. 4 is a diagram showing an example of event information according to the embodiment;
  • FIG. 2 is a diagram illustrating a physical configuration example of a monitoring device according to Embodiment 1;
  • FIG. 10 is a diagram showing a configuration example of a monitoring system according to Embodiment 2;
  • FIG. 10 is a diagram illustrating a functional configuration example of a terminal according to Embodiment 2;
  • 8A and 8B are diagrams showing an example of the configuration of appearance information according to Embodiment 2, where (a) shows an example of first information and (b) shows an example of second information;
  • FIG. 10 is a diagram showing a configuration example of appearance information according to Embodiment 2, where (a) shows an example of first information and (b) shows an example of second information;
  • FIG. 1 is a diagram showing an overview of a monitoring system 100 according to the first embodiment.
  • the monitoring system 100 includes a monitoring device 101 , multiple imaging devices 152 , and at least one terminal 153 connected to the multiple imaging devices 152 .
  • the monitoring device 101 has an acquisition unit 102 and a processing unit 103 .
  • the acquisition unit 102 acquires appearance information about the appearance of a mobile object included in images captured by a plurality of image capturing devices 152 installed in the city.
  • the processing unit 103 performs statistical processing using the appearance information.
  • the terminal 153 transmits the appearance information to the monitoring device.
  • this monitoring system 100 it is possible to help improve safety in the city.
  • this monitoring device 101 it becomes possible to support improvement of safety in the city.
  • FIG. 2 is a flowchart showing an overview of monitoring processing according to the first embodiment.
  • the acquisition unit 102 acquires external appearance information regarding the external appearance of a mobile object included in images captured by a plurality of imaging devices 152 installed in the city (step S101).
  • the processing unit 103 executes statistical processing using the appearance information (step S102g).
  • This monitoring process makes it possible to help improve safety in the city.
  • FIG. 3 is a diagram showing a detailed example of the monitoring system 100 according to the first embodiment.
  • the monitoring system 100 is a system for monitoring the city.
  • the monitoring system 100 comprises a monitoring device 101 and four end systems 151a-151d.
  • the monitoring device 101 and each of the end systems 151a to 151d are connected via a network N, and exchange information with each other via the network N.
  • the network N is a communication network constructed by wire, wireless, or a combination thereof.
  • Each of the terminal systems 151a to 151d is a system for photographing the city and transmitting to the monitoring device 101 appearance information regarding the appearance of the moving object included in the photographed image.
  • the end systems 151a-151d each include a plurality of imaging devices 152a-152d and terminals 153a-153d.
  • the end systems 151a to 151d may differ in the number of imaging devices 152a to 152d included therein, as long as they include at least one imaging device 152a to 152d. Each is also referred to as end system 151 when end systems 151a-151d are not distinguished.
  • a plurality of photographing devices 152a to 152d are devices for photographing the city.
  • each of the imaging devices 152a-152d is a camera installed in the city.
  • Each of the image capturing devices 152a-152d generates image information including captured images.
  • a plurality of photographing devices 152a to 152d are provided so as to photograph roads in appropriately defined monitoring areas Pa to Pd.
  • each imaging area of the imaging device 152a is a predetermined area within the monitoring area Pa, and at least a part thereof is different from each other. The same applies to the imaging devices 152b to 152d.
  • Each of such imaging devices 152a-152d is an example of imaging device 152 described above and may be similarly configured. Each of the imaging devices 152a-152d is also referred to as imaging device 152 when not distinguished.
  • Each of the monitoring areas Pa to Pd is also referred to as a monitoring area P when they are not distinguished from each other.
  • the plurality of photographing devices 152 may photograph not only roads but also various facilities, structures, buildings, and the like.
  • Each of the terminals 153a to 153d acquires image information including images captured by each of the imaging devices 152a to 152d from the plurality of imaging devices 152a to 152d included in the common terminal systems 151a to 151d via communication lines. .
  • This communication line may be part of the network N or may be a line different from the network N.
  • Each of the terminals 153a to 153d generates appearance information based on the obtained image information, and transmits it to the monitoring apparatus 101 via the network N.
  • Appearance information is information relating to the appearance of the moving object included in the images captured by the plurality of imaging devices 152 .
  • a mobile object is an object that moves in the monitoring area P, and includes at least one of a person and a vehicle. This embodiment will be described using an example in which moving objects are people and vehicles.
  • the appearance of the moving object is included in the images captured by the plurality of imaging devices 152. Therefore, as an example of appearance information, information including images captured by a plurality of imaging devices 152 can be cited. In this embodiment, an example in which appearance information includes images captured by a plurality of image capturing devices 152 will be described.
  • FIG. 4 is a diagram showing an example of the configuration of appearance information according to this embodiment.
  • the appearance information shown in the figure associates an image, shooting time, device ID (identifier), and shooting location.
  • the image included in the appearance information is an image captured by the imaging device 152.
  • the shooting time is the time when the associated image was shot.
  • the device ID is information for identifying the image capturing device 152 that captured the associated image.
  • the device ID is, for example, the address of the imaging device 152 in the end system 151 .
  • the shooting location indicates the location where the associated image was shot.
  • the photographing location is, for example, the address of the area (photographing area) photographed by the photographing device 152, and is set in advance in each of the terminals 153a to 153d in association with the photographing device 152.
  • each of the terminals 153a to 153d acquires the image information from the plurality of image capturing devices 152a to 152d
  • each of the terminals 153a to 153d associates the image included in the image information, the time when the image information was acquired, and the device ID of the image capturing device 152.
  • each of the terminals 153a to 153d generates appearance information having the configuration illustrated in FIG.
  • Each of the terminals 153 a to 153 d transmits the generated appearance information to the monitoring device 101 .
  • Each of such terminals 153a-153d is an example of terminal 153 described above and may be similarly configured. Each of the terminals 153a-153d is also referred to as a terminal 153 when not distinguished.
  • any one of the plurality of imaging devices 152 included in the common terminal system 151 may have the function of the terminal 153 as well. Also, each of the plurality of photographing devices 152 may have the function of the terminal 153 .
  • the monitoring device 101 is a device for monitoring the city.
  • Monitoring device 101 functionally includes acquisition unit 102 , processing unit 103 , history storage unit 104 , input reception unit 105 , and display unit 106 .
  • the history storage unit 104 is a storage unit for storing a history of appearance information.
  • the input reception unit 105 receives input from the user.
  • the display unit 106 displays various information.
  • the acquisition unit 102 acquires appearance information regarding the appearance of the mobile object from the terminal 153 via the network N.
  • the acquisition unit 102 causes the history storage unit 104 to store the acquired appearance information.
  • the processing unit 103 executes statistical processing using the appearance information as described above.
  • the processing unit 103 performs statistical processing based on, for example, at least one of the attribute of the location where the image was captured, the time period when the image was captured, and the attribute of the moving object included in the image.
  • the processing unit 103 analyzes the image included in the appearance information, obtains at least one of the appearance feature amount and attributes of the moving body, and uses at least one of the appearance feature amount and attributes of the moving body to Perform statistical processing.
  • the processing unit 103 detects a moving object corresponding to a preset event based on the result of analyzing the image included in the appearance information. Then, the processing unit 103 performs statistical processing further using the detection result of the moving object corresponding to the event set in advance.
  • FIG. 5 is a diagram showing a functional configuration example of the processing unit 103 according to this embodiment.
  • Processing unit 103 includes image analysis unit 111 , event storage unit 112 , event detection unit 113 , statistical processing unit 114 , and notification unit 115 .
  • the image analysis unit 111 analyzes the image captured by the imaging device 152 and obtains the appearance feature amount and attributes of the moving object.
  • the image analysis unit 111 causes the history storage unit 104 to store the obtained appearance feature amount and attribute of the moving object. At this time, the image analysis unit 111 causes the history storage unit 104 to store the appearance feature amount and attributes of the moving object in association with the image from which they are acquired. Note that the image analysis unit 111 may analyze the image captured by the imaging device 152 to obtain one of the appearance feature amount and the attribute of the moving object.
  • the appearance feature amount of the mobile object is a feature amount relating to the appearance of the mobile object.
  • the appearance feature amount of a moving object is a feature amount obtained from an image including the moving object.
  • the appearance feature amount of the moving body includes, for example, feature amounts related to at least one of appearance attributes of the moving body, posture of the moving body, and movement of the moving body.
  • the feature amount related to the appearance attribute of the moving object is, for example, at least one of the appearance attribute feature amount described later, the color and size of the vehicle, and the like.
  • the feature quantity relating to the posture of the moving body is at least one of, for example, a posture feature quantity, the orientation of the vehicle, and the like, which will be described later.
  • the feature quantity relating to the motion of the moving body is at least one of, for example, a motion feature quantity, a flow line of the moving body, and a moving speed of the moving body, which will be described later.
  • the mobile object is a person
  • the attribute is at least one of age group, gender, person requiring assistance, person walking while walking, police officer, person living alone or acting alone.
  • a person requiring assistance is a person who needs assistance, such as a person in a wheelchair or a person with a cane.
  • the image analysis unit 111 detects a person requiring assistance, for example, by detecting a person in a wheelchair or a person with a cane.
  • a person who walks while walking is at least one of those who walk while operating or browsing mobile terminals, smartphones, etc., and those who smoke while walking.
  • the image analysis unit 111 detects a person walking while holding a mobile terminal, a smart phone, a cigarette, or the like while walking.
  • the image analysis unit 111 may detect a person walking while using the fact that the person's face is facing downward. good.
  • the moving object is a vehicle
  • its attribute is, for example, at least one of private car, taxi, truck, emergency vehicle (police car, ambulance, fire engine, etc.), motorcycle, bicycle, and the like.
  • Vehicle attributes may include vehicle type.
  • the image analysis unit 111 can obtain attributes of the vehicle, for example, based on the shape, color, size, and the like of the vehicle.
  • the image analysis unit 111 has an image analysis function to acquire the appearance feature amount and attributes of the moving object.
  • the image analysis function is a function of analyzing an image.
  • the analysis functions of the image analysis unit 111 include, for example, (1) object detection function, (2) face analysis function, (3) human type analysis function, (4) posture analysis function, (5) behavior analysis function, and (6) ) Appearance attribute analysis function, (7) Gradient feature analysis function, (8) Color feature analysis function, (9) Flow line analysis function, and the like.
  • the object detection function detects objects from images.
  • the object detection function can also determine the position, size, etc. of objects in the image.
  • Models applied to object detection processing include, for example, YOLO (You Only Look Once).
  • Objects include people and things.
  • the object detection function detects, for example, moving objects, abandoned objects on the road, wheelchairs, canes (including crutches and white canes), mobile terminals, smart phones, cigarettes, and the like. Further, for example, the object detection function obtains the positions of mobile objects, objects left on the road, wheelchairs, and the like.
  • the face analysis function detects a human face from an image, extracts the feature quantity (face feature quantity) of the detected face, and classifies (classifies) the detected face.
  • the face analysis function can also determine the location within the image of the face.
  • the face analysis function can also determine the identity of persons detected from different images based on similarities between facial feature amounts of persons detected from different images.
  • the human shape analysis function extracts the human body feature values of the person included in the image (for example, values indicating overall characteristics such as body weight, height, clothing, etc.), Classification (classification) is performed.
  • the human shape analysis function can also identify a person's location within an image.
  • the human shape analysis function can also determine the identity of a person included in different images based on the human body feature amount of the person included in the different images.
  • the posture analysis function detects a person's joint points from the image and creates a stick figure model by connecting the joint points.
  • the posture analysis function uses the information of the stick figure model to estimate the posture of the person, extract the feature value of the estimated posture (posture feature value), and classify the person included in the image (classification). conduct.
  • the posture analysis function can also determine the identity of a person included in different images based on the posture feature amount of the person included in the different images.
  • the posture analysis function estimates postures such as a standing posture, a squatting posture, and a crouching posture from an image, and extracts posture feature values that indicate each posture. Further, for example, the posture analysis function can estimate the posture of an article detected using an object detection function or the like from an image, and extract a posture feature quantity indicating the posture.
  • Patent Document 3 the techniques disclosed in Patent Document 3 and Non-Patent Document 1 can be applied to the posture analysis function.
  • Behavior analysis processing uses stick figure model information, changes in posture, etc. to estimate human movement, extract the feature amount of the person's movement (movement feature amount), and classify the person included in the image. (classification) and the like can be performed.
  • the behavioral analysis process can also use information from the stick figure model to estimate a person's height or locate the person within an image.
  • an action such as a change or transition in posture or movement (change or transition in position) can be estimated from an image, and a motion feature amount of the action can be extracted.
  • the appearance attribute analysis function can recognize appearance attributes attached to people.
  • the appearance attribute analysis function extracts feature amounts (appearance attribute feature amounts) related to recognized appearance attributes, and classifies (classifies) people included in images.
  • Appearance attributes are appearance attributes, and include, for example, one or more of clothing color, shoe color, hairstyle, wearing or not wearing hats, ties, eyeglasses, and the like. Also for example, appearance attributes may include police uniforms and the like.
  • the gradient feature analysis function extracts the gradient feature amount (gradient feature amount) in the image.
  • Techniques such as SIFT, SURF, RIFF, ORB, BRISK, CARD, and HOG can be applied to the gradient feature detection process.
  • the color feature analysis function can detect an object from an image, extract the color feature amount (color feature amount) of the detected object, and classify (classify) the detected object.
  • the color feature amount is, for example, a color histogram.
  • the flow line analysis function uses, for example, the result of identity determination in any of the above analysis functions (2) to (8), the result of classification, etc., to analyze the movement of moving objects included in the image.
  • a line can be obtained. More specifically, for example, by connecting moving bodies that are determined to be the same between different images in chronological order, it is possible to obtain the line of flow of the moving bodies.
  • the flow line analysis function can also obtain a flow line across a plurality of images obtained by photographing different photographing areas, such as when images captured by a plurality of photographing devices 152 photographing different photographing areas are acquired. .
  • the above-described analysis functions of the image analysis unit 111 are preferably configured so that they can mutually use the analysis results. Then, the image analysis unit 111 analyzes the image using the analysis function described above, and obtains the age group, gender, moving speed of the person, attitude (orientation) of the vehicle, moving speed of the vehicle, etc. (analysis function). may be provided.
  • the analysis function described here is an example of a method of obtaining the appearance feature amount and attributes of a moving object, and the method of obtaining the appearance feature amount and attributes of a moving object is not limited to this.
  • the event storage unit 112 is a storage unit for storing event information related to preset events.
  • FIG. 6 is a diagram showing an example of event information according to this embodiment.
  • the event information associates events, detection conditions, notification event flags, and notification destinations.
  • a detection condition is a condition for detecting an associated event from an image.
  • the event is preset in relation to at least one of the posture, movement, and attributes of the mobile body.
  • Movement may include at least one of position, movement speed, flow line, etc., and includes stopping.
  • specific examples of events include falls, poor physical condition, abandoned items, traffic accidents, traffic congestion, wrong-way driving, excessive speed, assistance required, incidents/suspicious persons, lost children, and walking alone at night.
  • a fall is associated with a detection condition that a person has fallen or has fallen.
  • poor physical condition is associated with a detection condition that a person has been squatting for a predetermined time or longer.
  • Such falls and poor physical condition are examples of events related to a person's posture, movement, and the like.
  • the abandoned object is associated with a detection condition that a predetermined number or more of moving objects change their moving directions in a direction different from the predicted positions.
  • the predicted position is a position obtained by extrapolating the previous line of flow with a straight line or a curved line toward the traveling direction.
  • Such an abandoned object is an example of an event related to the movement (flow line) of a moving object.
  • the condition for detecting an abandoned object may be that an object remains on the road for a predetermined period of time or longer.
  • a traffic accident is associated with a detection condition that vehicles come into contact with each other, or between a vehicle and a person. Contact can be detected based on one or more of position, sudden change in pose (orientation), and the like.
  • a traffic accident is an example of an event related to movement, posture, etc. of a mobile body.
  • a traffic jam is associated with a detection condition that the running speed is less than or equal to a predetermined value and that general vehicles are lined up for a predetermined length or longer in the direction of travel.
  • General vehicles are, for example, vehicles other than taxis, trucks, emergency vehicles, motorcycles, and bicycles.
  • reverse driving is associated with a detection condition that the vehicle is traveling in a direction different from the direction of travel on the road.
  • overspeeding is associated with the detection condition that the speed of travel of the vehicle exceeds the legal speed limit of the road.
  • congestion, wrong-way driving, and excessive speed are examples of events related to vehicle movement, attributes, and the like.
  • Assistance Required indicates an event that requires assistance. Assistance required is associated with a condition for detecting a person requiring assistance, as can be seen by referring to the detection conditions in FIG. Assistance required is an example of an event related to a person's attribute or the like.
  • the condition for detecting that assistance is required may be, for example, that a person in a wheelchair is heading for a step or stairs.
  • incidents and suspicious persons are associated with detection conditions such as the presence of a police officer, the presence of a patrol car, or the presence of movement within a certain range for a predetermined period of time or more.
  • detection conditions such as the presence of a police officer, the presence of a patrol car, or the presence of movement within a certain range for a predetermined period of time or more.
  • Such an incident/suspicious person is an example of an event related to a person's attribute (policeman) or the like.
  • a lost child is associated with a detection condition that a child under a certain age stays alone for a certain amount of time or longer.
  • the predetermined age is, for example, 10 years old.
  • Such a lost child is an example of an event related to a person's attributes (age group, being alone), and the like.
  • walking alone at night is associated with the detection condition of being alone during a predetermined time period.
  • the predetermined time period is, for example, from 23:00 to 4:00.
  • Such walking alone at night is an example of an event related to human movement, attributes (being alone), and the like.
  • a notification event flag is an example of notification event information indicating whether or not the associated event is a notification event.
  • a "1" in the notification event flag indicates that the associated event is a notification event.
  • a "0" in the notification event flag indicates that the associated event is not a notification event.
  • a notification event is an event that is notified to a predetermined notification destination when it is detected.
  • the notification event may be predetermined from among the events, and is, for example, an event that should be addressed as soon as possible.
  • Notification destinations are associated with notification events.
  • the notification destination is an institution or the like that notifies the associated notification event.
  • the notification destination associated with these notification events is the police.
  • the notification destinations associated with these notification events are facilities.
  • the event detection unit 113 detects a moving object corresponding to a preset event from moving objects included in the image based on the result of the image analysis performed by the image analysis unit 111 and the event information.
  • the result of the analysis of the image by the image analysis unit 111 is the result of the analysis using the analysis function of the image analysis unit 111.
  • the result of image analysis performed by the image analysis unit 111 includes at least one of the appearance feature amount and the attribute of the moving object.
  • the event detection unit 113 generates detection information when detecting a moving object corresponding to a preset event.
  • the detection information is information indicating a detection result of a moving object corresponding to a preset event.
  • the event detection unit 113 causes the history storage unit 104 to store the generated detection information.
  • the statistical processing unit 114 executes statistical processing using at least one of the image analysis result of the image analysis unit 111 and the moving object detected by the event detection unit 113 .
  • the statistical processing unit 114 performs statistical processing based on at least one of the attribute of the location where the image was captured, the time period when the image was captured, and the attribute of the vehicle included in the image.
  • the statistical processing unit 114 causes the display unit 106 to display the statistical processing result.
  • the attribute of the place includes at least one of the characteristics of the place related to the passage of mobile objects, the area, and the like.
  • the characteristics of a location related to vehicle traffic are at least one of intersections, intersecting roads or intersections with a predetermined number or more of lanes, curves, roads with straight lines of a predetermined length or more, and the like.
  • At least one characteristic of a place related to the passage of people is that there are steps, stairs, and the like.
  • Areas may be indicated using facilities such as stations, bus stops, entertainment facilities, parks, sports centers, convenience stores, supermarkets, stores, and parking lots.
  • the area may be indicated using an address such as Chiyoda-ku, Tokyo, Kasumigaseki 1-chome, Chiyoda-ku, Tokyo.
  • the notification unit 115 When a mobile object corresponding to a notification event is detected, the notification unit 115 notifies a predetermined notification destination in association with the notification event that the notification event has been detected.
  • the notification unit 115 identifies the notification destination associated with the notification event based on the event information.
  • the notification unit 115 transmits the detection information to a device (not shown) provided at the specified notification destination.
  • the device installed at the specified notification destination is, for example, the device installed at the nearest notification destination to the notification event.
  • the notification unit 115 may hold in advance information that associates the location of the notification destination and the device (address in the network N), and the notification destination device (the network N address) may be acquired.
  • the monitoring system 100 physically consists of a monitoring device 101 and at least one end system 151 connected via a network N.
  • FIG. A terminal system 151 is physically composed of a plurality of photographing devices 152 and terminals 153 connected via communication lines.
  • the monitoring device 101, each of the plurality of photographing devices 152, and the terminal 153 are composed of physically different single devices.
  • any one of the multiple photographing devices 152 may be physically integrated with the terminal 153 .
  • One or both of the monitoring device 101 and the terminal 153 may physically consist of a plurality of devices connected via an appropriate communication line such as the network N.
  • the monitoring device 101 is physically a general-purpose computer, for example.
  • FIG. 7 is a diagram showing a physical configuration example of the monitoring device 101 according to the first embodiment.
  • the monitoring device 101 has, for example, a bus 1010, a processor 1020, a memory 1030, a storage device 1040, a network interface 1050, an input interface 1060 and an output interface 1070.
  • the bus 1010 is a data transmission path for the processor 1020, memory 1030, storage device 1040, network interface 1050, input interface 1060 and output interface 1070 to transmit and receive data to and from each other.
  • the method of connecting processors 1020 and the like to each other is not limited to bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main memory implemented by RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the storage device 1040 stores program modules for implementing the functions of the monitoring device 101 .
  • the processor 1020 loads each of these program modules into the memory 1030 and executes them, thereby implementing the functions corresponding to the program modules.
  • the network interface 1050 is an interface for connecting the monitoring device 101 to the network N.
  • the input interface 1060 is an interface for the user to input information.
  • the input interface 1060 is composed of, for example, a touch panel, keyboard, mouse, and the like.
  • the output interface 1070 is an interface for presenting information to the user.
  • the output interface 1070 is composed of, for example, a liquid crystal panel, an organic EL (Electro-Luminescence) panel, or the like.
  • the terminal 153 physically has a bus 1010, a processor 1020, a memory 1030, a storage device 1040 and a network interface 1050 similar to those of the monitoring system 100, for example.
  • the storage device 1040 of the terminal 153 stores program modules for realizing the functions of the terminal 153.
  • a network interface 1050 of the terminal 153 is an interface for connecting the terminal 153 to the network N. FIG. Except for these points, the terminal 153 may be physically configured similarly to the monitoring system 100 .
  • FIG. 8 is a flowchart showing an example of terminal processing according to the first embodiment.
  • the terminal process is a process executed by the terminal system 151 to photograph the monitoring area P and transmit appearance information regarding the appearance of the moving object included in the photographed image.
  • the terminal system 151 for example, repeatedly performs terminal processing during operation.
  • Each of the photographing devices 152 photographs the photographing area and generates image information including the photographed image (step S151).
  • Each imaging device 152 transmits the image information generated in step S151 to the terminal 153 (step S152).
  • the terminal 153 acquires the image information transmitted in step S152 (step S153).
  • the terminal 153 generates appearance information based on the image information acquired in step S153 (step S154).
  • the terminal 153 transmits the appearance information generated in step S154 to the monitoring device 101 (step S155).
  • the terminal system 151 can generate appearance information regarding the appearance of the moving object and transmit it to the monitoring device 101 in substantially real time.
  • the terminal 153 may generate appearance information for all image information generated by each of the imaging devices 152 and transmit it to the monitoring device 101.
  • step S155 the terminal 153 generates external appearance information for, for example, image information at predetermined time intervals among all the image information generated by each of the imaging devices 152, and transmits the appearance information to the monitoring device 101.
  • the terminal 153 generates external appearance information for, for example, image information at predetermined time intervals among all the image information generated by each of the imaging devices 152, and transmits the appearance information to the monitoring device 101.
  • FIG. 9 is a flowchart showing an example of monitoring processing according to the first embodiment.
  • the monitoring process is a process executed by the monitoring device 101 to monitor the city.
  • the monitoring device 101 for example, repeatedly executes monitoring processing during operation.
  • the acquisition unit 102 acquires appearance information regarding the appearance of the moving object included in the images captured by the plurality of imaging devices 152 (step S101).
  • the processing unit 103 executes the first processing including the statistical processing (step S102g) using the appearance information described above with reference to FIG. 2 (step S102).
  • FIG. 10 is a flowchart showing a detailed example of the acquisition process (step S101) according to the first embodiment.
  • the acquisition unit 102 acquires appearance information about the appearance of the mobile object from the terminal 153 (step S101a).
  • the acquisition unit 102 stores the appearance information acquired in step S101a in the history storage unit 104 (step S101b), and returns to the monitoring process (see FIG. 2).
  • FIG. 11 is a flowchart showing a detailed example of the first process (step S102) according to the first embodiment.
  • the image analysis unit 111 analyzes the image acquired in step S101a and obtains the appearance feature amount of the moving object (step S102a).
  • the image analysis unit 111 analyzes the image acquired in step S101a to obtain attributes of the moving body (step S102b).
  • the image analysis unit 111 causes the history storage unit 104 to store the appearance feature amount and attribute of the moving object obtained in steps S102a and S102b in association with the corresponding image.
  • the event detection unit 113 determines whether or not a moving object corresponding to a preset event has been detected from among the moving objects included in the image acquired in step S101a (step S102c).
  • the event detection unit 113 detects an event set in advance based on the appearance feature amount and attributes of the mobile object obtained in steps S102a and S102b and the event information stored in the event storage unit 112. Detect the corresponding moving object. More specifically, for example, the event detection unit 113 detects a moving object that meets the detection conditions included in the event information based on the appearance feature amount and attributes of the moving object.
  • step S102c When a moving body corresponding to the event is detected (step S102c; Yes), the event detection unit 113 generates detection information regarding the detected moving body (step S102d).
  • the event detection unit 113 generates detection information including an image with a label indicating an event corresponding to the detected moving object.
  • the event detection unit 113 causes the history storage unit 104 to store the generated detection information.
  • FIG. 12 is a diagram showing an example of detection information.
  • the figure shows an example of an image included in the detection information when the event "fall” is detected.
  • a person has fallen on sidewalk R2 beside roadway R1, and this person is marked with a dashed square frame.
  • a label of "overturn” is added in association with this frame.
  • information indicating the location and date and time of detection is added.
  • the detected location is the location where the image was taken.
  • the detected date and time is the date and time when the image was captured.
  • the notification unit 115 transmits detection information to the engine corresponding to the detected event based on the notification information (step S102e).
  • the reporting unit 115 reports to a police department associated with “fall”, “lost child”, “abandoned object”, etc. device, via the network N, for example, the detection information generated in step S102d.
  • the notification unit 115 when a moving body corresponding to "requiring assistance" is detected, the notification unit 115, among railways or facilities that are institutions associated with “requiring assistance", from the location where "requiring assistance” was detected Identify the nearest railroad or facility.
  • the notification unit 115 transmits the detection information generated in step S102d to the device of the specified facility via the network N, for example.
  • step S102f the statistical processing unit 114 determines whether or not there is an instruction for statistical processing from the user.
  • An instruction from the user is received by, for example, the input receiving unit 105 .
  • step S102f If there is no statistical processing instruction from the user (step S102f; No), the statistical processing unit 114 terminates the first processing (step S102) and terminates the monitoring processing (see FIG. 2).
  • step S102f When there is an instruction for statistical processing from the user (step S102f; Yes), the statistical processing unit 114 executes statistical processing (step S102g) and ends the monitoring processing (see FIG. 2).
  • step S102g the statistical processing unit 114 uses the appearance feature amount and attributes of the moving object obtained in steps S102a and S102b and the detection result of the moving object corresponding to the event in step S102c. Perform statistical processing. In other words, the statistical processing unit 114 performs statistical processing using the appearance feature amount and attribute of the moving object and the detection result of the moving object corresponding to the event.
  • the statistical processing unit 114 may perform statistical processing using the appearance feature amounts and attributes of the moving object in an appropriate period among the appearance feature amounts and attributes of the current and past moving objects. Further, the statistical processing unit 114 may perform statistical processing using the detection results of an appropriate period among the detection results of moving objects corresponding to current and past events. The statistical processing unit 114 can acquire the appearance feature amounts and attributes of past mobile objects and past detection results from the history storage unit 104 .
  • the statistical processing unit 114 determines the appearance feature amount, attributes, and events of the moving object based on the attributes of the location where the image was captured, the time period when the image was captured, and the attributes of the vehicle included in the image. Statistical processing is performed using the relevant moving object. The statistical processing unit 114 causes the display unit 106 to display the statistical processing result.
  • the statistical processing unit 114 aggregates the number of times each event such as “fall”, “lost child”, “traffic jam”, and “walking while walking” is detected for each location attribute, time zone, etc.
  • the display unit 106 is caused to display an image showing the result.
  • the statistical processing unit 114 aggregates the traffic volume of one or both of vehicles and people for each location attribute, time zone, type of vehicle, etc., and displays an image showing the aggregated result. display on the unit 106.
  • the statistical processing unit 114 aggregates the traffic volume of people at a specific intersection for each age group, and causes the display unit 106 to display an image showing the aggregated results. Since walking speed differs by age group, by referring to the aggregated results, it is possible to take measures to ensure safe passage through intersections, such as appropriately setting the time when pedestrians turn green at that intersection.
  • countermeasures can be considered based on the results of statistical processing, so it will be possible to support the improvement of safety in the city.
  • the statistical processing unit 114 aggregates clothes, colors of clothes, etc. for each location attribute, time period, and age group, and causes the display unit 106 to display an image showing the aggregated results. By comparing this with, for example, similar aggregated results from the previous year, it is possible to know trends in clothing for that year, changes in seasons, changes in sensible temperature, and the like. This makes it possible to provide information about trends, information about the climate, and so on.
  • the monitoring device 101 includes the acquisition unit 102 and the processing unit 103 .
  • the acquisition unit 102 acquires appearance information about the appearance of a mobile object included in images captured by a plurality of image capturing devices 152 installed in the city.
  • the processing unit 103 performs statistical processing using the appearance information.
  • the mobile includes at least one of a person and a vehicle.
  • appearance information includes an image.
  • the processing unit 103 analyzes the image included in the appearance information to obtain the appearance feature amount of the moving object, and performs statistical processing using the obtained appearance feature amount.
  • the processing unit 103 analyzes the image included in the appearance information to further obtain the attributes of the moving object, and further uses the attributes of the moving object to perform statistical processing.
  • the appearance feature quantity includes a feature quantity relating to at least one of appearance attributes, posture, and movement of the moving body.
  • the feature amount regarding the motion of the moving object includes at least one of the line of flow and the moving speed.
  • the processing unit 103 performs statistical processing based on at least one of the attribute of the location where the image was captured, the time period when the image was captured, and the attribute of the moving object included in the image. .
  • the attribute of the location includes at least one of characteristics in the passage of mobile objects and area.
  • the processing unit 103 detects a moving object corresponding to a preset event based on the result of analyzing the image included in the appearance information.
  • the processing unit 103 detects the notification event to a predetermined notification destination in association with the notification event. report that it has been
  • the processing unit 103 further uses the detection result of the moving object corresponding to the event set in advance to perform statistical processing.
  • the event is related to at least one of the posture, movement, and attributes of the mobile object.
  • the monitoring device 101 obtains the appearance feature amount and attributes of a moving object, detects an event, and notifies the event when the event is detected.
  • the terminal 153 may perform some or all of the acquisition of the appearance feature amount of the moving object, the acquisition of the attributes of the moving object, the detection of the event, and the notification when the notification event is detected.
  • an example will be described in which the terminal 153 acquires the appearance feature amount of the mobile object, acquires the attribute of the mobile object, detects an event, and notifies when an alert event is detected.
  • FIG. 13 is a diagram showing a configuration example of the monitoring system 200 according to the second embodiment.
  • the monitoring system 200 includes a monitoring device 201 and four terminal systems 251a-251d, which replace the monitoring device 101 and the four terminal systems 151a-151d according to the first embodiment.
  • the terminal systems 251a-251d respectively include a plurality of imaging devices 152a-152d similar to those of the first embodiment, and terminals 253a-253d replacing the terminals 153a-153d according to the first embodiment.
  • Each is also referred to as end system 251 when end systems 251a-251d are not distinguished.
  • Each of the terminals 253a to 253d acquires image information including images captured by each of the imaging devices 152a to 152d from the plurality of imaging devices 152a to 152d included in the common terminal systems 251a to 251d via communication lines. .
  • Each of the terminals 253a to 253d generates appearance information based on the acquired image information and transmits it to the monitoring device 201 via the network N.
  • Each of the terminals 253a-253d may be similarly configured.
  • Each of the terminals 253a-253d is also referred to as a terminal 253 when not distinguished.
  • FIG. 14 is a diagram showing a functional configuration example of the terminal 253 according to this embodiment.
  • the terminal 253 includes an image acquisition unit 254, an image analysis unit 111, an event storage unit 112, an event detection unit 113, and a notification unit 115 similar to those in the first embodiment, an image acquisition unit 254, an event acquisition unit 255, and an information transmission unit. 256.
  • the image acquisition unit 254 acquires image information including images captured by each of the imaging devices 152a to 152d from the plurality of imaging devices 152 included in the common terminal system 251.
  • the image acquisition unit 254 holds images for at least a predetermined time T1 (for example, 5 minutes). In other words, an image captured at a predetermined time T1 past the present is held.
  • the image analysis unit 111 analyzes the image captured by the imaging device 152, and obtains the appearance feature amount and attributes of the mobile object in the same manner as in the first embodiment. That is, in the present embodiment, the image analysis unit 111 analyzes the image acquired by the image acquisition unit 254, and obtains the appearance feature amount and attributes of the moving object in the same manner as in the first embodiment.
  • the event acquisition unit 255 acquires event information from the monitoring device 201 via the network N, and causes the event storage unit 112 to store the acquired event information.
  • the event detection unit 113 is preset from moving objects included in the image based on the result of image analysis by the image analysis unit 111 and the event information. Detect the moving object corresponding to the event.
  • the information transmission unit 256 generates appearance information and transmits it to the monitoring device 201 via the network N. Also, the information transmission unit 256 transmits detection information generated by the event detection unit 113 to the monitoring device 201 via the network N.
  • the information transmission unit 256 generates and transmits first information, which is appearance information including an image captured by the imaging device 152 . Furthermore, the information transmitting unit 256 generates and transmits second information, which is appearance information that does not include the image captured by the imaging device 152 .
  • the first information includes an image and at least one of the appearance feature amount and attributes of the moving object obtained from the image.
  • the second information includes at least one of the appearance feature amount and attributes of the moving object obtained from the common image.
  • FIG. 15 is a diagram showing an example of the configuration of appearance information according to this embodiment.
  • FIG. 15(a) shows an example of the first information.
  • FIG. 15(b) shows an example of the second information.
  • the first information associates an image, an appearance feature amount, an attribute, a photographing time, a device ID (identifier), and a photographing location.
  • Each element associated with the first information is information related to a common image captured by the imaging device 152 . That is, the image included in the first information is the image captured by the imaging device 152 . Appearance features and attributes are appearance features and attributes obtained from their associated images.
  • the shooting time is the time when the associated image was shot.
  • the device ID is information for identifying the image capturing device 152 that captured the associated image.
  • the shooting location indicates the location where the associated image was shot.
  • the second information associates appearance feature amounts, attributes, shooting times, device IDs (identifiers), and shooting locations.
  • Each element associated with the second information is information related to a common image captured by the imaging device 152 . That is, the appearance feature amounts and attributes included in the second information are appearance feature amounts and attributes obtained from a common image.
  • the photographing time is the time when the common image was photographed.
  • the device ID is information for identifying the photographing device 152 that photographed the common image.
  • the shooting location indicates the location where the common image was shot.
  • the information transmission unit 256 switches the first transmission rate between a high rate and a low rate depending on whether or not a moving object corresponding to the event has been detected.
  • the transmission rate is the number of times the information transmission unit 256 transmits information per unit time.
  • the first transmission rate is the transmission rate of the first information, that is, the number of times the information transmitting section 256 transmits the first information per unit time.
  • a high rate is a transmission rate that is higher than a low rate, i.e., transmits information more times per unit time.
  • the information transmission unit 256 normally transmits the first information at a low rate, and transmits the first information at a high rate when a moving object corresponding to the event is detected. More specifically, the information transmitting unit 256 controls the first Send information at a high rate. The information transmitting unit 256 transmits the first information at a low rate except for the predetermined times T1 and T2 before and after the moving object corresponding to the event is detected.
  • the information transmission unit 256 transmits the second information at the second transmission rate.
  • the second transmission rate is the transmission rate of the second information, that is, the number of times the information transmission unit 256 transmits the second information per unit time.
  • the second transmission rate is a higher transmission rate than the low rate. In this embodiment, an example in which the second transmission rate is the same as the high rate will be described.
  • the information transmitting unit 256 normally transmits the second information at a high rate and transmits the first information at a low rate.
  • the information transmission section 256 transmits detection information generated by the event detection section 113 . Then, the information transmission unit 256 transmits the first information and the second information at a high rate for the predetermined times T1 and T2 before and after the mobile object corresponding to the event is detected.
  • the monitoring device 201 functionally includes an acquisition unit 202 and a processing unit 203 that replace the acquisition unit 102 and the processing unit 103 according to the first embodiment, a history storage unit 104 similar to that of the first embodiment, an input A reception unit 105 and a display unit 106 are included.
  • the acquisition unit 202 acquires information transmitted from the information transmission unit 256 from the terminal 253 via the network N, and causes the history storage unit 104 to store the acquired information.
  • the acquisition unit 202 acquires appearance information (first information and second information) transmitted from the information transmission unit 256, and acquires the acquired appearance information (first information and second information). is stored in the history storage unit 104 .
  • the acquisition unit 202 also acquires detection information transmitted from the information transmission unit 256 .
  • the processing unit 203 uses the appearance information to perform statistical processing.
  • the processing unit 203 also performs statistical processing based on at least one of the attribute of the location where the image was captured, the time period when the image was captured, and the attribute of the moving object included in the image, for example.
  • the processing unit 203 executes statistical processing using at least one of the appearance feature amount and attributes of the moving object included in the appearance information.
  • the processing unit 203 further uses the detection result of the moving object corresponding to the event to perform statistical processing.
  • the processing unit 203 executes statistical processing based on at least one of the attribute of the place where the image was taken, the time period when the image was taken, and the attribute of the moving object included in the image.
  • the processing unit 203 when the processing unit 203 acquires event information according to a user's input, the processing unit 203 transmits the acquired event information to the terminal 253 via the network N.
  • FIG. 16 is a diagram showing a functional configuration example of the processing unit 103 according to this embodiment.
  • the processing unit 203 includes a statistical processing unit 114 and an event setting unit 216 similar to those of the first embodiment.
  • the event setting unit 216 acquires event information according to user input, for example.
  • the event setting unit 216 holds the acquired event information and transmits it to the terminal 253 via the network N.
  • a monitoring system 200 according to the present embodiment may be physically configured similarly to the monitoring system 100 according to the first embodiment. That is, for example, the monitoring device 201 and the terminal 253 according to the present embodiment may be physically configured similarly to the monitoring device 101 and the terminal 153 according to the first embodiment, respectively.
  • the photographing device 152 repeatedly executes steps S151 and S152 as in the first embodiment (see FIG. 8).
  • FIG. 17 is a flowchart showing an example of terminal processing according to this embodiment.
  • the terminal process is a process executed by the terminal 253 to monitor the city. For example, it is started according to an instruction from the user.
  • the initial value of the first transmission rate is, for example, a low rate and is held in information transmission section 256 .
  • the image acquisition unit 254 executes step S153 as in the first embodiment.
  • the image analysis unit 111 executes steps S102a and S102b similar to those of the first embodiment.
  • the event detection unit 113 determines whether or not a moving object corresponding to the event has been detected (step S102c).
  • the information transmission unit 256 determines whether a predetermined time T2 has passed since the previous detection (step S256).
  • the information transmission unit 256 determines whether the predetermined time T2 has passed based on the elapsed time since the event detection unit 113 last detected the moving object corresponding to the event.
  • the case where the predetermined time T2 has not elapsed includes the case where the event detection unit 113 has never detected the moving object corresponding to the event.
  • the information transmission unit 256 When the predetermined time T2 has passed (step S256; Yes), the information transmission unit 256 generates the first information or the second information (step S257). The information transmission unit 256 transmits the first information or the second information generated in step S257 to the monitoring device 201 via the network N (step S258).
  • the first information and second information generated in step S257 include the appearance feature amounts and attributes of the moving object obtained in steps S102a and S102b.
  • the first information generated in step S257 further includes an image used to obtain the appearance feature amount and attributes of the moving object.
  • step S257 the information transmitting unit 256 generates either the first information or the second information depending on whether it is time to transmit at a high rate (second transmission rate in this embodiment). . Specifically, when it is time to transmit at a low rate, the information transmission unit 256 generates the first information. Otherwise (that is, when it is time for high-rate transmission and not for low-rate transmission), information transmitting section 256 generates the second information.
  • the information transmission unit 256 can generate and transmit the first information at a low rate. Also, the information transmitting unit 256 can generate and transmit the second information at a high rate.
  • the information transmission unit 256 sets the first transmission rate to a low rate (step S259), and returns to step S153.
  • step S260 When a moving object corresponding to the event is detected (step S102c; Yes), the event detection unit 113 executes detection processing (step S260).
  • FIG. 18 is a flowchart showing a detailed example of the detection process (step S260) according to this embodiment.
  • the event detection unit 113 executes step S102d as in the first embodiment.
  • the notification unit 115 executes step S102e as in the first embodiment.
  • the information transmission unit 256 transmits image information before detection (step S260a)
  • the information transmission unit 256 acquires from the image acquisition unit 254 the image information that is held by the image acquisition unit 254 and includes the image captured during the past predetermined time T1.
  • the information transmission unit 256 transmits the acquired image information to the monitoring device 201 via the network N.
  • the information transmission unit 256 generates the first information (step S260b).
  • the first information generated in step S260b is the same as the first information generated in step S257.
  • the information transmission unit 256 transmits the first information and the detection information (step S260c).
  • the information transmitting unit 256 transmits the first information generated in step S260b and the detection information generated in step S102d to the monitoring device 201 via the network N.
  • the information transmission unit 256 sets a high rate as the first transmission rate (step S258), and returns to step S153 (see FIG. 17).
  • step S2 If the predetermined time T2 has not elapsed (step S256; No), the information transmitting unit 256 generates first information (step S261).
  • the first information generated in step S261 is the same as the first information generated in step S258.
  • the information transmitting unit 256 transmits the first information generated in step S261 to the monitoring device 201 via the network N (step S262), and returns to step S153.
  • Steps S261 and S262 are executed after step S260d because they are executed within a predetermined time T2 after the moving object corresponding to the event is detected. Therefore, the transmission rate set when steps S261 and S262 are executed is a high rate.
  • the information transmission unit 256 executes steps S261 and S262 according to the transmission timing at the high rate, which is the set first transmission rate. As a result, the information transmitting unit 256 can transmit the first information at a high rate until the predetermined time T2 has passed since the moving object corresponding to the event was detected.
  • the terminal 253 By executing such terminal processing, the terminal 253 normally transmits the first information at a low rate, and transmits the first information at a high rate when a moving object corresponding to the event is detected. be able to. Since the first information includes an image, its data size is larger than that of the second information. Therefore, it is possible to reduce the communication load in the network N compared to transmitting the first information at a high rate all the time.
  • the monitoring device 201 can acquire the first information including the image at a low rate. Therefore, the image can be checked as needed.
  • the monitoring device 201 can acquire the first information. Therefore, images before and after the detection of the moving object can be managed, and detailed images can be checked as necessary.
  • the terminal 253 transmits the second information at a second transmission rate (high rate in this embodiment), which is a transmission rate higher than the low rate. Therefore, the monitoring device 201 can perform statistical processing based on the mobile object appearance information and attributes acquired at a high transmission rate. As a result, it is possible to obtain statistical processing results with substantially the same accuracy as in the first embodiment.
  • FIG. 19 is a flowchart showing an example of monitoring processing according to this embodiment.
  • the acquisition unit 102 executes step S101 as in the first embodiment.
  • the processing unit 203 executes step S202 instead of step S102 according to the first embodiment.
  • FIG. 20 is a flowchart showing a detailed example of the first process (step S202) according to this embodiment.
  • the statistical processing unit 114 executes steps S102f and S102g as in the first embodiment.
  • the appearance information includes the appearance feature amount of the moving object.
  • the monitoring device 201 can perform statistical processing using the appearance feature amount of the moving object, and therefore, based on the results of the statistical processing, measures can be taken for safety in the city from a broader perspective. can be done. Therefore, it becomes possible to support the improvement of safety in the city.
  • the appearance information further includes attributes of the moving object.
  • the monitoring device 201 can perform statistical processing using the attributes of the moving object, and therefore can take measures for safety in the city from a broad perspective based on the results of the statistical processing. . Therefore, it becomes possible to support the improvement of safety in the city.
  • the appearance information does not need to include an image in order to perform statistical processing using the attributes of the mobile object, it is possible to reduce the communication load on the network N.
  • the acquisition unit 202 further acquires detection information indicating the detection result of the moving object corresponding to the preset event.
  • the monitoring device 201 can perform statistical processing on events, and based on the results of the statistical processing, take measures for safety in the city from a broader perspective. Therefore, it becomes possible to support the improvement of safety in the city.
  • the monitoring device 201 further includes an event setting unit 216 that transmits event information regarding preset events to the terminal 253 .
  • FIG. 21 is a diagram showing a configuration example of a monitoring system 300 according to the third embodiment.
  • a monitoring system 300 includes a monitoring device 301 that replaces the monitoring device 201 according to the second embodiment, terminal systems 251a to 251d similar to those of the second embodiment, and two middle devices 361a to 361b. Note that the number of middle devices included in the monitoring system 300 is not limited to two, and may be any number as long as it is one or more.
  • the middle devices 361a-361b are connected to the monitoring device 301 and each of the terminals 253a-253d via the network N, and exchange information with each other via the network N.
  • Each of the middle devices 361 a - 361 b is associated with one or more end systems 251 . That is, each of the middle devices 361a-361b is positioned between the terminals 253a-253d and the monitoring device 301 in the network N.
  • FIG. 1 A block diagram illustrating an exemplary computing environment in accordance with the present disclosure.
  • Each of the middle devices 361a-361b may be similarly configured.
  • Each of the middle devices 361a and 361b is also referred to as the middle device 361 when not distinguished.
  • the middle device 361 is a device used by a predetermined agency such as the police. That is, the middle device 361 is an example of a device to which the notification unit 115 transmits detection information.
  • the middle device 361 transmits to the monitoring device 301 via the network N the dispatch information regarding the dispatch when dispatched at the institution.
  • the monitoring device 301 includes a processing unit 303 that replaces the processing unit 203 according to the second embodiment. Except for this point, the monitoring device 301 may be configured similarly to the monitoring device 201 according to the second embodiment.
  • FIG. 22 is a diagram showing a functional configuration example of the processing unit 303 according to this embodiment.
  • the processing unit 303 includes a statistical processing unit 114, an event setting unit 216, and an event updating unit 317 similar to those of the second embodiment.
  • the event updating unit 317 acquires dispatch information from the middle device 361 .
  • the event update unit 317 transmits update information for updating the event information based on the acquired dispatch information to the terminal 253 via the network N.
  • Each of the monitoring device 301 and the middle device 361 according to this embodiment may be physically configured similarly to the monitoring device 101 according to the first embodiment.
  • the monitoring system 300 executes event update processing for updating event information in addition to processing similar to that of the second embodiment.
  • FIG. 23 is a flowchart showing an example of event update processing according to this embodiment.
  • the event update process is, for example, repeatedly executed while the monitoring system 300 is in operation.
  • the middle device 361 When the middle device 361 is dispatched at an institution, it generates dispatch information regarding the dispatch (step S301).
  • the middle device 361 generates dispatch information including dispatch time, departure point, destination, event, etc., based on user input.
  • the dispatch time is the dispatch time.
  • the place of departure is the location of the dispatched agency.
  • the destination is the destination to be dispatched.
  • the event is the event that caused the dispatch.
  • the middle device 361 transmits the dispatch information generated in step S301 to the monitoring device 301 via the network N (step S302).
  • the event updating unit 317 acquires dispatch information from the middle device 361 (step S303).
  • the event update unit 317 generates update information for updating event information based on the dispatch information acquired in step S303 (step S304).
  • the event update unit 317 updates the image of the destination included in the dispatch information and the appearance information of the moving object obtained from the image. and at least one of the attributes.
  • the event update unit 317 creates a detection condition for the event detection unit 113 to detect an event included in the dispatch information based on at least one of the referenced image, appearance information of the moving object, and attributes.
  • the detection condition includes, for example, at least one of the referenced image, appearance information and attributes of the moving body.
  • the event update unit 317 generates update information that associates the event corresponding to the dispatch information with the created detection condition.
  • the event updating unit 317 transmits the update information generated in step S304 to the terminal 253 via the network N (step S305).
  • the event acquisition unit 255 acquires update information (step S306).
  • the event acquisition unit 255 updates the event information stored in the event storage unit 112 based on the update information acquired in step S306 (step S307).
  • the event information can be updated based on at least one of the image related to the event that actually occurred, the appearance information of the moving body, and the attribute. .
  • the terminal 253 transmits the detection information regarding the detected moving object to the middle device 361 .
  • the monitoring device 301 can perform statistical processing using the appearance feature amount of the moving object, and therefore, based on the results of the statistical processing, it is possible to take measures for safety in the city from a broader perspective. can be done. Therefore, it becomes possible to support the improvement of safety in the city.
  • the middle device 361 is a device used in a predetermined institution.
  • the monitoring device 301 further includes an event updating unit 317 that acquires dispatch information related to the dispatch when dispatched at an institution, and transmits update information for updating the event information based on the acquired dispatch information to the terminal 253. .
  • the event information can be updated when the event detection unit 113 fails to detect the event, so that the event information can be updated so that the event can be detected with higher accuracy. Therefore, it becomes possible to support the improvement of safety in the city.
  • the moving object includes at least one of a person and a vehicle.
  • the monitoring device according to . 3.
  • the appearance information includes the image,
  • the processing means analyzes an image included in the appearance information to obtain an appearance feature amount of the moving object, and executes statistical processing using the obtained appearance feature amount. or 2.
  • the processing means analyzes the image included in the appearance information to further obtain attributes of the moving object, and further uses the attributes of the moving object to perform statistical processing.
  • the appearance information includes an appearance feature amount of the moving object. or 2.
  • the appearance information further includes attributes of the moving object.
  • the appearance feature quantity includes a feature quantity relating to at least one of appearance attributes, posture, and movement of the moving object. to 6.
  • the feature amount related to the movement of the moving object includes at least one of a line of flow and a moving speed.
  • the processing means executes the statistical processing based on at least one of an attribute of the place where the image was taken, a time period when the image was taken, and an attribute of a moving object included in the image. to 8.
  • the attribute of the place includes at least one of a characteristic in the passage of mobiles and an area.
  • the monitoring device according to . 11.
  • the processing means detects a moving object corresponding to a preset event based on the result of analyzing the image included in the appearance information. to 10.
  • a monitoring device according to any one of the preceding claims. 12.
  • the processing means notifies a predetermined notification destination in association with the notification event that the notification event has been detected. 11. Yes.
  • the monitoring device according to . 13.
  • the acquisition means further acquires detection information indicating a detection result of a moving object corresponding to a preset event. to 10.
  • a monitoring device according to any one of the preceding claims. 14. 13.
  • Event setting means for transmitting event information regarding the preset event to the terminal.
  • the monitoring device according to . 15. 11.
  • the processing means further uses the detection result of the moving object corresponding to the preset event to perform statistical processing.
  • the terminal analyzes the image to further obtain attributes of the moving object, and transmits the appearance information further including the obtained attributes of the moving object to the monitoring device. or 18.
  • the appearance information includes images captured by the plurality of imaging devices. to 19.
  • the terminal obtains event information about a preset event from the monitoring device, and detects a mobile object corresponding to the event based on the result of analyzing the image. to 20.
  • the terminal transmits detection information about the detected moving object to the monitoring device.
  • the surveillance system described in . 23. further comprising at least one middle device; 21.
  • the terminal transmits detection information about the detected moving object to the middle device.
  • the middle device is a device used in a predetermined institution, The monitoring device comprises event updating means for acquiring dispatch information related to the dispatch when dispatched at the institution, and transmitting update information for updating the event information to the terminal based on the acquired dispatch information. Be more prepared 23 .
  • the surveillance system described in . 25. the computer Acquire appearance information about the appearance of moving objects included in images taken by multiple imaging devices installed in the city, A monitoring method for performing statistical processing using the appearance information.
  • 26. to the computer Acquire appearance information about the appearance of moving objects included in images taken by multiple imaging devices installed in the city, A recording medium recording a program for executing statistical processing using the appearance information.
  • 27. to the computer Acquire appearance information about the appearance of moving objects included in images taken by multiple imaging devices installed in the city, A program for executing statistical processing using the appearance information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

監視装置(101)は、取得部(102)と、処理部(103)とを備える。取得部(102)は、街中に設置された複数の撮影装置(152)が撮影した画像に含まれる移動体の外観に関する外観情報を取得する。処理部(103)は、外観情報を用いて統計処理を実行する。

Description

監視装置、監視システム、監視方法及び記録媒体
 本発明は、監視装置、監視システム、監視方法及び記録媒体に関する。
 特許文献1には、数珠繋ぎに接続され、車両の通行状況を撮像する複数の監視カメラと、その複数の監視カメラに接続されたセンタ装置とからなる通行車両監視システムが開示されている。各監視カメラは、複数の撮像部と、少なくとも1つのスポットライトと、
照射位置変更部と、距離画像生成部と、停止物体検出処理部と、ライト点灯処理部と、ライト制御部とを備える。
 照射位置変更部は、スポットライトの照射位置を変更させる。距離画像生成部は、複数の撮像部において得られた複数の画像から距離画像のデータを生成する。停止物体検出処理部は、距離画像に基づいて、停止物体の検出を行う。
 ライト点灯処理部は、停止物体検出処理部で停止物体の検出が行われると、距離画像に基づいて、停止物体の位置を検出するとともに、停止物体にスポットライトの光を照射させるためのライト点灯信号を出力する。
 ライト制御部は、ライト点灯信号に基づいて、スポットライトの照射位置を停止物体の位置に変更させるように、照射位置変更部の制御を行うとともに、スポットライトを点灯させる制御を行う。
 特許文献2には、カメラで撮影した人物の動きを検出して、「ながら歩き」を判定し、警告を効果的に行う監視システムが開示されている。特許文献2において「ながら歩き」は、携帯電話機、電子端末(スマホを含む)、書籍を見ながら前方不注意の状態で歩く動作のことである。
 なお、特許文献3には、画像に含まれる人体の複数のキーポイント各々の特徴量を算出し、算出した特徴量に基づき姿勢が似た人体や動きが似た人体を含む画像を検索したり、当該姿勢や動きが似たもの同士でまとめて分類したりする技術が記載されている。また、非特許文献1には、人物の骨格推定に関連する技術が記載されている。
特開2012-103921号公報 国際公開第2018/061616号 国際公開第2021/084677号
Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, [Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields];, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, P. 7291-7299
 特許文献1,2に記載の技術では、停止物体の検出、携帯電話機などを見ながら前方不注意の状態で歩く動作の検出などができたとしても、大局的な見地から街中の安全性の向上を図ることは困難である。
 本発明の目的の一例は、上述した課題を鑑み、街中の安全性の向上を図ることを解決する監視装置、監視システム、監視方法及び記録媒体を提供することにある。
 本発明の一態様によれば、
 街中に設置された複数の撮影装置が撮影した画像に含まれる移動体の外観に関する外観情報を取得する取得手段と、
 前記外観情報を用いて統計処理を実行する処理手段とを備える
 監視装置が提供される。
 本発明の一態様によれば、
 上記の監視装置と、
 前記複数の撮影装置と、
 前記複数の撮影装置に接続される少なくとも1つの端末とを備え、
 前記端末は、前記外観情報を前記監視装置へ送信する
 監視システムが提供される。
 本発明の一態様によれば、
 コンピュータが、
 街中に設置された複数の撮影装置が撮影した画像に含まれる移動体の外観に関する外観情報を取得し、
 前記外観情報を用いて統計処理を実行する
 監視方法が提供される。
 本発明の一態様によれば、
 コンピュータに、
 街中に設置された複数の撮影装置が撮影した画像に含まれる移動体の外観に関する外観情報を取得し、
 前記外観情報を用いて統計処理を実行させるためのプログラムを記録した記録媒体が提供される。
 本発明によれば、街中の安全性の向上を支援することが可能になる。
実施形態1に係る監視システムの概要を示す図である。 実施形態1に係る監視処理の概要を示すフローチャートである。 実施形態1に係る監視システムの詳細例を示す図である。 本実施形態に係る外観情報の構成の一例を示す図である。 本実施形態に係る処理部の機能的な構成例を示す図である。 本実施の形態に係る事象情報の一例を示す図である。 実施形態1に係る監視装置の物理的な構成例を示す図である。 実施形態1に係る末端処理の一例を示すフローチャートである。 実施形態1に係る監視処理の一例を示すフローチャートである。 実施形態1に係る取得処理の詳細例を示すフローチャートである。 実施形態1に係る第1処理の詳細例を示すフローチャートである。 検出情報の一例を示す図である。 実施形態2に係る監視システムの構成例を示す図である。 実施形態2に係る端末の機能的な構成例を示す図である。 実施形態2に係る外観情報の構成の一例を示す図であり、(a)は第1情報の例を示し、(b)は第2情報の例を示す。 実施形態2に係る処理部の機能的な構成例を示す図である。 実施形態2に係る端末処理の一例を示すフローチャートである。 実施形態2に係る検出時処理の詳細例を示すフローチャートである。 実施形態2に係る監視処理の一例を示すフローチャートである。 実施形態2に係る第1処理の詳細例を示すフローチャートである。 実施形態3に係る監視システムの構成例を示す図である。 実施形態3に係る処理部の機能的な構成例を示す図である。 実施形態3に係る事象更新処理の一例を示すフローチャートである。
 以下、本発明の一実施の形態について、図面を用いて説明する。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
<実施形態1>
 図1は、実施形態1に係る監視システム100の概要を示す図である。監視システム100は、監視装置101と、複数の撮影装置152と、複数の撮影装置152に接続される少なくとも1つの端末153とを備える。
 監視装置101は、取得部102と、処理部103とを備える。取得部102は、街中に設置された複数の撮影装置152が撮影した画像に含まれる移動体の外観に関する外観情報を取得する。処理部103は、外観情報を用いて統計処理を実行する。
 端末153は、外観情報を監視装置へ送信する。
 この監視システム100によれば、街中の安全性の向上を支援することが可能になる。この監視装置101によれば、街中の安全性の向上を支援することが可能になる。
 図2は、実施形態1に係る監視処理の概要を示すフローチャートである。
 取得部102は、街中に設置された複数の撮影装置152が撮影した画像に含まれる移動体の外観に関する外観情報を取得する(ステップS101)。処理部103は、外観情報を用いて統計処理を実行する(ステップS102g)。
 この監視処理によれば、街中の安全性の向上を支援することが可能になる。
 以下、実施形態1に係る監視システム100の詳細例について説明する。
 図3は、実施形態1に係る監視システム100の詳細例を示す図である。監視システム100は、街中を監視するためのシステムである。監視システム100は、監視装置101と、4つの末端システム151a~151dとを備える。
 監視装置101と末端システム151a~151dの各々とは、ネットワークNを介して接続されており、ネットワークNを介して互いに情報を送受信する。ネットワークNは、有線、無線又はこれらを組み合わせて構築される通信ネットワークである。
(末端システム151の構成例)
 末端システム151a~151dの各々は、街中を撮影し、撮影した画像に含まれる移動体の外観に関する外観情報を監視装置101へ送信するためのシステムである。末端システム151a~151dは、それぞれ、複数の撮影装置152a~152dと、端末153a~153dとを含む。
 末端システム151a~151dは、少なくとも1つの撮影装置152a~152dを含めば、それぞれに含まれる撮影装置152a~152dの数が異なっていてもよい。末端システム151a~151dを区別しない場合、各々を末端システム151とも称する。
 複数の撮影装置152a~152dは、街中を撮影するための装置である。例えば、撮影装置152a~152dの各々は、街中に設置されるカメラである。撮影装置152a~152dの各々は、撮影した画像を含む画像情報を生成する。
 図3では、複数の撮影装置152a~152dは、適宜定められる監視領域Pa~Pdの道路を撮影するように設けられている。詳細には例えば、撮影装置152aの各々の撮影領域は、監視領域Pa内の予め定められた領域であり、少なくとも一部が互いに異なっている。撮影装置152b~152dについても同様である。
 このような撮影装置152a~152dの各々は、上述の撮影装置152の例であり、同様に構成されてよい。撮影装置152a~152dを区別しない場合、各々を撮影装置152とも称する。
 また、監視領域Pa~Pdを区別しない場合、各々を監視領域Pとも称する。なお、複数の撮影装置152は、道路に限らず、各種の施設、建造物、建物などを撮影してもよい。
 端末153a~153dの各々は、共通の末端システム151a~151dに含まれる複数の撮影装置152a~152dから、撮影装置152a~152dの各々が撮影した画像を含む画像情報を通信回線を介して取得する。この通信回線は、ネットワークNの一部であってもよく、ネットワークNとは異なる回線であってもよい。端末153a~153dの各々は、取得した画像情報に基づいて、外観情報を生成して監視装置101へネットワークNを介して送信する。
 外観情報は、複数の撮影装置152が撮影した画像に含まれる移動体の外観に関する情報である。移動体は、監視領域Pを移動する物体であり、人と車両との少なくとも一方を含む。本実施形態では、移動体が人及び車両である例を用いて説明する。
 移動体の外観は、複数の撮影装置152が撮影した画像に含まれる。そのため、外観情報の一例として、複数の撮影装置152が撮影した画像を含む情報を挙げることができる。本実施形態では、外観情報が、複数の撮影装置152が撮影した画像を含む例を用いて説明する。
 図4は、本実施形態に係る外観情報の構成の一例を示す図である。同図に示す外観情報は、画像と、撮影時刻と、装置ID(Identifier)と、撮影場所を関連付ける。
 外観情報に含まれる画像は、撮影装置152が撮影した画像である。撮影時刻は、これに関連付けられた画像が撮影された時刻である。装置IDは、これに関連付けられた画像を撮影した撮影装置152を識別するための情報である。装置IDは、例えば、末端システム151における撮影装置152のアドレスである。撮影場所は、これに関連付けられた画像が撮影された場所を示す。撮影場所は、例えば、撮影装置152が撮影する領域(撮影領域)の住所であり、撮影装置152に関連付けて端末153a~153dの各々に予め設定される。
 端末153a~153dの各々は、複数の撮影装置152a~152dから画像情報を取得すると、当該画像情報に含まれる画像と、当該画像情報を取得した時刻と、当該撮影装置152の装置IDとを関連付ける。その結果、端末153a~153dの各々は、図4に例示する構成の外観情報を生成する。端末153a~153dの各々は、生成した外観情報を監視装置101へ送信する。
 このような端末153a~153dの各々は、上述の端末153の例であり、同様に構成されてもよい。端末153a~153dを区別しない場合、各々を端末153とも称する。
 なお、共通の末端システム151に含まれる複数の撮影装置152のうちのいずれか1つが、端末153の機能を兼ね備えてもよい。また、複数の撮影装置152の各々が端末153の機能を兼ね備えてもよい。
(監視装置101の構成例)
 監視装置101は、図3に示すように、街中を監視するための装置である。監視装置101は、機能的に、取得部102と、処理部103と、履歴記憶部104と、入力受付部105と、表示部106とを含む。履歴記憶部104は、外観情報の履歴を記憶するための記憶部である。入力受付部105は、ユーザからの入力を受け付ける。表示部106は、各種の情報を表示する。
 取得部102は、移動体の外観に関する外観情報を、端末153からネットワークNを介して取得する。取得部102は、取得した外観情報を履歴記憶部104に記憶させる。
 処理部103は、上述の通り、外観情報を用いて統計処理を実行する。処理部103は、例えば、画像が撮影された場所の属性、画像が撮影された時間帯、画像に含まれる移動体の属性の少なくとも1つに基づいて、統計処理を実行する。
 本実施形態に係る処理部103は、外観情報に含まれる画像を解析して、移動体の外観特徴量及び属性の少なくとも一方を求め、当該移動体の外観特徴量及び属性の少なくとも一方を用いて統計処理を実行する。
 本実施形態に係る処理部103は、外観情報に含まれる画像を解析した結果に基づいて、予め設定される事象に該当する移動体を検出する。そして、処理部103は、予め設定される事象に該当する移動体の検出結果をさらに用いて統計処理を実行する。
 このような処理部103の機能の詳細について、以下説明する。
 図5は、本実施形態に係る処理部103の機能的な構成例を示す図である。処理部103は、画像解析部111と、事象記憶部112と、事象検出部113と、統計処理部114と、報知部115とを含む。
 画像解析部111は、撮影装置152が撮影した画像を解析して、移動体の外観特徴量及び属性を求める。
 そして、画像解析部111は、当該求めた移動体の外観特徴量及び属性を履歴記憶部104に記憶させる。このとき、画像解析部111は、移動体の外観特徴量及び属性を、これらを取得する基となった画像に関連付けて履歴記憶部104に記憶させる。なお、画像解析部111は、撮影装置152が撮影した画像を解析して、移動体の外観特徴量及び属性の一方を求めてもよい。
(移動体の外観特徴量)
 移動体の外観特徴量は、移動体の外観に関する特徴量である。移動体の外観特徴量は、移動体を含む画像から得られる特徴量である。
 移動体の外観特徴量は、例えば、移動体の外観属性、移動体の姿勢、移動体の動きの少なくとも1つに関する特徴量を含む。
 移動体の外観属性に関する特徴量は、例えば、後述する外観属性特徴量、車両の色及びサイズなどの少なくとも1つである。移動体の姿勢に関する特徴量は、例えば、後述する姿勢特徴量、車両の向きなどの少なくとも1つである。移動体の動きに関する特徴量は、例えば、後述する動き特徴量、移動体の動線、移動体の移動速度などの少なくとも1つである。
(移動体の属性)
 移動体が人である場合のその属性とは、年齢層、性別、要補助者、ながら歩きをする人、警察官、一人で居る又は行動する人などの少なくとも1つである。
 要補助者とは、補助が必要な方であり、例えば、車椅子に乗った人、杖をついた人などである。画像解析部111は、例えば、車椅子に乗った人、杖を持っている人を検出することで、要補助者を検出する。
 ながら歩きをする人とは、携帯端末、スマートフォンなどを操作又は閲覧しながら歩行する人、タバコを吸いながら歩行する人などの少なくとも1つである。画像解析部111は、携帯端末、スマートフォン、タバコなどを保持しながら歩く人を検出することで、ながら歩きをする人を検出する。画像解析部111は、携帯端末、スマートフォンなどを操作又は閲覧しながら歩行する人を検出する場合、人の顔が下を向いていることをさらに用いて、ながら歩きをする人を検出してもよい。
 移動体が車両である場合のその属性とは、例えば、自家用車、タクシー、トラック、緊急車両(パトカー、救急車、消防車など)、単車、自転車などの少なくとも1つである。車両の属性は、車種を含んでもよい。画像解析部111は、例えば、車両の形状、色、サイズなどに基づいて、車両の属性を求めることができる。
(解析機能)
 画像解析部111は、移動体の外観特徴量及び属性を取得するために、画像の解析機能を備える。画像の解析機能は、画像を解析する機能である。
 画像解析部111が備える解析機能は、例えば、(1)物体検出機能、(2)顔解析機能、(3)人型解析機能、(4)姿勢解析機能、(5)行動解析機能、(6)外観属性解析機能、(7)勾配特徴解析機能、(8)色特徴解析機能、(9)動線解析機能などの1つ又は複数である。
 (1)物体検出機能は、画像から物体を検出する。物体検出機能は、画像内の物体の位置、サイズなどを求めることもできる。物体検出処理に適用されるモデルとして、例えば、YOLO(You Only Look Once)がある。物体は、人及び物を含む。物体検出機能は、例えば、移動体、路上の放置物、車椅子、杖(松葉杖、白杖を含む。)、携帯端末、スマートフォン、タバコなどを検出する。また例えば、物体検出機能は、移動体、路上の放置物、車椅子などの位置を求める。
 (2)顔解析機能は、画像から人の顔を検出し、検出した顔の特徴量(顔特徴量)の抽出、検出した顔の分類(クラス分け)などを行う。顔解析機能は、顔の画像内の位置を求めることもできる。顔解析機能は、異なる画像から検出した人物の顔特徴量同士の類似度などに基づいて、異なる画像から検出した人物の同一性を判定することもできる。
 (3)人型解析機能は、画像に含まれる人の人体的特徴量(例えば、体形の肥痩や、身長、服装などの全体的な特徴を示す値)の抽出、画像に含まれる人の分類(クラス分け)などを行う。人型解析機能は、人の画像内の位置を特定することもできる。人型解析機能は、異なる画像に含まれる人の人体的特徴量などに基づいて、異なる画像に含まれる人の同一性を判定することもできる。
 (4)姿勢解析機能は、画像から人の関節点を検出し、関節点を繋げた棒人間モデルを作成する。そして、姿勢解析機能は、棒人間モデルの情報を用いて、人の姿勢を推定し、推定した姿勢の特徴量(姿勢特徴量)の抽出、画像に含まれる人の分類(クラス分け)などを行う。姿勢解析機能は、異なる画像に含まれる人の姿勢特徴量などに基づいて、異なる画像に含まれる人の同一性を判定することもできる。
 例えば、姿勢解析機能は、立っている姿勢、しゃがんだ姿勢、かがんだ姿勢などの姿勢を画像から推定し、それぞれの姿勢を示す姿勢特徴量を抽出する。また例えば、姿勢解析機能は、物体検出機能などを用いて検出された物品に対する姿勢を画像から推定し、その姿勢を示す姿勢特徴量を抽出することができる。
 姿勢解析機能には、例えば、特許文献3、非特許文献1に開示された技術を適用することができる。
 (5)行動解析処理は、棒人間モデルの情報、姿勢の変化などを用いて、人の動きを推定し、人の動きの特徴量(動き特徴量)の抽出、画像に含まれる人の分類(クラス分け)などを行うことができる。行動解析処理では、棒人間モデルの情報を用いて、人の身長を推定したり、人物の画像内の位置を特定したりすることもできる。行動解析処理は、例えば、姿勢の変化又は推移、移動(位置の変化又は推移)などの行動を画像から推定し、その行動の動き特徴量を抽出することができる。
 (6)外観属性解析機能は、人に付随する外観属性を認識することができる。外観属性解析機能は、認識した外観属性に関する特徴量(外観属性特徴量)の抽出、画像に含まれる人の分類(クラス分け)などを行う。外観属性は、外観上の属性であり、例えば、服装の色、靴の色、髪型、帽子やネクタイ、眼鏡などの着用又は非着用などの1つ以上を含む。また例えば、外観属性は、警察官の制服などを含んでもよい。
 (7)勾配特徴解析機能は、画像における勾配の特徴量(勾配特徴量)を抽出する。勾配特徴検出処理には、例えば、SIFT、SURF、RIFF、ORB、BRISK、CARD、HOGなどの技術を適用することができる。
 (8)色特徴解析機能は、画像から物体を検出し、検出した物体の色の特徴量(色特徴量)の抽出、検出した物体の分類(クラス分け)などを行うことができる。色特徴量は、例えばカラーヒストグラムなどである。
 (9)動線解析機能は、例えば上述の(2)~(8)の解析機能のいずれかにおける同一性の判定の結果、クラス分けの結果などを用いて、画像に含まれる移動体の動線(移動の軌跡)を求めることができる。詳細には例えば、時系列的に異なる画像間で同一であると判定された移動体を接続することで、その移動体の動線を求めることができる。なお、動線解析機能は、異なる撮影領域を撮影する複数の撮影装置152で撮影した映像を取得した場合などには、異なる撮影領域を撮影した複数の画像間に跨る動線を求めることもできる。
 画像解析部111が備える上述の解析機能は、互いに、解析結果を用いることができるように構成されるとよい。そして、画像解析部111は、上述の解析機能を用いて画像を解析して、年齢層、性別、人の移動速度、車両の姿勢(向き)、車両の移動速度などを求める機能(解析機能)を備えてもよい。
 なお、ここで説明した解析機能は、移動体の外観特徴量及び属性を求める方法の一例であり、移動体の外観特徴量及び属性を求める方法は、これに限られない。
 事象記憶部112は、予め設定される事象に関する事象情報を記憶するための記憶部である。
(事象情報の例)
 図6は、本実施の形態に係る事象情報の一例を示す図である。事象情報は、事象と検出条件と報知事象フラグと報知先とを関連付ける。検出条件は、関連付けられた事象を画像から検出するための条件である。
 事象は、例えば、移動体の姿勢、動き、属性の少なくとも1つに関連して予め設定される。動きは、位置、移動速度、動線などの少なくとも1つを含んでよく、停止していることも含む。事象の具体例は、図6に示すように、転倒、体調不良、放置物、交通事故、渋滞、逆走、速度超過、要補助、事件・不審者、迷子、夜間の一人歩きなどである。
 例えば、転倒には、人が倒れている、又は、人が倒れたという検出条件が関連付けられている。例えば、体調不良には、人が所定時間以上、しゃがみ込んでいるという検出条件が関連付けられている。このような転倒、体調不良は、人の姿勢、動きなどに関連する事象の例である。
 例えば、路上などに放置物があると、人、車両などの移動体は、放置物を避けるために移動方向を変更することがある。そのため、放置物には、所定数以上の移動体が予測位置とは異なる方向へ移動方向を変更するという検出条件が関連付けられている。予測位置は、直前の動線を進行方向に向かって直線又は曲線で外挿した位置である。このような放置物は、移動体の動き(動線)などに関連する事象の例である。なお、放置物の検出条件は、路上などに物が所定時間以上あることであってもよい。
 例えば、交通事故には、車両同士、又は、車両と人、が接触したという検出条件が関連付けられている。接触は、位置、姿勢(向き)の急な変化などの1つ又は複数に基づいて検出できる。このような交通事故は、移動体の動き、姿勢などに関連する事象の例である。
 例えば、渋滞には、走行速度が所定値以下であり、かつ、一般車両が走行方向に所定長さ以上並んでいるという検出条件が関連付けられている。一般車両とは、例えば、タクシー、トラック、緊急車両、単車、自転車以外の車両である。例えば、逆走には、車両が道路の走行方向とは異なる方向に走行しているという検出条件が関連付けられている。例えば、速度超過は、車両の移動速度が道路の法定速度を超えているという検出条件が関連付けられている。このような渋滞、逆走、速度超過は、車両の動き、属性などに関連する事象の例である。
 例えば、要補助は、補助が必要な事象を示す。要補助には、図6の検出条件を参照すると分かるように、要補助者を検出するための条件が関連付けられている。要補助は、人の属性などに関連する事象の例である。なお、要補助の検出条件は、例えば、車椅子に乗った人が段差又は階段に向かっていることなどであってもよい。
 例えば、警察官がいる場所やパトカーが停車している場所の近くには、事件が発生している又は不審者がいる可能性がある。また、不審者は、一定の範囲を所定時間以上移動していることがある。そのため、事件・不審者には、警察官がいる、パトカーが停車している、又は、一定の範囲を所定時間以上移動しているという検出条件が関連付けられている。このような事件・不審者は、人の属性(警察官)などに関連する事象の例である。
 例えば、迷子には、所定年齢以下の子供が所定時間以上、一人でいるという検出条件が関連付けられている。所定年齢は、例えば、10歳である。このような迷子は、人の属性(年齢層、一人でいる)などに関連する事象の例である。
 例えば、夜間の一人歩きには、所定の時間帯に一人でいるという検出条件が関連付けられている。所定の時間帯は、例えば、23時~4時である。このような夜間の一人歩きは、人の動き、属性(一人でいる)などに関連する事象の例である。
 報知事象フラグは、関連付けられた事象が報知事象であるか否かを示す報知事象情報の一例である。報知事象フラグの「1」は、関連付けられた事象が報知事象であることを示す。報知事象フラグの「0」は、関連付けられた事象が報知事象でないことを示す。
 報知事象は、これが検出された場合に所定の報知先へ報知する事象である。報知事象は、事象の中から予め定められればよく、例えば、できるだけ早く対応することが望ましい事象である。
 報知先は、報知事象に関連付けられる。報知先は、関連付けられた報知事象について報知する機関などである。
 報知事象が転倒、放置物、交通事故、逆走、事件・不審者、迷子である場合、これらの報知事象は、一般的に警察が対応することが多い。そのため、図6に示す報知情報の例では、これらの報知事象に関連付けられる報知先が、警察である。また、報知事象が体調不良、要補助である場合は、これらの報知事象は、一般的に駅員などの施設のスタッフが対応することが多い。そのため、図6に示す報知情報の例では、これらの報知事象に関連付けられる報知先が、施設である。
 図5を再び参照する。
 事象検出部113は、画像解析部111が画像を解析した結果及び事象情報に基づいて、当該画像に含まれる移動体の中から、予め設定される事象に該当する移動体を検出する。
 画像解析部111が画像を解析した結果は、画像解析部111の解析機能を用いた解析の結果である。詳細には例えば、画像解析部111が画像を解析した結果は、移動体の外観特徴量と属性との少なくとも一方を含む。
 事象検出部113は、予め設定される事象に該当する移動体を検出した場合に、検出情報を生成する。検出情報は、予め設定される事象に該当する移動体の検出結果を示す情報である。事象検出部113は、生成した検出情報を履歴記憶部104に記憶させる。
 統計処理部114は、画像解析部111が画像を解析した結果と、事象検出部113が検出した移動体と、の少なくとも一方を用いて統計処理を実行する。統計処理部114は、画像が撮影された場所の属性、画像が撮影された時間帯、画像に含まれる車両の属性の少なくとも1つに基づいて、統計処理を実行する。統計処理部114は、統計処理の結果を表示部106に表示させる。
(場所の属例の例)
 場所の属性は、移動体の通行に関する場所の特性、地域などの少なくとも1つを含む。
 車両の通行に関する場所の特性は、交差点、交差する道路又は車線の数が所定数以上の交差点、カーブ、所定長さ以上の直線が続く道路などの少なくとも1つである。人の通行に関する場所の特性は、段差があること、階段などの少なくとも1つである。
 地域は、例えば、駅、バス停、娯楽施設、公園、スポーツセンタ、コンビニ、スーパーマーケット、店舗、駐車場などの施設を用いて示されてもよい。地域は、東京都千代田区、東京都千代田区霞ヶ関一丁目などの住所を用いて示されてもよい。
 報知部115は、報知事象に該当する移動体が検出された場合に、当該報知事象に関連付けて予め定められる報知先へ当該報知事象が検出されたことを報知する。
 詳細には例えば、報知部115は、報知事象に該当する移動体が検出された場合に、事象情報に基づいて、当該報知事象に関連付けられた報知先を特定する。報知部115は、特定した報知先に設けられた装置(図示せず)へ検出情報を送信する。
 特定した報知先に設けられた装置は、例えば、報知事象に最寄りの報知先に設けられる装置である。報知部115は、報知先の所在地及び装置(ネットワークNにおけるアドレス)を関連付けた情報を予め保持してもよく、外部の装置(図示せず)からネットワークNを介して報知先の装置(ネットワークNにおけるアドレス)を取得してもよい。
 これまで、実施形態1に係る監視システム100の機能的な構成について主に説明した。ここから、本実施形態に係る監視システム100の物理的な構成について説明する。
(監視システム100の物理的構成)
 監視システム100は、物理的に、ネットワークNを介して接続された監視装置101及び少なくとも1つの末端システム151から構成される。末端システム151は、物理的に、通信回線を介して接続された複数の撮影装置152及び端末153から構成される。監視装置101と複数の撮影装置152の各々と端末153とは、物理的に異なる単一の装置から構成される。
 なお、複数の撮影装置152のいずれか1つが、物理的に、端末153と一体的に構成されてもよい。監視装置101と端末153との一方又は両方は、物理的に、ネットワークNなどの適宜の通信回線を介して接続された複数の装置から構成されてもよい。
 監視装置101は、物理的には例えば、汎用のコンピュータである。図7は、実施形態1に係る監視装置101の物理的な構成例を示す図である。
 監視装置101は、例えば、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、ネットワークインタフェース1050、入力インタフェース1060及び出力インタフェース1070を有する。
 バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、ネットワークインタフェース1050、入力インタフェース1060及び出力インタフェース1070が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
 プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
 メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
 ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は、監視装置101の機能を実現するためのプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030に読み込んで実行することで、そのプログラムモジュールに対応する機能が実現される。
 ネットワークインタフェース1050は、監視装置101をネットワークNに接続するためのインタフェースである。
 入力インタフェース1060は、ユーザが情報を入力するためのインタフェースである。入力インタフェース1060は、例えば、タッチパネル、キーボード、マウスなどから構成される。
 出力インタフェース1070は、ユーザに情報を提示するためのインタフェースである。出力インタフェース1070は、例えば、液晶パネル、有機EL(Electro-Luminescence)パネルなどから構成される。
 端末153は、物理的には例えば、監視システム100と同様のバス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040及びネットワークインタフェース1050を有する。
 端末153が有するストレージデバイス1040は、端末153の機能を実現するためのプログラムモジュールを記憶している。端末153が有するネットワークインタフェース1050は、端末153をネットワークNに接続するためのインタフェースである。これらの点を除いて、端末153は、物理的には監視システム100と同様に構成されてよい。
 これまで、実施形態1に係る監視システム100の物理的な構成について主に説明した。ここから、本実施形態に係る末端システム151の動作について説明する。
 図8は、実施形態1に係る末端処理の一例を示すフローチャートである。末端処理は、末端システム151が監視領域Pを撮影し、撮影した画像に含まれる移動体の外観に関する外観情報を送信するために実行する処理である。末端システム151は、例えば、稼働中に末端処理を繰り返し実行する。
 撮影装置152の各々は、撮影領域を撮影して、撮影した画像を含む画像情報を生成する(ステップS151)。撮影装置152の各々は、ステップS151にて生成した画像情報を端末153へ送信する(ステップS152)。
 端末153は、ステップS152にて送信された画像情報を取得する(ステップS153)。端末153は、ステップS153にて取得した画像情報に基づいて、外観情報を生成する(ステップS154)。端末153は、ステップS154にて生成した外観情報を監視装置101へ送信する(ステップS155)。
 このような末端処理を実行することで、末端システム151は、概ねリアルタイムで、移動体の外観に関する外観情報を生成して監視装置101へ送信することができる。
 なお、ステップS155において、端末153は、撮影装置152の各々で生成されるすべての画像情報について、外観情報を生成して監視装置101へ送信してもよい。
 また、ステップS155において、端末153は、撮影装置152の各々で生成されるすべての画像情報のうち、例えば予め定められた時間間隔の画像情報について、外観情報を生成して監視装置101へ送信してもよい。このように、撮影装置152の各々で生成される画像情報の一部を間引いて、外観情報を生成・送信することで、監視装置101へ送信するデータ量を減らすことができる。これにより、ネットワークNにおける通信負荷を軽減することが可能になる。
 図9は、実施形態1に係る監視処理の一例を示すフローチャートである。監視処理は、監視装置101が街中を監視するために実行する処理である。監視装置101は、例えば、稼働中に監視処理を繰り返し実行する。
 取得部102は、図2を参照して上述したように、複数の撮影装置152が撮影した画像に含まれる移動体の外観に関する外観情報を取得する(ステップS101)。処理部103は、図2を参照して上述した外観情報を用いた統計処理(ステップS102g)を含む第1処理を実行する(ステップS102)。
 ステップS101及びステップS102の詳細について、図を参照して説明する。
 図10は、実施形態1に係る取得処理(ステップS101)の詳細例を示すフローチャートである。
 取得部102は、移動体の外観に関する外観情報を端末153から取得する(ステップS101a)。取得部102は、ステップS101aにて取得した外観情報を履歴記憶部104に記憶させ(ステップS101b)、監視処理(図2参照)に戻る。
 図11は、実施形態1に係る第1処理(ステップS102)の詳細例を示すフローチャートである。
 画像解析部111は、ステップS101aにて取得された画像を解析して、移動体の外観特徴量を求める(ステップS102a)。画像解析部111は、ステップS101aにて取得された画像を解析して、移動体の属性を求める(ステップS102b)。画像解析部111は、ステップS102a及びS102bで得られた移動体の外観特徴量及び属性を、これらに対応する画像に関連付けて履歴記憶部104に記憶させる。
 事象検出部113は、ステップS101aにて取得された画像に含まれる移動体の中から、予め設定される事象に該当する移動体が検出されたか否かを判定する(ステップS102c)。
 詳細には例えば、事象検出部113は、ステップS102a及びS102bで得られる移動体の外観特徴量及び属性と、事象記憶部112に記憶された事象情報と、に基づいて、予め設定される事象に該当する移動体を検出する。より詳細には例えば、事象検出部113は、移動体の外観特徴量及び属性に基づいて、事象情報に含まれる検出条件に該当する移動体を検出する。
 事象に該当する移動体が検出された場合(ステップS102c;Yes)、事象検出部113は、当該検出された移動体に関する検出情報を生成する(ステップS102d)。
 事象検出部113は、検出した移動体に該当する事象を示すラベルを付加した画像を含む検出情報を生成する。事象検出部113は、生成した検出情報を履歴記憶部104に記憶させる。
 図12は、検出情報の一例を示す図である。同図は、事象「転倒」が検出された場合の検出情報に含まれる画像の一例を示す。人が車道R1の脇の歩道R2で倒れており、この人には、点線四角の枠で印が付けられている。また、この枠に関連付けて「転倒」というラベルが付加されている。さらに、検出された場所及び日時を示す情報が付加されている。検出された場所は、当該画像が撮影された場所である。検出された日時は、当該画像が撮影された日時である。
 図11を再び参照する。
 報知部115は、報知情報に基づいて、検出された事象に応じた機関へ検出情報を送信する(ステップS102e)。
 例えば、報知部115は、「転倒」、「迷子」「放置物」などに該当する移動体が検出された場合、「転倒」、「迷子」「放置物」などに関連付けられた機関である警察の装置へ、例えばネットワークNを介して、ステップS102dにて生成された検出情報を送信する。
 また例えば、報知部115は、「要補助」に該当する移動体が検出された場合、「要補助」に関連付けられた機関である鉄道又は施設のうち、「要補助」が検出された場所から最寄りの鉄道又は施設を特定する。報知部115は、特定した施設の装置へ、例えばネットワークNを介して、ステップS102dにて生成された検出情報を送信する。
 このような報知をすることで、各事象に早く対応することができる。従って、街中の安全性の向上を支援することが可能になる。
 事象に該当する移動体が検出されていない場合(ステップS102c;No)、又は、ステップS102eに続けて、統計処理部114は、ユーザからの統計処理の指示があったか否かを判定する(ステップS102f)。ユーザからの指示は、例えば、入力受付部105が受け付ける。
 ユーザからの統計処理の指示がなかった場合(ステップS102f;No)、統計処理部114は、第1処理(ステップS102)を終了して監視処理を終了する(図2参照)。
 ユーザからの統計処理の指示があった場合(ステップS102f;Yes)、統計処理部114は、統計処理を実行し(ステップS102g)、監視処理を終了する(図2参照)。
 ステップS102gにおいて、統計処理部114は、ステップS102a~S102bで得られる移動体の外観特徴量及び属性と、ステップS102cにおける事象に該当する移動体の検出結果と、を用いて。統計処理を実行する。言い換えると、統計処理部114は、移動体の外観特徴量及び属性と、事象に該当する移動体の検出結果と、を用いて、統計処理を実行する。
 このとき、統計処理部114は、現在及び過去の移動体の外観特徴量及び属性のうち、適宜の期間の移動体の外観特徴量及び属性を用いて、統計処理を実行してもよい。また、統計処理部114は、現在及び過去の事象に該当する移動体の検出結果のうち、適宜の期間の検出結果を用いて、統計処理を実行してもよい。過去の移動体の外観特徴量及び属性、過去の検出結果については、統計処理部114は、履歴記憶部104から取得することができる。
 詳細には例えば、統計処理部114は、画像が撮影された場所の属性、画像が撮影された時間帯、画像に含まれる車両の属性に基づいて、移動体の外観特徴量及び属性と事象に該当する移動体とを用いた統計処理を実行する。統計処理部114は、統計処理の結果を表示部106に表示させる。
 具体的には例えば、統計処理部114は、「転倒」「迷子」「渋滞」「ながら歩き」などの各事象が検出された回数を、例えば場所の属性、時間帯ごとなどに集計し、集計した結果を示す画像を表示部106に表示させる。これらを参照することで、例えば「転倒」「迷子」「渋滞」「ながら歩き」などの各事象が多い場所、時間帯などを基に、各事象が発生する原因、各事象の発生を防ぐための対策、各事象に早く対応するための対策などを検討することができる。
 例えば、夕方のある時間帯に駅周辺で一時停車の車両が増えるため渋滞が多く発生する場合、その時間帯のパトロールを強化することが考えられる。例えば、ある施設の近傍で休日に迷子が多い場合、その施設における休日のパトロールを強化することが考えられる。例えば、ある段差又は階段を通行する要補助者が所定数以上である場合、そこにスロープを設けたり、エレベータを設けたりすることを検討することができる。例えば、ある施設の特定の時間帯にながら歩きをする人が多い場合、その施設においてながら歩きをする人が多い時間帯に、注意喚起のための放送をするなどの対策を検討することができる。
 また、具体的には例えば、統計処理部114は、車両又は人の一方又は両方の通行量を、場所の属性、時間帯、車両の種類ごとなどに集計し、集計した結果を示す画像を表示部106に表示させる。これらを「渋滞」、「交通事故」などに関する統計処理の結果とともに参照することで、交通量又は交通事故が多くなる時間帯の場所の属性、車両の属性などを基に、渋滞又は交通事故が発生する原因、渋滞又は交通事故を防ぐための対策などを検討することができる。
 さらに、具体的には例えば、統計処理部114は、特定の交差点における人の通行量を年齢層ごとに集計し、集計した結果を示す画像を表示部106に表示させる。年齢層で歩く速度が異なるため、この集計した結果を参照することで、その交差点における歩行者の青信号の時間を適切に設定するなど、交差点を安全に通行するための対策を講じることができる。
 これまで例示したように、統計処理の結果に基づいて対策を検討することができるので、街中の安全性の向上を支援することが可能になる。
 さらに、具体的には例えば、統計処理部114は、服装、服装の色などを、場所の属性、時間帯、年齢層ごとに集計し、集計した結果を示す画像を表示部106に表示させる。これを例えば前年の同様の集計結果と比較することで、その年の服装のトレンド、季節の変わり目、体感温度の変わり目などを知ることができる。これにより、流行に関する情報、気候に関する情報などを提供することが可能になる。
(作用・効果)
 以上、本実施形態によれば、監視装置101は、取得部102と、処理部103とを備える。取得部102は、街中に設置された複数の撮影装置152が撮影した画像に含まれる移動体の外観に関する外観情報を取得する。処理部103は、外観情報を用いて統計処理を実行する。
 これにより、統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 本実施形態によれば、移動体は、人及び車両の少なくとも一方を含む。
 これにより、統計処理の結果に基づいて、大局的な見地から、人及び車両の少なくとも一方に関連する街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 本実施形態によれば、外観情報は、画像を含む。処理部103は、外観情報に含まれる画像を解析して移動体の外観特徴量を求め、当該求めた外観特徴量を用いて統計処理を実行する。
 これにより、外観特徴量を用いた統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 本実施形態によれば、処理部103は、外観情報に含まれる画像を解析して移動体の属性をさらに求め、当該移動体の属性をさらに用いて統計処理を実行する。
 これにより、移動体の属性をさらに用いた統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 本実施形態によれば、外観特徴量は、移動体の外観属性、姿勢、動きの少なくとも1つに関する特徴量を含む。
 これにより、移動体の外観属性、姿勢、動きの少なくとも1つに関する特徴量を用いた統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 本実施形態によれば、移動体の動きに関する特徴量は、動線、移動速度の少なくとも1つを含む。
 これにより、動線、移動速度の少なくとも1つを含む移動体の動きに関する特徴量を用いた統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 本実施形態によれば、処理部103は、画像が撮影された場所の属性、画像が撮影された時間帯、画像に含まれる移動体の属性の少なくとも1つに基づいて、統計処理を実行する。
 これにより、画像が撮影された場所の属性、画像が撮影された時間帯、画像に含まれる移動体の属性に基づいて実行される統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 本実施形態によれば、場所の属性は、移動体の通行における特性、地域の少なくとも1つを含む。
 これにより、移動体の通行における特性、地域の少なくとも1つを含む場所の属性に基づいて実行される統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 本実施形態によれば、処理部103は、外観情報に含まれる画像を解析した結果に基づいて、予め設定される事象に該当する移動体を検出する。
 これにより、事象に関する統計処理を実行することができ、その統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。また、事象を早く検出して、その事象に対応することができる。従って、街中の安全性向上を支援することが可能になる。
 本実施形態によれば、処理部103は、事象の中から予め定められる報知事象に該当する移動体が検出された場合に、当該報知事象に関連付けて予め定められる報知先へ当該報知事象が検出されたことを報知する。
 これにより、検出された報知事象に早く対応することができる。従って、街中の安全性の向上を支援することが可能になる。
 本実施形態によれば、処理部103は、予め設定される事象に該当する移動体の検出結果をさらに用いて統計処理を実行する。
 これにより、事象に関する統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 本実施形態によれば、事象は、移動体の姿勢、動き、属性の少なくとも1つに関連する。
 これにより、移動体の姿勢、動き、属性の少なくとも1つに関連する事象に関する統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。或いは、移動体の姿勢、動き、属性の少なくとも1つに関連する事象を早く検出して、その事象に対応することができる。従って、街中の安全性向上を支援することが可能になる。
<実施形態2>
 実施形態1では、監視装置101が、移動体の外観特徴量及び属性を求め、事象を検出し、報知事象が検出された場合にその報知を行う例を説明した。移動体の外観特徴量の取得、移動体の属性の取得、事象の検出、及び、報知事象が検出された場合の報知の一部又はすべてを、端末153が行ってもよい。本実施形態では、端末153が、移動体の外観特徴量の取得、移動体の属性の取得、事象の検出、及び、報知事象が検出された場合の報知のすべてを行う例を説明する。
 本実施形態では、説明を簡潔にするため、実施形態1と異なる点について主に説明し、重複する説明は適宜省略する。
 図13は、実施形態2に係る監視システム200の構成例を示す図である。監視システム200は、実施形態1に係る監視装置101及び4つの末端システム151a~151dに代わる、監視装置201と、4つの末端システム251a~251dとを備える。
(末端システム251の構成例)
 末端システム251a~251dは、それぞれ、実施形態1と同様の複数の撮影装置152a~152dと、実施形態1に係る端末153a~153dに代わる端末253a~253dとを含む。末端システム251a~251dを区別しない場合、各々を末端システム251とも称する。
 端末253a~253dの各々は、共通の末端システム251a~251dに含まれる複数の撮影装置152a~152dから、撮影装置152a~152dの各々が撮影した画像を含む画像情報を通信回線を介して取得する。端末253a~253dの各々は、取得した画像情報に基づいて、外観情報を生成して監視装置201へネットワークNを介して送信する。
 端末253a~253dの各々は、同様に構成されてよい。端末253a~253dを区別しない場合、各々を端末253とも称する。
 図14は、本実施形態に係る端末253の機能的な構成例を示す図である。
 端末253は、画像取得部254と、実施形態1と同様の画像解析部111、事象記憶部112、事象検出部113及び報知部115と、画像取得部254と、事象取得部255と、情報送信部256とを含む。
 画像取得部254は、共通の末端システム251に含まれる複数の撮影装置152から、撮影装置152a~152dの各々が撮影した画像を含む画像情報を取得する。画像取得部254は、少なくとも所定時間T1(例えば、5分間)の画像を保持する。すなわち、現在よりも過去の所定時間T1に撮影された画像を保持する。
 画像解析部111は、実施形態1と同様に、撮影装置152が撮影した画像を解析して、実施形態1と同様に移動体の外観特徴量及び属性を求める。すなわち、本実施形態では、画像解析部111は、画像取得部254が取得した画像を解析して、実施形態1と同様に移動体の外観特徴量及び属性を求める。
 事象取得部255は、監視装置201から事象情報をネットワークNを介して取得し、取得した事象情報を事象記憶部112に記憶させる。
 本実施形態に係る事象検出部113は、実施形態1と同様に、画像解析部111が画像を解析した結果及び事象情報に基づいて、当該画像に含まれる移動体の中から、予め設定される事象に該当する移動体を検出する。
 情報送信部256は、外観情報を生成して監視装置201へネットワークNを介して監視装置201へ送信する。また、情報送信部256は、事象検出部113が生成する検出情報をネットワークNを介して監視装置201へ送信する。
 詳細には、情報送信部256は、撮影装置152が撮影した画像を含む外観情報である第1情報を生成して送信する。さらに、情報送信部256は、撮影装置152が撮影した画像を含まない外観情報である第2情報を生成して送信する。
 第1情報は、画像と、当該画像から得られる移動体の外観特徴量及び属性の少なくとも一方を含む。第2情報は、共通の画像から得られる移動体の外観特徴量及び属性の少なくとも一方を含む。
 図15は、本実施形態に係る外観情報の構成の一例を示す図である。図15(a)は、第1情報の例を示す。図15(b)は、第2情報の例を示す。
 第1情報は、画像と、外観特徴量と、属性と、撮影時刻と、装置ID(Identifier)と、撮影場所を関連付ける。
 第1情報にて関連付けられる各要素は、撮影装置152が撮影した共通の画像に関する情報である。すなわち、第1情報に含まれる画像は、撮影装置152が撮影した画像である。外観特徴量及び属性は、これらに関連付けられた画像から得られる外観特徴量及び属性である。撮影時刻は、これに関連付けられた画像が撮影された時刻である。装置IDは、これに関連付けられた画像を撮影した撮影装置152を識別するための情報である。撮影場所は、これに関連付けられた画像が撮影された場所を示す。
 第2情報は、外観特徴量と、属性と、撮影時刻と、装置ID(Identifier)と、撮影場所を関連付ける。
 第2情報にて関連付けられる各要素は、撮影装置152が撮影した共通の画像に関する情報である。すなわち、第2情報に含まれる外観特徴量及び属性は、共通の画像から得られる外観特徴量及び属性である。撮影時刻は、当該共通の画像を撮影した時刻である。装置IDは、当該共通の画像を撮影した撮影装置152を識別するための情報である。撮影場所は、当該共通の画像が撮影された場所を示す。
 情報送信部256は、事象に該当する移動体が検出されたか否かに応じて、第1送信レートを高レートと低レートとで切り替える。
 送信レートは、情報送信部256が単位時間当たりに情報を送信する回数である。第1送信レートは、第1情報の送信レート、すなわち、情報送信部256が単位時間当たりに第1情報を送信する回数である。高レートは、低レートよりも高い、すなわち単位時間当たりに情報を送信する回数が多い送信レートである。
 情報送信部256は、通常時は低レートで第1情報を送信し、事象に該当する移動体が検出された場合に、高レートで第1情報を送信する。より詳細には、情報送信部256は、事象に該当する移動体が検出される前の所定時間T1と、当該事象に該当する移動体が検出された後の所定時間T2との間、第1情報を高レートで送信する。事象に該当する移動体が検出される前後の所定時間T1,T2を除いて、情報送信部256は、低レートで第1情報を送信する。
 情報送信部256は、第2送信レートで第2情報を送信する。
 第2送信レートは、第2情報の送信レート、すなわち、情報送信部256が単位時間当たりに第2情報を送信する回数である。第2送信レートは、低レートよりも高い送信レートである。本実施形態では、第2送信レートは、高レートと同じである例を用いて説明する。
 このように、情報送信部256は、通常時は、高レートで第2情報を送信するとともに、低レートで第1情報を送信する。事象に該当する移動体が検出されると、情報送信部256は、事象検出部113が生成する検出情報を送信する。そして、事象に該当する移動体が検出される前後の所定時間T1,T2については、情報送信部256は、高レートで第1情報及び第2情報を送信する。
(監視装置201の構成例)
 監視装置201は、図13に示すように機能的に、実施形態1に係る取得部102及び処理部103に代わる取得部202及び処理部203と、実施形態1と同様の履歴記憶部104、入力受付部105及び表示部106とを含む。
 取得部202は、情報送信部256から送信される情報を端末253からネットワークNを介して取得し、取得した情報を履歴記憶部104に記憶させる。
 詳細には、本実施形態に係る取得部202は、情報送信部256から送信される外観情報(第1情報及び第2情報)を取得し、取得した外観情報(第1情報及び第2情報)を履歴記憶部104に記憶させる。また、取得部202は、情報送信部256から送信される検出情報を取得する。
 処理部203は、実施形態1と同様に、外観情報を用いて統計処理を実行する。また、処理部203は、例えば、画像が撮影された場所の属性、画像が撮影された時間帯、画像に含まれる移動体の属性の少なくとも1つに基づいて、統計処理を実行する。
 本実施形態に係る処理部203は、外観情報に含まれる移動体の外観特徴量及び属性の少なくとも一方を用いて統計処理を実行する。処理部203は、事象に該当する移動体の検出結果をさらに用いて統計処理を実行する。
 処理部203は、画像が撮影された場所の属性、画像が撮影された時間帯、画像に含まれる移動体の属性の少なくとも1つに基づいて、統計処理を実行する。
 処理部203は、例えばユーザの入力に従って事象情報を取得すると、当該取得した事象情報を端末253へネットワークNを介して送信する。
 図16は、本実施形態に係る処理部103の機能的な構成例を示す図である。処理部203は、実施形態1と同様の統計処理部114と、事象設定部216とを含む。
 事象設定部216は、例えばユーザの入力に従って事象情報を取得する。事象設定部216は、当該取得した事象情報を保持するとともに、端末253へネットワークNを介して送信する。
 これまで、実施形態2に係る監視システム200の機能的な構成について主に説明した。本実施形態に係る監視システム200は、物理的には、実施形態1に係る監視システム100と同様に構成されるとよい。すなわち、例えば、本実施形態に係る監視装置201、端末253は、物理的には、実施形態1に係る監視装置101、端末153のそれぞれと同様に構成されるとよい。
 ここから、本実施形態に係る末端システム251の動作について説明する。
 撮影装置152は、実施形態1と同様に、ステップS151及びS152を繰り返し実行する(図8参照)。
 図17は、本実施形態に係る端末処理の一例を示すフローチャートである。端末処理は、端末253が街中を監視するために実行する処理である。例えばユーザからの指示に応じて開始される。第1送信レートの初期値は、例えば、低レートであり、情報送信部256に保持される。
 画像取得部254は、実施形態1と同様のステップS153を実行する。
 画像解析部111は、実施形態1と同様のステップS102a~S102bを実行する。事象検出部113は、実施形態1と同様に、事象に該当する移動体が検出されたか否かを判定する(ステップS102c)。
 事象に該当する移動体が検出されていない場合(ステップS102c;No)、情報送信部256は、前回の検出から所定時間T2が経過したか否かを判定する(ステップS256)。
 詳細には例えば、情報送信部256は、事象検出部113が事象に該当する移動体を前回検出した時からの経過時間に基づいて、所定時間T2が経過したか否かを判定する。所定時間T2が経過していない場合は、事象検出部113が事象に該当する移動体を一度も検出していない場合を含む。
 所定時間T2が経過した場合(ステップS256;Yes)、情報送信部256は、第1情報又は第2情報を生成する(ステップS257)。情報送信部256は、ステップS257で生成した第1情報又は第2情報を、ネットワークNを介して監視装置201へ送信する(ステップS258)。
 ステップS257で生成される第1情報及び第2情報は、ステップS102a~S102bで求められた移動体の外観特徴量及び属性を含む。ステップS257で生成される第1情報は、さらに、当該移動体の外観特徴量及び属性を求めるために用いた画像を含む。
 ステップS257では、情報送信部256は、高レート(本実施形態における第2送信レート)での送信時期であるか否かに応じて、第1情報と第2情報とのいずれか一方を生成する。詳細には、低レートでの送信時期である場合、情報送信部256は、第1情報を生成する。それ以外の場合(すなわち、高レートの送信時期であって、低レートでの送信時期でない場合)、情報送信部256は、第2情報を生成する。
 これにより、情報送信部256は、低レートで第1情報を生成して送信することができる。また、情報送信部256は、高レートで第2情報を生成して送信することができる。
 情報送信部256は、第1送信レートに低レートを設定し(ステップS259)、ステップS153に戻る。
 事象に該当する移動体が検出された場合(ステップS102c;Yes)、事象検出部113は、検出時処理(ステップS260)を実行する。
 図18は、本実施形態に係る検出時処理(ステップS260)の詳細例を示すフローチャートである。
 事象検出部113は、実施形態1と同様のステップS102dを実行する。報知部115は、実施形態1と同様のステップS102eを実行する。
 情報送信部256は、検出前の画像情報を送信する(ステップS260a)
 詳細には、情報送信部256は、画像取得部254が保持する過去の所定時間T1に撮影された画像を含む画像情報を、画像取得部254から取得する。情報送信部256は、当該取得した画像情報を、ネットワークNを介して監視装置201へ送信する。
 情報送信部256は、第1情報を生成する(ステップS260b)。
 ステップS260bにて生成される第1情報は、ステップS257で生成される第1情報と同様である。
 情報送信部256は、第1情報及び検出情報を送信する(ステップS260c)。
 詳細には、情報送信部256は、ステップS260bで生成した第1情報とステップS102dで生成した検出情報とを、ネットワークNを介して監視装置201へ送信する。
 情報送信部256は、第1送信レートに高レートを設定し(ステップS258)、ステップS153(図17参照)に戻る。
 図17を再び参照する。
 所定時間T2が経過していない場合(ステップS256;No)、情報送信部256は、第1情報を生成する(ステップS261)。ステップS261で生成される第1情報は、ステップS258で生成される第1情報と同様である。情報送信部256は、ステップS261で生成した第1情報を、ネットワークNを介して監視装置201へ送信し(ステップS262)、ステップS153に戻る。
 ステップS261及びS262は、事象に該当する移動体が検出されてから所定時間T2内に実行されるため、ステップS260dの後に実行される。そのため、ステップS261及びS262を実行する時に設定されている送信レートは、高レートである。情報送信部256は、設定されている第1送信レートである高レートでの送信時期に応じて、ステップS261及びS262を実行する。これにより、情報送信部256は、事象に該当する移動体が検出されてから所定時間T2が経過するまで、高レートで第1情報を送信することができる。
 このような端末処理を実行することで、端末253は、通常時は低レートで第1情報を送信し、事象に該当する移動体が検出された場合に、高レートで第1情報を送信することができる。第1情報は、画像を含むため、第2情報よりもデータサイズが大きい。そのため、第1情報を常に高レートで送信するよりも、ネットワークNにおける通信負荷を軽減することが可能になる。
 また、監視装置201は、画像を含む第1情報を低レートで取得することができる。そのため、必要に応じて、画像を確認することができる。事象に該当する移動体が検出された場合には、監視装置201は、第1情報を取得することができる。そのため、移動体が検出された前後の画像を管理することができ、必要に応じて、詳細な画像を確認することができる。
 さらに、端末253は、低レートよりも高い送信レートである第2送信レート(本実施形態では、高レート)で第2情報を送信する。そのため、監視装置201は、高い送信レートで取得する移動体の外観情報及び属性に基づいて、統計処理を実行することができる。これにより、実施形態1と概ね同様の精度の統計処理の結果を得ることができる。
 図19は、本実施形態に係る監視処理の一例を示すフローチャートである。取得部102は、実施形態1と同様のステップS101を実行する。処理部203は、実施形態1に係るステップS102に代わるステップS202を実行する。
 図20は、本実施形態に係る第1処理(ステップS202)の詳細例を示すフローチャートである。統計処理部114は、実施形態1と同様のステップS102f及びS102gを実行する。
(作用・効果)
 本実施形態によれば、外観情報は、移動体の外観特徴量を含む。
 これにより、監視装置201は、移動体の外観特徴量を用いて統計処理を実行することができるので、統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 また、移動体の外観特徴量を用いた統計処理を実行するために外観情報に画像を含めなくてもよくなるので、ネットワークNにおける通信負荷を軽減することが可能になる。
 本実施形態によれば、外観情報は、移動体の属性をさらに含む。
 これにより、監視装置201は、移動体の属性を用いて統計処理を実行することができるので、統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 また、移動体の属性を用いた統計処理を実行するために、外観情報に画像を含めなくてもよくなるので、ネットワークNにおける通信負荷を軽減することが可能になる。
 本実施形態によれば、取得部202は、予め設定される事象に該当する移動体の検出結果を示す検出情報をさらに取得する。
 これにより、監視装置201は、事象に関する統計処理を実行することができ、その統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 また、事象に関する統計処理を実行するために、画像を送信しなくてもよくなるので、ネットワークNにおける通信負荷を軽減することが可能になる。
 本実施形態によれば、監視装置201は、予め設定される事象に関する事象情報を端末253へ送信する事象設定部216をさらに備える。
 これにより、監視装置201を通じて、1つ以上の端末253のすべてに共通の事象情報を設定することができるので、1つ以上の端末253の各々に事象情報を設定する手間を省くことができる。従って、街中の安全性向上を容易に支援することが可能になる。
<実施形態3>
 図21は、実施形態3に係る監視システム300の構成例を示す図である。監視システム300は、実施形態2に係る監視装置201に代わる監視装置301と、実施形態2と同様の末端システム251a~251dと、2つのミドル装置361a~361bとを備える。なお、監視システム300が備えるミドル装置の数は、2つに限らず、1つ以上であれば、幾つであってもよい。
 ミドル装置361a~361bは、監視装置301と端末253a~253dの各々とに、ネットワークNを介して接続されており、ネットワークNを介して互いに情報を送受信する。
 ミドル装置361a~361bの各々は、1つ又は複数の末端システム251に対応付けられている。すなわち、ミドル装置361a~361bの各々は、ネットワークNにおいて、端末253a~253dと監視装置301との中間に位置付けられる。
 ミドル装置361a~361bの各々は、同様に構成されてよい。ミドル装置361a~361bを区別しない場合、各々をミドル装置361とも称する。
 ミドル装置361は、警察のなどの所定の機関において利用される装置である。すなわち、ミドル装置361は、報知部115が検出情報を送信する装置の例である。
 ミドル装置361は、機関において出動した場合の当該出動に関する出動情報を、ネットワークNを介して監視装置301へ送信する。
 監視装置301は、実施形態2に係る処理部203に代わる処理部303を備える。この点を除いて、監視装置301は、実施形態2に係る監視装置201と同様に構成されるとよい。
 図22は、本実施形態に係る処理部303の機能的な構成例を示す図である。処理部303は、実施形態2と同様の統計処理部114及び事象設定部216と、事象更新部317とを備える。
 事象更新部317は、ミドル装置361から出動情報を取得する。事象更新部317は、当該取得した出動情報に基づいて事象情報を更新するための更新情報を端末253へネットワークNを介して送信する。
 これまで、実施形態3に係る監視システム300の機能的な構成について主に説明した。本実施形態に係る監視装置301及びミドル装置361の各々は、物理的には、実施形態1に係る監視装置101と同様に構成されるとよい。
 ここから、本実施形態に係る監視システム300の動作について説明する。
 本実施形態に係る監視システム300は、実施形態2と同様の処理に加えて、事象情報を更新するための事象更新処理を実行する。
 図23は、本実施形態に係る事象更新処理の一例を示すフローチャートである。事象更新処理は、例えば、監視システム300の稼働中に繰り返し実行される。
 ミドル装置361は、機関において出動した場合に、当該出動に関する出動情報を生成する(ステップS301)。
 詳細には例えば、ミドル装置361は、ユーザの入力などに基づいて、出動時刻、出発地、目的地、事象などを含む出動情報を生成する。出動時刻は、出動した時刻である。出発地は、出動した機関の所在地である。目的地は、出動する目的地である。事象は、出動の原因となった事象である。
 ミドル装置361は、ステップS301にて生成した出動情報をネットワークNを介して監視装置301へ送信する(ステップS302)。
 事象更新部317は、ミドル装置361から出動情報を取得する(ステップS303)。
 事象更新部317は、ステップS303で取得した出動情報に基づいて事象情報を更新するための更新情報を生成する(ステップS304)。
 詳細には例えば、事象更新部317は、事象検出部113が出動情報に対応する事象を検出していない場合に、出動情報に含まれる目的地の画像、当該画像から得られる移動体の外観情報及び属性の少なくとも1つを参照する。
 事象更新部317は、当該参照した画像、移動体の外観情報及び属性の少なくとも1つに基づいて、事象検出部113が出動情報に含まれる事象を検出するための検出条件を作成する。検出条件は、例えば、当該参照した画像、移動体の外観情報及び属性の少なくとも1つを含む。事象更新部317は、出動情報に対応する事象と、当該作成した検出条件とを関連付けた更新情報を生成する。
 事象更新部317は、ステップS304で生成した更新情報を端末253へネットワークNを介して送信する(ステップS305)。
 事象取得部255は、更新情報を取得する(ステップS306)。事象取得部255は、ステップS306で取得した更新情報に基づいて、事象記憶部112に記憶された事象情報を更新する(ステップS307)。
 これにより、事象検出部113が事象を検出できなかった場合に、実際に発生した事象に関連する画像、移動体の外観情報及び属性の少なくとも1つに基づいて、事象情報を更新することができる。
(作用・効果)
 本実施形態によれば、端末253は、検出した移動体に関する検出情報をミドル装置361へ送信する。
 これにより、監視装置301は、移動体の外観特徴量を用いて統計処理を実行することができるので、統計処理の結果に基づいて、大局的な見地から街中の安全のための施策を講じることができる。従って、街中の安全性向上を支援することが可能になる。
 これにより、検出された報知事象に早く対応することができる。従って、街中の安全性の向上を支援することが可能になる。
 本実施形態によれば、ミドル装置361は、所定の機関において利用される装置である。監視装置301は、機関において出動した場合の当該出動に関する出動情報を取得し、当該取得した出動情報に基づいて事象情報を更新するための更新情報を端末253へ送信する事象更新部317をさらに備える。
 これにより、事象検出部113が事象を検出できなかった場合に、事象情報を更新することができるので、より精度良く事象を検出できるように事象情報を更新することができる。従って、街中の安全性向上を支援することが可能になる。
 以上、図面を参照して本発明の実施の形態及び変形例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
 また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、実施の形態の各々で実行される工程の実行順序は、その記載の順番に制限されない。実施の形態の各々では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の実施の形態及び変形例は、内容が相反しない範囲で組み合わせることができる。
 上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. 街中に設置された複数の撮影装置が撮影した画像に含まれる移動体の外観に関する外観情報を取得する取得手段と、
 前記外観情報を用いて統計処理を実行する処理手段とを備える
 監視装置。
2. 前記移動体は、人及び車両の少なくとも一方を含む
 1.に記載の監視装置。
3. 前記外観情報は、前記画像を含み、
 前記処理手段は、前記外観情報に含まれる画像を解析して前記移動体の外観特徴量を求め、当該求めた外観特徴量を用いて統計処理を実行する
 1.又は2.に記載の監視装置。
4. 前記処理手段は、前記外観情報に含まれる画像を解析して前記移動体の属性をさらに求め、当該移動体の属性をさらに用いて統計処理を実行する
 3.に記載の監視装置。
5. 前記外観情報は、前記移動体の外観特徴量を含む
 1.又は2.に記載の監視装置。
6. 前記外観情報は、前記移動体の属性をさらに含む
 5.に記載の監視装置。
7. 前記外観特徴量は、前記移動体の外観属性、姿勢、動きの少なくとも1つに関する特徴量を含む
 3.から6.のいずれか1つに記載の監視装置。
8. 前記移動体の動きに関する特徴量は、動線、移動速度の少なくとも1つを含む
 7.に記載の監視装置。
9. 前記処理手段は、前記画像が撮影された場所の属性、前記画像が撮影された時間帯、前記画像に含まれる移動体の属性の少なくとも1つに基づいて、前記統計処理を実行する
 1.から8.のいずれか1つに記載の監視装置。
10. 前記場所の属性は、移動体の通行における特性、地域の少なくとも1つを含む
 9.に記載の監視装置。
11. 前記処理手段は、前記外観情報に含まれる画像を解析した結果に基づいて、予め設定される事象に該当する移動体を検出する
 1.から10.のいずれか1つに記載の監視装置。
12. 前記処理手段は、前記事象の中から予め定められる報知事象に該当する移動体が検出された場合に、当該報知事象に関連付けて予め定められる報知先へ当該報知事象が検出されたことを報知する
 11.に記載の監視装置。
13. 前記取得手段は、予め設定される事象に該当する移動体の検出結果を示す検出情報をさらに取得する
 1.から10.のいずれか1つに記載の監視装置。
14. 前記予め設定される事象に関する事象情報を端末へ送信する事象設定手段とをさらに備える
 13.に記載の監視装置。
15. 前記処理手段は、前記予め設定される事象に該当する移動体の検出結果をさらに用いて統計処理を実行する
 11.から14.のいずれか1つに記載の監視装置。
16. 前記事象は、移動体の姿勢、動き、属性の少なくとも1つに関連する
 11.から15.のいずれか1つに記載の監視装置。
17. 1.から16.のいずれか1つに記載の監視装置と、
 前記複数の撮影装置と、
 前記複数の撮影装置に接続される少なくとも1つの端末とを備え、
 前記端末は、前記外観情報を前記監視装置へ送信する
 監視システム。
18. 前記端末は、前記画像を解析して前記移動体の外観特徴量を求め、当該求めた外観特徴量を含む前記外観情報を前記監視装置へ送信する
 17.に記載の監視システム。
19. 前記端末は、前記画像を解析して前記移動体の属性をさらに求め、当該求めた移動体の属性をさらに含む前記外観情報を前記監視装置へ送信する
 17.又は18.に記載の監視システム。
20. 前記外観情報は、前記複数の撮影装置が撮影した画像を含む
 17.から19.のいずれか1つに記載の監視システム。
21. 前記端末は、予め設定される事象に関する事象情報を前記監視装置から取得し、前記画像を解析した結果に基づいて前記事象に該当する移動体を検出する
 17.から20.のいずれか1つに記載の監視システム。
22. 前記端末は、前記検出した移動体に関する検出情報を前記監視装置へ送信する
 21.に記載の監視システム。
23. 少なくとも1つのミドル装置をさらに備え、
 前記端末は、前記検出した移動体に関する検出情報を前記ミドル装置へ送信する
 21.又は22.に記載の監視システム。
24. 前記ミドル装置は、所定の機関において利用される装置であり、
 前記監視装置は、前記機関において出動した場合の当該出動に関する出動情報を取得し、当該取得した出動情報に基づいて前記事象情報を更新するための更新情報を前記端末へ送信する事象更新手段をさらに備える
 23.に記載の監視システム。
25. コンピュータが、
 街中に設置された複数の撮影装置が撮影した画像に含まれる移動体の外観に関する外観情報を取得し、
 前記外観情報を用いて統計処理を実行する
 監視方法。
26. コンピュータに、
 街中に設置された複数の撮影装置が撮影した画像に含まれる移動体の外観に関する外観情報を取得し、
 前記外観情報を用いて統計処理を実行させるためのプログラムを記録した記録媒体。
27. コンピュータに、
 街中に設置された複数の撮影装置が撮影した画像に含まれる移動体の外観に関する外観情報を取得し、
 前記外観情報を用いて統計処理を実行させるためのプログラム。
100,200,300 監視システム
101,201,301 監視装置
102,202 取得部
103,203,303 処理部
104 履歴記憶部
105 入力受付部
106 表示部
111 画像解析部
112 事象記憶部
113 事象検出部
114 統計処理部
115 報知部
151,151a~151d,251,251a~251d 末端システム
152,152a~152d 撮影装置
153,153a~153d,253,253a~253d 端末
216 事象設定部
254 画像取得部
255 事象取得部
256 情報送信部
317 事象更新部
361,361a~361b ミドル装置

Claims (26)

  1.  街中に設置された複数の撮影装置が撮影した画像に含まれる移動体の外観に関する外観情報を取得する取得手段と、
     前記外観情報を用いて統計処理を実行する処理手段とを備える
     監視装置。
  2.  前記移動体は、人及び車両の少なくとも一方を含む
     請求項1に記載の監視装置。
  3.  前記外観情報は、前記画像を含み、
     前記処理手段は、前記外観情報に含まれる画像を解析して前記移動体の外観特徴量を求め、当該求めた外観特徴量を用いて統計処理を実行する
     請求項1又は2に記載の監視装置。
  4.  前記処理手段は、前記外観情報に含まれる画像を解析して前記移動体の属性をさらに求め、当該移動体の属性をさらに用いて統計処理を実行する
     請求項3に記載の監視装置。
  5.  前記外観情報は、前記移動体の外観特徴量を含む
     請求項1又は2に記載の監視装置。
  6.  前記外観情報は、前記移動体の属性をさらに含む
     請求項5に記載の監視装置。
  7.  前記外観特徴量は、前記移動体の外観属性、姿勢、動きの少なくとも1つに関する特徴量を含む
     請求項3から6のいずれか1項に記載の監視装置。
  8.  前記移動体の動きに関する特徴量は、動線、移動速度の少なくとも1つを含む
     請求項7に記載の監視装置。
  9.  前記処理手段は、前記画像が撮影された場所の属性、前記画像が撮影された時間帯、前記画像に含まれる移動体の属性の少なくとも1つに基づいて、前記統計処理を実行する
     請求項1から8のいずれか1項に記載の監視装置。
  10.  前記場所の属性は、移動体の通行における特性、地域の少なくとも1つを含む
     請求項9に記載の監視装置。
  11.  前記処理手段は、前記外観情報に含まれる画像を解析した結果に基づいて、予め設定される事象に該当する移動体を検出する
     請求項1から10のいずれか1項に記載の監視装置。
  12.  前記処理手段は、前記事象の中から予め定められる報知事象に該当する移動体が検出された場合に、当該報知事象に関連付けて予め定められる報知先へ当該報知事象が検出されたことを報知する
     請求項11に記載の監視装置。
  13.  前記取得手段は、予め設定される事象に該当する移動体の検出結果を示す検出情報をさらに取得する
     請求項1から10のいずれか1項に記載の監視装置。
  14.  前記予め設定される事象に関する事象情報を端末へ送信する事象設定手段とをさらに備える
     請求項13に記載の監視装置。
  15.  前記処理手段は、前記予め設定される事象に該当する移動体の検出結果をさらに用いて統計処理を実行する
     請求項11から14のいずれか1項に記載の監視装置。
  16.  前記事象は、移動体の姿勢、動き、属性の少なくとも1つに関連する
     請求項11から15のいずれか1項に記載の監視装置。
  17.  請求項1から16のいずれか1項に記載の監視装置と、
     前記複数の撮影装置と、
     前記複数の撮影装置に接続される少なくとも1つの端末とを備え、
     前記端末は、前記外観情報を前記監視装置へ送信する
     監視システム。
  18.  前記端末は、前記画像を解析して前記移動体の外観特徴量を求め、当該求めた外観特徴量を含む前記外観情報を前記監視装置へ送信する
     請求項17に記載の監視システム。
  19.  前記端末は、前記画像を解析して前記移動体の属性をさらに求め、当該求めた移動体の属性をさらに含む前記外観情報を前記監視装置へ送信する
     請求項17又は18に記載の監視システム。
  20.  前記外観情報は、前記複数の撮影装置が撮影した画像を含む
     請求項17から19のいずれか1項に記載の監視システム。
  21.  前記端末は、予め設定される事象に関する事象情報を前記監視装置から取得し、前記画像を解析した結果に基づいて前記事象に該当する移動体を検出する
     請求項17から20のいずれか1項に記載の監視システム。
  22.  前記端末は、前記検出した移動体に関する検出情報を前記監視装置へ送信する
     請求項21に記載の監視システム。
  23.  少なくとも1つのミドル装置をさらに備え、
     前記端末は、前記検出した移動体に関する検出情報を前記ミドル装置へ送信する
     請求項21又は22に記載の監視システム。
  24.  前記ミドル装置は、所定の機関において利用される装置であり、
     前記監視装置は、前記機関において出動した場合の当該出動に関する出動情報を取得し、当該取得した出動情報に基づいて前記事象情報を更新するための更新情報を前記端末へ送信する事象更新手段をさらに備える
     請求項23に記載の監視システム。
  25.  コンピュータが、
     街中に設置された複数の撮影装置が撮影した画像に含まれる移動体の外観に関する外観情報を取得し、
     前記外観情報を用いて統計処理を実行する
     監視方法。
  26.  コンピュータに、
     街中に設置された複数の撮影装置が撮影した画像に含まれる移動体の外観に関する外観情報を取得し、
     前記外観情報を用いて統計処理を実行させるためのプログラムを記録した記録媒体。
PCT/JP2022/009199 2022-03-03 2022-03-03 監視装置、監視システム、監視方法及び記録媒体 WO2023166675A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/009199 WO2023166675A1 (ja) 2022-03-03 2022-03-03 監視装置、監視システム、監視方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/009199 WO2023166675A1 (ja) 2022-03-03 2022-03-03 監視装置、監視システム、監視方法及び記録媒体

Publications (1)

Publication Number Publication Date
WO2023166675A1 true WO2023166675A1 (ja) 2023-09-07

Family

ID=87883347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/009199 WO2023166675A1 (ja) 2022-03-03 2022-03-03 監視装置、監視システム、監視方法及び記録媒体

Country Status (1)

Country Link
WO (1) WO2023166675A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015228626A (ja) * 2014-06-02 2015-12-17 株式会社東芝 画像出力装置、画像管理システム、画像処理方法及びプログラム
JP2016173692A (ja) * 2015-03-17 2016-09-29 株式会社ゼンリンデータコム 調査マッピング装置、調査結果集計方法および調査結果集計プログラム
WO2019187291A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 情報処理装置、道路分析方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015228626A (ja) * 2014-06-02 2015-12-17 株式会社東芝 画像出力装置、画像管理システム、画像処理方法及びプログラム
JP2016173692A (ja) * 2015-03-17 2016-09-29 株式会社ゼンリンデータコム 調査マッピング装置、調査結果集計方法および調査結果集計プログラム
WO2019187291A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 情報処理装置、道路分析方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Similar Documents

Publication Publication Date Title
US10977938B2 (en) Signal control apparatus and signal having the same
US20200218257A1 (en) Emergency driver assistant
KR101833359B1 (ko) 차량의 외부 영상 빅데이터를 이용한 교통 정보 수집 방법 및 장치
JP6200421B2 (ja) 運転支援システム及び運転支援方法
CN114446056B (zh) 车辆信息码的生成以及车辆通行控制方法、装置及设备
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN113380021B (zh) 车辆状态检测方法、装置、服务器及计算机可读存储介质
CN111178286A (zh) 姿态轨迹预测方法、装置及电子设备
Ravish et al. Intelligent traffic violation detection
KR102499340B1 (ko) 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법
Wang et al. Vision-based highway traffic accident detection
WO2023166675A1 (ja) 監視装置、監視システム、監視方法及び記録媒体
CN118176528A (zh) 方法、设备、系统和计算机程序
CN116486472A (zh) 监控视频的群体行为识别方法以及系统
JP6997471B2 (ja) 情報処理システム、情報処理装置、端末装置、サーバ装置、プログラム、又は方法
JP7459781B2 (ja) 制御装置、方法、及びプログラム
Kumar et al. Aerial Imaging Rescue and Integrated System for Road Monitoring Based on AI/ML
JP2004287605A (ja) 判定装置、状況判定システム、判定方法およびプログラム
TWI843641B (zh) 根據交通場景影片自動整理事故發生因素並預測路段事故的方法及電腦裝置、電腦可讀取的記錄媒體
JP6842099B1 (ja) 情報処理システム、情報処理装置、端末装置、サーバ装置、プログラム、又は方法
WO2023135781A1 (ja) 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体
Arafat Computer Vision-Based Affordable High-Density Traffic Monitoring System
JPWO2021106180A1 (ja) 情報処理システム、情報処理装置、端末装置、サーバ装置、プログラム、又は方法
Jahnavi et al. Review on Machine Learning‐based Traffic Rules Contravention Detection System
Naik et al. Cloud-Based Smart Traffic Lights Monitoring and Controlling Using IoT

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22929820

Country of ref document: EP

Kind code of ref document: A1