WO2023152889A1 - 監視装置、監視システム、監視方法及びプログラム - Google Patents

監視装置、監視システム、監視方法及びプログラム Download PDF

Info

Publication number
WO2023152889A1
WO2023152889A1 PCT/JP2022/005413 JP2022005413W WO2023152889A1 WO 2023152889 A1 WO2023152889 A1 WO 2023152889A1 JP 2022005413 W JP2022005413 W JP 2022005413W WO 2023152889 A1 WO2023152889 A1 WO 2023152889A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
action
image
monitoring device
predetermined
Prior art date
Application number
PCT/JP2022/005413
Other languages
English (en)
French (fr)
Inventor
登 吉田
智史 山崎
健全 劉
テイテイ トウ
カレン ステファン
洋平 佐々木
悠太 並木
直樹 進藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/005413 priority Critical patent/WO2023152889A1/ja
Publication of WO2023152889A1 publication Critical patent/WO2023152889A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring device, a monitoring system, a monitoring method and a program.
  • the processing device described in Patent Document 1 has image analysis means, registration management means, and change determination means.
  • the image analysis means extracts a plurality of types of feature amounts of the person detected from the image.
  • the registration management means determines whether or not the data of the detected person is stored in the storage unit storing the feature amounts of each of the plurality of persons, based on the extracted feature amount.
  • the change determining means determines a change in the appearance of the detected person based on the feature amount stored in the storage unit and the extracted feature amount. Determine the presence or absence of
  • the image search device described in Patent Document 2 includes a posture estimation unit, a feature amount extraction unit, an image database, a query generation unit, and an image search unit.
  • the posture estimation unit recognizes posture information of a search target composed of a plurality of feature points from the input image.
  • the feature amount extraction unit extracts feature amounts from the posture information and the input image.
  • the image database accumulates feature values in association with input images.
  • the query generator generates a search query from the posture information designated by the user.
  • the image search unit searches the image database for images including similar postures according to the search query.
  • the video monitoring device described in Patent Document 3 has an imaging unit, a video processing unit, a gaze feature calculation unit, an information recording unit, and a notification unit.
  • the video processing unit detects a person from the image captured by the imaging unit, and extracts line-of-sight direction information of the person.
  • the gaze feature calculation unit calculates a gaze feature amount from the line-of-sight direction information for each person.
  • the information recording unit records an image obtained from the imaging unit, line-of-sight direction information for each person, and gaze feature amount.
  • the notification unit obtains information about the action of the captured person from the gaze feature amount recorded in the information recording unit and notifies the information.
  • Patent document 4 calculates the stress index of an immigrant from biometric data detected by a biosensor in an immigration inspection area, and if the stress index is higher than a predetermined reference value, the immigrant is presumed to be a suspicious person. There is a description to that effect. Further, it is described that vital data such as electroencephalogram, cerebral blood flow, pulse wave, blood pressure, respiration rate, body temperature, and perspiration can be used as biological data.
  • vital data such as electroencephalogram, cerebral blood flow, pulse wave, blood pressure, respiration rate, body temperature, and perspiration can be used as biological data.
  • inspection sites such as customs are one of the places that require particular vigilance for illegal crackdowns.
  • the inspection site is also one of the places where it is difficult to monitor because it is often crowded according to the departure and arrival of airplanes and because there are many people with large luggage.
  • Patent Documents 1 to 3 do not disclose techniques for monitoring inspection sites. Therefore, the techniques described in Patent Documents 1 to 3 may not be able to effectively support surveillance at inspection sites.
  • Patent Document 4 if the stress index calculated from the biometric data of an immigrant is below a predetermined reference value, there is a risk that even if the immigrant is a suspicious person who needs to be cracked down, it cannot be detected. Therefore, even the technology described in Patent Literature 4 may not be able to effectively support monitoring at the inspection site.
  • One example of the object of the present invention is to provide a monitoring device, a monitoring system, a monitoring method, and a program that solve the problem of not being able to effectively support monitoring at inspection sites in view of the above-mentioned problems.
  • a detection means for detecting a person who has performed a predetermined action based on an image of the inspection site; and output means for outputting detection information relating to the detected person.
  • a monitoring device as described above; and an imaging device that generates image information including an image of the inspection field in response to imaging the inspection field.
  • the computer Based on the image of the inspection site, detect a person who has performed a predetermined action, A monitoring method is provided, including outputting detection information about the detected person.
  • a program for executing outputting detection information about the detected person.
  • FIG. 4 is a flowchart showing an overview of monitoring processing according to the first embodiment of the present invention
  • 1 is a diagram showing a configuration example of a monitoring system according to Embodiment 1 together with an example of an inspection field seen from above
  • FIG. 4 is a diagram illustrating a functional configuration example of a detection unit according to Embodiment 1
  • FIG. It is a figure which shows the physical structural example of the monitoring apparatus which concerns on Embodiment 1 of this invention.
  • FIG. 5 is a flowchart showing a detailed example of detection processing according to the first embodiment; 5 is a flowchart showing a detailed example of output processing according to the first embodiment; It is a figure which shows an example of a structure of detection information. It is a figure which shows an example of the detection information displayed on a display part.
  • FIG. 11 is a diagram showing a configuration example of a monitoring system according to modification 2; It is a figure which shows the structural example of the monitoring system which concerns on Embodiment 2 of this invention.
  • FIG. 11 is a diagram showing a configuration example of a monitoring system according to modification 2; It is a figure which shows the structural example of the monitoring system which concerns on Embodiment 2 of this invention.
  • FIG. 10 is a diagram illustrating a functional configuration example of a detection unit according to Embodiment 2; 9 is a flowchart showing an example of detection processing according to the second embodiment; It is a figure which shows the structural example of the monitoring system which concerns on Embodiment 3 of this invention.
  • FIG. 11 is a diagram illustrating a functional configuration example of a detection unit according to Embodiment 3; 10 is a flowchart showing an example of detection processing according to the third embodiment;
  • FIG. 1 is a diagram showing an overview of a monitoring system 100 according to Embodiment 1 of the present invention.
  • a monitoring system 100 includes an imaging device 101 and a monitoring device 102 .
  • the imaging device 101 generates image information including an image of the inspection field in response to imaging the inspection field.
  • the monitoring device 102 includes a detection unit 103 and an output unit 104 .
  • the detection unit 103 detects a person who has performed a predetermined action based on the captured image of the inspection site.
  • the output unit 104 outputs detection information regarding the detected person.
  • this monitoring system 100 it is possible to effectively support monitoring at the inspection site. According to this monitoring method, it becomes possible to effectively support monitoring at the inspection site.
  • FIG. 2 is a flow chart showing an overview of monitoring processing according to the first embodiment of the present invention.
  • the detection unit 103 detects a person who has performed a predetermined action based on an image of the inspection site (step S101).
  • the output unit 104 outputs detection information about the detected person (step S102).
  • FIG. 3 is a diagram showing a configuration example of the monitoring system 100 according to Embodiment 1 of the present invention together with an example of an inspection field R viewed from above.
  • the monitoring system 100 is a system for monitoring the inspection field R.
  • Inspection site R is, for example, a customs inspection site.
  • FIG. 3 shows a state in which three persons Pa, Pb, and Pc are present around an entry table T provided in an inspection field R. As shown in FIG. Near persons Pa, Pb, Pc are respective packages La, Lb, Lc. A smartphone SP is located near the person Pa.
  • any one of the persons Pa, Pb, and Pc will also be referred to as "person P.” That is, the “person P” is a person at the inspection site R.
  • the packages La, Lb, and Lc are not particularly distinguished, any one of the packages La, Lb, and Lc is also referred to as "package L.” That is, the “baggage L” is the luggage at the inspection area R.
  • the monitoring system 100 includes the imaging device 101 and the monitoring device 102 as described above.
  • the imaging device 101 and the monitoring device 102 are connected to each other via a network N.
  • Network N is a communication network configured by wire, wireless, or a combination thereof. Therefore, the imaging device 101 and the monitoring device 102 can transmit and receive information, data, etc. to and from each other via the network N.
  • FIG. 1 is a communication network configured by wire, wireless, or a combination thereof. Therefore, the imaging device 101 and the monitoring device 102 can transmit and receive information, data, etc. to and from each other via the network N.
  • the imaging device 101 is a device for imaging the inspection field R.
  • the imaging device 101 is a camera or the like.
  • the imaging device 101 images the inspection field R.
  • the imaging device 101 generates image information including an image of the inspection field R in response to imaging the inspection field R.
  • FIG. The imaging device 101 transmits image information to the monitoring device 102 via the network N.
  • the imaging device 101 may shoot continuously.
  • the imaging device 101 may transmit image information including a video (moving image) composed of a plurality of images to the monitoring device 102 in real time.
  • the imaging device 101 capture an image of the entire inspection field R.
  • the monitoring system 100 may include a plurality of photographing devices 101 .
  • the monitoring device 102 is a device for monitoring the inspection field R.
  • the monitoring device 102 specifically includes a detection unit 103 , an output unit 104 , a display unit 105 , an image storage unit 106 and a detection storage unit 107 .
  • the detection unit 103 detects the person P who has performed a predetermined action based on the image of the inspection site R included in the image information.
  • "behavior” includes not only moving but also standing still.
  • the detection unit 103 includes an image acquisition unit 108, an image analysis unit 109, and an analysis control unit 110, as shown in a functional configuration example of FIG.
  • the image acquisition unit 108 acquires image information from the imaging device 101 via the network N.
  • the image acquisition unit 108 can acquire image information including video (moving image) from the imaging device 101 in real time.
  • the image analysis unit 109 analyzes the captured image of the inspection field R included in the image information.
  • the image analysis unit 109 has one or more analysis functions for performing processing (analysis processing) for analyzing images.
  • the analysis processing performed by the analysis function provided in the image analysis unit 109 includes (1) object detection processing, (2) face analysis processing, (3) human type analysis processing, (4) posture analysis processing, (5) behavior analysis processing, (6) appearance attribute analysis processing; (7) gradient feature analysis processing; (8) color feature analysis processing;
  • an object can be detected from an image.
  • the object detection process can also determine the location of the object within the image.
  • Models applied to object detection processing include, for example, YOLO (You Only Look Once).
  • YOLO You Only Look Once
  • a person P, luggage L, smart phone SP, etc. can be detected.
  • object includes people and things, and the same applies hereinafter.
  • a person's face can be detected from an image.
  • face analysis processing it is possible to extract the feature amount of the detected face (face feature amount), classify the detected face (classification), and the like.
  • face detection process can also determine the location within the image of the face.
  • face detection process it is also possible to determine the identity of persons detected from different images based on the degree of similarity between facial feature amounts of persons detected from different images.
  • the human body feature values of the person included in the image are extracted, and the person included in the image is extracted.
  • Classification can be performed.
  • the human feature detection process can also identify a person's location within the image. In the human feature detection process, it is also possible to determine the identity of a person detected from different images based on the human body feature amount and the like included in the different images.
  • a person's joint points are detected from an image, and a stick figure model is constructed by connecting the joint points.
  • the information of the stick figure model is used to estimate the human posture, extract the feature value of the estimated posture (posture feature value), and classify the person included in the image (classification). can do.
  • posture analysis processing it is possible to determine the identity of a person detected from different images based on the posture feature amount of the person included in the different images.
  • a posture such as a crouching posture, a squatting posture, a standing posture, or a talking posture is estimated from an image, and a posture feature amount or the like is extracted.
  • a call posture is a posture in which a call is made using a call device such as a smartphone SP, and the same applies to the following.
  • the information of the stick figure model, changes in posture, etc. are used to estimate the movement of the person, extract the feature amount of the person's movement (movement feature amount), and classify the person included in the image. (Classification) etc. can be done.
  • the behavior detection process can also use information from the stick figure model to estimate a person's height or locate the person within an image.
  • Appearance attribute analysis processing can recognize appearance attributes associated with a person.
  • Appearance attributes are appearance attributes, and include, for example, one or more of clothing color, shoe color, hairstyle, wearing or not wearing hats, ties, eyeglasses, and the like.
  • the gradient feature amount (gradient feature amount) in the image can be obtained.
  • Techniques such as SIFT, SURF, RIFF, ORB, BRISK, CARD, and HOG can be applied to the gradient feature detection process.
  • color feature analysis processing an object can be detected from an image.
  • the color feature amount is a color histogram or the like.
  • the color feature analysis process for example, when a person P, luggage L, and smart phone SP included in an image are detected, they can be classified into classes of person P, luggage L, and smart phone SP.
  • the person's flow line (trajectory of movement) is obtained using, for example, the result of determining the identity of the person in any of the above analysis processes (2) to (6). can be done. Specifically, for example, by connecting a person determined to be the same between different images in chronological order, it is possible to obtain the flow line of the person. In the flow line analysis process, it is also possible to obtain a flow line across a plurality of images obtained by photographing different areas, such as images obtained by photographing adjacent areas.
  • the analysis control unit 110 controls the image analysis unit 109 and acquires the analysis result of the image analysis unit 109 . Then, the analysis control unit 110 detects the person P who has performed a predetermined action based on the analysis result of the image analysis unit 109 . Predetermined actions include one or more of the following first to fourth actions, and the like.
  • the first action is an action determined in relation to objects (for example, luggage L, smartphone SP) included in an image of inspection site R.
  • the analysis control unit 110 detects the person P performing the first action using object detection processing, action detection processing, and the like.
  • the second action is the action determined with respect to the line of sight of the person P included in the image of the inspection site R.
  • the analysis control unit 110 detects the person P performing the second action using face detection processing, action detection processing (for example, shoulder orientation), and the like.
  • face detection process may detect the position and movement of the iris and pupil (so-called black eye) in particular in the face, and obtain feature amounts of these.
  • the second action may be an action determined with respect to one or both of a predetermined person and object such as an inspection site R staff member and an investigative dog.
  • the second action further uses one or more of object detection processing, human feature detection processing, appearance attribute detection processing, gradient feature detection processing, color feature detection processing, etc. to perform the second action.
  • a person P may be detected.
  • the third action is the action determined for the movement of the person P included in the image of the inspection site R.
  • “movement” includes not only movement accompanied by changes in position, but also staying in a fixed place.
  • the analysis control unit 110 detects the person P who performs the third action using flow line analysis processing or the like.
  • the third action may be an action determined for moving one or both of a predetermined person and object, such as staff at the inspection site R, an investigation dog, and an entry table T.
  • the analysis control unit 110 performs object detection processing, human feature detection processing, appearance attribute detection processing, gradient feature detection processing, and color feature detection processing in order to detect one or both of predetermined persons and objects. , etc. may be further used to detect the person P performing the third action.
  • the fourth action is a predetermined action for entering and exiting a predetermined area (for example, inspection site R, toilet) of a person included in an image of inspection site R.
  • a predetermined area for example, inspection site R, toilet
  • the analysis control unit 110 detects the person P who performs the fourth action using flow line analysis processing or the like.
  • the analysis control unit 110 further uses, for example, object detection processing, gradient feature detection processing, and color feature detection processing to detect the person P performing the fourth action. good too.
  • the analysis control unit 110 may store information indicating the location of an entrance or exit such as a toilet in advance, and further use the information to detect the person P performing the fourth action.
  • the analysis control unit 110 may perform processing for tracking the detected person P.
  • the analysis control unit 110 may acquire the flow line of the detected person P using a flow line analysis process or the like.
  • the output unit 104 outputs detection information (see FIG. 8) regarding the person P detected by the analysis control unit 110 .
  • the detection information includes, for example, person identification information for identifying the detected person P.
  • the person identification information may be information indicating the position (eg, current position) of the detected person P.
  • the person identification information further includes at least one of an image of the inspection site R, a map of the inspection site R, and a mark indicating the detected person P on at least one of the image of the inspection site R, the map, and the like. It may be the attached information.
  • the image of the inspection site R included in the person identification information is preferably an image obtained by photographing the inspection site R, and more preferably an image obtained by detecting the marked person P.
  • the person identification information may include the result of tracking the detected person P.
  • the person identification information further includes an image of the inspection site R, a map of the inspection site R, etc., and may be information in which the flow line of the detected person P is added to the image, map, etc. of the inspection site R. .
  • the image of the inspection site R included in the person identification information is preferably an image of the inspection site R, more preferably an image in which the person P with the flow line is detected, and the most recent image in which the person P with the flow line is detected. Images are even more desirable.
  • the person identification information may be information indicating the appearance (clothing, hairstyle, etc.) of the detected person P.
  • the detection information may include, for example, the reason why the person P identified using the person identification information was detected.
  • the detected reason is information indicating the content of the predetermined action that caused the person P to be detected.
  • the display unit 105 displays various information.
  • the display unit 105 acquires the detection information from the output unit 104 and displays the detection information.
  • the display unit 105 is connected to the monitoring device 102 via the network N, and is a terminal device or the like (not shown) held by a staff member (especially a security guard) of the inspection site R. may
  • the image storage unit 106 is a storage unit for storing images acquired by the detection unit 103 (image acquisition unit 108).
  • the detection storage unit 107 is a storage unit for storing detection information.
  • a monitoring system 100 is physically composed of an imaging device 101 and a monitoring device 102 connected via a network N.
  • Each of the imaging device 101 and the monitoring device 102 is composed of a physically different single device.
  • the monitoring device 102 may be physically composed of a plurality of devices connected via an appropriate communication line such as the network N.
  • the imaging device 101 and the monitoring device 102 may be physically configured as a single device. If the monitoring system 100 includes multiple imaging devices 101 , one or more of the imaging devices 101 may include at least part of the monitoring device 102 , for example.
  • the monitoring device 102 is physically a general-purpose computer, for example.
  • the monitoring device 102 physically has a bus 1010, a processor 1020, a memory 1030, a storage device 1040, a network interface 1050, an input interface 1060 and an output interface 1070, as shown in FIG.
  • the bus 1010 is a data transmission path for the processor 1020, memory 1030, storage device 1040, network interface 1050, input interface 1060 and output interface 1070 to transmit and receive data to and from each other.
  • the method of connecting processors 1020 and the like to each other is not limited to bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main memory implemented by RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the storage device 1040 stores program modules for implementing the functions of the monitoring device 102 .
  • the processor 1020 loads each of these program modules into the memory 1030 and executes them, thereby implementing the functions corresponding to the program modules.
  • the network interface 1050 is an interface for connecting the monitoring device 102 to the network N.
  • the input interface 1060 is a touch panel, keyboard, mouse, etc. as an interface for the user to input information.
  • the output interface 1070 is a liquid crystal panel, an organic EL (Electro-Luminescence) panel, or the like as an interface for presenting information to the user.
  • Output interface 1070 configures display unit 105 .
  • the output interface 1070 may be built in the monitoring device 102 or may be provided outside the monitoring device 102 .
  • the monitoring device 102 executes monitoring processing (see FIG. 2).
  • the monitoring process is a process for monitoring the inspection field R.
  • FIG. The monitoring device 102 starts monitoring processing, for example, upon receiving a start instruction from the user.
  • the monitoring apparatus 102 terminates the monitoring process, for example, upon receiving an end instruction from the user.
  • step S101 Details of the detection process (step S101) and the output process (step S102) will be described below. A description will be given using an example in which all of the first to fourth actions are detected.
  • FIG. 6 is a flowchart showing a detailed example of the detection process (step S101) according to this embodiment.
  • the image acquisition unit 108 acquires image information from the imaging device 101 (step S101a).
  • the image acquisition unit 108 causes the image storage unit 106 to store the image information.
  • the analysis control unit 110 causes the image analysis unit 109 to analyze the image included in the image information acquired in step S101a in order to detect the person P who has performed the first action. As a result, the analysis control unit 110 detects the person P who has taken the first action determined in relation to the object included in the image based on the image of the inspection field R (step S101b).
  • the items determined by the first action are, for example, luggage L and smartphone SP.
  • a smartphone SP is an example of a call device that is a device used for calling.
  • the communication device is not limited to the smart phone SP, and may be a mobile phone, a headset, or the like.
  • a headset is a device that includes headphones, earphones, etc., and a microphone.
  • a first action may include being at a first range from load L and at a first pose.
  • the first range is a range that is appropriately determined in advance.
  • the first range may be, for example, within a predetermined distance from the load L, a range in which the load L is touched, or the like.
  • the first range may be, for example, a range within a predetermined distance from a specific part of the person P such as a hand or a waist, a range in which the specific part is touched, or the like. These distances may be defined by distances in real space (eg, 10 centimeters) or by distances in images (eg, 20 pixels).
  • the first range is not limited to a spherical shape, and may be defined in an appropriate shape.
  • the first posture is a posture determined appropriately in advance, and is at least one of, for example, a crouching posture and a squatting posture.
  • a crouching posture can be detected based on detecting flexion of the hips and legs.
  • a squatting position can be detected based on detecting that the legs are flexed and the hips are lower than the standing position.
  • the first action may be to continue for a first time or more in a first posture within a first range from the load L.
  • the first time is a predetermined time, such as 3 minutes.
  • the first action may include being in a posture (calling posture) for making a call using the smartphone SP or the like.
  • the calling posture may be detected, for example, based on detecting the posture of the arm holding the calling device such as the smartphone SP close to the ear or mouth.
  • the first action may include continuing the call posture for the second time or longer.
  • the second time is a predetermined time, such as one minute.
  • the first action may further include holding the smartphone SP within a second range from the face.
  • the second range is a range that is determined appropriately in advance.
  • the second range may be, for example, within a predetermined distance from the face, a range in which the face is touched, or the like. This distance may be defined by a distance in real space (eg, several centimeters) or by a distance in an image (eg, 10 pixels).
  • the first range is not limited to a spherical shape, and may be defined in an appropriate shape.
  • the first action may include talking in a talking posture.
  • Speaking may be detected, for example, based on detecting mouth movement using a face detection process.
  • the first action may be that there is no person P in the surroundings (that is, a predetermined range from the person P) and that the person is talking.
  • the first action may include speaking for a predetermined amount of time or more.
  • the analysis control unit 110 causes the image analysis unit 109 to analyze the image included in the image information acquired in step S101a in order to detect the person P who has performed the second action. As a result, the analysis control unit 110 detects the person P who has performed the second action determined with respect to the line of sight of the person included in the image based on the photographed image of the inspection field R (step S101c).
  • the second action may include changing the direction of gaze continuously for a third time or more, or intermittently for a first frequency or more.
  • the third time is a predetermined time, such as 15 seconds.
  • the first frequency is a predetermined time, such as twice every 10 seconds.
  • the second action may be to intermittently change the line-of-sight direction at a frequency greater than or equal to the first for a predetermined period of time or longer.
  • an action related to line of sight with respect to a predetermined target may be included.
  • the second action may be to look at a predetermined target continuously for a fourth time or more, or intermittently for a second frequency or more.
  • the predetermined target here may be one or both of a person and an object, for example, staff at inspection site R (in particular, it may be a security guard), an investigative dog, and the like.
  • the analysis control unit 110 uses one or more of object detection processing, appearance attribute detection processing, color feature detection processing, and the like to distinguish from other persons P and objects, and the staff and investigative dogs.
  • a predetermined target such as can be detected.
  • the analysis control unit 110 receives information from the device.
  • the position of the predetermined target may be specified based on the information of .
  • the analysis control unit 110 may detect a predetermined target from the image using the position.
  • the fourth time is an appropriately predetermined time, such as 15 seconds.
  • the second frequency is a predetermined time, such as three times every 15 seconds.
  • the second action may be intermittently directing the line of sight toward a predetermined target for a predetermined period of time or more at the first frequency or more.
  • the inspection site R is often congested according to the departure and arrival of airplanes. It can be difficult. In addition, there is a possibility of overlooking only by manual monitoring. By detecting a person P who has performed another example of the second action described here, it is possible to support detection of a person P who cares about a predetermined target.
  • the analysis control unit 110 causes the image analysis unit 109 to analyze the image included in the image information acquired in step S101a in order to detect the person P who has performed the third action. As a result, the analysis control unit 110 detects the person P who has performed the third action defined for the movement of the person included in the image of the inspection site R (step S101d).
  • the third action may include staying in the first area for a fifth time or longer.
  • the third action may include staying in the first area for a fifth time or longer.
  • the third action may include staying in a fixed posture in the first area for a fifth period of time or longer.
  • the first area is, for example, a predetermined range from the reference location, inspection field R, or the like.
  • the reference place is, for example, the place where the person P was at a certain time, or the place where the entry table T is provided.
  • the fifth time is a time that is appropriately determined in advance, and may be determined as appropriate according to the first area.
  • the constant posture is at least one of a crouching posture, a squatting posture, and the like.
  • the inspection site R is often congested according to the departure and arrival of airplanes. It may be difficult to detect a staying person P. Also, it may be difficult to detect a person P who is in a fixed posture during the stay. There is also a possibility that it may be overlooked only by manual monitoring. By detecting a person P who has performed the third action example described here, it is possible to detect a person P staying in the first area for a long time or a person P maintaining a certain posture while staying in the first area. can support.
  • the third behavior may include a behavior in which a person included in an image obtained by photographing the inspection site R avoids a predetermined target.
  • the predetermined target may be one or both of a person and an object in the same manner as described above. be.
  • An avoidance action is, for example, an action of reversing the movement direction within a third range from a predetermined target.
  • the third range is a range that is appropriately determined in advance.
  • the third range is, for example, a range within a predetermined distance. This distance may be defined by a distance in real space (eg, 1 m to 2 m) or by a distance in an image (eg, 100 to 200 pixels).
  • the first range is not limited to a spherical shape, and may be defined in an appropriate shape.
  • the action to avoid is an action to change the moving direction so as to move out of the fourth range when the predicted position based on the moving direction of the person P falls within the fourth range from the predetermined target.
  • the fourth range is a range determined appropriately in advance. This distance may be defined by a distance in real space (eg, 1 m to 2 m) or by a distance in an image (eg, 100 to 200 pixels).
  • the first range is not limited to a spherical shape, and may be defined in an appropriate shape.
  • the inspection site R is often congested according to the departure and arrival of airplanes, and therefore, a person P who is avoiding a predetermined target such as an inspection site R staff member or an investigative dog is detected. can be difficult to do. In addition, there is a possibility of overlooking only by manual monitoring. By detecting a person P who has performed another example of the third action described here, it is possible to support detection of a person P avoiding a predetermined target.
  • the analysis control unit 110 causes the image analysis unit 109 to analyze the image included in the image information acquired in step S101a in order to detect the person P who has performed the fourth action. As a result, the analysis control unit 110 detects, based on the image of the inspection site R, the person P who has performed the fourth action determined for entering/leaving a predetermined area of the person included in the image. (step S101e).
  • the predetermined area in the fourth action may be any appropriately predetermined area, such as the toilet in the inspection site R.
  • the predetermined area may be an inspection field R or the like.
  • the fourth action may include not leaving the predetermined area for a sixth period of time after the person included in the image of the inspection site R has entered the predetermined area.
  • the sixth time is a time that is determined appropriately in advance, and is, for example, 3 to 5 minutes.
  • the inspection site R is often congested with departures and arrivals of airplanes. Therefore, it is difficult to detect a person P who has been in a predetermined area such as a restroom in the inspection site R for a long time. Sometimes. In addition, there is a possibility of overlooking only by manual monitoring. By detecting the person P who has performed the fourth action example described here, it is possible to support the detection of the person P who has been in the predetermined area for a long time.
  • the fourth action may include an action in which a person included in an image of the inspection site R changes its appearance in a predetermined area. Appearance is, for example, the person P's clothes, belongings, and the like.
  • the analysis control unit 110 determines that the person P whose appearance changes when entering a predetermined area and when leaving the predetermined area should be detected as
  • the analysis control unit 110 holds the facial feature amount of the person P when entering a predetermined area and information on the appearance (for example, the appearance attribute feature amount, the human type feature amount, and the detected object). do.
  • the analysis control unit 110 compares the appearance of the person P included in the held information with the appearance of the person P from the predetermined area. The appearance of the person P is compared.
  • the analysis control unit 110 may determine that the appearance of the person P has changed, and detect the person P as the person P who has changed the appearance. As a result of the comparison, if the appearances match, the analysis control unit 110 determines that the appearance of the person P does not change, and does not need to detect the person P as the person P who has changed the appearance.
  • matching means substantially matching. That is, “matching” includes not only the case of being completely the same but also the case of being different within a predetermined range.
  • the analysis control unit 110 collects information about the face feature amount and clothes of the person P when entering the restroom (for example, appearance attribute feature amount, human type feature amount ) and hold.
  • the analysis control unit 110 acquires the facial feature amount of the person P who is leaving the toilet and the information about the clothes.
  • the analysis control unit 110 compares the facial feature values of the person P entering the toilet and the person P exiting the toilet. The analysis control unit 110 determines identity of the person P based on the comparison result. Then, the analysis control unit 110 detects that the person P, who is determined to be the same, has changed their clothes in the toilet if the information about their clothes does not match when they enter the toilet and when they leave the toilet. .
  • the analysis control unit 110 when detecting a change in the luggage L in the toilet, the analysis control unit 110 detects the face feature amount of the person P when entering the toilet and information about the luggage L (for example, the detection result of the object detection process, the appearance attribute feature human type features). The analysis control unit 110 acquires the facial feature amount of the person P who is leaving the toilet and the information on the baggage L.
  • the face feature amount of the person P when entering the toilet and information about the luggage L (for example, the detection result of the object detection process, the appearance attribute feature human type features).
  • the analysis control unit 110 acquires the facial feature amount of the person P who is leaving the toilet and the information on the baggage L.
  • the analysis control unit 110 compares at least one of the facial feature amount, the appearance attribute feature amount, and the human type feature amount of the person P entering the toilet and the person P exiting the toilet.
  • the analysis control unit 110 determines identity of the person P based on the comparison result. Then, if the information about the luggage L does not match when the person P determined to be the same person enters the toilet and when they leave the toilet, the analysis control unit 110 detects that the luggage L has changed in the toilet. detect.
  • a person P whose appearance changes when entering a predetermined area and when leaving the predetermined area can usually be presumed to have acted to change the appearance in the predetermined area. Therefore, by detecting the person P whose appearance changes when entering a predetermined area and when leaving the predetermined area, the person P takes action to change the appearance in the predetermined area. A person P can be detected.
  • the analysis control unit 110 may hold entry information regarding a person P who has entered a predetermined area. Then, the analysis control unit 110 may detect a person P who is not included in the entrance information among the persons P who come out of the predetermined area as the person P who has performed the action of changing the appearance.
  • the person P who is not included in the entrance information has an appearance that cannot be determined to be the same from the images when entering and leaving the predetermined area. can be estimated to be the person P who has changed. Therefore, by detecting a person P who is not included in the entrance information among the persons P who come out of the predetermined area, the person P who has changed the appearance in the predetermined area is detected. be able to.
  • the analysis control unit 110 performs processing for tracking the person P detected in at least one of steps S101b to S101e (step S101f).
  • the analysis control unit 110 assigns a person ID for identifying the person P to each person P included in the image.
  • the analysis control unit 110 holds tracking information for tracking the person P detected in at least one of steps S101b to S101e.
  • the tracking information includes, for example, at least one of a person ID of the detected person P and an image feature amount (for example, face feature amount) used for tracking.
  • the analysis control unit 110 determines whether the detected person P is included in the image included in the image information acquired in step S101a.
  • the analysis control unit 110 causes the image analysis unit 109, for example, to perform flow line analysis processing on the flow line of the detected person P. , and the flow line is stored in association with the person ID of the tracking information.
  • the analysis control unit 110 performs the detection of the detected person in at least one of steps S101b to S101e. P can be tracked using lines of motion.
  • step S101f the analysis control unit 110 ends the detection process (step S101) and returns to the monitoring process (see FIG. 2).
  • FIG. 7 is a flowchart showing a detailed example of the output processing (step S102) according to this embodiment.
  • the output unit 104 generates detection information 111 regarding the person P detected in at least one of steps S101b to S101e based on the results of steps S101b to S101f performed by the analysis control unit 110 (step S102a).
  • the output unit 104 causes the detection storage unit 107 to store the detection information.
  • FIG. 8 is a diagram showing an example of the configuration of the detection information 111.
  • the detection information 111 is information that associates person identification information for identifying the detected person P with the reason why the person P was detected.
  • the person identification information includes the person ID of the person P, the map and appearance of the inspection site R, and the time.
  • the map contains markings indicating the position of the person P at the associated time.
  • the map includes a flow line of the person P from the detection of the person P to the associated time.
  • a map contains the position where the said person P was detected.
  • the output unit 104 outputs the detection information 111 generated in step S102a (step S102b). In this embodiment, the output unit 104 outputs the detection information 111 to the display unit 105 and causes the display unit 105 to display the detection information 111 .
  • FIG. 9 is a diagram showing an example of the detection information 111 displayed on the display unit 105.
  • the detection information 111 includes a plan view of the inspection site R (a map of the inspection site R viewed from above), and a mark indicating the position of the person P, a flow line, and the reason for detection are superimposed on the plan view. An example is shown.
  • FIG. 9 shows an example in which a dotted-line square surrounding the person P is added as a mark indicating the position (for example, the current position) of the person Pa.
  • FIG. 9 shows an example in which “phone call” as the reason why the person Pa is detected is associated with the image of the person Pa (the mark indicating the position of the person Pa in the example of FIG. 9).
  • the detection information 111 includes a mark indicating the position of the person Pa
  • the user can easily grasp the position of the person Pa using the display unit 105 .
  • the user can easily grasp the flow line of the person Pa using the display unit 105 . Therefore, it becomes possible to effectively support the monitoring at the inspection site R.
  • the user can easily understand the reason why the person Pa was detected using the display unit 105 . Therefore, it becomes possible to effectively support the monitoring at the inspection site R.
  • the detection information 111 includes images before and after the change in the appearance of the person P
  • the user can use the display unit 105 to browse the images before and after the change in appearance. This makes it easier for the user to grasp the features of the face of the person P and to find the person P at the inspection site R. Therefore, it becomes possible to effectively support the monitoring at the inspection site R.
  • the images before and after the appearance of the person P changes may be either a moving image or a still image including the person P.
  • the mark indicating the position of the person P is not limited to this, and the shape of the mark may be changed as appropriate.
  • the output unit 104 may also use blinking of the area of the person P in the image as a mark. Also, the display unit may always display the detected reason, or may temporarily display it.
  • temporary display when the cursor is moved to an area where the person Pa is displayed according to the user's operation, or when the cursor is moved and clicked, display is performed for a predetermined time. can. Further, as another example of temporary display, display can be given while the cursor is aligned with the area where the person Pa is displayed according to the user's operation. Furthermore, as another example of temporary display, when a touch panel is provided on the display unit 105, display is performed for a predetermined time after tapping the area.
  • step S102b After executing step S102b, the output unit 104 ends the output process (step S102) and returns to the monitoring process (see FIG. 2). Then, the detection unit 103 executes step S101 again.
  • the monitoring device 102 includes a detection unit 103 and an output unit 104 .
  • the detection unit 103 detects a person who has performed a predetermined action based on an image of the inspection site R.
  • the output unit 104 outputs detection information regarding the detected person.
  • the monitoring device 102 processes the image of the inspection site R and detects the person P who has performed a predetermined action, so that the person P requiring caution can be detected quickly and appropriately. can. Therefore, it becomes possible to effectively support the monitoring at the inspection site R.
  • the predetermined actions include the first to fourth actions described above. Since the predetermined behavior includes each of the first to fourth behaviors, the person P is detected by processing the image of the inspection site R based on the behavior generally performed by the person requiring attention. It is possible to detect the person P who needs attention quickly and appropriately. Therefore, since the predetermined behavior includes each of the first to fourth behaviors, it is possible to effectively support the monitoring at the inspection site R. Since the predetermined behavior includes a plurality of the first to fourth behaviors, monitoring at the inspection site R can be assisted more effectively. Furthermore, since the predetermined behavior includes all of the first to fourth behaviors as in the present embodiment, it is possible to support monitoring at the inspection site R more effectively.
  • Information included in the detection information 111 is not limited to the information described in the first embodiment.
  • the detection information 111 may include the time of detection in addition to the information illustrated in FIG. 8, or may include a part of these.
  • the detection information 111 is an image (for example, a face image, a full-body image).
  • the detection information 111 may include images before and after the change in the appearance of the person P who has performed an action that changes the appearance.
  • the image is preferably an image of the person P in front.
  • the monitoring system 100 may include a plurality of photographing devices 101 installed at the entrances and exits of a predetermined area so as to photograph the person P entering and exiting the predetermined area from the front.
  • the monitoring system 100 may include one or more imaging devices 101 for photographing each entrance.
  • the detection information 111 includes images before and after the change in the appearance of the person P
  • the user can use the display unit 105 to browse the images before and after the change in appearance. This makes it easier for the user to grasp the features of the person P's face. Therefore, it becomes possible to effectively support the monitoring at the inspection site R.
  • FIG. 10 is a diagram showing a configuration example of a monitoring system 100 according to Modification 2.
  • a monitoring system 100 according to this modification includes a plurality of imaging devices 101 similar to the imaging device 101 according to the first embodiment. Except for this point, the monitoring system 100 according to this modification may be configured in the same manner as the monitoring system 100 according to the first embodiment. That is, FIG. 10 illustrates an example in which the monitoring system 100 includes a plurality of imaging devices 101 .
  • the monitoring device 102 preferably has the same functions as in the first embodiment and executes the same processing. Also in this modified example, the same effects as in the first embodiment are obtained.
  • the analysis control unit 110 determines (verifies) whether or not all the persons P indicated by the person IDs and the like included in the tracking information are included in the images included in the image information. Therefore, as the number of person IDs included in the tracking information increases, the processing load of the analysis control unit 110 for tracking the person P increases.
  • step S101f the analysis control unit 110 does not execute the tracking process for the person P who has left the inspection field R.
  • FIG. in order to simplify the description, differences from the first embodiment will be mainly described, and descriptions that overlap with the first embodiment will be omitted as appropriate.
  • FIG. 11 is a diagram showing a configuration example of a monitoring system 200 according to Embodiment 2 of the present invention.
  • the monitoring system 200 includes a monitoring device 202 that replaces the monitoring device 102 according to the first embodiment. Except for this point, the monitoring system 200 according to the present embodiment may be configured similarly to the monitoring system 100 according to the first embodiment.
  • the monitoring device 202 includes a detection unit 203 that replaces the detection unit 103 according to the first embodiment. Except for this point, the monitoring device 202 according to the present embodiment may be configured similarly to the monitoring device 102 according to the first embodiment.
  • the detection unit 203 includes an analysis control unit 210 that replaces the analysis control unit 110 of the first embodiment, as shown in FIG. 12 for its functional configuration example. Except for this point, the detection unit 203 according to the present embodiment may be configured similarly to the detection unit 103 according to the first embodiment.
  • the analysis control unit 210 uses the image analysis unit 109 to detect that the detected person P has left the inspection field R. When it is detected that the detected person P has left the inspection site R, the analysis control unit 210 erases the information (tracking information) for tracking the person P who has left the inspection site R. Except for this point, the analysis control unit 210 according to the present embodiment may be configured similarly to the analysis control unit 110 according to the first embodiment.
  • a monitoring system 200 according to the present embodiment may be physically configured similarly to the monitoring system 100 according to the first embodiment.
  • FIG. 13 is a flowchart showing an example of detection processing according to this embodiment.
  • FIG. 13 shows only parts of the detection process according to the present embodiment that differ from the detection process (step S101) according to the first embodiment.
  • the monitoring process according to this embodiment includes steps S201 to S202 between steps S101e and S101f. Except for this point, the monitoring process according to the present embodiment may be the same as the monitoring process according to the first embodiment.
  • step S101e the analysis control unit 210 determines whether or not the detected person P has left the inspection field R based on the tracking information held by itself (step S201). If it is determined that it has not left the inspection field R (step S201; No), the analysis control unit 210 executes step S101f.
  • the analysis control unit 210 deletes the tracking information for tracking the person P who has left the inspection site R (step S202).
  • step S101f the analysis control unit 210 executes tracking processing (step S101f).
  • the tracking information of the person P who has left the inspection field R can be deleted in step S202 before executing the tracking processing (step S101f). Therefore, it is possible to prevent the analysis control unit 110 from executing the processing for tracking the person P (step S101f).
  • the detection unit 203 erases the information for tracking the person P when it is detected that the detected person P has left the inspection field R. .
  • the analysis control unit 110 can be substantially prevented from executing the processing for tracking the person P (step S101f). can.
  • the analysis control unit 210 holds tracking information while the person P is in the inspection field R, so that the detected person P can be tracked using this tracking information. can be done.
  • the analysis control unit 110 executes the processing for tracking the person P (step S101f). Therefore, even after the detected person P leaves the inspection site R, the processing load of the analysis control unit 110 can be reduced compared to the case where the tracking information regarding the person P is held. That is, it is possible to reduce the processing load for tracking the detected person P while enabling the detected person P to be tracked. Therefore, it is possible to effectively support the monitoring at the inspection site R while reducing the processing load of the monitoring device 202 .
  • the image analysis unit 109 may have a plurality of analysis functions, and one of these analysis processes may be switched to be used for analyzing the image of the inspection field R photographed.
  • differences from the first embodiment will be mainly described, and descriptions that overlap with the first embodiment will be omitted as appropriate.
  • FIG. 14 is a diagram showing a configuration example of a monitoring system 300 according to Embodiment 3 of the present invention.
  • the monitoring system 300 includes a monitoring device 302 that replaces the monitoring device 102 according to the first embodiment. Except for this point, the monitoring system 300 according to the present embodiment may be configured similarly to the monitoring system 100 according to the first embodiment.
  • the monitoring device 302 includes a detection unit 303 that replaces the detection unit 103 according to the first embodiment. Except for this point, the monitoring device 302 according to the present embodiment may be configured similarly to the monitoring device 102 according to the first embodiment.
  • the detection unit 303 includes an analysis control unit 310 that replaces the analysis control unit 110 of the first embodiment, as shown in FIG. 15 for its functional configuration example. Except for this point, the detection unit 303 according to the present embodiment may be configured similarly to the detection unit 103 according to the first embodiment.
  • the analysis control unit 310 selects which one of a plurality of analysis processes for processing the image of the inspection site R to process the image of the inspection site R according to the situation of the inspection site R. to switch between
  • the analysis control unit 310 switches the analysis process used for processing the image of the inspection site R according to whether the situation of the inspection site R satisfies a predetermined criterion.
  • the analysis processing includes (1) object detection processing, (2) face analysis processing, (3) human feature analysis processing, (4) posture analysis processing, (5) behavior analysis processing, and (6) appearance attributes. (7) Gradient feature analysis process; (8) Color feature analysis process; (9) Flow line analysis process;
  • the status of inspection site R is, for example, the degree of congestion of inspection site R.
  • the congestion degree is the overall congestion degree of the inspection site R, the local congestion degree in a part of the inspection site R, and the like.
  • the overall congestion degree is, for example, the total number of persons P present at the inspection site R.
  • the local congestion degree is, for example, the density of an area in the inspection field R where people P are particularly dense, or a predetermined area of the inspection field R (for example, a predetermined range from the writing table T). It is the number of persons P who are present, and the like.
  • a predetermined criterion is, for example, that the degree of congestion is smaller than a predetermined threshold. For example, when the degree of congestion is equal to or greater than a threshold, the analysis control unit 310 processes an image of the inspection site R using all of the plurality of analysis processes. For example, when the degree of congestion is less than a threshold, the analysis control unit 310 processes an image of the inspection site R using part of a plurality of analysis processes.
  • the analysis control unit 310 compares, for example, the degree of congestion of the inspection site R with the threshold value TH, and based on the comparison result, is used to process the captured image of the inspection field R.
  • a monitoring system 300 according to the present embodiment may be physically configured similarly to the monitoring system 100 according to the first embodiment.
  • the monitoring device 302 executes monitoring processing including detection processing (step S301) that replaces the detection processing (S101) according to the first embodiment. Except for this point, the monitoring process according to the present embodiment may be the same as the monitoring process according to the first embodiment.
  • FIG. 16 is a flowchart showing an example of detection processing (S301) according to this embodiment.
  • FIG. 16 shows only parts of the detection process according to this embodiment that differ from the detection process (step S101) according to the first embodiment.
  • the detection process (S301) according to this embodiment includes steps S301a to S301c before step S101a. Except for this point, the detection process (S301) according to the present embodiment may be the same as the detection process (S101) according to the first embodiment.
  • the figure shows an example of a flow chart when the situation of inspection site R is the degree of congestion. Also, an example of a flow chart for a case where the predetermined criterion is that the degree of congestion is smaller than a predetermined threshold is shown.
  • the analysis control unit 310 determines whether or not the congestion degree of the inspection field R is smaller than a predetermined threshold TH (step S301a).
  • the analysis control unit 310 When determining that the degree of congestion is smaller than the threshold TH (step S301a; Yes), the analysis control unit 310 causes the image analysis unit 109 to use part of the plurality of analysis processes executed by the image analysis unit 109. control (step S301b).
  • the image analysis unit 109 analyzes the captured image of the inspection field R using some of the plurality of analysis processes.
  • which one of the plurality of analysis processes is to be used may be determined as appropriate.
  • the plurality of analysis processes executed by the image analysis unit 109 are, in other words, the plurality of analysis functions that the image analysis unit 109 has.
  • the analysis control unit 310 controls the image analysis unit 109 to use all of the plurality of analysis processes executed by the image analysis unit 109. (Step S301c).
  • step S301b or S301c the analysis control unit 310 executes the processing from step S101a according to the first embodiment.
  • the analysis control unit 310 executes step S301b or S301c depending on the situation of the inspection field R before executing the processes after step S101a, and processes the captured image of the inspection field R. Switch the analysis process to use.
  • the degree of congestion When the degree of congestion is small, it is easy to visually check inspection site R, so even if the accuracy of analysis processing is relatively low, monitoring at inspection site R can be supported. When the degree of congestion is high, it is difficult to visually check the inspection site R, so an accurate analysis process is expected. In addition, by reducing the analysis processing used for processing the image obtained by photographing the inspection field R, the processing load of the monitoring device 302 can be reduced.
  • the detection unit 303 (analysis control unit 310) selects any one of a plurality of analysis processes for processing an image of the inspection site R according to the situation of the inspection site R. To switch whether to use the field R for processing the photographed image.
  • the analysis control unit 310 may acquire aviation information including at least one of the takeoff time and landing time of the airplane, for example.
  • the analysis control unit 310 may acquire the aviation information based on user input or from an external device (not shown).
  • the analysis control unit 310 determines which of the plurality of analysis processes for processing the image of the inspection site R is to be used for processing the image of the inspection site R, based on the aviation information. can be switched.
  • the analysis control unit 310 may predict the situation (for example, degree of congestion) of the inspection site R based on the aviation information. In this case, the analysis control unit 310 selects any one of the plurality of analysis processes for processing the image of the inspection field R based on the predicted result. You can switch between using them.
  • the analysis control unit 310 selects any one of the plurality of analysis processes for processing the image of the inspection site R according to the situation of the inspection site R. You can switch between using it for processing.
  • the analysis control unit 310 performs any one of a plurality of analysis processes for processing an image of the inspection site R based on whether it is a predetermined time from the time included in the aviation information. may be switched to be used for processing the image of the inspection field R captured.
  • the inspection site R becomes crowded with takeoffs and landings of airplanes.
  • the analysis control unit 310 selects which of the plurality of analysis processes for processing the image obtained by photographing the inspection site R according to the situation of the inspection site R. You can switch between using it to process the image.
  • the detection unit 303 (analysis control unit 310) selects any one of a plurality of analysis processes for processing an image of the inspection site R according to the situation of the inspection site R. Toggles whether to use R for processing captured images. Therefore, the same effects as those of the third embodiment are obtained.
  • a detection means for detecting a person who has performed a predetermined action based on an image of the inspection site; and output means for outputting detection information related to the detected person.
  • the predetermined behavior includes a first behavior determined in relation to an object included in the image. 3. said object is luggage, 3.
  • the first action includes being at a first position and at a first range from the load.
  • the first range from the load is a range that touches the load. 5.
  • the monitoring device according to appendix 3 or 4 wherein the first posture is at least one of a squatting posture and a squatting posture. 6.
  • the monitoring device according to any one of appendices 3 to 5, wherein the first action includes continuing the first posture for a first time or longer.
  • the object is a communication device, 7.
  • the monitoring device according to any one of appendices 2 to 6, wherein the first action includes being in a posture of making a call using the communication device.
  • the first action includes that the talking posture continues for a second time or longer.
  • 9. The monitoring device of Clause 7 or 8, wherein the first action further comprises holding the communication device at a second range from the face.
  • the monitoring device according to appendix 9, wherein a second range from the face is a range that touches the face. 11.
  • the monitoring device according to any one of appendices 1 to 11, wherein the predetermined behavior includes a second behavior determined with respect to the line of sight of the person included in the image. 13.
  • the second action is to look at the predetermined target continuously for a fourth time or more, or intermittently for a second frequency or more. surveillance equipment. 16. 16.
  • the monitoring device includes a third action determined regarding movement of the person included in the image. 17.
  • the monitoring device according to appendix 16 wherein the third action includes staying in the first region for a fifth time or more. 18.
  • the third behavior includes behavior in which a person included in the image avoids a predetermined target. 21.
  • the avoidance action is an action of reversing the direction of movement within a third range from the predetermined object, and the action of reversing the direction of movement of the person in the fourth range from the predetermined object when the predicted position based on the direction of movement of the person falls within a fourth range from the predetermined object.
  • the monitoring device wherein the fourth action includes not leaving the predetermined area for a sixth period of time after the person included in the image enters the predetermined area. . 24. 24.
  • the monitoring device according to appendix 22 or 23, wherein the fourth action includes action in which the person included in the image changes appearance in the predetermined area.
  • the detection means detects a person whose appearance changes when entering the predetermined area and when leaving the predetermined area as a person who has performed an action that changes the appearance.
  • the monitoring device according to . 26.
  • the detection means holds entrance information about a person who enters the predetermined area, and changes the appearance of a person who exits from the predetermined area and is not included in the entrance information. 26.
  • the detection means further performs processing for tracking the detected person, 28.
  • a monitoring device as described in 1.
  • a monitoring device according to any one of appendices 1 to 30;
  • a monitoring system comprising: an imaging device that generates image information including an image of the inspection field in response to imaging the inspection field.
  • the computer Detecting a person who has performed a predetermined action based on an image of the inspection site, A monitoring method, including outputting detection information about the detected person.
  • 33. to the computer Detecting a person who has performed a predetermined action based on an image of the inspection site, A program for executing outputting detection information about the detected person.

Abstract

監視装置（１０２）は、検査場Ｒを撮影した画像に基づいて、予め定められた行動を行った人物Ｐを検知する検知部（１０３）と、検知された人物Ｐに関する検知情報を出力する出力部（１０４）とを備える。予め定められた行動は、例えば、物との関係で定められた第１の行動、人物の視線に関して定められた第２の行動、人物の移動（滞留を含む。）に関して定められた第３の行動、予め定められた領域への出入りに関して定められた第４の行動などの少なくとも１つを含む。

Description

監視装置、監視システム、監視方法及びプログラム
　本発明は、監視装置、監視システム、監視方法及びプログラムに関する。
　特許文献１に記載の処理装置は、画像解析手段と、登録管理手段と、変化判断手段と、を有する。画像解析手段は、画像から検出された人物の複数種類の特徴量を抽出する。登録管理手段は、抽出された特徴量に基づき、複数の人物各々の特徴量を記憶した記憶部に検出された人物のデータが記憶されているか判断する。変化判断手段は、検出された人物のデータが記憶されていると判断された場合、記憶部に記憶されている特徴量と、抽出された特徴量とに基づき、検出された人物の外観の変化の有無を判断する。
　特許文献２に記載の画像検索装置は、姿勢推定部と、特徴量抽出部と、画像データベースと、クエリ生成部と、画像検索部とを備える。姿勢推定部は、入力画像から複数の特徴点で構成される検索対象の姿勢情報を認識する。特徴量抽出部は、姿勢情報と入力画像から特徴量を抽出する。画像データベースは、特徴量を入力画像と関連付けて蓄積する。クエリ生成部は、ユーザが指定した姿勢情報から検索クエリを生成する。画像検索部は、検索クエリに従って類似した姿勢を含む画像を画像データベースから検索する。
　特許文献３に記載の映像監視装置は、撮像部と、映像処理部と、注視特徴計算部と、情報記録部と、通知部とを有する。映像処理部は、撮像部で撮影された画像から人物を検出し、その人物の視線方向情報を抽出する。注視特徴計算部は、人物ごとの視線方向情報から注視特徴量を計算する。情報記録部は、撮像部から得られる画像と、人物ごとの視線方向情報と、注視特徴量を記録する。通知部は、情報記録部に記録されている注視特徴量から、撮像された人物の行動に関する情報を取得して通知する。
　特許文献４には、入国審査エリアにおいて生体センサにより検知された生体データから入国者のストレス指数を算出し、ストレス指数が所定の基準値よりも高い場合、入国者を不審者であると推定する旨の記載がある。また、生体データとしては、例えば、脳波、脳血流、脈波、血圧、呼吸数、体温、及び発汗量等のバイタルデータを採用できる旨の記載がある。
特開２０２０－１６０８８３号公報 特開２０１９－０９１１３８号公報 特開２００７－００６４２７号公報 特開２０１８－０３７０７５号公報
　一般的に、税関などの検査場は、違法取締りなどのために、特に警戒を要する場所の１つである。その一方で、飛行機の離発着に応じて混雑することが多いこと、大きな荷物を持つ人が多いことなどのために、検査場は、監視が難しい場所の１つでもある。
　しかしながら、特許文献１～３は、検査場を監視するための技術を開示してない。そのため、特許文献１～３に記載の技術では、検査場における監視を効果的に支援できないおそれがある。
　特許文献４では、入国者の生体データから算出されるストレス指数が所定の基準値以下である場合に、その入国者が取り締まりなどを要する不審者であるとしても、それを検知できないおそれがある。そのため、特許文献４に記載の技術でも、検査場における監視を効果的に支援できないおそれがある。
　本発明の目的の一例は、上述した課題を鑑み、検査場における監視を効果的に支援できないおそれを解決する監視装置、監視システム、監視方法及びプログラムを提供することにある。
　本発明の一態様によれば、
　検査場を撮影した画像に基づいて、予め定められた行動を行った人物を検知する検知手段と、
　前記検知された人物に関する検知情報を出力する出力手段とを備える
　監視装置が提供される。
　本発明の一態様によれば、
　上記の監視装置と、
　前記検査場を撮影することに応じて、前記検査場の画像を含む画像情報を生成する撮影装置とを備える
　監視システムが提供される。
　本発明の一態様によれば、
　コンピュータが、
　検査場を撮影した画像に基づいて、予め定められた行動を行った人物を検知し、
　前記検知された人物に関する検知情報を出力することを含む
　監視方法が提供される。
　本発明の一態様によれば、
　コンピュータに、
　検査場を撮影した画像に基づいて、予め定められた行動を行った人物を検知し、
　前記検知された人物に関する検知情報を出力することを実行させるためのプログラムが提供される。
　本発明によれば、検査場における監視を効果的に支援することが可能になる。
本発明の実施形態１に係る監視システムの概要を示す図である。 本発明の実施形態１に係る監視処理の概要を示すフローチャートである。 実施形態１に係る監視システムの構成例を、検査場の一例を上方から見た図とともに示す図である。 実施形態１に係る検知部の機能的な構成例を示す図である。 本発明の実施形態１に係る監視装置の物理的な構成例を示す図である。 実施形態１に係る検知処理の詳細な例を示すフローチャートである。 実施形態１に係る出力処理の詳細な例を示すフローチャートである。 検知情報の構成の一例を示す図である。 表示部に表示される検知情報の一例を示す図である。 変形例２に係る監視システムの構成例を示す図である。 本発明の実施形態２に係る監視システムの構成例を示す図である。 実施形態２に係る検知部の機能的な構成例を示す図である。 実施形態２に係る検知処理の一例を示すフローチャートである。 本発明の実施形態３に係る監視システムの構成例を示す図である。 実施形態３に係る検知部の機能的な構成例を示す図である。 実施形態３に係る検知処理の一例を示すフローチャートである。
　以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
＜実施形態１＞
（概要）
　図１は、本発明の実施形態１に係る監視システム１００の概要を示す図である。
　監視システム１００は、撮影装置１０１と、監視装置１０２とを備える。
　撮影装置１０１は、検査場を撮影することに応じて、検査場の画像を含む画像情報を生成する。
　監視装置１０２は、検知部１０３と、出力部１０４とを備える。
　検知部１０３は、検査場を撮影した画像に基づいて、予め定められた行動を行った人物を検知する。出力部１０４は、検知された人物に関する検知情報を出力する。
　この監視システム１００によれば、検査場における監視を効果的に支援することが可能になる。この監視方法によれば、検査場における監視を効果的に支援することが可能になる。
　図２は、本発明の実施形態１に係る監視処理の概要を示すフローチャートである。
　検知部１０３は、検査場を撮影した画像に基づいて、予め定められた行動を行った人物を検知する（ステップＳ１０１）。出力部１０４は、検知された人物に関する検知情報を出力する（ステップＳ１０２）。
　この監視処理によれば、検査場における監視を効果的に支援することが可能になる。
　以下、実施形態１に係る監視システムの詳細例について説明する。
（詳細）
　図３は、本発明の実施形態１に係る監視システム１００の構成例を、検査場Ｒの一例を上方から見た図とともに示す図である。監視システム１００は、検査場Ｒを監視するためのシステムである。
　検査場Ｒは、例えば、税関の検査場である。図３は、検査場Ｒに設けられた記入台Ｔの周囲に３人の人物Ｐａ，Ｐｂ，Ｐｃが居る状態を示す。人物Ｐａ，Ｐｂ，Ｐｃの近くには、それぞれの荷物Ｌａ，Ｌｂ，Ｌｃがある。人物Ｐａの近くには、スマートフォンＳＰがある。
　以下、人物Ｐａ，Ｐｂ，Ｐｃを特に区別しない場合、人物Ｐａ，Ｐｂ，Ｐｃの任意の１人を「人物Ｐ」とも表記する。すなわち、「人物Ｐ」は、検査場Ｒに居る人である。荷物Ｌａ，Ｌｂ，Ｌｃを特に区別しない場合、荷物Ｌａ，Ｌｂ，Ｌｃの任意の１つを「荷物Ｌ」とも表記する。すなわち、「荷物Ｌ」は、検査場Ｒにある荷物である。
　監視システム１００は、上述の通り、撮影装置１０１と監視装置１０２とを備える。
　撮影装置１０１と監視装置１０２とは、ネットワークＮを介して互いに接続されている。ネットワークＮは、有線、無線又はこれらを組み合わせて構成される通信ネットワークである。そのため、撮影装置１０１と監視装置１０２とは、ネットワークＮを介して互いに情報、データなどを送受信することができる。
　撮影装置１０１は、検査場Ｒを撮影するための装置である。撮影装置１０１は、カメラなどである。撮影装置１０１は、検査場Ｒを撮影する。撮影装置１０１は、検査場Ｒを撮影することに応じて、検査場Ｒを撮影した画像を含む画像情報を生成する。撮影装置１０１は、画像情報をネットワークＮを介して監視装置１０２へ送信する。
　撮影装置１０１は、連続的に撮影してもよい。この場合、撮影装置１０１は、複数の画像から構成される映像（動画像）を含む画像情報をリアルタイムで監視装置１０２へ送信してもよい。
　撮影装置１０１は、検査場Ｒの全体を撮影することが望ましい。検査場Ｒの全体を撮影するために、監視システム１００は、複数の撮影装置１０１を備えてもよい。
（監視装置１０２の機能的構成）
　監視装置１０２は、検査場Ｒを監視するための装置である。監視装置１０２は、詳細には、検知部１０３と、出力部１０４と、表示部１０５と、画像記憶部１０６と、検知記憶部１０７とを備える。
　検知部１０３は、画像情報に含まれる検査場Ｒを撮影した画像に基づいて、予め定められた行動を行った人物Ｐを検知する。ここで、「行動」は、動くことだけでなく、静止していることも含む。
　詳細には、検知部１０３は、その機能的な構成例を図４に示すように、画像取得部１０８と、画像解析部１０９と、解析制御部１１０とを含む。
　画像取得部１０８は、撮影装置１０１からネットワークＮを介して画像情報を取得する。画像取得部１０８は、映像（動画像）を含む画像情報をリアルタイムで撮影装置１０１から取得することができる。
　画像解析部１０９は、画像情報に含まれる検査場Ｒを撮影した画像を解析する。
　詳細には、画像解析部１０９は、画像を解析するための処理（解析処理）を行う１つ又は複数の解析機能を備える。画像解析部１０９が備える解析機能が行う解析処理は、（１）物体検出処理、（２）顔解析処理、（３）人型解析処理、（４）姿勢解析処理、（５）行動解析処理、（６）外観属性解析処理、（７）勾配特徴解析処理、（８）色特徴解析処理、（９）動線解析処理などの１つ又は複数である。
　（１）物体検出処理では、画像から物体を検出することができる。物体検出処理では、画像内の物体の位置を求めることもできる。物体検出処理に適用されるモデルとして、例えば、ＹＯＬＯ（Ｙｏｕ　Ｏｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ）がある。物体検出処理では、例えば、人物Ｐ、荷物Ｌ、スマートフォンＳＰなどを検出することができる。
　ここで、「物体」は、人及び物を含み、以下においても同様である。
　（２）顔解析処理では、画像から人の顔を検出することができる。顔解析処理では、検出した顔の特徴量（顔特徴量）の抽出、検出した顔の分類（クラス分け）などをすることができる。顔検出処理では、顔の画像内の位置を求めることもできる。顔検出処理では、異なる画像から検出した人物の顔特徴量同士の類似度などに基づいて、異なる画像から検出した人物の同一性を判定することもできる。
　（３）人型解析処理では、画像に含まれる人の人体的特徴量（例えば、体形の肥痩や、身長、服装などの全体的な特徴を示す値）の抽出、画像に含まれる人の分類（クラス分け）などをすることができる。人型特徴検出処理では、人の画像内の位置を特定することもできる。人型特徴検出処理では、異なる画像に含まれる人の人体的特徴量などに基づいて、異なる画像から検出した人の同一性を判定することもできる。
　（４）姿勢解析処理では、例えば、画像から人の関節点を検出し、関節点を繋げた棒人間モデルを構築する。そして、姿勢解析処理では、棒人間モデルの情報を用いて、人の姿勢を推定し、推定した姿勢の特徴量（姿勢特徴量）の抽出、画像に含まれる人の分類（クラス分け）などをすることができる。例えば、姿勢解析処理では、異なる画像に含まれる人の姿勢特徴量などに基づいて、異なる画像から検出した人の同一性を判定することもできる。姿勢解析処理では、例えば、かがんだ姿勢、しゃがんだ姿勢、立っている姿勢、通話姿勢などの姿勢を画像から推定し、姿勢特徴量などを抽出する。通話姿勢とは、スマートフォンＳＰなどの通話機器を用いて通話する姿勢であり、以下においても同様である。
　姿勢解析処理には、例えば、Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, P. 7291-7299に開示の技術を適用することができる。
　（５）行動解析処理では、棒人間モデルの情報、姿勢の変化などを用いて、人の動きを推定し、人の動きの特徴量（動き特徴量）の抽出、画像に含まれる人の分類（クラス分け）などをすることができる。行動検出処理では、棒人間モデルの情報を用いて、人の身長を推定したり、人物の画像内の位置を特定したりすることもできる。
　（６）外観属性解析処理では、人に付随する外観属性を認識することができる。外観属性解析処理では、認識した外観属性に関する特徴量（外観属性特徴量）の抽出、画像に含まれる人の分類（クラス分け）などをすることができる。外観属性とは、外観上の属性であり、例えば、服装の色、靴の色、髪型、帽子やネクタイ、眼鏡などの着用又は非着用などの１つ以上を含む。
　（７）勾配特徴解析処理では、画像における勾配の特徴量（勾配特徴量）を求めることができる。勾配特徴検出処理には、例えば、ＳＩＦＴ、ＳＵＲＦ、ＲＩＦＦ、ＯＲＢ、ＢＲＩＳＫ、ＣＡＲＤ、ＨＯＧなどの技術を適用することができる。
　（８）色特徴解析処理では、画像から物体を検出することができる。色特徴解析処理では、検出した物体の色の特徴量（色特徴量）の抽出、検出した物体の分類（クラス分け）などをすることができる。色特徴量は、カラーヒストグラムなどである。色特徴解析処理では、例えば、画像に含まれる人物Ｐ、荷物Ｌ、スマートフォンＳＰを検出すると、これらを人物Ｐ、荷物Ｌ、スマートフォンＳＰのクラスに分類することができる。
　（９）動線解析処理では、例えば上述の（２）～（６）の解析処理のいずれかにおける人の同一性の判定の結果を用いて、人の動線（移動の軌跡）を求めることができる。詳細には例えば、時系列的に異なる画像間で同一であると判定された人を接続することで、その人の動線を求めることができる。動線解析処理では、例えば隣接する領域を撮影した画像など、異なる領域を撮影した複数の画像間に跨る動線を求めることもできる。
　なお、（１）～（９）の各解析処理では、他の解析処理の結果を適宜利用してもよい。
　解析制御部１１０は、画像解析部１０９を制御するとともに、画像解析部１０９の解析の結果を取得する。そして、解析制御部１１０は、画像解析部１０９の解析の結果に基づいて、予め定められた行動を行った人物Ｐを検知する。予め定められた行動は、以下の第１の行動～第４の行動などの１つ以上を含む。
　第１の行動は、検査場Ｒを撮影した画像に含まれる物（例えば、荷物Ｌ、スマートフォンＳＰ）との関係で定められた行動である。例えば、解析制御部１１０は、物体検出処理、行動検出処理などを用いて、第１の行動を行う人物Ｐを検知する。
　第２の行動は、検査場Ｒを撮影した画像に含まれる人物Ｐの視線に関して定められた行動である。例えば、解析制御部１１０は、顔検出処理、行動検出処理（例えば、肩の向き）などを用いて、第２の行動を行う人物Ｐを検知する。第２の行動を検知するために、顔検出処理では、顔のうち特に虹彩及び瞳孔（いわゆる、黒目）の位置、動きを検出し、これらの特徴量を求めてもよい。
　第２の行動は、検査場Ｒの職員、捜査用の犬などの予め定められた人及び物の一方又は両方に対する視線に関して定められた行動であってもよい。この場合、第２の行動は、物体検出処理、人型特徴検出処理、外観属性検出処理、勾配特徴検出処理、色特徴検出処理などの１つ又は複数をさらに用いて、第２の行動を行う人物Ｐを検知してもよい。
　第３の行動は、検査場Ｒを撮影した画像に含まれる人物Ｐの移動に関して定められた行動である。ここで、「移動」は、位置の変化を伴う動きだけでなく、一定の場所に留まる滞留も含む。例えば、解析制御部１１０は、動線解析処理などを用いて、第３の行動を行う人物Ｐを検知する。
　第３の行動は、検査場Ｒの職員、捜査用の犬、記入台Ｔなどの予め定められた人及び物の一方又は両方に対する移動に関して定められた行動であってもよい。この場合、解析制御部１１０は、予め定められた人及び物の一方又は両方を検知するために、物体検出処理、人型特徴検出処理、外観属性検出処理、勾配特徴検出処理、色特徴検出処理などの１つ又は複数をさらに用いて、第３の行動を行う人物Ｐを検知してもよい。
　第４の行動は、検査場Ｒを撮影した画像に含まれる人物の予め定められた領域（例えば、検査場Ｒ、トイレ）への出入りに関して定められた行動である。例えば、解析制御部１１０は、動線解析処理などを用いて、第４の行動を行う人物Ｐを検知する。
　予め定められた領域の出入口を特定するために、解析制御部１１０は、例えば物体検出処理、勾配特徴検出処理、色特徴検出処理をさらに用いて、第４の行動を行う人物Ｐを検知してもよい。或いは、解析制御部１１０は、トイレなどの出入口の場所を示す情報を予め保持し、当該情報をさらに用いて、第４の行動を行う人物Ｐを検知してもよい。
　第１の行動～第４の行動の詳細については後述する。
　また、解析制御部１１０は、検知された人物Ｐを追跡するための処理を行ってもよい。この場合例えば、解析制御部１１０は、動線解析処理などを用いて、検知された人物Ｐについての動線を取得するとよい。
　出力部１０４は、解析制御部１１０にて検知された人物Ｐに関する検知情報（図８参照）を出力する。
　検知情報は、例えば、検知された人物Ｐを特定するための人物特定情報を含む。
　人物特定情報は、検知された人物Ｐの位置（例えば、現在位置）を示す情報であってもよい。この場合、人物特定情報は、検査場Ｒの画像、検査場Ｒのマップなどの少なくとも１つをさらに含み、検査場Ｒの画像、マップなどの少なくとも１つに検知された人物Ｐを示す印を付した情報であってもよい。人物特定情報に含まれる検査場Ｒの画像は、検査場Ｒを撮影した画像が望ましく、印を付けた人物Ｐを検出した画像がより望ましい。
　人物特定情報は、検知された人物Ｐを追跡した結果を含んでもよい。この場合、人物特定情報は、検査場Ｒの画像、検査場Ｒのマップなどをさらに含み、検査場Ｒの画像、マップなどに検知された人物Ｐの動線を付した情報であってもよい。人物特定情報に含まれる検査場Ｒの画像は、検査場Ｒを撮影した画像が望ましく、動線を付けた人物Ｐを検出した画像がより望ましく、動線を付けた人物Ｐを検出した最新の画像がさらに望ましい。
　人物特定情報は、検知された人物Ｐの外観（服装、髪型など）を示す情報であってもよい。
　検知情報は、例えば、人物特定情報を用いて特定される人物Ｐが検知された理由を含んでもよい。検知された理由とは、当該人物Ｐが検知される原因となった予め定められた行動の内容を示す情報である。
　表示部１０５は、各種の情報を表示する。表示部１０５は、例えば、出力部１０４から検知情報を取得し、検知情報を表示する。なお、表示部１０５は、ネットワークＮを介して監視装置１０２に接続され、検査場Ｒの職員（特に、警備員であってもよい。）などが保持する端末装置など（図示せず）であってもよい。
　画像記憶部１０６は、検知部１０３（画像取得部１０８）が取得した画像を記憶するための記憶部である。
　検知記憶部１０７は、検知情報を記憶するための記憶部である。
　これまで、実施形態１に係る監視システム１００の機能的な構成について主に説明した。ここから、本実施形態に係る監視システム１００の物理的な構成について説明する。
＜＜監視システム１００の物理的構成＞＞
　監視システム１００は、物理的に、ネットワークＮを介して接続された撮影装置１０１及び監視装置１０２から構成される。撮影装置１０１と監視装置１０２との各々は、物理的に異なる単一の装置から構成される。
　なお、監視装置１０２は、物理的に、ネットワークＮなどの適宜の通信回線を介して接続された複数の装置から構成されてもよい。撮影装置１０１と監視装置１０２とは物理的に単一の装置から構成されてもよい。監視システム１００が複数の撮影装置１０１を備える場合、例えば、撮影装置１０１の１つ又は複数が監視装置１０２の少なくとも一部を備えてもよい。
　監視装置１０２は、物理的には例えば、汎用のコンピュータである。
　詳細には例えば、監視装置１０２は物理的に、図５に示すように、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、ネットワークインタフェース１０５０、入力インタフェース１０６０及び出力インタフェース１０７０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、ネットワークインタフェース１０５０、入力インタフェース１０６０及び出力インタフェース１０７０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、メモリカード、又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などで実現される補助記憶装置である。ストレージデバイス１０４０は、監視装置１０２の機能を実現するためのプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０に読み込んで実行することで、そのプログラムモジュールに対応する機能が実現される。
　ネットワークインタフェース１０５０は、監視装置１０２をネットワークＮに接続するためのインタフェースである。
　入力インタフェース１０６０は、ユーザが情報を入力するためのインタフェースとしてのタッチパネル、キーボード、マウスなどである。
　出力インタフェース１０７０は、ユーザに情報を提示するためのインタフェースとしての液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどである。出力インタフェース１０７０は、表示部１０５を構成する。なお、出力インタフェース１０７０は、監視装置１０２に内蔵されてもよく、監視装置１０２の外部に設けられてもよい。
　これまで、実施形態１に係る監視システム１００の物理的な構成について主に説明した。ここから、本実施形態に係る監視システム１００の動作について説明する。
（監視システム１００の動作）
　監視装置１０２は、監視処理（図２参照）を実行する。監視処理は、検査場Ｒを監視するための処理である。監視装置１０２は、例えばユーザから開始指示を受け付けると、監視処理を開始する。監視装置１０２は、例えばユーザから終了指示を受け付けると、監視処理を終了する。
　以下では、検知処理（ステップＳ１０１）及び出力処理（ステップＳ１０２）の詳細について説明する。第１の行動～第４の行動のすべてを検知する例を用いて説明する。
　図６は、本実施の形態に係る検知処理（ステップＳ１０１）の詳細な例を示すフローチャートである。
　画像取得部１０８は、画像情報を撮影装置１０１から取得する（ステップＳ１０１ａ）。画像取得部１０８は、画像情報を画像記憶部１０６に記憶させる。
　解析制御部１１０は、第１の行動を行った人物Ｐを検知するために、ステップＳ１０１ａにて取得された画像情報に含まれる画像を画像解析部１０９に解析させる。その結果、解析制御部１１０は、検査場Ｒを撮影した画像に基づいて、当該画像に含まれる物との関係で定められた第１の行動を行った人物Ｐを検知する（ステップＳ１０１ｂ）。
　第１の行動にて定められる物は、例えば、荷物Ｌ、スマートフォンＳＰである。スマートフォンＳＰは、通話のために用いられる機器である通話機器の一例である。通話機器は、スマートフォンＳＰに限られず、携帯電話、ヘッドセットなどであってもよい。ヘッドセットは、ヘッドホン、イヤホンなどとマイクとを備えた機器である。
（第１の行動の例）
　例えば、第１の行動は、荷物Ｌから第１の範囲で、かつ、第１の姿勢でいることを含んでもよい。
　第１の範囲は、予め適宜定められる範囲である。第１の範囲は、例えば、荷物Ｌから予め定められた距離内、荷物Ｌに触れる範囲などであってもよい。第１の範囲は、例えば、人物Ｐの手、腰などの特定部位から予め定められた距離内、当該特定部位に触れる範囲などであってもよい。これらの距離は、実空間における距離（例えば、１０センチメートル）で規定されてもよく、画像内での距離（例えば、２０ピクセル）で規定されてもよい。また、第１の範囲は、球形に限られず、適宜の形状で定められてよい。
　第１の姿勢は、予め適宜定められる姿勢であり、例えば、かがんだ姿勢、しゃがんだ姿勢などの少なくとも１つである。かがんだ姿勢は、腰及び足が屈曲していることを検出することに基づいて、検知することができる。しゃがんだ姿勢は、足が屈曲して腰が立った状態よりも低いことを検出することに基づいて、検知することができる。
　第１の行動は、荷物Ｌから第１の範囲で、かつ、第１の姿勢で第１の時間以上継続していることであってもよい。第１の時間は、予め適宜定められる時間であり、例えば３分などである。
　一般的に、検査場Ｒでは、飛行機の離発着に応じて混雑することが多い、荷物Ｌを保持している人物Ｐが多いなどの理由で、画像から荷物Ｌの開閉を検知することは困難なことがある。また、人手による監視だけでは見落とすおそれもある。ここで説明した第１の行動の例を行った人物Ｐを検知することで、検査場Ｒで荷物Ｌを開閉している人物Ｐの検知を支援することができる。
（第１の行動の他の例）
　また例えば、第１の行動は、スマートフォンＳＰなどを用いて通話する姿勢（通話姿勢）でいることを含んでもよい。通話姿勢は、例えば、スマートフォンＳＰなどの通話機器を耳や口に近づけるように保持する腕の姿勢を検出することに基づいて、検知されるとよい。
　第１の行動は、通話姿勢が第２の時間以上継続していることを含んでもよい。第２の時間は、予め適宜定められる時間であり、例えば１分などである。
　第１の行動は、スマートフォンＳＰを顔から第２の範囲で保持していることをさらに含んでもよい。第２の範囲は、予め適宜定められる範囲である。第２の範囲は、例えば、顔から予め定められた距離内、顔に触れる範囲などであってもよい。この距離は、実空間における距離（例えば、数センチメートル）で規定されてもよく、画像内での距離（例えば、１０ピクセル）で規定されてもよい。また、第１の範囲は、球形に限られず、適宜の形状で定められてよい。
　さらに例えば、第１の行動は、通話姿勢で、話していることを含んでもよい。話していることは、例えば、顔検出処理を用いて口が動いていることを検出することに基づいて、検知されるとよい。この場合、第１の行動は、周囲（すなわち、当該人物Ｐから予め定められた範囲）に人物Ｐが居らず、かつ、話していることであってもよい。また、第１の行動は、予め定められた時間以上、話していることを含んでもよい。
　一般的に、検査場Ｒでは、飛行機の離発着に応じて混雑することが多いなどの理由で、検査場Ｒで電話を掛けている人物Ｐを検知することは困難なことがある。また、人手による監視だけでは見落とすおそれもある。ここで説明した第１の行動の他の例を行った人物Ｐを検知することで、検査場Ｒで電話を掛けている人物Ｐの検知を支援することができる。
　解析制御部１１０は、第２の行動を行った人物Ｐを検知するために、ステップＳ１０１ａにて取得された画像情報に含まれる画像を画像解析部１０９に解析させる。その結果、解析制御部１１０は、検査場Ｒを撮影した画像に基づいて、当該画像に含まれる人物の視線に関して定められた第２の行動を行った人物Ｐを検知する（ステップＳ１０１ｃ）。
（第２の行動の例）
　例えば、第２の行動は、第３の時間以上連続的に、又は、第１の頻度以上で断続的に視線の方向を変化させることを含んでもよい。第３の時間は、予め適宜定められる時間であり、例えば、１５秒などである。第１の頻度は、予め適宜定められる時間であり、例えば、１０秒に２回などである。また、第２の行動は、第１の頻度以上で断続的に、予め定められた時間以上視線の方向を変化させることであってもよい。
　一般的に、検査場Ｒでは、飛行機の離発着に応じて混雑することが多いなどの理由で、検査場Ｒでしきりに視線を動かす、落ち着きのない人物Ｐを検知することは困難なことがある。また、人手による監視だけでは見落とすおそれもある。ここで説明した第２の行動の例を行った人物Ｐを検知することで、検査場Ｒでしきりに視線を動かす、落ち着きのない人物Ｐの検知を支援することができる。
（第２の行動の他の例）
　また例えば、予め定められた対象に対する視線に関する行動を含んでもよい。第２の行動は、第４の時間以上連続的に、又は、第２の頻度以上で断続的に、予め定められた対象に対して視線を向けていることであってもよい。
　ここでの予め定められた対象は、人及び物の一方又は両方であってよく、例えば、検査場Ｒの職員（特に、警備員であってもよい。）、捜査用の犬などである。
　職員や捜査用の犬などは、制服を着ていることや、所定の装備を付けていることが多い。このような場合、解析制御部１１０は、物体検出処理、外観属性検出処理、色特徴検出処理などの１つ又は複数を用いて、他の人物Ｐや物から区別して、職員や捜査用の犬などの予め定められた対象を検知することができる。
　なお、職員や捜査用の犬などの予め定められた対象がその位置を特定するための情報を発信する機器（図示せず）を保持している場合は、解析制御部１１０は、その機器からの情報に基づいて、予め定められた対象の位置を特定してもよい。そして、解析制御部１１０は、その位置を用いて、画像から予め定められた対象を検知してもよい。
　第４の時間予め適宜定められる時間であり、例えば、１５秒などである。第２の頻度は、予め適宜定められる時間であり、例えば、１５秒に３回などである。また、第２の行動は、第１の頻度以上で断続的に、予め定められた対象に対して予め定められた時間以上視線の方向を向けていることであってもよい。
　一般的に、検査場Ｒでは、飛行機の離発着に応じて混雑することが多いなどの理由で、予め定められた対象に視線を向けて、当該対象を気にしている人物Ｐを検知することは困難なことがある。また、人手による監視だけでは見落とすおそれもある。ここで説明した第２の行動の他の例を行った人物Ｐを検知することで、予め定められた対象を気にしている人物Ｐの検知を支援することができる。
　解析制御部１１０は、第３の行動を行った人物Ｐを検知するために、ステップＳ１０１ａにて取得された画像情報に含まれる画像を画像解析部１０９に解析させる。その結果、解析制御部１１０は、検査場Ｒを撮影した画像に基づいて、当該画像に含まれる人物の移動に関して定められた第３の行動を行った人物Ｐを検知する（ステップＳ１０１ｄ）。
（第３の行動の例）
　例えば、第３の行動は、第１の領域にて第５の時間以上滞留することを含んでもよい。第３の行動は、第１の領域にて第５の時間以上滞留することを含んでもよい。第３の行動は、第１の領域にて、第５の時間以上一定の姿勢で滞留することを含んでもよい。
　滞留とは、ある地点に停止していること、ある領域内で移動していることなどである。第１の領域は、例えば、基準場所から予め定められた範囲、検査場Ｒなどである。基準場所は、例えば、当該人物Ｐがある時刻に居た場所、記入台Ｔが設けられている場所である。第５の時間は、予め適宜定められる時間であり、第１の領域に応じて適宜定められてもよい。一定の姿勢とは、かがんだ姿勢、しゃがんだ姿勢などの少なくとも１つである。
　一般的に、検査場Ｒでは、飛行機の離発着に応じて混雑することが多いなどの理由で、検査場Ｒ、検査場Ｒ内のある場所、記入台Ｔの周囲などの第１の領域に長く滞留している人物Ｐを検知することは困難なことがある。また、その滞留の間に一定の姿勢でいる人物Ｐを検知することは困難なことがある。人手による監視だけでは見落とすおそれもある。ここで説明した第３の行動の例を行った人物Ｐを検知することで、第１の領域に長く滞留している人物Ｐや、その滞留の間に一定の姿勢でいる人物Ｐの検知を支援することができる。
（第３の行動の他の例）
　また例えば、第３の行動は、検査場Ｒを撮影した画像に含まれる人物が予め定められた対象を避ける行動を含んでもよい。予め定められた対象は、上述と同様に、人及び物の一方又は両方であってよく、例えば、検査場Ｒの職員（特に、警備員であってもよい。）、捜査用の犬などである。
　避ける行動とは、例えば、予め定められた対象から第３の範囲において移動方向を反転させる行動である。第３の範囲は、予め適宜定められる範囲である。第３の範囲は、例えば、予め定められた距離内の範囲である。この距離は、実空間における距離（例えば、１ｍ～２ｍ）で規定されてもよく、画像内での距離（例えば、１００～２００ピクセル）で規定されてもよい。また、第１の範囲は、球形に限られず、適宜の形状で定められてよい。このような避ける行動を行った人物Ｐを検知することで、予め定められた対象が視界に入って、後戻りする人物Ｐを検知することができる。
　また例えば、避ける行動とは、人物Ｐの移動方向に基づく予測位置が予め定められた対象から第４の範囲になる場合において当該第４の範囲外へ移動するように移動方向を変える行動である。第４の範囲は、予め適宜定められる範囲である。この距離は、実空間における距離（例えば、１ｍ～２ｍ）で規定されてもよく、画像内での距離（例えば、１００～２００ピクセル）で規定されてもよい。また、第１の範囲は、球形に限られず、適宜の形状で定められてよい。このような避ける行動を行った人物Ｐを検知することで、予め定められた対象に近づかないように移動する人物Ｐを検知することができる。
　一般的に、検査場Ｒでは、飛行機の離発着に応じて混雑することが多いなどの理由で、検査場Ｒの職員、捜査用の犬などの予め定められた対象を避けている人物Ｐを検知することは困難なことがある。また、人手による監視だけでは見落とすおそれもある。ここで説明した第３の行動の他の例を行った人物Ｐを検知することで、予め定められた対象を避けている人物Ｐの検知を支援することができる。
　解析制御部１１０は、第４の行動を行った人物Ｐを検知するために、ステップＳ１０１ａにて取得された画像情報に含まれる画像を画像解析部１０９に解析させる。その結果、解析制御部１１０は、検査場Ｒを撮影した画像に基づいて、当該画像に含まれる人物の予め定められた領域への出入りに関して定められた第４の行動を行った人物Ｐを検知する（ステップＳ１０１ｅ）。
　第４の行動における予め定められた領域は、予め適宜定められる領域であればよく、例えば、検査場Ｒ内のトイレである。予め定められた領域は、検査場Ｒなどであってもよい。
（第４の行動の例）
　例えば、第４の行動は、検査場Ｒを撮影した画像に含まれる人物が予め定められた領域に入ってから第６の時間以上、予め定められた領域から出てこないことを含んでもよい。第６の時間は、予め適宜定められる時間であり、例えば３分～５分である。
　一般的に、検査場Ｒでは、飛行機の離発着に応じて混雑することが多いなどの理由で、検査場Ｒ内のトイレなどの予め定められた領域に長く居る人物Ｐを検知することは困難なことがある。また、人手による監視だけでは見落とすおそれもある。ここで説明した第４の行動の例を行った人物Ｐを検知することで、予め定められた領域に長く居る人物Ｐの検知を支援することができる。
（第４の行動の他の例）
　また例えば、第４の行動は、検査場Ｒを撮影した画像に含まれる人物が予め定められた領域にて外観を変化させる行動を含んでもよい。外観とは、例えば人物Ｐの服装、持ち物などである。
　この場合、解析制御部１１０は、例えば、予め定められた領域に入るときと当該予め定められた領域から出るときとで外観が変化している人物Ｐを、外観を変化させる行動を行った人物として検知するとよい。
　詳細には、解析制御部１１０は、予め定められた領域に入るときの人物Ｐの顔特徴量と外観に関する情報（例えば、外観属性特徴量、人型特徴量、検出された物体）とを保持する。解析制御部１１０は、予め定められた領域から顔特徴量が一致する人物Ｐが出てくると、保持している情報に含まれる当該人物Ｐの外観と、予め定められた領域から出てきた当該人物Ｐの外観とを比較する。
　解析制御部１１０は、比較の結果、外観が一致しない場合、当該人物Ｐの外観が変化していると判定し、当該人物Ｐを外観を変化させる行動を行った人物Ｐとして検知するとよい。解析制御部１１０は、比較の結果、外観が一致する場合、当該人物Ｐの外観が変化しないと判定し、当該人物Ｐを外観を変化させる行動を行った人物Ｐとして検知しなくてよい。
　ここで、「一致する」とは、実質的に一致することを意味する。すなわち、「一致する」とは、完全に同一の場合だけではなく、予め定められた範囲で異なる場合も含む。
　より詳細には例えば、トイレでの服装の変化を検知する場合、解析制御部１１０は、トイレに入るときの人物Ｐの顔特徴量と服装に関する情報（例えば、外観属性特徴量、人型特徴量）とを保持する。解析制御部１１０は、トイレから出る人物Ｐの顔特徴量と服装に関する情報とを取得する。
　解析制御部１１０は、トイレに入る人物Ｐとトイレから出る人物Ｐとの顔特徴量を比較する。解析制御部１１０は、その比較結果に基づいて、人物Ｐの同一性を判定する。そして、解析制御部１１０は、同一であると判定した人物Ｐについて、トイレに入るときとトイレから出るときとで服装に関する情報が一致していない場合に、トイレで服装が変化したことを検知する。
　また例えば、トイレでの荷物Ｌの変化を検知する場合、解析制御部１１０は、トイレに入るときの人物Ｐの顔特徴量と荷物Ｌに関する情報（例えば、物体検出処理の検出結果、外観属性特徴量、人型特徴量）とを保持する。解析制御部１１０は、トイレから出る人物Ｐの顔特徴量と荷物Ｌに関する情報とを取得する。
　解析制御部１１０は、トイレに入る人物Ｐとトイレから出る人物Ｐとの顔特徴量、外観属性特徴量、人型特徴量の少なくとも１つを比較する。解析制御部１１０は、その比較結果に基づいて、人物Ｐの同一性を判定する。そして、解析制御部１１０は、同一であると判定した人物Ｐについて、トイレに入るときとトイレから出るときとで荷物Ｌに関する情報が一致していない場合に、トイレで荷物Ｌが変化したことを検知する。
　予め定められた領域に入るときと当該予め定められた領域から出るときとで外観が変化している人物Ｐは、通常、予め定められた領域にて外観を変化させる行動を行ったと推定できる。そのため、予め定められた領域に入るときと当該予め定められた領域から出るときとで外観が変化している人物Ｐを検知することで、予め定められた領域にて外観を変化させる行動を行った人物Ｐを検知することができる。
　また例えば、解析制御部１１０は、予め定められた領域に入った人物Ｐに関する入場情報を保持してもよい。そして、解析制御部１１０は、当該予め定められた領域から出て来る人物Ｐのうち、入場情報に含まれない人物Ｐを、外観を変化させる行動を行った人物Ｐとして検知してもよい。
　予め定められた領域から出て来る人物Ｐのうち、入場情報に含まれない人物Ｐは、予め定められた領域に入った時と出てきた時とで、画像から同一と判定できない程度に外観が変化した人物Ｐと推定できる。そのため、予め定められた領域から出て来る人物Ｐのうち、入場情報に含まれない人物Ｐを検知することで、予め定められた領域にて外観を変化させる行動を行った人物Ｐを検知することができる。
　一般的に、検査場Ｒでは、飛行機の離発着に応じて混雑することが多いなどの理由で、予め定められた領域にて外観が変化した人物Ｐを検知することは困難なことがある。また、人手による監視だけでは見落とすおそれもある。特に、人物Ｐが画像から同一と判断できない程度に外観が変化している場合は、見落とす可能性が高い。ここで説明した第４の行動の他の例を行った人物Ｐを検知することで、予め定められた領域にて外観を変化させる行動を行った人物Ｐの検知を支援することができる。
　解析制御部１１０は、ステップＳ１０１ｂ～ステップＳ１０１ｅの少なくとも１つで検知された人物Ｐを追跡するための処理を行う（ステップＳ１０１ｆ）。
　詳細には、解析制御部１１０は、画像に含まれる人物Ｐの各々に、人物Ｐを識別するための人物ＩＤを付与する。解析制御部１１０は、ステップＳ１０１ｂ～ステップＳ１０１ｅの少なくとも１つで検知された人物Ｐについて、当該人物Ｐを追跡するための追跡情報を保持する。追跡情報は、例えば、検知された人物Ｐの人物ＩＤ、追跡のために用いる画像特徴量（例えば、顔特徴量）の少なくとも１つを含む。
　そして、解析制御部１１０は、追跡情報に基づいて、ステップＳ１０１ａにて取得する画像情報に含まれる画像に、当該検出された人物Ｐが含まれているか否かを判定する。解析制御部１１０は、検出された人物Ｐが含まれていると判定した場合、解析制御部１１０は、当該検出された人物Ｐの動線を、例えば画像解析部１０９に動線解析処理を用いて作成させ、当該動線を追跡情報の人物ＩＤに関連付けて保持する。これにより、第１の行動～第４の行動のいずれかが終了した後であっても、解析制御部１１０は、ステップＳ１０１ｂ～ステップＳ１０１ｅの少なくとも１つで検知されてから、当該検知された人物Ｐを動線を用いて追跡することができる。
　解析制御部１１０は、ステップＳ１０１ｆを実行すると、検知処理（ステップＳ１０１）を終了し、監視処理（図２参照）に戻る。
　図７は、本実施の形態に係る出力処理（ステップＳ１０２）の詳細な例を示すフローチャートである。
　出力部１０４は、解析制御部１１０がステップＳ１０１ｂ～Ｓ１０１ｆを実行した結果に基づいて、ステップＳ１０１ｂ～ステップＳ１０１ｅの少なくとも１つで検知された人物Ｐに関する検知情報１１１を生成する（ステップＳ１０２ａ）。出力部１０４は、検知情報を検知記憶部１０７に記憶させる。
　図８は、検知情報１１１の構成の一例を示す図である。検知情報１１１は、検知された人物Ｐを特定するための人物特定情報と、当該人物Ｐが検知された理由とを関連付ける情報である。人物特定情報は、当該人物Ｐの人物ＩＤ、検査場Ｒのマップ及び外観と、時刻とを含む。マップは、関連付けられた時刻における人物Ｐの位置を示す印を含む。また、マップは、当該人物Ｐが検知されてから、関連付けられた時刻までの人物Ｐの動線を含む。マップは、当該人物Ｐが検知された位置を含む。
　出力部１０４は、ステップＳ１０２ａにて生成した検知情報１１１を出力する（ステップＳ１０２ｂ）。本実施形態では出力部１０４は、検知情報１１１を表示部１０５に出力し、検知情報１１１を表示部１０５に表示させる。
　図９は、表示部１０５に表示される検知情報１１１の一例を示す図である。図３に示す例において、位置Ｘ１に居る人物ＰａがスマートフォンＳＰを用いた通話姿勢で居たために検知されて、その後、移動した例である。同図は、検知情報１１１が検査場Ｒの平面図（検査場Ｒを上方から見たマップ）を含み、人物Ｐの位置を示す印、動線、検知された理由が平面図に重ね合わせて示される例を示す。
　動線は、人物Ｐａの移動の軌跡を示す。図９では、人物Ｐａの位置（例えば、現在位置）を示す印として、人物Ｐを囲む点線の四角が付される例を示す。図９では、人物Ｐａが検知された理由としての「通話」が人物Ｐａの画像（図９の例では、人物Ｐａの位置を示す印）に関連付けられている例を示す。
　検知情報１１１が人物Ｐａの位置を示す印を含むことで、ユーザは、表示部１０５を用いて人物Ｐａの位置を容易に把握することができる。また、人物Ｐａの位置を把握することで、目視により人物Ｐａの追跡も容易になる。従って、検査場Ｒにおける監視を効果的に支援することが可能になる。
　検知情報１１１が動線を含むことで、ユーザは、表示部１０５を用いて人物Ｐａの動線を容易に把握することができる。従って、検査場Ｒにおける監視を効果的に支援することが可能になる。
　検知情報１１１が検知された理由を含むことで、ユーザは、表示部１０５を用いて人物Ｐａが検知された理由を容易に把握することができる。従って、検査場Ｒにおける監視を効果的に支援することが可能になる。
　検知情報１１１が人物Ｐの外観が変化する前後の画像を含むため、ユーザは、表示部１０５を用いて外観が変化する前後の画像を閲覧することができる。これにより、ユーザは、人物Ｐの顔の特徴を把握し易くなり、検査場Ｒにて当該人物Ｐを発見し易くなる。従って、検査場Ｒにおける監視を効果的に支援することが可能になる。ここで、人物Ｐの外観が変化する前後の画像は、人物Ｐを含む動画像及び静止画像のいずれであってもよい。
　なお、人物Ｐの位置を示す印は、これに限られず、印の形状は適宜変更されてもよい。また、出力部１０４は、画像における人物Ｐの領域を点滅させることなどを印として用いてもよい。また、表示部は、検知された理由を、常に表示してもよく、一時的に表示してもよい。
　一時的に表示する例として、ユーザの操作に応じて人物Ｐａが表示される領域にカーソルを合わせた場合、カーソルを合わせてクリックした場合などに、予め定められた時間表示することを挙げることができる。また、一時的に表示する他の例として、ユーザの操作に応じて人物Ｐａが表示される領域にカーソルを合わせいる間、表示することを挙げることができる。さらに、一時的に表示する別の例として、表示部１０５にタッチパネルが設けられている場合、当該領域をタップしてから予め定められた時間表示することを挙げることができる。
　出力部１０４は、ステップＳ１０２ｂを実行すると、出力処理（ステップＳ１０２）を終了して、監視処理（図２参照）に戻る。そして、検知部１０３がステップＳ１０１を再び実行する。
　これまで、本発明の実施形態１について説明した。
　本実施形態によれば、監視装置１０２は、検知部１０３と、出力部１０４とを備える。検知部１０３は、検査場Ｒを撮影した画像に基づいて、予め定められた行動を行った人物を検知する。出力部１０４は、検知された人物に関する検知情報を出力する。
　このように、監視装置１０２は、検査場Ｒを撮影した画像を処理して、予め定められた行動を行った人物Ｐを検知するので、迅速かつ適切に注意を要する人物Ｐを検知することができる。従って、検査場Ｒにおける監視を効果的に支援することが可能になる。
　本実施形態によれば、予め定められた行動は、上述の第１の行動～第４の行動を含む。予め定められた行動が第１の行動～第４の行動の各々を含むことで、一般的に注意を要する人物が行う行動に基づいて、検査場Ｒを撮影した画像を処理して人物Ｐを検知することができ、迅速かつ適切に注意を要する人物Ｐを検知することができる。従って、予め定められた行動が第１の行動～第４の行動の各々を含むことで、検査場Ｒにおける監視を効果的に支援することが可能になる。予め定められた行動が第１の行動～第４の行動のうちの複数を含むことで、検査場Ｒにおける監視を、より効果的に支援することが可能になる。さらに、本実施形態のように予め定められた行動が第１の行動～第４の行動のすべてを含むことで、検査場Ｒにおける監視をより一層効果的に支援することが可能になる。
（変形例１）
　検知情報１１１に含まれる情報は、実施形態１で説明した情報に限られない。検知情報１１１は、図８に例示する情報に加えて検知された時刻などを含んでもよく、これらの一部を含んでもよい。
　また、検知情報１１１は、第４の行動が検知された人物Ｐについて、予め定められた領域に入った時と当該予め定められた領域から出る時との画像（例えば、顔の画像、全身の画像）を含んでもよい。言い換えると、検知情報１１１は、外観を変化させる行動を行った人物Ｐについて、当該人物Ｐの外観が変化する前後の画像を含んでもよい。
　検知情報１１１が人物Ｐの外観が変化する前後の画像を含む場合、当該画像は、人物Ｐの正面の画像が望ましい。そのために、監視システム１００は、予め定められた領域に出入りする人物Ｐを正面から撮影できるように当該領域の出入口設置された複数の撮影装置１０１を含んでもよい。また、予め定められた領域に複数の出入口が設けられている場合、監視システム１００は、各出入口を撮影するための１つ又は複数の撮影装置１０１を含んでもよい。
　検知情報１１１が人物Ｐの外観が変化する前後の画像を含むことで、ユーザは、表示部１０５を用いて外観が変化する前後の画像を閲覧することができる。これにより、ユーザは、人物Ｐの顔の特徴を把握し易くなる。従って、検査場Ｒにおける監視を効果的に支援することが可能になる。
（変形例２）
　図１０は、変形例２に係る監視システム１００の構成例を示す図である。本変形例に係る監視システム１００は、実施形態１に係る撮影装置１０１と同様の撮影装置１０１を複数備える。この点を除いて、本変形例に係る監視システム１００は、実施形態１に係る監視システム１００と同様に構成されるとよい。すなわち、図１０では、監視システム１００が複数の撮影装置１０１を備える例を図示する。
　監視システム１００が複数の撮影装置１０１を備える場合も、監視装置１０２は、実施形態１と同様の機能を備え、同様の処理を実行するとよい。本変形例においても、実施形態１と同様の効果を奏する。
＜実施形態２＞
　実施形態１において、解析制御部１１０は、追跡情報に含まれる人物ＩＤなどが示すすべての人物Ｐが、画像情報に含まれる画像に含まれるか否かを判定（照合）する。そのため、解析制御部１１０は、追跡情報に含まれる人物ＩＤが多くなると、人物Ｐを追跡するための解析制御部１１０の処理負荷は大きくなる。
　ここで、通常、検査場Ｒから出た人物Ｐは、検査場Ｒに戻ってこない。そのため、検査場Ｒから出た人物Ｐについて、追跡のための処理（ステップＳ１０１ｆ）を実行する必要性は乏しい。実施形態２では、検査場Ｒから出た人物Ｐについて、追跡のための処理（ステップＳ１０１ｆ）を解析制御部１１０に実行させなくする例を説明する。本実施形態では説明を簡潔にするため、実施形態１とは異なる点について主に説明し、実施形態１と重複する説明は適宜省略する。
　図１１は、本発明の実施形態２に係る監視システム２００の構成例を示す図である。
　監視システム２００は、本実施形態に係る監視システム２００は、実施形態１に係る監視装置１０２に代わる監視装置２０２を備える。この点を除いて、本実施形態に係る監視システム２００は、実施形態１に係る監視システム１００と同様に構成されるとよい。
　監視装置２０２は、実施形態１に係る検知部１０３に代わる検知部２０３を備える。この点を除いて、本実施形態に係る監視装置２０２は、実施形態１に係る監視装置１０２と同様に構成されるとよい。
　検知部２０３は、その機能的な構成例を図１２に示すように、実施形態１の解析制御部１１０に代わる解析制御部２１０を含む。この点を除いて、本実施形態に係る検知部２０３は、実施形態１に係る検知部１０３と同様に構成されるとよい。
　解析制御部２１０は、画像解析部１０９を用いて、検知された人物Ｐが検査場Ｒから出たことを検知する。検知された人物Ｐが検査場Ｒから出たことが検知された場合に、解析制御部２１０は、検査場Ｒから出た人物Ｐを追跡するための情報（追跡情報）を消去する。この点を除いて、本実施形態に係る解析制御部２１０は、実施形態１に係る解析制御部１１０と同様に構成されるとよい。
　本実施形態に係る監視システム２００は、物理的には実施形態１に係る監視システム１００と同様に構成されるとよい。
　図１３は、本実施形態に係る検知処理の一例を示すフローチャートである。図１３は、本実施形態に係る検知処理において、実施形態１に係る検知処理（ステップＳ１０１）と異なる箇所のみを示す。同図に示すように、本実施形態に係る監視処理は、ステップＳ１０１ｅとＳ１０１ｆとの間に、ステップＳ２０１～２０２を含む。この点を除いて、本実施形態に係る監視処理は、実施形態１に係る監視処理と同様でよい。
　ステップＳ１０１ｅを実行すると、解析制御部２１０は、自身が保持する追跡情報に基づいて、検知された人物Ｐが検査場Ｒから出たか否かを判定する（ステップＳ２０１）。検査場Ｒから出ていないと判定すると（ステップＳ２０１；Ｎｏ）、解析制御部２１０は、ステップＳ１０１ｆを実行する。
　検査場Ｒから出たと判定すると（ステップＳ２０１；Ｙｅｓ）、解析制御部２１０は、検査場Ｒから出た人物Ｐを追跡するための追跡情報を消去する（ステップＳ２０２）。
　続けて、解析制御部２１０は、追跡処理（ステップＳ１０１ｆ）を実行する。
　本実施形態に係る検知処理では、追跡処理（ステップＳ１０１ｆ）を実行する前のステップＳ２０２にて、検査場Ｒから出た人物Ｐの追跡情報を消去することができる。そのため、当該人物Ｐを追跡するための処理（ステップＳ１０１ｆ）を解析制御部１１０に実行させなくすることができる。
　これまで、本発明の実施形態２について説明した。
　本実施形態によれば、検知部２０３（解析制御部２１０）は、検知された人物Ｐが検査場Ｒから出たことが検知された場合に、当該人物Ｐを追跡するための情報を消去する。これにより、上述の通り、検出された人物Ｐが検査場Ｒから出た後は、その人物Ｐを追跡するための処理（ステップＳ１０１ｆ）を解析制御部１１０に実質的に実行させなくすることができる。
　本実施形態に係る検知処理では、人物Ｐが検査場Ｒに居る間、解析制御部２１０は、追跡情報を保持しているので、この追跡情報を用いて、検出された人物Ｐを追跡することができる。その一方で、検出された人物Ｐが検査場Ｒから出た後は、解析制御部１１０がその人物Ｐについての追跡するための処理（ステップＳ１０１ｆ）を実行することは、極めて難しくなる。そのため、検出された人物Ｐが検査場Ｒから出た後も、当該人物Ｐに関する追跡情報を保持している場合よりも、解析制御部１１０の処理負荷を軽減することができる。すなわち、検出された人物Ｐの追跡を可能としつつ、検出された人物Ｐを追跡のための処理負荷を軽減することが可能になる。従って、監視装置２０２の処理負荷の軽減を図りつつ、検査場Ｒにおける監視を効果的に支援することが可能になる。
＜実施形態３＞
　実施形態１では、１つ又は複数の解析機能を備え、それらの解析処理を常に実行するかのように説明した。しかし、画像解析部１０９が複数の解析機能を備え、それらの解析処理のうちのいずれを、検査場Ｒを撮影した画像を解析するために用いるかを切り替えてもよい。本実施形態では説明を簡潔にするため、実施形態１とは異なる点について主に説明し、実施形態１と重複する説明は適宜省略する。
　図１４は、本発明の実施形態３に係る監視システム３００の構成例を示す図である。
　監視システム３００は、本実施形態に係る監視システム３００は、実施形態１に係る監視装置１０２に代わる監視装置３０２を備える。この点を除いて、本実施形態に係る監視システム３００は、実施形態１に係る監視システム１００と同様に構成されるとよい。
　監視装置３０２は、実施形態１に係る検知部１０３に代わる検知部３０３を備える。この点を除いて、本実施形態に係る監視装置３０２は、実施形態１に係る監視装置１０２と同様に構成されるとよい。
　検知部３０３は、その機能的な構成例を図１５に示すように、実施形態１の解析制御部１１０に代わる解析制御部３１０を含む。この点を除いて、本実施形態に係る検知部３０３は、実施形態１に係る検知部１０３と同様に構成されるとよい。
　解析制御部３１０は、検査場Ｒの状況に応じて、検査場Ｒを撮影した画像を処理するための複数の解析処理のうちのいずれを、検査場Ｒを撮影した画像を処理するために用いるかを切り替える。
　詳細には、解析制御部３１０は、検査場Ｒの状況が予め定められた基準を満たすか否かに応じて、検査場Ｒを撮影した画像を処理するために用いる解析処理を切り替える。
　解析処理は、上述の通り、（１）物体検出処理、（２）顔解析処理、（３）人型特徴解析処理、（４）姿勢解析処理、（５）行動解析処理、（６）外観属性解析処理、（７）勾配特徴解析処理、（８）色特徴解析処理、（９）動線解析処理などの１つ以上である。
　検査場Ｒの状況は、例えば、検査場Ｒの混雑度である。混雑度は、検査場Ｒの全体的な混雑度、検査場Ｒの一部における局所的な混雑度などである。全体的な混雑度は、例えば、検査場Ｒに居る人物Ｐの総数である。局所的な混雑度は、例えば、検査場Ｒの中で特に人物Ｐが密集している領域の密度、検査場Ｒの予め定められた領域（例えば、記入台Ｔから予め定められた範囲）に居る人物Ｐの人数などである。
　予め定められた基準は、例えば、混雑度が予め定められた閾値よりも小さいことである。解析制御部３１０は、例えば、混雑度が閾値以上である場合に、複数の解析処理のすべてを用いて検査場Ｒを撮影した画像を処理する。解析制御部３１０は、例えば、混雑度が閾値未満である場合に、複数の解析処理の一部を用いて検査場Ｒを撮影した画像を処理する。
　この場合の解析制御部３１０は、例えば、検査場Ｒの混雑度と閾値ＴＨとを比較し、比較した結果に基づいて、検査場Ｒを撮影した画像を処理するための複数の解析処理のうちのいずれを、検査場Ｒを撮影した画像を処理するために用いるかを制御する。
　本実施形態に係る監視システム３００は、物理的には実施形態１に係る監視システム１００と同様に構成されるとよい。
　本実施形態に係る監視装置３０２は、実施形態１に係る検知処理（Ｓ１０１）に代わる検知処理（ステップＳ３０１）を含む監視処理を実行する。この点を除いて、本実施形態に係る監視処理は、実施形態１に係る監視処理と同様でよい。
　図１６は、本実施形態に係る検知処理（Ｓ３０１）の一例を示すフローチャートである。図１６は、本実施形態に係る検知処理において、実施形態１に係る検知処理（ステップＳ１０１）と異なる箇所のみを示す。同図に示すように、本実施形態に係る検知処理（Ｓ３０１）は、ステップＳ１０１ａの前に、ステップＳ３０１ａ～Ｓ３０１ｃを含む。この点を除いて、本実施形態に係る検知処理（Ｓ３０１）は、実施形態１に係る検知処理（Ｓ１０１）と同様でよい。
　同図では、検査場Ｒの状況がその混雑度である場合のフローチャートの例を示す。また、予め定められた基準が、混雑度が予め定められた閾値よりも小さいことである場合のフローチャートの例を示す。
　解析制御部３１０は、検査場Ｒの混雑度が予め定められた閾値ＴＨより小さいか否かを判定する（ステップＳ３０１ａ）。
　混雑度が閾値ＴＨよりも小さいと判定した場合（ステップＳ３０１ａ；Ｙｅｓ）、解析制御部３１０は、画像解析部１０９が実行する複数の解析処理のうちの一部を用いるように画像解析部１０９を制御する（ステップＳ３０１ｂ）。
　ステップＳ３０１ｂを実行する結果、画像解析部１０９複数の解析処理のうちの一部を用いて、検査場Ｒを撮影した画像を解析する。ここで、複数の解析処理のうちのいずれの解析処理を用いるかは、適宜定められてよい。
　なお、画像解析部１０９が実行する複数の解析処理とは、言い換えると、画像解析部１０９が備える複数の解析機能である。
　混雑度が閾値ＴＨよりも小さくないと判定した場合（ステップＳ３０１ａ；Ｎｏ）、解析制御部３１０は、画像解析部１０９が実行する複数の解析処理のすべてを用いるように画像解析部１０９を制御する（ステップＳ３０１ｃ）。
　解析制御部３１０は、ステップＳ３０１ｂ又はＳ３０１ｃを実行した後に、実施形態１に係るステップＳ１０１ａ以降の処理を実行する。
　本実施形態では、ステップＳ１０１ａ以降の処理を実行する前に、解析制御部３１０は、検査場Ｒの状況に応じてステップＳ３０１ｂ又はＳ３０１ｃを実行し、検査場Ｒを撮影した画像を処理するために用いる解析処理を切り替える。
　本実施形態の例では、混雑度が閾値ＴＨよりも小さい場合に、混雑度が閾値ＴＨ以上である場合よりも、検査場Ｒを撮影した画像を処理するために用いる解析処理を少なくすることができる。
　混雑度が小さい場合は、検査場Ｒの目視確認が行き届き易いので、解析処理の精度が比較的低くても、検査場Ｒにおける監視を支援することができる。混雑度が大きい場合は、検査場Ｒの目視確認が行き届き難いので、精度の良い解析処理が期待される。また、検査場Ｒを撮影した画像を処理するために用いる解析処理を少なくすることで、監視装置３０２の処理負荷を軽減することができる。
　このように、本実施形態に係る検知処理（Ｓ３０１）によれば、監視装置３０２の処理負荷を軽減しつつ、検査場Ｒにおける監視を効果的に支援することが可能になる。
　これまで、本発明の実施形態３について説明した。
　本実施形態によれば、検知部３０３（解析制御部３１０）は、検査場Ｒの状況に応じて、検査場Ｒを撮影した画像を処理するための複数の解析処理のうちのいずれを、検査場Ｒを撮影した画像を処理するために用いるかを切り替える。
　これにより、上述の通り、監視装置３０２の処理負荷の軽減を図りつつ、検査場Ｒ状況に応じて要求される解析処理の精度を維持することができる。従って、監視装置３０２の処理負荷を軽減しつつ、検査場Ｒにおける監視を効果的に支援することが可能になる。
（変形例３）
　実施形態３において、解析制御部３１０は、例えば、飛行機の離陸時刻及び着陸時刻の少なくとも一方を含む航空情報を取得してもよい。例えば、解析制御部３１０は、航空情報を、ユーザの入力に基づいて取得してもよく、外部の装置（図示せず）から取得してもよい。
　そして、解析制御部３１０は、航空情報に基づいて、検査場Ｒを撮影した画像を処理するための複数の解析処理のうちのいずれを、検査場Ｒを撮影した画像を処理するために用いるかを切り替えてもよい。
　詳細には例えば、解析制御部３１０は、航空情報に基づいて、検査場Ｒの状況（例えば、混雑度）を予測してもよい。この場合、解析制御部３１０は、予測した結果に基づいて、検査場Ｒを撮影した画像を処理するための複数の解析処理のうちのいずれを、検査場Ｒを撮影した画像を処理するために用いるかを切り替えてもよい。
　この例においても、解析制御部３１０は、検査場Ｒの状況に応じて、検査場Ｒを撮影した画像を処理するための複数の解析処理のうちのいずれを、検査場Ｒを撮影した画像を処理するために用いるかを切り替えることができる。
　また例えば、解析制御部３１０は、航空情報に含まれる時刻から予め定められた時間であるか否かに基づいて、検査場Ｒを撮影した画像を処理するための複数の解析処理のうちのいずれを、検査場Ｒを撮影した画像を処理するために用いるかを切り替えてもよい。一般的に、検査場Ｒは、飛行機の離陸や着陸に伴って混雑する。
　そのため、この例においても、解析制御部３１０は、検査場Ｒの状況に応じて、検査場Ｒを撮影した画像を処理するための複数の解析処理のうちのいずれを、検査場Ｒを撮影した画像を処理するために用いるかを切り替えることができる。
　本変形例においても、検知部３０３（解析制御部３１０）は、検査場Ｒの状況に応じて、検査場Ｒを撮影した画像を処理するための複数の解析処理のうちのいずれを、検査場Ｒを撮影した画像を処理するために用いるかを切り替える。従って、実施形態３と同様の効果を奏する。
　以上、図面を参照して本発明の実施の形態及び変形例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、実施の形態の各々で実行される工程の実行順序は、その記載の順番に制限されない。実施の形態の各々では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の実施の形態及び変形例は、内容が相反しない範囲で組み合わせることができる。
　上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
　１．
　検査場を撮影した画像に基づいて、予め定められた行動を行った人物を検知する検知手段と、
　前記検知された人物に関する検知情報を出力する出力手段とを備える
　監視装置。
２．
　前記予め定められた行動は、前記画像に含まれる物との関係で定められた第１の行動を含む
　付記１に記載の監視装置。
３．
　前記物は、荷物であり、
　前記第１の行動は、前記荷物から第１の範囲で、かつ、第１の姿勢でいることを含む
　付記２に記載の監視装置。
４．
　前記荷物から第１の範囲は、前記荷物に触れる範囲である
　付記３に記載の監視装置。
５．
　前記第１の姿勢は、しゃがんだ姿勢、かがんだ姿勢の少なくとも１つである
　付記３又は４に記載の監視装置。
６．
　前記第１の行動は、前記第１の姿勢が第１の時間以上継続していることを含む
　付記３から５のいずれか１つに記載の監視装置。
７．
　前記物は、通話器具であり、
　前記第１の行動は、前記通話器具を用いて通話する姿勢でいることを含む
　付記２から６のいずれか１つに記載の監視装置。
８．
　前記第１の行動は、前記通話する姿勢が第２の時間以上継続していることを含む
　付記７に記載の監視装置。
９．
　前記第１の行動は、前記通話器具を顔から第２の範囲で保持していることをさらに含む
　付記７又は８に記載の監視装置。
１０．
　前記顔から第２の範囲は、前記顔に触れる範囲である
　付記９に記載の監視装置。
１１．
　前記第１の行動は、話していることを含む
　付記７から１０のいずれか１つに記載の監視装置。
１２．
　前記予め定められた行動は、前記画像に含まれる人物の視線に関して定められた第２の行動を含む
　付記１から１１のいずれか１つに記載の監視装置。
１３．
　前記第２の行動は、第３の時間以上連続的に、又は、第１の頻度以上で断続的に視線の方向を変化させることを含む
　付記１２に記載の監視装置。
１４．
　前記第２の行動は、予め定められた対象に対する視線に関する行動を含む
　付記１２又は１３に記載の監視装置。
１５．
　前記第２の行動は、第４の時間以上連続的に、又は、第２の頻度以上で断続的に、前記予め定められた対象に対して視線を向けていることである
　付記１４に記載の監視装置。
１６．
　前記予め定められた行動は、前記画像に含まれる人物の移動に関して定められた第３の行動を含む
　付記１から１５のいずれか１つに記載の監視装置。
１７．
　前記第３の行動は、第１の領域にて第５の時間以上滞留することを含む
　付記１６に記載の監視装置。
１８．
　前記第１の領域は、前記検査場又は基準場所から予め定められた範囲である
　付記１７に記載の監視装置。
１９．
　前記第３の行動は、前記第１の領域にて、前記第５の時間以上一定の姿勢で滞留することを含む
　付記１７又は１８に記載の監視装置。
２０．
　前記第３の行動は、前記画像に含まれる人物が予め定められた対象を避ける行動を含む
　付記１６から１９のいずれか１つに記載の監視装置。
２１．
　前記避ける行動は、前記予め定められた対象から第３の範囲において移動方向を反転させる行動、人物の移動方向に基づく予測位置が前記予め定められた対象から第４の範囲になる場合において当該第４の範囲外へ移動するように移動方向を変える行動の少なくとも１つを含む
　付記２０に記載の監視装置。
２２．
　前記予め定められた行動は、前記画像に含まれる人物の予め定められた領域への出入りに関して定められた第４の行動を含む
　付記１から２１のいずれか１つに記載の監視装置。
２３．
　前記第４の行動は、前記画像に含まれる人物が前記予め定められた領域に入ってから第６の時間以上、前記予め定められた領域から出てこないことを含む
　付記２２に記載の監視装置。
２４．
　前記第４の行動は、前記画像に含まれる人物が前記予め定められた領域にて外観を変化させる行動を含む
　付記２２又は２３に記載の監視装置。
２５．
　前記検知手段は、前記予め定められた領域に入るときと前記予め定められた領域から出るときとで外観が変化している人物を、前記外観を変化させる行動を行った人物として検知する
　付記２４に記載の監視装置。
２６．
　前記検知手段は、前記予め定められた領域に入った人物に関する入場情報を保持し、前記予め定められた領域から出て来る人物のうち前記入場情報に含まれない人物を、前記外観を変化させる行動を行った人物として検知する
　付記２４又は２５に記載の監視装置。
２７．
　前記検知情報は、前記外観を変化させる行動を行った人物について、外観が変化する前後の当該人物の画像を含む
　付記２４から２６のいずれか１つに記載の監視装置。
２８．
　前記検知手段は、さらに、前記検知された人物を追跡するための処理を行い、
　前記検知情報は、前記検知された人物を追跡した結果を含む
　付記１から２７のいずれか１つに記載の監視装置。
２９．
　前記検知手段は、前記検知された人物が前記検査場から出たことを検知した場合に、前記検査場から出た人物を追跡するための情報を消去する
　付記１から２８のいずれか１つに記載の監視装置。
３０．
　前記検知手段は、前記検査場の状況に応じて、前記画像を処理するための複数の解析処理のうちのいずれを、前記画像を処理するために用いるかを切り替える
　付記１から２９のいずれか１つに記載の監視装置。
３１．
　付記１から３０のいずれか１つに記載の監視装置と、
　前記検査場を撮影することに応じて、前記検査場の画像を含む画像情報を生成する撮影装置とを備える
　監視システム。
３２．
　コンピュータが、
　検査場を撮影した画像に基づいて、予め定められた行動を行った人物を検知する検知し、
　前記検知された人物に関する検知情報を出力することを含む
　監視方法。
３３．
　コンピュータに、
　検査場を撮影した画像に基づいて、予め定められた行動を行った人物を検知する検知し、
　前記検知された人物に関する検知情報を出力することを実行させるためのプログラム。
１００，２００，３００　監視システム
１０１　撮影装置
１０２，２０２，３０２　監視装置
１０３，２０３，３０３　検知部
１０４　出力部
１０５　表示部
１０６　画像記憶部
１０７　検知記憶部
１０８　画像取得部
１０９　画像解析部
１１０，２１０，３１０　解析制御部
１１１　検知情報
Ｐ，Ｐａ，Ｐｂ，Ｐｃ　人物
Ｌ，Ｌａ，Ｌｂ，Ｌｃ　荷物
Ｒ　検査場
ＳＰ　スマートフォン
Ｔ　記入台

Claims (33)

  1. 　検査場を撮像した画像に基づいて、予め定められた行動を行った人物を検知する検知手段と、
    　前記検知された人物に関する検知情報を出力する出力手段とを備える
    　監視装置。
  2. 　前記予め定められた行動は、前記画像に含まれる物との関係で定められた第１の行動を含む
    　請求項１に記載の監視装置。
  3. 　前記物は、荷物であり、
    　前記第１の行動は、前記荷物から第１の範囲で、かつ、第１の姿勢でいることを含む
    　請求項２に記載の監視装置。
  4. 　前記荷物から第１の範囲は、前記荷物に触れる範囲である
    　請求項３に記載の監視装置。
  5. 　前記第１の姿勢は、しゃがんだ姿勢、かがんだ姿勢の少なくとも１つである
    　請求項３又は４に記載の監視装置。
  6. 　前記第１の行動は、前記第１の姿勢が第１の時間以上継続していることを含む
    　請求項３から５のいずれか１項に記載の監視装置。
  7. 　前記物は、通話器具であり、
    　前記第１の行動は、前記通話器具を用いて通話する姿勢でいることを含む
    　請求項２から６のいずれか１項に記載の監視装置。
  8. 　前記第１の行動は、前記通話する姿勢が第２の時間以上継続していることを含む
    　請求項７に記載の監視装置。
  9. 　前記第１の行動は、前記通話器具を顔から第２の範囲で保持していることをさらに含む
    　請求項７又は８に記載の監視装置。
  10. 　前記顔から第２の範囲は、前記顔に触れる範囲である
    　請求項９に記載の監視装置。
  11. 　前記第１の行動は、話していることを含む
    　請求項７から１０のいずれか１項に記載の監視装置。
  12. 　前記予め定められた行動は、前記画像に含まれる人物の視線に関して定められた第２の行動を含む
    　請求項１から１１のいずれか１項に記載の監視装置。
  13. 　前記第２の行動は、第３の時間以上連続的に、又は、第１の頻度以上で断続的に視線の方向を変化させることを含む
    　請求項１２に記載の監視装置。
  14. 　前記第２の行動は、予め定められた対象に対する視線に関する行動を含む
    　請求項１２又は１３に記載の監視装置。
  15. 　前記第２の行動は、第４の時間以上連続的に、又は、第２の頻度以上で断続的に、前記予め定められた対象に対して視線を向けていることである
    　請求項１４に記載の監視装置。
  16. 　前記予め定められた行動は、前記画像に含まれる人物の移動に関して定められた第３の行動を含む
    　請求項１から１５のいずれか１項に記載の監視装置。
  17. 　前記第３の行動は、第１の領域にて第５の時間以上滞留することを含む
    　請求項１６に記載の監視装置。
  18. 　前記第１の領域は、前記検査場又は基準場所から予め定められた範囲である
    　請求項１７に記載の監視装置。
  19. 　前記第３の行動は、前記第１の領域にて、前記第５の時間以上一定の姿勢で滞留することを含む
    　請求項１７又は１８に記載の監視装置。
  20. 　前記第３の行動は、前記画像に含まれる人物が予め定められた対象を避ける行動を含む
    　請求項１６から１９のいずれか１項に記載の監視装置。
  21. 　前記避ける行動は、前記予め定められた対象から第３の範囲において移動方向を反転させる行動、人物の移動方向に基づく予測位置が前記予め定められた対象から第４の範囲になる場合において当該第４の範囲外へ移動するように移動方向を変える行動の少なくとも１つを含む
    　請求項２０に記載の監視装置。
  22. 　前記予め定められた行動は、前記画像に含まれる人物の予め定められた領域への出入りに関して定められた第４の行動を含む
    　請求項１から２１のいずれか１項に記載の監視装置。
  23. 　前記第４の行動は、前記画像に含まれる人物が前記予め定められた領域に入ってから第６の時間以上、前記予め定められた領域から出てこないことを含む
    　請求項２２に記載の監視装置。
  24. 　前記第４の行動は、前記画像に含まれる人物が前記予め定められた領域にて外観を変化させる行動を含む
    　請求項２２又は２３に記載の監視装置。
  25. 　前記検知手段は、前記予め定められた領域に入るときと前記予め定められた領域から出るときとで外観が変化している人物を、前記外観を変化させる行動を行った人物として検知する
    　請求項２４に記載の監視装置。
  26. 　前記検知手段は、前記予め定められた領域に入った人物に関する入場情報を保持し、前記予め定められた領域から出て来る人物のうち前記入場情報に含まれない人物を、前記外観を変化させる行動を行った人物として検知する
    　請求項２４又は２５に記載の監視装置。
  27. 　前記検知情報は、前記外観を変化させる行動を行った人物について、外観が変化する前後の当該人物の画像を含む
    　請求項２４から２６のいずれか１項に記載の監視装置。
  28. 　前記検知手段は、さらに、前記検知された人物を追跡するための処理を行い、
    　前記検知情報は、前記検知された人物を追跡した結果を含む
    　請求項１から２７のいずれか１項に記載の監視装置。
  29. 　前記検知手段は、前記検知された人物が前記検査場から出たことを検知した場合に、前記検査場から出た人物を追跡するための情報を消去する
    　請求項１から２８のいずれか１項に記載の監視装置。
  30. 　前記検知手段は、前記検査場の状況に応じて、前記画像を処理するための複数の解析処理のうちのいずれを、前記画像を処理するために用いるかを切り替える
    　請求項１から２９のいずれか１項に記載の監視装置。
  31. 　請求項１から３０のいずれか１項に記載の監視装置と、
    　前記検査場を撮影することに応じて、前記検査場の画像を含む画像情報を生成する撮影装置とを備える
    　監視システム。
  32. 　コンピュータが、
    　検査場を撮影した画像に基づいて、予め定められた行動を行った人物を検知し、
    　前記検知された人物に関する検知情報を出力することを含む
    　監視方法。
  33. 　コンピュータに、
    　検査場を撮影した画像に基づいて、予め定められた行動を行った人物を検知し、
    　前記検知された人物に関する検知情報を出力することを実行させるためのプログラム。
PCT/JP2022/005413 2022-02-10 2022-02-10 監視装置、監視システム、監視方法及びプログラム WO2023152889A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/005413 WO2023152889A1 (ja) 2022-02-10 2022-02-10 監視装置、監視システム、監視方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/005413 WO2023152889A1 (ja) 2022-02-10 2022-02-10 監視装置、監視システム、監視方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023152889A1 true WO2023152889A1 (ja) 2023-08-17

Family

ID=87563880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005413 WO2023152889A1 (ja) 2022-02-10 2022-02-10 監視装置、監視システム、監視方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023152889A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213224A (ja) * 2006-02-08 2007-08-23 Sogo Keibi Hosho Co Ltd 監視システム及び監視方法
JP2008152586A (ja) * 2006-12-18 2008-07-03 Nec Engineering Ltd エリア警戒自動識別監視システム
JP2009246799A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 画像監視装置
JP2011089784A (ja) * 2009-10-20 2011-05-06 Nippon Signal Co Ltd:The 物体方向推定装置
JP2015049532A (ja) * 2013-08-29 2015-03-16 株式会社日立製作所 映像監視システム、映像監視方法、映像監視システム構築方法
JP2015130155A (ja) * 2013-12-02 2015-07-16 Ｌｙｋａｏｎ株式会社 防犯システム
JP2018113618A (ja) * 2017-01-12 2018-07-19 三菱電機インフォメーションシステムズ株式会社 映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システム
JP2018142160A (ja) * 2017-02-28 2018-09-13 株式会社日立製作所 画像検索装置及び画像検索方法
JP2019144917A (ja) * 2018-02-22 2019-08-29 パナソニックＩｐマネジメント株式会社 滞在状況表示システムおよび滞在状況表示方法
JP2020160883A (ja) * 2019-03-27 2020-10-01 日本電気株式会社 処理装置、処理方法及びプログラム
JP2021157435A (ja) * 2020-03-26 2021-10-07 株式会社エイビット 不審物検知システム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213224A (ja) * 2006-02-08 2007-08-23 Sogo Keibi Hosho Co Ltd 監視システム及び監視方法
JP2008152586A (ja) * 2006-12-18 2008-07-03 Nec Engineering Ltd エリア警戒自動識別監視システム
JP2009246799A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 画像監視装置
JP2011089784A (ja) * 2009-10-20 2011-05-06 Nippon Signal Co Ltd:The 物体方向推定装置
JP2015049532A (ja) * 2013-08-29 2015-03-16 株式会社日立製作所 映像監視システム、映像監視方法、映像監視システム構築方法
JP2015130155A (ja) * 2013-12-02 2015-07-16 Ｌｙｋａｏｎ株式会社 防犯システム
JP2018113618A (ja) * 2017-01-12 2018-07-19 三菱電機インフォメーションシステムズ株式会社 映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システム
JP2018142160A (ja) * 2017-02-28 2018-09-13 株式会社日立製作所 画像検索装置及び画像検索方法
JP2019144917A (ja) * 2018-02-22 2019-08-29 パナソニックＩｐマネジメント株式会社 滞在状況表示システムおよび滞在状況表示方法
JP2020160883A (ja) * 2019-03-27 2020-10-01 日本電気株式会社 処理装置、処理方法及びプログラム
JP2021157435A (ja) * 2020-03-26 2021-10-07 株式会社エイビット 不審物検知システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OKITA HIDEKI, TOMOKAZU MURAKAMI, TATSUYA OKUBO, TOSHIAKI TARUI, YASUHIRO FUKUDA: "Video analysis solutions using AI technology that contribute to building a safe and secure society", JAPAN ENERGY AND TECHNOLOGY INTELLIGENCE, JETI, TOKYO, JP, vol. 102, no. 3, 20 July 2020 (2020-07-20), JP , pages 112 - 118, XP093084176, ISSN: 0289-4343 *

Similar Documents

Publication Publication Date Title
JP5523900B2 (ja) 人物検索装置、人物検索方法、及び人物検索プログラム
JP5674406B2 (ja) 自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラム
JP7040463B2 (ja) 解析サーバ、監視システム、監視方法及びプログラム
JP5339476B2 (ja) 画像処理システム、発熱者追跡方法、画像処理装置およびその制御方法と制御プログラム
JP5740210B2 (ja) 顔画像検索システム、及び顔画像検索方法
JP5590945B2 (ja) 人物検索装置、人物検索方法、及び人物検索プログラム
CN110869938A (zh) 人员识别系统和方法
CN109614882A (zh) 一种基于人体姿态估计的暴力行为检测系统及方法
US11270562B2 (en) Video surveillance system and video surveillance method
Vadivelu et al. Thermal imaging based elderly fall detection
CN111699512B (zh) 异常场景检测系统和方法
US20210192270A1 (en) Person indentification systems and methods
JP7151789B2 (ja) 情報処理装置
JP5718632B2 (ja) 部位認識装置、部位認識方法、及び部位認識プログラム
Ramanujam et al. A vision-based posture monitoring system for the elderly using intelligent fall detection technique
Pino et al. Improving mobile device interaction by eye tracking analysis
JP7145622B2 (ja) 情報処理装置、情報処理装置の制御方法、被写体検出システム、及び、プログラム
CN111767880B (zh) 一种基于脸部特征的活体身份识别方法、装置和存储介质
WO2023152889A1 (ja) 監視装置、監視システム、監視方法及びプログラム
JP2010257450A (ja) 人物検索装置、人物検索方法、及び人物検索プログラム
JP2021034015A (ja) ターゲット検索装置及び方法、電子機器
Oumaima et al. Vision-based fall detection and prevention for the elderly people: A review & ongoing research
Alzahrani et al. Watchful-eye: A 3d skeleton-based system for fall detection of physically-disabled cane users
KR20210062375A (ko) 심리상태 기반 이상행동 검출 장치 및 방법
KR102544147B1 (ko) 영상분석 기반 1인 낙상 감지 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925910

Country of ref document: EP

Kind code of ref document: A1