WO2018143341A1 - 監視装置、監視システム、監視方法及びプログラム - Google Patents

監視装置、監視システム、監視方法及びプログラム Download PDF

Info

Publication number
WO2018143341A1
WO2018143341A1 PCT/JP2018/003402 JP2018003402W WO2018143341A1 WO 2018143341 A1 WO2018143341 A1 WO 2018143341A1 JP 2018003402 W JP2018003402 W JP 2018003402W WO 2018143341 A1 WO2018143341 A1 WO 2018143341A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring
unit
video
identification
detected
Prior art date
Application number
PCT/JP2018/003402
Other languages
English (en)
French (fr)
Inventor
修 萬羽
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2018565644A priority Critical patent/JP6754451B2/ja
Publication of WO2018143341A1 publication Critical patent/WO2018143341A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • Some embodiments of the present invention relate to a monitoring device, a monitoring system, a monitoring method, and a program.
  • Surveillance camera devices for detecting suspicious persons may be installed in establishments such as business establishments and apartment houses.
  • the security system described in Patent Document 1 promptly warns a person taking inappropriate behavior as a visitor.
  • the security server receives the video output from the recording device that monitors the periphery of the monitored area. Then, the security server holds a portion of the moving image file including the person image extracted by performing image processing on the moving image generated based on the video as a person image file.
  • the person database associates personal data corresponding to a person image with a person image file, and classifies and holds the personal data according to the degree of individual reliability corresponding to the person image. Then, the security server extracts a person image from the video taken by the surveillance camera device, and compares it with a person image registered in advance to detect a visit by a suspicious person.
  • the face of the visitor may not appear in the video taken by the surveillance camera device. In that case, a visitor cannot be specified. Therefore, it cannot be detected whether the visitor is a suspicious person.
  • the visitor's face does not appear, for example, when the back of the visitor is directed in the shooting direction of the surveillance camera, when the visitor's face is shielded by another person or object, mask, hat When all or most of the face is hidden by an attachment such as
  • One aspect of the present invention has been made in view of the above points, and includes a monitoring device, a monitoring system, a monitoring method, and a program that can accurately detect that a monitoring target in a monitoring range is in a state of caution. provide.
  • One aspect of the present invention has been made to solve the above-described problem, and one aspect of the present invention acquires a video acquisition unit that acquires a video and identification device information that is detected wirelessly.
  • An identification device information acquisition unit that performs recognition, and the control unit recognizes an object appearing in the video, and whether the number of recognized objects matches the number of detected identification devices And a determination unit that determines whether or not.
  • the storage device further includes a storage unit that records video, and the control unit includes: the number of recognized objects and the number of detected identification devices; Are stored in the storage unit in the section determined to be inconsistent.
  • an alarm unit that notifies an alarm is further provided, and the control unit includes the number of recognized objects and the number of detected identification devices. When it is determined that they do not match, the alarm unit is notified of an alarm.
  • the communication device further includes a communication unit that transmits a video to a predetermined device, and the control unit detects the number of recognized objects and the detected identification.
  • the communication section is caused to transmit the video of the section determined to be inconsistent with the number of devices.
  • control unit determines that the number of recognized objects and the number of detected identification devices do not match. At a higher resolution than other sections.
  • the control unit determines that the number of recognized objects and the number of detected identification devices do not match.
  • the resolution of the area in which the object appears is provided at a higher resolution than the other areas.
  • the control unit determines that the number of recognized objects does not match the number of detected identification devices, A device that controls traffic from a space including an imaging range reflected in an image to a space adjacent to the space is prevented from passing.
  • a communication range in which the identification device can be detected wirelessly is equal to an imaging range reflected in the video.
  • One aspect of the present invention is a monitoring system including an imaging unit that captures the video, a communication unit that detects the identification device, and the monitoring device.
  • a plurality of sets of the imaging unit and the communication unit that detects the identification device are provided at different positions, and at least one set of the imaging units is included.
  • the at least one set activates the communication unit and the imaging unit of another set A control unit.
  • a monitoring method in a monitoring device a video acquisition process for acquiring a video, an identification device acquisition process for acquiring information on a wirelessly detected identification device, and the video
  • the image recognition process for recognizing the object appearing in the above and the determination process for determining whether or not the number of recognized objects and the number of detected identification devices match each other.
  • one aspect of the present invention appears in the video, a video acquisition procedure for acquiring video in a computer of the monitoring device, an identification device acquisition procedure for acquiring information of the identification device detected wirelessly, and the video It is a program for executing a video recognition process for recognizing an object, and a determination procedure for determining whether or not the number of recognized objects matches the number of detected identification devices.
  • the present invention it is possible to accurately detect that the monitoring target in the monitoring range is in a state requiring attention.
  • FIG. 1 is a block diagram illustrating an example of a functional configuration of the monitoring system according to the present embodiment.
  • the monitoring system S ⁇ b> 1 includes a monitoring camera device 10, an identification device 20, and a monitoring server 30.
  • the monitoring camera device 10 acquires a video in a predetermined monitoring area and recognizes an object appearing in the acquired video.
  • the “object” means an object to be monitored, regardless of whether it is a living organism or a non-living organism.
  • Objects include, for example, animals such as people, livestock, and domestic animals, personal computers (PCs), information devices such as mobile phones and tablet terminals, exhibits such as paintings and sculptures, cash, precious metals, It may be a container in which jewelry or other valuable items are stored.
  • PCs personal computers
  • information devices such as mobile phones and tablet terminals
  • exhibits such as paintings and sculptures, cash, precious metals
  • It may be a container in which jewelry or other valuable items are stored.
  • the monitoring camera device 10 wirelessly detects the identification device 20 in the monitoring area.
  • the monitoring camera device 10 counts the number of recognized objects and the number of detected identification devices 20, respectively, and determines whether or not the number of objects matches the number of identification devices 20.
  • the monitoring camera device 10 determines that the object to be monitored in the monitoring area is in a state requiring attention.
  • the “attention required state” refers to a person who monitors the monitoring state, such as that an object to be monitored appears inappropriately in the monitoring area, or that the object is inappropriately disappeared from the monitoring area. This means a state where it is necessary to call attention to a person who is present in the monitoring area.
  • the monitoring camera device 10 determines that it is in a state of caution, for example, the video recording in the section determined to be in the state of caution, transmission of the video to the monitoring server 30, notification of an alarm Any one or a predetermined combination is performed.
  • a state of caution is mainly a case of a suspicious person, that is, a person other than a person registered in advance is taken as an example.
  • the identification device 20 is a device that wirelessly transmits a signal indicating identification information of the identification device 20 itself.
  • the identification information is unique information indicating the individual identification device 20 and may be information uniquely associated with one object to be monitored.
  • the signal transmitted from the identification device 20 is not necessarily limited to a radio wave as long as it is wireless, and may be any signal that can carry information such as infrared rays, visible rays, and ultrasonic waves.
  • the identification device 20 transmits a signal using, for example, a short-range wireless communication method defined by IEEE 802.15.1. When this wireless communication method is used, a predetermined search signal may be used for transmission of identification information by this method.
  • each one identification device 20 is carried around the body of a certain person Bd.
  • the identification information of the identification device 20 is information associated with the person.
  • the monitoring server 30 is a server device that receives video from the monitoring camera device 10 and records the received video.
  • the monitoring server 30 may display the stored video.
  • the monitoring server 30 is, for example, a server device that constitutes a part of a monitoring center or an alarm sensor facility.
  • the number of the monitoring camera device 10, the identification device 20, and the monitoring server 30 is one each, but may be two or more.
  • some of the monitoring camera devices 10 may function as the monitoring server 30 (parent device). That is, some of the monitoring camera devices 10 collect information such as video data from other monitoring camera devices 10 (slave devices). Further, the monitoring server 30 is not necessarily provided in the monitoring system S1.
  • the monitoring camera device 10 includes an imaging unit 102, a first communication unit 104, a second communication unit 106, an alarm unit 108, a control unit 110, and a storage unit 120.
  • the imaging unit 102 functions as a video acquisition unit that takes a predetermined monitoring range as a visual field and captures a video within the visual field.
  • the imaging unit 102 outputs video data indicating the captured video to the control unit 110.
  • the first communication unit 104 performs local communication wirelessly at a short distance (for example, within a radius of 3 to 10 m) using the same method as the communication method used by the identification device 20 and a device existing within a predetermined range from the first communication unit 104 Part.
  • the first communication unit 104 functions as an identification device information acquisition unit that receives a signal from the identification device 20 and detects identification information of the identification device 20 indicated by the received signal.
  • the first communication unit 104 outputs the detected identification information to the control unit 110.
  • the identification device 20 uses a short-range wireless communication method defined by IEEE 802.15.1
  • the first communication unit 104 receives a signal from the identification device 20 using the method.
  • the first communication unit 104 may reject the identification information of the identification device 20 when the signal strength from the identification device 20 is smaller than a predetermined signal strength threshold. As a result, the identification device 20 related to the identification information having a low signal strength is excluded from the objects counted by the person counting unit 114.
  • a received signal strength indicator (RSSI: Received Signal Strength Indicator) is used as an indicator of signal strength.
  • RSSI Received Signal Strength Indicator
  • luminance or illuminance is used as an indicator of signal intensity.
  • a volume or a sound pressure is used as an indicator of the signal strength.
  • the first communication unit 104 indicates that the identification device 20 is not detected.
  • the non-detection information shown may be output to the control unit 110.
  • the second communication unit 106 performs wireless or wired communication with a device located farther than the first communication unit 104.
  • the second communication unit 106 transmits the video data input from the control unit 110 to the monitoring server 30.
  • the communication method used by the second communication unit 106 is, for example, IEEE 802.3, which is a communication standard for a wired LAN (Local Area Network), IEEE 802.11, which is a communication standard for a wireless LAN, or 3G (3rd, which is a communication standard for a public wireless network). Generation of wireless mobile telecommunications), IEEE 802.16-2004, LTE (Long Term Evolution), 4G (4th Generation of mobile telecommunications), etc.
  • the alarm unit 108 notifies an alarm when an alarm instruction signal is input from the control unit 110.
  • the alarm unit 108 may sound a predetermined alarm sound as an alarm, or may reproduce a message sound indicating the entry of a predetermined suspicious person.
  • the control unit 110 controls main functions of the monitoring camera device 10.
  • the control unit 110 includes a video recognition unit 112 and a determination unit 113.
  • the video recognition unit 112 performs a predetermined video recognition process on the video data input from the imaging unit 102 and identifies an image of a person appearing in the video as a predetermined recognition target object.
  • Video recognition processing includes, for example, processing such as contour extraction from video, coordinate conversion, calculation of similarity between the converted contour and the contour of a person who is a recognition target object, and identification of a person based on the similarity. It is.
  • OpenCV registered trademark
  • the video recognition process does not necessarily have to be performed for each frame.
  • the video recognition process may be performed at a frequency (for example, 0.5 to 3 seconds) sufficient to detect the entry of a person who is a recognition target object in the monitoring area.
  • the video recognition unit 112 outputs to the determination unit 113 video recognition information indicating a part where a human image is represented in one frame of video as a processing result.
  • the video recognition unit 112 may exclude the part of the part representing the human image from the video recognition information for a part that is smaller than a predetermined size threshold. As a result, the person related to the excluded part is excluded from the count target by the identification device counting unit 116.
  • the size of the part representing the person may be specified by, for example, the length of one side or the diameter of the part.
  • the determination unit 113 includes a person count unit 114, an identification device count unit 116, and a comparison unit 118.
  • the person count unit 114 counts (counts) the number of persons represented in the video indicated by the video recognition information input from the video recognition unit 112.
  • the person count unit 114 outputs person count information indicating the number of counted persons to the comparison unit 118.
  • the identification device count unit 116 counts the number of identification devices 20 detected by the first communication unit 104 at that time based on the identification information input from the first communication unit 104.
  • the identification device count unit 116 outputs identification device count information indicating the number of counted identification devices 20 to the comparison unit 118.
  • the comparison unit 118 determines whether or not the number of persons indicated by the person count information input from the person count unit 114 matches the number of identification devices 20 indicated by the identification device count information input from the identification device count unit 116. Determine. When determining that they match, the comparison unit 118 determines that there is no entry of a suspicious person other than a legitimate person registered in advance. When determining that they do not match, the comparison unit 118 determines the entry of the suspicious person. In that case, the comparison unit 118 performs a predetermined process according to the determination. For example, the comparison unit 118 outputs alarm instruction information to the alarm unit 108.
  • the comparison unit 118 may store the video data input from the imaging unit 102 in the storage unit 120.
  • the comparison unit 118 may transmit the video data input from the imaging unit 102 to the monitoring server 30 via the second communication unit 106.
  • the comparison unit 118 may add determination information indicating the entry of the suspicious person to the video data of the frame in which the entry of the suspicious person is determined. Further, the comparison unit 118 may add suspicious person information indicating that the suspicious person is displayed on the video instead of or together with the determination information. As a result, the monitoring server 30 is notified of the entry of the suspicious person as a determination result together with the video of the monitoring area.
  • the comparison unit 118 may add video recognition information related to the video data to the video data stored or transmitted. Note that the section of the video that is stored or transmitted only needs to include a frame in which the suspicious person is determined to enter.
  • the monitoring camera device 10 may be integrated with the monitoring server 30 and configured as a single device. In that case, the second communication unit 106 may be omitted.
  • the storage unit 120 stores various data (for example, parameters) used for processing performed by the control unit 110, data acquired by the control unit 110, and the like.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the monitoring camera device 10 according to the present embodiment.
  • the monitoring camera device 10 includes a camera 142, a short-range communication I / F (interface) 144, a communication I / F 146, a speaker 148, a CPU (Central Processing Unit) 150, and a memory 152.
  • Each component is connected to the bus B and can input / output various data to / from each other.
  • the camera 142 constitutes the imaging unit 102 described above.
  • the short-range communication I / F 144 constitutes the first communication unit 104 described above.
  • the communication I / F 146 constitutes the second communication unit 106 described above.
  • the speaker 148 constitutes the alarm unit 108 described above.
  • a sound source such as a buzzer may be used as the alarm unit 108 instead of the speaker 148.
  • the CPU 150 reads a predetermined application program (application) stored in the memory 152, and executes a process indicated by the instruction described in the read application, whereby the control unit 110 described above. Realize the function.
  • the function of the control unit 110 may be realized by executing processing related to each application by two or more control devices.
  • the function of the video recognition unit 112 may be realized by a GPU (Graphic Processing Unit) or a coprocessor as a control device separate from the CPU 150.
  • the memory 152 constitutes the storage unit 120 described above.
  • the memory 152 stores various data and programs for exhibiting the functions of the monitoring camera device 10. Such programs include apps, middleware, device drivers, OS (Operating System).
  • the monitoring camera device 10 is installed with the imaging direction in the vertical direction at the center of the ceiling of a room having a rectangular parallelepiped shape.
  • the imaging range of the imaging unit 102 corresponds to the monitoring range of the monitoring camera device 10.
  • Two persons Bd1 and Bd2 are located within the monitoring range.
  • the person Bd1 has his own identification device 20-1, whereas the person Bd2 does not have the identification device 20.
  • the person counting unit 114 determines that the number of persons is two, and the identification device counting unit 116 determines that the number of identification devices 20 is one.
  • the comparison unit 118 determines that the number of persons does not match the number of identification devices, and determines that a suspicious person has entered the monitoring range. It is assumed that the person Bd1 is located in the monitoring range and the person Bd2 is not located. In that case, the comparison unit 118 determines that the number of persons matches the number of identification devices, and determines that a suspicious person has not entered.
  • the imaging range of the imaging unit 102 only needs to match the communication range of the first communication unit 104.
  • the relationship between the threshold value of the person size shown in the video and the threshold value of the signal intensity may be adjusted in advance. This is because the threshold of the size of the person gives a reference for excluding a person whose size shown in the video is smaller than the threshold because the distance from the imaging unit 102 is far.
  • the threshold value of the signal strength provides a reference for excluding the identification information of the identification device 20 in which the signal strength of the received signal is smaller than the threshold value because the distance from the first communication unit 104 is long. It is.
  • the incident range of the signal that can be received by the first communication unit 104 only needs to match the angle of view (viewing angle) of the imaging unit 102.
  • the monitoring camera device 10 may be mounted with a pedestal Mt having an opening in the imaging direction of the imaging unit 102.
  • the base Mt is in contact with the ceiling Cl, and the monitoring camera device 10 covers a portion other than the opening.
  • the base Mt is made of a conductor such as metal and shields radio waves from the identification device 20.
  • the antenna (not shown) of the first communication unit 104 may be installed at a position P where the angle formed by the opening matches the angle of view of the imaging unit 102.
  • the arrival range of radio waves that can be received by the first communication unit 104 and the angle of view of the imaging unit 102 match.
  • the surface of the pedestal Mt may be painted with a magnetic paint having stealth properties such as a radio wave absorber. Also in this case, arrival of radio waves in the direction covered by the base Mt is prevented from reaching the antenna.
  • the first communication unit 104 may include an array antenna as an antenna for receiving radio waves from the identification device 20.
  • An array antenna is generally composed of a plurality of antenna elements, and the directivity of radio waves is determined according to the number and arrangement interval. Therefore, an array antenna in which the angle of view of the imaging unit 102 and the range in which radio waves can be received with a predetermined reception intensity or higher may be used.
  • a camera having a fisheye lens in its optical system may be used as the imaging unit 102.
  • a camera having a fisheye lens is also called a fisheye camera, and generally has a larger angle of view than a normal camera.
  • the fisheye camera has an angle of view close to 180 ° or 180 °, for example.
  • the shape of the outer edge of the image captured by the fisheye camera is circular.
  • the distance from the center of the subject image in the captured image is proportional to the angle from the center axis of the subject lens (horizontal tilt angle) (equal distance projection method). ). Therefore, the distortion of the image of the appearing subject increases as the position is farther from the center of the video.
  • the video recognition unit 112 performs video recognition processing on video data obtained by performing fish-eye plane conversion on video data acquired by the imaging unit 102 including a fisheye lens.
  • the fish-eye plane transformation passes through a point of interest on the plane of the captured image, and draws the attention to a plane that is in contact with the intersection of a normal normal to the plane and a virtual sphere having a radius equal to the radius of the image. It includes a process of projecting a partial video of a part centered on a point and defining an image obtained by the projection as a converted partial video.
  • the video recognition unit 112 extracts the contour of each subject appearing in the video, uses the center of the extracted part of the subject as a point of interest, and performs fish-eye plane conversion for each subject image represented in a different part. I do. For this reason, the distortion that becomes larger as the image is shown in a part away from the center of the video is eliminated or reduced.
  • FIG. 5 is a flowchart illustrating an example of the monitoring process according to the present embodiment.
  • the video recognition unit 112 acquires video data from the imaging unit 102. Thereafter, the process proceeds to step S102.
  • Step S102 The video recognition unit 112 recognizes the person represented in the video indicated by the acquired video data. Thereafter, the process proceeds to step S103.
  • Step S103 The person counting unit 114 counts the number of persons recognized by the video recognition unit 112. Thereafter, the process proceeds to step S104.
  • Step S104 The first communication unit 104 detects the identification device 20 based on the received signal. Thereafter, the process proceeds to step S105.
  • Step S105 The identification device count unit 116 counts the number of identification devices 20 detected by the first communication unit 104. Thereafter, the process proceeds to step S106.
  • Step S106 The comparison unit 118 determines whether or not the number of recognized persons matches the number of detected identification devices 20. When it is determined that they match (YES in step S106), the comparison unit 118 determines that a suspicious person has not entered the monitoring range, and ends the process illustrated in FIG. When it is determined that they do not match (NO in step S106), the comparison unit 118 determines that a suspicious person has entered the monitoring range, and proceeds to the process of step S107.
  • Step S ⁇ b> 107 The comparison unit 118 stores in the storage unit 120 video data including at least a video section determined to have entered the monitoring range. Thereafter, the process proceeds to step S108.
  • Step S ⁇ b> 108 The comparison unit 118 transmits the video data to the monitoring server 30 via the second communication unit 106. Thereafter, the process proceeds to step S109.
  • Step S109 The comparison unit 118 outputs alarm instruction information to the alarm unit 108, and sounds an alarm. Thereafter, the process shown in FIG.
  • steps S104 and S105 is performed in parallel with the processing in steps S101 to S103. Therefore, the processes in steps S104 and S105 may be performed after steps S101 to S103, or may be performed simultaneously with the processes in steps S101 to S103. Further, it is not necessary to execute all the processes in steps S107 to S109, and at least one of the processes in steps S107 to S109 may be performed, and the other processes may be omitted.
  • step S108 is omitted, the second communication unit 106 and the monitoring server 30 may be omitted.
  • step S109 is omitted, the alarm unit 108 may be omitted.
  • the comparison unit 118 may always store or transmit the video data input from the imaging unit 102. However, the comparison unit 118 may store or transmit the resolution of the video in the section determined that the person has entered the monitoring range higher than the resolution in the other sections. For example, when determining that the person has entered the monitoring range, the comparison unit 118 does not change the resolution of the video data of the section input from the imaging unit 102 and reduces the resolution of the video data of the other sections. . Thereby, it is possible to analyze the video of the section in which it is determined that the person has entered more in detail than the other video, and to save the storage capacity of the storage unit 120 or the transmission capacity of the second communication unit 106.
  • the comparison unit 118 may determine a region where a person is represented as a region of interest (ROI) for an image of a section in which it is determined that a person has entered the monitoring range.
  • ROI region of interest
  • the comparison unit 118 further displays a video part and a person corresponding to the direction.
  • the region where the image of the person who does not have the identification device 20 is represented may be identified as the region of interest by collating the region.
  • the comparison unit 118 uses the imaging unit 102 as a reference based on the difference between the arrival times of the signals from the identification device 20.
  • the direction of the identified identification device 20 can be specified.
  • the comparison unit 118 may increase the resolution of the identified region of interest as compared to other parts. Thereby, since the area
  • the antenna included in the first communication unit 104 and the imaging unit 102 uniquely correspond to each other, but the imaging range and the communication range are one as each monitoring range. If it does, it is not limited to this.
  • the imaging range by one imaging unit 102 (not shown) and the communication range by four antennas 145-1 to 145-4 as the first communication unit 104 are associated with each other.
  • the dashed line indicates the outer edge of the communication range of each antenna.
  • the antennas 145-1 to 145-4 output the received signals received to the identification device count unit 116 of the monitoring camera device 10, respectively.
  • the identification device counting unit 116 identifies identification information indicated by the received signal for each of the antennas 145-1 to 145-4 related to the monitoring range, and among the identification information identified between the antennas 145-1 to 145-4 Any one of the overlapping identification information is adopted as the identification information to be counted, and the other identification information is rejected. As shown in FIG. 6, there is a region where the communication ranges overlap between the antennas, as shown in FIG. 6. Therefore, a signal from one identification device 20 in the overlapping region is transmitted from the antennas related to each region. This is because each is received.
  • one monitoring range may be composed of a plurality of imaging ranges, and a camera related to each imaging range may be provided as the imaging unit 102.
  • the video recognition unit 112 performs video recognition processing on the video data acquired by each camera, and the person counting unit 114 integrates the parts where the person indicated by each video data appears.
  • the person counting unit 114 employs a person appearing in any one of a plurality of overlapping imaging ranges as a person to be counted for the same person appearing in an imaging range overlapping between cameras. Reject the person appearing in the imaging range. This avoids counting the same person repeatedly between a plurality of cameras.
  • the monitoring system S1 includes K (K is an integer of 2 or more) monitoring camera devices 10-1 to 10-K arranged at different positions.
  • K is an integer of 2 or more
  • any one of the K surveillance camera apparatuses 10-1 to 10-K always operates as the surveillance camera apparatus 10-k (k is an integer of 1 or more and K or less). It is assumed that the other monitoring camera devices 10-1 to 10-k-1, 10-k + 1 to 10-K are not operating. Then, it is assumed that the comparison unit 118 of the monitoring camera device 10-k determines that the person Bd has entered the monitoring range.
  • the comparison unit 118 of the monitoring camera device 10-k activates the monitoring camera device 10 having a monitoring range within a predetermined range from the reference point (for example, the center) of the monitoring range of the monitoring camera device 10-k. Also good.
  • the control unit 110 of the monitoring camera device 10-k transmits the second communication unit 106 to the monitoring camera devices 10-k-1 and 10-k + 1 whose monitoring ranges are adjacent to the monitoring camera device 10-k.
  • An activation instruction signal is transmitted via When the control unit 110 of each of the monitoring camera devices 10-k-1 and 10-k + 1 receives the activation instruction signal from the monitoring camera device 10-k via the second communication unit 106 of its own device, the imaging unit of its own device 102, the operation of the first communication unit 104, the video recognition unit 112, and the determination unit 113 is started.
  • the comparison unit 118 of the monitoring camera devices 10-k-1, 10-k + 1 determines that the person does not enter the respective monitoring ranges for a predetermined time (for example, 3 to 10 minutes) or longer. You may stop operation
  • a predetermined time for example, 3 to 10 minutes
  • the monitoring camera device 10 that is always operated is limited to the monitoring camera device 10 in which a person enters or is highly likely to enter the monitoring range. Therefore, hardware load and energy consumption related to recording or transmission of video data are reduced.
  • a plurality of surveillance camera devices 10-1 to 10-K are dispersedly arranged in a space closed from the outside except for a part, and a part of the area opened to the outside is provided.
  • the monitoring camera device 10-k relating to the monitoring range including it is set as the monitoring camera device 10 that always operates. This makes it possible to achieve both security and security.
  • the monitoring system S1 includes five monitoring camera devices 10-1 to 10-5. Of the five monitoring camera devices 10-1 to 10-5, the monitoring ranges of the other four monitoring camera devices 10-2 to 10-5 are within the monitoring range of one monitoring camera device 10-1. included.
  • the monitoring ranges of the monitoring camera devices 10-2 to 10-5 that is, the imaging range and the communication range are each smaller than that of the monitoring camera device 10-1. Therefore, it is assumed that the monitoring camera device 10-1 is always operating and the other monitoring camera devices 10-2 to 10-5 are not operating. Then, it is assumed that the comparison unit 118 of the monitoring camera device 10-1 determines that the person Bd has entered the monitoring range.
  • the comparison unit 118 of the monitoring camera device 10-1 may activate the monitoring camera devices 10-2 to 10-5.
  • the control unit 110 of the monitoring camera device 10-1 transmits an activation instruction signal to the monitoring camera devices 10-2 to 10-5 via the second communication unit 106.
  • the control unit 110 of each of the monitoring camera devices 10-2 to 10-5 receives the activation instruction signal from the monitoring camera device 10-1 via the second communication unit 106 of its own device, The operations of the first communication unit 104, the video recognition unit 112, and the determination unit 113 are started.
  • the comparison unit 118 of the monitoring camera devices 10-2 to 10-5 determines that the person does not enter the respective monitoring ranges for a predetermined time (eg, 3 to 10 minutes) or longer.
  • the comparison unit 118 The operations of the imaging unit 102, the first communication unit 104, the video recognition unit 112, and the determination unit 113 may be stopped.
  • the resolution of the imaging unit 102 of each of the monitoring camera devices 10-2 to 10-5 may be higher than the resolution of the imaging unit 102 of each of the monitoring camera devices 10-1.
  • the video recognition unit 112 of the monitoring camera devices 10-2 to 10-5 performs video recognition processing corresponding to video data with higher resolution.
  • the monitoring camera device 10 that is always operated is limited to the monitoring camera device 10-1, and when it is determined that a person has entered the monitoring range, other monitoring camera devices arranged more densely 10-2 to 10-5 are operated, and a video with a higher resolution is processed.
  • a video with a higher resolution is acquired, and the acquired video provides a clue for performing a more precise analysis, and the opportunity to increase the hardware load is limited. Therefore, hardware resources are effectively used as the entire monitoring system S1.
  • the control unit 110 of the monitoring camera device 10 may start the operations of the imaging unit 102, the first communication unit 104, the video recognition unit 112, and the determination unit 113 when receiving an activation start instruction from another device.
  • Another device is an open / close control device for controlling the open / close state of open / close members such as a door, a door such as an elevator, and a window.
  • the opening / closing member is embedded in a part of the wall surface that divides the predetermined monitoring range, and the opening / closing state with respect to another space outside the monitoring range is variable.
  • the monitoring range is, for example, an office building, an apartment house, an entrance hall of another facility, an elevator hall, or the like.
  • the opening / closing control device transmits an activation start instruction to the monitoring camera device 10 when opening the opening / closing member.
  • the opening of the opening / closing member is, for example, release of a door lock or opening of a window.
  • a closing instruction may be transmitted to the opening / closing control device.
  • the opening / closing control device closes the opening / closing member being opened.
  • control unit 110 of the monitoring camera device 10 determines that the person in the monitoring range does not enter the person for a predetermined time (for example, 3 to 10 minutes) or longer, the imaging unit 102 of the own device, the first communication
  • the operations of the unit 104, the video recognition unit 112, and the determination unit 113 may be stopped.
  • the monitoring range is opened to other areas, it is possible to more reliably capture the entry of a person from the other areas. Therefore, the security in the facility having a monitoring range or a space extending to the monitoring range is enhanced.
  • the identification information assigned to the identification device 20 does not necessarily have to be identification information dedicated to the monitoring system S1, and any other system can be used as long as it is identification information uniquely associated with each person. It may be shared identification information. For example, a personal number (so-called My Number) may be used as the identification information. Whether or not the identification information can be used may be set for each system.
  • the system may include the monitoring system S1, but if it is a system that requires discrimination of a legitimate user (individual), the system has a different use from the monitoring system S1 (for example, promoting product sales or service use) A membership system).
  • the identification device count unit 116 may transmit inquiry information about the acquired identification information to the identification information management server 40 (not shown).
  • the inquiry information is information indicating whether or not the identification information is available or not, that is, whether or not the user is a valid user.
  • the identification information management server 40 stores identification information management data in which the availability of each identification information is set for each system.
  • the identification information management server 40 refers to the identification information management data, and determines whether or not the monitoring system S1 can be used as the system indicated by the inquiry information for the identification information indicated by the inquiry information.
  • the identification information management server 40 transmits response information indicating the determined availability to the monitoring camera apparatus 10 as a response to the identification information.
  • the identification device counting unit 116 of the monitoring camera device 10 determines that the identification information is to be counted. The identification information is determined not to be counted. Then, the identification device counting unit 116 counts the number of identification information determined to be counted and ignores the identification information that is not counted. Accordingly, the identification information used in other systems can be used in the monitoring system S1 as the identification information assigned to the identification device 20.
  • the identification information management data managed by the identification information management server 40 may further include attribute information in association with each identification information.
  • the attribute information includes, for example, information on the person's attributes, such as gender, age, and place of residence. Therefore, the identification information management server 40 may read the attribute information associated with the identification information indicated by the inquiry information from the identification information management data, add the read attribute information to the response information, and transmit the response information to the monitoring camera device 10. .
  • the control unit 110 of the monitoring camera device 10 may store or transmit the attribute information received together with the response information in association with the video data related to the determination. In that case, the control unit 110 may display the attribute information on a display unit (not shown) such as a display. Thereby, the monitoring camera apparatus 10 can acquire the attribute information of the person who entered, and can provide it to the user.
  • FIG. 9 is a block diagram illustrating an example of a functional configuration of the monitoring system S2 according to the present embodiment.
  • the monitoring system S2 includes a monitoring camera device 10, an identification device 20, and a monitoring server 30.
  • the monitoring camera device 10 includes an imaging unit 102, a first communication unit 104, a second communication unit 106, an alarm unit 108, a control unit 110, and a storage unit 120.
  • the control unit 110 stores the video data indicating the video captured by the imaging unit 102 every predetermined time and the identification information of the identification device 20 received by the first communication unit 104 in association with each other. 120.
  • the control unit 110 stores the video data and the identification information in the storage unit 120 in association with the time information indicating the time point.
  • time information for example, any one of a frame number indicating a video frame at that time, a time stamp indicating the time, and the like may be used. Further, as time information, meta information attached to the video stream included in the video data may be used, or information different from the video data may be added.
  • the video recognition unit 112 reads video data at each time point from the storage unit 120 and performs video recognition processing on the read video data.
  • the determination unit 113 reads the identification information at that time from the storage unit 120. Based on the read identification information and the video recognition information input from the video recognition unit 112, the determination unit 113 determines whether or not a person has entered the predetermined monitoring range as described above. When determining that the suspicious person has entered the monitoring range, the determination unit 113 performs a predetermined process according to the determination. Further, the comparison unit 118 adds suspicious person information indicating that the suspicious person is displayed on the video to the video data indicating the video for which the suspicious person has been determined to enter, and stores the information in the storage unit 120.
  • control unit 110 reads and reads the video data to which the suspicious person information is added according to the instruction of the operation signal.
  • Video data may be output to a display unit (not shown).
  • control unit 110 may transmit video data acquired every predetermined time to the monitoring server 30 in association with identification information and time information.
  • the video recognition unit 112 and the determination unit 113 may be omitted.
  • the processing amount in the monitoring server 30 is allowed to be large, the hardware scale of the monitoring camera device 10 can be made relatively small. As a result, monitoring system S2 is economically realizable.
  • the control unit 110 includes the video recognition unit 112 and the determination unit 113, the monitoring server 30 may be omitted in the monitoring system S1.
  • the monitoring server 30 includes a communication unit 302, a control unit 310, and a storage unit 320.
  • the communication unit 302 communicates with the monitoring camera device 10 wirelessly or by wire.
  • the communication method used by the communication unit 302 may be the same as that of the second communication unit 106 of the monitoring camera device 10.
  • the communication unit includes a communication I / F.
  • the control unit 310 includes a video recognition unit 312 and a determination unit 313.
  • the determination unit 313 includes a person count unit 314, an identification device count unit 316, and a comparison unit 318.
  • the processing performed by the video recognition unit 312, the person counting unit 314, the identification device counting unit 316, and the comparison unit 318 is performed by the video recognition unit 112, the person counting unit 114, the identification device counting unit 116, and the comparison unit 118 of the monitoring camera device 10, respectively. This is the same as the processing to be performed.
  • the control unit 310 includes one or more control devices such as a CPU.
  • the control unit 310 reads out a predetermined application stored in advance from the storage unit 320, and executes the processing indicated by the instruction described in the read application, thereby realizing the functions of the video recognition unit 312 and the determination unit 313.
  • the storage unit 320 includes various memories. Note that the monitoring server 30 may include an alarm unit having the same function as the alarm unit 108.
  • FIG. 10 is a flowchart showing an example of the data recording process according to the present embodiment.
  • the imaging unit 102 acquires video data indicating the captured video. Thereafter, the process proceeds to step S202.
  • the control unit 110 records the video data acquired by the imaging unit 102 in the storage unit 120.
  • the first communication unit 104 detects the identification device 20 based on the received signal. Thereafter, the process proceeds to step S204.
  • Step S204 The control unit 110 records the identification information of the identification device 20 detected by the first communication unit 104 in the storage unit 120 in association with the video data acquired at that time and the time information at that time. . Then, the process shown in FIG. 10 is complete
  • steps S203 and S204 are performed in parallel with the processing in steps S201 and S202. Therefore, the processes in steps S203 and S204 may be performed after steps S201 and S202, or may be performed simultaneously with the processes in steps S201 and S202.
  • FIG. 11 is a flowchart illustrating an example of the monitoring process according to the present embodiment.
  • the monitoring server 30 may perform the process of FIG. That is, instead of the video recognition unit 112, the person counting unit 114, and the identification device counting unit 116 of the monitoring camera device 10, the video recognition unit 312, the person counting unit 314, and the identification device counting unit 316 of the monitoring server 30 will be described next.
  • the video recognition unit 112 reads video data at a certain point in time from the storage unit 120, and recognizes a person represented in the video indicated by the read video data.
  • step S212 The person counting unit 114 counts the number of persons recognized by the video recognition unit 112. Thereafter, the process proceeds to step S213.
  • Step S213 The identification device count unit 116 reads identification information associated with the video data read in step S211 from the storage unit 120. Based on the read identification information, the identification device count unit 116 counts the number of identification devices 20 detected at that time. Thereafter, the process proceeds to step S214.
  • Step S214 The comparison unit 118 determines whether or not the number of recognized persons matches the number of detected identification devices 20. When it is determined that they match (YES in step S214), the comparison unit 118 determines that a suspicious person has not entered the monitoring range, and ends the process illustrated in FIG. When it is determined that they do not match (NO in step S214), the comparison unit 118 determines that a suspicious person has entered the monitoring range, and proceeds to the process of step S215. (Step S215) The comparison unit 118 adds suspicious person information indicating that the suspicious person is displayed on the video to the video data indicating the video determined to have entered the suspicious person, and stores the video data in the storage unit 120. Then, the process shown in FIG. 11 is complete
  • step S213 is performed in parallel with the processes of steps S211 and S212. Therefore, the process of step S213 may be performed after steps S211 and S212, or may be performed simultaneously with the processes of steps S211 and S212.
  • the process illustrated in FIG. 11 may not be started immediately after the process illustrated in FIG. 10 is ended, or may be started at an arbitrary time point, for example, a time point indicated by an operation signal by a user operation input.
  • the device that performs the process illustrated in FIG. 11 may be a device that is separate from the device that performs the process illustrated in FIG. 10.
  • the monitoring server 30 may execute the process shown in FIG. Therefore, the control unit 110 of the monitoring camera device 10 transmits the video data stored in the storage unit 120 and the identification information in association with each other at a predetermined time to the monitoring server 30.
  • the control unit 310 of the monitoring server 30 receives video data and identification information from the monitoring camera device 10 via the communication unit 302.
  • the control unit 310 of the monitoring server 30 may perform the process illustrated in FIG. 11 using data stored in advance in the storage unit 320, or may perform the process illustrated in FIG. 11 using newly received data. May be.
  • some of the monitoring camera devices 10 may function as the monitoring server 30 (parent device).
  • the video recognition unit 112 and the determination unit 113 are omitted in the control unit 110 of the monitoring camera device 10 that is the transmission source of the video data and the identification information. May be. That is, the monitoring camera device 10 functions as a set of the imaging unit 102 and the first communication unit 104 related to the monitoring range.
  • the control unit 310 of the monitoring server 30 may perform the processing illustrated in FIG. 11 for each monitoring range using the video data and the identification information acquired from the plurality of monitoring camera devices 10.
  • the video data is acquired by the imaging units 102 of some of the monitoring camera devices 10 and the identification device 20 is searched by the first communication unit 104. It is not necessary to always perform acquisition of video data by the imaging unit 102 of the other monitoring camera device 10 and search of the identification device 20 by the first communication unit 104. In the example shown in FIG. 7, the acquisition of video data by the imaging unit 102 of the monitoring camera device 10-k and the search for the identification device 20 by the first communication unit 104 are always performed.
  • the control unit 110 of the monitoring camera device 10-k associates the acquired video data with the detected identification information, and transmits it to the monitoring server 30.
  • the monitoring server 30 performs the process shown in FIG. 11 using the video data received from the monitoring camera device 10-k and the detected identification information.
  • the control unit 310 sets the monitoring range of the monitoring camera device 10-k.
  • An activation instruction signal is transmitted to the monitoring camera device 10 having a monitoring range within a predetermined range from the reference point.
  • the transmission destination of the activation instruction signal is the monitoring camera device 10-k-1, 10-k + 1.
  • the control units 110 of the monitoring camera devices 10-k-1 and 10-k + 1 each acquire the video data in the imaging unit 102 and the identification device 20 by the first communication unit 104.
  • the search is started, and the acquired video data and the detected identification information are transmitted to the monitoring server 30.
  • the control unit 310 of the monitoring server 30 starts the processing of FIG. 11 for each monitoring range using the video data received from the monitoring camera devices 10-k-1, 10-k + 1 and the detected identification information.
  • the comparison unit 318 of the monitoring server 30 determines that the person does not enter the monitoring range of each of the monitoring camera devices 10-k-1, 10-k + 1 continues for a predetermined time or longer, the control unit 310
  • a stop instruction signal may be transmitted to the monitoring camera devices 10-k-1, 10-k + 1.
  • the control units 110 of the monitoring camera devices 10-k-1 and 10-k + 1 respectively acquire the video data in the imaging unit 102 and the identification device 20 by the first communication unit 104.
  • the search is stopped, and transmission of video data and detected identification information is stopped.
  • control unit 310 of the monitoring server 30 stops the process of FIG. 11 for the monitoring ranges of the monitoring camera devices 10-k-1, 10-k + 1. Even with this configuration, it is possible to achieve both a reduction in hardware load and energy consumption related to transmission of video data, and security.
  • the control unit 110 of the monitoring camera device 10-1 transmits the acquired video data and the detected identification information in association with each other to the monitoring server 30.
  • the monitoring server 30 performs the process shown in FIG. 11 using the video data received from the monitoring camera device 10-1 and the detected identification information.
  • the control unit 310 detects the monitoring camera devices 10-2 to 10-5.
  • An activation instruction signal is transmitted to
  • the imaging unit 102 starts acquisition of the video data and the search for the identification device 20 by the first communication unit 104, and the acquired video data and the detected identification information are transmitted to the monitoring server 30. Send to.
  • the control unit 310 of the monitoring server 30 starts the process of FIG. 11 for each monitoring range using the video data received from the monitoring camera devices 10-2 to 10-5 and the detected identification information.
  • the comparison unit 318 of the monitoring server 30 determines that no person has entered the monitoring range of each of the monitoring camera devices 10-2 to 10-5 for a predetermined time or longer, the control unit 310 A stop instruction signal may be transmitted to the camera devices 10-2 to 10-5.
  • the control unit 110 of each of the monitoring camera devices 10-2 to 10-5 receives a stop instruction signal from the monitoring server 30, the image capturing unit 102 obtains video data and searches for the identification device 20 by the first communication unit 104, respectively. Stop transmission of video data and detected identification information.
  • the control unit 310 of the monitoring server 30 stops the process of FIG. 11 for each monitoring range of the monitoring camera devices 10-2 to 10-5.
  • the monitoring camera device 10 that constantly acquires video data is limited to the monitoring camera device 10-1, and when it is determined that a person has entered the monitoring range, other monitoring devices arranged more densely Images with higher resolution acquired from the camera devices 10-2 to 10-5 are processed.
  • a video with a higher resolution provides a clue to perform a more precise analysis, and the opportunity to increase the hardware load is limited. Therefore, hardware resources are effectively used as the entire monitoring system S2.
  • the control unit 310 of the monitoring server 30 receives an activation start instruction from the opening / closing control device for controlling the opening / closing state of the opening / closing member related to the predetermined monitoring range as another device, the monitoring camera related to the monitoring range
  • An activation start instruction may be transmitted to the device 10.
  • the control unit 110 of the monitoring camera device 10 causes the imaging unit 102 to start acquisition of video data and search for the identification device 20 by the first communication unit 104, respectively.
  • the data and the detected identification information are transmitted to the monitoring server 30.
  • the control unit 310 of the monitoring server 30 starts the process of FIG. 11 for the monitoring range using the video data received from the monitoring camera device 10 and the detected identification information.
  • the comparison part 318 determines with the person having entered the monitoring range, you may transmit a closure instruction
  • the opening / closing control device closes the opening / closing member being opened.
  • the control unit 310 may transmit a stop instruction signal to the monitoring camera device 10. Good.
  • the control unit 110 of the monitoring camera device 10 causes the imaging unit 102 to stop acquiring the video data and search for the identification device 20 by the first communication unit 104. Stop sending the detected identification information.
  • the control unit 310 of the monitoring server 30 stops the process of FIG. 11 for the monitoring range. Also with this configuration, when the monitoring range is opened to other areas, it is possible to more reliably capture the entry of a person from the other areas. Therefore, the security in the facility having a monitoring range or a space connected to the monitoring range is enhanced.
  • the case where the cautionary state of the object within the monitoring range is mainly the case where the suspicious person whose identification information is not registered in advance is entering the monitoring range, is not limited thereto.
  • the object to be monitored is not limited to a person, and may be an animal such as a domestic animal (pet) or livestock.
  • the comparison units 118 and 318 may determine whether or not another animal (for example, a bear or a wild dog) that has not been registered in advance is entered as the state of caution of the object within the monitoring range.
  • the comparison units 118 and 318 may determine whether or not an object has left the monitoring range as the state of caution of the object within the monitoring range.
  • the object to be monitored may be an object that is not desired to disappear from the monitoring range, such as the above-described electronic device, precious metal, exhibit, etc., in addition to a person such as a child or a cared person.
  • the identification device 20 corresponding to the object may be installed in the monitoring range without the identification device 20 being held by the object. Accordingly, the control units 110 and 310 can determine whether the object has left the monitoring range when the number of objects recognized from the video within the monitoring range is smaller than the number of the identification devices 20.
  • the monitoring device (for example, the monitoring camera device 10 and the monitoring server 30) described above includes a video recognition unit (for example, the video recognition unit 112, 312) that recognizes an object appearing in a video.
  • the monitoring device acquires the identification information of the identification device (for example, the identification device 20) for each object detected wirelessly, and when the number of objects appearing in the video does not match the number of detected identification devices, Judgment units 113 and 313 for judging that the state is a state of caution are provided.
  • Judgment units 113 and 313 for judging that the state is a state of caution are provided.
  • the monitoring device may include a storage unit (for example, storage units 120 and 320) that stores an image of a section representing an object determined to be in a state of caution.
  • a storage unit for example, storage units 120 and 320
  • the interval in which the video is to be stored is limited to the interval representing the object in which it is determined that the object in the monitoring range is in a state of caution, so that the storage capacity of the storage unit can be saved.
  • the monitoring device may include an alarm unit (for example, alarm units 108 and 308) that notifies an alarm when it is determined that the state is a caution state.
  • an alarm unit for example, alarm units 108 and 308 that notifies an alarm when it is determined that the state is a caution state.
  • the monitoring device (for example, the monitoring camera device 10) is a communication unit (for example, the second communication unit) that transmits an image of a section determined to be in a state of caution to a predetermined device (for example, the monitoring server 30). 106).
  • the predetermined device can acquire an image of a section determined to be in a state of caution. Therefore, in a device located remotely from the monitoring device, it is possible to observe or analyze the state of the object in the monitoring range using the video.
  • the transmission capacity of the communication unit can be saved.
  • the monitoring device for example, the monitoring camera device 10 or the monitoring server 30
  • a control unit for example, the control unit
  • the video of the section determined to be in a state of caution with a higher resolution than the other sections. 110, 310. Therefore, it is possible to observe or analyze the state of the object within the monitoring range shown in the video of the section determined to be a state of caution more precisely and in detail.
  • control unit for example, the control units 110 and 310) provides the resolution of the area where the predetermined object appears in the video of the section determined to be in a state of caution with higher resolution than the other areas. May be.
  • the control unit provides the resolution of the area where the predetermined object appears in the video of the section determined to be in a state of caution with higher resolution than the other areas. May be.
  • the monitoring device for example, the monitoring camera device 10 or the monitoring server 30
  • the monitoring device passes from the space including the imaging range reflected in the video to the space adjacent to the space.
  • the imaging range is an entrance hall of an apartment house
  • the device that controls the passage to a living area adjacent thereto is a door opening / closing device provided between the entrance hall and the living area.
  • the communication range in which the communication unit (for example, the first communication unit 104) of the monitoring device (for example, the monitoring camera device 10) can detect the identification device (for example, the identification device 20) wirelessly is an imaging unit (for example, the imaging unit). 102) is equal to the imaging range shown in the captured video.
  • the detection result of the identification device in the communication range coincides with the recognition result of the object possessing the identification device as the imaging range. Therefore, by setting the communication range or the imaging range as the monitoring range, the appearance of an object that does not have the identification device or the appearance of the identification device that is not held by the object is detected as an object in the monitoring range being in a state of caution. .
  • the communication range and the imaging range do not have to be exactly the same.
  • substantially match means, for example, that a communication range in which identification information can be acquired with a predetermined detection accuracy based on a received signal matches an imaging range in which an object can be recognized with a predetermined recognition accuracy based on an image. .
  • the monitoring system (for example, monitoring system S1, S2) demonstrated above is a communication part (for example, 1st communication part) which communicates with an imaging part (for example, imaging part 102) and an identification device (for example, identification apparatus 20). 104) (for example, monitoring camera devices 10-1 to 10-5) may be provided at different positions.
  • an object is in a state of caution based on video captured by an imaging unit of at least one set (for example, the monitoring camera device 10-1) and identification information detected by the communication unit of the set among a plurality of sets.
  • the control unit (for example, control units 110 and 310) that activates the communication unit and the imaging unit of another set (for example, monitoring camera devices 10-2 to 10-5) .
  • the imaging unit and the communication unit that are always operated are limited to a certain set of the imaging unit and the communication unit, and when it is determined that the object is in a state of caution within the monitoring range, the other sets of imaging are performed. And the communication unit can be operated. Therefore, it is possible to start monitoring the state of the object around the monitoring range related to a part of the set, and to start precise or detailed observation or analysis of the object in the monitoring range related to the part of the set.
  • Some aspects of the present invention can be applied to a monitoring device, a monitoring system, a monitoring method, a program, and the like that need to accurately detect that a monitoring target in a monitoring range is in a state of caution.
  • S1, S2 ... monitoring system, 10 (10-1 to 10-K) ... monitoring camera device, 20 ... identification device, 30 ... monitoring server, 102 ... imaging unit, 104 ... first communication unit, 106 ... second communication unit , 108 ... alarm unit, 110 ... control unit, 112 ... video recognition unit, 113 ... determination unit, 114 ... person count unit, 116 ... identification device count unit, 118 ... comparison unit, 120 ... storage unit, 142 ... camera, 144 ... near field communication I / F, 145 (145-1 to 145-4) ... antenna, 146 ... communication I / F, 148 ... speaker, 150 ... CPU, 152 ... memory, 302 ... communication unit, 310 ... control unit, 312 ... Video recognition unit, 313 ... determination unit, 314 ... person count unit, 316 ... identification device count unit, 318 ... comparison unit, 320 ... storage unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

映像取得部は映像を取得し、識別装置情報取得部は無線で検出された識別装置の情報を取得し、制御部は前記映像に表れた物体を認識し、認識された前記物体の数と検出された前記識別装置の数とが一致するか否かを判定する。本実施形態は、監視装置、撮像部と通信部と監視装置を備える監視システム、監視方法又はプログラムとしても実現することができる。

Description

監視装置、監視システム、監視方法及びプログラム
 本発明のいくつかの態様は、監視装置、監視システム、監視方法及びプログラムに関する。
 本願は、2017年2月1日に日本に出願された特願2017-016604号について優先権を主張し、その内容をここに援用する。
 事業所や集合住宅などの施設には、不審者を検知するための監視カメラ装置が設置されることがある。例えば、特許文献1に記載のセキュリティシステムは、来訪者として不適切な行動をとっている人物に対して速やかな警戒を行う。当該セキュリティシステムにおいて、セキュリティサーバは、監視対象区域の周辺を監視する録画装置から出力される映像を受信する。そして、セキュリティサーバは、その映像に基づいて生成される動画を画像処理することによって抽出した人物画像を含む動画ファイルの部分を人物画像ファイルとして保持する。当該セキュリティシステムにおいて、人物データベースは、人物画像に対応する個人データと人物画像ファイルとを関連付け、人物画像に対応する個人の信頼性の程度に応じて個人データを分類して保持する。そして、セキュリティサーバは、監視カメラ装置が撮影した映像から人物の画像を抽出し、予め登録した人物画像と照合して、不審者の来訪を検知する。
特開2007-72647号公報
 しかしながら、監視カメラ装置が撮影した映像には、来訪者の顔面が表れないことがある。その場合には、来訪者を特定することができない。そのため、来訪者が不審者であるか否かを検知することができない。来訪者の顔面が表れない場合には、例えば、来訪者の背面が監視カメラの撮影方向に向けられているとき、来訪者の顔面が他の人物もしくは物体に遮蔽されているとき、マスク、帽子などの装着物により顔面の全部又は大部分が隠れているとき、などがある。
 本発明の一態様は上記の点に鑑みてなされたものであり、監視範囲内における監視対象が要注意状態であることを的確に検知することができる監視装置、監視システム、監視方法及びプログラムを提供する。
 (1)本発明の一態様は上記の課題を解決するためになされたものであり、本発明の一態様は、映像を取得する映像取得部と、無線で検出された識別装置の情報を取得する識別装置情報取得部と、制御部とを備え、前記制御部は、前記映像に表れた物体を認識し、認識された前記物体の数と検出された前記識別装置の数とが一致するか否かを判定する判定部と、を備える監視装置である。
 (2)また、本発明の一態様は、上記の監視装置において、映像を記録する記憶部をさらに備え、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の前記映像を前記記憶部に記憶させる。
 (3)また、本発明の一態様は、上記の監視装置において、警報を報知する警報部をさらに備え、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定されるとき、前記警報部に警報を報知させる。
 (4)また、本発明の一態様は、上記の監視装置において、映像を所定の機器に送信する通信部をさらに備え、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の前記映像を前記通信部に送信させる。
 (5)また、本発明の一態様は、上記の監視装置において、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の映像を、その他の区間よりも高い解像度で提供する。
 (6)また、本発明の一態様は、上記の監視装置において、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の映像において前記物体が表れる領域の解像度を、その他の領域よりも高い解像度で提供する。
 (7)また、本発明の一態様は、上記の監視装置において、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定されるとき、前記映像に映る撮像範囲を含む空間から、前記空間に隣接する空間への通行を制御する機器に、前記通行をさせないようにする。
 (8)また、本発明の一態様は、上記の監視装置において、前記識別装置を無線で検出できる通信範囲は、前記映像に映る撮像範囲と等しい。
 (9)また、本発明の一態様は、前記映像を撮像する撮像部、前記識別装置を検出する通信部、及び上記の監視装置、を備える監視システムである。
 (10)また、本発明の一態様は、上記の監視システムにおいて、前記撮像部と前記識別装置を検出する通信部とのセットをそれぞれ異なる位置に複数備え、複数のうち少なくとも一セットの撮像部が撮像した映像に表れた物体の数と、当該セットの通信部が検出した識別装置の数とが一致しないと判定するとき、前記少なくとも一セットとは他のセットの通信部と撮像部を起動させる制御部、を備える。
 (11)また、本発明の一態様は、監視装置における監視方法であって、映像を取得する映像取得過程と、無線で検出された識別装置の情報を取得する識別装置取得過程と、前記映像に表れた物体を認識する映像認識過程と、認識された前記物体の数と検出された前記識別装置の数とが一致するか否かを判定する判定過程と、を有する監視方法である。
 (12)また、本発明の一態様は、監視装置のコンピュータに、映像を取得する映像取得手順と、無線で検出された識別装置の情報を取得する識別装置取得手順と、前記映像に表れた物体を認識する映像認識過程と、認識された前記物体の数と検出された前記識別装置の数とが一致するか否かを判定する判定手順と、を実行させるためのプログラムである。
 本発明の一態様によれば、監視範囲内における監視対象が要注意状態であることを的確に検知することができる。
第1の実施形態に係る監視システムの機能構成の一例を示すブロック図である。 第1の実施形態に係る監視カメラ装置のハードウェア構成の一例を示すブロック図である。 第1の実施形態に係る監視カメラ装置の撮像範囲の一例を示す図である。 第1の実施形態に係る監視カメラ装置の設置例を示す図である。 第1の実施形態に係る監視処理の一例を示すフローチャートである。 第1の実施形態に係るアンテナの一配置例を示す図である。 第1の実施形態に係る監視カメラ装置の一配置例を示す図である。 第1の実施形態に係る監視カメラ装置の他の配置例を示す図である。 第2の実施形態に係る監視システムの機能構成の一例を示すブロック図である。 第2の実施形態に係るデータ記録処理の一例を示すフローチャートである。 第2の実施形態に係る監視処理の一例を示すフローチャートである。
(第1の実施形態)
 以下、図面を参照しながら本発明の第1の実施形態について説明する。
 図1は、本実施形態に係る監視システムの機能構成の一例を示すブロック図である。
 監視システムS1は、監視カメラ装置10と、識別装置20と、監視サーバ30と、を含んで構成される。
 監視カメラ装置10は、所定の監視領域内の映像を取得し、取得した映像に表れた物体を認識する。ここで、「物体」とは、監視対象となる物体を意味し、生物であるか非生物であるかを問わない。「物体」には、例えば、人物、家畜、飼育動物などの動物、パーソナルコンピュータ(PC:Personal Computer)、携帯電話機、タブレット端末装置などの情報機器、絵画、彫刻などの展示物、現金、貴金属、宝石その他の貴重品が格納された容器などであってもよい。
 監視カメラ装置10は、監視領域内の識別装置20を無線で検出する。監視カメラ装置10は、認識した物体の数と検出した識別装置20の数をそれぞれ計数し、物体の数と識別装置20の数が一致するか否かを判定する。監視カメラ装置10は、物体の数と識別装置20の数が一致しないとき、監視領域内において監視対象となる物体が要注意状態であることを判定する。ここで、「要注意状態」とは、監視対象となる物体が監視領域内に不当に出現すること、又はその物体が監視領域から不当に消失すること、など当該監視状態を監視する者もしくは当該監視領域に居合わせる者などに注意を促す必要がある状態、を意味する。監視カメラ装置10は、要注意状態であることを判定するとき、例えば、要注意状態であることが判定された区間内の映像の記録、その映像の監視サーバ30への送信、警報の報知のいずれか又は所定の組み合わせを行う。以下の説明では、要注意状態であることが、主に不審者、つまり予め登録された人物以外の人物の進入である場合を例にする。
 識別装置20は、その識別装置20自体の識別情報を示す信号を無線で発信する装置である。識別情報は、個々の識別装置20を示す特有の情報であって、監視対象の1個の物体と一意に対応付けられている情報であればよい。識別装置20が発信する信号は、無線であれば、必ずしも電波には限られず、赤外線、可視光線、超音波など情報を搬送することができる信号であれば、いずれであってもよい。識別装置20は、例えば、IEEE802.15.1で規定された近距離無線通信方式を用いて信号を送信する。この無線通信方式が用いられる場合には、この方式で所定の探索信号が識別情報の伝送に用いられてもよい。図1に示す例では、各1個の識別装置20が、ある人物Bdの身体に携帯される。
そして、識別装置20の識別情報は、その人物に対応付けられている情報である。
 監視サーバ30は、監視カメラ装置10から映像を受信し、受信した映像を記録するサーバ装置である。監視サーバ30は、記憶した映像を表示してもよい。監視サーバ30は、例えば、監視センタ又は警報センサの設備の一部を構成するサーバ装置である。
 図1に示す例では、監視カメラ装置10、識別装置20及び監視サーバ30の数は、それぞれ1個であるが、2個以上であってもよい。監視システムS1において監視カメラ装置10が複数個存在する場合には、そのうちの一部の監視カメラ装置10が監視サーバ30(親機)として機能してもよい。即ち、その一部の監視カメラ装置10が、他の監視カメラ装置10(子機)からの映像データなどの情報を集約する。また、監視サーバ30は、監視システムS1において必ずしも備えられてなくてもよい。
(監視カメラ装置)
 次に、監視カメラ装置10の機能構成について説明する。
 監視カメラ装置10は、撮像部102と、第1通信部104と、第2通信部106と、警報部108と、制御部110と、記憶部120と、を含んで構成される。
 撮像部102は、所定の監視範囲を視野とし、その視野内の映像を撮像する映像取得部として機能する。撮像部102は、撮像した映像を示す映像データを制御部110に出力する。
 第1通信部104は、自部から所定範囲内に存在する装置と、識別装置20が用いる通信方式と同一の方式で近距離(例えば、半径3~10m以内)の通信を無線で行うローカル通信部である。第1通信部104は、識別装置20から信号を受信し、受信した信号が示す識別装置20の識別情報を検出する識別装置情報取得部として機能する。第1通信部104は、検出した識別情報を制御部110に出力する。一例として、識別装置20がIEEE802.15.1で規定された近距離無線通信方式を用いる場合には、第1通信部104は、その方式を用いて識別装置20からの信号を受信する。
 なお、第1通信部104は、識別装置20からの信号強度が所定の信号強度の閾値よりも小さい場合には、その識別装置20の識別情報を棄却してもよい。これにより、信号強度が小さい識別情報に係る識別装置20が人物カウント部114によるカウント対象から除外される。受信信号が電波である場合には、信号強度の指標として、例えば、受信電波強度(RSSI:Received Signal Strength Indicator)が用いられる。受信信号が可視光線又は赤外線である場合には、信号強度の指標として輝度又は照度が用いられる。受信信号が可聴音又は超音波である場合には、信号強度の指標として音量又は音圧が用いられる。なお、所定時間以上継続して識別情報が検出されない識別装置20、又は信号強度が所定の信号強度よりも小さい識別装置20については、第1通信部104は、その識別装置20が検出されないことを示す非検出情報を制御部110に出力してもよい。
 第2通信部106は、第1通信部104よりも遠距離にある機器との間で無線又は有線で通信を行う。第2通信部106は、制御部110から入力される映像データを監視サーバ30に送信する。第2通信部106が用いる通信方式は、例えば、有線LAN(Local Area Network)の通信規格であるIEEE802.3、無線LANの通信規格であるIEEE802.11、公衆無線の通信規格である3G(3rd Generation of wireless mobile telecommunications)、IEEE802.16-2004、LTE(Long Term Evolution)、4G(4th Generation of wireless mobile telecommunications)などのいずれであってもよい。
 警報部108は、制御部110から警報指示信号が入力されるとき、警報を報知する。
警報部108は、警報として所定の警報音を鳴動させてもよいし、所定の不審者の進入を示すメッセージ音声を再生してもよい。
 制御部110は、監視カメラ装置10の主な機能を制御する。制御部110は、映像認識部112と、判定部113と、を含んで構成される。
 映像認識部112は、撮像部102から入力される映像データに対して所定の映像認識処理を行い、所定の認識対象の物体として映像に表れている人物の像を特定する。映像認識処理には、例えば、映像からの輪郭抽出、座標変換、変換後の輪郭と認識対象の物体である人物の輪郭との類似度の算出、類似度に基づく人物の特定、といった処理が含まれる。映像認識処理において、例えば、OpenCV(登録商標)(Open Source
 Computer Vision Library)で公開された手法を利用可能である。本実施形態では、映像認識処理において、1フレーム内の映像において人物の像が表されている部位が特定できれば足り、個々の人物の特定(例えば、顔画像に基づく人物の特定)を要しない。また、映像認識処理は、必ずしもフレーム毎に行われる必要はない。
映像認識処理は、監視領域における認識対象の物体である人物の進入の検出に十分な頻度(例えば、0.5~3秒)で行われればよい。映像認識部112は、処理結果として1フレームの映像において人物の像が表されている部位を示す映像認識情報を判定部113に出力する。
 なお、映像認識部112は、人物の像が表されている部位のうち、所定の大きさの閾値よりも小さい部位については、その部位を映像認識情報から除外してもよい。これにより、除外された部位に係る人物が識別装置カウント部116によるカウント対象から除外される。人物が表されている部位の大きさは、例えば、その部位の一辺又は径の長さで指定されればよい。
 判定部113は、人物カウント部114と、識別装置カウント部116と、比較部118と、を含んで構成される。
 人物カウント部114は、映像認識部112から入力される映像認識情報が示す映像に表されている人物の数をカウント(計数)する。人物カウント部114は、カウントした人物の数を示す人物カウント情報を比較部118に出力する。
 識別装置カウント部116は、第1通信部104から入力される識別情報に基づいて第1通信部104がその時点で検出している識別装置20の数をカウントする。識別装置カウント部116は、カウントした識別装置20の個数を示す識別装置カウント情報を比較部118に出力する。
 比較部118は、人物カウント部114から入力される人物カウント情報が示す人物の数と、識別装置カウント部116から入力される識別装置カウント情報が示す識別装置20の個数とが一致するか否かを判定する。一致すると判定するとき、比較部118は、予め登録された正当な人物以外の不審者の進入がないと判定する。一致しないと判定するとき、比較部118は、不審者の進入を判定する。その場合、比較部118は、その判定に応じた所定の処理を行う。比較部118は、例えば、警報指示情報を警報部108に出力する。比較部118は、撮像部102から入力される映像データを記憶部120に記憶してもよい。また、比較部118は、撮像部102から入力される映像データを監視サーバ30に第2通信部106を介して送信してもよい。比較部118は、不審者の進入を判定したフレームの映像データに不審者の進入を示す判定情報を付加してもよい。また、比較部118は、判定情報に代えて又は判定情報とともに、不審者が映像に表示されていることを示す不審者情報を付加してもよい。これにより、監視サーバ30には判定結果として不審者の進入が、監視領域の映像とともに通知される。また、比較部118は、記憶又は送信される映像データに、その映像データに係る映像認識情報を付加してもよい。なお、記憶又は送信される映像の区間には、不審者の進入が判定されたフレームが含まれていればよい。また、監視カメラ装置10は、監視サーバ30と一体化され、単一の装置として構成されてもよい。その場合には、第2通信部106が省略されてもよい。
 記憶部120は、制御部110が行う処理に用いる各種のデータ(例えば、パラメータ)、制御部110が取得したデータなどを記憶する。
(ハードウェア構成)
 次に、本実施形態に係る監視カメラ装置10のハードウェア構成の一例について説明する。
 図2は、本実施形態に係る監視カメラ装置10のハードウェア構成の一例を示すブロック図である。
 監視カメラ装置10は、カメラ142、近距離通信I/F(interface)144、通信I/F146、スピーカ148、CPU(Central Processing Unit)150及びメモリ152を含んで構成される。各構成部は、それぞれバスBに接続され、相互に各種のデータを入出力可能である。
 カメラ142は、上述の撮像部102を構成する。近距離通信I/F144は、上述の第1通信部104を構成する。通信I/F146は、上述の第2通信部106を構成する。スピーカ148は、上述の警報部108を構成する。警報部108として、スピーカ148に代えてブザーなどの音源が用いられてもよい。CPU150は、監視カメラ装置10の起動時に、メモリ152に記憶された所定のアプリケーションプログラム(アプリ)を読み出し、読み出したアプリに記述された命令が示す処理を実行することにより、上述した制御部110の機能を実現する。なお、制御部110の機能は、2個以上の制御デバイスにより、それぞれのアプリに係る処理を実行することにより実現されてもよい。例えば、映像認識部112の機能は、CPU150とは別個の制御デバイスとして、GPU(Graphic Processing Unit)又はコプロセッサにより実現されてもよい。
 メモリ152は、上述した記憶部120を構成する。メモリ152には、監視カメラ装置10の機能を発揮させるための各種のデータやプログラムが記憶される。そのようなプログラムには、アプリ、ミドルウェア、デバイスドライバ、OS(Operating 
System)がある。
(判定例)
 次に、監視カメラ装置10による進入の判定例について説明する。図3に示す例では、形状が直方体である部屋の天井の中央部に撮像方向を鉛直方向に向けて監視カメラ装置10が設置されている。撮像部102の撮影範囲は、監視カメラ装置10の監視範囲に相当する。監視範囲内に2名の人物Bd1、Bd2が所在する。人物Bd1は、自身の識別装置20-1を所持しているのに対し、人物Bd2は識別装置20を所持していない。この状況のもとでは、人物カウント部114は、人物の数が2名と判定し、識別装置カウント部116は、識別装置20の個数を1個と判定する。従って、比較部118は、人物の数と識別装置の個数が一致していないと判定し、不審者が監視範囲内に進入したと判定する。
 なお、監視範囲内に人物Bd1が所在し、人物Bd2が所在しない場合を仮定する。その場合には、比較部118は、人物の数と識別装置の個数が一致していると判定し、不審者が進入していないと判定する。
(撮像範囲と通信範囲の一致)
 本実施形態では、撮像部102の撮像範囲は、第1通信部104の通信範囲と一致していればよい。撮像範囲と通信範囲を一致させるために、映像に表されている人物の大きさの閾値と、信号強度の閾値との関係を予め調整しておけばよい。これは、人物の大きさの閾値は、撮像部102からの距離が遠いために映像に表される大きさが、その閾値よりも小さくなる人物を除外するための基準を与えるためである。また、信号強度の閾値は、第1通信部104からの距離が遠いために受信される信号の信号強度が、その閾値よりも小さくなる識別装置20の識別情報を除外するための基準を与えるためである。
 撮像範囲と通信範囲を一致させるために、第1通信部104が受信可能な信号の入射範囲は撮像部102の画角(視野角)に一致していればよい。図4に示す例では、監視カメラ装置10には、撮像部102の撮像方向に開口部を有する台座Mtが装着されればよい。台座Mtは、天井Clに接し、監視カメラ装置10は、開口部以外の部分を覆う。また、台座Mtは、金属などの導体で構成され、識別装置20からの電波を遮蔽する。第1通信部104のアンテナ(図示せず)を、開口部がなす角が撮像部102の画角と一致する位置Pに設置しておけばよい。これにより、第1通信部104が受信可能な電波の到来範囲と撮像部102の画角が一致する。台座Mtの表面は、電波吸収体のようにステルス性を有する磁性塗料で塗装されてもよい。その場合も、アンテナには台座Mtで覆われる方向の電波の到来が阻止される。
 なお、第1通信部104は、識別装置20からの電波を受信するためのアンテナとしてアレイアンテナを備えてもよい。アレイアンテナは、一般に、複数のアンテナ素子からなり、その個数と配置間隔に応じて電波の指向性が定められる。そこで、撮像部102の画角と、所定の受信強度以上で電波を受信できる範囲が一致するアレイアンテナが用いられてもよい。
(座標変換)
 撮像部102として、その光学系に魚眼レンズを有するカメラが用いられてもよい。魚眼レンズを有するカメラは、魚眼カメラとも呼ばれ、一般に通常のカメラよりも画角が大きい。魚眼カメラは、例えば、180°又は180°に近い画角を有する。但し、魚眼カメラが撮像した映像の外縁の形状は円形になる。また、撮像された映像に表される被写体の像における、その映像の中心からの距離は、その被写体のレンズの中心軸からの角度(水平傾斜角)からの角度に比例する(等距離射影方式)。そのため、映像の中心から離れた部位ほど、表れている被写体の像の歪みが大きくなる。そこで、映像認識部112は、魚眼レンズを備える撮像部102が取得した映像データについて魚眼平面変換を行って得られる映像データについて映像認識処理を行う。魚眼平面変換は、撮像された映像の平面上の注目点を通過し、その平面に垂直な法線と、その映像の半径と等しい半径を有する仮想球面との交点に接する平面に、その注目点を中心とする部分の部分映像を射影し、射影して得られる像を変換後の部分映像として定める処理を含む。そこで、映像認識部112は、映像に表れている被写体毎の輪郭を抽出し、抽出した被写体の部位の中心を注目点とし、それぞれ異なる部位に表される個々の被写体の像について魚眼平面変換を行う。そのため、映像の中心から離れた部位に表される像ほど大きくなる歪みが解消又は低減する。
(監視処理)
 次に、本実施形態に係る監視処理の一例について説明する。監視カメラ装置10は、次に説明する監視処理を所定時間毎に行う。図5は、本実施形態に係る監視処理の一例を示すフローチャートである。
(ステップS101)映像認識部112は、撮像部102から映像データを取得する。その後、ステップS102の処理に進む。
(ステップS102)映像認識部112は、取得した映像データが示す映像に表された人物を認識する。その後、ステップS103の処理に進む。
(ステップS103)人物カウント部114は、映像認識部112が認識した人物の数をカウントする。その後、ステップS104の処理に進む。
(ステップS104)第1通信部104は、受信した信号に基づいて識別装置20を検出する。その後、ステップS105の処理に進む。
(ステップS105)識別装置カウント部116は、第1通信部104が検出した識別装置20の数をカウントする。その後、ステップS106の処理に進む。
(ステップS106)比較部118は、認識された人物の数と検出された識別装置20の個数が一致するか否かを判定する。一致すると判定されるとき(ステップS106 YES)、比較部118は、監視範囲に不審者が進入していないと判定し、図5に示す処理を終了する。一致しないと判定されるとき(ステップS106 NO)、比較部118は、監視範囲に不審者が進入したと判定し、ステップS107の処理に進む。
(ステップS107)比較部118は、監視範囲に人物が進入したと判定した映像の区間を少なくとも含む映像データを記憶部120に記憶する。その後、ステップS108の処理に進む。
(ステップS108)比較部118は、その映像データを監視サーバ30に第2通信部106を介して送信する。その後、ステップS109の処理に進む。
(ステップS109)比較部118は、警報指示情報を警報部108に出力し、警報を鳴動させる。その後、図5に示す処理を終了する。
 なお、ステップS104、S105の処理は、ステップS101‐S103の処理と並行に行われる。そのため、ステップS104、S105の処理は、ステップS101-S103の後に行われることも、ステップS101-S103の処理と同時に行われることもある。また、ステップS107-S109の処理の全てが実行される必要はなく、少なくともステップS107-S109の処理のいずれかが実行され、その他の処理が省略されてもよい。ステップS108が省略される場合には、第2通信部106と監視サーバ30が省略されてもよい。ステップS109が省略される場合には、警報部108が省略されてもよい。
(変形例)
 次に、本実施形態の変形例について説明する。
 上述した実施形態では、比較部118が監視範囲に人物が進入したと判定した映像の区間の映像データを記憶部120に記憶又は監視サーバ30に送信する場合を例にしたが、これには限られない。
(解像度の変更)
 比較部118は、撮像部102から入力される映像データを常に記憶又は送信してもよい。但し、比較部118は、監視範囲に人物が進入したと判定した区間の映像の解像度を、その他の区間の解像度よりも高くして記憶又は送信してもよい。例えば、比較部118は、監視範囲に人物が進入したと判定する場合、撮像部102から入力されるその区間の映像データの解像度を変更せず、それ以外の区間の映像データの解像度を低下させる。これにより、人物が進入したと判定した区間の映像を、その他の映像よりも詳細に分析するとともに、記憶部120の記憶容量もしくは第2通信部106の伝送容量を節約することができる。
(関心領域の設定)
 また、比較部118は、監視範囲に人物が進入したと判定した区間の映像について、人物が表されている部位を関心領域(ROI:Region of Interest)として定めてもよい。また、第1通信部104が、識別装置20からの信号の到来方向を取得することができる場合には、比較部118は、さらに、その方向に対応する映像の部位と人物が表されている部位とを照合し、識別装置20を有しない人物の像が表された部位を関心領域として特定してもよい。後述するように、監視範囲に4個以上のアンテナが設置される場合には、比較部118は、識別装置20からの信号の到来時刻のアンテナ間の差に基づいて、撮像部102を基準とした識別装置20の方向を特定することができる。
比較部118は、特定した関心領域に対して、その他の部位よりも解像度を高くしてもよい。これにより、解像度を高くする領域が限定されるので、さらに記憶部120の記憶容量もしくは第2通信部106の伝送容量を節約することができる。
(カメラとアンテナの対応関係)
 図3及び図4に示す例では、第1通信部104が備えるアンテナと、撮像部102とが一意に対応することを前提としたが、各1つの監視範囲として撮像範囲と通信範囲とが一致していれば、これには限られない。図6に示す例では、1個の撮像部102(図示せず)による撮像範囲と、第1通信部104として4個のアンテナ145-1~145-4による通信範囲とが対応付けられている。図6において、一点破線は、各アンテナの通信範囲の外縁を示す。アンテナ145-1~145-4は、それぞれ受信した受信信号を、監視カメラ装置10の識別装置カウント部116に出力する。
 識別装置カウント部116は、その監視範囲に係るアンテナ145-1~145-4のそれぞれについて受信信号が示す識別情報を特定し、アンテナ145-1~145-4間で特定された識別情報のうち、重複する識別情報のいずれか1つをカウント対象の識別情報として採用し、その他の識別情報を棄却する。この識別情報の重複は、図6に示すように、アンテナ間で通信範囲が重複する領域が存在するため、重複する領域内にある1つの識別装置20からの信号が、各領域に係るアンテナでそれぞれ受信されるためである。
 同様に、1つの監視範囲が複数の撮像範囲から構成され、各撮像範囲に係るカメラが撮像部102として備えられてもよい。映像認識部112は、各カメラが取得した映像データについて映像認識処理を行い、人物カウント部114は、各映像データが示す人物が表れている部位を統合する。人物カウント部114は、カメラ間で重複する撮像範囲に表われる同一の人物について、互いに重複する複数の撮像範囲のうちいずれか1つの撮像範囲に表れる人物をカウント対象の人物として採用し、その他の撮像範囲に表れる人物を棄却する。これにより、複数のカメラ間で、同一の人物を重複してカウントすることが回避される。
(近接する他装置の起動)
 監視システムS1は、それぞれ異なる位置に配置されたK(Kは、2以上の整数)個の監視カメラ装置10-1~10-Kを有する。図7に示す例では、K個の監視カメラ装置10-1~10-Kのうち、いずれか1個の監視カメラ装置10-k(kは、1以上K以下の整数)が常時動作し、それ以外の監視カメラ装置10-1~10-k-1、10-k+1~10-Kが動作していないものとする。そして、監視カメラ装置10-kの比較部118が、その監視範囲に人物Bdが進入したと判定する場合を仮定する。この場合、監視カメラ装置10-kの比較部118は、監視カメラ装置10-kの監視範囲の基準点(例えば、中心)から所定範囲内に監視範囲が存在する監視カメラ装置10を起動させてもよい。図7に示す例では、監視カメラ装置10-kの制御部110は、監視カメラ装置10-kとその監視範囲が隣接する監視カメラ装置10-k-1、10-k+1に第2通信部106を介して起動指示信号を送信する。監視カメラ装置10-k-1、10-k+1の制御部110は、それぞれ監視カメラ装置10-kから起動指示信号を自装置の第2通信部106を介して受信するとき、自装置の撮像部102、第1通信部104、映像認識部112及び判定部113の動作を開始させる。
 そして、監視カメラ装置10-k-1、10-k+1の比較部118は、それぞれの監視範囲において人物に進入がないと判定する状態が所定時間(例えば、3~10分)以上継続するとき、自装置の撮像部102、第1通信部104、映像認識部112及び判定部113の動作を停止してもよい。
 これにより、常時動作する監視カメラ装置10として、監視範囲に人物が進入又はその可能性が高い監視カメラ装置10に限定される。そのため、映像データの記録又は送信に係るハードウェアの負荷や消費エネルギーが低減する。また、図7に示すように一部を除いて外部から閉ざされた空間内に複数の監視カメラ装置10-1~10-Kを分散配置され、かつ外部に開放されている一部の領域を含む監視範囲に係る監視カメラ装置10-kを常時動作させる監視カメラ装置10として設定しておく。このことによって、セキュリティの確保との両立が可能となる。
 図8に示す例では、監視システムS1は、5個の監視カメラ装置10-1~10-5を有する。5個の監視カメラ装置10-1~10-5のうち、1個の監視カメラ装置10-1の監視範囲内に、他の4個の監視カメラ装置10-2~10-5の監視範囲が含まれる。監視カメラ装置10-2~10-5の監視範囲、即ち撮像範囲ならびに通信範囲は、それぞれ監視カメラ装置10-1よりも小さい。そこで、監視カメラ装置10-1が常時動作し、それ以外の監視カメラ装置10-2~10-5が動作していないものとする。そして、監視カメラ装置10-1の比較部118が、その監視範囲に人物Bdが進入したと判定する場合を仮定する。この場合、監視カメラ装置10-1の比較部118は、監視カメラ装置10-2~10-5を起動させてもよい。ここで、監視カメラ装置10-1の制御部110は、監視カメラ装置10-2~10-5に第2通信部106を介して起動指示信号を送信する。監視カメラ装置10-2~10-5の制御部110は、それぞれ監視カメラ装置10-1から起動指示信号を自装置の第2通信部106を介して受信するとき、自装置の撮像部102、第1通信部104、映像認識部112及び判定部113の動作を開始させる。そして、監視カメラ装置10-2~10-5の比較部118は、それぞれの監視範囲において人物に進入がないと判定する状態が所定時間(例えば、3~10分)以上継続するとき、自装置の撮像部102、第1通信部104、映像認識部112及び判定部113の動作を停止してもよい。
 ここで、監視カメラ装置10-2~10-5の撮像部102の解像度は、それぞれ監視カメラ装置10-1の撮像部102の解像度よりも高くしてもよい。そして、監視カメラ装置10-2~10-5の映像認識部112は、解像度がより高い映像データに対応した映像認識処理を行う。
 このような構成により、常時動作させる監視カメラ装置10を監視カメラ装置10-1に限定し、その監視範囲に人物が進入したと判定される場合に、より密に配置された他の監視カメラ装置10-2~10-5を動作させ、解像度がより高い映像が処理される。人物が進入する可能性が高いときに、解像度がより高い映像を取得し、取得した映像により、より精密な分析を行う手がかりが得られ、ハードウェアの負荷を高くする機会が限定される。そのため、監視システムS1全体として、ハードウェア資源が有効に利用される。
(他の機器からの起動指示)
 監視カメラ装置10の制御部110は、他の機器から起動開始指示を受信するとき、撮像部102、第1通信部104、映像認識部112及び判定部113の動作を開始させてもよい。他の機器は、例えば、玄関、エレベータなどの扉、窓などの開閉部材の開閉状態を制御するための開閉制御装置である。開閉部材は、所定の監視範囲を区分する壁面の一部に埋め込まれ、監視範囲外の他の空間に対する開閉状態を可変とする。監視範囲は、例えば、オフィスビル、集合住宅、その他の施設のエントランスホール、エレベータホールなどである。そこで、開閉制御装置は、開閉部材を開放するとき、監視カメラ装置10に起動開始指示を送信する。開閉部材の開放は、例えば、ドアロックの解除、窓の開放である。監視カメラ装置10の比較部118が、監視範囲に人物が進入したと判定するとき、開閉制御装置に閉鎖指示を送信してもよい。開閉制御装置は、監視カメラ装置10から閉鎖指示を受信するとき、開放中の開閉部材を閉鎖する。
 なお、監視カメラ装置10の制御部110は、監視範囲において人物に進入がないと判定する状態が所定時間(例えば、3~10分)以上継続するとき、自装置の撮像部102、第1通信部104、映像認識部112及び判定部113の動作を停止してもよい。
 これにより、監視範囲がその他の領域に対して開放されるとき、その他の領域からの人物の進入をより確実に捕捉することができる。そのため、監視範囲又は監視範囲に連なる空間を有する施設内のセキュリティが強化される。
(識別情報の照会)
 識別装置20に割り当てられている識別情報は、必ずしも監視システムS1に専用の識別情報でなくてもよく、個々の人物に対して一意に対応付けられている識別情報であれば、他のシステムでも共用される識別情報であってもよい。識別情報として、例えば、個人番号(いわゆる、マイナンバー)が用いられてもよい。また、識別情報は、システム毎に利用の可否が設定されてもよい。このシステムとは、監視システムS1が含まれうるが、正当な利用者(個体)の判別を要するシステムであれば、監視システムS1とは用途が異なるシステム(例えば、商品販売もしくはサービス利用を促進するための会員システム)が含まれてもよい。
 そこで、識別装置カウント部116は、取得した識別情報についての照会情報を識別情報管理サーバ40(図示せず)に送信してもよい。照会情報は、その識別情報が、監視システムS1の利用可否、つまり正当な利用者であるか否かの照会を示す情報である。識別情報管理サーバ40は、各識別情報についてシステム毎に利用可否が設定された識別情報管理データを記憶する。識別情報管理サーバ40は、識別情報管理データを参照して、照会情報が示す識別情報について、その照会情報が示すシステムとして監視システムS1の利用可否を判定する。識別情報管理サーバ40は、判定した利用可否を示す応答情報を、識別情報に対する応答として監視カメラ装置10に送信する。
 監視カメラ装置10の識別装置カウント部116は、識別情報管理サーバ40から受信した応答情報が利用可を示すとき、その識別情報をカウント対象と判定し、その応答情報が利用否を示すとき、その識別情報をカウント対象外として判定する。そして、識別装置カウント部116は、カウント対象と判定した識別情報の個数をカウントし、カウント対象外とした識別情報を無視する。
 従って、識別装置20に割り当てられている識別情報として、他のシステムで用いられている識別情報が、監視システムS1においても利用することができる。
 なお、識別情報管理サーバ40が管理する識別情報管理データには、さらに各識別情報と対応付けて属性情報が含まれていてもよい。属性情報には、例えば、その人物の属性、例えば、性別、年齢、居住地などの情報が含まれる。そこで、識別情報管理サーバ40は、照会情報が示す識別情報に対応付けた属性情報を識別情報管理データから読み出し、読み出した属性情報を応答情報に付加して監視カメラ装置10に送信してもよい。監視カメラ装置10の制御部110は、不審者が進入したと判定される場合、応答情報とともに受信した属性情報を、その判定に係る映像データと対応付けて記憶又は送信してもよい。また、その場合には、制御部110は、属性情報をディスプレイ等の表示部(図示せず)に表示させてもよい。これにより、監視カメラ装置10は、進入した人物の属性情報を取得し、ユーザに提供することができる。
(第2の実施形態)
 次に、本発明の第2の実施形態について説明する。第1の実施形態と同一の構成については同一の符号を付し、特に断らない限りその説明を援用する。以下の説明では、第1の実施形態との差異点を主とする。
 図9は、本実施形態に係る監視システムS2の機能構成の一例を示すブロック図である。
 監視システムS2は、監視カメラ装置10と、識別装置20と、監視サーバ30を含んで構成される。
 監視カメラ装置10は、撮像部102と、第1通信部104と、第2通信部106と、警報部108と、制御部110と、記憶部120とを備える。但し、本実施形態では、制御部110は、撮像部102が所定時間毎に撮像した映像を示す映像データと、第1通信部104が受信した識別装置20の識別情報とを対応付けて記憶部120に記憶する。ここで、その映像データが取得された時点において検出された識別情報が対応付けられていればよい。そこで、制御部110は、映像データと識別情報に、その時点を示す時刻情報で対応付けて記憶部120に記憶する。時刻情報として、例えば、その時点における映像のフレームを示すフレーム番号、その時刻を示すタイムスタンプなどのいずれが用いられてもよい。また、時刻情報として、映像データに含まれる映像ストリームに付随したメタ情報が用いられてもよいし、映像データとは別個の情報が付加されてもよい。
 映像認識部112は、記憶部120から各時点の映像データを読み出し、読み出した映像データについて映像認識処理を行う。判定部113は、記憶部120からその時点の識別情報を読み出す。判定部113は、読み出した識別情報と、映像認識部112から入力される映像認識情報に基づいて上述したように所定の監視範囲における人物の進入の有無を判定する。判定部113は、監視範囲に不審者が進入したと判定するとき、その判定に応じた所定の処理を行う。
 また、比較部118は、不審者が映像に表示されていることを示す不審者情報を、不審者の進入を判定した映像を示す映像データに付加し、記憶部120に記憶する。
 なお、制御部110は、ユーザの操作に基づく操作信号が操作入力部(図示せず)から入力されるとき、操作信号の指示に応じて不審者情報が付加された映像データを読み出し、読み出した映像データを表示部(図示せず)に出力してもよい。
 本実施形態では、制御部110は、所定時間毎に取得される映像データを識別情報と時刻情報をもって対応付けて監視サーバ30に送信してもよい。その場合には、制御部110において、映像認識部112と判定部113が省略されてもよい。監視サーバ30における処理量は大量であることが許容される反面、監視カメラ装置10のハードウェア規模が比較的小規模にすることができる。ひいては、監視システムS2を経済的に実現することができる。
 なお、制御部110が、映像認識部112と判定部113を備える場合には、監視システムS1において監視サーバ30が省略されてもよい。
 監視サーバ30は、通信部302と、制御部310と、記憶部320と、を含んで構成される。
 通信部302は、無線又は有線で監視カメラ装置10との間で通信を行う。通信部302が用いる通信方式は、監視カメラ装置10の第2通信部106と同一であればよい。通信部は、通信I/Fで構成される。
 制御部310は、映像認識部312と、判定部313とを含んで構成される。判定部313は、人物カウント部314と、識別装置カウント部316と、比較部318とを備える。映像認識部312、人物カウント部314、識別装置カウント部316及び比較部318が行う処理は、それぞれ監視カメラ装置10の映像認識部112、人物カウント部114、識別装置カウント部116及び比較部118が行う処理と同様である。
 制御部310は、CPUなどの1個又は複数の制御デバイスで構成される。制御部310は、記憶部320から予め記憶された所定のアプリを読み出し、読み出したアプリに記述された命令が示す処理を実行することで、映像認識部312及び判定部313の機能を実現する。
 記憶部320は、各種のメモリで構成される。なお、監視サーバ30は、警報部108と同様の機能を有する警報部を備えてもよい。
(データ記録処理)
 次に、本実施形態に係るデータ記録処理について説明する。本実施形態に係る監視カメラ装置10は、次に説明する処理を所定時間毎に行う。図10は、本実施形態に係るデータ記録処理の一例を示すフローチャートである。
(ステップS201)撮像部102は、撮像した映像を示す映像データを取得する。その後、ステップS202の処理に進む。
(ステップS202)制御部110は、撮像部102が取得した映像データを記憶部120に記録する。
(ステップS203)第1通信部104は、受信した信号に基づいて識別装置20を検出する。その後、ステップS204の処理に進む。
(ステップS204)制御部110は、第1通信部104が検出した識別装置20の識別情報を、その時点において取得された映像データと、その時点の時刻情報と対応付けて記憶部120に記録する。その後、図10に示す処理を終了する。
 なお、ステップS203、S204の処理は、ステップS201、S202の処理と並行に行われる。そのため、ステップS203、S204の処理は、ステップS201、S202の後に行われることも、ステップS201、S202の処理と同時に行われることもある。
(監視処理)
 次に、本実施形態に係る監視処理について説明する。図11は、本実施形態に係る監視処理の一例を示すフローチャートである。但し、次の説明では、監視カメラ装置10が、図11の処理を行うことを前提とするが、監視サーバ30が図11の処理を行ってもよい。即ち、監視カメラ装置10の映像認識部112、人物カウント部114、識別装置カウント部116に代えて、それぞれ監視サーバ30の映像認識部312、人物カウント部314、識別装置カウント部316が次に説明する処理を行う。
(ステップS211)映像認識部112は、記憶部120からある時点の映像データを読み出し、読み出した映像データが示す映像に表された人物を認識する。その後、ステップS212の処理に進む。
(ステップS212)人物カウント部114は、映像認識部112が認識した人物の数をカウントする。その後、ステップS213の処理に進む。
(ステップS213)識別装置カウント部116は、ステップS211において読み出された映像データに対応付けられた識別情報を記憶部120から読み出す。識別装置カウント部116は、読み出した識別情報に基づき、その時点で検出された識別装置20の数をカウントする。その後、ステップS214の処理に進む。
(ステップS214)比較部118は、認識された人物の数と検出された識別装置20の個数が一致するか否かを判定する。一致すると判定されるとき(ステップS214 YES)、比較部118は監視範囲に不審者が進入していないと判定し、図11に示す処理を終了する。一致しないと判定されるとき(ステップS214 NO)、比較部118は、監視範囲に不審者が進入したと判定し、ステップS215の処理に進む。
(ステップS215)比較部118は、不審者が映像に表示されていることを示す不審者情報を、不審者が進入したと判定した映像を示す映像データに付加し、記憶部120に記憶する。その後、図11に示す処理を終了する。
 なお、ステップS213の処理は、ステップS211、S212の処理と並行に行われる。そのため、ステップS213の処理は、ステップS211、S212の後に行われることも、ステップS211、S212の処理と同時に行われることもある。
 図11に示す処理は、図10に示す処理の終了直後に開始されなくてもよく、任意の時点、例えば、ユーザの操作入力により操作信号で指示された時点に開始されてもよい。
 また、図11に示す処理を行う機器は、図10に示す処理を行う機器とは別個の機器であってもよい。例えば、監視サーバ30が、図11に示す処理を実行してもよい。そこで、監視カメラ装置10の制御部110は、所定の時点において記憶部120に記憶させた映像データと識別情報を対応付けて監視サーバ30に送信する。監視サーバ30の制御部310は、監視カメラ装置10から通信部302を介して映像データと識別情報を受信する。監視サーバ30の制御部310は、記憶部320に予め記憶させておいたデータを用いて図11に示す処理を行ってもよいし、新たに受信するデータを用いて図11に示す処理を行ってもよい。
 また、監視カメラ装置10の制御部110又は監視サーバ30の制御部310は、監視範囲に不審者が進入したと判定するとき(ステップS214 NO)、上述したステップS107、S108、S109のいずれかの処理又はそれらの処理の予め定められた組み合わせを実行してもよい。監視システムS2において監視カメラ装置10が複数個存在する場合には、そのうちの一部の監視カメラ装置10が監視サーバ30(親機)として機能してもよい。
 監視サーバ30の制御部310が図11に示す処理を行う場合には、映像データと識別情報の送信元である監視カメラ装置10の制御部110において、映像認識部112と判定部113が省略されてもよい。つまり、監視カメラ装置10は、その監視範囲に係る撮像部102と第1通信部104のセットとして機能する。
 監視サーバ30の制御部310は、複数の監視カメラ装置10から取得した映像データと識別情報を用いて、それぞれの監視範囲毎に図11に示す処理を行ってもよい。
(他の装置からの映像、識別情報の取得)
 また、本実施形態に係る監視システムS2でも、複数の監視カメラ装置10のうち、一部の監視カメラ装置10の撮像部102による映像データの取得と第1通信部104による識別装置20の探索を常時行い、それ以外の監視カメラ装置10の撮像部102による映像データの取得と第1通信部104による識別装置20の探索を常時行わなくてもよい。図7に示す例では、監視カメラ装置10-kの撮像部102による映像データの取得と第1通信部104による識別装置20の探索を常時行う。監視カメラ装置10-kの制御部110は、取得した映像データと検出した識別情報を対応付けて監視サーバ30に送信する。監視サーバ30は、監視カメラ装置10-kから受信した映像データと検出された識別情報を用いて図11に示す処理を行う。
 図11の処理において、監視サーバ30の比較部318が、監視カメラ装置10-kの監視範囲に不審者が進入したと判定するとき、制御部310は、監視カメラ装置10-kの監視範囲の基準点から所定範囲内に監視範囲が存在する監視カメラ装置10に起動指示信号を送信する。図7に示す例では、起動指示信号の送信先は、監視カメラ装置10-k-1、10-k+1である。
 監視カメラ装置10-k-1、10-k+1の制御部110は、監視サーバ30から起動指示信号を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を開始させ、取得した映像データと検出した識別情報を監視サーバ30に送信する。
 監視サーバ30の制御部310は、監視カメラ装置10-k-1、10-k+1から受信した映像データと検出した識別情報を用いて、それぞれの監視範囲について図11の処理を開始する。また、監視サーバ30の比較部318が、監視カメラ装置10-k-1、10-k+1それぞれの監視範囲に人物に進入がないと判定する状態が所定時間以上継続する場合、制御部310は、監視カメラ装置10-k-1、10-k+1に停止指示信号を送信してもよい。監視カメラ装置10-k-1、10-k+1の制御部110は、監視サーバ30から停止指示信号を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を停止させ、映像データと検出した識別情報の送信を停止する。この場合、監視サーバ30の制御部310は、監視カメラ装置10-k-1、10-k+1それぞれの監視範囲について図11の処理を停止する。この構成によっても、映像データの送信に係るハードウェアの負荷や消費エネルギーの低減と、セキュリティの確保とを両立することができる。
 図8に示す例では、5個の監視カメラ装置10-1~10-5のうち、1個の監視カメラ装置10-1の撮像部102による映像データの取得と第1通信部104による識別装置20の探索を常時行う。監視カメラ装置10-1の制御部110は、取得した映像データと検出した識別情報を対応付けて監視サーバ30に送信する。監視サーバ30は、監視カメラ装置10-1から受信した映像データと検出された識別情報を用いて図11に示す処理を行う。
 図11の処理において、監視サーバ30の比較部318が、監視カメラ装置10-1の監視範囲に不審者が進入したと判定するとき、制御部310は、監視カメラ装置10-2~10-5に起動指示信号を送信する。監視サーバ30から起動指示信号を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を開始させ、取得した映像データと検出した識別情報を監視サーバ30に送信する。
 監視サーバ30の制御部310は、監視カメラ装置10-2~10-5から受信した映像データと検出した識別情報を用いて、それぞれの監視範囲について図11の処理を開始する。また、監視サーバ30の比較部318が、監視カメラ装置10-2~10-5のそれぞれの監視範囲に人物に進入がないと判定する状態が所定時間以上継続する場合、制御部310は、監視カメラ装置10-2~10-5に停止指示信号を送信してもよい。監視カメラ装置10-2~10-5の制御部110が、監視サーバ30から停止指示信号を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を停止させ、映像データと検出した識別情報の送信を停止する。この場合、監視サーバ30の制御部310は、監視カメラ装置10-2~10-5のそれぞれの監視範囲について図11の処理を停止する。この構成によっても、常時映像データを取得する監視カメラ装置10を監視カメラ装置10-1に限定し、その監視範囲に人物が進入したと判定される場合に、より密に配置された他の監視カメラ装置10-2~10-5から取得される解像度がより高い映像が処理される。人物が進入する可能性が高いときに、解像度がより高い映像により、より精密な分析を行う手がかりが得られ、ハードウェアの負荷を高くする機会が限定される。そのため、監視システムS2全体として、ハードウェア資源が有効に利用される。
(他の機器からの起動指示)
 また、監視サーバ30の制御部310は、他の機器として所定の監視範囲に係る開閉部材の開閉状態を制御するための開閉制御装置から起動開始指示を受信するとき、その監視範囲に係る監視カメラ装置10に起動開始指示を送信してもよい。
 監視カメラ装置10の制御部110は、監視サーバ30から起動開始指示を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を開始させ、取得した映像データと検出した識別情報を監視サーバ30に送信する。
 監視サーバ30の制御部310は、監視カメラ装置10から受信した映像データと検出した識別情報を用いて、その監視範囲について図11の処理を開始する。
 そして、比較部318が、監視範囲に人物が進入したと判定するとき、開閉制御装置に閉鎖指示を送信してもよい。開閉制御装置は、監視サーバ30から閉鎖指示を受信するとき、開放中の開閉部材を閉鎖する。
 また、監視サーバ30の比較部318が、その監視範囲に人物に進入がないと判定する状態が所定時間以上継続する場合、制御部310は、監視カメラ装置10に停止指示信号を送信してもよい。監視カメラ装置10の制御部110は、監視サーバ30から停止指示信号を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を停止させ、映像データと検出した識別情報の送信を停止する。この場合、監視サーバ30の制御部310は、その監視範囲について図11の処理を停止する。
 この構成によっても、監視範囲がその他の領域に対して開放されるとき、その他の領域からの人物の進入をより確実に捕捉することができる。そのため、監視範囲又は監視範囲に連なる空間を有する施設におけるセキュリティが強化される。
(他の物体の要注意状態の検出)
 以上の説明は、監視範囲内における物体の要注意状態が、主に識別情報が予め登録されていない不審者の監視範囲への進入である場合を例にしたが、これには限られない。監視対象の物体は人物に限られず、例えば、飼育動物(ペット)、家畜などの動物であってもよい。比較部118、318は、監視範囲内における物体の要注意状態として、予め登録されていない他の動物(例えば、熊、野犬など)の進入の有無を判定してもよい。
 また、比較部118、318は、監視範囲内における物体の要注意状態として、監視範囲からの物体の退出の有無を判定してもよい。監視対象の物体は、児童、被介護者などの人物の他、例えば、上述した電子機器、貴金属、展示品など、監視範囲からの消失が望まれない物体であればよい。監視範囲からの物体の消失の有無を検出する場合には、その物体に識別装置20を所持させず、監視範囲内にその物体に対応する識別装置20を設置しておいてもよい。これにより、制御部110、310は、監視範囲内において映像から認識された物体の数が、識別装置20の数よりも少ないとき、監視範囲からの物体の退出を判定することができる。
(総括)
 以上に説明した監視装置(例えば、監視カメラ装置10、監視サーバ30)は、映像に表れた物体を認識する映像認識部(例えば、映像認識部112、312)を備える。監視装置は、無線で検出された物体毎の識別装置(例えば、識別装置20)の識別情報を取得し、映像に表れた物体の数と検出された識別装置の数が一致しないとき、物体が要注意状態であることを判定する判定部113、313を備える。
 この構成により、物体の向きにより個々の特徴、例えば、人物の顔が特定されない場合であっても、認識された物体の個数と、個々の物体が所持する識別装置の個数の不一致により、その物体が要注意状態であることが判定される。そのため、映像から取得した個々の物体の特徴を用いる場合よりも、所定の監視範囲内における所定の物体が要注意状態であることが的確に検知される。
 また、監視装置は、要注意状態であることが判定された物体を表す区間の映像を記憶する記憶部(例えば、記憶部120、320)を備えてもよい。
 この構成により、映像を記憶すべき区間が、監視範囲内における物体が要注意状態であることが判定された物体を表す区間に限定されるので、記憶部の記憶容量を節減することができる。
 また、監視装置は、要注意状態であることが判定されるとき、警報を報知する警報部(例えば、警報部108、308)を備えてもよい。
 この構成により、警報に接したユーザが監視範囲内における物体が要注意状態であることを認識し、要注意状態であることに対する措置を講ずる手がかりが与えられる。
 また、監視装置(例えば、監視カメラ装置10)は、要注意状態であることが判定される区間の映像を所定の機器(例えば、監視サーバ30)に送信する通信部(例えば、第2通信部106)を備えてもよい。
 この構成により、所定の機器は、要注意状態であることが判定される区間の映像を取得することができる。そのため、監視装置から遠隔に所在する機器において、その映像を用いて監視範囲における物体の状況を観察又は解析することができる。また、映像を送信すべき区間が、監視範囲内における物体の要注意状態であることが判定された物体を表す区間に限定されるので、通信部の伝送容量を節減することができる。
 また、監視装置(例えば、監視カメラ装置10、監視サーバ30)は、要注意状態であることが判定される区間の映像を、その他の区間よりも高い解像度で提供する制御部(例えば、制御部110、310)を備えてもよい。
 そのため、要注意状態であることが判定される区間の映像に示される監視範囲内の物体の状態を、より精密かつ詳細に観察又は解析することができる。
 また、制御部(例えば、制御部110、310)は、要注意状態であることが判定される区間の映像において所定の物体が表れる領域の解像度を、その他の領域よりも高い解像で提供してもよい。
 この構成により、要注意状態であることが判定される区間の映像に示される監視範囲内の物体として、所定の物体の状態を、より精密かつ詳細に観察又は解析することができる。同時に、解像度を映像内で一律にするときよりも映像を提供するための記憶容量や伝送容量を節減することができる。
 また、監視装置(例えば、監視カメラ装置10、監視サーバ30)は、要注意状態であることが判定されるとき、映像に映る撮像範囲を含む空間から、その空間に隣接する空間への通行を制御する機器に、その通行をさせないようにする制御部(例えば、制御部110、310)を備えてもよい。例えば、撮像範囲が集合住宅の玄関ホールである場合には、それに隣接する居住区域への通行を制御する機器は、玄関ホールと居住区域の間に設けられるドアの開閉装置である。
 この構成により、その撮像範囲を監視範囲とする空間内における、その物体が要注意状態である状態(例えば、不審者の進入)を保全することができる。そのため、監視範囲外である隣接する空間における物体が要注意状態になることを阻止することができる。
 また、監視装置(例えば、監視カメラ装置10)の通信部(例えば、第1通信部104)が識別装置(例えば、識別装置20)を無線で検出できる通信範囲は、撮像部(例えば、撮像部102)が撮像された映像に映る撮像範囲と等しい。
 この構成により、通信範囲における識別装置の検出結果と、撮像範囲としてその識別装置を所持する物体の認識結果が一致する。そのため、通信範囲又は撮像範囲を監視範囲とすることで、監視範囲内における物体が要注意状態であることとして、識別装置を所持しない物体の出現又は物体に所持されない識別装置の出現が検出される。
 但し、その通信範囲と撮像範囲は厳密に一致していなくてもよく、通信範囲と撮像範囲の一方が他方よりも広くても、その一方がその他方よりも狭くても、その一方とその他方のそれぞれに両者が重複しない領域がある場合であっても、実質的に一致していればよい。実質的に一致するとは、例えば、受信信号に基づいて識別情報を所定の検出精度で取得できる通信範囲と映像に基づいて物体を所定の認識精度で認識できる撮像範囲が一致していることを指す。
 また、以上に説明した監視システム(例えば、監視システムS1、S2)は、撮像部(例えば、撮像部102)と識別装置(例えば、識別装置20)と通信する通信部(例えば、第1通信部104)とのセット(例えば、監視カメラ装置10-1~10-5)をそれぞれ異なる位置に複数備えてもよい。監視システムは、複数のセットのうち、少なくとも一セット(例えば、監視カメラ装置10-1)の撮像部が撮像した映像と当該セットの通信部が検出した識別情報に基づいて物体が要注意状態であることを判定するとき、その少なくとも一セットとは他のセット(例えば、監視カメラ装置10-2~10-5)の通信部と撮像部を起動させる制御部(例えば、制御部110、310)、を備える。
 この構成により、常時動作させる撮像部と通信部を一部のセットの撮像部と通信部に限定し、監視範囲内において物体が要注意状態であることが判定されるとき、その他のセットの撮像部と通信部を動作させることができる。そのため、一部のセットに係る監視範囲の周囲における物体の状態の監視を開始することや、一部のセットに係る監視範囲における物体の精密もしくは詳細な観察又は解析を開始することができる。
 以上、図面を参照してこの発明の実施形態とその変形例について説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
 本発明のいくつかの態様は、監視範囲における監視対象が要注意状態であることを的確に検知することが必要な監視装置、監視システム、監視方法及びプログラムなどに適用することができる。
 S1、S2…監視システム、10(10-1~10-K)…監視カメラ装置、20…識別装置、30…監視サーバ、102…撮像部、104…第1通信部、106…第2通信部、108…警報部、110…制御部、112…映像認識部、113…判定部、114…人物カウント部、116…識別装置カウント部、118…比較部、120…記憶部、142…カメラ、144…近距離通信I/F、145(145-1~145-4)…アンテナ、146…通信I/F、148…スピーカ、150…CPU、152…メモリ、302…通信部、310…制御部、312…映像認識部、313…判定部、314…人物カウント部、316…識別装置カウント部、318…比較部、320…記憶部

Claims (12)

  1.  映像を取得する映像取得部と、
     無線で検出された識別装置の情報を取得する識別装置情報取得部と、
     制御部とを備え、
     前記制御部は、
     前記映像に表れた物体を認識し、
     認識された前記物体の数と検出された前記識別装置の数とが一致するか否かを判定する判定部と、
     を備える監視装置。
  2.  映像を記録する記憶部をさらに備え、
     前記制御部は、
     認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の前記映像を前記記憶部に記憶させる
     請求項1に記載の監視装置。
  3.  警報を報知する警報部をさらに備え、
     前記制御部は、
     認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定されるとき、前記警報部に警報を報知させる
     請求項1又は請求項2に記載の監視装置。
  4.  映像を所定の機器に送信する通信部をさらに備え、
     前記制御部は、
     認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の前記映像を前記通信部に送信させる
     請求項1から請求項3のいずれか一項に記載の監視装置。
  5.  前記制御部は、
     認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の映像を、その他の区間よりも高い解像度で提供する
     請求項2または請求項4に記載の監視装置。
  6.  前記制御部は、
     認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の映像において前記物体が表れる領域の解像度を、その他の領域よりも高い解像度で提供する
     請求項5に記載の監視装置。
  7.  前記制御部は、
     認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定されるとき、前記映像に映る撮像範囲を含む空間から、前記空間に隣接する空間への通行を制御する機器に、前記通行をさせないようにする
     請求項1から請求項6のいずれか一項に記載の監視装置。
  8.  前記識別装置を無線で検出できる通信範囲は、前記映像に映る撮像範囲と等しい
     請求項1から請求項7のいずれか一項に記載の監視装置。
  9.  前記映像を撮像する撮像部、前記識別装置と通信する通信部、及び請求項1から請求項8のいずれか一項に記載の監視装置、
     を備える監視システム。
  10.  前記撮像部と前記識別装置を検出する通信部とのセットをそれぞれ異なる位置に複数備え、
     複数のうち少なくとも一セットの撮像部が撮像した映像に表れた物体の数と、当該セットの通信部が検出した識別装置の数とが一致しないと判定するとき、
     前記少なくとも一セットとは他のセットの通信部と撮像部を起動させる制御部、を備える
     請求項9に記載の監視システム。
  11.  監視装置における監視方法であって、
     映像を取得する映像取得過程と、
     無線で検出された識別装置の情報を取得する識別装置取得過程と、
     前記映像に表れた物体を認識する映像認識過程と、
     認識された前記物体の数と検出された前記識別装置の数とが一致するか否かを判定する判定過程と、
     を有する監視方法。
  12.  監視装置のコンピュータに、
     映像を取得する映像取得手順と、
     無線で検出された識別装置の情報を取得する識別装置取得手順と、
     前記映像に表れた物体を認識する映像認識過程と、
     認識された前記物体の数と検出された前記識別装置の数とが一致するか否かを判定する判定手順と、
     を実行させるためのプログラム。
PCT/JP2018/003402 2017-02-01 2018-02-01 監視装置、監視システム、監視方法及びプログラム WO2018143341A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018565644A JP6754451B2 (ja) 2017-02-01 2018-02-01 監視システム、監視方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-016604 2017-02-01
JP2017016604 2017-02-01

Publications (1)

Publication Number Publication Date
WO2018143341A1 true WO2018143341A1 (ja) 2018-08-09

Family

ID=63040725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003402 WO2018143341A1 (ja) 2017-02-01 2018-02-01 監視装置、監視システム、監視方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6754451B2 (ja)
WO (1) WO2018143341A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071876A (ja) * 2018-10-30 2020-05-07 富士通株式会社 人員捜索方法と装置及び画像処理装置
US20220159117A1 (en) * 2016-10-07 2022-05-19 Sony Group Corporation Server, client terminal, control method, and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133540A (ja) * 2000-10-20 2002-05-10 Fujitsu General Ltd 防犯監視装置
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
JP2006195504A (ja) * 2005-01-11 2006-07-27 Mitsubishi Electric Corp エリア管理システム
JP2007243660A (ja) * 2006-03-09 2007-09-20 Fujifilm Corp 監視システム、監視方法、及び監視プログラム
JP2012234377A (ja) * 2011-05-02 2012-11-29 Mitsubishi Electric Corp 映像監視システム
JP2014214459A (ja) * 2013-04-24 2014-11-17 株式会社ネットワークス 入館管理装置及び管理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133540A (ja) * 2000-10-20 2002-05-10 Fujitsu General Ltd 防犯監視装置
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
JP2006195504A (ja) * 2005-01-11 2006-07-27 Mitsubishi Electric Corp エリア管理システム
JP2007243660A (ja) * 2006-03-09 2007-09-20 Fujifilm Corp 監視システム、監視方法、及び監視プログラム
JP2012234377A (ja) * 2011-05-02 2012-11-29 Mitsubishi Electric Corp 映像監視システム
JP2014214459A (ja) * 2013-04-24 2014-11-17 株式会社ネットワークス 入館管理装置及び管理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220159117A1 (en) * 2016-10-07 2022-05-19 Sony Group Corporation Server, client terminal, control method, and storage medium
US11825012B2 (en) * 2016-10-07 2023-11-21 Sony Group Corporation Server, client terminal, control method, and storage medium
JP2020071876A (ja) * 2018-10-30 2020-05-07 富士通株式会社 人員捜索方法と装置及び画像処理装置

Also Published As

Publication number Publication date
JPWO2018143341A1 (ja) 2019-11-07
JP6754451B2 (ja) 2020-09-09

Similar Documents

Publication Publication Date Title
US11735018B2 (en) Security system with face recognition
US11062577B2 (en) Parcel theft deterrence for A/V recording and communication devices
KR100882890B1 (ko) 감시 시스템 및 감시방법
US20200402378A1 (en) Gunshot Detection System with Location Tracking
US10498955B2 (en) Commercial drone detection
US9396400B1 (en) Computer-vision based security system using a depth camera
JP6529062B1 (ja) デジタルアキュレート・セキュリティシステム、方法及びプログラム
KR101858396B1 (ko) 지능형 침입 탐지 시스템
US11676463B2 (en) Doorbell system and security method thereof
US11308792B2 (en) Security systems integration
JP5047361B2 (ja) 監視システム
KR20100010325A (ko) 객체 추적 방법
CN209375691U (zh) 家庭智能监控系统
WO2018143341A1 (ja) 監視装置、監視システム、監視方法及びプログラム
US11918330B2 (en) Home occupant detection and monitoring system
JP2008148138A (ja) 監視システム
KR102545534B1 (ko) 도어벨, 이를 구비한 보안 시스템 및 그 동작 방법
JP2011013827A (ja) 警備システム及びセンサ端末
JP6750931B1 (ja) デジタル・モーションフォーミュラ・セキュリティシステム、方法及びプログラム
JP7244135B2 (ja) デジタルセフティ・レスポンスセキュリティシステム、方法及びプログラム
JP2011028585A (ja) 警備システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18747726

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018565644

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18747726

Country of ref document: EP

Kind code of ref document: A1