WO2018087987A1 - 撮像装置、撮像方法、およびプログラム - Google Patents

撮像装置、撮像方法、およびプログラム Download PDF

Info

Publication number
WO2018087987A1
WO2018087987A1 PCT/JP2017/030519 JP2017030519W WO2018087987A1 WO 2018087987 A1 WO2018087987 A1 WO 2018087987A1 JP 2017030519 W JP2017030519 W JP 2017030519W WO 2018087987 A1 WO2018087987 A1 WO 2018087987A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
imaging
face image
stimulation
video
Prior art date
Application number
PCT/JP2017/030519
Other languages
English (en)
French (fr)
Inventor
山本　智昭
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2018087987A1 publication Critical patent/WO2018087987A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • Some embodiments of the present invention relate to an imaging apparatus, an imaging method, and a program.
  • Patent Document 1 discloses a monitoring system in which a face image of a person acquired by a monitoring camera is collated with a face image stored in advance in a database, and a notification is given to the outside when both match.
  • the conventional technology has a problem that, depending on the orientation and posture of the person appearing on the surveillance camera, the surveillance camera cannot shoot the person's face, and thus a suspicious person may not be detected.
  • An object of some aspects of the present invention is to provide an imaging apparatus, an imaging method, and a program that can increase the chance of detecting a suspicious person.
  • One aspect of the present invention includes an imaging unit, a stimulation unit that outputs at least one of sound, voice, and light as a stimulus, a notification unit that notifies an abnormality to a predetermined target, and a control unit,
  • the unit causes the stimulation unit to output a first stimulus based on the first video imaged by the imaging unit, and the second imaged by the imaging unit after the stimulation unit outputs the first stimulus.
  • the imaging apparatus causes the notification unit to notify the abnormality based on the video.
  • control unit extracts a first face image from the second video, and causes the notification unit to notify the abnormality based on the first face image.
  • the imaging device further includes a face image acquisition unit that acquires a second face image recorded in advance, and the control unit acquires the second face image from the face image acquisition unit. Based on the comparison result between the first face image and the second face image, the notification unit is notified of the abnormality.
  • control unit determines whether or not the expression of the first face image is a predetermined expression, and notifies the notification unit of an abnormality based on the determination result.
  • the control unit extracts a third face image from the first video, and the third face image includes an object that covers at least a part of the face.
  • the second stimulation is output to the stimulation unit, and after the stimulation unit outputs the second stimulation, the imaging unit is caused to capture the second video.
  • control unit causes the notification unit to notify the abnormality based on the action of the person included in the second video.
  • control unit causes the stimulation unit to output the first stimulus based on the action of a person included in the first video.
  • a first imaging step in which an imaging unit images a first video, and a stimulation unit that outputs at least one of sound, voice, and light as a stimulus are based on the first video.
  • a stimulation step for outputting a stimulus a second imaging step for the imaging unit to capture a second image after the stimulation unit outputs the stimulus, and a notification unit based on the second image as a predetermined target
  • a notifying step for notifying abnormality is based on the first imaging step in which an imaging unit images a first video, and a stimulation unit that outputs at least one of sound, voice, and light as a stimulus.
  • One embodiment of the present invention is based on a first imaging step of imaging a first video by an imaging unit, and a stimulation unit that outputs at least one of sound, voice, and light as a stimulus based on the first video.
  • a stimulating step for outputting a stimulus a second imaging step for capturing a second video by the imaging unit after the stimulating unit outputs the stimulus, and an abnormality in a predetermined target based on the second video Is a program for causing a computer to execute a notifying step for notifying.
  • the chance of detecting a suspicious person can be increased.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention.
  • 3 is a flowchart illustrating an operation procedure of the imaging apparatus according to the first embodiment of the present invention. It is a block diagram which shows the structure of the imaging device by the 2nd Embodiment of this invention. It is a flowchart which shows the procedure of operation
  • FIG. 1 shows a configuration of an imaging apparatus 1 according to the first embodiment of the present invention.
  • the imaging apparatus 1 is incorporated in an automatic teller machine, that is, an ATM (Automated Teller Machine) machine.
  • the imaging device 1 includes an imaging unit 10, a control unit 11, a face image acquisition unit 13, a notification unit 16, and an audio output unit 18.
  • the imaging unit 10 is a camera.
  • the imaging unit 10 is installed on the screen of an ATM machine.
  • the imaging unit 10 captures an image of the user M, who is a person to be monitored, and generates a video (image) of the user M.
  • the control unit 11 includes a face image extraction unit 12, a face image collation unit 14, a determination unit 15, and a message generation unit 17.
  • the face image extraction unit 12 extracts the face image of the user M from the video generated by the imaging unit 10.
  • the face image acquisition unit 13 acquires a face image of a person registered in advance.
  • the face image acquisition unit 13 is a face image storage unit and stores a criminal's face image in advance.
  • the face image acquisition part 13 is a communication part, and receives a criminal's face image from apparatuses, such as an external server.
  • the face image acquisition unit 13 of the first embodiment acquires the criminal face image and name information in association with each other. That is, the face image acquisition unit 13 stores a criminal face image and name information in advance, or receives a criminal face image and name information from a device such as an external server.
  • the criminal face image and name information acquired by the face image acquisition unit 13 are periodically updated.
  • the face image collation unit 14 obtains a face image from the face image acquisition unit 13 and collates the face of the person in the video generated by the imaging unit 10 with the face image obtained from the face image acquisition unit 13. That is, the face image collation unit 14 collates the face image extracted by the face image extraction unit 12 and the face image acquired from the face image acquisition unit 13.
  • the face image matching unit 14 calculates the similarity between the two face images that have been matched. For example, a technique disclosed on the Internet (http://jpn.nec.com/biometrics/face/) may be used as a face image matching technique.
  • the determination unit 15 performs a determination related to control of each unit in the imaging apparatus 1.
  • the notification unit 16 notifies the abnormality to a preset place (predetermined target).
  • the preset location is a management center or a police agency.
  • the notification unit 16 is a communication unit that communicates with a terminal of a management center or a police agency. The notification unit 16 may transmit the video generated by the imaging unit 10 to the above place.
  • the message generating unit 17 When the similarity of the face image collated by the face image collating unit 14 is smaller than a predetermined value, the message generating unit 17 generates a message to be transmitted to the user M. For example, the message generation unit 17 generates a message including the name of the criminal based on the name information stored in the face image acquisition unit 13. For example, the message “XX (the name of a criminal whose user M and face are similar) may be hiding nearby. If you see it, please notify the police.” The
  • the audio output unit 18 is a speaker.
  • the audio output unit 18 is disposed in the vicinity of the imaging unit 10.
  • the audio output unit 18 may be disposed in contact with the imaging unit 10.
  • the voice output unit 18 converts the message generated by the message generation unit 17 into voice and outputs the voice.
  • the audio output unit 18 functions as a stimulation unit that stimulates a person.
  • the stimulating unit may stimulate the user M by outputting at least one of sound, voice, and light as a stimulus.
  • the stimulation unit may be configured as a speaker and stimulate the user M with sounds such as a siren, a buzzer, and a vibration sound.
  • the stimulation unit may be configured as a light source such as an LED or a display such as a liquid crystal, and may stimulate the user M with light such as a flash.
  • the control unit 11 causes the audio output unit 18 to output sound (first stimulus) based on the first video imaged by the imaging unit 10.
  • the control unit 11 causes the notification unit 16 to notify the abnormality based on the second video imaged by the imaging unit 10.
  • the control unit 11 extracts the first face image from the second video.
  • the control unit 11 causes the notification unit 16 to notify the abnormality based on the first face image.
  • the face image acquisition unit 13 acquires a second face image recorded in advance.
  • the control unit 11 acquires a second face image from the face image acquisition unit 13.
  • the control unit 11 causes the notification unit 16 to notify the abnormality based on the comparison result between the first face image and the second face image.
  • the imaging apparatus 1 may read the program and execute the read program. That is, at least a part of the functions of the imaging device 1 may be realized by software.
  • This program includes instructions that define the operations of the face image extraction unit 12, the face image collation unit 14, the determination unit 15, and the message generation unit 17.
  • This program may be provided by a “computer-readable recording medium” such as a flash memory. Further, the above-described program may be transmitted from the computer having a storage device or the like in which the program is stored to the imaging apparatus 1 via a transmission medium or by a transmission wave in the transmission medium.
  • a “transmission medium” for transmitting a program is a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • a network such as the Internet
  • a communication line such as a telephone line.
  • the above-described program may realize a part of the functions described above.
  • the above-described program may be a difference file (difference program) that can realize the above-described function in combination with a program already recorded in the computer.
  • the imaging unit 10 and the audio output unit 18 may not be arranged in the ATM machine itself.
  • the imaging unit 10 and the audio output unit 18 may be arranged at a location away from the ATM machine in the front direction of the ATM machine.
  • the imaging unit 10 can photograph the face of the user M when the user M facing the front of the ATM machine looks back.
  • the voice output unit 18 may call the user M with the last name of the criminal through an on-site announcement.
  • the place where the imaging unit 10 and the audio output unit 18 are arranged is not limited to the above example.
  • the sound output from the sound output unit 18 is not limited to the above example.
  • FIG. 2 shows an operation procedure of the imaging apparatus 1. The operation of the imaging apparatus 1 will be described with reference to FIG.
  • the imaging unit 10 captures an image of the user M and generates an image of the user M. For example, the imaging unit 10 generates a moving image.
  • the video generated by the imaging unit 10 is output to the face image extraction unit 12 (step S100).
  • the face image extraction unit 12 extracts the face of the user M from the video generated by the imaging unit 10.
  • the face image extracted by the face image extraction unit 12 is output to the face image matching unit 14 (step S105).
  • the face image collation unit 14 acquires the face image from the face image acquisition unit 13, and the face image extracted by the face image extraction unit 12, the face image acquired from the face image acquisition unit 13, and Is matched.
  • the face image matching unit 14 calculates the similarity between the two face images that have been matched.
  • the face image collation unit 14 extracts the face image extracted by the face image extraction unit 12 and each face registered in the face image acquisition unit 13. Match the image.
  • the face image matching unit 14 selects a face image having the highest similarity among the plurality of face images.
  • the similarity calculated by the face image matching unit 14 is output to the determination unit 15. Further, the face image information acquired by the face image matching unit 14 from the face image acquiring unit 13 is output to the determining unit 15 (step S110).
  • the determination unit 15 determines whether the similarity calculated by the face image matching unit 14 is equal to or greater than a predetermined value Th1 (step S115).
  • the predetermined value Th1 is greater than zero.
  • step S115 If the similarity is greater than or equal to the predetermined value Th1 in step S115, there is a high possibility that the user M is the criminal himself. Therefore, the determination unit 15 instructs the notification unit 16 to notify the management center. The notification unit 16 notifies the management center of the abnormality (Step S120). After step S120, the process in step S100 is performed.
  • the determination unit 15 determines whether the similarity calculated by the face image matching unit 14 is equal to or greater than the predetermined value Th2 (step S125).
  • the predetermined value Th2 is larger than 0 and smaller than the predetermined value Th1.
  • the determination unit 15 instructs the message generation unit 17 to generate a message.
  • the determination unit 15 notifies the message generation unit 17 of the facial image information acquired by the facial image matching unit 14 from the facial image acquisition unit 13.
  • the message generation unit 17 acquires name information associated with the face image from the face image acquisition unit 13 (step S130).
  • the message generator 17 After step S130, the message generator 17 generates a message based on the name information acquired in step S130.
  • the voice output unit 18 converts the message generated by the message generation unit 17 into a voice and outputs the voice (step S135). Thereby, the voice output unit 18 calls the user M with the name of the criminal.
  • step S135 After the processing in step S135 is performed, the similarity may be smaller than the predetermined value Th1 in step S115. In this case, the process in step S100 may be performed again without performing the process in step S125.
  • the face image acquisition unit 13 acquires name information of a criminal associated with a criminal face image.
  • the name information is an example of characteristic information indicating characteristics of a person assumed as the user M.
  • the audio output unit 18 stimulates the user M based on the feature information stored in the face image acquisition unit 13. In the above example, the voice output unit 18 calls the user M with the name of the criminal. Thereby, the user M can be stimulated more effectively.
  • the face image acquisition unit 13 may acquire information such as a criminal's age, sex, and physical characteristics as characteristic information.
  • the audio output unit 18 may output audio based on these feature information.
  • step S100 the process in step S100 is performed. That is, after the user M is stimulated by the audio output unit 18, the imaging unit 10 images the user M stimulated by the audio output unit 18 and generates an image of the user M. As described above, when the user M is the criminal himself, the user M is expected to look at the screen of the ATM machine. For this reason, the imaging unit 10 can photograph the face of the user M from the front. Thereafter, in step S110, the face image matching unit 14 can perform matching using a face image suitable for face image matching.
  • step S100 If the similarity is smaller than the predetermined value Th2 in step S125, there is a high possibility that the user M is a normal user. In this case, the process in step S100 is performed.
  • the user M can be directed to the direction of the imaging unit 10 by being stimulated.
  • the accuracy of face image matching by the face image matching unit 14 can be improved. Therefore, the chance of detecting a suspicious person can be increased.
  • FIG. 3 shows the configuration of an imaging apparatus 1a according to the second embodiment of the present invention. The difference between the configuration shown in FIG. 3 and the configuration shown in FIG. 1 will be described.
  • control unit 11 shown in FIG. 1 is changed to the control unit 11a.
  • the control unit 11a includes a facial expression determination unit 19 in addition to the configuration shown in FIG.
  • the control unit 11a determines whether or not the facial expression of the first face image extracted from the second video captured by the imaging unit 10 after the audio output unit 18 outputs audio is a predetermined facial expression.
  • the control unit 11a causes the notification unit 16 to notify the abnormality based on the determination result.
  • the facial expression determination unit 19 determines whether the facial expression of the user M is a predetermined facial expression based on the video of the user M generated by the imaging unit 10. judge.
  • the predetermined facial expression is a facial expression expected to be shown by the user M when the user M is stimulated by the audio output unit 18.
  • the predetermined facial expression is a surprised facial expression.
  • a technique disclosed on the Internet http://plus-sensing.omron.co.jp/technology/detail/
  • the notification unit 16 notifies the abnormality.
  • FIG. 3 other than the above, the configuration shown in FIG. 3 is the same as the configuration shown in FIG.
  • FIG. 4 shows an operation procedure of the imaging apparatus 1a. The operation shown in FIG. 4 will be described while referring to differences from the operation shown in FIG.
  • the facial expression determination unit 19 acquires a video from the imaging unit 10.
  • the facial expression determination unit 19 detects the face of the user M from the video generated by the imaging unit 10.
  • the facial expression determination unit 19 estimates the detected facial expression (step S200).
  • the imaging unit 10 captures a moving image. That is, the imaging unit 10 continuously generates a plurality of frames of video.
  • the video used for facial expression estimation in step S ⁇ b> 200 is a video generated by the imaging unit 10 after the video used in step S ⁇ b> 110 is generated by the imaging unit 10.
  • step S200 the facial expression determination unit 19 determines whether the facial expression estimated in step S200 is a surprising facial expression (step S205). In step S205, when the estimated facial expression is a surprised facial expression, in step S120, the notification unit 16 notifies the management center of the abnormality. If the estimated facial expression is not a surprised facial expression in step S205, the process in step S100 is performed.
  • the facial expression determination unit 19 determines whether or not the facial expression of the user M is a predetermined facial expression. Thereby, even if it is a case where a suspicious person cannot be detected by collation of a face image, the opportunity of a suspicious person detection can be increased by determination of a facial expression. Further, when the facial expression determination unit 19 determines that the facial expression of the user M is a predetermined facial expression, the notification unit 16 notifies the abnormality, thereby improving the accuracy of the abnormality notification.
  • FIG. 5 shows a configuration of an imaging apparatus 1b according to the third embodiment of the present invention.
  • the configuration shown in FIG. 5 will be described while referring to differences from the configuration shown in FIG.
  • control unit 11 shown in FIG. 1 is changed to the control unit 11b.
  • the control unit 11b includes a mask face determination unit 20 in addition to the configuration shown in FIG.
  • the control unit 11b extracts a third face image from the first video imaged by the imaging unit 10.
  • the control unit 11b causes the audio output unit 18 to output sound (second stimulus).
  • the control unit 11b causes the imaging unit 10 to image the second video.
  • the mask face determination unit 20 determines whether there is an object that covers at least a part of the face of the user M based on the video of the user M generated by the imaging unit 10. Functions as an object determination unit.
  • the mask face determination unit 20 determines whether or not a mask exists on the face of the user M. Accordingly, the mask face determination unit 20 detects a mask from the face of the user M. For example, image recognition using a deep learning technique can be used as a technique for detecting a face wearing a mask.
  • the sound output unit 18 functions as an instruction unit that instructs the user M to remove the object when the covering determination unit determines that there is an object covering at least a part of the face of the user M.
  • the voice output unit 18 outputs a voice instructing the user M to remove the mask.
  • the imaging device 1b may detect an object other than the mask from the face of the user M.
  • the imaging device 1b may detect glasses or a hat from the face of the user M.
  • FIG. 6 shows an operation procedure of the imaging apparatus 1b. The operation shown in FIG. 6 is different from the operation shown in FIG.
  • the mask face determination unit 20 detects the face of the user M from the video generated by the imaging unit 10. The mask face determination unit 20 determines whether or not a mask is present on the detected face. The determination result by the mask face determination unit 20 is notified to the determination unit 15 (step S300).
  • step S300 the determination unit 15 determines whether or not the mask face determination unit 20 determines that a mask is present on the face of the user M (step S305). If it is determined in step S305 that no mask exists on the face of the user M, the process in step S125 is performed.
  • step S305 When it is determined in step S305 that a mask exists on the face of the user M, the determination unit 15 instructs the message generation unit 17 to generate a message, and the message generation unit 17 generates a message.
  • the voice output unit 18 converts the message generated by the message generation unit 17 into a voice and outputs the voice (step S310). Accordingly, the voice output unit 18 instructs the user M to remove the mask by voice.
  • step S310 the process in step S100 is performed.
  • the audio output unit 18 instructs the user M to remove the mask.
  • the user M is expected to remove the mask.
  • the accuracy of face image matching by the face image matching unit 14 can be improved. Therefore, the chance of detecting a suspicious person can be increased.
  • FIG. 7 shows a configuration of an imaging apparatus 1c according to the fourth embodiment of the present invention.
  • the imaging device 1c is installed in a parking lot. The difference between the configuration shown in FIG. 7 and the configuration shown in FIG. 1 will be described.
  • control unit 11 shown in FIG. 1 is changed to the control unit 11c.
  • the control unit 11c includes an action determination unit 21 in addition to the configuration illustrated in FIG.
  • the control unit 11c causes the notification unit 16 to notify the abnormality based on the action of the person included in the second video imaged by the imaging unit 10 after the audio output unit 18 outputs the audio.
  • the control unit 11c causes the audio output unit 18 to output sound (first stimulus) based on the action of the person included in the first video imaged by the imaging unit 10.
  • the behavior determination unit 21 determines whether the value indicating the possibility that the behavior of the user M is a predetermined behavior is a predetermined value or more. Determine whether or not. Thereby, the behavior determination unit 21 detects suspicious behavior. For example, suspicious behavior is crouching behavior. When the user M is crouching beside the car, the user M may be trying to vandalize the car. For example, a technique disclosed in the Internet (https://iotsnews.jp/archives/5825) may be used as a predetermined behavior detection technique.
  • the behavior determination unit 21 When the face of the user M cannot be detected from the video of the user M generated by the imaging unit 10, the behavior determination unit 21 has a value indicating the possibility that the behavior of the user M is a predetermined behavior is a predetermined value or more. It is determined whether or not there is.
  • the notification unit 16 notifies the abnormality. If the action determination unit 21 determines that the value indicating the possibility that the action of the user M is a predetermined action is smaller than the predetermined value, the voice output unit 18 stimulates the user M.
  • FIG. 7 other than the above, the configuration shown in FIG. 7 is the same as the configuration shown in FIG. 7
  • FIG. 8 shows an operation procedure of the imaging apparatus 1c. The operation shown in FIG. 8 will be described while referring to differences from the operation shown in FIG.
  • step S400 determines whether the face image extraction unit 12 has detected a face image.
  • step S400 when the face image extraction unit 12 can detect the face image, the process in step S105 is performed.
  • step S ⁇ b> 400 when the face image extraction unit 12 cannot detect a face image, the behavior determination unit 21 may determine that the behavior of the user M is a predetermined behavior based on the video generated by the imaging unit 10. Is calculated (step S405).
  • step S405 the determination unit 15 determines whether or not the determination value calculated by the behavior determination unit 21 is equal to or greater than a predetermined value Th3 (step S410).
  • the predetermined value Th3 is larger than 0.
  • step S410 If the determination value is greater than or equal to the predetermined value Th3 in step S410, the user M is likely to be a suspicious person. Therefore, the determination unit 15 instructs the notification unit 16 to notify the management center. The notification unit 16 notifies the management center of the abnormality (step S415). After step S415, the process in step S100 is performed. When the process in step S415 is performed, the user M may be illuminated with a searchlight in order to leave the video as evidence in step S100.
  • the determination unit 15 determines whether or not the determination value calculated by the behavior determination unit 21 is equal to or greater than the predetermined value Th4 (step S420).
  • the predetermined value Th4 is larger than 0 and smaller than the predetermined value Th3. If the determination value is smaller than the predetermined value Th4 in step S420, the process in step S100 is performed.
  • the user M may be a normal user.
  • the determination unit 15 instructs the message generation unit 17 to generate a message, and the message generation unit 17 generates a message.
  • a message that speaks to the user M such as “Is there any trouble?” Is generated.
  • the voice output unit 18 converts the message generated by the message generation unit 17 into a voice and outputs the voice (step S425). Thereby, the voice output unit 18 stimulates the user M.
  • step S425 the process in step S100 is performed.
  • the imaging unit 10 can photograph the face of the user M from the front.
  • the opportunity for detecting a suspicious person can be increased by determining the action of the user M.
  • the behavior determination unit 21 determines that the behavior of the user M is a predetermined behavior
  • the notification unit 16 notifies the abnormality, thereby improving the accuracy of the abnormality notification.
  • the user M can be directed to the direction of the imaging unit 10 by being stimulated. As a result, the accuracy of face image matching by the face image matching unit 14 can be improved. Therefore, the chance of detecting a suspicious person by collating face images can be increased.
  • Some aspects of the present invention can be applied to an imaging apparatus, an imaging method, a program, and the like that require an increased chance of suspicious person detection.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

撮像装置は、撮像部と、音、音声、および光の少なくとも１つを刺激として出力する刺激部と、所定の対象に異常を通知する通知部と、制御部とを備え、前記制御部は、前記撮像部が撮像した第１の映像に基づいて前記刺激部に第１の刺激を出力させ、前記刺激部が前記第１の刺激を出力した後に前記撮像部が撮像した第２の映像に基づいて前記通知部に異常を通知させる。

Description

撮像装置、撮像方法、およびプログラム
　本発明のいくつかの態様は、撮像装置、撮像方法、およびプログラムに関する。
　本願は、２０１６年１１月１０日に日本に出願された特願２０１６－２１９６０１号について優先権を主張し、その内容をここに援用する。
　不正行為の発見または予防のため、店等の施設において監視カメラが設置されている。
特許文献１には、監視カメラが取得した人物の顔画像と、予めデータベースに記憶された顔画像とを照合し、両者が一致した場合に外部に通知を行う監視システムが開示されている。
特開２００７－３０６４８５号公報
　しかし、従来技術では、監視カメラに写る人物の向きや姿勢によっては、人物の顔を監視カメラが撮影できないため、不審者を検出できない場合がある、という問題がある。
　本発明のいくつかの態様は、不審者検出の機会を増加させることができる撮像装置、撮像方法、およびプログラムを提供することを目的とする。
　本発明の一態様は、撮像部と、音、音声、および光の少なくとも１つを刺激として出力する刺激部と、所定の対象に異常を通知する通知部と、制御部とを備え、前記制御部は、前記撮像部が撮像した第１の映像に基づいて前記刺激部に第１の刺激を出力させ、前記刺激部が前記第１の刺激を出力した後に前記撮像部が撮像した第２の映像に基づいて前記通知部に異常を通知させる、撮像装置である。
　本発明の一態様による撮像装置において、前記制御部は、前記第２の映像から第１の顔画像を抽出し、前記第１の顔画像に基づいて前記通知部に異常を通知させる。
　本発明の一態様による撮像装置は、予め記録された第２の顔画像を取得する顔画像取得部をさらに備え、前記制御部は、前記顔画像取得部から前記第２の顔画像を取得し、前記第１の顔画像と前記第２の顔画像との比較結果に基づいて、前記通知部に異常を通知させる。
　本発明の一態様による撮像装置において、前記制御部は、前記第１の顔画像の表情が所定の表情であるか否かを判定し、前記判定の結果に基づいて前記通知部に異常を通知させる。
　本発明の一態様による撮像装置において、前記制御部は、前記第１の映像から第３の顔画像を抽出し、前記第３の顔画像に顔の少なくとも一部を覆う物体が含まれるときに、前記刺激部に第２の刺激を出力させ、前記刺激部が第２の刺激を出力した後に、前記撮像部に前記第２の映像を撮像させる。
　本発明の一態様による撮像装置において、前記制御部は、前記第２の映像に含まれる人物の行動に基づいて前記通知部に異常を通知させる。
　本発明の一態様による撮像装置において、前記制御部は、前記第１の映像に含まれる人物の行動に基づいて前記刺激部に前記第１の刺激を出力させる。
　本発明の一態様は、撮像部が第１の映像を撮像する第１の撮像ステップと、音、音声、および光の少なくとも１つを刺激として出力する刺激部が前記第１の映像に基づいて刺激を出力する刺激ステップと、前記刺激部が前記刺激を出力した後に前記撮像部が第２の映像を撮像する第２の撮像ステップと、前記第２の映像に基づいて通知部が所定の対象に異常を通知する通知ステップと、を有する撮像方法である。
　本発明の一態様は、撮像部によって第１の映像を撮像する第１の撮像ステップと、音、音声、および光の少なくとも１つを刺激として出力する刺激部に、前記第１の映像に基づいて刺激を出力させる刺激ステップと、前記刺激部が前記刺激を出力した後に前記撮像部によって第２の映像を撮像する第２の撮像ステップと、前記第２の映像に基づいて所定の対象に異常を通知する通知ステップと、をコンピュータに実行させるためのプログラムである。
　本発明の一態様によれば、不審者検出の機会を増加させることができる。
本発明の第１の実施形態による撮像装置の構成を示すブロック図である。 本発明の第１の実施形態による撮像装置の動作の手順を示すフローチャートである。 本発明の第２の実施形態による撮像装置の構成を示すブロック図である。 本発明の第２の実施形態による撮像装置の動作の手順を示すフローチャートである。 本発明の第３の実施形態による撮像装置の構成を示すブロック図である。 本発明の第３の実施形態による撮像装置の動作の手順を示すフローチャートである。 本発明の第４の実施形態による撮像装置の構成を示すブロック図である。 本発明の第４の実施形態による撮像装置の動作の手順を示すフローチャートである。
　以下、図面を参照し、本発明の実施形態を説明する。
　（第１の実施形態）
　図１は、本発明の第１の実施形態による撮像装置１の構成を示している。例えば、撮像装置１は、現金自動預け払い機すなわちＡＴＭ（Ａｕｔｏｍａｔｅｄ　Ｔｅｌｌｅｒ　Ｍａｃｈｉｎｅ）機に組み込まれている。図１に示すように、撮像装置１は、撮像部１０と、制御部１１と、顔画像取得部１３と、通知部１６と、音声出力部１８とを有する。
　撮像部１０は、カメラである。例えば、撮像部１０は、ＡＴＭ機の画面上に設置されている。撮像部１０は、監視対象の人物である利用者Ｍを撮像し、かつ利用者Ｍの映像（画像）を生成する。
　制御部１１は、顔画像抽出部１２と、顔画像照合部１４と、判定部１５と、メッセージ生成部１７とを有する。顔画像抽出部１２は、撮像部１０によって生成された映像から利用者Ｍの顔画像を抽出する。顔画像取得部１３は、予め登録された人物の顔画像を取得する。例えば、顔画像取得部１３は、顔画像記憶部であり、かつ犯罪者の顔画像を予め記憶する。あるいは、顔画像取得部１３は、通信部であり、かつ犯罪者の顔画像を外部のサーバ等の機器から受信する。第１の実施形態の顔画像取得部１３は、犯罪者の顔画像と名前情報とを関連付けて取得する。つまり、顔画像取得部１３は、犯罪者の顔画像と名前情報とを予め記憶する、あるいは犯罪者の顔画像と名前情報とを外部のサーバ等の機器から受信する。顔画像取得部１３が取得する犯罪者の顔画像および名前情報は、定期的に更新される。
　顔画像照合部１４は、顔画像取得部１３から顔画像を取得し、かつ撮像部１０によって生成された映像における人物の顔と、顔画像取得部１３から取得された顔画像とを照合する。つまり、顔画像照合部１４は、顔画像抽出部１２によって抽出された顔画像と、顔画像取得部１３から取得された顔画像とを照合する。顔画像照合部１４は、照合を行った２つの顔画像の類似度を算出する。例えば、顔画像の照合技術として、インターネット（ｈｔｔｐ：／／ｊｐｎ．ｎｅｃ．ｃｏｍ／ｂｉｏｍｅｔｒｉｃｓ／ｆａｃｅ／）に開示された技術を用いてもよい。
　判定部１５は、撮像装置１内の各部の制御に関係する判定を行う。顔画像照合部１４によって照合された顔画像の類似度が所定値以上である場合、通知部１６は、予め設定された場所（所定の対象）に異常を通知する。例えば、予め設定された場所は、管理センターまたは警察機関である。例えば、通知部１６は、管理センターまたは警察機関の端末と通信を行う通信部である。通知部１６は、撮像部１０によって生成された映像を上記の場所に送信してもよい。
　顔画像照合部１４によって照合された顔画像の類似度が所定値よりも小さい場合に、メッセージ生成部１７は、利用者Ｍに伝えるメッセージを生成する。例えば、メッセージ生成部１７は、顔画像取得部１３に記憶された名前情報に基づいて、犯罪者の名前を含むメッセージを生成する。例えば、「○○（利用者Ｍと顔が類似している犯罪者の名前）が近くに潜伏している可能性があります。見かけた方は警察まで通報してください。」というメッセージが生成される。
　音声出力部１８は、スピーカである。例えば、音声出力部１８は、撮像部１０の近傍に配置されている。音声出力部１８は、撮像部１０と接触した状態で配置されてもよい。顔画像照合部１４によって照合された顔画像の類似度が所定値よりも小さい場合に、音声出力部１８は、メッセージ生成部１７によって生成されたメッセージを音声に変換し、かつ音声を出力する。音声出力部１８は、人物を刺激する刺激部として機能する。刺激部は、音、音声、および光の少なくとも１つを刺激として出力することにより利用者Ｍを刺激すればよい。例えば、刺激部は、スピーカとして構成され、かつサイレン、ブザー、および振動音のような音により利用者Ｍを刺激してもよい。刺激部は、ＬＥＤのような光源、あるいは液晶のようなディスプレイとして構成され、かつ閃光のような光により利用者Ｍを刺激してもよい。
　上記の構成により、制御部１１は、撮像部１０が撮像した第１の映像に基づいて音声出力部１８に音声（第１の刺激）を出力させる。音声出力部１８が音声を出力した後、制御部１１は、撮像部１０が撮像した第２の映像に基づいて通知部１６に異常を通知させる。
制御部１１は、第２の映像から第１の顔画像を抽出する。制御部１１は、第１の顔画像に基づいて通知部１６に異常を通知させる。顔画像取得部１３は、予め記録された第２の顔画像を取得する。制御部１１は、顔画像取得部１３から第２の顔画像を取得する。制御部１１は、第１の顔画像と第２の顔画像との比較結果に基づいて、通知部１６に異常を通知させる。
　撮像装置１が、プログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、撮像装置１の機能の少なくとも一部はソフトウェアにより実現されてもよい。
このプログラムは、顔画像抽出部１２、顔画像照合部１４、判定部１５、およびメッセージ生成部１７の動作を規定する命令を含む。このプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により撮像装置１に伝送されてもよい。
プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる差分ファイル（差分プログラム）であってもよい。
　通常の利用者は、他人の情報を含む音声に対して、不審な挙動を示す可能性は低い。一方、犯罪者本人は、自分の情報を含む音声に対して、動揺して何らかの反応を示す可能性が高い。音声出力部１８によって音声が出力されたとき、犯罪者は無意識に、音声出力部１８の方向にあるＡＴＭ機の画面を見つめることが期待される。このとき、撮像部１０が利用者Ｍを撮像することにより、撮像部１０は、利用者Ｍの顔を正面から撮影することができる。その結果、顔画像照合部１４による顔画像の照合の精度が向上し、かつ犯罪者のような不審者の検出の精度が向上する。
　撮像部１０および音声出力部１８は、ＡＴＭ機自体に配置されていなくてもよい。例えば、撮像部１０および音声出力部１８は、ＡＴＭ機の正面方向にＡＴＭ機から離れた場所に配置されてもよい。この場合、ＡＴＭ機の正面を向いていた利用者Ｍが振り返ったときに撮像部１０は利用者Ｍの顔を撮影することができる。音声出力部１８は、場内アナウンスにより犯罪者の名字で利用者Ｍに呼びかけてもよい。撮像部１０および音声出力部１８が配置される場所は上記の例に限らない。また、音声出力部１８が出力する音声は上記の例に限らない。
　図２は、撮像装置１の動作の手順を示している。図２を参照し、撮像装置１の動作を説明する。
　撮像部１０は、利用者Ｍを撮像し、かつ利用者Ｍの映像を生成する。例えば、撮像部１０は、動画を生成する。撮像部１０によって生成された映像は、顔画像抽出部１２に出力される（ステップＳ１００）。
　ステップＳ１００の後、顔画像抽出部１２は、撮像部１０によって生成された映像から利用者Ｍの顔を抽出する。顔画像抽出部１２によって抽出された顔画像は、顔画像照合部１４に出力される（ステップＳ１０５）。
　ステップＳ１０５の後、顔画像照合部１４は、顔画像取得部１３から顔画像を取得し、かつ顔画像抽出部１２によって抽出された顔画像と、顔画像取得部１３から取得された顔画像とを照合する。顔画像照合部１４は、照合を行った２つの顔画像の類似度を算出する。複数の顔画像が顔画像取得部１３に登録されている場合、顔画像照合部１４は、顔画像抽出部１２によって抽出された顔画像と、顔画像取得部１３に登録されている各々の顔画像とを照合する。例えば、顔画像照合部１４は、複数の顔画像のうち、最も類似度が高い顔画像を選択する。顔画像照合部１４によって算出された類似度は、判定部１５に出力される。また、顔画像照合部１４が顔画像取得部１３から取得した顔画像の情報は、判定部１５に出力される（ステップＳ１１０）。
　ステップＳ１１０の後、判定部１５は、顔画像照合部１４によって算出された類似度が所定値Ｔｈ１以上であるか否かを判定する（ステップＳ１１５）。所定値Ｔｈ１は０よりも大きい。
　ステップＳ１１５において類似度が所定値Ｔｈ１以上である場合、利用者Ｍが犯罪者本人である可能性が高い。このため、判定部１５は通知部１６に管理センターへの通知を指示する。通知部１６は、管理センターに異常を通知する（ステップＳ１２０）。ステップＳ１２０の後、ステップＳ１００における処理が行われる。
　ステップＳ１１５において類似度が所定値Ｔｈ１よりも小さい場合、判定部１５は、顔画像照合部１４によって算出された類似度が所定値Ｔｈ２以上であるか否かを判定する（ステップＳ１２５）。所定値Ｔｈ２は、０よりも大きく、かつ所定値Ｔｈ１よりも小さい。
　ステップＳ１２５において類似度が所定値Ｔｈ２以上である場合、利用者Ｍが犯罪者に類似している。このとき、利用者Ｍが犯罪者本人であるにもかかわらず、利用者Ｍが撮像部１０の方向を向いていないことにより、顔画像照合部１４による顔画像の照合の精度が低下している可能性がある。この場合、判定部１５は、メッセージ生成部１７にメッセージの生成を指示する。また、判定部１５は、顔画像照合部１４が顔画像取得部１３から取得した顔画像の情報をメッセージ生成部１７に通知する。メッセージ生成部１７は、顔画像と関連付けられた名前情報を顔画像取得部１３から取得する（ステップＳ１３０）。
　ステップＳ１３０の後、メッセージ生成部１７は、ステップＳ１３０において取得された名前情報に基づいてメッセージを生成する。音声出力部１８は、メッセージ生成部１７によって生成されたメッセージを音声に変換し、かつ音声を出力する（ステップＳ１３５）。これによって、音声出力部１８は、犯罪者の名前で利用者Ｍに呼びかける。
　ステップＳ１３５における処理が行われた後、ステップＳ１１５において類似度が所定値Ｔｈ１よりも小さい場合がありうる。この場合、ステップＳ１２５における処理が行われることなくステップＳ１００における処理が再度行われてもよい。
　上記のように、顔画像取得部１３は、犯罪者の顔画像と関連付けられた犯罪者の名前情報を取得する。名前情報は、利用者Ｍとして想定される人物の特徴を示す特徴情報の一例である。音声出力部１８は、顔画像取得部１３に記憶された特徴情報に基づいて利用者Ｍを刺激する。上記の例では、音声出力部１８は、犯罪者の名前で利用者Ｍに呼びかける。
これによって、利用者Ｍをより効果的に刺激することができる。顔画像取得部１３は、犯罪者の年齢、性別、および身体的特徴等の情報を特徴情報として取得してもよい。音声出力部１８は、これらの特徴情報に基づく音声を出力してもよい。
　ステップＳ１３５の後、ステップＳ１００における処理が行われる。つまり、音声出力部１８によって利用者Ｍが刺激された後、撮像部１０は、音声出力部１８によって刺激された利用者Ｍを撮像し、かつ利用者Ｍの映像を生成する。前述したように、利用者Ｍが犯罪者本人である場合、利用者ＭがＡＴＭ機の画面を見つめることが期待される。このため、撮像部１０は、利用者Ｍの顔を正面から撮影することができる。その後、ステップＳ１１０において、顔画像照合部１４は、顔画像の照合に適した顔画像を用いて照合を行うことができる。
　ステップＳ１２５において類似度が所定値Ｔｈ２よりも小さい場合、利用者Ｍが通常の利用者である可能性が高い。この場合、ステップＳ１００における処理が行われる。
　上記のように、利用者Ｍが撮像部１０の方向を向いていない場合であっても、利用者Ｍが刺激されることにより、利用者Ｍに撮像部１０の方向を向かせることができる。その結果、顔画像照合部１４による顔画像の照合の精度を向上させることができる。したがって、不審者検出の機会を増加させることができる。
　（第２の実施形態）
　図３は、本発明の第２の実施形態による撮像装置１ａの構成を示している。図３に示す構成について、図１に示す構成と異なる点を説明する。
　撮像装置１ａにおいて、図１に示す制御部１１は制御部１１ａに変更される。制御部１１ａは、図１に示す構成に加えて表情判定部１９を有する。制御部１１ａは、音声出力部１８が音声を出力した後に撮像部１０が撮像した第２の映像から抽出された第１の顔画像の表情が所定の表情であるか否かを判定する。制御部１１ａは、判定の結果に基づいて通知部１６に異常を通知させる。
　具体的には、利用者Ｍが刺激された後、表情判定部１９は、撮像部１０によって生成された利用者Ｍの映像に基づいて利用者Ｍの表情が所定の表情であるか否かを判定する。所定の表情は、音声出力部１８によって利用者Ｍが刺激されることにより利用者Ｍが示すと期待される表情である。例えば、所定の表情は、驚きの表情である。例えば、表情の推定技術として、インターネット（ｈｔｔｐ：／／ｐｌｕｓ－ｓｅｎｓｉｎｇ．ｏｍｒｏｎ．ｃｏ．ｊｐ／ｔｅｃｈｎｏｌｏｇｙ／ｄｅｔａｉｌ／）に開示された技術を用いてもよい。表情判定部１９によって利用者Ｍの表情が所定の表情であると判定された場合、通知部１６は異常を通知する。
　上記以外の点について、図３に示す構成は、図１に示す構成と同様である。
　図４は、撮像装置１ａの動作の手順を示している。図４に示す動作について、図２に示す動作と異なる点を説明する。
　ステップＳ１３５の後、表情判定部１９は、撮像部１０から映像を取得する。表情判定部１９は、撮像部１０によって生成された映像から利用者Ｍの顔を検出する。表情判定部１９は、検出された顔の表情を推定する（ステップＳ２００）。撮像部１０は動画の撮影を行う。つまり、撮像部１０は、複数フレームの映像を連続的に生成する。ステップＳ２００において表情の推定に使用される映像は、ステップＳ１１０において使用された映像が撮像部１０によって生成された後に撮像部１０によって生成された映像である。
　ステップＳ２００の後、表情判定部１９は、ステップＳ２００において推定された表情が驚きの表情であるか否かを判定する（ステップＳ２０５）。ステップＳ２０５において、推定された表情が驚きの表情である場合、ステップＳ１２０において通知部１６は管理センターに異常を通知する。ステップＳ２０５において、推定された表情が驚きの表情でない場合、ステップＳ１００における処理が行われる。
　上記以外の点について、図４に示す動作は、図２に示す動作と同様である。
　上記のように、利用者Ｍが刺激された後、表情判定部１９は、利用者Ｍの表情が所定の表情であるか否かを判定する。これによって、顔画像の照合により不審者を検出できない場合であっても、表情の判定により不審者検出の機会を増加させることができる。また、表情判定部１９によって利用者Ｍの表情が所定の表情であると判定された場合に通知部１６が異常を通知することによって、異常の通知の精度を向上させることができる。
　（第３の実施形態）
　図５は、本発明の第３の実施形態による撮像装置１ｂの構成を示している。図５に示す構成について、図１に示す構成と異なる点を説明する。
　撮像装置１ｂにおいて、図１に示す制御部１１は制御部１１ｂに変更される。制御部１１ｂは、図１に示す構成に加えてマスク顔判定部２０を有する。制御部１１ｂは、撮像部１０が撮像した第１の映像から第３の顔画像を抽出する。第３の顔画像に顔の少なくとも一部を覆う物体が含まれるときに、制御部１１ｂは音声出力部１８に音声（第２の刺激）を出力させる。音声出力部１８が音声を出力した後、制御部１１ｂは、撮像部１０に第２の映像を撮像させる。
　具体的には、マスク顔判定部２０は、撮像部１０によって生成された利用者Ｍの映像に基づいて、利用者Ｍの顔の少なくとも一部を覆う物体が存在するか否かを判定する被覆物判定部として機能する。第３の実施形態では、マスク顔判定部２０は、利用者Ｍの顔にマスクが存在するか否かを判定する。これによって、マスク顔判定部２０は、利用者Ｍの顔からマスクを検出する。例えば、マスクを装着した顔の検出技術として、ディープラーニング技術を活用した画像認識を利用することができる。音声出力部１８は、被覆物判定部によって、利用者Ｍの顔の少なくとも一部を覆う物体が存在すると判定された場合、その物体を外すように利用者Ｍに指示する指示部として機能する。第３の実施形態では、音声出力部１８は、マスクを外すように利用者Ｍに指示する音声を出力する。撮像装置１ｂは、マスク以外の物体を利用者Ｍの顔から検出してもよい。例えば、撮像装置１ｂは、眼鏡または帽子を利用者Ｍの顔から検出してもよい。
　上記以外の点について、図５に示す構成は、図１に示す構成と同様である。
　図６は、撮像装置１ｂの動作の手順を示している。図６に示す動作について、図２に示す動作と異なる点を説明する。
　ステップＳ１１５において類似度が所定値Ｔｈ１よりも小さい場合、マスク顔判定部２０は、撮像部１０によって生成された映像から利用者Ｍの顔を検出する。マスク顔判定部２０は、検出された顔にマスクが存在するか否かを判定する。マスク顔判定部２０による判定の結果は判定部１５に通知される（ステップＳ３００）。
　ステップＳ３００の後、判定部１５は、マスク顔判定部２０によって、利用者Ｍの顔にマスクが存在すると判定されたか否かを判定する（ステップＳ３０５）。ステップＳ３０５において利用者Ｍの顔にマスクが存在しないと判定された場合、ステップＳ１２５における処理が行われる。
　ステップＳ３０５において利用者Ｍの顔にマスクが存在すると判定された場合、判定部１５は、メッセージ生成部１７にメッセージの生成を指示し、かつメッセージ生成部１７はメッセージを生成する。音声出力部１８は、メッセージ生成部１７によって生成されたメッセージを音声に変換し、かつ音声を出力する（ステップＳ３１０）。これによって、音声出力部１８は、マスクを外すように利用者Ｍに音声で指示する。ステップＳ３１０の後、ステップＳ１００における処理が行われる。
　上記以外の点について、図６に示す動作は、図２に示す動作と同様である。
　利用者Ｍがマスク等の物体を装着している場合、顔画像の照合の精度が低下する。このため、第３の実施形態では、利用者Ｍの顔にマスクが存在する場合、音声出力部１８は、マスクを外すように利用者Ｍに指示する。これによって、利用者Ｍがマスクを外すことが期待される。その結果、顔画像照合部１４による顔画像の照合の精度を向上させることができる。したがって、不審者検出の機会を増加させることができる。
　（第４の実施形態）
　図７は、本発明の第４の実施形態による撮像装置１ｃの構成を示している。例えば、撮像装置１ｃは、駐車場に設置される。図７に示す構成について、図１に示す構成と異なる点を説明する。
　撮像装置１ｃにおいて、図１に示す制御部１１は制御部１１ｃに変更される。制御部１１ｃは、図１に示す構成に加えて行動判定部２１を有する。制御部１１ｃは、音声出力部１８が音声を出力した後に撮像部１０が撮像した第２の映像に含まれる人物の行動に基づいて通知部１６に異常を通知させる。制御部１１ｃは、撮像部１０が撮像した第１の映像に含まれる人物の行動に基づいて音声出力部１８に音声（第１の刺激）を出力させる。
　具体的には、行動判定部２１は、撮像部１０によって生成された利用者Ｍの映像に基づいて、利用者Ｍの行動が所定の行動である可能性を示す値が所定値以上であるか否かを判定する。これによって、行動判定部２１は、不審な行動を検出する。例えば、不審な行動は、しゃがんでいる行動である。利用者Ｍが車の横でしゃがんでいる場合、利用者Ｍが車上荒らしを行おうとしている可能性がある。例えば、所定の行動の検出技術として、インターネット（ｈｔｔｐｓ：／／ｉｏｔｎｅｗｓ．ｊｐ／ａｒｃｈｉｖｅｓ／５８２５）に開示された技術を用いてもよい。撮像部１０によって生成された利用者Ｍの映像から利用者Ｍの顔を検出できない場合、行動判定部２１は、利用者Ｍの行動が所定の行動である可能性を示す値が所定値以上であるか否かを判定する。
　行動判定部２１によって、利用者Ｍの行動が所定の行動である可能性を示す値が所定値以上であると判定された場合、通知部１６は、異常を通知する。行動判定部２１によって、利用者Ｍの行動が所定の行動である可能性を示す値が所定値よりも小さいと判定された場合、音声出力部１８は利用者Ｍを刺激する。
　上記以外の点について、図７に示す構成は、図１に示す構成と同様である。
　図８は、撮像装置１ｃの動作の手順を示している。図８に示す動作について、図２に示す動作と異なる点を説明する。
　ステップＳ１００の後、判定部１５は、顔画像抽出部１２が顔画像を検出できたか否かを判定する（ステップＳ４００）。ステップＳ４００において、顔画像抽出部１２が顔画像を検出できた場合、ステップＳ１０５における処理が行われる。
　ステップＳ４００において、顔画像抽出部１２が顔画像を検出できなかった場合、行動判定部２１は、撮像部１０によって生成された映像に基づいて、利用者Ｍの行動が所定の行動である可能性を示す判定値を算出する（ステップＳ４０５）。
　ステップＳ４０５の後、判定部１５は、行動判定部２１によって算出された判定値が所定値Ｔｈ３以上であるか否かを判定する（ステップＳ４１０）。所定値Ｔｈ３は０よりも大きい。
　ステップＳ４１０において判定値が所定値Ｔｈ３以上である場合、利用者Ｍが不審者である可能性が高い。このため、判定部１５は通知部１６に管理センターへの通知を指示する。通知部１６は、管理センターに異常を通知する（ステップＳ４１５）。ステップＳ４１５の後、ステップＳ１００における処理が行われる。ステップＳ４１５における処理が行われたとき、ステップＳ１００において映像を証拠として残すために、サーチライトによって利用者Ｍを照らしてもよい。
　ステップＳ４１０において判定値が所定値Ｔｈ３よりも小さい場合、判定部１５は、行動判定部２１によって算出された判定値が所定値Ｔｈ４以上であるか否かを判定する（ステップＳ４２０）。所定値Ｔｈ４は、０よりも大きく、かつ所定値Ｔｈ３よりも小さい。
ステップＳ４２０において判定値が所定値Ｔｈ４よりも小さい場合、ステップＳ１００における処理が行われる。
　ステップＳ４２０において判定値が所定値Ｔｈ４以上である場合、利用者Ｍが通常の利用者である可能性がある。判定部１５は、メッセージ生成部１７にメッセージの生成を指示し、かつメッセージ生成部１７はメッセージを生成する。例えば、「何かトラブルでしょうか。」のように利用者Ｍに話しかけるメッセージが生成される。音声出力部１８は、メッセージ生成部１７によって生成されたメッセージを音声に変換し、かつ音声を出力する（ステップＳ４２５）。これによって、音声出力部１８は、利用者Ｍを刺激する。ステップＳ４２５の後、ステップＳ１００における処理が行われる。このとき、第１の実施形態と同様に、撮像部１０が利用者Ｍの顔を正面から撮影できることが期待される。
　上記以外の点について、図８に示す動作は、図２に示す動作と同様である。
　上記のように、利用者Ｍが撮像部１０の方向を向いていない場合であっても、利用者Ｍの行動を判定することにより、不審者検出の機会を増加させることができる。また、行動判定部２１によって利用者Ｍの行動が所定の行動であると判定された場合に通知部１６が異常を通知することによって、異常の通知の精度を向上させることができる。
　利用者Ｍの行動が所定の行動でない場合であっても、利用者Ｍが刺激されることにより、利用者Ｍに撮像部１０の方向を向かせることができる。その結果、顔画像照合部１４による顔画像の照合の精度を向上させることができる。したがって、顔画像の照合による不審者検出の機会を増加させることができる。
　以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　本発明のいくつかの態様は、不審者検出の機会を増加させることが必要な撮像装置、撮像方法、およびプログラムなどに適用することができる。
　１，１ａ，１ｂ，１ｃ　撮像装置
　１０　撮像部
　１１，１１ａ，１１ｂ，１１ｃ　制御部
　１２　顔画像抽出部
　１３　顔画像取得部
　１４　顔画像照合部
　１５　判定部
　１６　通知部
　１７　メッセージ生成部
　１８　音声出力部
　１９　表情判定部
　２０　マスク顔判定部
　２１　行動判定部

Claims (9)

  1. 　撮像部と、
    　音、音声、および光の少なくとも１つを刺激として出力する刺激部と、
    　所定の対象に異常を通知する通知部と、
    　制御部とを備え、
    　前記制御部は、
    　前記撮像部が撮像した第１の映像に基づいて前記刺激部に第１の刺激を出力させ、
    　前記刺激部が前記第１の刺激を出力した後に前記撮像部が撮像した第２の映像に基づいて前記通知部に異常を通知させる、
    　撮像装置。
  2. 　前記制御部は、
    　前記第２の映像から第１の顔画像を抽出し、
    　前記第１の顔画像に基づいて前記通知部に異常を通知させる、
    　請求項１に記載の撮像装置。
  3. 　予め記録された第２の顔画像を取得する顔画像取得部をさらに備え、
    　前記制御部は、
    　前記顔画像取得部から前記第２の顔画像を取得し、
    　前記第１の顔画像と前記第２の顔画像との比較結果に基づいて、前記通知部に異常を通知させる
    　請求項２に記載の撮像装置。
  4. 　前記制御部は、
    　前記第１の顔画像の表情が所定の表情であるか否かを判定し、
    　前記判定の結果に基づいて前記通知部に異常を通知させる
    　請求項２または請求項３に記載の撮像装置。
  5. 　前記制御部は、
    　前記第１の映像から第３の顔画像を抽出し、
    　前記第３の顔画像に顔の少なくとも一部を覆う物体が含まれるときに、前記刺激部に第２の刺激を出力させ、
    　前記刺激部が第２の刺激を出力した後に、前記撮像部に前記第２の映像を撮像させる
    　請求項１から請求項４のいずれか一項に記載の撮像装置。
  6. 　前記制御部は、
    　前記第２の映像に含まれる人物の行動に基づいて前記通知部に異常を通知させる
    　請求項１から請求項５のいずれか一項に記載の撮像装置。
  7. 　前記制御部は、
    　前記第１の映像に含まれる人物の行動に基づいて前記刺激部に前記第１の刺激を出力させる
    　請求項１から請求項５のいずれか一項に記載の撮像装置。
  8. 　撮像部が第１の映像を撮像する第１の撮像ステップと、
    　音、音声、および光の少なくとも１つを刺激として出力する刺激部が前記第１の映像に基づいて刺激を出力する刺激ステップと、
    　前記刺激部が前記刺激を出力した後に前記撮像部が第２の映像を撮像する第２の撮像ステップと、
    　前記第２の映像に基づいて通知部が所定の対象に異常を通知する通知ステップと、
    　を有する撮像方法。
  9. 　撮像部によって第１の映像を撮像する第１の撮像ステップと、
    　音、音声、および光の少なくとも１つを刺激として出力する刺激部に、前記第１の映像に基づいて刺激を出力させる刺激ステップと、
    　前記刺激部が前記刺激を出力した後に前記撮像部によって第２の映像を撮像する第２の撮像ステップと、
    　前記第２の映像に基づいて、通知部によって所定の対象に異常を通知する通知ステップと、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2017/030519 2016-11-10 2017-08-25 撮像装置、撮像方法、およびプログラム WO2018087987A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016219601 2016-11-10
JP2016-219601 2016-11-10

Publications (1)

Publication Number Publication Date
WO2018087987A1 true WO2018087987A1 (ja) 2018-05-17

Family

ID=62109200

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030519 WO2018087987A1 (ja) 2016-11-10 2017-08-25 撮像装置、撮像方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2018087987A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01128197A (ja) * 1987-11-13 1989-05-19 Komatsu Ltd 刺激反応型泥棒センサ
JP2002062565A (ja) * 2000-08-18 2002-02-28 Ibiden Co Ltd 監視装置
JP2005038115A (ja) * 2003-07-18 2005-02-10 Hitachi Ltd 侵入者監視方法及び装置
JP2007048209A (ja) * 2005-08-12 2007-02-22 Fujifilm Holdings Corp 防犯装置、自動販売装置、防犯方法及び防犯プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01128197A (ja) * 1987-11-13 1989-05-19 Komatsu Ltd 刺激反応型泥棒センサ
JP2002062565A (ja) * 2000-08-18 2002-02-28 Ibiden Co Ltd 監視装置
JP2005038115A (ja) * 2003-07-18 2005-02-10 Hitachi Ltd 侵入者監視方法及び装置
JP2007048209A (ja) * 2005-08-12 2007-02-22 Fujifilm Holdings Corp 防犯装置、自動販売装置、防犯方法及び防犯プログラム

Similar Documents

Publication Publication Date Title
JP4797720B2 (ja) 監視装置および方法、画像処理装置および方法、並びにプログラム
CN109002786B (zh) 人脸检测方法、设备及计算机可读存储介质
JP2022048147A5 (ja)
JP6443842B2 (ja) 顔検出装置、顔検出システム、及び顔検出方法
KR101442669B1 (ko) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
JP4772509B2 (ja) ドアホン及びドアホンの呼出音制御方法
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
JP4862518B2 (ja) 顔登録装置、顔認証装置および顔登録方法
JP2011192157A (ja) 非常通報装置
JP5088463B2 (ja) 監視システム
CN112597886A (zh) 乘车逃票检测方法及装置、电子设备和存储介质
JP2010079740A (ja) 監視システム及び監視装置
CN111062313A (zh) 一种图像识别方法、装置、监控系统及存储介质
WO2018087987A1 (ja) 撮像装置、撮像方法、およびプログラム
CN111908288A (zh) 一种基于TensorFlow的电梯安全系统及方法
JP5580683B2 (ja) 通報装置
JP7400886B2 (ja) ビデオ会議システム、ビデオ会議方法、およびプログラム
KR20110137469A (ko) 얼굴 검출을 이용한 지능형 영상출입장치 및 그 출입제어방법
JP4540456B2 (ja) 不審者検出装置
JP6808532B2 (ja) 警備システム、管理装置及び警備方法
JP2017215735A (ja) 振り込め詐欺防止システム及び振り込め詐欺防止方法
CN110659603A (zh) 一种数据处理方法及装置
WO2023002563A1 (ja) 監視装置、監視システム、監視方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
US11100785B1 (en) Method for requesting assistance from emergency services
JP7256082B2 (ja) 監視システム、プログラム、およびリスト作成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17869046

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17869046

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP