WO2021199853A1 - 情報登録装置、情報登録システム、情報登録方法およびプログラム記憶媒体 - Google Patents

情報登録装置、情報登録システム、情報登録方法およびプログラム記憶媒体 Download PDF

Info

Publication number
WO2021199853A1
WO2021199853A1 PCT/JP2021/007960 JP2021007960W WO2021199853A1 WO 2021199853 A1 WO2021199853 A1 WO 2021199853A1 JP 2021007960 W JP2021007960 W JP 2021007960W WO 2021199853 A1 WO2021199853 A1 WO 2021199853A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sight
line
registration
person
Prior art date
Application number
PCT/JP2021/007960
Other languages
English (en)
French (fr)
Inventor
一峰 周
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022511681A priority Critical patent/JP7371764B2/ja
Priority to US17/909,600 priority patent/US20230104696A1/en
Publication of WO2021199853A1 publication Critical patent/WO2021199853A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a technique for registering an image of a person or an object to be registered.
  • Patent Document 2 discloses a technique for controlling the orientation of a surveillance camera by using the position information of a mobile terminal possessed by a security guard or the like.
  • the surveillance area is, for example, a stadium or an event venue.
  • a suspicious person in other words, a person to be tracked
  • the surveillance area is, for example, a stadium or an event venue.
  • D the time required for determining whether or not to register the detected suspicious person as a tracking target person
  • a main object of the present invention is to provide a technique for shortening the work time for a registration operator to specify a partial area in which a person or an object to be registered is projected in a captured image. ..
  • the information registration device of the present invention is one aspect thereof.
  • a line-of-sight detection unit that detects the line of sight of a registered operator who is a person who can be a registration target or a person who is viewing a photographed image of an object. If the detected line of sight does not move for a preset attention time, an image of the person or the object projected in a partial area of the captured image at the end of the detected line of sight is extracted.
  • Extractor and It includes a registration unit that registers the extracted image in a predetermined storage device.
  • a display device that displays captured images of people or objects that can be registered, It is provided with a line-of-sight information providing device that provides the information registration device with information for detecting the line of sight of a registered operator who is viewing the captured image.
  • the information registration method of the present invention Detects the line of sight of a registered operator who is a person who can be a registration target or a person who is looking at a photographed image in which an object is photographed. If the detected line of sight does not move for a preset attention time, an image of the person or the object projected in a partial area of the captured image beyond the detected line of sight is extracted. , The extracted image is registered in a predetermined storage device.
  • the present invention it is possible to shorten the work time for the registration operator to specify a partial area in which a person or an object to be registered is projected in the captured image.
  • FIG. 1 schematically shows the configuration of the information registration system of the first embodiment according to the present invention.
  • the information registration system 1 of the first embodiment is a system incorporated in a surveillance system that uses images (also referred to as surveillance images) captured by a surveillance camera.
  • the information registration system 1 aims to shorten the time required for the observer to register the image of the detected person when the observer who monitors the surveillance image detects a person who seems to be a suspicious person from the captured image. It is a system.
  • the information registration system 1 of the first embodiment includes a photographing device 2, an information registration device 3, a database 4, a photographing device 5, a display device 6, and an input device 8.
  • the photographing device 2 is a device that photographs an area monitored by the monitoring system, for example, a video camera. In the example of FIG. 1, only one such monitoring photographing device 2 is shown, but there may be a plurality of monitoring photographing devices 2 used by the monitoring system, and in this case, there may be a plurality of such monitoring photographing devices 2.
  • the information registration system 1 of the first embodiment also includes the plurality of photographing devices 2.
  • the photographing device 2 is connected to the information registration device 3, and has a function of outputting a surveillance image, which is a photographed image, to the information registration device 3 every moment.
  • the surveillance image output from the photographing device 2 to the information registration device 3 is associated with time information indicating the photographing time and location information indicating the photographing place.
  • Examples of the location information representing the shooting location include identification information for identifying the photographing device 2 and identification information for identifying the monitoring area photographed by the photographing device 2.
  • the identification information for identifying the photographing device 2 is adopted as the place information, for example, the identification information of the photographing device 2 and the information of the place where the photographing device 2 having the identification information is installed are associated with each other.
  • the data is held in the information registration device 3.
  • the database 4 is a storage device for storing data, and in the first embodiment, an image of a person determined to be a suspicious person, for example, used by a monitoring system in which the information registration system 1 is incorporated is stored as a reference image. ..
  • the display device 6 is a device that displays images, characters, and the like, and in the first embodiment, the display operation is controlled by the information registration device 3.
  • the display device 6 displays the surveillance image captured by the photographing device 2 by the control operation of the information registration device 3.
  • the surveillance image displayed by the display device 6 is used when the observer 7 monitors the area to be monitored.
  • the input device 8 is a device operated by the observer 7 to input information to the information registration device 3.
  • the input device 8 may be a device dedicated to information input provided with a mechanical push button or the like, or may be a mobile terminal having an information processing function provided with a calculation device and a display device. , The mode is not limited.
  • the photographing device 5 is a photographing device installed so as to photograph at least the face of the observer 7 who is watching the surveillance image displayed by the display device 6.
  • the photographing device 5 is installed so as to be able to detect the face and the line of sight of the observer 7 who is watching the monitored image by the display device 6.
  • the photographing device 5 is installed at a position where the observer 7 and the display device 6 can be photographed.
  • the photographing device 5 may be attached to the display device 6 so that the eyes of the observer 7 who is watching the surveillance image of the display device 6 can be photographed. That is, the photographing device 5 functions as a line-of-sight information providing device.
  • the photographing device 5 is connected to the information registration device 3, and outputs the captured image to the information registration device 3 every moment.
  • the time information representing the shooting time is associated with the image shot by the shooting device 5 output to the information registration device 3.
  • the observer 7 when the observer 7 finds a person or object that feels suspicious in the surveillance video, the person or object that feels suspicious is tracked in the surveillance video.
  • the information of the reference image of the suspicious person or the object necessary for the tracking process is designated by the observer 7 in the surveillance image and registered in the database 4. That is, in the first embodiment, the observer 7 is also a registration operator who registers information.
  • the information registration device 3 is a device that executes a process of registering information of a reference image used in the tracking process of such a monitoring system in the database 4.
  • the information registration device 3 is composed of a computer device (server).
  • This computer device may be a computer device that executes the processing of the monitoring system in which the information registration system 1 of the first embodiment is incorporated, or may be a device separate from the computer device of the monitoring system.
  • FIG. 2 is a block diagram showing the functional configuration of the information registration device 3.
  • the information registration device 3 includes an arithmetic unit 20 and a storage device 21.
  • the storage device 21 is a storage medium for storing data and a computer program (hereinafter, also referred to as a program) 23.
  • a program a computer program
  • the information registration device 3 may be provided with a plurality of types of storage media, and in this case, the plurality of types of storage media are collectively represented as the storage device 21. The description of the configuration and operation of the storage device 21 will be omitted.
  • the arithmetic unit 20 includes, for example, a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit). By reading and executing a program stored in the storage device 21, the processor can have various functions based on the program.
  • the arithmetic unit 20 has functional units such as an authentication unit 25, a target detection unit 26, a line-of-sight detection unit 27, an extraction unit 28, a display control unit 29, a confirmation unit 30, and a registration unit 31. There is.
  • the display control unit 29 has a function of controlling the display operation of the display device 6.
  • the monitoring image received from the photographing device 2 is displayed on the display device 6 in substantially the real time, and the information presented to the observer 7 by the information registration device 3 is displayed on the display device 6. .
  • the display control unit 29 displays the surveillance images by the photographing devices 2 side by side on one screen, or switches the display in order to display the images.
  • the display operation of the display device 6 is controlled.
  • the information registration device 3 has a function of limiting the observer 7 who can register the reference image by using the information registration device 3. That is, the image of the face of the observer 7 whose registration of the reference image is permitted (hereinafter, also referred to as the permitted face image) is the storage device 21 of the database 4 or the information registration device 3, or the database 4 and the storage device. It is registered in advance in a storage device (not shown) separate from 21.
  • the authentication unit 25 When the authentication unit 25 acquires the face image of the observer 7 photographed by the photographing device 5 (hereinafter, also referred to as a photographed face image), the authentication unit 25 collates the photographed face image with the pre-registered permitted face image and matches. It has a function to judge whether or not to do it. Further, when the authentication unit 25 has a permitted face image that matches the photographed face image, the observer 7 corresponding to the photographed face image, that is, the observer 7 photographed by the photographing device 5 is a reference image. It has a function to output permission information indicating that the person is permitted to register. The authentication process by the authentication unit 25 is executed at preset timings.
  • the target detection unit 26 registers a face image from all frame images of the surveillance video received from the photographing device 2 or frame images selected at preset number intervals when arranged in chronological order. It has a function to detect it as an image of a person who can be. Further, the target detection unit 26 assigns identification information to each detected face image, and the identification information includes identification information of the detected frame image and information representing a partial area of the detected image in the detected frame image. It has a function to generate face position information. Further, the target detection unit 26 registers such face position information in the database 4 or a storage device (not shown) separate from the database 4.
  • the target detection unit 26 includes not only a face but also a predetermined object (for example, an object possessed or worn by a person (such as a cane, a hat, sunglasses)) that can be a registration target. It has a function to detect moving objects such as cars. Further, the target detection unit 26 has a function of generating object position information similar to the face position information and registering the object position information in the database 4 or a storage device (not shown) separate from the database 4.
  • a predetermined object for example, an object possessed or worn by a person (such as a cane, a hat, sunglasses)
  • the target detection unit 26 has a function of generating object position information similar to the face position information and registering the object position information in the database 4 or a storage device (not shown) separate from the database 4.
  • the line-of-sight detection unit 27 has a function of detecting the direction in which the eyes are facing (that is, the line of sight) in the photographed face image photographed by the photographing device 5.
  • the method of detecting the line of sight is not limited, but for example, there is a method of detecting the line of sight by detecting the center position of the black eye in the white eye portion from the photographed face image.
  • the line-of-sight detection unit 27 has a function of detecting that the detected line-of-sight has not moved for a preset attention time (for example, 0.5 seconds). Specifically, the line-of-sight detection unit 27 does not deviate from a preset permissible range for determining whether or not the line-of-sight has not moved over a plurality of frame images captured during the attention time. In this case, it is detected that the line of sight has not moved.
  • a preset attention time for example, 0.5 seconds
  • the process by the line-of-sight detection unit 27 is executed only on the face image of the observer 7 whose permission information is output by the authentication unit 25.
  • the extraction unit 28 executes the following processing. For example, the extraction unit 28 is detected by the line-of-sight detection unit 27 and information indicating the direction and the range thereof from the observer (registered operator) who is watching the monitoring image of the display device 6 toward the display screen of the display device 6.
  • a partial area of the display screen of the display device 6 at the tip of the line of sight is detected by using the information indicating the direction in which the line of sight is heading.
  • the information representing the partial area of the display screen beyond the line of sight detected in this way includes the frame image displayed on the display device 6 at the timing when the detection process is executed (the timing when the registration command is received). The same time information as the associated time information is associated.
  • the extraction unit 28 uses the time information associated with the information representing the partial area of the display screen ahead of the detected line of sight to frame the surveillance image captured by the photographing device 2 at the same time.
  • the face position information and the object position information generated by the target detection unit 26 in the image are acquired.
  • the extraction unit 28 has face position information or object position information corresponding to a partial area of the display screen of the display device 6 in front of the line of sight of the observer 7, the face position information or the object position
  • the image of the partial area of the frame image related to the information is extracted from the frame image as registration information.
  • the confirmation unit 30 has a function of executing a process of confirming with the observer (that is, the registration operator) 7 whether or not the image extracted by the extraction unit 28 can be confirmed as registration information.
  • the confirmation unit 30 presents an image of a partial region of the frame image extracted by the extraction unit 28 to the observer 7, and determines whether or not the presented image may be confirmed as registration information.
  • the process of causing the information registration device 3 to input from the input device 8 is executed.
  • the input device 8 When the input device 8 receives the extracted image, as shown in FIG. 4, the input device 8 displays an image of a partial region of the frame image extracted by the extraction unit 28 on the display screen of the display device. The image is presented to the observer 7.
  • the confirmation unit 30 displays a partial area of the frame image extracted by the extraction unit 28 on the display screen of the display device 6 displaying the surveillance image by the display control unit 29.
  • the frame 33 to be represented is displayed. In this way, the image of the partial region of the frame image extracted by the extraction unit 28 may be presented to the observer 7.
  • the registration button (mechanical push button, icon displayed on the screen, etc.) of the input device 8 as shown in FIG. 4 a confirmation command is directed from the input device 8 to the information registration device 3. Is output.
  • the cancel button (mechanical push button, icon displayed on the screen, etc.) of the input device 8 is operated, the cancel command is output from the input device 8 to the information registration device 3. It has become.
  • the confirmation unit 30 receives a confirmation command from the input device 8 between the time when the image of the partial area of the extracted frame image is presented and the time when the predetermined confirmation period elapses, the confirmation unit 30 is the part of the extracted frame image. The image of the area is confirmed as the registration information. Further, when the confirmation unit 30 receives a cancellation command from the input device 8 during the confirmation period, or when neither the confirmation command nor the cancellation command is received even after the confirmation period has elapsed, the extracted frame Cancel the image in a partial area of the image.
  • the registration unit 31 When the registration unit 31 receives the registration information from the input device 8 by the processing of the confirmation unit 30, the registration unit 31 has a function of registering the image of the partial area of the frame image extracted by the extraction unit 28 in the database 4 as the registration information. Be prepared. The same information given by the target detection unit 26 is continuously associated with the image registered in the database 4. In the monitoring system in which the information registration system 1 of the first embodiment is incorporated by utilizing the image information registered in the database 4 in this way, for example, tracking processing is executed.
  • the information registration system 1 and the information registration device 3 of the first embodiment are configured as described above. Next, an operation example related to information registration of the information registration device 3 will be described with reference to FIG.
  • the target detection unit 26 detects an image of a predetermined human face or object that can be a registration target from the surveillance image (step S101).
  • the information registration device 3 receives the photographed image from the photographing device 5 and the authentication unit 25 acquires the photographed face image of the observer 7 by the photographing device 5 (step S102), the photographed face image and the permitted face are obtained. Match with the image. Then, the authentication unit 25 determines whether or not there is a permitted face image that matches the photographed face image. That is, the authentication unit 25 determines whether or not the observer 7 of the photographed face image is a person who is permitted to register information (step S103). If not permitted, the information registration device 3 repeats the operations after step S101.
  • the line-of-sight detection unit 27 detects the line of sight from the face image captured by the photographing device 5 and determines whether or not the line of sight has not moved during the attention time (step S104). If the line of sight moves before the attention time is exceeded, the information registration device 3 repeats the operations after step S101.
  • the extraction unit 28 confirms that the registration button of the input device 8 has been operated and the registration command has been received during the period of time when the line of sight has not moved, and then the display screen at the tip of the line of sight is displayed.
  • the image of the partial region is extracted from the surveillance video (step S105).
  • the confirmation unit 30 executes a process of determining whether or not the image extracted by the extraction unit 28 may be confirmed as registration information. That is, the confirmation unit 30 determines whether or not a confirmation command has been received from the input device 8 (step S106). When the cancellation command is output from the input device 8, or when neither the confirmation command nor the cancellation command is output from the input device 8 during the confirmation period, the information registration device 3 repeats the operations after step S101.
  • the registration unit 31 When the registration unit 31 receives the confirmation command from the input device 8, the registration unit 31 registers the image extracted by the extraction unit 28 in the database 4 as registration information (step S107).
  • the information registration device 3 registers the image of the person or object to be registered in the database 4 from the surveillance video.
  • the order of the steps in FIG. 6 is an example, and the operation order of the information registration device 3 is not limited to the example of FIG.
  • the observer (registration operator) 7 does not operate the input device 8, but merely looks at the person or object to be registered in the surveillance image.
  • the position of the person or object to be registered in the surveillance video can be acquired. That is, the time required for the work of designating the person or object to be registered in the surveillance video is shortened because it is only necessary to stare at the person or object to be registered, as compared with the case where the observer 7 operates and executes the input device 8. Therefore, the information registration system 1 and the information registration device 3 of the first embodiment shorten the work time for the registration operator to register the partial area in which the person to be registered is projected in the captured image. Can be done.
  • the information registration device 3 is a person to be registered in a state where not only the movement of the line of sight that the line of sight does not move but also the condition that the registration command is received from the input device 8 is satisfied. And the image of the object is extracted from the captured image (surveillance image). Therefore, the information registration device 3 can prevent the following erroneous registration of images. For example, if the observer 7 stops his / her line of sight even though he / she did not intend to register the image, it is assumed that the registration command is not output from the input device 8. In such a case, since the information registration device 3 does not extract the image from the surveillance video based on the line of sight, it is possible to prevent the situation where the image is registered against the intention of the observer 7.
  • the photographing device 5 is used as a line-of-sight information providing device for detecting the line-of-sight of the observer 7.
  • glasses 15 with a line-of-sight detection function as shown in FIG. 7 are used as the line-of-sight information providing device. That is, the information registration system 1 of the second embodiment has a line-of-sight detection function in addition to the photographing device 2, the information registration device 3, the database 4, the photographing device 5, the display device 6, and the input device 8. It is equipped with glasses 15.
  • the photographing device 5 does not function as a line-of-sight information providing device, but photographs the face image of the observer 7 in order to perform authentication for determining whether or not the information registration is permitted.
  • the eyeglasses 15 with a line-of-sight detection function are glasses having a function of detecting the line of sight of the person wearing the glasses.
  • a camera (not shown) is attached to the eyeglasses 15 with a line-of-sight detection function. This camera captures the display screen of the display device 6 viewed by a person (here, the observer 7) wearing glasses 15 with a line-of-sight detection function. Based on the image captured by the camera and the line-of-sight information detected by the eyeglasses 15 with a line-of-sight detection function, a partial area of the display screen of the display device 6 in front of the line-of-sight of the observer 7 can be detected.
  • the eyeglasses 15 with a line-of-sight detection function are used as the line-of-sight information providing device instead of the photographing device 5, so that the line-of-sight detection unit 27 of the information registration device 3 uses the glasses 15 with a line-of-sight detection function.
  • the line of sight of the observer 7 is detected by using the information of the detected line of sight.
  • the line-of-sight detection unit 27 uses the line-of-sight information detected by the glasses 15 with a line-of-sight detection function to detect that the detected line-of-sight has not moved during the attention time.
  • the information registration system 1 in the second embodiment uses the information of the line of sight by the glasses 15 with the line of sight detection function. Even with such a configuration, the information registration system 1 and the information registration device 3 in the second embodiment can exert the same effects as those in the first embodiment.
  • FIG. 8 is a diagram showing the configuration of the information registration system 1 of the third embodiment.
  • the information registration system 1 of the third embodiment includes a mobile terminal 10 in place of the photographing device 5, the display device 6, and the input device 8 that constitute the information registration system 1 of the first embodiment.
  • the mobile terminal 10 is assumed to be possessed by a watchman 7 who is a registered operator, and in addition to an arithmetic unit that executes information processing, as shown in FIG. 9, a photographing device 11 and a display device It has twelve.
  • the mobile terminal 10 also has a function as an input device.
  • the mobile terminal 10 has various modes as an input device that can be adopted, and the description thereof is omitted here because it is not limited.
  • the photographing device 11 has a function of photographing the face of the observer 7 who is a registered operator, like the photographing device 5 in the first embodiment.
  • the image captured by the photographing device 11 is used for the authentication of the observer 7 by the authentication unit 25 of the information registration device 3 (determination of whether or not the information registration is permitted) and the detection of the line of sight of the observer 7. That is, the photographing device 11 functions as a line-of-sight information providing device.
  • the display device 12 functions in the same manner as the display device 6 in the first embodiment. That is, when the mobile terminal 10 receives the monitoring image by the photographing device 2 via the information registration device 3, the mobile terminal 10 is displayed on the display device 12 by the control operation of the control display unit (not shown) provided in the mobile terminal 10.
  • the configuration is such that the surveillance video is displayed.
  • FIG. 10 is a block diagram showing the functional configuration of the information registration device 3 according to the third embodiment.
  • the information registration device 3 is provided with a communication unit 32.
  • the communication unit 32 has a function of executing processing related to communication in order to communicate information such as the monitoring image of the photographing device 2 and the photographed image and data of the photographing device 11 between the information registration device 3 and the mobile terminal 10. I have.
  • the authentication unit 25 uses the face image taken by the photographing device 11 of the mobile terminal 10 and is projected on the photographed image by the photographing device 11 as in the first embodiment. It is determined whether or not the person (that is, the observer 7) is authorized to register the information.
  • the line-of-sight detection unit 27 detects the line of sight of a person (that is, the observer 7) projected on the image captured by the photographing device 11.
  • the extraction unit 28 uses the information on the positional relationship given in advance between the lens of the photographing device 11 and the display screen of the display device 12 and the information on the line of sight of the watchman 7 by the line-of-sight detection unit 27 to be a watchman. An image of a partial area of the surveillance image in front of the line of sight of 7 is extracted.
  • the configurations of the information registration system 1 and the information registration device 3 of the third embodiment other than the above-described configurations are the same as those of the first embodiment, and the description thereof will be omitted here.
  • the mobile terminal 10 possessed by the observer 7 is provided with the same functions as the functions of the photographing device 5, the display device 6, and the input device 8 described in the first embodiment. ing.
  • the information registration system 1 and the information registration device 3 in the third embodiment having such a configuration can also exert the same effects as those in the first embodiment.
  • FIG. 11 is a block diagram schematically showing the configuration of the information registration system of the fourth embodiment.
  • FIG. 12 is a block diagram showing a functional configuration of an information registration device constituting the information registration system of the fourth embodiment.
  • the information registration system 40 of the fourth embodiment includes a display device 41, an information registration device 42, and a line-of-sight information providing device 43, and has a configuration for registering an image of a person or an object displayed on the display device 41. .. That is, the display device 41 has a function of displaying an image, characters, or the like, and here, a photographed image in which a person or an object that can be a registration target is photographed is displayed.
  • the line-of-sight information providing device 43 is a device that provides the information registration device 42 with information for detecting the line of sight of a registered operator who is viewing a captured image displayed on the display device 41.
  • a photographing device that photographs at least the eyes of the registered operator functions as the line-of-sight information providing device 43.
  • the information registration device 42 detects a person or an object to be registered from the captured image displayed on the display device 41 by using the line of sight of the registration operator, and registers the detected image to be registered in the storage device. It has a function. That is, the information registration device 42 is, for example, a computer device, and includes, for example, a line-of-sight detection unit 45, an extraction unit 46, and a registration unit 47 as functional units realized by a processor.
  • the line-of-sight detection unit 45 has a function of detecting the line of sight of a registered operator who is viewing a captured image displayed on the display device 41.
  • the extraction unit 46 displays a person or an object in a partial area of the captured image beyond the line of sight of the registered operator. It has a function to extract the image of.
  • the registration unit 47 has a function of registering the extracted image in a predetermined storage device.
  • FIG. 13 is a flowchart showing an operation example related to information registration in the information registration device 42.
  • An operation example related to information registration in the information registration device 42 will be described below with reference to FIG. 13.
  • the line-of-sight detection unit 45 detects the line of sight of the registered operator who is viewing the captured image displayed on the display device 41 (step S301), and determines whether or not the detected line of sight does not move over the attention time. (Step S302). If the line of sight moves before the attention time elapses, the line-of-sight detection unit 45 repeats the operations after step S301 (that is, the line-of-sight detection operation).
  • the extraction unit 46 extracts an image of a person or an object projected in a partial area of the captured image beyond the line of sight of the registered operator (step S303). .. Then, the registration unit 47 registers the extracted image in a predetermined storage device (step S304).
  • the information registration system 40 and the information registration device 42 of the fourth embodiment are configured as described above, so that the registration operator can register a partial area in which a person or an object to be registered is projected in the captured image.
  • the specified work time can be shortened.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

撮影画像において、登録対象である人や物体が映し出されている部分領域を登録操作者が登録すべく指定する作業時間の短縮を図るために、情報登録装置は、視線検知部と、抽出部と、登録部とを備える。視線検知部は、表示装置に映し出されている撮影画像を見ている登録操作者の視線を検知する。抽出部は、検知された登録操作者の視線が予め設定された注目時間、動かなかった場合には、登録操作者の視線の先にある撮影画像の部分領域に映し出されている人あるいは物体の画像を抽出する。登録部は、抽出された画像を予め定められている記憶装置に登録する。

Description

情報登録装置、情報登録システム、情報登録方法およびプログラム記憶媒体
　本発明は、登録対象の人や物体の画像を登録する技術に関する。
　ビデオカメラを利用する監視システムにおいて、監視員が、ビデオカメラの監視映像から不審者と思われる人物を見つけた場合に、その人物を監視映像上で指定することにより、指定された人物をシステムのコンピュータが監視映像において追跡する技術がある。監視員が不審者と思われる人物を監視映像上で指定する技術としては、例えば、特許文献１に、監視員（操作者）がマウスなどの入力装置を利用して監視映像上の不審者を指定する技術が開示されている。
　なお、特許文献２には、警備員等が所持している移動端末の位置情報を利用して、監視カメラの向きを制御する技術が開示されている。
特開２００５－１１０１００号公報 国際公開第２０１６/１４７５８１号
　特許文献１に示されている技術では、監視員が入力装置を利用して監視映像において不審者（換言すれば追跡対象者）を指定することから、監視領域が例えばスタジアムやイベント会場のように大勢の人が同時に集まる場合に、次のような問題が生じる。つまり、一人の監視員が同時に監視しなければならない人数が多く、また、短時間で追跡対象者として登録しなければならない人が複数である場合に、全ての追跡対象者を入力装置を利用して登録することが難しいという問題が生じる。
　より具体的には、例えば、監視映像に同時に映し出されている人の数Ａが１０人（Ａ＝１０）であり、監視映像に映り始めた人が移動して当該監視映像の外に出て行くまでの一人当たりの表示時間の平均値Ｂは１０秒（Ｂ＝１０）であるとする。また、監視員が監視映像に映し出されている人が不審な者であるか否かの判断に要する時間Ｃは０．５秒程度（Ｃ＝０．５）であるとされる。さらに、検知した不審者を追跡対象者として登録するか否かの判断に要する時間は０．２秒程度（Ｄ＝０．２）であるとされる。これにより、監視映像に映し出されている１０人について、監視員が、不審な者であるか否かの判断、および、追跡対象者として登録するか否かの判断を行うのに要する時間Ｆは、数式Ｆ＝Ａ×（Ｃ＋Ｄ）により、１０×（０．５＋０．２）＝７秒と算出される。
　ここで、前述したように、一人当たりの表示時間の平均値Ｂは１０秒（Ｂ＝１０）である。したがって、１０人が映っている監視映像中の一人一人において不審者か否かの判断と、登録するか否かの判断とを行った後に、追跡対象者の登録に使える時間Ｈは、数式Ｈ＝Ｂ－Ｆにより、１０－７＝３秒である。
　一方、登録すると判断した後に監視員が入力装置を利用して監視映像上で一人の追跡対象者を登録する作業に要する時間Ｅは３秒程度（Ｅ＝３）であるとされる。すなわち、１０人が映っている監視映像の一人一人において不審者か否かの判断と、登録するか否かの判断とを行って追跡対象者の登録に使える時間Ｈは上述のように３秒であり、一人の追跡対象者を登録する作業に要する時間Ｅと同程度である。このため、追跡対象者が一人である場合には、監視員は入力装置を利用してその追跡対象者の登録が可能である。しかしながら、追跡対象者が複数である場合には、監視員は複数の追跡対象者を監視映像上で登録することができない。
　本発明は上述したような課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影画像において、登録対象である人や物体が映し出されている部分領域を登録操作者が登録すべく指定する作業時間を短縮する技術を提供することにある。
　上述した目的を達成するために、本発明の情報登録装置は、その一態様として、
　登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人である登録操作者の視線を検知する視線検知部と、
　検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出する抽出部と、
　抽出された前記画像を予め定められた記憶装置に登録する登録部と
を備える。
　本発明の情報登録システムは、その一態様として、
　上述した情報登録装置と、
　登録対象と成り得る人あるいは物体が撮影されている撮影画像を表示する表示装置と、
　前記撮影画像を見ている人である登録操作者の視線を検知する情報を前記情報登録装置に提供する視線情報提供装置と
を備える。
　本発明の情報登録方法は、その一態様として、
　登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人である登録操作者の視線を検知し、
　検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出し、
　抽出された前記画像を予め定められた記憶装置に登録する。
　本発明のプログラム記憶媒体は、その一態様として、
　登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人である登録操作者の視線を検知する処理と、
　検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出する処理と、
　抽出された前記画像を予め定められた記憶装置に登録する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
　本発明によれば、撮影画像において、登録対象である人や物体が映し出されている部分領域を登録操作者が登録すべく指定する作業時間を短縮することができる。
本発明に係る第１実施形態の情報登録システムの構成を表す図である。 第１実施形態の情報登録システムを構成する情報登録装置の機能構成を表すブロック図である。 登録ボタンの一態様の例を表す図である。 登録する画像を確認する処理の一例を説明する図である。 登録する画像を確認する処理の別の例を説明する図である。 第１実施形態における情報登録装置の動作例を表すフローチャートである。 本発明に係る第２実施形態の情報登録システムの構成を説明する図である。 本発明に係る第３実施形態の情報登録システムの構成を説明する図である。 第３実施形態において登録操作者が利用する移動端末を説明する図である。 第３実施形態の情報登録システムを構成する情報登録装置の機能構成を表すブロック図である。 本発明に係る第４実施形態の情報登録システムの構成を表す図である。 第４実施形態における情報登録装置の機能構成を表すブロック図である。 第４実施形態における情報登録装置の動作例を表すフローチャートである。
　以下に、本発明に係る実施形態を図面を参照しつつ説明する。
　＜第１実施形態＞
　図１は、本発明に係る第１実施形態の情報登録システムの構成が模式的に表されている。第１実施形態の情報登録システム１は、監視カメラによる撮影画像（監視映像ともいう）を用いる監視システムに組み込まれるシステムである。情報登録システム１は、監視映像を監視する監視員が撮影画像から不審者と思われる人などを検知した場合に当該検知した人の画像を監視員が登録する作業に要する時間の短縮化を図るシステムである。
　すなわち、第１実施形態の情報登録システム１は、撮影装置２と、情報登録装置３と、データベース４と、撮影装置５と、表示装置６と、入力装置８とを備えている。
　撮影装置２は、監視システムが監視する領域を撮影する装置であり、例えばビデオカメラである。なお、図１の例では、このような監視用の撮影装置２は、１台のみ図示されているが、監視システムが用いる監視用の撮影装置２は複数である場合もあり、この場合には、第１実施形態の情報登録システム１もそれら複数の撮影装置２を含む。
　撮影装置２は、情報登録装置３と接続されており、撮影画像である監視映像を情報登録装置３に時々刻々と出力する機能を備えている。撮影装置２から情報登録装置３に出力される監視映像には、撮影時刻を表す時間情報と、撮影場所を表す場所情報とが関連付けられている。撮影場所を表す場所情報としては、例えば、撮影装置２を識別する識別情報や、撮影装置２により撮影されている監視領域を識別する識別情報が挙げられる。場所情報として撮影装置２を識別する識別情報が採用されている場合には、例えば、撮影装置２の識別情報と、当該識別情報を持つ撮影装置２が設置されている場所の情報とが関連付けられているデータが情報登録装置３に保持される。
　データベース４は、データを記憶する記憶装置であり、第１実施形態では、情報登録システム１が組み込まれる監視システムが利用する例えば不審者と判断された人の画像等が参考画像として記憶されている。
　表示装置６は、映像や文字などを表示する装置であり、第１実施形態では、その表示動作は、情報登録装置３により制御される。表示装置６は、情報登録装置３の制御動作により、撮影装置２により撮影された監視映像を表示する。この表示装置６により表示された監視映像は、監視員７が監視対象の領域を監視する際に利用される。
　入力装置８は、監視員７が操作して情報を情報登録装置３に入力する装置である。入力装置８は、機械的な押しボタン等を備えた情報入力専用の装置であってもよいし、演算装置および表示装置を備えた情報処理機能をも持つ移動端末であってもよく、ここでは、その態様は限定されない。
　撮影装置５は、表示装置６により表示されている監視映像を見ている監視員７の顔を少なくとも撮影するように設置されている撮影装置である。換言すれば、撮影装置５は、表示装置６による監視映像を見ている監視員７の顔および視線を検知可能な映像をできるように設置される。例えば、監視員７が表示装置６の監視映像を椅子に座って監視する場合には、椅子に座った監視員７の目の位置と、表示装置６の表示画面との位置関係が分かるように監視員７と表示装置６を撮影できる位置に撮影装置５は設置される。あるいは、撮影装置５は、表示装置６の監視映像を見ている監視員７の目を撮影できるように表示装置６に取り付けられてもよい。すなわち、撮影装置５は視線情報提供装置として機能する。
　撮影装置５は情報登録装置３に接続されており、撮影した映像を時々刻々と情報登録装置３に出力する。情報登録装置３に出力される撮影装置５による撮影画像には、撮影時刻を表す時間情報が関連付けられている。
　第１実施形態の情報登録システム１が組み込まれる監視システムは、監視員７が監視映像において不審を感じた人や物体が有った場合に、その不審と感じた人や物体を監視映像において追跡する機能を有する。その追跡処理に必要な、不審な人や物体の参考画像の情報は監視員７により監視映像において指定されてデータベース４に登録される。つまり、第１実施形態では、監視員７は、情報を登録する登録操作者でもある。
　情報登録装置３は、そのような監視システムの追跡処理にて利用する参考画像の情報をデータベース４に登録する処理を実行する装置である。情報登録装置３は、コンピュータ装置（サーバ）により構成される。このコンピュータ装置は、第１実施形態の情報登録システム１が組み込まれる監視システムの処理を実行するコンピュータ装置であってもよいし、当該監視システムのコンピュータ装置とは別個の装置であってもよい。
　図２は、情報登録装置３の機能構成を表すブロック図である。情報登録装置３は、演算装置２０と、記憶装置２１とを備えている。記憶装置２１は、データやコンピュータプログラム（以下、プログラムとも記す）２３を記憶する記憶媒体である。記憶媒体には様々な種類があり、記憶装置２１は、何れの記憶媒体により構成されてもよい。また、情報登録装置３には、複数種の記憶媒体が備えられていてもよく、この場合には、複数種の記憶媒体をまとめて記憶装置２１として表すこととする。記憶装置２１の構成および動作の説明は省略する。
　演算装置２０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサを備えている。プロセッサは、記憶装置２１に記憶されているプログラムを読み出して実行することにより、当該プログラムに基づいた様々な機能を持つことができる。例えば、第１実施形態では、演算装置２０は、認証部２５と対象検知部２６と視線検知部２７と抽出部２８と表示制御部２９と確認部３０と登録部３１という機能部を有している。
　表示制御部２９は、表示装置６の表示動作を制御する機能を備えている。表示制御部２９の制御動作により、撮影装置２から受信した監視映像がほぼリアムタイムで表示装置６に表示されたり、情報登録装置３による監視員７への提示情報が表示装置６に表示される。また、情報登録システム１が複数の撮影装置２を備えている場合には、表示制御部２９は、それら撮影装置２による監視映像を一画面に並べて表示する、あるいは、順番に表示を切り換えて表示するというように表示装置６の表示動作が制禦される。
　ところで、第１実施形態では、情報登録装置３は、当該情報登録装置３を利用して参考画像を登録できる監視員７を限定する機能を備えている。つまり、参考画像の登録が許可されている監視員７の顔の画像（以下、許可顔画像とも称する）が、データベース４、あるいは、情報登録装置３の記憶装置２１、あるいは、データベース４および記憶装置２１とは別個の記憶装置（図示せず）に予め登録されている。
　認証部２５は、撮影装置５により撮影された監視員７の顔画像（以下、撮影顔画像とも称する）を取得すると、撮影顔画像と、予め登録されている許可顔画像とを照合し、合致するか否かを判断する機能を備えている。また、認証部２５は、撮影顔画像に合致する許可顔画像が有った場合には、撮影顔画像に対応する監視員７、つまり、撮影装置５により撮影されている監視員７は参考画像の登録が許可されている者であることを表す許可情報を出力する機能を備えている。このような認証部２５による認証処理は、予め設定されているタイミング毎に実行される。
　対象検知部２６は、撮影装置２から受信した監視映像の全てのフレーム画像、あるいは、時系列に並べられた場合における予め設定された枚数間隔毎に選出されたフレーム画像から顔の画像を登録対象と成り得る人の画像として検知する機能を備える。また、対象検知部２６は、検知した顔画像毎に識別情報を付与し、当該識別情報に、検知したフレーム画像の識別情報と、検知したフレーム画像における検知された画像の部分領域を表す情報とを関連付け顔位置情報を生成する機能を備える。さらに、対象検知部２６は、そのような顔位置情報を、データベース４、あるいは、データベース４とは別個の記憶装置（図示せず）に登録する。なお、監視映像から顔を検知する手法には、例えば、顔の基本パターンを利用したパターンマッチングを利用する手法などの様々な手法があり、ここでは、情報登録装置３の処理能力などを考慮した適宜な手法が採用され、その説明は省略される。
　また、第１実施形態では、対象検知部２６は、顔だけでなく、登録対象と成り得る予め定められた物体（例えば、人が所持や装着している物体（杖、帽子、サングラスなど）、車などの移動体など）を検知する機能を備える。さらに、対象検知部２６は、顔位置情報と同様の物体位置情報を生成し、データベース４、あるいは、データベース４とは別個の記憶装置（図示せず）に登録する機能を備える。
　視線検知部２７は、撮影装置５により撮影された撮影顔画像における目の向いている方向（つまり、視線）を検知する機能を備える。視線を検知する手法としては、限定されるものではないが、例えば、白目部分における黒目の中心位置を撮影顔画像から検知することにより視線を検知する手法がある。
　また、視線検知部２７は、検知した視線が予め設定された注目時間（例えば、０．５秒）、動かなかったことを検知する機能を備える。具体的には、視線検知部２７は、注目時間で撮影される複数のフレーム画像に亘って、検知した視線が、視線が動かなかったか否かを判定する予め設定されている許容範囲から外れない場合に、視線が動かなかったと検知する。
　なお、第１実施形態では、視線検知部２７による処理は、認証部２５によって許可情報が出力された監視員７の顔画像にだけ実行される。
　抽出部２８は、視線検知部２７によって場合に、その動かなかった期間に、図３に表されているような入力装置８の登録ボタン（機械的な押しボタンや、画面表示されているアイコンなど）が操作されたか否かを判断する。また、抽出部２８は、登録ボタンが操作され入力装置８から登録指令を受信した場合に、次のような処理を実行する。例えば、抽出部２８は、表示装置６の監視映像を見ている監視員（登録操作者）から表示装置６の表示画面に向かう方向およびその範囲を表す情報と、視線検知部２７により検知された視線が向かっている方向を表す情報とを利用して、視線の先にある表示装置６の表示画面の部分領域を検知する。このように検知された視線の先にある表示画面の部分領域を表す情報には、当該検知処理が実行されたタイミング（登録指令を受信したタイミング）において表示装置６に表示されていたフレーム画像に関連付けられている時間情報と同じ時間情報が関連付けられる。
　さらに、抽出部２８は、その検知された視線の先にある表示画面の部分領域を表す情報に関連付けられている時間情報を利用して、同じ時間に撮影装置２により撮影された監視映像のフレーム画像における対象検知部２６によって生成された顔位置情報や物体位置情報を取得する。そして、抽出部２８は、監視員７の視線の先にある表示装置６の表示画面の部分領域に対応する顔位置情報や物体位置情報が有った場合には、当該顔位置情報や物体位置情報に関係するフレーム画像の部分領域の画像をフレーム画像から登録情報として抽出する。
　確認部３０は、抽出部２８により抽出された画像を登録情報として確定してよいか否かを監視員（つまり、登録操作者）７に確認する処理を実行する機能を備える。例えば、確認部３０は、抽出部２８により抽出されたフレーム画像の部分領域の画像を監視員７に提示し、また、提示された画像を登録情報として確定してよいか否かの判断結果を入力装置８から情報登録装置３に入力させる処理を実行する。抽出部２８により抽出されたフレーム画像の部分領域の画像を監視員７に提示する手法としては、次のような手法がある。例えば、入力装置８が表示装置を備えた移動端末である場合には、確認部３０は、抽出された画像を入力装置８に送信する。入力装置８は、抽出された画像を受信すると、図４に表されているように、表示装置の表示画面に、抽出部２８により抽出されたフレーム画像の部分領域の画像を表示することにより、当該画像を監視員７に提示する。あるいは、図５に表されているように、確認部３０は、表示制御部２９によって、監視映像を映し出している表示装置６の表示画面に、抽出部２８により抽出されたフレーム画像の部分領域を表す枠３３を表示させる。このようにして、抽出部２８により抽出されたフレーム画像の部分領域の画像が監視員７に提示されてもよい。
　一方、図４のような入力装置８の登録ボタン（機械的な押しボタンや、画面表示されているアイコンなど）が操作された場合には、確定指令が入力装置８から情報登録装置３に向けて出力される構成となっている。また、入力装置８の取消ボタン（機械的な押しボタンや、画面表示されているアイコンなど）が操作された場合には、取消指令が入力装置８から情報登録装置３に向けて出力される構成となっている。確認部３０は、抽出されたフレーム画像の部分領域の画像を提示してから所定の確認期間が経過するまでに、入力装置８から確定指令を受信した場合には、抽出されたフレーム画像の部分領域の画像を登録情報として確定する。また、確認部３０は、確認期間中に、入力装置８から取消指令を受信した場合、あるいは、確認期間が経過しても確定指令も取消指令も受信しなかった場合には、抽出されたフレーム画像の部分領域の画像をキャンセルする。
　登録部３１は、確認部３０の処理により、入力装置８から登録情報を受信した場合には、抽出部２８により抽出されたフレーム画像の部分領域の画像を登録情報としてデータベース４に登録する機能を備える。データベース４に登録される画像には、対象検知部２６により付与されたと同じ情報が引き続き関連付けられる。このようにデータベース４に登録された画像の情報を利用して、第１実施形態の情報登録システム１が組み込まれる監視システムでは、例えば、追跡処理が実行される。
　第１実施形態の情報登録システム１および情報登録装置３は上述したように構成されている。次に、情報登録装置３の情報登録に係る動作例を図６を利用して説明する。例えば、情報登録装置３が撮影装置２による監視映像を受信すると、対象検知部２６が監視映像から、登録対象と成り得る予め定められた人の顔や物体の画像を検知する（ステップＳ１０１）。
　一方、情報登録装置３が撮影装置５から撮影画像を受信したことにより、認証部２５が、撮影装置５による監視員７の撮影顔画像を取得すると（ステップＳ１０２）、撮影顔画像と、許可顔画像とを照合する。そして、認証部２５が、撮影顔画像に合致する許可顔画像が有るか否かを判断する。つまり、認証部２５は、撮影顔画像の監視員７が情報登録を許可されている者であるか否かを判断する（ステップＳ１０３）。許可されていなかった場合には、情報登録装置３はステップＳ１０１以降の動作を繰り返す。
　許可されていることを確認できた後には、視線検知部２７が、撮影装置５による撮影顔画像から視線を検知し、当該視線が注目時間、動かなかったか否かを判断する（ステップＳ１０４）。注目時間を越える前に視線が動いた場合には、情報登録装置３はステップＳ１０１以降の動作を繰り返す。
　視線が注目時間、動かなかった場合には、抽出部２８が、その動かなかった期間に入力装置８の登録ボタンが操作され登録指令を受信したことを確認後に、視線の先にある表示画面の部分領域の画像を監視映像から抽出する（ステップＳ１０５）。
　確認部３０は、抽出部２８により抽出された画像を登録情報として確定してよいか否かを判断する処理を実行する。つまり、確認部３０は、入力装置８から確定指令を受信したか否かを判断する（ステップＳ１０６）。取消指令が入力装置８から出力された場合、あるいは、確認期間に確定指令も取消指令も入力装置８から出力されなかった場合には、情報登録装置３はステップＳ１０１以降の動作を繰り返す。
　登録部３１は、入力装置８から確定指令を受信した場合に、抽出部２８により抽出された画像を登録情報としてデータベース４に登録する（ステップＳ１０７）。
　上述したような動作によって、情報登録装置３は、監視映像から登録対象の人や物体の画像をデータベース４に登録する。なお、図６におけるステップの順番は一例であって、情報登録装置３の動作順は図６の例に限定されない。
　第１実施形態の情報登録システム１および情報登録装置３は、監視員（登録操作者）７が、入力装置８を操作するのではなく、監視映像における登録対象の人物や物体を見つめるだけで、監視映像における登録対象の人物や物体の位置を取得できる。つまり、登録対象の人物や物体を監視映像において指定する作業に要する時間は、監視員７が入力装置８を操作して実行する場合に比べて、見つめるだけでよいので、短縮される。よって、第１実施形態の情報登録システム１および情報登録装置３は、撮影画像において、登録対象である人が映し出されている部分領域を登録操作者が登録すべく指定する作業時間を短縮することができる。
　また、第１実施形態では、情報登録装置３は、視線が動かなかったという視線の動きだけでなく、入力装置８からの登録指令を受けたという条件が満たされた状態で、登録対象の人や物体の画像を撮影画像（監視映像）から抽出する。このため、情報登録装置３は、次のような画像の誤登録を防止することができる。例えば、監視員７が画像を登録するつもりでなかったのにも拘わらず、視線を止めてしまった場合には、入力装置８から登録指令は出力されないと想定される。このような場合には、情報登録装置３により、視線に基づいた監視映像からの画像の抽出は行われないから、監視員７の意思に反して画像が登録される事態が防止される。
　＜第２実施形態＞
　以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の情報登録システム１および情報登録装置３を構成する構成要素と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
　第１実施形態では、監視員７の視線を検知する視線情報提供装置として撮影装置５が利用される。これに代えて、第２実施形態では、視線情報提供装置として、図７に表されるような視線検知機能付きメガネ１５が利用される。すなわち、第２実施形態の情報登録システム１は、撮影装置２と、情報登録装置３と、データベース４と、撮影装置５と、表示装置６と、入力装置８とに加えて、視線検知機能付きメガネ１５を備えている。第２実施形態では、撮影装置５は、視線情報提供装置としては機能しないものの、情報登録が許可されているか否かを判断する認証を行うために、監視員７の顔画像を撮影する。
　視線検知機能付きメガネ１５は、装着している人の視線を検知する機能を備えているメガネである。また、視線検知機能付きメガネ１５には、カメラ（図示せず）が取り付けられている。このカメラは、視線検知機能付きメガネ１５を装着している人（ここでは、監視員７）が見ている表示装置６の表示画面を撮影する。このカメラによる撮影画像と、視線検知機能付きメガネ１５により検知された視線の情報とに基づいて、監視員７の視線の先にある表示装置６の表示画面の部分領域が検知可能である。
　第２実施形態では、撮影装置５に代えて、視線情報提供装置として、視線検知機能付きメガネ１５が利用されることにより、情報登録装置３の視線検知部２７は、視線検知機能付きメガネ１５により検知された視線の情報を利用して、監視員７の視線を検知する。また、視線検知部２７は、視線検知機能付きメガネ１５により検知された視線の情報を利用して、検知された視線が注目時間、動かなかったことを検知する。
　第２実施形態における情報登録システム１および情報登録装置３の上述した構成以外の構成は、第１実施形態と同様であり、ここでは、その説明は省略する。
　第２実施形態における情報登録システム１は、視線検知機能付きメガネ１５による視線の情報を利用している。このような構成であっても、第２実施形態における情報登録システム１および情報登録装置３は、第１実施形態と同様の効果を奏することができる。
　＜第３実施形態＞
　以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第１実施形態の情報登録システムおよび情報登録装置を構成する構成要素と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
　図８は、第３実施形態の情報登録システム１の構成を表す図である。第３実施形態の情報登録システム１は、第１実施形態の情報登録システム１を構成する撮影装置５と表示装置６と入力装置８に代えて、移動端末１０を備えている。移動端末１０は、登録操作者である監視員７が所持することが想定されており、情報処理を実行する演算装置に加えて、図９に表されているように、撮影装置１１および表示装置１２を備えている。また、移動端末１０は、入力装置としての機能をも備える。移動端末１０が採り得る入力装置としての態様は様々にあり、ここでは、限定されないので、その説明は省略する。
　撮影装置１１は、第１実施形態における撮影装置５と同様に、登録操作者である監視員７の顔を撮影する機能を備えている。撮影装置１１による撮影画像は、情報登録装置３の認証部２５による監視員７の認証（情報登録を許可されているか否かの判断）、および、監視員７の視線の検知に利用される。すなわち、撮影装置１１は、視線情報提供装置として機能する。
　表示装置１２は、第１実施形態における表示装置６と同様に機能する。すなわち、移動端末１０は、撮影装置２による監視映像を情報登録装置３を介して受信すると、当該移動端末１０に備えられている制御表示部（図示せず）の制御動作によって、表示装置１２に監視映像が表示される構成となっている。
　図１０は、第３実施形態における情報登録装置３の機能構成を表すブロック図である。第３実施形態では、情報登録装置３は、通信部３２が備えられている。通信部３２は、情報登録装置３と移動端末１０との間で、撮影装置２の監視映像や撮影装置１１の撮影画像やデータ等の情報を通信すべく、通信に係る処理を実行する機能を備えている。
　また、第３実施形態では、認証部２５は、移動端末１０の撮影装置１１により撮影された顔画像を利用して、第１実施形態と同様に、撮影装置１１による撮影画像に映し出されている人（つまり、監視員７）が情報登録を許可されている者であるか否かを判断する。
　視線検知部２７は、撮影装置１１による撮影画像に映し出されている人（つまり、監視員７）の視線を検知する。抽出部２８は、撮影装置１１のレンズと表示装置１２の表示画面との予め与えられている位置関係の情報と、視線検知部２７による監視員７の視線の情報とを利用して、監視員７の視線の先にある監視映像の部分領域の画像を抽出する。
　第３実施形態の情報登録システム１および情報登録装置３の上述した構成以外の構成は第１実施形態と同様であり、ここでは、その説明は省略する。
　第３実施形態における情報登録システム１では、監視員７が所持する移動端末１０に、第１実施形態で説明した撮影装置５と表示装置６と入力装置８との機能と同様の機能を持たせている。このような構成を持つ第３実施形態における情報登録システム１および情報登録装置３も、第１実施形態と同様の効果を奏することができる。
　＜第４実施形態＞
　以下に、本発明に係る第４実施形態を説明する。
　図１１は、第４実施形態の情報登録システムの構成を模式的に表すブロック図である。また、図１２は、第４実施形態の情報登録システムを構成する情報登録装置の機能構成を表すブロック図である。
　第４実施形態の情報登録システム４０は、表示装置４１と、情報登録装置４２と、視線情報提供装置４３とを備え、表示装置４１に映し出されている人や物体の画像を登録する構成を備える。すなわち、表示装置４１は、画像や文字などを表示する機能を備え、ここでは、登録対象と成り得る人あるいは物体が撮影されている撮影画像を表示する。
　視線情報提供装置４３は、表示装置４１に表示されている撮影画像を見ている人である登録操作者の視線を検知する情報を情報登録装置４２に提供する装置である。例えば、登録操作者の少なくとも目を撮影する撮影装置が視線情報提供装置４３として機能する。
　情報登録装置４２は、登録操作者の視線を利用して、表示装置４１に表示されている撮影画像から、登録対象の人あるいは物体を検知し、検知した登録対象の画像を記憶装置に登録する機能を備える。すなわち、情報登録装置４２は、例えばコンピュータ装置であり、例えばプロセッサにより実現される機能部として、視線検知部４５と、抽出部４６と、登録部４７とを備える。
　視線検知部４５は、表示装置４１に映し出されている撮影画像を見ている登録操作者の視線を検知する機能を備えている。
　抽出部４６は、検知された登録操作者の視線が予め設定された注目時間、動かなかった場合には、登録操作者の視線の先にある撮影画像の部分領域に映し出されている人あるいは物体の画像を抽出する機能を備える。
　登録部４７は、抽出された画像を予め定められている記憶装置に登録する機能を備える。
　図１３は、情報登録装置４２における情報登録に係る動作例を表すフローチャートである。この図１３を利用して、情報登録装置４２における情報登録に係る動作例を次に説明する。例えば、視線検知部４５が、表示装置４１に映し出されている撮影画像を見ている登録操作者の視線を検知し（ステップＳ３０１）、検知した視線が注目時間に亘り動かないか否かを判断する（ステップＳ３０２）。視線が注目時間を経過する前に動いた場合には、視線検知部４５は、ステップＳ３０１以降の動作（つまり、視線検知の動作）を繰り返す。
　検知した視線が注目時間、動かなかった場合には、抽出部４６は、登録操作者の視線の先にある撮影画像の部分領域に映し出されている人あるいは物体の画像を抽出する（ステップＳ３０３）。そして、登録部４７は、抽出された画像を予め定められている記憶装置に登録する（ステップＳ３０４）。
　第４実施形態の情報登録システム４０および情報登録装置４２は上述したように構成されており、撮影画像において、登録対象である人や物体が映し出されている部分領域を登録操作者が登録すべく指定する作業時間を短縮できる。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０２０年３月３０日に出願された日本出願特願２０２０－０５９３２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１，４０　情報登録システム
　２，５，１１　撮影装置
　３，４２　情報登録装置
　４　データベース
　６，１２，４１　表示装置
　２７，４５　視線検知部
　２８，４６　抽出部
　３０　確認部
　３１　登録部

Claims (9)

  1. 　登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人である登録操作者の視線を検知する視線検知部と、
    　検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出する抽出部と、
    　抽出された前記画像を予め定められた記憶装置に登録する登録部と
    を備える情報登録装置。
  2. 　前記抽出部は、検知された前記視線が前記注目時間、同じ前記撮影画像の部分領域から外れず、かつ、登録指令を受信した場合に、当該撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出する請求項１に記載の情報登録装置。
  3. 　前記登録指令は、前記登録操作者が所持している入力装置から出力される請求項２に記載の情報登録装置。
  4. 　前記視線検知部は、少なくとも前記登録操作者の目が撮影されている映像から前記登録操作者の視線を検知する請求項１乃至請求項３の何れか一つに記載の情報登録装置。
  5. 　前記抽出部により抽出された前記画像を登録情報として確定してよいか否かを前記登録操作者に確認する処理を実行する確認部がさらに備えられ、
    　前記登録部は、前記確認部による処理によって、前記抽出部により抽出された前記画像が前記登録情報として確定された後に、抽出された前記画像を前記記憶装置に登録する請求項１乃至請求項４の何れか一つに記載の情報登録装置。
  6. 　請求項１乃至請求項５の何れか一つに記載の情報登録装置と、
    　登録対象と成り得る人あるいは物体が撮影されている前記撮影画像を表示する表示装置と、
    　前記撮影画像を見ている人である前記登録操作者の視線を検知する情報を前記情報登録装置に提供する視線情報提供装置と
    を備える情報登録システム。
  7. 　前記視線情報提供装置は、少なくとも前記登録操作者の目を撮影する撮影装置により構成されている請求項６に記載の情報登録システム。
  8. 　登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人である登録操作者の視線を検知し、
    　検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出し、
    　抽出された前記画像を予め定められた記憶装置に登録する
    情報登録方法。
  9. 　登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人である登録操作者の視線を検知する処理と、
    　検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出する処理と、
    　抽出された前記画像を予め定められた記憶装置に登録する処理と
    をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
PCT/JP2021/007960 2020-03-30 2021-03-02 情報登録装置、情報登録システム、情報登録方法およびプログラム記憶媒体 WO2021199853A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022511681A JP7371764B2 (ja) 2020-03-30 2021-03-02 情報登録装置、情報登録システム、情報登録方法およびコンピュータプログラム
US17/909,600 US20230104696A1 (en) 2020-03-30 2021-03-02 Information registration device, information registration system, information registration method and program storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020059322 2020-03-30
JP2020-059322 2020-03-30

Publications (1)

Publication Number Publication Date
WO2021199853A1 true WO2021199853A1 (ja) 2021-10-07

Family

ID=77930285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007960 WO2021199853A1 (ja) 2020-03-30 2021-03-02 情報登録装置、情報登録システム、情報登録方法およびプログラム記憶媒体

Country Status (3)

Country Link
US (1) US20230104696A1 (ja)
JP (1) JP7371764B2 (ja)
WO (1) WO2021199853A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4329293A1 (en) * 2022-08-25 2024-02-28 Artificialy SA Support system of the control of surveillance cameras

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP2017191490A (ja) * 2016-04-14 2017-10-19 株式会社フジタ 技能伝承システム及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4594609B2 (ja) * 2003-10-01 2010-12-08 綜合警備保障株式会社 監視システム、および監視方法
JP5774506B2 (ja) * 2012-01-17 2015-09-09 株式会社日立ビルシステム 映像監視システム
JP2016009453A (ja) * 2014-06-26 2016-01-18 オムロン株式会社 顔認証装置および顔認証方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP2017191490A (ja) * 2016-04-14 2017-10-19 株式会社フジタ 技能伝承システム及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4329293A1 (en) * 2022-08-25 2024-02-28 Artificialy SA Support system of the control of surveillance cameras

Also Published As

Publication number Publication date
JPWO2021199853A1 (ja) 2021-10-07
JP7371764B2 (ja) 2023-10-31
US20230104696A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
JP7420183B2 (ja) 認証システム
JP4402998B2 (ja) マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置
JP3999561B2 (ja) 監視システムと監視カメラ
JP4700477B2 (ja) 移動体監視システムおよび移動体特徴量算出装置
JP2008009849A (ja) 人物追跡装置
US20190388012A1 (en) Face detection device, face detection system, and face detection method
JPH1124603A (ja) 情報表示装置及び情報収集装置
JP2007019671A (ja) 画像通信システム及び画像処理プログラム
JP2018018150A (ja) 防犯システム、防犯方法、及びロボット
WO2021199853A1 (ja) 情報登録装置、情報登録システム、情報登録方法およびプログラム記憶媒体
WO2020065852A1 (ja) 認証システム、認証方法、及び、記憶媒体
JP5088463B2 (ja) 監視システム
WO2016095422A1 (zh) 眼镜、显示终端、图像显示处理系统及方法
KR101926510B1 (ko) 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
WO2015005102A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2021196741A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20130134334A (ko) 실내 이동자 위치추적 시스템 및 그 방법
JP6355146B1 (ja) 医療安全システム
JP6436606B1 (ja) 医療映像システム
JP6684009B1 (ja) プログラム、映像処理装置及び認証方法
JP2007172509A (ja) 顔検出照合装置
JP7329967B2 (ja) 画像処理装置、システム、画像処理装置の制御方法、及び、プログラム
JP7094759B2 (ja) システム、情報処理方法及びプログラム
JP2004128615A (ja) 人物監視システム
JPWO2008081527A1 (ja) 認証装置および携帯端末装置、並びに認証方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21779244

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511681

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21779244

Country of ref document: EP

Kind code of ref document: A1