WO2023127002A1 - 画像処理装置、画像処理方法、及び、記録媒体 - Google Patents

画像処理装置、画像処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2023127002A1
WO2023127002A1 PCT/JP2021/048531 JP2021048531W WO2023127002A1 WO 2023127002 A1 WO2023127002 A1 WO 2023127002A1 JP 2021048531 W JP2021048531 W JP 2021048531W WO 2023127002 A1 WO2023127002 A1 WO 2023127002A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mode
power consumption
light emitting
image processing
Prior art date
Application number
PCT/JP2021/048531
Other languages
English (en)
French (fr)
Inventor
和夫 杉本
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/048531 priority Critical patent/WO2023127002A1/ja
Publication of WO2023127002A1 publication Critical patent/WO2023127002A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • This disclosure relates to the technical field of image processing apparatuses, image processing methods, and recording media.
  • Patent Document 1 discloses that a repetitive stop process for stopping the repetitive authentication process when the determination result of the authenticity determination process is true is performed to improve security reliability against impersonation and reduce power consumption. Are listed.
  • an intruder detection device that monitors with a black-and-white surveillance camera capable of photographing only the part irradiated with infrared rays provided in an intrusion prohibited area having a partially transparent window surface
  • the transparent window outside the intrusion prohibited area
  • An infrared irradiator that irradiates infrared rays along the vicinity of the surface is installed, and the person irradiated with infrared rays is photographed by a black-and-white surveillance camera.
  • 2002-200000 describes determining that the person is an intruder when it is determined that the person is
  • feature information is acquired as identification information for security from the image captured by the camera, this feature information is used for area security authentication processing, and area security in the designated area is determined based on the feature information. It is described in Patent Document 3 to do.
  • the object of this disclosure is to provide an image processing device, an image processing method, and a recording medium aimed at improving the techniques described in prior art documents.
  • One aspect of the image processing apparatus includes image acquisition means for acquiring an image captured so that a light emitting region that emits light in a dark place is included in an angle of view; and a switching means for switching the power consumption mode according to the determination result of the determination means.
  • One aspect of the image processing method acquires an image captured so that a light-emitting region that emits light in a dark place is included in an angle of view, and controls power consumption according to the light-emitting state of the light-emitting region included in the image. mode is determined, and the power consumption mode is switched according to the result of the determination.
  • a computer acquires an image captured so that a light-emitting region that emits light in a dark place is included in the angle of view, and according to the light-emitting state of the light-emitting region included in the image, A computer program is recorded for determining whether or not to switch a power consumption mode, and executing an image processing method for switching the power consumption mode according to the result of the determination.
  • FIG. 1 is a block diagram showing the configuration of a face authentication device according to the first embodiment.
  • FIG. 2 is a schematic diagram of an unlocking system in a second embodiment.
  • FIG. 3 is a schematic diagram of an image acquired by a face authentication device according to the second embodiment.
  • FIG. 4 is a block diagram showing the configuration of a face authentication device according to the second embodiment.
  • FIG. 5 is a conceptual diagram of determination operation performed by the face authentication device in the second embodiment.
  • FIG. 6 is a flow chart showing the flow of power saving operation and face authentication operation performed by the face authentication device according to the second embodiment.
  • a first embodiment of an image processing apparatus, an image processing method, and a recording medium will be described.
  • the image processing apparatus, image processing method, and recording medium according to the first embodiment will be described below using an image processing apparatus 1000 to which the image processing apparatus, image processing method, and recording medium according to the first embodiment are applied. .
  • FIG. 1 is a block diagram showing the configuration of an image processing apparatus 1000 according to the first embodiment.
  • the image processing apparatus 1000 includes an image acquisition section 1011 , a determination section 1012 and a switching section 1013 .
  • the image acquisition unit 1011 acquires an image captured so that a light emitting region that emits light in a dark place is included in the angle of view.
  • the determination unit 1012 determines whether to switch the power consumption mode according to the light emission state of the light emission region included in the image.
  • the switching unit 1013 switches the power consumption mode according to the determination result of the determination unit 1012 .
  • the image processing apparatus 1000 switches the power consumption mode according to the light emitting state of the light emitting region included in the image captured so that the light emitting region that emits light in a dark place is included in the angle of view. can be done. That is, the image processing apparatus 1000 can change power consumption by providing a simple mechanism of a light emitting area at the angle of view of the camera.
  • Embodiments of an image processing apparatus, an image processing method, and a recording medium will be described below with reference to the drawings. Embodiments of the image processing device, the image processing method, and the recording medium will be described below using the face authentication device 10 as an image processing device to which the embodiments of the image processing device, the image processing method, and the recording medium are applied. do. [2-1: Overview of unlocking system 1]
  • FIG. 2 is a schematic diagram of the unlocking system 1 in this embodiment.
  • the unlocking system 1 includes a door D, face authentication device 10, outdoor camera 20O, indoor camera 20I, outdoor switch SO, indoor switch SI, lighting L, and fluorescent marker FM.
  • the door D is provided at the entrance of the room 101, which is a partitioned space in the building, and by closing the entrance, the room 101 may be isolated from the outside.
  • the door D may be locked to isolate the room 101 from the outside when there is no room entry person ENP and no room exit person EXP.
  • the face authentication device 10 may control unlocking and locking of the door D.
  • An indoor camera 20I for acquiring an image used for face authentication may be provided above the vicinity of the door D on the room 101 side.
  • the indoor camera 20I may acquire the facial image of the person EXP who has left the room.
  • an outdoor camera 200 for acquiring an image used for face authentication may be provided above the door D outside the room 101 .
  • the outdoor camera 20O may acquire the face image of the room occupant ENP.
  • the face authentication device 10 may authenticate the person entering the room ENP and the person leaving the room EXP.
  • the face authentication device 10 may perform face authentication using face images of the person entering the room ENP and the person leaving the room EXP.
  • the face authentication device 10 may perform face authentication using the face image of the person entering the room ENP captured by the outdoor camera 20O or the face image of the person leaving the room EXP captured by the indoor camera 20I.
  • the face authentication device 10 acquires an image from the outdoor camera 20O when the person ENP enters the room 101, and acquires an image from the indoor camera 20I when the person EXP leaves the room 101. good.
  • the face authentication device 10 performs face authentication processing using the acquired image, unlocks the door D when the face authentication is successful, and allows the person entering the room ENP and the person leaving the room EXP to communicate with the room 101 and the outside. may be allowed to come and go.
  • Lighting L may be provided on the ceiling of the room 101 .
  • An indoor switch SI may be provided on the wall near the door D in the room 101 .
  • an outdoor switch SO may be provided on the wall near the door D outside the room 101 .
  • the outdoor switch SO and the indoor switch SI may be an instruction input mechanism for switching the lighting L between the lit state and the extinguished state.
  • the person entering the room ENP may turn on the lighting L by operating the outdoor switch SO.
  • the person EXP who has left the room may turn off the lighting L by operating the indoor switch SI.
  • FIG. 3 shows an image I used for face recognition operation and power saving operation in this embodiment.
  • the image I may be an image captured by the indoor camera 20I. If there is a person EXP who is leaving the room 101, the indoor camera 20I may capture the image I so that at least the face of the person EXP who is leaving the room is included.
  • the indoor camera 20I captures an image I so that the fluorescent marker FM as a light emitting area that emits light in a dark place is included within the angle of view.
  • the horizontal width of the fluorescent marker FM may occupy a predetermined proportion of the horizontal width of the image I or more.
  • the fluorescent marker FM may be provided in a certain range such as a wall of the room 101 so as to be within the imaging range of the indoor camera 20I.
  • the fluorescent marker FM may be provided by applying a fluorescent paint containing an afterglow fluorescent substance to a region included in the angle of view of the indoor camera 20I.
  • the fluorescent marker FM may be provided by attaching a fluorescent seal to a region included in the angle of view of the indoor camera 20I.
  • the fluorescent marker FM may be provided so as to be reflected in a horizontal line at a height near the center of the image captured by the indoor camera 20I.
  • the fluorescent marker FM may be provided in the angle of view of the indoor camera 20I so that the person leaving the room EXP to be authenticated is reflected in the central portion of the fluorescent marker FM.
  • FIG. 3 is a block diagram showing the configuration of the face authentication device 10 according to this embodiment.
  • the face authentication device 10 includes an arithmetic device 11 and a storage device 12. Furthermore, the face authentication device 10 may include a communication device 13 , an input device 14 and an output device 15 . However, the face authentication device 10 does not have to include at least one of the communication device 13 , the input device 14 and the output device 15 . Arithmetic device 11 , storage device 12 , communication device 13 , input device 14 , and output device 15 may be connected via data bus 16 .
  • the computing device 11 includes, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field Programmable Gate Array). Arithmetic device 11 reads a computer program. For example, arithmetic device 11 may read a computer program stored in storage device 12 . For example, the computing device 11 reads a computer program stored in a computer-readable and non-temporary recording medium by a recording medium reading device (not shown) provided in the face authentication device 10 (for example, an input device 14 to be described later). can be read using The arithmetic device 11 may acquire (that is, download) a computer program from a device (not shown) arranged outside the face authentication device 10 via the communication device 13 (or other communication device).
  • a recording medium reading device not shown
  • the arithmetic device 11 may acquire (that is, download) a computer program from a device (not shown) arranged outside the face authentication device 10 via the communication device 13 (or other communication device).
  • Arithmetic device 11 executes the read computer program. As a result, logical functional blocks for executing the operations to be performed by the face authentication device 10 are realized in the arithmetic device 11 . In other words, the arithmetic device 11 can function as a controller for realizing logical functional blocks for executing the operations (in other words, processing) that the face authentication device 10 should perform.
  • FIG. 3 shows an example of logical functional blocks implemented within the computing device 11 for performing face authentication operations and power saving operations.
  • the computing device 11 includes an image acquisition unit 111 as a specific example of "image acquisition means”, a determination unit 112 as a specific example of “determination means”, and a “switching means”.
  • a switching unit 113 which is a specific example of
  • an authentication unit 114 which is a specific example of “authentication means”, are implemented.
  • the determination unit 112 may include a light emission state determination unit 1121 that determines the light emission state.
  • the computing device 11 does not have to include the authentication unit 114 .
  • the storage device 12 can store desired data.
  • the storage device 12 may temporarily store computer programs executed by the arithmetic device 11 .
  • the storage device 12 may temporarily store data temporarily used by the arithmetic device 11 while the arithmetic device 11 is executing a computer program.
  • the storage device 12 may store data that the face authentication device 10 saves over a long period of time.
  • the storage device 12 may include at least one of RAM (Random Access Memory), ROM (Read Only Memory), hard disk device, magneto-optical disk device, SSD (Solid State Drive), and disk array device. good. That is, storage device 12 may include non-transitory recording media.
  • the storage device 12 may store the master image MI used for the authentication operation by the authentication unit 114 .
  • the communication device 13 can communicate with devices external to the face authentication device 10 via a communication network (not shown).
  • the communication device 13 may be able to communicate with the indoor camera 20I, the outdoor camera 20O, and the door D.
  • the input device 14 is a device that accepts input of information to the face authentication device 10 from the outside of the face authentication device 10 .
  • the input device 14 may include an operating device (for example, at least one of a keyboard, a mouse, and a touch panel) operable by an operator of the face authentication device 10 .
  • the input device 14 may include a reading device capable of reading information recorded as data on a recording medium that can be externally attached to the face authentication device 10 .
  • the output device 15 is a device that outputs information to the outside of the face authentication device 10 .
  • the output device 15 may output information as an image. That is, the output device 15 may include a display device (so-called display) capable of displaying an image showing information to be output.
  • the output device 15 may output information as voice.
  • the output device 15 may include an audio device capable of outputting audio (so-called speaker).
  • the output device 15 may output information on paper.
  • the output device 15 may include a printing device (so-called printer) capable of printing desired information on paper.
  • FIG. 5 is an example of an image I used by the determination unit 112 for the determination operation.
  • [Table 1] below shows power consumption modes corresponding to the states of the room 101 .
  • the determination unit 112 determines whether or not face authentication processing is necessary according to the light emission state of the fluorescent marker FM.
  • FIG. 5(a) shows an image Ia when the illumination L is on. Since the illumination L is on and the place is bright, the fluorescent marker FM reflected in the image Ia does not emit light. Therefore, the ratio of the fluorescent marker FM in the fluorescent region FR reflected in the image Ia is 0%.
  • a fluorescent region FR is a region containing the fluorescent marker FM in the image Ia.
  • the power consumption mode is the first mode. The mode may remain, the frame rate of the camera may be relatively high, and the face authentication operation by the authentication unit 114 may be continued.
  • FIG. 5(b) shows the image Ib when the illumination L is turned off. Since the illumination L is turned off and the place is dark, the fluorescent marker FM reflected in the image Ib emits light. Also, the leaving person EXP is leaving the room, and the leaving person EXP is reflected in the image Ib. Therefore, the ratio of the fluorescent markers FM in the fluorescent region FR reflected in the image Ib is less than the first threshold.
  • the first threshold may be, for example, 25%.
  • the authentication operation of the person leaving the room EXP is required.
  • the power consumption mode may remain in the first mode, the frame rate of the camera may be relatively high, and the face authentication operation by the authentication unit 114 may continue.
  • FIG. 5(c) shows the image Ic when the illumination L is turned off. Since the illumination L is turned off and the place is dark, the fluorescent marker FM reflected in the image Ic is emitting light. In addition, since there is no exiting person EXP, the exiting person EXP does not appear in the image Ic. Therefore, the ratio of the fluorescent marker FM in the fluorescent region FR captured in the image Ic is equal to or greater than the first threshold.
  • the first threshold may be, for example, 25%.
  • the power consumption mode may be switched to the second mode, the frame rate of the camera may be switched to a relatively low level, and the face authentication operation by the authentication unit 114 may be stopped.
  • the determining unit 112 may determine whether or not the authentication process is necessary based on the area emitting light in the fluorescent area FR.
  • the determination unit 112 may determine whether or not authentication processing is necessary according to the ratio of regions brighter than the surroundings included in the fluorescent region FR. For example, when the illumination L is on, the fluorescent region FR is uniformly bright, so the region brighter than the surroundings is 0%. For example, when the illumination L is turned off and there is nothing blocking the space between the indoor camera 20I and the fluorescent marker FM, the area of the fluorescent marker FM included in the fluorescent area FR becomes brighter than the surroundings.
  • a portion of the fluorescent marker FM included in the fluorescent region FR is The percentage of the area that is shielded by the exiting person EXP and is brighter than the surroundings is smaller than when there is no exiting person EXP.
  • the first threshold for example 25%, can be determined according to the proportion of the fluorescent marker FM hidden when a person stands in front of the indoor camera 20I.
  • the first threshold value may be an arbitrary value that is adjusted according to the conditions of the room 101, the range that can be captured within the angle of view by the indoor camera 20I, and the range in which the fluorescent marker FM is provided.
  • FIG. 6 is a flow chart showing the flow of power saving operation and authentication operation performed by the face authentication device 10 in this embodiment.
  • the flowchart shown in FIG. 6 shows operations performed for each frame.
  • an image I is captured so that the fluorescent marker FM is included within the angle of view (step S10).
  • the image acquisition unit 111 acquires an image I captured so that the fluorescent marker FM is included in the angle of view (step S11).
  • the image acquired by the image acquisition unit 111 may be used by the determination unit 112 to determine whether or not a person is in the room, before face authentication processing is performed by the authentication unit 114 .
  • the determination unit 112 determines whether to switch the power consumption mode according to the light emission state of the fluorescent marker FM included in the image I (step S12).
  • the luminous state determination unit 1121 may determine whether the size of the fluorescent marker FM included in the image I is greater than or equal to the first threshold or less than the second threshold. Further, the light emitting state determination unit 1121 may determine whether the proportion of the fluorescent markers FM included in the image I is equal to or greater than the first threshold or less than the second threshold. That is, the luminous state determination unit 1121 may determine the luminous state based on the relative size of the fluorescent marker FM with respect to the image I.
  • the luminescence state determination unit 1121 may determine whether the number of pixels of the image of the fluorescent marker FM included in the image I is equal to or greater than the first threshold or less than the second threshold. That is, the luminous state determination unit 1121 may determine the luminous state based on the absolute size of the fluorescent marker FM. As shown in FIG. 5, the determination unit 112 may determine whether the ratio of the fluorescent markers FM in the fluorescent region FR included in the image I is equal to or greater than the first threshold or the second threshold. Since the determination processing has a relatively light load compared to the authentication processing, the determination unit 112 may perform the determination processing prior to the face authentication processing by the authentication unit 114 .
  • the determination unit 112 may determine whether the person is in the room 101 according to the light emission state of the fluorescent marker FM included in the image I. For example, the determination unit 112 may determine that no person is present in the room 101 when the fluorescent marker FM included in the fluorescent region FR is greater than or equal to the first threshold. Further, the determination unit 112 may determine whether the illumination L is in a lighting state or in a non-lighting state according to the light emission state of the fluorescent marker FM. Further, the determination unit 112 may detect the operation of the indoor switch SI by the person leaving the room EXP or the operation of the outdoor switch SO by the person entering the room ENP, and determine whether the lighting L is on or off. When the ratio of the fluorescent markers FM included in the image I is equal to or greater than the first threshold, the determination unit 112 switches the power consumption mode from the first mode to the second mode in which power consumption is lower than that of the first mode. You can judge.
  • the switching unit 113 sets the power consumption mode to the first mode and the ratio of the fluorescent markers FM is equal to or greater than the first threshold. is longer than or equal to a predetermined period (step S13). If the power consumption mode is the first mode and the period during which the ratio of the fluorescent marker FM is equal to or greater than the first threshold is equal to or greater than the predetermined period (step S13: Yes), the switching unit 113 switches the power consumption mode (step S14). The switching unit 113 may switch the power consumption mode from the first mode to the second mode. The switching unit 113 may stop the face authentication operation by the authentication unit 114 in the second mode.
  • the determination unit 112 determines that the illumination L is turned off and that the room 101 is empty, the face authentication processing by the authentication unit 114 may be omitted. As a result, since high-load face authentication processing is not performed, power consumption can be suppressed and power saving can be realized. Also, the frame rate of the camera in the second mode may be lower than the frame rate of the camera in the first mode. That is, when the determination unit 112 determines that the lighting L is turned off and that the room 101 is unoccupied, the frame rate of the camera may be lowered. As a result, power consumption in the unlocking system 1 is suppressed, and power saving can be achieved.
  • the lower limit of the frame rate may be set based on the angle of view of the camera and the moving speeds of the person ENP who enters the room and the person who leaves the room EXP.
  • the lower limit of the frame rate may be set based on the length of the fluorescent marker within the angle of view of the camera and the movement speed of the person ENP who entered the room and the person who left the room EXP. It may be the average moving speed of the person entering the room ENP and the person leaving the room EXP.
  • the switching unit 113 determines whether the power consumption mode is the second mode (step S15). If the power consumption mode is the second mode (step S15: Yes), the switching unit 113 switches the power consumption mode (step S16).
  • the switching unit 113 may switch the power consumption mode from the second mode to the first mode.
  • the frame rate of the camera in the first mode may be higher than the frame rate of the camera in the second mode.
  • the frame rate of the camera in the first mode may be a frame rate suitable for face authentication processing.
  • the switching unit 113 may cause the authentication unit 114 to start face authentication operation.
  • the second threshold may be the same value as the first threshold, or may be a different value, and may be determined according to the environment.
  • the second threshold may be 25%, for example.
  • the authentication unit 114 performs face authentication using a face image included within the angle of view of image I.
  • the authentication unit 114 may perform face detection processing, feature amount extraction processing, and matching processing with the master image MI registered in the storage device 12 . If the authentication by the authentication unit 114 is successful (step S17: Yes), the face authentication device 10 unlocks the door D (step S18).
  • the face authentication device 10 may transmit a control signal instructing the door D to unlock the door D via the communication device 13 . Further, the face authentication device 10 may transmit a control signal instructing the door D to lock the door D after a predetermined period of time has elapsed.
  • the face authentication device 10 does not unlock the door D, and the door D remains locked.
  • the face authentication device 10 in this embodiment may be applied mainly when authenticating a person EXP who leaves the room 101 .
  • the process of authenticating the person entering the room ENP may be performed all the time, and the outdoor camera 20O may be always activated.
  • the face recognition device 10 detects that the light in the room is turned off, determines that the person does not exist, and determines that the person exists. If not, power consumption of the unlocking system 1 may be suppressed by stopping authentication processing of the face authentication device 10 .
  • the face authentication device 10 since the face authentication device 10 turns on the illumination L when the person ENP enters the room, the face authentication processing by the authentication unit 114 may be restarted.
  • the light-emitting region may emit light when the illumination L is turned off.
  • a fluorescent paint containing an afterglow phosphor and attachment of a fluorescent seal for example, a fluorescent lamp or the like that collects light may be applied.
  • the fluorescent marker FM is used to draw a horizontal line on the wall. All you have to do is for example, a plurality of fluorescent stickers may be prepared as the light-emitting area so that at least part of the light-emitting area is hidden when a person is within the angle of view of the camera.
  • the determination unit 112 may determine whether the fluorescent marker FM or the fluorescent sticker is hidden by a person based on whether the fluorescent marker FM or the fluorescent sticker is divided. Further, when the horizontal length of the fluorescent marker FM or the fluorescent sticker changes, the determination unit 112 may determine that the person is present because the fluorescent marker FM or the fluorescent sticker is hidden.
  • the determination unit 112 may compare the ratio of the light emitting area with a third threshold different from the first threshold, and the power mode may have a third mode. That is, the determination unit 112 determines to switch the power consumption mode from the first mode to the third mode when the ratio of the light emitting region included in the image is equal to or greater than the third threshold. The mode may be switched from the first mode to the third mode.
  • the frame rate of the camera in the first mode may be higher than the frame rate of the camera in the second mode, and the face authentication operation by the authentication unit 114 may be stopped in the third mode, or and (2) the frame rate of the camera in the first mode is higher than the frame rate of the camera in the third mode, and the face authentication operation by the authentication unit 114 may be stopped in the second mode. That is, the timing of changing the frame rate of the camera and the timing of stopping the face authentication operation by the authentication unit 114 may be different.
  • the face authentication device 10 can switch the power consumption mode according to the light emitting state of the light emitting region included in the image captured so that the light emitting region that emits light in a dark place is included in the angle of view. can. That is, the face authentication device 10 can change the power consumption by providing a simple mechanism of a light emitting area at the angle of view of the camera. Furthermore, the face authentication device 10 according to the present embodiment switches the power consumption mode from the first mode to the second mode in which power consumption is reduced when the ratio of the light emitting area included in the image is equal to or greater than the first threshold. Therefore, power consumption can be suppressed.
  • the face authentication device 10 of the present embodiment uses the fluorescent marker FM as the light emitting region, it is relatively inexpensive and easy to install compared to the case of using a human sensor such as an infrared sensor. is also advantageous. When introducing a motion sensor or the like, introduction costs such as the purchase cost of the sensor and the construction cost for installation are incurred.
  • introduction costs such as the purchase cost of the sensor and the construction cost for installation are incurred.
  • a method of determining the presence or absence of a person in the room 101 if a method of counting the number of people in the room is adopted, such as increasing the count by 1 when entering the room and decreasing the count by 1 when leaving the room, In the event that a person who has been authenticated and another person are tailgating at the same time, it is not possible to accurately grasp the presence of the person in the room.
  • the face authentication device 10 of the present embodiment can accurately grasp whether there is a person EXP who wants to leave the room 101 even when there is tailgating.
  • Authentication for entering and leaving the room 101 is used both for entering and leaving the room. Even in such a case, authentication processing is always running in many cases. However, at least when there is no person in the room 101, authentication processing inside the room 101 is unnecessary. Therefore, the face authentication device 10 of the present embodiment can stop face authentication processing during a period when no one is in the room 101 and the illumination L is turned off, thereby suppressing power consumption. be able to. Image processing has a lighter processing load than face authentication processing. Therefore, the face authentication device 10 determines the presence of a person who wishes to enter or leave the room 101 by image processing, and stops face authentication processing when it can be determined that the person does not exist.
  • Face authentication processing has a heavier processing load than image processing, so stopping the authentication processing can lighten the processing load of the system. That is, it is possible to reduce the power consumed by the unlocking system 1 .
  • the frequency of the authentication operation of the leaving person EXP decreases, the frame rate of the camera can be lowered, thereby further reducing power consumption.
  • the face authentication operation is started when the face authentication operation becomes necessary, inconvenience to the user can be prevented.
  • the power mode is switched when the leaving person EXP does not exist within the angle of view in the light-off state for a predetermined period of time, so the power consumption increases. can be prevented.
  • the horizontal width of the light-emitting region employed by the face authentication device 10 of the present embodiment occupies a predetermined proportion or more of the horizontal width of the image, the exiting person EXP enters the angle of view in the off state. can be determined with high accuracy.
  • the mechanism for performing the face authentication operation may be provided in a device external to the image processing device. That is, the switching unit 113 may switch the operation mode of a mechanism that performs an external authentication operation via a switching signal via the communication device 13 .
  • Appendix 1 an image acquisition means for acquiring an image captured such that a light emitting region that emits light in a dark place is included in an angle of view; determining means for determining whether or not to switch a power consumption mode according to the light emitting state of the light emitting region included in the image; and switching means for switching the power consumption mode according to the determination result of the determination means.
  • the determination means switches the mode of power consumption from a first mode to a second mode in which power consumption is lower than that of the first mode when a ratio of the light emitting area included in the image is equal to or greater than a first threshold.
  • the image processing apparatus determines to be The image processing apparatus according to appendix 1, wherein the switching unit switches the mode of power consumption from the first mode to the second mode according to a determination result of the determination unit.
  • the image acquisition means acquires the image from a camera that generates the image by capturing an image of an imaging target area such that the light emitting area is included in an angle of view;
  • the image processing device according to appendix 2, wherein a frame rate of the camera in the first mode is higher than a frame rate of the camera in the second mode.
  • Appendix 4 Further comprising authentication means for performing a face authentication operation using a face image included in the image, 4.
  • the image processing apparatus according to appendix 2 or 3, wherein the switching unit stops the face authentication operation by the authentication unit in the second mode.
  • the determining means determines to switch the mode of power consumption from the second mode to the first mode when the ratio is less than a second threshold;
  • the image processing apparatus according to appendix 4, wherein the switching unit causes the authentication unit to start the face authentication operation when switching the power consumption mode to the first mode.
  • [Appendix 6] The image according to any one of Supplementary Notes 2 to 5, wherein the determination means determines that the first mode is switched to the second mode when the period in which the ratio is equal to or greater than the first threshold continues for a predetermined period or longer. processing equipment.
  • [Appendix 8] Acquiring an image captured so that a light emitting area that emits light in a dark place is included in the angle of view, determining whether to switch a power consumption mode according to the light emitting state of the light emitting region included in the image; An image processing method, wherein the mode of power consumption is switched according to the result of the determination.
  • [Appendix 9] to the computer Acquiring an image captured so that a light emitting area that emits light in a dark place is included in the angle of view, determining whether to switch a power consumption mode according to the light emitting state of the light emitting region included in the image;
  • a recording medium recording a computer program for executing an image processing method for switching the power consumption mode according to the result of the determination.
  • Unlocking system 1000 Image processing device 10 Face authentication devices 1011, 111 Image acquisition units 1012, 112 Determination units 1013, 113 Switching unit 114 Authentication unit ENP Entering person EXP Leaving room 20O Outdoor camera 20I Indoor camera D Door SO Outdoor switch SI Indoor Switch L Lighting 101 Indoor FM Fluorescent marker FR Fluorescent region I Image

Abstract

暗所で発光する蛍光マーカーＦＭが画角内に含まれるように撮像された画像Ｉを取得する画像取得部１１１と、画像Ｉに含まれる蛍光マーカーＦＭの発光状態に応じて、電力消費のモードを切り替えるか否かを判定する判定部１１２と、判定部１１２の判定結果に応じて、電力消費のモードを切り替える切替部１１３とを備える。

Description

画像処理装置、画像処理方法、及び、記録媒体
　この開示は、画像処理装置、画像処理方法、及び、記録媒体の技術分野に関する。
　撮影手段により被写体を撮影した撮影画像に基づいて被写体を認証する認証処理を行う被写体認証装置の制御を、認証処理により適合であると判定した後も認証処理を反復して実行する認証反復処理と、認証処理の反復を停止する反復停止指示を入力手段により受け付ける反復停止指示受付処理と、受け付けた反復停止指示を予め登録された正規指示と比較して真偽判定する真偽判定処理と、該真偽判定処理の判定結果が真であった場合に認証反復処理を停止する反復停止処理とを実行し、成りすましに対するセキュリティの信頼性を向上させると共に、消費電力を抑制することが特許文献１に記載されている。また、一部に透明窓面を有する侵入禁止区域内に設けられた赤外線が照射されている部分のみ撮影が可能な白黒監視カメラにより監視を行う侵入者検知装置において、侵入禁止区域外部における透明窓面部分近くに沿って赤外線を照射する赤外線照射器を設け、赤外線に照射された人が白黒監視カメラに撮影され、かつ、撮影された人の有無を画像処理により検知し、その後所定時間停滞状態にあると判断されたとき、当該人を侵入者と判断することが特許文献２に記載されている。また、カメラにより撮影された映像からセキュリティ用識別情報として特徴量情報を取得し、この特徴量情報をエリアセキュリティの認証処理に利用し、特徴量情報に基づいて指定のエリアでのエリアセキュリティを判定することが特許文献３に記載されている。
特開２００６－２５９９２２号公報 特開平１０－８３４８７号公報 特開２０１０－１９８２０７号公報
　この開示は、先行技術文献に記載された技術の改良を目的とする画像処理装置、画像処理方法、及び、記録媒体を提供することを課題とする。
　画像処理装置の一の態様は、暗所で発光する発光領域が画角内に含まれるように撮像された画像を取得する画像取得手段と、前記画像に含まれる前記発光領域の発光状態に応じて、電力消費のモードを切り替えるか否かを判定する判定手段と、前記判定手段の判定結果に応じて、前記電力消費のモードを切り替える切替手段とを備える。
　画像処理方法の一の態様は、暗所で発光する発光領域が画角内に含まれるように撮像された画像を取得し、前記画像に含まれる前記発光領域の発光状態に応じて、電力消費のモードを切り替えるか否かを判定し、前記判定の結果に応じて、前記電力消費のモードを切り替える。
　記録媒体の一の態様は、コンピュータに、暗所で発光する発光領域が画角内に含まれるように撮像された画像を取得し、前記画像に含まれる前記発光領域の発光状態に応じて、電力消費のモードを切り替えるか否かを判定し、前記判定の結果に応じて、前記電力消費のモードを切り替える画像処理方法を実行させるためのコンピュータプログラムが記録されている。
図１は、第１実施形態における顔認証装置の構成を示すブロック図である。 図２は、第２実施形態における解錠システムの概略図である。 図３は、第２実施形態における顔認証装置が取得する画像の概略図である。 図４は、第２実施形態における顔認証装置の構成を示すブロック図である。 図５は、第２実施形態における顔認証装置が行う判定動作の概念図である。 図６は、第２実施形態における顔認証装置が行う省電力動作、及び顔認証動作の流れを示すフローチャートである。
　以下、図面を参照しながら、認証装置、認証方法、及び、記録媒体の実施形態について説明する。
　［１：第１実施形態］
　画像処理装置、画像処理方法、及び、記録媒体の第１実施形態について説明する。以下では、画像処理装置、画像処理方法、及び記録媒体の第１実施形態が適用された画像処理装置１０００を用いて、画像処理装置、画像処理方法、及び記録媒体の第１実施形態について説明する。
　［１－１：画像処理装置１０００の構成］
　図１を参照しながら、第１実施形態における画像処理装置１０００の構成について説明する。図１は、第１実施形態における画像処理装置１０００の構成を示すブロック図である。
　図１に示すように、画像処理装置１０００は、画像取得部１０１１と、判定部１０１２と、切替部１０１３とを備える。画像取得部１０１１は、暗所で発光する発光領域が画角内に含まれるように撮像された画像を取得する。判定部１０１２は、画像に含まれる発光領域の発光状態に応じて、電力消費のモードを切り替えるか否かを判定する。切替部１０１３は、判定部１０１２の判定結果に応じて、電力消費のモードを切り替える。
　［１－２：画像処理装置１０００の技術的効果］
　第１実施形態における画像処理装置１０００は、暗所で発光する発光領域が画角内に含まれるように撮像された画像に含まれる発光領域の発光状態に応じて、電力消費のモードを切り替えることができる。すなわち、画像処理装置１０００は、カメラの画角に発光領域という簡易な機構を設けたことで、電力消費を変更することができる。
　［２：第２実施形態］
　以下、図面を参照しながら、画像処理装置、画像処理方法、及び、記録媒体の実施形態について説明する。以下では、画像処理装置、画像処理方法、及び記録媒体の実施形態が適用された画像処理装置としての顔認証装置１０を用いて、画像処理装置、画像処理方法、及び記録媒体の実施形態について説明する。
　［２－１：解錠システム１の概要］
　はじめに、本実施形態における解錠システム１の概要について説明する。図２は、本実施形態における解錠システム１の概略図である。解錠システム１は、扉Ｄ、顔認証装置１０、室外カメラ２０Ｏ、室内カメラ２０Ｉ、室外スイッチＳＯ、室内スイッチＳＩ、照明Ｌ、及び蛍光マーカーＦＭを含んでいる。扉Ｄは、建物内のある区画された空間である室内１０１の入口に設けられており、当該入口を閉じることにより、室内１０１と外部とを遮断してもよい。扉Ｄは、入室者ＥＮＰ及び退室者ＥＸＰが存在しない場合には、施錠されており、室内１０１と外部とは遮断されていてよい。扉Ｄは、解錠された場合、入室者ＥＮＰ及び退室者ＥＸＰの、室内１０１と外部との行き来を可能にしてもよい。顔認証装置１０は、扉Ｄの解錠、及び施錠を制御してもよい。
　室内１０１側における扉Ｄの付近の上方には、顔認証に用いる画像を取得するための室内カメラ２０Ｉが設けられていてよい。室内カメラ２０Ｉは、退室者ＥＸＰの顔画像を取得してよい。また、室内１０１の外部における扉Ｄの付近の上方には、顔認証に用いる画像を取得するための室外カメラ２０Ｏが設けられていてよい。室外カメラ２０Ｏは、入室者ＥＮＰの顔画像を取得してよい。
　顔認証装置１０は、入室者ＥＮＰ及び退室者ＥＸＰを認証してよい。顔認証装置１０は、入室者ＥＮＰ及び退室者ＥＸＰの顔画像を用いた顔認証をしてもよい。顔認証装置１０は、室外カメラ２０Ｏが撮像した入室者ＥＮＰの顔画像、又は室内カメラ２０Ｉが撮像した退室者ＥＸＰの顔画像を用いた顔認証をしてもよい。顔認証装置１０は、入室者ＥＮＰが室内１０１の内部へ入る場合は、室外カメラ２０Ｏから画像を取得し、退室者ＥＸＰが室内１０１の外部へ出る場合は室内カメラ２０Ｉから画像を取得してもよい。顔認証装置１０は、取得した画像を用いて、顔認証処理を行い、顔認証が成功した場合に、扉Ｄの鍵を解錠し、入室者ＥＮＰ及び退室者ＥＸＰの、室内１０１と外部との行き来を可能にしてもよい。
　室内１０１の天井に、照明Ｌが設けられていてもよい。室内１０１における扉Ｄの付近の壁には、室内スイッチＳＩが設けられていてもよい。また、室内１０１の外部における扉Ｄの付近の壁には、室外スイッチＳＯが設けられていてもよい。室外スイッチＳＯ及び室内スイッチＳＩは、照明Ｌの点灯状態と消灯状態とを切り替えるための指示入力機構であってもよい。例えば、入室者ＥＮＰは、室外スイッチＳＯを操作することにより、照明Ｌを点灯状態にしてもよい。また、退室者ＥＸＰは、室内スイッチＳＩを操作することにより、照明Ｌを消灯状態にしてもよい。
　［２－２：顔認証動作、及び省電力動作に用いられる画像Ｉの概要］
　図３を用いて、本実施形態における顔認証動作、及び省電力動作に用いられる画像Ｉの概要について説明する。図３は、本実施形態における顔認証動作、及び省電力動作に用いられる画像Ｉを示している。画像Ｉは、室内カメラ２０Ｉにより撮像された画像であってもよい。室内１０１から退場しようとする退室者ＥＸＰが存在する場合、室内カメラ２０Ｉは、少なくとも退室者ＥＸＰの顔が含まれるように画像Ｉを撮像してもよい。
　図３に示すように、室内カメラ２０Ｉは、暗所で発光する発光領域としての蛍光マーカーＦＭが画角内に含まれるように画像Ｉを撮像する。蛍光マーカーＦＭの水平方向の幅は、画像Ｉの水平方向の幅の所定以上割合を占めていてもよい。
　蛍光マーカーＦＭは、室内カメラ２０Ｉの撮像範囲に入るように、室内１０１の壁等の一定範囲に設けられていてもよい。蛍光マーカーＦＭは、室内カメラ２０Ｉの画角内に含まれる領域に、残光性蛍光体を含む蛍光塗料が塗布されて設けられていてもよい。蛍光マーカーＦＭは、室内カメラ２０Ｉの画角内に含まれる領域に、蛍光シールが貼付けされて設けられていてもよい。図３に示すように、蛍光マーカーＦＭは、室内カメラ２０Ｉが撮像した画像上の真ん中付近の高さに横一線に写り込むように設けられていてもよい。蛍光マーカーＦＭは、室内カメラ２０Ｉの画角内において、蛍光マーカーＦＭの中央部に、認証対象の退室者ＥＸＰが写り込むように設けられていてもよい。
　［２－３：顔認証装置１０の構成］
　図３を参照しながら、本実施形態における顔認証装置１０の構成について説明する。図３は、本実施形態における顔認証装置１０の構成を示すブロック図である。
　図３に示すように、顔認証装置１０は、演算装置１１と、記憶装置１２とを備えている。更に、顔認証装置１０は、通信装置１３と、入力装置１４と、出力装置１５とを備えていてもよい。但し、顔認証装置１０は、通信装置１３、入力装置１４及び出力装置１５のうちの少なくとも１つを備えていなくてもよい。演算装置１１と、記憶装置１２と、通信装置１３と、入力装置１４と、出力装置１５とは、データバス１６を介して接続されていてもよい。
　演算装置１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｅｃｓｓｉｎｇ　Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のうちの少なくとも１つを含む。演算装置１１は、コンピュータプログラムを読み込む。例えば、演算装置１１は、記憶装置１２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置１１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、顔認証装置１０が備える図示しない記録媒体読み取り装置（例えば、後述する入力装置１４）を用いて読み込んでもよい。演算装置１１は、通信装置１３（或いは、その他の通信装置）を介して、顔認証装置１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置１１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置１１内には、顔認証装置１０が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置１１は、顔認証装置１０が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
　図３には、顔認証動作、及び省電力動作を実行するために演算装置１１内に実現される論理的な機能ブロックの一例が示されている。図３に示すように、演算装置１１内には、「画像取得手段」の一具体例である画像取得部１１１と、「判定手段」の一具体例である判定部１１２と、「切替手段」の一具体例である切替部１１３と、「認証手段」の一具体例である認証部１１４とが実現される。判定部１１２は、発光状態を判定する発光状態判定部１１２１を含んでいてもよい。
　尚、画像取得部１１１、判定部１１２、切替部１１３、及び認証部１１４の夫々の動作の詳細については、図６を参照しながら後に説明する。但し、演算装置１１は、認証部１１４を備えていなくてもよい。
　記憶装置１２は、所望のデータを記憶可能である。例えば、記憶装置１２は、演算装置１１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置１２は、演算装置１１がコンピュータプログラムを実行している場合に演算装置１１が一時的に使用するデータを一時的に記憶してもよい。記憶装置１２は、顔認証装置１０が長期的に保存するデータを記憶してもよい。尚、記憶装置１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも１つを含んでいてもよい。つまり、記憶装置１２は、一時的でない記録媒体を含んでいてもよい。記憶装置１２は、認証部１１４による認証動作に用いられるマスタ画像ＭＩを記憶してもよい。
　通信装置１３は、不図示の通信ネットワークを介して、顔認証装置１０の外部の装置と通信可能である。通信装置１３は、室内カメラ２０Ｉ、室外カメラ２０Ｏ、及び扉Ｄと通信可能であっていもよい。
　入力装置１４は、顔認証装置１０の外部からの顔認証装置１０に対する情報の入力を受け付ける装置である。例えば、入力装置１４は、顔認証装置１０のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも１つ）を含んでいてもよい。例えば、入力装置１４は顔認証装置１０に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。
　出力装置１５は、顔認証装置１０の外部に対して情報を出力する装置である。例えば、出力装置１５は、情報を画像として出力してもよい。つまり、出力装置１５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置１５は、情報を音声として出力してもよい。つまり、出力装置１５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置１５は、紙面に情報を出力してもよい。つまり、出力装置１５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
　［２－４：判定部１１２の判定動作の概要］
　図５は、判定部１１２が判定動作に用いる画像Ｉの一例である。また、下記［表１］は、室内１０１の状態に対応する、電力消費のモードを示す。
　［表１］
Figure JPOXMLDOC01-appb-I000001
　判定部１１２は、蛍光マーカーＦＭの発光状態に応じて、顔認証処理の必要有無を判断する。図５（ａ）は、照明Ｌが点灯状態の場合の画像Ｉａを示している。照明Ｌが点灯状態で、明所であるので、画像Ｉａに写り込む蛍光マーカーＦＭは、発光していない。したがって画像Ｉａに写り込む蛍光領域ＦＲにおける蛍光マーカーＦＭの割合は、０％である。蛍光領域ＦＲは、画像Ｉａにおいて、蛍光マーカーＦＭを含む領域である。［表１］の左側の列に示すように、室内１０１の状態が、照明Ｌ点灯状態の場合は、室内１０１に人物が存在する場合であると考えることができ、電力消費のモードは第１モードのままであってもよく、カメラのフレームレートは比較的高くてもよく、認証部１１４による顔認証動作は続行されてもよい。
　図５（ｂ）は、照明Ｌが消灯状態の場合の画像Ｉｂを示している。照明Ｌが消灯状態で、暗所であるので、画像Ｉｂに写り込む蛍光マーカーＦＭは、発光する。また、退室者ＥＸＰが退室中であり、画像Ｉｂには、退室者ＥＸＰが写り込んでいる。したがって画像Ｉｂに写り込む蛍光領域ＦＲにおける蛍光マーカーＦＭの割合は、第１閾値未満である。第１閾値は、例えば２５％であってよい。［表１］の真ん中の列に示すように、室内１０１の状態が、照明Ｌ消灯状態、かつ退室者ＥＸＰが画像Ｉに写り込んでいる場合は、退室者ＥＸＰの認証動作が必要な場合であると考えることができ、電力消費のモードは第１モードのままであってもよく、カメラのフレームレートは比較的高くてもよく、認証部１１４による顔認証動作は続行されてもよい。
　図５（ｃ）は、照明Ｌが消灯状態の場合の画像Ｉｃを示している。照明Ｌが消灯状態で、暗所であるので、画像Ｉｃに写り込む蛍光マーカーＦＭは、発光している。また、退室者ＥＸＰが存在しないので、画像Ｉｃには、退室者ＥＸＰが写り込んでいない。したがって画像Ｉｃに写り込む蛍光領域ＦＲにおける蛍光マーカーＦＭの割合は、第１閾値以上である。第１閾値は、例えば２５％であってよい。［表１］の右側の列に示すように、室内１０１の状態が、照明Ｌ消灯状態、かつ退室者ＥＸＰが画像Ｉに写り込んでいない場合は、退室者ＥＸＰの認証動作が不要な場合であると考えることができ、電力消費のモードは第２モードに切り替えられてもよく、カメラのフレームレートは比較的低く切り替えられ、認証部１１４による顔認証動作は停止されてもよい。
　また、判定部１１２は、蛍光領域ＦＲにおいて発光している領域から、認証処理の必要有無を判断してもよい。判定部１１２は、蛍光領域ＦＲに含まれる、周囲より明るい領域の割合に応じて認証処理の必要有無を判定してもよい。例えば、照明Ｌが点灯状態の場合は、蛍光領域ＦＲは一様に明るいので、周囲より明るい領域は０％になる。例えば、照明Ｌが消灯状態の場合であり、室内カメラ２０Ｉと蛍光マーカーＦＭとの間を遮るものがない場合、蛍光領域ＦＲに含まれる蛍光マーカーＦＭの領域が周囲より明るい領域となる。例えば、照明Ｌが消灯状態の場合であり、室内カメラ２０Ｉと蛍光マーカーＦＭとの間を遮るもの、例えば退室者ＥＸＰが存在する場合、蛍光領域ＦＲに含まれる蛍光マーカーＦＭの領域の一部が退室者ＥＸＰにより遮蔽され、退室者ＥＸＰが存在しない場合と比較して、周囲より明るい領域の割合が小さくなる。
　上記２５％を例に挙げた第１閾値は、人物が室内カメラ２０Ｉの前に立った場合に蛍光マーカーＦＭが隠れる割合に応じて定めることができる。第１閾値は、室内１０１の状況、室内カメラ２０Ｉの撮像により画角内に捉えることができる範囲、蛍光マーカーＦＭが設けられている範囲により、調整される任意の値であってもよい。
　［２－５：顔認証装置１０が行う省電力動作、及び顔認証動作］
　図６を参照しながら、本実施形態における顔認証装置１０が行う省電力動作、及び認証動作について説明する。図６は、本実施形態における顔認証装置１０が行う省電力動作、及び認証動作の流れを示すフローチャートである。図６に示すフローチャートは、１フレーム毎に行われる動作を示している。
　図６に示すように、蛍光マーカーＦＭが画角内に含まれるように画像Ｉを撮像する（ステップＳ１０）。画像取得部１１１は、蛍光マーカーＦＭが画角内に含まれるように撮像された画像Ｉを取得する（ステップＳ１１）。画像取得部１１１が取得した画像は、認証部１１４による顔認証処理を行う前に、判定部１１２により、在室判定に用いられてもよい。
　判定部１１２は、画像Ｉに含まれる蛍光マーカーＦＭの発光状態に応じて、電力消費のモードを切り替えるか否かを判定する（ステップＳ１２）。発光状態判定部１１２１は、画像Ｉに含まれる蛍光マーカーＦＭの大きさが第１の閾値以上か、第２の閾値未満かを判定してもよい。また、発光状態判定部１１２１は、画像Ｉに含まれる蛍光マーカーＦＭの割合が第１の閾値以上か、第２の閾値未満かを判定してもよい。すなわち、発光状態判定部１１２１は、蛍光マーカーＦＭの画像Ｉに対する相対的な大きさに基づいて、発光状態を判定してもよい。また、発光状態判定部１１２１は、画像Ｉに含まれる蛍光マーカーＦＭの画像のピクセル数等が第１の閾値以上か、第２の閾値未満かを判定してもよい。すなわち、発光状態判定部１１２１は、蛍光マーカーＦＭの絶対的な大きさに基づいて、発光状態を判定してもよい。図５に示すように、判定部１１２は、画像Ｉに含まれる蛍光領域ＦＲにおける蛍光マーカーＦＭの割合が第１閾値以上か、第２閾値かを判定してもよい。判定処理は認証処理と比較して比較的負荷が軽いので、判定部１１２は、当該判定処理を、認証部１１４による顔認証処理に先だって実施してもよい。判定部１１２は、画像Ｉに含まれる蛍光マーカーＦＭの発光状態に応じて、室内１０１の在室判定をしてもよい。判定部１１２は、例えば、蛍光領域ＦＲに含まれる蛍光マーカーＦＭが第１閾値以上の場合には、人物が室内１０１に在室していないと判定してもよい。また、判定部１１２は、蛍光マーカーＦＭの発光状態に応じて、照明Ｌが点灯状態か、又は消灯状態かを判定してもよい。さらに、判定部１１２は、室内スイッチＳＩに対する退室者ＥＸＰによる操作又は室外スイッチＳＯに対する入室者ＥＮＰによる操作を検知し、照明Ｌが点灯状態か又は消灯状態かを判定してもよい。判定部１１２は、画像Ｉに含まれる蛍光マーカーＦＭの割合が第１閾値以上の場合に、電力消費のモードを、第１モードから当該第１モードより電力消費が少なくなる第２モードへ切り替えると判定してもよい。
　蛍光マーカーＦＭの割合が第１閾値以上の場合（ステップＳ１２：≧第１閾値）、切替部１１３は、電力消費のモードが第１モード、かつ、蛍光マーカーＦＭの割合が第１閾値以上の場合の期間が所定期間以上か否かを判定する（ステップＳ１３）。電力消費のモードが第１モード、かつ、蛍光マーカーＦＭの割合が第１閾値以上の期間が所定期間以上である場合（ステップＳ１３：Ｙｅｓ）、切替部１１３は、電力消費のモードを切り替える（ステップＳ１４）。切替部１１３は、電力消費のモードを、第１モードから第２モードへ切り替えてもよい。切替部１１３は、第２モードにおいて、認証部１１４による顔認証動作を停止してもよい。つまり、判定部１１２が、照明Ｌが消灯状態、かつ室内１０１が無人と判断した場合は、認証部１１４による顔認証処理が省略されてもよい。その結果、高負荷な顔認証処理が行われないため、消費電力が抑制され省電力を実現できる。また、第２モードにおけるカメラのフレームレートは、第１モードにおけるカメラのフレームレートよりも低くてもよい。つまり、判定部１１２が、照明Ｌが消灯状態、かつ室内１０１が無人と判断した場合は、カメラのフレームレートが低くされてもよい。これにより、解錠システム１における消費電力が抑制され省電力を実現できる。カメラのフレームレートを低くする場合、入室者ＥＮＰ及び退室者ＥＸＰが通り過ぎる前後の画像が取得される可能性があり、入室者ＥＮＰ及び退室者ＥＸＰを見逃す場合が起こり得る。そこで、カメラの画角と、入室者ＥＮＰ及び退室者ＥＸＰの移動速度とに基づいて、フレームレートの下限を設定してもよい。カメラの画角内の蛍光マーカーの長さと、入室者ＥＮＰ及び退室者ＥＸＰの移動速度とに基づいて、フレームレートの下限を設定してもよい。入室者ＥＮＰ及び退室者ＥＸＰの平均移動速度であってもよい。
　一方、蛍光マーカーＦＭの割合が第２閾値未満の場合（ステップＳ１２：＜第２閾値）、切替部１１３は、電力消費のモードが第２モードか否かを判定する（ステップＳ１５）。電力消費のモードが第２モードの場合（ステップＳ１５：Ｙｅｓ）、切替部１１３は、電力消費のモードを切り替える（ステップＳ１６）。切替部１１３は、電力消費のモードを、第２モードから第１モードへ切り替えてもよい。第１モードにおけるカメラのフレームレートは、第２モードにおけるカメラのフレームレートよりも高くてもよい。第１モードにおけるカメラのフレームレートは、顔認証処理に適したフレームレートであってもよい。電力消費のモードを第１モードに切り替える場合に、切替部１１３は、認証部１１４による顔認証動作を開始させてもよい。第２閾値は第１閾値と同じ値であってもよく、異なる値であってもよく、環境に応じて定めてよい。第２閾値は、例えば２５％であってよい。
　認証部１１４は、画像Ｉの画角内に含まれる顔画像を用いた顔認証動作をする。認証部１１４は、顔検出処理、特徴量抽出処理、記憶装置１２に登録されているマスタ画像ＭＩとの照合処理を行ってもよい。認証部１１４による認証が成功した場合（ステップＳ１７：Ｙｅｓ）、顔認証装置１０は、扉Ｄの鍵を解錠する（ステップＳ１８）。顔認証装置１０は、通信装置１３を介し、扉Ｄに鍵の解錠を命じる制御信号を送信してもよい。また、顔認証装置１０は、所定時間が経過すると、扉Ｄに鍵の施錠を命じる制御信号を送信してもよい。一方、認証部１１４による認証が失敗した場合（ステップＳ１７：Ｎｏ）、顔認証装置１０は、扉Ｄの鍵を解錠せず、扉Ｄの鍵は施錠されたままとなる。
　なお、本実施形態における顔認証装置１０は、主に室内１０１から退室する退室者ＥＸＰを認証する場合に適用されてもよい。言い換えると、入室者ＥＮＰの認証処理は、常時行われ、室外カメラ２０Ｏは、常時起動していてもよい。顔認証装置１０は、室内１０１から人物が全員退室し、かつ、室内が消灯された場合に、顔認証装置１０が室内が消灯したことを検知し、人物が存在しないと判定し、人物が存在しない場合に顔認証装置１０の認証処理を停止して、解錠システム１の消費電力を抑制してもよい。また、顔認証装置１０は、入室者ＥＮＰが入室する際には照明Ｌが点灯されるので、認証部１１４による顔認証処理を再開させてもよい。
　なお、発光領域は、照明Ｌが消灯状態の際に発光すればよい。また、発光領域として、残光性蛍光体を含む蛍光塗料の塗布、蛍光シールの張付けの他に、例えば、光を溜め込む蛍光灯等を適用してもよい。また、上記実施形態では、蛍光マーカーＦＭを、壁に横一線を引く場合を例に挙げているが、蛍光マーカーＦＭは、カメラの画角内に人物が居ることが判定できるように設けられていればよい。例えば、カメラの画角内に人物がいる際に、発光領域の少なくとも一部が隠れるように、発光領域として複数枚の蛍光シールを用意してもよい。また、判定部１１２は、蛍光マーカーＦＭ又は蛍光シールが分断されているかにより、蛍光マーカーＦＭ又は蛍光シールが人物によって隠されているかを判定してもよい。また、判定部１１２は、蛍光マーカーＦＭ又は蛍光シールの水平方向の長さが変わった場合に、蛍光マーカーＦＭ又は蛍光シールが隠れているので、人物が存在していると判定してもよい。
　また、判定部１１２は、第１の閾値とは異なる第３の閾値と、発光領域の割合とを比較してもよく、電力モードは第３モードを有してもよい。すなわち、判定部１１２は、画像に含まれる発光領域の割合が第３閾値以上の場合に、電力消費のモードを、第１モードから第３モードへ切り替えると判定し、切替部は、電力消費のモードを、第１モードから第３モードに切り替えてもよい。この場合、例えば、（１）第１モードにおけるカメラのフレームレートは、第２モードにおけるカメラのフレームレートよりも高く、第３モードにおいて、認証部１１４による顔認証動作を停止してもよい、又は、（２）第１モードにおけるカメラのフレームレートは、第３モードにおけるカメラのフレームレートよりも高く、第２モードにおいて、認証部１１４による顔認証動作を停止してもよい。つまり、カメラのフレームレートを変えるタイミングと、認証部１１４による顔認証動作を停止させるタイミングとが異なっていてもよい。
　［２－５：顔認証装置１０の技術的効果］
　本実施形態における顔認証装置１０は、暗所で発光する発光領域が画角内に含まれるように撮像された画像に含まれる発光領域の発光状態に応じて、電力消費のモードを切り替えることができる。すなわち、顔認証装置１０は、カメラの画角に発光領域という簡易な機構を設けたことで、電力消費を変更することができる。さらに、本実施形態における顔認証装置１０は、画像に含まれる発光領域の割合が第１閾値以上の場合に、電力消費のモードを、第１モードから、電力消費が少なくなる第２モードへ切り替えるので、電力消費量を抑制を実現することができる。
　本実施形態の顔認証装置１０は、発光領域として蛍光マーカーＦＭを使用するので、例えば赤外線センサー等の人感センサーを使用した場合と比較して、比較的安価で設置も容易であるためコスト面も有利である。人感センサー等を導入する場合は、センサーの購入費、設置のための工事費等の導入コストが発生する。
　また、室内１０１の人物の有無を判定する方法として、入室の際にカウントを１増やし、退室の際にカウントを１減らす等の、室内の人の数をカウントする方法を採用すると、入室の際に認証された人物と別の人物が同時に入室する共連れがあった場合に、在室状況を正確に把握できない。これに対し、本実施形態の顔認証装置１０は、共連れがあった場合にも、室内１０１から退出したい退室者ＥＸＰが存在するかを正確に把握することができる。
　室内１０１への入退室における認証は、入室用と退室用の両方の用途で用いられているが、特に室内１０１からの退室時において、室内１０１から全員人が退室し、照明Ｌが消灯状態の場合でも常時、認証処理が動作している場合が多い。しかしながら、少なくとも室内１０１に人物が不在の場合には、室内１０１の内部における認証処理は不要である。そこで、本実施形態の顔認証装置１０は、室内１０１に人が在室しておらず、照明Ｌが消灯状態の期間は、顔認証処理を停止させることができるので、電力消費量を抑制することができる。画像処理は、顔認証処理と比較すると処理負荷が軽い。そこで、顔認証装置１０は、画像処理により、室内１０１への入退室を希望する人物の存在を判定し、存在していないと判定できる場合は、顔認証処理を停止する。顔認証処理は、画像処理と比較すると処理負荷が重いので、認証処理を停止することで、システムの処理負担が軽くすることができる。すなわち、解錠システム１が消費する電力の抑制を実現することができる。また、退室者ＥＸＰの認証動作をする必要の頻度が下がった場合に、カメラのフレームレートを低くすることができるので、さらに電力消費を抑えることができる。一方で、顔認証動作が必要な状態になった場合に、顔認証動作を開始させるので、利用者の不便を防ぐことができる。
　一方で、高頻度で、電力モードの切り替えを行うと、帰って電力消費量が多くなる場合がある。本実施形態における顔認証装置１０によれば、消灯状態において、画角内に退室者ＥＸＰが存在しない期間が所定期間継続した場合に、電力モードの切り替えを行うので、電力消費量が多くなることを防ぐことができる。
　また、本実施形態における顔認証装置１０が採用する発光領域の水平方向の幅は、画像の水平方向の幅の所定以上割合を占めるので、消灯状態において、退室者ＥＸＰが画角内に入ってきたことを精度よく判定することができる。
　なお、上記実施形態において、画像処理装置としての顔認証装置１０が認証部１１４を備える場合を説明したが、顔認証動作を行う機構は、画像処理装置の外部の装置に備わっていてもよい。すなわち、切替部１１３は、切替信号を通信装置１３を介して、外部の認証動作を行う機構の動作モードを切り替えてもよい。
　［３：付記］
　以上説明した実施形態に関して、更に以下の付記を開示する。
　［付記１］
　暗所で発光する発光領域が画角内に含まれるように撮像された画像を取得する画像取得手段と、
　前記画像に含まれる前記発光領域の発光状態に応じて、電力消費のモードを切り替えるか否かを判定する判定手段と、
　前記判定手段の判定結果に応じて、前記電力消費のモードを切り替える切替手段と
　を備える画像処理装置。
　［付記２］
　前記判定手段は、前記画像に含まれる前記発光領域の割合が第１閾値以上の場合に、前記電力消費のモードを、第１モードから当該第１モードより電力消費が少なくなる第２モードへ切り替えると判定し、
　前記切替手段は、前記判定手段の判定結果に応じて、前記電力消費のモードを、前記第１モードから前記第２モードに切り替える
　付記１に記載の画像処理装置。
　［付記３］
　前記画像取得手段は、前記発光領域が画角内に含まれるように撮像対象領域を撮像することで前記画像を生成するカメラから、前記画像を取得し、
　前記第１モードにおける前記カメラのフレームレートは、前記第２モードにおける前記カメラのフレームレートよりも高い
　付記２に記載の画像処理装置。
　［付記４］
　前記画像に含まれる顔画像を用いた顔認証動作をする認証手段を更に備え、
　前記切替手段は、前記第２モードにおいて、前記認証手段による前記顔認証動作を停止する
　付記２又は３に記載の画像処理装置。
　［付記５］
　前記判定手段は、前記割合が、第２閾値未満の場合、前記電力消費のモードを、前記第２モードから前記第１モードに切り替えると判定し、
　前記切替手段は、前記電力消費のモードを前記第１モードに切り替える場合に、前記認証手段による前記顔認証動作を開始させる
　付記４に記載の画像処理装置。
　［付記６］
　前記判定手段は、前記割合が前記第１閾値以上の期間が所定期間以上継続した場合、前記第１モードから前記第２モードに切り替えると判定する
　付記２～５の何れか１項に記載の画像処理装置。
　［付記７］
　前記発光領域の水平方向の幅は、前記画像の水平方向の幅の所定以上割合を占める
　付記１～６の何れか１項に記載の画像処理装置。
　［付記８］
　暗所で発光する発光領域が画角内に含まれるように撮像された画像を取得し、
　前記画像に含まれる前記発光領域の発光状態に応じて、電力消費のモードを切り替えるか否かを判定し、
　前記判定の結果に応じて、前記電力消費のモードを切り替える
　画像処理方法。
　［付記９］
　コンピュータに、
　暗所で発光する発光領域が画角内に含まれるように撮像された画像を取得し、
　前記画像に含まれる前記発光領域の発光状態に応じて、電力消費のモードを切り替えるか否かを判定し、
　前記判定の結果に応じて、前記電力消費のモードを切り替える
　画像処理方法を実行させるためのコンピュータプログラムが記録された記録媒体。
　上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献（例えば、公開公報）の開示を援用してこの開示の記載の一部とする。
　この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う画像処理装置、省電力方法、及び、記録媒体もまた、この開示の技術的思想に含まれる。
１　解錠システム
１０００　画像処理装置
１０　顔認証装置
１０１１，１１１　画像取得部
１０１２，１１２　判定部
１０１３，１１３　切替部
１１４　認証部
ＥＮＰ　入室者
ＥＸＰ　退室者
２０Ｏ　室外カメラ
２０Ｉ　室内カメラ
Ｄ　扉
ＳＯ　室外スイッチ
ＳＩ　室内スイッチ
Ｌ　照明
１０１　室内
ＦＭ　蛍光マーカー
ＦＲ　蛍光領域
Ｉ　画像

Claims (9)

  1. 　暗所で発光する発光領域が画角内に含まれるように撮像された画像を取得する画像取得手段と、
    　前記画像に含まれる前記発光領域の発光状態に応じて、電力消費のモードを切り替えるか否かを判定する判定手段と、
    　前記判定手段の判定結果に応じて、前記電力消費のモードを切り替える切替手段と
    　を備える画像処理装置。
  2. 　前記判定手段は、前記画像に含まれる前記発光領域の大きさが第１閾値以上の場合に、
    前記電力消費のモードを、第１モードから当該第１モードより電力消費が少なくなる第２モードへ切り替えると判定し、
    　前記切替手段は、前記判定手段の判定結果に応じて、前記電力消費のモードを、前記第１モードから前記第２モードに切り替える
    　請求項１に記載の画像処理装置。
  3. 　前記画像取得手段は、前記発光領域が画角内に含まれるように撮像対象領域を撮像することで前記画像を生成するカメラから、前記画像を取得し、
    　前記第１モードにおける前記カメラのフレームレートは、前記第２モードにおける前記カメラのフレームレートよりも高い
    　請求項２に記載の画像処理装置。
  4. 　前記画像に含まれる顔画像を用いた顔認証動作をする認証手段を更に備え、
    　前記切替手段は、前記第２モードにおいて、前記認証手段による前記顔認証動作を停止する
    　請求項２又は３に記載の画像処理装置。
  5. 　前記判定手段は、前記大きさが、第２閾値未満の場合、前記電力消費のモードを、前記第２モードから前記第１モードに切り替えると判定し、
    　前記切替手段は、前記電力消費のモードを前記第１モードに切り替える場合に、前記認証手段による前記顔認証動作を開始させる
    　請求項４に記載の画像処理装置。
  6. 　前記判定手段は、前記大きさが前記第１閾値以上の期間が所定期間以上継続した場合、前記第１モードから前記第２モードに切り替えると判定する
    　請求項２～５の何れか１項に記載の画像処理装置。
  7. 　前記発光領域の水平方向の幅は、前記画像の水平方向の幅の所定以上割合を占める
    　請求項１～６の何れか１項に記載の画像処理装置。
  8. 　暗所で発光する発光領域が画角内に含まれるように撮像された画像を取得し、
    　前記画像に含まれる前記発光領域の発光状態に応じて、電力消費のモードを切り替えるか否かを判定し、
    　前記判定の結果に応じて、前記電力消費のモードを切り替える
    　画像処理方法。
  9. 　コンピュータに、
    　暗所で発光する発光領域が画角内に含まれるように撮像された画像を取得し、
    　前記画像に含まれる前記発光領域の発光状態に応じて、電力消費のモードを切り替えるか否かを判定し、
    　前記判定の結果に応じて、前記電力消費のモードを切り替える
    　画像処理方法を実行させるためのコンピュータプログラムが記録された記録媒体。
PCT/JP2021/048531 2021-12-27 2021-12-27 画像処理装置、画像処理方法、及び、記録媒体 WO2023127002A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/048531 WO2023127002A1 (ja) 2021-12-27 2021-12-27 画像処理装置、画像処理方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/048531 WO2023127002A1 (ja) 2021-12-27 2021-12-27 画像処理装置、画像処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2023127002A1 true WO2023127002A1 (ja) 2023-07-06

Family

ID=86998304

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048531 WO2023127002A1 (ja) 2021-12-27 2021-12-27 画像処理装置、画像処理方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2023127002A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310480A (ja) * 2007-06-13 2008-12-25 Panasonic Corp 虹彩撮影装置および虹彩認証装置
JP2020008917A (ja) * 2018-07-03 2020-01-16 株式会社Ｅｉｄｅａ 拡張現実表示システム、拡張現実表示方法、及び、拡張現実表示用コンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310480A (ja) * 2007-06-13 2008-12-25 Panasonic Corp 虹彩撮影装置および虹彩認証装置
JP2020008917A (ja) * 2018-07-03 2020-01-16 株式会社Ｅｉｄｅａ 拡張現実表示システム、拡張現実表示方法、及び、拡張現実表示用コンピュータプログラム

Similar Documents

Publication Publication Date Title
US20130222564A1 (en) Apparatus for recognizing face based on environment adaptation
JP6242966B1 (ja) エレベータ制御システム
JP5360290B2 (ja) エレベーター装置
WO2023127002A1 (ja) 画像処理装置、画像処理方法、及び、記録媒体
KR20120032223A (ko) 차량 내 운전자 인증 장치 및 그 방법
JP7322250B1 (ja) エレベータシステム
JP7187629B1 (ja) エレベータの利用者検知システム
JP2000223282A (ja) 照明制御装置
JP6881853B2 (ja) エレベータの利用者検知システム
EP4083356A1 (en) Gate device, method for controlling same, and program
JP2009277628A (ja) 照明システム
JPH04259794A (ja) 入退室管理システム
KR102441928B1 (ko) 차량용 감시 장치 및 차량용 이동 객체 감지 방법
JP2007219589A (ja) 威嚇防犯装置
JP2022133769A (ja) 車両制御装置、及び車両制御方法
JP6729980B1 (ja) エレベータの利用者検知システム
CN114198010B (zh) 信息处理装置、建筑物以及方法
KR102637561B1 (ko) 이미지 분석 장치를 통해 가속 잠금 장치를 제어하여차량의 승하차에 관한 안전 사고를 예방하는 시스템
JP7305849B1 (ja) エレベータシステム
CN111453588B (zh) 电梯系统
JP7276992B2 (ja) エレベータの利用者検知システム
JP7282952B1 (ja) エレベータシステム
JP7135144B1 (ja) エレベータの利用者検知システム
JP7183457B2 (ja) エレベータの利用者検知システム
US20230036233A1 (en) Information processing device, information processing method, and storage medium