WO2024057385A1 - 情報処理システム、情報処理方法、及び、記録媒体 - Google Patents

情報処理システム、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2024057385A1
WO2024057385A1 PCT/JP2022/034160 JP2022034160W WO2024057385A1 WO 2024057385 A1 WO2024057385 A1 WO 2024057385A1 JP 2022034160 W JP2022034160 W JP 2022034160W WO 2024057385 A1 WO2024057385 A1 WO 2024057385A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
information
information processing
face information
unit
Prior art date
Application number
PCT/JP2022/034160
Other languages
English (en)
French (fr)
Inventor
数夫 柘植
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/034160 priority Critical patent/WO2024057385A1/ja
Publication of WO2024057385A1 publication Critical patent/WO2024057385A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • This disclosure relates to the technical fields of information processing systems, information processing methods, and recording media.
  • Patent Document 1 includes a plurality of image input units into which images are input, a detection unit detects an object area from the image input from the image input unit, and a feature amount is extracted from the image of the object area detected by the detection unit.
  • This document describes a technique for controlling and monitoring detection processing and feature extraction processing performed on images input by a plurality of image input units based on the detection result of an object region by a detection unit.
  • Patent Document 2 discloses that object information of one or more objects is acquired for each frame image of a moving image, the processing load of an image processing device is monitored, and object information to be matched is selected based on the processing load.
  • Patent Document 3 describes a method of first face image matching using a first image taken of a first area on a route where there is a flow of people from a first area to a second area located upstream from a regulating section. a processing unit that performs second face image matching using the first candidate face images narrowed down based on the results and a second image taken of the second area; and a communication unit that outputs the results of the second face image matching.
  • a verification device for use at a gate is described, which is equipped with a regulating section for regulating the flow of people.
  • Patent Document 4 discloses that a subject to be subject to subject matching is detected from an image, a method to be used in subject matching for the subject is specified from among a plurality of methods, and predetermined conditions are set according to the specified method.
  • An external device that can determine whether a subject satisfies a predetermined condition, select an image of a subject determined to satisfy a predetermined condition, and perform subject matching on the selected subject image using multiple methods. The technology for transmitting is described.
  • An object of this disclosure is to provide an information processing system, an information processing method, and a recording medium that aim to improve the techniques described in prior art documents.
  • One aspect of the information processing system includes an acquisition unit that sequentially acquires face information of face areas detected from sequentially captured images, a storage unit that sequentially stores the acquired face information, and a storage unit that satisfies a predetermined condition. an extraction unit that performs an extraction operation for extracting a feature quantity from each face information to be extracted, which is at least a part of the face information stored in the storage unit; and authentication means for facial recognition.
  • One aspect of the information processing method is to sequentially acquire face information of face areas detected from sequentially captured images, sequentially store the acquired face information in a storage means, and when a predetermined condition is satisfied. , performs an extraction operation of extracting feature amounts from each of the face information to be extracted, which is at least a part of the face information stored in the storage means, and performs face authentication using the feature amounts.
  • the computer sequentially acquires facial information of face areas detected from sequentially captured images, sequentially stores the acquired facial information in a storage means, and satisfies a predetermined condition. In this case, performing an extraction operation of extracting a feature quantity from each face information to be extracted, which is at least a part of the face information stored in the storage means, and performing face authentication using the feature quantity.
  • a computer program for executing the information processing method is recorded.
  • FIG. 1 is a block diagram showing the configuration of an information processing system in the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of an information processing system in the second embodiment.
  • FIG. 3 is a flowchart showing the flow of information processing operations of the information processing system in the second embodiment.
  • FIG. 4 is a conceptual diagram of the information processing operation of the information processing system in the second embodiment.
  • FIG. 5 is a conceptual diagram of an information processing system in the third embodiment.
  • FIG. 6 is a block diagram showing the configuration of an information processing system in the third embodiment.
  • FIG. 7 is a flowchart showing the flow of information processing operations of the information processing system in the third embodiment.
  • FIG. 8 is a conceptual diagram of the information processing operation of the information processing system in the third embodiment.
  • FIG. 9 is a block diagram showing the configuration of an information processing system in the fourth embodiment.
  • FIG. 10 is a flowchart showing the flow of information processing operations of the information processing system in the fourth embodiment.
  • FIG. 1 is a block diagram showing the configuration of an information processing system S1 in the first embodiment.
  • the information processing system S1 includes an acquisition section 11, a storage section 12, an extraction section 13, and an authentication section 14.
  • the acquisition unit 11 sequentially acquires face information of face areas detected from sequentially captured images.
  • the storage unit 12 sequentially stores the acquired face information.
  • the extraction unit 13 performs an extraction operation of extracting a feature amount from each piece of face information to be extracted, which is at least a part of the face information stored in the storage unit 12.
  • the authentication unit 14 performs face authentication using feature amounts.
  • the information processing system S1 in the first embodiment extracts a feature amount from each piece of face information to be extracted, which is at least part of the face information stored in the storage unit 12, when a predetermined condition is satisfied. That is, by temporarily storing face information in the storage unit 12 before the extraction operation, a large amount of face information can be processed at once. Thereby, the number of feature values extracted per time can be increased, and throughput can be increased.
  • the information processing system S2 in the second embodiment may be applied to a situation where it is necessary to authenticate a plurality of subjects P one after another.
  • FIG. 2 is a block diagram of the information processing system S2 in the second embodiment.
  • the information processing system S2 in the second embodiment may include an information processing device 2 and an imaging device C. [2-1: Configuration of information processing device 2]
  • the information processing device 2 includes a calculation device 21 and a storage device 22. Furthermore, the information processing device 2 may include a communication device 23, an input device 24, and an output device 25. However, the information processing device 2 does not need to include at least one of the communication device 23, the input device 24, and the output device 25.
  • the arithmetic device 21, the storage device 22, the communication device 23, the input device 24, and the output device 25 may be connected via a data bus 26.
  • the arithmetic device 21 includes at least a GPU (Graphics Processing Unit).
  • the arithmetic device 21 may further include, for example, at least one of a CPU (Central Processing Unit) and an FPGA (Field Programmable Gate Array).
  • Arithmetic device 21 reads a computer program.
  • the arithmetic device 21 may read a computer program stored in the storage device 22.
  • the arithmetic device 21 reads a computer program stored in a computer-readable and non-temporary recording medium using a recording medium reading device (not shown) provided in the information processing device 2 (for example, an input device 24 described later). You can also read it using .
  • the arithmetic device 21 may acquire a computer program from a device (not shown) located outside the information processing device 2 via the communication device 23 (or other communication device) (that is, it may not be downloaded). (or may be loaded). The arithmetic device 21 executes the loaded computer program. As a result, within the arithmetic device 21, a logical functional block for executing the operations that the information processing device 2 should perform is implemented. That is, the arithmetic device 21 can function as a controller for realizing a logical functional block for executing operations (in other words, processing) that the information processing device 2 should perform.
  • FIG. 2 shows an example of logical functional blocks implemented within the arithmetic unit 21 to execute information processing operations.
  • the arithmetic device 21 includes an acquisition unit 211, which is a specific example of the "acquisition means" described in the appendix described later, a face information processing unit 212, and An extraction unit 213 that is a specific example of an “extraction unit” and an authentication unit 214 that is a specific example of an “authentication unit” described in the appendix to be described later are realized.
  • the acquisition unit 211 may include an image reception unit 2111 and a face area detection unit 2112.
  • the face information processing section 212 may include a storage control section 2121. Details of the operations of the image receiving section 2111, face area detecting section 2112, storage controlling section 2121, extracting section 213, and authentication section 214 will be described later in detail with reference to FIGS. 3 and 4.
  • the storage device 22 can store desired data.
  • the storage device 22 may temporarily store a computer program executed by the arithmetic device 21.
  • the storage device 22 may temporarily store data that is temporarily used by the arithmetic device 21 when the arithmetic device 21 is executing a computer program.
  • the storage device 22 may store data that the information processing device 2 stores for a long period of time.
  • the storage device 22 may include at least one of a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device. good. That is, the storage device 22 may include a non-temporary recording medium.
  • the storage device 22 may include a face information storage section 221, which is a specific example of a "storage means" described in the appendix described later, a feature amount storage section 222, and a registered information database DB.
  • the storage device 22 does not need to include at least one of the face information storage section 221, the feature amount storage section 222, and the registered information database DB.
  • at least one of the face information storage section 221, the feature amount storage section 222, and the registered information database DB may be implemented in another device.
  • the communication device 23 is capable of communicating with devices external to the information processing device 2 via a communication network (not shown).
  • the information processing device 2 may transmit and receive signals to and from the imaging device C via the communication device 23.
  • the input device 24 is a device that accepts information input to the information processing device 2 from outside the information processing device 2.
  • the input device 24 may include an operating device (for example, at least one of a keyboard, a mouse, and a touch panel) that can be operated by the operator of the information processing device 2.
  • the input device 24 may include a reading device capable of reading information recorded as data on a recording medium that can be externally attached to the information processing device 2.
  • the output device 25 is a device that outputs information to the outside of the information processing device 2.
  • the output device 25 may output the information as an image.
  • the output device 25 may include a display device (so-called display) capable of displaying an image indicating information desired to be output.
  • the output device 25 may output the information as audio.
  • the output device 25 may include an audio device (so-called speaker) that can output audio.
  • the output device 25 may output information on paper. That is, the output device 25 may include a printing device (so-called printer) that can print desired information on paper.
  • FIG. 3 is a flowchart showing the flow of information processing operations performed by the information processing system S2 in the second embodiment.
  • FIG. 3(a) shows the flow of the storing operation of the face information FI
  • FIG. 3(b) shows the flow of the extraction operation and the authentication operation.
  • the storing operation of the face information FI shown in FIG. 3(a), the extracting operation shown in FIG. 3(b), and the face authentication operation may be performed in parallel.
  • FIG. 4 is a conceptual diagram of information processing operations performed by the information processing system S2 in the second embodiment.
  • the image receiving unit 2111 acquires the captured image I (step S20).
  • the imaging device C may sequentially capture the captured images I.
  • the image receiving unit 2111 acquires captured images I sequentially captured by the imaging device C via the communication device 23.
  • the operation from "start” to "end” shown in FIG. 3(a) is an operation related to one captured image I. You can.
  • the operation from "start" to "end” shown in FIG. 3(a) may be an operation for each frame.
  • the face area detection unit 2112 detects the face area F from the captured image I (step S21).
  • the face area detection unit 2112 receives the captured image I from the image receiving unit 2111, and detects the face area F included in the captured image I. For example, when the image receiving unit 2111 acquires the captured image I illustrated in FIG. Good too.
  • the storage control unit 2121 sequentially acquires the face information FI of the detected face area F and sequentially stores it in the face information storage unit 221 (step S22).
  • the face information storage unit 221 may be a storage unit that temporarily stores each face information FI before batch processing by the extraction unit 213, which will be described later.
  • the face information FI may include a face image of a face area F cut out from the captured image I.
  • the image receiving unit 2111 stores the captured image I as illustrated in FIG. 4(a).
  • the storage control unit 2121 may sequentially store face information FI3, face information FI4, face information FI5, and face information FI6 in the face information storage unit 221, as illustrated in FIG. 4(c). good. If the face information storage unit 221 stores the face information FI of the target person P corresponding to the detected face information FI, the storage control unit 2121 stores the target person P stored in the face information storage unit 221. The face information FI may be deleted. For example, if the face information FI1 and the face information FI6 are face information of the same person, the storage control unit 2121 may delete the face information FI1 from the face information storage unit 221. That is, the storage control unit 2121 may discard old face information FI of the same person in order to store the latest face information FI. The storage control unit 2121 may use a technique such as a face tracking function to determine whether the facial information FI is of the same person.
  • the face area detection unit 2112 determines whether all face areas F have been detected (step S23). If all face areas F have been detected (step S23: Yes), the operation regarding one captured image I ends. If all face areas F have not been detected (step S23: No), the process returns to step S21. That is, when the captured image I includes a plurality of face areas F, the face area detection unit 2112 may detect all the face areas F.
  • step S24 it is determined whether the number of face information FI stored in the face information storage unit 221 has reached a predetermined number.
  • the face information processing unit 212 determines whether a predetermined number of face information FIs are stored in the face information storage unit 221. If the number of face information FI stored in the face information storage unit 221 has reached the predetermined number (step S24: Yes), the process moves to step S26.
  • step S24 determines that a predetermined amount of time has passed since the previous extraction operation by the extraction unit 213. It is determined whether or not it has been done (step S25). If the predetermined time has not elapsed since the previous extraction operation by the extraction unit 213 (step S25: No), the process returns to step S24.
  • step S26 If a predetermined time has elapsed since the previous extraction operation by the extraction unit 213 (step S25: Yes), the process moves to step S26. That is, in at least one of the following cases: when the number of face information FIs stored in the face information storage unit 221 reaches a predetermined number, and when a predetermined time has passed since the previous extraction operation by the extraction unit 213, step The process moves to S26. In other words, the information processing system S2 waits for a predetermined period of time to elapse before proceeding to step S26 if the predetermined number of face information FIs have not been accumulated.
  • step S24: Yes, or step S25: Yes) the face information processing section 212 instructs the extraction section 213 to perform an extraction operation.
  • the face information processing unit 212 may collectively input to the extraction unit 213 at least some of the face information FI stored in the face information storage unit 221 to be extracted.
  • the face information processing unit 212 may input a predetermined number of face information FI at once.
  • the face information processing unit 212 may instruct the extraction unit 213 to perform batch processing using GPU resources.
  • the extraction unit 213 performs an extraction operation of extracting feature amounts from each of the face information FIs to be extracted, which are at least some of the face information FIs stored in the face information storage unit 221 (step S26).
  • the extraction unit 213 may perform the extraction operation using GPU resources.
  • the extraction unit 213 may receive a plurality of pieces of face information FI from the face information storage unit 221 via the face information processing unit 212, and may collectively extract facial feature amounts FF from the face information FI using GPU resources.
  • the facial feature amount FF extracted by the extraction section 213 may be stored in the feature amount storage section 222.
  • the number of face information FIs that the extraction unit 213 receives from the face information storage unit 221 via the face information processing unit 212 may be a predetermined number.
  • the face information processing unit 212 stores face information FI1, face information FI2, face information FI3, face information FI4, and face information FI5, as illustrated in FIG. 4(d).
  • the amount FF4 and the facial feature amount FF5 may be stored.
  • the facial feature amount FF1 may be the facial feature amount FF extracted from the facial image included in the facial information FI1
  • the facial feature amount FF2 may be the facial feature amount FF extracted from the facial image included in the facial information FI2.
  • the facial feature amount FF3 may be a facial feature amount FF extracted from a face image included in the face information FI3, and the facial feature amount FF4 may be a facial feature amount FF extracted from a face image included in the face information FI4.
  • the facial feature amount FF may be the facial feature amount FF extracted from the image
  • the facial feature amount FF5 may be the facial feature amount FF extracted from the facial image included in the facial information FI5.
  • the storage control unit 2121 may perform a deletion operation of deleting each face information FI stored in the face information storage unit 221 to be extracted.
  • the authentication unit 214 performs face authentication using the facial feature amount FF (step S27).
  • the authentication unit 214 may sequentially acquire facial feature amounts FF from the feature amount storage unit 222.
  • the authentication section 214 may perform face authentication by comparing the facial feature amount FF stored in the feature amount storage section 222 with information registered in the registered information database DB. For example, when the information processing system S2 in the second embodiment is applied to control the opening and closing of gates, the gates may be sequentially controlled to open depending on the success of authentication.
  • the authentication unit 214 determines whether face authentication has been performed for all extracted facial feature amounts FF (step S28). If face authentication is performed for all extracted facial features FF (step S28: Yes), or if a predetermined condition is satisfied (step S24 or step S25: Yes), the operation ends. If face authentication has not been performed for all of the extracted facial features FF (step S28: No), the process returns to step S27. That is, if there are a plurality of facial feature amounts FF extracted in step S26, the authentication unit 214 sequentially performs face authentication on all the facial feature amounts FF.
  • the extraction unit 213 performs the extraction operation using GPU resources
  • at least one of the acquisition unit 211, the face information processing unit 212, and the authentication unit 214 may also perform the operation using GPU resources.
  • At least one of the acquisition unit 211, the face information processing unit 212, and the authentication unit 214 may perform operations using at least one of GPU resources, CPU resources, and FPGA resources.
  • the information processing system S2 in the second embodiment operates when the number of face information FIs stored in the face information storage unit 221 reaches a predetermined number, and when a predetermined time has elapsed since the previous extraction operation by the extraction unit 213.
  • the feature amount is extracted from each of the face information FIs to be extracted, which are at least some of the face information FIs stored in the face information storage unit 221.
  • the extraction unit 213 uses GPU resources for the extraction operation, it is possible to process many face information FIs at once. That is, since the face information FI is temporarily stored in the face information storage unit 221 before the extraction operation by the extraction unit 213, it is possible to process a large number of face information FI at once.
  • the number of items processed in one extraction operation can be increased, the number of items processed per time can be increased, and high throughput can be achieved. Furthermore, since the extraction processing time per item is shortened, the waiting time until the subject P is authenticated can be reduced, and a short response can be realized. In the device that performs authentication, the overall cost is reduced when facial feature FF is extracted using GPU resources, compared to when facial feature FF is extracted using CPU resources. can be reduced. [3: Third embodiment]
  • the information processing system S3 in the third embodiment is used not only in situations where it is necessary to authenticate a plurality of subjects P one after another, but also in situations where it is not known which subject P should be authenticated until the last moment, and in which the order of authentication is changed. May be applied to the scene.
  • the third embodiment will be described below, taking as an example a case where the authentication result by the information processing system S3 is applied to the opening/closing control of the gate device G through which the subject P can pass.
  • FIG. 5 is a conceptual diagram of the information processing system S3 in the third embodiment. As shown in FIG. 5, the information processing system S3 in the third embodiment may include an information processing device 3 and an imaging device C.
  • the gate device G is a device that can control the passage of subjects P1, P2, P3, P4, P5, and P6 (referred to as subjects P if not distinguished). .
  • the gate device G may be opened or closed depending on the authentication result by the information processing system S3.
  • the gate device G may include a plurality of flapper gates FG.
  • the subject P may be able to pass through at least one flapper gate FG among the plurality of flapper gates FG.
  • the imaging device C may be provided for each flapper gate FG.
  • the imaging device C1 provided near the flapper gate FG1 may be capable of imaging the vicinity of the flapper gate FG1.
  • the imaging device C2 provided near the flapper gate FG2 may be capable of imaging the vicinity of the flapper gate FG2.
  • the imaging device C3 provided near the flapper gate FG3 may be capable of imaging the vicinity of the flapper gate FG3.
  • the distance between the imaging device C and the subject P and the distance between the flapper gate FG and the subject P may correspond.
  • the second area A2 is the destination of the target person P, and may be an area where only the authenticated target person P can enter.
  • the flapper gate FG is controlled to be open for the authenticated subject P, and the subject P can move from the first area A1 to the second area A2 via the flapper gate FG.
  • the flapper gate FG is a member that can control passage of the subject P. Although a plate-shaped member is illustrated as the flapper gate FG, a rod-shaped member may also be used.
  • the state of the flapper gate FG may be controlled by the information processing device 3 based on the information processing result of the subject P by the information processing device 3. Specifically, when the information processing device 3 successfully authenticates the target person P (that is, it is determined that the target person P matches the registered person), the state of the flapper gate FG is set such that the target person P is The information processing device 3 may control the flapper gate FG so that the flapper gate FG can be opened.
  • the registered person may be, for example, a person who is permitted to enter the second area A2.
  • the state of the flapper gate FG is such that the target person P is in the flapper gate state.
  • the information processing device 3 may control the FG so that it is in a closed state where it cannot pass through.
  • FIG. 6 is a block diagram showing the configuration of the information processing system S3 in the third embodiment.
  • the information processing system S3 in the third embodiment may include an information processing device 3 and an imaging device C, similar to the information processing system S2 in the second embodiment.
  • the information processing device 3 in the third embodiment includes an arithmetic device 21 and a storage device 22, similar to the information processing device 2 in the second embodiment. Furthermore, the information processing device 3 in the third embodiment may include a communication device 23, an input device 24, and an output device 25 similarly to the information processing device 2 in the second embodiment. However, the information processing device 3 does not need to include at least one of the communication device 23, the input device 24, and the output device 25.
  • the acquisition unit 211 included in the calculation device 21 further includes a distance calculation unit 3113
  • the face information processing unit 212 included in the calculation device 21 includes a priority determination unit 3122 and a selection unit 3123.
  • the information processing device 2 is different from the information processing device 2 in the second embodiment in that the information processing device 2 further includes the following.
  • Other features of the information processing device 3 may be the same as other features of the information processing device 2 in the second embodiment. Therefore, in the following, parts that are different from each of the embodiments already described will be described in detail, and descriptions of other overlapping parts will be omitted as appropriate.
  • the information processing operation performed by the information processing system S3 is different from the information processing operation performed by the information processing system S2 shown in FIG. 3 in operations in step S21, step S22, and step S26.
  • the face area detection unit 2112 detects a face area F from the captured image I (step S211).
  • the face area detection unit 2112 may detect face areas F included in the captured image I in order of size starting from the face area F having the largest size.
  • the face area detection unit 2112 acquires time information indicating the time regarding the detection of the face area F (step S212).
  • the time is, for example, time or date and time
  • the time information is, for example, time information or date and time information.
  • the face area detection unit 2112 may detect when the face area F is detected from the captured image I. Alternatively, the face area detection unit 2112 may detect when the captured image I is acquired. Alternatively, the face area detection unit 2112 may detect when the captured image I is captured.
  • the distance calculation unit 3113 calculates distance information (step S213).
  • the distance information is information indicating the distance from the location where images are sequentially captured to the location of the face area F. That is, the distance calculation unit 3113 calculates the distance between the imaging device C and the subject P corresponding to the face area F.
  • the distance calculation unit 3113 calculates the distance between the imaging device C and the subject P based on the size of the face area F, the distance between the eyes included in the face area F, the size comparison result with the comparison object in the captured image I, etc. may be calculated. Further, the distance calculation unit 3113 may calculate the distance between the imaging device C and the subject P based on the measurement result by the distance measurement sensor.
  • the face information FI may include at least a face image of the face area F, time information, and distance information.
  • the time information and distance information may also be called meta information.
  • the storage control unit 2121 stores the face information FI in the face information storage unit 221 (step S221). That is, the storage control unit 2121 causes the face information storage unit 221 to store time information and distance information in association with the face image.
  • the storage control unit 2121 may cause the face information storage unit 221 to associate face information FI of the same subject P detected from the captured images I captured by the plurality of imaging devices C and store them in the face information storage unit 221.
  • the priority determination unit 3122 determines the priority of the face information FI stored in the face information storage unit 221 according to the time information and distance information (step S222). The priority determining unit 3122 determines whether the target person P corresponding to the face information FI newly stored in the face information storage unit 221 is the target person P corresponding to the already stored face information FI according to the time information and the distance information. It may be determined whether the image capturing device C is closer to the imaging device C than the image capturing device C. If the priority determining unit 3122 determines that the subject P corresponding to the new face information FI is closer to the imaging device C than the subject P corresponding to the accumulated face information FI, the priority determination unit 3122 selects the new face information. The priority of FI may be increased.
  • the face information storage unit 221 stores face information FI1, face information FI2, face information FI3, and face information FI4, and the image receiving unit 2111 stores face information FI1, face information FI2, face information FI3, and face information FI4, and the image receiving unit 2111 stores face information )
  • face information FI1, face information FI2, face information FI3, and face information FI4 are detected in the order of face information FI1, face information FI2, face information FI3, and face information FI4.
  • the size of the face area F corresponding to the face information FI1, face information FI2, face information FI3, and face information FI4 is the same as the size of the face area F5, and the face area F6 is larger than the face area F5. It is assumed that the area F7 is larger than the face area F6, and the face area F8 is larger than the face area F7. In this case, the priority determination unit 3122 determines the priority of the face information FI8 corresponding to the face area F8, the face information FI7 corresponding to the face area F7, and the face information FI6 corresponding to the face area F6, if detected earlier.
  • the priority may be set lower than the priority of the face information FI1 and higher than the priority of the face information FI2, the face information FI3, and the face information FI4.
  • the face information FI having a higher priority may be located higher in the face information storage unit 221 and may be located further to the left. That is, FIG. 8(c) exemplifies a case where the priorities are in the order of face information FI1, face information FI8, face information FI7, face information FI6, face information FI2, face information FI3, face information FI4, and face information FI5. You can leave it there.
  • the selection unit 3123 selects face information FI (step S261).
  • the selection unit 3123 selects face information FI to be included in the extraction target from the face information FI stored in the face information storage unit 221 based on the priority determined in step S222. For example, in the case illustrated in FIG. 8C, the selection unit 3123 extracts face information FI1, face information FI8, face information FI7, face information FI6, and face information FI2 stored in the face information storage unit 221. You may select it as a target.
  • the extraction unit 213 detects a facial feature amount FF from each piece of facial information FI selected by the selection unit 3123 according to an instruction from the facial information processing unit 212 (step S262).
  • the feature amount storage unit 222 stores the facial feature amount FF1 extracted from each of the face information FI1, the face information FI8, the face information FI7, the face information FI6, and the face information FI2.
  • facial feature amount FF8 facial feature amount FF7, facial feature amount FF6, and facial feature amount FF2 may be stored.
  • step S26 similar to the information processing operation in the second embodiment, the authentication unit 214 performs face authentication processing using the facial feature amount FF. If the authentication is successful, the information processing device 3 may control the opening of the gate corresponding to the facial feature amount FF for which the authentication was successful. [3-4: Technical effects of information processing system S3]
  • the information processing system S3 in the third embodiment increases the priority of the face information FI and performs the processing first.
  • the target of the extraction operation to be performed That is, the priority of the facial information FI corresponding to the subject P who should be authenticated first is increased so that the facial feature amount FF is extracted first.
  • the perceived time from the arrival of the subject P at the location to be authenticated to the completion of authentication can be shortened. If applied to the gate device G, the perceived time from the time the subject P arrives at the gate until it is unlocked can be shortened.
  • the information processing system S4 in the fourth embodiment needs to authenticate a plurality of subjects P one after another, and it is difficult to determine which subject P should be authenticated first. It may be applied to situations where the authentication is not known until the last minute, or where the order of authentication is changed. Also in the fourth embodiment, similarly to the information processing system S3 in the third embodiment, the authentication result by the information processing system S4 may be applied to the opening/closing control of the gate device G through which the subject P can pass. [4-1: Configuration of information processing system S4]
  • FIG. 9 is a block diagram showing the configuration of the information processing system S4 in the fourth embodiment.
  • the information processing system S4 in the fourth embodiment includes an information processing device 4 and an imaging device, similar to the information processing system S2 in the second embodiment and the information processing system S3 in the third embodiment. It may also contain C.
  • the information processing device 4 in the fourth embodiment includes an arithmetic device 21 and a storage device 22, similar to the information processing device 2 in the second embodiment and the information processing device 3 in the third embodiment. It is equipped with Furthermore, the information processing device 4 in the fourth embodiment, like the information processing device 2 in the second embodiment and the information processing device 3 in the third embodiment, includes a communication device 23, an input device 24, and an output device 25. It may also have the following. However, the information processing device 4 does not need to include at least one of the communication device 23, the input device 24, and the output device 25.
  • the information processing device 4 in the fourth embodiment is similar to the second embodiment in that the face information processing unit 212 included in the arithmetic device 21 further includes a first change unit 4124, a second change unit 4125, and a third change unit 4126. This is different from the information processing device 2 in the third embodiment and the information processing device 3 in the third embodiment.
  • the first changing unit 4124 changes the predetermined number according to the rate of change in the number of face information FI stored in the face information storage unit 221.
  • the second changing unit 4125 changes the predetermined time according to the time from when the extraction unit 213 performed the previous extraction operation until the number of face information FIs stored in the face information storage unit 221 reaches a predetermined number.
  • the third changing unit 4126 compares the time from the start to the completion of the extraction operation with a predetermined time, and changes the imaging interval corresponding to the imaging interval of sequential imaging.
  • the predetermined number and the predetermined time are changed depending on the situation.
  • a settable lower limit and a settable upper limit are respectively determined for the predetermined number and the predetermined time.
  • FIG. 10 is a flowchart showing the flow of information processing operations performed by the information processing system S4 in the fourth embodiment.
  • the information processing operation shown in FIG. 10 may be an operation that is periodically performed at predetermined intervals.
  • the face information processing unit 212 monitors the rate of change in the number of face information FIs stored in the face information storage unit 221. Further, the face information processing unit 212 monitors the time from when the extraction unit 213 performs the previous extraction operation until the number of face information FI stored in the face information storage unit 221 reaches a predetermined number.
  • the face information processing unit 212 determines whether the time it takes for the number of face information FIs stored in the face information storage unit 221 to reach a predetermined number tends to be short or long. It is determined whether the length is short or long (step S40). For example, the face information processing unit 212 may perform the determination by comparing it with the average of the accumulation tendency of the face information FI for the past 5 minutes.
  • the first changing unit 4124 reduces the predetermined number. Further, the second changing unit 4125 shortens the predetermined time (step S41). By reducing the predetermined number and shortening the predetermined time, it is possible to prevent the waiting time until the data is accumulated from being wasted.
  • the predetermined time is set so that the time difference between the time to accumulate up to the predetermined number and the time until the elapse of the predetermined time falls within a certain range ( ⁇ ).
  • the face information processing unit 212 determines whether at least one of the predetermined number and the predetermined time has reached a settable lower limit (step S42). If at least one of the predetermined number and the predetermined time has reached the lower limit (step S42: Yes), it is predicted that the load on the entire device is lower than expected. Therefore, the third changing unit 4126 shortens the imaging interval (step S43).
  • the image receiving unit 2111 may gradually adjust the imaging interval of the imaging device C so that the imaging interval changes by the third changing unit 4126.
  • the third changing unit 4126 compares the time from the start to the completion of the extraction operation with a predetermined time, and sequentially changes the imaging interval of the imaging. That is, the third changing unit 4126 may compare the time corresponding to the predetermined number with the predetermined time, and may change the imaging interval of sequential imaging.
  • the third changing unit 4126 may change the imaging interval of the imaging device C according to the congestion information corresponding to the imaging device C.
  • the face area detection unit 2112 may calculate congestion information.
  • the congestion information is information indicating the degree of congestion in the vicinity of the imaging device C when the face information FI is detected.
  • the face area detection unit 2112 may calculate from the number of detected face areas F included in the captured image I.
  • the third changing unit 4126 may change the imaging interval of the crowded imaging device C so that it becomes longer with priority. If the area is crowded, it is predicted that there will be little movement of the subject P, and it can be expected that increasing the imaging interval and lowering the frame rate will have little effect.
  • the load is suppressed by lengthening the imaging interval, and delays are also suppressed by prioritizing the processing of the face information FI based on the distance between the subject P and the imaging device C.
  • step S42: No If at least one of the predetermined number and the predetermined time has not reached the lower limit (step S42: No), the information processing operation shown in FIG. 10 ends.
  • step S40 the first changing unit 4124 increases the predetermined number.
  • step S45 the second changing unit 4125 lengthens the predetermined time. If the time it takes to reach the predetermined number tends to be short, it can be determined that the process is congested, so the process moves to step S45, and increases the predetermined number and predetermined time to increase the number of batch processes to improve efficiency. Plan.
  • the face information processing unit 212 determines whether at least one of the predetermined number and the predetermined time has reached the upper limit (step S46). If the upper limit has been reached, it is predicted that the load on the entire device is higher than expected. If at least one of the predetermined number and the predetermined time has reached the upper limit (step S46: Yes), the third changing unit 4126 lengthens the imaging interval (step S47). The third changing unit 4126 may instruct the imaging device C to gradually lengthen the imaging interval. If at least one of the predetermined number and the predetermined time has not reached the upper limit (step S46: No), the process moves to step S44.
  • step S40 if there is neither a short tendency nor a long tendency (step S40: M), the face information processing unit 212 determines whether the load of at least one of the GPU resource and the CPU resource is high (step S44). For example, the trend of the usage rate of at least one of the GPU resource and the CPU resource may be compared with an average value for the past 5 minutes, etc.
  • the third changing unit 4126 changes the imaging interval to become longer (step S47).
  • the image receiving unit 2111 may gradually adjust the imaging interval of the imaging device C so that the imaging interval changes by the third changing unit 4126.
  • step S44 No If the load on at least one of the GPU resource and the CPU resource is not high (step S44: No), the process moves to step S43.
  • the face information processing unit 212 periodically monitors the trend of the number of face information FIs stored in the face information storage unit 221, and stores a predetermined number of FIs in the face information storage unit 221 before batch processing by the extraction unit 213. Adjust the predetermined time according to the load situation. This controls the throughput and response to be optimal for the environment. [4-3: Technical effects of information processing system S4]
  • the first changing unit 4124 dynamically changes the predetermined number according to the load situation, so that it can be controlled to optimize the throughput and response.
  • the extraction operation using GPU resources can be started immediately.
  • the first changing unit 4124 increases the predetermined number, it becomes possible to more effectively utilize the batch extraction operation using GPU resources.
  • the second changing unit 4125 dynamically changes the predetermined time according to the load situation, it is possible to control the throughput and response to be optimal.
  • the third changing unit 4126 dynamically changes the imaging interval according to the load situation, it is possible to perform control so that the throughput and response are optimized.
  • the face information processing unit 212 stores the face information FI corresponding to the subject P who is close to the imaging device C in the face information storage unit 221 later.
  • an excellent effect can be achieved when performing a process of changing the priority so that the process can be performed first. This is particularly effective when the number of face information FIs stored in the face information storage unit 221 exceeds a predetermined number of GPU resource batch processing targets.
  • acquisition means for sequentially acquiring face information of face areas detected from sequentially captured images; storage means for sequentially storing the acquired facial information; Extracting means for performing an extraction operation of extracting a feature amount from each face information to be extracted, which is at least a part of the face information stored in the storage means, when a predetermined condition is satisfied;
  • An information processing system comprising: authentication means that performs face authentication using the feature amount.
  • the extraction means uses GPU resources for the extraction operation, The information processing system according to claim 1, wherein the face information includes a face image of the face area.
  • the face information includes a face image of the face area, time information indicating a time related to detection of the face area, and distance information indicating a distance from the sequential imaging location to the location of the face area,
  • the priority of the face information stored in the storage means is determined according to the time information and the distance information, and the extraction target is determined from the face information stored in the storage means based on the priority.
  • [Additional note 8] Sequentially acquires face information of face areas detected from sequentially captured images, sequentially storing the acquired facial information in a storage means; When a predetermined condition is satisfied, performing an extraction operation of extracting feature amounts from each piece of face information to be extracted, which is at least a part of the face information stored in the storage means; An information processing method that performs face recognition using the feature amount.
  • S1, S2, S3, S4 Information processing system 2 3, 4 Information processing device 11, 211 Acquisition unit 2111 Image receiving unit 2112 Face area detection unit 12 Storage unit 212 Face information processing unit 2121 Storage control unit 221 Face information storage unit 222 Feature storage unit 13, 213 Extraction unit 14, 214 Authentication unit 3113 Distance calculation unit 3122 Priority determination unit 3123 Selection unit 4124 First change unit 4125 Second change unit 4126 Third change unit C Imaging device I Captured image F Face area FI Face information FF Face feature amount

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

情報処理システムＳ１は、順次撮像される撮像画像から検出された顔領域Ｆの顔情報を順次取得する取得部１１と、取得された顔情報を順次記憶する記憶部１２と、所定条件を満たした場合に、記憶部１２に記憶されている顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施する抽出部１３と、特徴量を用いて顔認証をする認証部１４とを備える。

Description

情報処理システム、情報処理方法、及び、記録媒体
　この開示は、情報処理システム、情報処理方法、及び、記録媒体の技術分野に関する。
　特許文献１には、画像が入力される画像入力部を複数備え、画像入力部から入力される画像から物体領域を検出部により検出し、検出部により検出された物体領域の画像から特徴量を抽出し、検出部による物体領域の検出結果に基づいて、複数の画像入力部により入力される画像に対して行う検出処理と特徴抽出処理を制御し、監視を行う技術が記載されている。
　特許文献２には、動画像のフレーム画像ごとに１以上のオブジェクトのオブジェクト情報を取得し、画像処理装置の処理負荷を監視し、処理負荷に基づいて、照合対象のオブジェクト情報を選択し、選択されたオブジェクト情報を用いて特徴量を算出し、特徴量を用いて照合を行い、動画像中のオブジェクトとデータベースとの照合を行う技術が記載されている。
　特許文献３には、第１領域から、規制部より上流に位置する第２領域へ向かう人の流れがある経路において、第１領域を撮影した第１画像を用いた第１の顔画像照合の結果によって絞り込まれた第１候補顔画像、及び第２領域を撮影した第２画像を用いて第２の顔画像照合を行う処理部と、第２の顔画像照合の結果を出力する通信部とを備え、人の流れを規制する規制部を備えたゲートで用いられる照合装置が記載されている。
　特許文献４には、画像から被写体照合の対象となる被写体を検出し、複数の方法の中から、被写体に対する被写体照合において用いられる方法を特定し、その特定した方法に応じた所定の条件を、被写体が満たしているか判定し、所定の条件を満たしていると判定された被写体の画像を選択し、選択された被写体の画像を、複数の方法を用いて被写体照合を行うことが可能な外部装置に送信する技術が記載されている。
特開２０１１－０７０５７６号公報 特開２０２０－００９３８３号公報 特開２０２１－１３１６０６号公報 特開２０２２－０２６８４６号公報
　この開示は、先行技術文献に記載された技術の改良を目的とする情報処理システム、情報処理方法、及び、記録媒体を提供することを課題とする。
　情報処理システムの一の態様は、順次撮像される撮像画像から検出された顔領域の顔情報を順次取得する取得手段と、取得された前記顔情報を順次記憶する記憶手段と、所定条件を満たした場合に、前記記憶手段に記憶されている前記顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施する抽出手段と、前記特徴量を用いて顔認証をする認証手段とを備える。
　情報処理方法の一の態様は、順次撮像される撮像画像から検出された顔領域の顔情報を順次取得し、取得された前記顔情報を記憶手段に順次記憶し、所定条件を満たした場合に、前記記憶手段に記憶されている前記顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施し、前記特徴量を用いて顔認証をする。
　記録媒体の一の態様は、コンピュータに、順次撮像される撮像画像から検出された顔領域の顔情報を順次取得し、取得された前記顔情報を記憶手段に順次記憶し、所定条件を満たした場合に、前記記憶手段に記憶されている前記顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施し、前記特徴量を用いて顔認証をする情報処理方法を実行させるためのコンピュータプログラムが記録されている。
図１は、第１実施形態における情報処理システムの構成を示すブロック図である。 図２は、第２実施形態における情報処理システムの構成を示すブロック図である。 図３は、第２実施形態における情報処理システムの情報処理動作の流れを示すフローチャートである。 図４は、第２実施形態における情報処理システムの情報処理動作の概念図である。 図５は、第３実施形態における情報処理システムの概念図である。 図６は、第３実施形態における情報処理システムの構成を示すブロック図である。 図７は、第３実施形態における情報処理システムの情報処理動作の流れを示すフローチャートである。 図８は、第３実施形態における情報処理システムの情報処理動作の概念図である。 図９は、第４実施形態における情報処理システムの構成を示すブロック図である。 図１０は、第４実施形態における情報処理システムの情報処理動作の流れを示すフローチャートである。
　以下、図面を参照しながら、情報処理システム、情報処理方法、及び、記録媒体の実施形態について説明する。
　［１：第１実施形態］
　情報処理システム、情報処理方法、及び、記録媒体の第１実施形態について説明する。以下では、情報処理システム、情報処理方法、及び記録媒体の第１実施形態が適用された情報処理システムＳ１を用いて、情報処理システム、情報処理方法、及び記録媒体の第１実施形態について説明する。
　［１－１：情報処理システムＳ１の構成］
　図１は、第１実施形態における情報処理システムＳ１の構成を示すブロック図である。図１に示すように、情報処理システムＳ１は、取得部１１と、記憶部１２と、抽出部１３と、認証部１４とを備える。
　取得部１１は、順次撮像される撮像画像から検出された顔領域の顔情報を順次取得する。記憶部１２は、取得された顔情報を順次記憶する。抽出部１３は、所定条件を満たした場合に、記憶部１２に記憶されている顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施する。認証部１４は、特徴量を用いて顔認証をする。
　［１－２：情報処理システムＳ１の技術的効果］
　第１実施形態における情報処理システムＳ１は、所定条件を満たした場合に、記憶部１２に記憶されている顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する。すなわち、抽出動作の前に、記憶部１２に顔情報を一旦蓄積することで多量の顔情報を一括処理することができる。これにより、時間当たりの特徴量抽出件数を増やすことができ、スループットを高くすることができる。
　［２：第２実施形態］
　続いて、情報処理システム、情報処理方法、及び記録媒体の第２実施形態について説明する。以下では、情報処理システム、情報処理方法、及び記録媒体の第２実施形態が適用された情報処理システムＳ２を用いて、情報処理システム、情報処理方法、及び記録媒体の第２実施形態について説明する。
　第２実施形態における情報処理システムＳ２は、複数の対象者Ｐを次々に認証する必要がある場面に適用されてもよい。
　図２は、第２実施形態における情報処理システムＳ２のブロック図である。図２に示すように、第２実施形態における情報処理システムＳ２は、情報処理装置２と、撮像装置Ｃとを含んでいてもよい。
　［２－１：情報処理装置２の構成］
　図２に示すように、情報処理装置２は、演算装置２１と、記憶装置２２とを備えている。更に、情報処理装置２は、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、情報処理装置２は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも一つを備えていなくてもよい。演算装置２１と、記憶装置２２と、通信装置２３と、入力装置２４と、出力装置２５とは、データバス２６を介して接続されていてもよい。
　演算装置２１は、少なくとも、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｅｃｓｓｉｎｇ　Ｕｎｉｔ）を含む。演算装置２１は、さらに、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のうちの少なくとも一つを含んでいてもよい。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、情報処理装置２が備える図示しない記録媒体読み取り装置（例えば、後述する入力装置２４）を用いて読み込んでもよい。演算装置２１は、通信装置２３（或いは、その他の通信装置）を介して、情報処理装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、情報処理装置２が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、情報処理装置２が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
　図２には、情報処理動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図２に示すように、演算装置２１内には、後述する付記に記載された「取得手段」の一具体例である取得部２１１と、顔情報処理部２１２と、後述する付記に記載された「抽出手段」の一具体例である抽出部２１３と、後述する付記に記載された「認証手段」の一具体例である認証部２１４とが実現される。取得部２１１は、画像受信部２１１１、及び顔領域検出部２１１２を含んでいてもよい。顔情報処理部２１２は、記憶制御部２１２１を含んでいてもよい。画像受信部２１１１、顔領域検出部２１１２、記憶制御部２１２１、抽出部２１３、及び認証部２１４の夫々の動作の詳細については、図３、及び図４を参照しながら後に詳述する。
　記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している場合に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、情報処理装置２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置２２は、一時的でない記録媒体を含んでいてもよい。記憶装置２２は、後述する付記に記載された「記憶手段」の一具体例である顔情報記憶部２２１と、特徴量記憶部２２２と、登録情報データベースＤＢを含んでいてもよい。但し、記憶装置２２は、顔情報記憶部２２１、特徴量記憶部２２２、及び登録情報データベースＤＢの少なくとも１つを含んでいなくてもよい。この場合、顔情報記憶部２２１、特徴量記憶部２２２、及び登録情報データベースＤＢの少なくとも１つは他の装置において実現されていてもよい。
　通信装置２３は、不図示の通信ネットワークを介して、情報処理装置２の外部の装置と通信可能である。情報処理装置２は、通信装置２３を介して、撮像装置Ｃと信号の送受信をしてもよい。
　入力装置２４は、情報処理装置２の外部からの情報処理装置２に対する情報の入力を受け付ける装置である。例えば、入力装置２４は、情報処理装置２のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置２４は情報処理装置２に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。
　出力装置２５は、情報処理装置２の外部に対して情報を出力する装置である。例えば、出力装置２５は、情報を画像として出力してもよい。つまり、出力装置２５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置２５は、情報を音声として出力してもよい。つまり、出力装置２５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置２５は、紙面に情報を出力してもよい。つまり、出力装置２５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
　［２－２：情報処理システムＳ２が行う情報処理動作］
　続いて、図３、及び図４を参照しながら、第２実施形態における情報処理システムＳ２が行う情報処理動作について説明する。図３は、第２実施形態における情報処理システムＳ２が行う情報処理動作の流れを示すフローチャートである。図３（ａ）は、顔情報ＦＩの記憶動作の流れを示し、図３（ｂ）は、抽出動作、及び認証動作の流れを示す。図３（ａ）に示す顔情報ＦＩの記憶動作と、図３（ｂ）に示す抽出動作、及び顔認証動作とは並列して実施されてもよい。図４は、第２実施形態における情報処理システムＳ２が行う情報処理動作の概念図である。
　図３（ａ）に示すように、画像受信部２１１１は、撮像画像Ｉを取得する（ステップＳ２０）。撮像装置Ｃは、撮像画像Ｉを順次撮像してもよい。画像受信部２１１１は、通信装置２３を介して、撮像装置Ｃから順次撮像される撮像画像Ｉを取得する。
　なお、画像受信部２１１１は撮像装置Ｃから撮像画像Ｉを順次取得するが、図３（ａ）に示す、「スタート」から「エンド」までの動作は、１枚の撮像画像Ｉに関する動作であってもよい。例えば撮像装置Ｃが動画を撮像している場合、図３（ａ）に示す、「スタート」から「エンド」までの動作は、フレーム毎の動作であってもよい。
　顔領域検出部２１１２は、撮像画像Ｉから顔領域Ｆを検出する（ステップＳ２１）。顔領域検出部２１１２は、画像受信部２１１１から撮像画像Ｉを受け取り、撮像画像Ｉ内に含まれる顔領域Ｆを検出する。例えば、画像受信部２１１１が図４（ａ）に例示する撮像画像Ｉを取得した場合、顔領域検出部２１１２は、顔領域Ｆ３、顔領域Ｆ４、顔領域Ｆ５、及び顔領域Ｆ６を検出してもよい。
　記憶制御部２１２１は、検出された顔領域Ｆの顔情報ＦＩを順次取得して、顔情報記憶部２２１に順次記憶させる（ステップＳ２２）。顔情報記憶部２２１は、後述する抽出部２１３による一括処理前に各顔情報ＦＩを一旦蓄積する記憶手段であってもよい。顔情報ＦＩは、撮像画像Ｉから切り抜いた顔領域Ｆの顔画像を含んでいてもよい。例えば、顔情報記憶部２２１が図４（ｂ）に例示するように顔情報ＦＩ１、及び顔情報ＦＩ２を記憶している場合に、画像受信部２１１１が図４（ａ）に例示する撮像画像Ｉを取得した場合、記憶制御部２１２１は、図４（ｃ）に例示するように、顔情報ＦＩ３、顔情報ＦＩ４、顔情報ＦＩ５、及び顔情報ＦＩ６を顔情報記憶部２２１に順次記憶させてもよい。記憶制御部２１２１は、検出された顔情報ＦＩに対応する対象者Ｐの顔情報ＦＩを、顔情報記憶部２２１が記憶していた場合、顔情報記憶部２２１が記憶している該当対象者Ｐの顔情報ＦＩを削除してもよい。例えば、顔情報ＦＩ１と顔情報ＦＩ６とが同一人物の顔情報であった場合、記憶制御部２１２１は、顔情報記憶部２２１から顔情報ＦＩ１を削除してもよい。すなわち、記憶制御部２１２１は、同一人物の顔情報ＦＩについては、最新の顔情報ＦＩを記憶させるべく、古い顔情報ＦＩを破棄してもよい。記憶制御部２１２１は、例えば顔のトラッキング機能等の技術を用いて、同一人物の顔情報ＦＩであるかを判定してもよい。
　顔領域検出部２１１２は、全ての顔領域Ｆを検出したかを判定する（ステップＳ２３）。全ての顔領域Ｆを検出した場合（ステップＳ２３：Ｙｅｓ）、１枚の撮像画像Ｉに関する動作は終了する。全ての顔領域Ｆが検出されていない場合（ステップＳ２３：Ｎｏ）、ステップＳ２１に戻る。すなわち、撮像画像Ｉに複数の顔領域Ｆが含まれる場合、顔領域検出部２１１２は全ての顔領域Ｆを検出してもよい。
　図３（ｂ）に示すように、顔情報記憶部２２１に記憶されている顔情報ＦＩの数が所定数に達したか否かを判定する（ステップＳ２４）。顔情報処理部２１２は、顔情報記憶部２２１に所定数の顔情報ＦＩが蓄積されているかを判定する。顔情報記憶部２２１に記憶されている顔情報ＦＩの数が所定数に達していた場合（ステップＳ２４：Ｙｅｓ）、ステップＳ２６に移行する。
　顔情報記憶部２２１に記憶されている顔情報ＦＩの数が所定数に達していない場合（ステップＳ２４：Ｎｏ）、顔情報処理部２１２は、抽出部２１３による前回の抽出動作から所定時間が経過したか否かを判定する（ステップＳ２５）。抽出部２１３による前回の抽出動作から所定時間が経過していない場合（ステップＳ２５：Ｎｏ）、ステップＳ２４に戻る。
　抽出部２１３による前回の抽出動作から所定時間が経過していた場合（ステップＳ２５：Ｙｅｓ）、ステップＳ２６に移行する。すなわち、顔情報記憶部２２１に記憶されている顔情報ＦＩの数が所定数に達した場合、及び、抽出部２１３による前回の抽出動作から所定時間が経過した場合、の少なくとも一方の場合、ステップＳ２６に移行する。情報処理システムＳ２は、所定数の顔情報ＦＩが蓄積されていない場合は、所定時間の経過を待った後、ステップＳ２６に移行すると言い換えてもよい。
　所定条件を満たしていた場合（ステップＳ２４：Ｙｅｓ、又はステップＳ２５：Ｙｅｓ）、顔情報処理部２１２は抽出部２１３に抽出動作を指示する。顔情報処理部２１２は、抽出部２１３に顔情報記憶部２２１に記憶されている顔情報ＦＩのうちの少なくとも一部の抽出対象の顔情報ＦＩを一括入力してもよい。顔情報処理部２１２は、所定数の顔情報ＦＩを一括入力してもよい。顔情報処理部２１２は、抽出部２１３にＧＰＵリソースを用いた一括処理を指示してもよい。
　抽出部２１３は、顔情報記憶部２２１に記憶されている顔情報ＦＩのうちの少なくとも一部の抽出対象の顔情報ＦＩの各々から特徴量を抽出する抽出動作を実施する（ステップＳ２６）。抽出部２１３は、ＧＰＵリソースを用いて抽出動作を実施してもよい。抽出部２１３は、顔情報記憶部２２１から顔情報処理部２１２を介して複数の顔情報ＦＩを受け取り、ＧＰＵリソースを用いて顔情報ＦＩから顔特徴量ＦＦを一括抽出してもよい。抽出部２１３が抽出した顔特徴量ＦＦは、特徴量記憶部２２２に格納してもよい。抽出部２１３が顔情報記憶部２２１から顔情報処理部２１２を介してを受け取る顔情報ＦＩの数は、所定数であってもよい。例えば、所定数が「５」である場合、顔情報処理部２１２は、図４（ｄ）に例示するように、顔情報ＦＩ１、顔情報ＦＩ２、顔情報ＦＩ３、顔情報ＦＩ４、及び顔情報ＦＩ５を、顔情報記憶部２２１に記憶されている顔情報ＦＩのうちの少なくとも一部の抽出対象の顔情報ＦＩとしてもよい。この場合、抽出部２１３の抽出動作により、図４（ｅ）に例示するように、特徴量記憶部２２２は、一括抽出された顔特徴量ＦＦ１、顔特徴量ＦＦ２、顔特徴量ＦＦ３、顔特徴量ＦＦ４、及び顔特徴量ＦＦ５を格納してもよい。ここで、顔特徴量ＦＦ１は、顔情報ＦＩ１に含まれる顔画像から抽出された顔特徴量ＦＦであってもよく、顔特徴量ＦＦ２は、顔情報ＦＩ２に含まれる顔画像から抽出された顔特徴量ＦＦであってもよく、顔特徴量ＦＦ３は、顔情報ＦＩ３に含まれる顔画像から抽出された顔特徴量ＦＦであってもよく、顔特徴量ＦＦ４は、顔情報ＦＩ４に含まれる顔画像から抽出された顔特徴量ＦＦであってもよく、顔特徴量ＦＦ５は、顔情報ＦＩ５に含まれる顔画像から抽出された顔特徴量ＦＦであってもよい。また、抽出動作が実施された場合、記憶制御部２１２１は、顔情報記憶部２２１に記憶されている抽出対象の顔情報ＦＩの各々を削除する削除動作を実施してもよい。
　認証部２１４は、顔特徴量ＦＦを用いて顔認証をする（ステップＳ２７）。認証部２１４は、特徴量記憶部２２２から顔特徴量ＦＦを順次取得してもよい。認証部２１４は、特徴量記憶部２２２に記憶されている顔特徴量ＦＦと登録情報データベースＤＢに登録されている情報との照合により、顔認証をしてもよい。例えば、第２実施形態における情報処理システムＳ２がゲートの開閉制御に適用されている場合は、認証の成功に応じて、ゲートを順次開制御してもよい。
　認証部２１４は、抽出した全ての顔特徴量ＦＦに関する顔認証をしたかを判定する（ステップＳ２８）。抽出した全ての顔特徴量ＦＦに関する顔認証をした場合（ステップＳ２８：Ｙｅｓ）、所定条件が満たされた場合（ステップＳ２４、又はステップＳ２５：Ｙｅｓ）の動作は終了する。抽出した全ての顔特徴量ＦＦに関する顔認証がされていない場合（ステップＳ２８：Ｎｏ）、ステップＳ２７に戻る。すなわち、ステップＳ２６において抽出した顔特徴量ＦＦが複数の場合、認証部２１４は、全ての顔特徴量ＦＦについて順次顔認証をする。
　なお、抽出部２１３はＧＰＵリソースを用いて抽出動作を実施するが、取得部２１１、顔情報処理部２１２、及び認証部２１４の少なくとも１つも、ＧＰＵリソースを用いて動作を実施してもよい。取得部２１１、顔情報処理部２１２、及び認証部２１４の少なくとも１つは、ＧＰＵリソース、ＣＰＵリソース、及びＦＰＧＡリソースの少なくとも一方を用いて動作を実施してもよい。
　［２－４：情報処理システムＳ２の技術的効果］
　第２実施形態おける情報処理システムＳ２は、顔情報記憶部２２１に記憶されている顔情報ＦＩの数が所定数に達した場合、及び、抽出部２１３による前回の抽出動作から所定時間が経過した場合の少なくとも一方の場合に、顔情報記憶部２２１に記憶されている顔情報ＦＩのうちの少なくとも一部の抽出対象の顔情報ＦＩの各々から特徴量を抽出する。また、抽出部２１３が抽出動作にＧＰＵリソースを用いるので、多くの顔情報ＦＩを一括処理することができる。つまり、抽出部２１３による抽出動作の前に、顔情報記憶部２２１に顔情報ＦＩを一旦蓄積するので、多くの顔情報ＦＩを一括処理することができる。これにより、一度の抽出動作による処理件数が増え、時間当たりの処理件数を増やすことができ、高いスループットを実現することができる。さらに、１件あたりの抽出処理時間が短縮されるので、対象者Ｐが認証されるまでの待ち時間を減らすことができ、短いレスポンス実現することができる。
　認証を実施する装置において、ＣＰＵリソースを用いて顔特徴量ＦＦの抽出動作を実施した場合と比較して、ＧＰＵリソースを用いて顔特徴量ＦＦの抽出動作を実施した場合、全体的なコストを削減することができる。
　［３：第３実施形態］
　続いて、情報処理システム、情報処理方法、及び記録媒体の第３実施形態について説明する。以下では、情報処理システム、情報処理方法、及び記録媒体の第３実施形態が適用された情報処理システムＳ３を用いて、情報処理システム、情報処理方法、及び記録媒体の第３実施形態について説明する。
　第３実施形態における情報処理システムＳ３は、複数の対象者Ｐを次々に認証する必要がある場面に加え、どの対象者Ｐから認証すればよいのかが、直前までわからない場面、認証する順番が入れ替わる場面に適用されてもよい。
　以下、情報処理システムＳ３による認証結果が、対象者Ｐが通過可能なゲート装置Ｇの開閉制御に適用されている場合を例に挙げて第３実施形態について説明する。
　［３－１：情報処理システムＳ３の全体構成］
　図５は、第３実施形態における情報処理システムＳ３の概念図である。図５に示すように、第３実施形態における情報処理システムＳ３は、情報処理装置３と、撮像装置Ｃとを含んでいてもよい。
　ゲート装置Ｇは、対象者Ｐ１、対象者Ｐ２、対象者Ｐ３、対象者Ｐ４、対象者Ｐ５、及び対象者Ｐ６（区別しない場合は、対象者Ｐと称する）の通過を制御可能な装置である。ゲート装置Ｇは、情報処理システムＳ３による認証結果に応じて開閉されてもよい。ゲート装置Ｇは、複数のフラッパーゲートＦＧを含んでいてもよい。対象者Ｐは、複数のフラッパーゲートＦＧのうち少なくとも一つのフラッパーゲートＦＧを通過可能であってもよい。撮像装置Ｃは、フラッパーゲートＦＧ毎に設けられていてもよい。例えば、フラッパーゲートＦＧ１の近傍に設けられた撮像装置Ｃ１は、フラッパーゲートＦＧ１の近傍を撮像可能であってもよい。また、フラッパーゲートＦＧ２の近傍に設けられた撮像装置Ｃ２は、フラッパーゲートＦＧ２の近傍を撮像可能であってもよい。また、フラッパーゲートＦＧ３の近傍に設けられた撮像装置Ｃ３は、フラッパーゲートＦＧ３の近傍を撮像可能であってもよい。撮像装置Ｃと対象者Ｐとの距離と、フラッパーゲートＦＧと対象者Ｐとの距離とは対応していてもよい。
　第２領域Ａ２は、対象者Ｐの移動先であり、認証された対象者Ｐのみが入場できるエリアであってもよい。認証された対象者Ｐに対してはフラッパーゲートＦＧが開制御され、対象者Ｐは、フラッパーゲートＦＧを介して第１領域Ａ１から第２領域Ａ２に移動することができる。
　フラッパーゲートＦＧは、対象者Ｐの通過を制御可能な部材である。フラッパーゲートＦＧとして、板状の部材が図視されているが、棒状の部材が用いられてもよい。フラッパーゲートＦＧの状態は、情報処理装置３による対象者Ｐの情報処理結果に基づいて、情報処理装置３によって制御されてもよい。具体的には、情報処理装置３による対象者Ｐの認証が成功した（つまり、対象者Ｐが登録人物に一致したと判定された）場合には、フラッパーゲートＦＧの状態は、対象者ＰがフラッパーゲートＦＧを通過可能な開状態となるように、情報処理装置３によって制御されてもよい。登録人物とは、例えば第２領域Ａ２への入場が許可されている人物であってもよい。一方で、情報処理装置３による対象者Ｐの認証が失敗した（つまり、対象者Ｐが登録人物に一致しないと判定された）場合には、フラッパーゲートＦＧの状態は、対象者ＰがフラッパーゲートＦＧを通過不可能な閉状態となるように、情報処理装置３によって制御されてもよい。
　［３－２：情報処理システムＳ３の構成］
　図６を参照しながら、第３実施形態における情報処理システムＳ３の構成について説明する。図６は、第３実施形態における情報処理システムＳ３の構成を示すブロック図である。図６に示すように、第３実施形態における情報処理システムＳ３は、第２実施形態における情報処理システムＳ２と同様に、情報処理装置３と、撮像装置Ｃとを含んでいてもよい。
　図６に示すように、第３実施形態における情報処理装置３は、第２実施形態における情報処理装置２と同様に、演算装置２１と、記憶装置２２とを備えている。更に、第３実施形態における情報処理装置３は、第２実施形態における情報処理装置２と同様に、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、情報処理装置３は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも１つを備えていなくてもよい。第３実施形態における情報処理装置３は、演算装置２１が備える取得部２１１が距離算出部３１１３を更に含む点、演算装置２１が備える顔情報処理部２１２が優先度決定部３１２２、及び選択部３１２３を更に含む点で、第２実施形態における情報処理装置２と異なる。情報処理装置３のその他の特徴は、第２実施形態における情報処理装置２のその他の特徴と同一であってもよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　［３－３：情報処理システムＳ３が行う情報処理動作］
　図７に示すように、情報処理システムＳ３が行う情報処理動作は、図３に示す情報処理システムＳ２が行う情報処理動作とステップＳ２１、ステップＳ２２、及びステップＳ２６における動作が異なる。
　図７（ａ）に示すように、ステップＳ２１において、顔領域検出部２１１２は、撮像画像Ｉから顔領域Ｆを検出する（ステップＳ２１１）。顔領域検出部２１１２は、撮像画像Ｉに含まれる顔領域Ｆのうち、サイズの大きな顔領域Ｆから順に検出してもよい。
　顔領域検出部２１１２は、顔領域Ｆの検出に関する時を示す時情報を取得する（ステップＳ２１２）。時は、例えば時刻、または日時であり、時情報は、例えば時刻情報、または日時情報である。顔領域検出部２１１２は、撮像画像Ｉから顔領域Ｆが検出された時を検出してもよい。または、顔領域検出部２１１２は、撮像画像Ｉが取得された時を検出してもよい。または、顔領域検出部２１１２は、撮像画像Ｉが撮像された時を検出してもよい。
　距離算出部３１１３は、距離情報を算出する（ステップＳ２１３）。距離情報は、順次撮像する場所から顔領域Ｆの場所までの距離を示す情報である。すなわち距離算出部３１１３は、撮像装置Ｃと顔領域Ｆに対応する対象者Ｐとの間の距離を算出する。距離算出部３１１３は、顔領域Ｆの大きさ、顔領域Ｆに含まれる目間距離、撮像画像Ｉ内の比較対象物との大きさの比較結果等から撮像装置Ｃと対象者Ｐとの距離を算出してもよい。また、距離算出部３１１３は、測距センサーによる測定結果により撮像装置Ｃと対象者Ｐとの距離を算出してもよい。
　第３実施形態において、顔情報ＦＩは、顔領域Ｆの顔画像、時情報、及び、距離情報を少なくとも含んでいてもよい。時情報、及び距離情報をメタ情報とよんでもよい。
　図７（ｂ）に示すように、ステップＳ２２において、記憶制御部２１２１は、顔情報ＦＩを顔情報記憶部２２１に記憶させる（ステップＳ２２１）。すなわち、記憶制御部２１２１は、顔画像に対応付けて、時情報、及び距離情報を顔情報記憶部２２１に記憶させる。記憶制御部２１２１は、複数の撮像装置Ｃが撮像した撮像画像Ｉから検出した、同じ対象者Ｐの顔情報ＦＩ同士を関連付けて顔情報記憶部２２１に記憶させてもよい。
　優先度決定部３１２２は、時情報、及び距離情報に応じて、顔情報記憶部２２１に記憶されている顔情報ＦＩの優先度を定める（ステップＳ２２２）。優先度決定部３１２２は、時情報、及び距離情報に応じて、新規に顔情報記憶部２２１に格納された顔情報ＦＩに対応する対象者Ｐが蓄積済みの顔情報ＦＩに対応する対象者Ｐよりも撮像装置Ｃに近いかどうか判定してもよい。優先度決定部３１２２は、新規の顔情報ＦＩに対応する対象者Ｐの方が蓄積済みの顔情報ＦＩに対応する対象者Ｐよりも撮像装置Ｃに近いと判定した場合は、新規の顔情報ＦＩの優先度を上げてもよい。
　例えば、図８（ａ）に例示するように、顔情報記憶部２２１が顔情報ＦＩ１、顔情報ＦＩ２、顔情報ＦＩ３、及び顔情報ＦＩ４を蓄積しており、画像受信部２１１１が図８（ｂ）に例示する顔領域Ｆ５、顔領域Ｆ６、顔領域Ｆ７、及び顔領域Ｆ８を含む撮像画像Ｉを取得した場合を例に挙げて説明する。顔情報ＦＩ１、顔情報ＦＩ２、顔情報ＦＩ３、及び顔情報ＦＩ４は、顔情報ＦＩ１、顔情報ＦＩ２、顔情報ＦＩ３、顔情報ＦＩ４の順で検出されたとする。また、顔情報ＦＩ１、顔情報ＦＩ２、顔情報ＦＩ３、及び顔情報ＦＩ４に対応する顔領域Ｆの大きさは、顔領域Ｆ５の大きさと同等であり、顔領域Ｆ６は顔領域Ｆ５より大きく、顔領域Ｆ７は顔領域Ｆ６より大きく、顔領域Ｆ８は顔領域Ｆ７より大きいとする。この場合、優先度決定部３１２２は、顔領域Ｆ８に対応する顔情報ＦＩ８、顔領域Ｆ７に対応する顔情報ＦＩ７、及び顔領域Ｆ６に対応する顔情報ＦＩ６の優先度を、より先に検出された顔情報ＦＩ１の優先度よりも低く、顔情報ＦＩ２、顔情報ＦＩ３、及び顔情報ＦＩ４の優先度よりも高く定めてもよい。図８において、優先度の高い顔情報ＦＩ程、顔情報記憶部２２１においてより上側に位置し、より左側に位置するとしてもよい。すなわち、図８（ｃ）は、顔情報ＦＩ１、顔情報ＦＩ８、顔情報ＦＩ７、顔情報ＦＩ６、顔情報ＦＩ２、顔情報ＦＩ３、顔情報ＦＩ４、顔情報ＦＩ５の順に優先度が高い場合を例示していてもよい。
　図７（ｃ）に示すように、ステップＳ２６において、選択部３１２３は、顔情報ＦＩを選択する（ステップＳ２６１）。選択部３１２３は、ステップＳ２２２において決定した優先度に基づいて、顔情報記憶部２２１に記憶されている顔情報ＦＩから抽出対象に含める顔情報ＦＩを選択する。例えば、図８（ｃ）に例示する場合において、選択部３１２３は、顔情報記憶部２２１に記憶されている顔情報ＦＩ１、顔情報ＦＩ８、顔情報ＦＩ７、顔情報ＦＩ６、及び顔情報ＦＩ２を抽出対象として選択してもよい。
　抽出部２１３は、顔情報処理部２１２の指示により選択部３１２３に選択された顔情報ＦＩの各々から顔特徴量ＦＦを検出する（ステップＳ２６２）。例えば、図８（ｄ）に例示するように、特徴量記憶部２２２は、顔情報ＦＩ１、顔情報ＦＩ８、顔情報ＦＩ７、顔情報ＦＩ６、及び顔情報ＦＩ２の各々から抽出された顔特徴量ＦＦ１、顔特徴量ＦＦ８、顔特徴量ＦＦ７、顔特徴量ＦＦ６、及び顔特徴量ＦＦ２を記憶してもよい。
　ステップＳ２６の後、第２実施形態における情報処理動作と同様に、認証部２１４は、顔特徴量ＦＦを用いて顔認証処理を実施する。認証が成功した場合は、情報処理装置３は、認証に成功した顔特徴量ＦＦに対応したゲートを開制御してもよい。
　［３－４：情報処理システムＳ３の技術的効果］
　第３実施形態における情報処理システムＳ３は、撮像装置Ｃとの距離が近い対象者Ｐに対応する顔情報ＦＩが後から検出された場合において、当該顔情報ＦＩの優先度を高め、先に実施される抽出動作の対象とする。すなわち、先に認証をすべき対象者Ｐに対応する顔情報ＦＩの優先度を高め、先に顔特徴量ＦＦが抽出されるようにする。これにより、対象者Ｐの認証される場所への到着から、認証完了までの体感時間を短くすることができる。ゲート装置Ｇに適用されている場合であれば、対象者Ｐのゲート到着から解錠までの体感時間を短くすることができる。
　［４：第４実施形態］
　続いて、情報処理システム、情報処理方法、及び記録媒体の第４実施形態について説明する。以下では、情報処理システム、情報処理方法、及び記録媒体の第４実施形態が適用された情報処理システムＳ４を用いて、情報処理システム、情報処理方法、及び記録媒体の第４実施形態について説明する。
　第４実施形態における情報処理システムＳ４は、第３実施形態における情報処理システムＳ３と同様に、複数の対象者Ｐを次々に認証する必要があり、どの対象者Ｐから認証すればよいのかが、直前までわからない場面、認証する順番が入れ替わる場面に適用されてもよい。
　第４実施形態においても、第３実施形態における情報処理システムＳ３と同様に、情報処理システムＳ４による認証結果が、対象者Ｐが通過可能なゲート装置Ｇの開閉制御に適用されてもよい。
　［４－１：情報処理システムＳ４の構成］
　図９を参照しながら、第４実施形態における情報処理システムＳ４の構成について説明する。図９は、第４実施形態における情報処理システムＳ４の構成を示すブロック図である。図９に示すように、第４実施形態における情報処理システムＳ４は、第２実施形態における情報処理システムＳ２、及び第３実施形態における情報処理システムＳ３と同様に、情報処理装置４と、撮像装置Ｃとを含んでいてもよい。
　図９に示すように、第４実施形態における情報処理装置４は、第２実施形態における情報処理装置２、及び第３実施形態における情報処理装置３と同様に、演算装置２１と、記憶装置２２とを備えている。更に、第４実施形態における情報処理装置４は、第２実施形態における情報処理装置２、及び第３実施形態における情報処理装置３と同様に、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、情報処理装置４は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも１つを備えていなくてもよい。第４実施形態における情報処理装置４は、演算装置２１が備える顔情報処理部２１２が第１変更部４１２４、第２変更部４１２５、及び第３変更部４１２６を更に含む点で、第２実施形態における情報処理装置２、及び第３実施形態における情報処理装置３と異なる。
　第１変更部４１２４は、顔情報記憶部２２１に記憶されている顔情報ＦＩの数の変化率に応じて所定数を変更する。第２変更部４１２５は、抽出部２１３による前回の抽出動作の実施から顔情報記憶部２２１に記憶されている顔情報ＦＩの数が所定数に達するまでの時間に応じて、所定時間を変更する。第３変更部４１２６は、抽出動作の開始から完了までの時間と、所定時間とを比較し、順次撮像の撮像間隔に対応する撮像間隔を変更する。
　また、第４実施形態において、所定数、及び所定時間は、状況に応じて変更される。所定数、及び所定時間は各々、設定可能な下限、及び設定可能な上限が定められている。
　情報処理装置４のその他の特徴は、第２実施形態における情報処理装置２、又は第３実施形態における情報処理装置３のその他の特徴と同一であってもよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　［４－２：情報処理システムＳ４が行う情報処理動作］
　図１０を参照しながら、第４実施形態における情報処理システムＳ４が行う情報処理動作について説明する。図１０は、第４実施形態における情報処理システムＳ４が行う情報処理動作の流れを示すフローチャートである。図１０に示す情報処理動作は、所定期間毎に定期的に実施する動作であってもよい。
　顔情報処理部２１２は、顔情報記憶部２２１に記憶されている顔情報ＦＩの数の変化率を監視している。また、顔情報処理部２１２は、抽出部２１３による前回の抽出動作の実施から顔情報記憶部２２１に記憶されている顔情報ＦＩの数が所定数に達するまでの時間を監視している。
　図１０に示すように、顔情報処理部２１２は、顔情報記憶部２２１に蓄積されている顔情報ＦＩの数が所定数に到達するまでの時間が、短い傾向にあるか、長い傾向にあるか、短くも長くもないかを判定する（ステップＳ４０）。例えば、顔情報処理部２１２は、過去５分間の顔情報ＦＩの蓄積傾向の平均と比較して、判定を実施してもよい。
　顔情報記憶部２２１に蓄積されている顔情報ＦＩの数が所定数に到達するまでの時間が長い傾向にある場合（ステップＳ４０：Ｌ）、第１変更部４１２４は、所定数を減らす。また、第２変更部４１２５は、所定時間を短くする（ステップＳ４１）。所定数を減らし、所定時間を短くすることにより、蓄積されるまでの待ち時間が無駄となることを防ぐことができる。
　顔情報処理部２１２は、下記式の関係を維持するよう所定数、及び所定時間の少なくとも一方を動的に変更して最適化してもよい。
　（所定数まで蓄積される時間＋α）　＜＝　所定時間経過までの時間
　すなわち、所定数まで蓄積される時間と所定時間経過までの時間との時間差が一定範囲（α）内に収まるように所定時間を動的に変更して最適化してもよい。
　顔情報処理部２１２は、所定数、及び所定時間の少なくとも一方が設定可能な下限に到達しているか否かを判定する（ステップＳ４２）。所定数、及び所定時間の少なくとも一方が下限に到達していた場合（ステップＳ４２：Ｙｅｓ）、装置全体の負荷が想定よりも下がっていることが予測される。したがって、第３変更部４１２６は、撮像間隔を短く変更する（ステップＳ４３）。画像受信部２１１１は、第３変更部４１２６が変更した撮像間隔になるように、撮像装置Ｃの撮像間隔を徐々に調整してもよい。
　また、第３変更部４１２６は、抽出動作の開始から完了までの時間と、所定時間とを比較し、順次撮像の撮像間隔を変更する。すなわち、第３変更部４１２６は、所定数に対応する時間と所定時間を比較し、順次撮像の撮像間隔を変更してもよい。
　さらに、第３変更部４１２６は、撮像装置Ｃに対応する混雑情報に応じて、撮像装置Ｃの撮像間隔を変更してもよい。顔領域検出部２１１２は、混雑情報を算出してもよい。混雑情報は、顔情報ＦＩを検出した際の撮像装置Ｃ付近の混雑具合を示す情報である。顔領域検出部２１１２は、撮像画像Ｉ内に含まれる顔領域Ｆの検出数から算出してもよい。第３変更部４１２６は、混雑している撮像装置Ｃの撮像間隔を優先して長くなるように変更してもよい。混雑している場合は、対象者Ｐの動きが少ないことが予測され、撮像間隔を長くし、フレームレートを低下させることよる影響は少ないことが期待できる。撮像間隔を長くすることで負荷を抑え、一方で対象者Ｐと撮像装置Ｃの距離から顔情報ＦＩの処理優先度付けを行うことで遅延の抑制も行う。
　所定数、及び所定時間の少なくとも一方が下限に到達していない場合（ステップＳ４２：Ｎｏ）、図１０に示す情報処理動作は終了する。
　顔情報記憶部２２１に蓄積されている顔情報ＦＩの数が所定数に到達するまでの時間が短い傾向にある場合、混雑していると判断できるので、ＧＰＵリソースで一括処理する件数を増やした方が効率的である。したがって、短い傾向にある場合（ステップＳ４０：Ｓ）、第１変更部４１２４は、所定数を増やす。また、第２変更部４１２５は、所定時間を長くする（ステップＳ４５）。所定数に到達するまでの時間が短い傾向にある場合は混雑していると判断できるので、ステップＳ４５に遷移し、所定数、及び所定時間を増やして、一括処理する件数を増やすこと効率化を図る。
　顔情報処理部２１２は、所定数、及び所定時間の少なくとも一方が上限に到達しているか否かを判定する（ステップＳ４６）。上限に達している場合は、装置全体の負荷が想定よりも高まっていることが予測される。所定数、及び所定時間の少なくとも一方が上限に到達していた場合（ステップＳ４６：Ｙｅｓ）、第３変更部４１２６は、撮像間隔を長くする（ステップＳ４７）。第３変更部４１２６は、撮像装置Ｃに撮像間隔を徐々に長くするよう指示してもよい。所定数、及び所定時間の少なくとも一方が上限に到達していない場合（ステップＳ４６：Ｎｏ）、ステップＳ４４に移行する。
　ステップＳ４０において、短い傾向にも長い傾向にもない場合（ステップＳ４０：Ｍ）、顔情報処理部２１２は、ＧＰＵリソース、及びＣＰＵリソースの少なくと一方の負荷が高いか否かを判定する（ステップＳ４４）。例えば、ＧＰＵリソース、及びＣＰＵリソースの少なくとも一方の使用率の傾向は過去５分間の平均値等と比較してもよい。
　ＧＰＵリソース、及びＣＰＵリソースの少なくと一方の負荷が高い場合（ステップＳ４４：Ｙｅｓ）、第３変更部４１２６は、撮像間隔が長くなるように変更する（ステップＳ４７）。画像受信部２１１１は、第３変更部４１２６が変更した撮像間隔になるように、撮像装置Ｃの撮像間隔を徐々に調整してもよい。
　ＧＰＵリソース、及びＣＰＵリソースの少なくと一方の負荷が高くない場合（ステップＳ４４：Ｎｏ）、ステップＳ４３に移行する。
　顔情報処理部２１２は、顔情報記憶部２２１に記憶されている顔情報ＦＩの件数の傾向を定期的に監視し、抽出部２１３による一括処理前の顔情報記憶部２２１において、所定数、及び所定時間を負荷状況に合わせて調整する。これにより、環境に最適なスループットとレスポンスとなるよう制御を行う。
　［４－３：情報処理システムＳ４の技術的効果］
　第４実施形態における情報処理システムＳ４は、第１変更部４１２４が、負荷状況に応じて所定数を動的に変更するので、スループット、及びレスポンスが最適となるよう制御することができる。第１変更部４１２４が所定数を下げた場合は、即座にＧＰＵリソースを用いた抽出動作が開始できるようになる。第１変更部４１２４が所定数を上げた場合は、ＧＰＵリソースを用いた一括の抽出動作をより有効活用できるようになる。また、第２変更部４１２５は、負荷状況に応じて所定時間を動的に変更するので、スループット、及びレスポンスが最適となるよう制御することができる。また、第３変更部４１２６は、負荷状況に応じて撮像間隔を動的に変更するので、スループット、及びレスポンスが最適となるよう制御することができる。特に、撮像間隔を長くした場合、顔領域検出部２１１２において顔領域Ｆを検出するタイミングによっては、対象者Ｐと撮像装置Ｃとの間の距離に大きなバラつきが発生する。よって、撮像間隔の変更は、第３実施形態のように、顔情報処理部２１２において、撮像装置Ｃとの距離が近い対象者Ｐに対応する顔情報ＦＩが後から顔情報記憶部２２１に格納された場合は、先に処理できるよう優先度を入れ替える処理を実施する場合に優れた効果を奏する。特に顔情報記憶部２２１に蓄積された顔情報ＦＩ件数が、所定数のＧＰＵリソース一括処理対象件数を超える場合において有効である。
　［５：付記］
　以上説明した実施形態に関して、更に以下の付記を開示する。
　［付記１］
　順次撮像される撮像画像から検出された顔領域の顔情報を順次取得する取得手段と、
　取得された前記顔情報を順次記憶する記憶手段と、
　所定条件を満たした場合に、前記記憶手段に記憶されている前記顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施する抽出手段と、
　前記特徴量を用いて顔認証をする認証手段と
　を備える情報処理システム。
　［付記２］
　前記抽出手段は、前記抽出動作にＧＰＵリソースを用い、
　前記顔情報は、前記顔領域の顔画像を含む
　請求項１に記載の情報処理システム。
　［付記３］
　前記所定条件を満たした場合は、前記記憶手段に記憶されている前記顔情報の数が所定数に達した場合、及び、前記抽出手段による前回の抽出動作から所定時間が経過した場合、の少なくとも一方を含む
　請求項１又は２に記載の情報処理システム。
　［付記４］
　前記記憶手段に記憶されている前記顔情報の数の変化率に応じて前記所定数を変更する第１変更手段を更に備える
　請求項３に記載の情報処理システム。
　［付記５］
　前記抽出手段による前回の抽出動作の実施から前記記憶手段に記憶されている前記顔情報の数が前記所定数に達するまでの時間に応じて、前記所定時間を変更する第２変更手段を更に備える
　請求項３又は４に記載の情報処理システム。
　［付記６］
　前記抽出動作の開始から完了までの時間と、前記所定時間とを比較し、前記順次撮像の撮像間隔を変更する第３変更手段を更に備える
　請求項３から５の何れか１項に記載の情報処理システム。
　［付記７］
　前記顔情報は、前記顔領域の顔画像、前記顔領域の検出に関する時を示す時情報、及び、前記順次撮像する場所から当該顔領域の場所までの距離を示す距離情報を含み、
　前記時情報、及び前記距離情報に応じて、前記記憶手段に記憶されている前記顔情報の優先度を定め、当該優先度に基づいて、前記記憶手段に記憶されている顔情報から前記抽出対象に含める顔情報を選択する顔情報処理部を更に備える
　請求項６に記載の情報処理システム。
　［付記８］
　順次撮像される撮像画像から検出された顔領域の顔情報を順次取得し、
　取得された前記顔情報を記憶手段に順次記憶し、
　所定条件を満たした場合に、前記記憶手段に記憶されている前記顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施し、
　前記特徴量を用いて顔認証をする
　情報処理方法。
　［付記９］
　コンピュータに、
　順次撮像される撮像画像から検出された顔領域の顔情報を順次取得し、
　取得された前記顔情報を記憶手段に順次記憶し、
　所定条件を満たした場合に、前記記憶手段に記憶されている前記顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施し、
　前記特徴量を用いて顔認証をする
　情報処理方法を実行させるためのコンピュータプログラムが記録された記録媒体。
　上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献（例えば、公開公報）の開示を援用してこの開示の記載の一部とする。
　この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う情報処理システム、情報処理方法、及び、記録媒体もまた、この開示の技術的思想に含まれる。
Ｓ１，Ｓ２，Ｓ３，Ｓ４　情報処理システム
２，３，４　情報処理装置
１１，２１１　取得部
２１１１　画像受信部
２１１２　顔領域検出部
１２　記憶部
２１２　顔情報処理部
２１２１　記憶制御部
２２１　顔情報記憶部
２２２　特徴量記憶部
１３，２１３　抽出部
１４，２１４　認証部
３１１３　距離算出部
３１２２　優先度決定部
３１２３　選択部
４１２４　第１変更部
４１２５　第２変更部
４１２６　第３変更部
Ｃ　撮像装置
Ｉ　撮像画像
Ｆ　顔領域
ＦＩ　顔情報
ＦＦ　顔特徴量

Claims (9)

  1. 　順次撮像される撮像画像から検出された顔領域の顔情報を順次取得する取得手段と、
    　取得された前記顔情報を順次記憶する記憶手段と、
    　所定条件を満たした場合に、前記記憶手段に記憶されている前記顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施する抽出手段と、
    　前記特徴量を用いて顔認証をする認証手段と
    　を備える情報処理システム。
  2. 　前記抽出手段は、前記抽出動作にＧＰＵリソースを用い、
    　前記顔情報は、前記顔領域の顔画像を含む
    　請求項１に記載の情報処理システム。
  3. 　前記所定条件を満たした場合は、前記記憶手段に記憶されている前記顔情報の数が所定数に達した場合、及び、前記抽出手段による前回の抽出動作から所定時間が経過した場合、の少なくとも一方を含む
    　請求項１又は２に記載の情報処理システム。
  4. 　前記記憶手段に記憶されている前記顔情報の数の変化率に応じて前記所定数を変更する第１変更手段を更に備える
    　請求項３に記載の情報処理システム。
  5. 　前記抽出手段による前回の抽出動作の実施から前記記憶手段に記憶されている前記顔情報の数が前記所定数に達するまでの時間に応じて、前記所定時間を変更する第２変更手段を更に備える
    　請求項３に記載の情報処理システム。
  6. 　前記抽出動作の開始から完了までの時間と、前記所定時間とを比較し、前記順次撮像の撮像間隔を変更する第３変更手段を更に備える
    　請求項３に記載の情報処理システム。
  7. 　前記顔情報は、前記顔領域の顔画像、前記顔領域の検出に関する時を示す時情報、及び、前記順次撮像する場所から当該顔領域の場所までの距離を示す距離情報を含み、
    　前記時情報、及び前記距離情報に応じて、前記記憶手段に記憶されている前記顔情報の優先度を定め、当該優先度に基づいて、前記記憶手段に記憶されている顔情報から前記抽出対象に含める顔情報を選択する顔情報処理部を更に備える
    　請求項６に記載の情報処理システム。
  8. 　順次撮像される撮像画像から検出された顔領域の顔情報を順次取得し、
    　取得された前記顔情報を記憶手段に順次記憶し、
    　所定条件を満たした場合に、前記記憶手段に記憶されている前記顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施し、
    　前記特徴量を用いて顔認証をする
    　情報処理方法。
  9. 　コンピュータに、
    　順次撮像される撮像画像から検出された顔領域の顔情報を順次取得し、
    　取得された前記顔情報を記憶手段に順次記憶し、
    　所定条件を満たした場合に、前記記憶手段に記憶されている前記顔情報のうちの少なくとも一部の抽出対象の顔情報の各々から特徴量を抽出する抽出動作を実施し、
    　前記特徴量を用いて顔認証をする
    　情報処理方法を実行させるためのコンピュータプログラムが記録された記録媒体。
PCT/JP2022/034160 2022-09-13 2022-09-13 情報処理システム、情報処理方法、及び、記録媒体 WO2024057385A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/034160 WO2024057385A1 (ja) 2022-09-13 2022-09-13 情報処理システム、情報処理方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/034160 WO2024057385A1 (ja) 2022-09-13 2022-09-13 情報処理システム、情報処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2024057385A1 true WO2024057385A1 (ja) 2024-03-21

Family

ID=90274426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034160 WO2024057385A1 (ja) 2022-09-13 2022-09-13 情報処理システム、情報処理方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2024057385A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142614A (ja) * 2016-02-09 2017-08-17 レノボ・シンガポール・プライベート・リミテッド 情報処理装置
JP2021149589A (ja) * 2020-03-19 2021-09-27 株式会社キーエンス 光学読取装置
WO2022130616A1 (ja) * 2020-12-18 2022-06-23 富士通株式会社 認証方法、情報処理装置、及び認証プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142614A (ja) * 2016-02-09 2017-08-17 レノボ・シンガポール・プライベート・リミテッド 情報処理装置
JP2021149589A (ja) * 2020-03-19 2021-09-27 株式会社キーエンス 光学読取装置
WO2022130616A1 (ja) * 2020-12-18 2022-06-23 富士通株式会社 認証方法、情報処理装置、及び認証プログラム

Similar Documents

Publication Publication Date Title
US11729194B2 (en) Automatic model monitoring for data streams
EP3743836B1 (en) System and method for resource access authentication
EP3067829A1 (en) Person authentication method
US20060206935A1 (en) Apparatus and method for adaptively preventing attacks
EP2304649B1 (en) Frame based video matching
US8478875B2 (en) Method and apparatus for adaptive in-operator load shedding
KR20170123950A (ko) 얼굴 인식을 이용한 출입 관리 방법 및 시스템
WO2024057385A1 (ja) 情報処理システム、情報処理方法、及び、記録媒体
CN108564028A (zh) 一种基于嵌入式系统的多线程人脸识别系统
CN115268616A (zh) 存储器的频率控制方法、控制装置、电子设备和存储介质
JP5100596B2 (ja) 情報処理装置及び情報処理方法
JP5371541B2 (ja) データ処理装置及びその処理方法
CN111581255B (zh) 基于大数据挖掘的高密集图像数据流的分配调度系统
JP2007066114A (ja) 分類器を用いた分類方法及びその装置
KR20120052864A (ko) 송신장치 및 송신방법
CN108920264B (zh) 一种命令超时处理方法及系统
JP7353825B2 (ja) 画像処理装置及びその方法、画像入力装置、画像処理システム、プログラム
US9767347B2 (en) Analysis processing system
CN115904881A (zh) 基于感知模块的计算机运行程序自适应控制系统
JP2012048323A (ja) 情報処理装置、情報処理装置、プログラム
KR102015429B1 (ko) 적응형 프레임 레이트 조절 방법 및 그 장치
Atar et al. Serve the shortest queue and Walsh Brownian motion
EP4053788A1 (en) Authentication apparatus, authentication method, and recording medium
Abernethy et al. An efficient bandit algorithm for
WO2021205844A1 (ja) 認証装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22958719

Country of ref document: EP

Kind code of ref document: A1