WO2023175676A1 - 照合装置、照合方法及び記録媒体 - Google Patents

照合装置、照合方法及び記録媒体 Download PDF

Info

Publication number
WO2023175676A1
WO2023175676A1 PCT/JP2022/011346 JP2022011346W WO2023175676A1 WO 2023175676 A1 WO2023175676 A1 WO 2023175676A1 JP 2022011346 W JP2022011346 W JP 2022011346W WO 2023175676 A1 WO2023175676 A1 WO 2023175676A1
Authority
WO
WIPO (PCT)
Prior art keywords
query
registered
person
data
similar
Prior art date
Application number
PCT/JP2022/011346
Other languages
English (en)
French (fr)
Inventor
貴也 宮本
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/011346 priority Critical patent/WO2023175676A1/ja
Publication of WO2023175676A1 publication Critical patent/WO2023175676A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying

Definitions

  • This disclosure relates, for example, to the technical field of a collation device, a collation method, and a recording medium that can extract similar data similar to query data from among a plurality of registered data by collating query data with a plurality of registered data. .
  • Patent Document 1 An example of a collation device that can collate query data with a plurality of registered data is described in Patent Document 1.
  • Other prior art documents related to this disclosure include Patent Document 2 to Patent Document 3 and Non-Patent Document 1.
  • An object of this disclosure is to provide a verification device, a verification method, and a recording medium that aim to improve the techniques described in prior art documents.
  • One aspect of the matching device of this disclosure includes a matching means for extracting a plurality of first similar data similar to the query data from among a plurality of registered data based on a query feature amount that is a feature amount of the query data. , a correction means for correcting the query feature amount based on calculated values of a plurality of registered feature amounts that are feature amounts of the plurality of first similar data, and the matching means is configured to correct the query feature amount based on the calculated value of a plurality of registered feature amounts that are feature amounts of the plurality of first similar data, Based on the query feature amount, at least one piece of second similar data similar to the query data is extracted from the plurality of registered data.
  • One aspect of the collation method of this disclosure is to extract a plurality of first similar data similar to the query data from a plurality of registered data based on a query feature amount that is a feature amount of the query data; correcting the query feature amount based on statistical values of a plurality of registered feature amounts that are feature amounts of the plurality of first similar data; and correcting the plurality of registered feature amounts based on the corrected query feature amount.
  • the method includes extracting at least one piece of second similar data similar to the query data from the data.
  • One aspect of the recording medium of this disclosure is a recording medium on which a computer program for causing a computer to execute a matching method is recorded, wherein the matching method includes multiple query features that are features of query data. extracting a plurality of first similar data similar to the query data from among the registered data; and based on statistical values of a plurality of registered feature quantities that are feature quantities of the plurality of first similar data, The method includes correcting a feature amount, and extracting at least one second similar data similar to the query data from the plurality of registered data based on the corrected query feature amount.
  • FIG. 1 is a block diagram showing the configuration of a verification device in the first embodiment.
  • FIG. 2 schematically shows a query image, a plurality of registered images, and at least one similar image.
  • FIG. 3 schematically shows a query image, a plurality of registered images, and at least one similar image.
  • FIG. 4 is a block diagram showing the configuration of a verification device in the second embodiment.
  • FIG. 5 is a flowchart showing the flow of the verification operation performed by the verification device in the second embodiment.
  • FIG. 6 schematically shows a query image, a plurality of registered images, and at least one similar image.
  • FIG. 1 is a block diagram showing the configuration of a verification device 1000 in the first embodiment.
  • a verification device 1000 includes a verification unit 1001, which is a specific example of a "verification means” described in an appendix described later, and a "correction means” described in an appendix described later.
  • the correction unit 1002 is a specific example of the correction unit 1002.
  • the matching unit 1001 extracts a plurality of first similar data, which are registered data similar to the query data, from among the plurality of registered data, based on a query feature amount which is a feature amount of the query data.
  • the correction unit 1002 corrects the query feature amount based on the statistical values of the plurality of registered feature amounts, which are the feature amounts of the plurality of first similar data extracted by the matching unit 1001.
  • the matching unit 1001 selects second similar data that is registered data similar to the query data from among the plurality of registered data based on the corrected query feature amount. Extract at least one.
  • the matching device 1000 in the first embodiment described above corrects the query feature amount based on the result of the extraction process of extracting registered data similar to the query data as first similar data based on the query feature amount.
  • the matching process is performed again based on the query features. As a result, the accuracy of matching query data is improved compared to the case where the matching process is not performed again.
  • Second Embodiment a second embodiment of a verification device, a verification method, and a recording medium will be described.
  • a second embodiment of a verification device, a verification method, and a recording medium will be described using a verification device 1 to which the second embodiment of the verification device, verification method, and recording medium is applied.
  • a matching operation is performed to extract at least one registered image IMG_R similar to the query image IMG_Q as at least one similar image IMG_S.
  • the matching device 1 performs a matching operation to extract K (K is a variable representing an integer greater than or equal to 1) similar images IMG_S that are similar to the query image IMG_Q.
  • K is a variable representing an integer greater than or equal to 1
  • the matching device 1 determines that the degree of similarity between one registered image IMG_R extracted as a similar image IMG_S and a query image IMG_Q is higher than the degree of similarity between another registered image IMG_R not extracted as a similar image IMG_S and a query image IMG_Q.
  • One registered image IMG_R that satisfies the extraction condition of being high may be extracted as a similar image IMG_S.
  • the person reflected in the query image IMG_Q will be referred to as a query person
  • the person reflected in the registered image IMG_R will be referred to as a registered person.
  • the matching operation of extracting a registered image IMG_R similar to the query image IMG_Q as a similar image IMG_S is equivalent to the operation of extracting a registered image IMG_R in which a registered person similar to the query person is reflected as a similar image IMG_S. It may be considered as
  • the matching device 1 may perform a matching operation in order to identify a registered person who is the same as the query person (that is, to perform person matching). Alternatively, the matching device 1 may perform a matching operation in order to search for a registered image in which the query person appears as a registered person (that is, to perform an image search).
  • the matching device 1 that performs the matching operation of extracting a registered image IMG_R similar to the query image IMG_Q as a similar image IMG_S has the following technical problems.
  • the query person reflected in the query image IMG_Q is person A
  • the plurality of registered images IMG_R include person A, person B, person C, person D, and person E as five registered persons.
  • the technical problem will be explained using an example including five registered images IMG_R. In this case, normally, as shown in FIG.
  • the matching device 1 generates a registered image IMG_R that includes a registered person (person A) who is the same as the query person (person A), and a registered image IMG_R that includes a registered person (person A) who is the same as the query person (person A).
  • a registered image IMG_R in which a registered person similar to the query person (person A), although not the same person, is reflected may be extracted as a similar image IMG_S. For example, in FIG.
  • the verification device 1 creates a registered image IMG_R in which a registered person (person A) is reflected, a registered image IMG_R in which a registered person (person B) is reflected, and a registered image IMG_R in which a registered person (person C) is reflected.
  • An example is shown in which each of the registered images IMG_R and IMG_R are extracted as similar images IMG_S.
  • the similar image IMG_S that includes a registered person (person B or person C) who is not the same as the query person (person A) is listed at a higher rank than the similar image IMG_S.
  • a registered person (person A) who is the same person as the query person (person A) may be reflected in the image.
  • a similar image IMG_S that includes a registered person (person B, C, D, or E) who is not the same as the query person (person A) will be listed at a higher rank than similar image IMG_S.
  • the query person (person A) compared to the case where a different registered person is not wearing the same item as the query person (person A), a registered person who is different from the query person (person A) and the query person ( The degree of similarity with person A) increases.
  • the degree of similarity between the registered image IMG_R in which a registered person different from the query person (person A) is reflected and the query image IMG_Q becomes high.
  • a registered person (person B, C, D or Similar images IMG_S in which E) is reflected may be listed.
  • Examples of worn items include at least one of a mask, glasses, sunglasses, and a hat.
  • the query person (person A) is wearing sunglasses
  • the registered person (person A) who is the same as the query person (person A) is not wearing sunglasses
  • the query person (person A) is wearing sunglasses.
  • A) A registered person (persons B and C, respectively) who is different from A) is wearing sunglasses, and a registered person who is different from the query person (person A) (persons D and E, respectively) is not wearing sunglasses.
  • a query image IMG_Q and a registered image IMG_R obtained in this case are shown.
  • a predetermined part of the face of a query person (person A) is hidden by a predetermined shielding object
  • a predetermined part of the face of a registered person different from the query person (person A) is hidden by the same shielding object. If it is hidden, the predetermined part of the face of the registered person who is different from the query person (Person A) is the same in a situation where the predetermined part of the face of the query person (Person A) is hidden by a predetermined shielding object.
  • the degree of similarity between the query person (person A) and a registered person who is different from the query person (person A) is higher than in the case where the query person (person A) is not hidden.
  • a registered person person B, C, D or Similar images IMG_S in which E is reflected may be listed.
  • an example of the shielding object is at least one of hair and beard.
  • the same part of the face of a registered person who is different from the query person (person A) is shown in the registered image IMG_R. If the specified part of the face of the query person (person A) is not reflected in the query image IMG_Q, the same part of the face of a registered person different from the query person (person A) is registered. The degree of similarity between the query person (person A) and a registered person who is different from the query person (person A) is higher than when the person is reflected in the image IMG_R.
  • a registered person person B, C, D or Similar images IMG_S in which E is reflected may be listed. Note that one of the reasons why a predetermined part of a person's face does not appear in the image is that a part of the face falls into the camera's blind spot due to the direction of the face relative to the camera.
  • the degree of similarity between the registered person who is different from the query person (person A) becomes high.
  • the degree of similarity between the registered image IMG_R in which a registered person different from the query person (person A) is reflected and the query image IMG_Q becomes high.
  • imaging conditions include at least one of conditions regarding illumination light for illuminating the query person or registered person, and conditions regarding the type of camera for illuminating the query person or registered person.
  • the similar image IMG_S which includes a registered person who is not the same as the query person, is ranked higher than the similar image IMG_S, which includes a registered person (person A) who is the same as the query person (person A).
  • a registered person who is not the same person as the query person (Person A) is extracted as a registered person who is most likely to be the same person as the query person (Person A) through the matching operation. . Therefore, it cannot necessarily be said that the matching accuracy of the query image IMG_Q is high.
  • the verification device 1 is configured to be able to solve the above-mentioned technical solution. Specifically, the matching device 1 performs a matching operation so that the matching accuracy of the query image IMG_Q becomes high.
  • the verification device 1 will be explained in more detail.
  • FIG. 4 is a block diagram showing the configuration of the verification device 1 in the second embodiment.
  • the verification device 1 includes a calculation device 11, a storage device 12, and a communication device 13. Furthermore, the verification device 1 may include an input device 14 and an output device 15. However, the verification device 1 does not need to include at least one of the input device 14 and the output device 15. Arithmetic device 11 , storage device 12 , communication device 13 , input device 14 , and output device 15 may be connected via data bus 16 .
  • the arithmetic unit 11 is, for example, one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field Programmable Gate Array). Contains at least one.
  • Arithmetic device 11 reads a computer program.
  • the arithmetic device 11 may read a computer program stored in the storage device 12.
  • the arithmetic device 11 may read a computer program stored in a computer-readable and non-temporary recording medium using a recording medium reading device (not shown) included in the verification device 1.
  • the arithmetic device 11 may obtain (that is, download) a computer program from a device (not shown) located outside the collation device 1 via the communication device 13 (or other communication device). (or you can load it).
  • the arithmetic device 11 executes the loaded computer program.
  • a logical functional block is realized for executing the operation that the verification device 1 should perform (for example, the verification operation described above). That is, the arithmetic device 11 can function as a controller for realizing a logical functional block for executing the operation (in other words, processing) that the verification device 1 should perform.
  • FIG. 4 shows an example of logical functional blocks implemented within the arithmetic unit 11 to perform the matching operation.
  • the arithmetic unit 11 includes an image acquisition unit 111, a feature amount extraction unit 112, a matching unit 113 which is a specific example of a “matching unit” described in the appendix described below, and a matching unit 113, which will be described later.
  • the feature quantity correction unit 114 which is a specific example of the "correction means" described in the supplementary notes, is actually used.
  • the operations of the image acquisition unit 111, feature extraction unit 112, matching unit 113, and feature correction unit 114 will be described in detail later with reference to FIG. 4 and the like.
  • the storage device 12 is capable of storing desired data.
  • the storage device 12 may temporarily store a computer program executed by the arithmetic device 11.
  • the storage device 12 may temporarily store data that is temporarily used by the arithmetic device 11 when the arithmetic device 11 is executing a computer program.
  • the storage device 12 may store data that the verification device 1 stores for a long period of time.
  • the storage device 12 may include at least one of a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device. good. That is, the storage device 12 may include a non-temporary recording medium.
  • the communication device 13 is capable of communicating with devices external to the verification device 1.
  • the input device 14 is a device that accepts input of information to the verification device 1 from outside the verification device 1.
  • the input device 14 may include an operating device (for example, at least one of a keyboard, a mouse, and a touch panel) that can be operated by the operator of the verification device 1.
  • the input device 14 may include a reading device that can read information recorded as data on a recording medium that can be externally attached to the verification device 1.
  • the output device 15 is a device that outputs information to the outside of the verification device 1.
  • the output device 15 may output the information as an image.
  • the output device 15 may include a display device (so-called display) capable of displaying an image indicating information desired to be output.
  • the output device 15 may output the information as audio.
  • the output device 15 may include an audio device (so-called speaker) that can output audio.
  • the output device 15 may output information on paper. That is, the output device 15 may include a printing device (so-called printer) that can print desired information on paper.
  • FIG. 5 is a flowchart showing the flow of the verification operation performed by the verification device 1 in the second embodiment.
  • the image acquisition unit 111 acquires the query image IMG_Q (step S101). For example, if the query image IMG_Q is generated by a camera that images the query person, the image acquisition unit 111 may use the communication device 13 to acquire the query image IMG_Q from the camera. For example, if the query image IMG_Q is stored in a device external to the matching device 1, the image acquisition unit 111 uses the communication device 13 to obtain the query image IMG_Q from the device external to the matching device 1. It's okay. For example, if the query image IMG_Q is stored in the storage device 12, the image acquisition unit 111 may acquire the query image IMG_Q from the storage device 12.
  • the feature extraction unit 112 extracts the query feature F_Q, which is the feature of the query image IMG_Q (step S102). Specifically, the feature extraction unit 112 extracts the feature of the query person reflected in the query image IMG_Q as the query feature F_Q. For example, when the face of the query person is reflected in the query image IMG_Q, the feature amount extraction unit 112 may extract the feature amount of the face of the query person as the query feature amount F_Q.
  • the image acquisition unit 111 acquires a plurality of registered images IMG_R (step S103). For example, if a plurality of registered images IMG_R are stored in a device external to the matching device 1, the image acquisition unit 111 uses the communication device 13 to collect the plurality of registered images IMG_R from the device external to the matching device 1. IMG_R may also be obtained. For example, if a plurality of registered images IMG_R are stored in the storage device 12, the image acquisition unit 111 may acquire the plurality of registered images IMG_R from the storage device 12.
  • the feature amount extraction unit 112 extracts the registered feature amount F_R, which is the feature amount of each of the plurality of registered images IMG_R (step S104). That is, the feature amount extraction unit 112 extracts a plurality of registered feature amounts F_R corresponding to the plurality of registered images IMG_R. Specifically, the feature amount extraction unit 112 extracts the feature amount of the registered person reflected in the registered image IMG_R as the registered feature amount F_R. For example, if the registered person's face is reflected in the registered image IMG_R, the feature amount extraction unit 112 may extract the feature amount of the registered person's face as the registered feature amount F_R.
  • the image acquisition unit 111 may acquire a plurality of registered feature amounts F_R in addition to or in place of the plurality of registered images IMG_R.
  • the feature quantity extraction unit 112 does not need to extract the plurality of registered feature quantities F_R in step S104.
  • the matching unit 113 selects K registered images IMG_R similar to the query image IMG_Q from among the plurality of registered images IMG_R acquired in step S103, based on the query feature amount F_Q extracted in step S102.
  • a matching process is performed to extract K similar images IMG_R (step S105).
  • the matching unit 113 performs matching processing to extract a plurality of similar images IMG_R. That is, in step S105, the variable K indicating the number of similar images IMG_R extracted by the matching process is an integer of 2 or more.
  • the matching unit 113 matches the query feature amount F_Q extracted in step S102 with the plurality of registered feature amounts F_R extracted in step S104. Specifically, the matching unit 113 calculates the degree of similarity between the query feature amount F_Q and each of the plurality of registered feature amounts F_R. The higher the similarity between the query feature F_Q and the registered feature F_R, the higher the similarity between the query image IMG_Q and the registered image IMG_R. Therefore, the degree of similarity between the query feature amount F_Q and the registered feature amount F_R is equivalent to the degree of similarity between the query image IMG_Q and the registered image IMG_R.
  • the degree of similarity between the query feature amount F_Q and the registered feature amount F_R is equivalent to the degree of similarity between the query person and the registered person.
  • the matching unit 113 extracts K similar images IMG_S based on the calculated degree of similarity.
  • the matching unit 113 may extract K similar images IMG_S with relatively high degrees of similarity. That is, the matching unit 113 may extract K similar images IMG_S in descending order of similarity.
  • the matching unit 113 determines that the degree of similarity between each of the K registered images IMG_R extracted as similar images IMG_S and the query image IMG_Q is higher than that between the remaining registered images IMG_R not extracted as similar images IMG_S and the query image IMG_Q.
  • K registered images IMG_R that satisfy the extraction condition of being higher than the similarity may be extracted as K similar images IMG_S.
  • the feature amount correction unit 114 corrects the query feature amount F_Q extracted in step S102 based on the result of the matching process in step S105 (step S106). As a result, the feature amount correction unit 114 generates a new query feature amount F_Q corresponding to the corrected query feature amount F_Q.
  • the query feature F_Q corrected in step S106 will be referred to as the "query feature F_Q_correct", thereby referring to the query feature F_Q that has not been corrected in step S106 (that is, the query feature F_Q extracted in step S102). It is distinguished from the query feature quantity F_Q).
  • the feature amount correction unit 114 uses the query feature amount based on the K registered feature amounts F_R corresponding to the K similar images IMG_S (that is, the K registered images IMG_R) in step S105. Correct F_Q. Specifically, the feature amount correction unit 114 calculates the calculated value AV of the K registered feature amounts F_R by a predetermined calculation, and corrects the query feature amount F_Q based on the calculated calculated value AV.
  • the registered feature amount F_R is usually expressed as an M-dimensional feature vector (where M is a variable representing an integer of 1 or more).
  • the feature amount correction unit 114 may calculate the vector calculation values of the K feature amount vectors each representing the K registered feature amounts F_R as the calculation value AV.
  • the calculated value AV may be an index value indicating a feature amount component common to at least two of the K similar images IMG_S.
  • the calculated value AV may be an index value indicating a feature amount component common to at least two of the K registered persons appearing in each of the K similar images IMG_S.
  • the calculated value AV may be an index value indicating a feature amount component common to at least two of the K registered feature amounts F_R.
  • the calculated value AV is an index value in which a feature component common to at least two of the K similar images IMG_S is more strongly reflected than a feature component unique to each of the K similar images IMG_S. Good too.
  • the calculated value AV is calculated based on whether the feature amount components common to at least two of the K registered persons who appear in each of the K similar images IMG_S appear in each of the K similar images IMG_S.
  • the index value may be more strongly reflected than the characteristic amount components unique to each of the K registered persons.
  • the calculated value AV reflects feature components common to at least two of the K registered feature quantities F_R more strongly than feature components unique to each of the K registered feature quantities F_R. It may also be an index value.
  • the calculated value AV may be an index value in which a feature component common to at least two of the K similar images IMG_S is a main feature component.
  • the calculated value AV is an index value in which a feature amount component common to at least two of the K registered persons appearing in each of the K similar images IMG_S is a main feature amount component. It's okay.
  • the calculated value AV may be an index value whose main feature component is a feature component common to at least two of the K registered feature amounts F_R.
  • a calculated value AV is a simple average value (for example, a vector average).
  • the feature amount correction unit 114 may calculate the simple average value of the K registered feature amounts F_R as the calculated value AV.
  • a relatively large number of feature components common to at least two of the K registered feature amounts F_R remain in the simple average value of the K registered feature amounts F_R.
  • the norm of the feature quantity component unique to each of the K registered feature quantities F_R is reduced by averaging.
  • the simple average value of the K registered feature quantities F_R is such that the feature quantity component common to at least two of the K registered feature quantities F_R is the feature quantity component unique to each of the K registered feature quantities F_R.
  • the index value is more strongly reflected than the above.
  • a registered person in which A) is reflected, and the registered image IMG_R(B) in which a registered person (person B) wearing sunglasses is reflected although the query person (person A) is not the same person.
  • a registered image IMG_R(C) in which a registered person (person C) who is not the same person as the query person (person A) but is wearing sunglasses is extracted as a similar image IMG_S.
  • the feature amount correction unit 114 simply calculates the registered feature amount F_R of the registered image IMG_R(A), the registered feature amount F_R of the registered image IMG_R(B), and the registered feature amount F_R of the registered image IMG_R(C).
  • the average value is calculated as the calculated value AV.
  • the calculated value AV is an index value in which the feature component related to sunglasses that is common to two of the three registered feature values F_R is more strongly reflected than the feature component that is different from the feature component related to sunglasses. .
  • the calculated value AV becomes an index value whose main feature amount component is the feature amount component related to sunglasses that is common to two of the three registered feature amounts F_R.
  • the calculated value AV can be said to be an index value in which the main feature component is the feature component related to the area where sunglasses are reflected, which is common to two of the three registered feature values F_R. .
  • the calculated value AV reflects feature components of specific regions of each of the K similar images IMG_S more strongly than feature components of regions other than the specific regions of each of the K similar images IMG_S. It may be regarded as an index value.
  • the calculated value AV indicates that the feature amount component of each eye region (that is, the eye region including sunglasses) of K similar images IMG_S is other than the respective eye region of K similar images IMG_S.
  • the calculated value AV reflects feature components of specific regions of each of the K similar images IMG_S more strongly than feature components of regions other than the specific regions of each of the K similar images IMG_S. It may also be an index value.
  • the calculated value AV can be said to be an index value whose main feature component is the feature component related to the object sunglasses that is common to two of the three registered feature amounts F_R. Therefore, the calculated value AV indicates that the feature amount component of a specific object common to at least two of the K similar images IMG_S is higher than the feature amount component of an object other than the specific object in each of the K similar images IMG_S. It may also be an index value that is strongly reflected.
  • the calculated value AV is an index value whose main feature amount component is a feature amount component common to at least two of the K registered feature amounts F_R.
  • the operation of subtracting the calculated value AV from the query feature F_Q can be considered to be the operation of subtracting a feature component common to at least two of the K registered features F_R from the query feature F_Q. good.
  • the operation of subtracting the calculated value AV from the query feature F_Q essentially calculates the contribution of the feature component common to at least two of the K registered features F_R to the query feature F_Q. It may be considered to be equivalent to a lowering operation.
  • the contribution of the feature component common to at least two of the K registered features F_R to the corrected query feature F_Q_correct is the same as the contribution of the feature component common to at least two of the K registered features F_R to the uncorrected query feature F_Q.
  • the contribution is smaller than the contribution of the feature component common to at least two of F_R.
  • the operation of subtracting the calculated value AV from the query feature F_Q is essentially equivalent to the operation of reducing the contribution of the sunglasses feature component to the query feature F_Q. It's okay.
  • the contribution of the sunglasses feature component to the corrected query feature F_Q_correct is smaller than the contribution of the sunglasses feature component to the uncorrected query feature F_Q.
  • the matching unit 113 extracts K similar images IMG_R similar to the query image IMG_Q from among the plurality of registered images IMG_R acquired in step S103 based on the query feature amount F_Q_correct corrected in step S106.
  • a matching process is performed (step S107).
  • the matching unit 113 performs matching processing to extract at least one similar image IMG_R. That is, in step S107, the variable K indicating the number of similar images IMG_R extracted by the matching process is an integer of 1 or more.
  • the matching unit 113 uses Calculate similarity. Thereafter, the matching unit 113 extracts K similar images IMG_S based on the calculated degree of similarity. For example, the matching unit 113 may extract K similar images IMG_S with relatively high degrees of similarity. That is, the matching unit 113 may extract K similar images IMG_S in descending order of similarity. In other words, the matching unit 113 determines that the degree of similarity between each of the K registered images IMG_R extracted as similar images IMG_S and the query image IMG_Q is higher than that between the remaining registered images IMG_R not extracted as similar images IMG_S and the query image IMG_Q. K registered images IMG_R that satisfy the extraction condition of being higher than the similarity may be extracted as K similar images IMG_S.
  • similar image IMG_S in which a registered person who is not the same person as the query person is reflected is listed in a higher rank than similar image IMG_S in which a registered person who is the same as the query person is reflected.
  • One of the causes of this technical problem is that the matching process is performed using the query feature F_Q in which the contribution of the common feature component to at least two of the K registered feature values F_R is high.
  • the query feature F_Q in which the contribution of the sunglasses feature component is high.
  • the degree of contribution of the feature amount component common to at least two of the K registered feature amounts F_R to the corrected query feature amount F_Q_correct is relatively small.
  • the degree of contribution of the feature amount component of sunglasses to the corrected query feature amount F_Q_correct is relatively small. Therefore, the similarity between the query feature F_Q_correct and the registered feature F_R is a similarity regarding a feature component that is different from the feature component common to at least two of the K registered features F_R. I can say that. In the example shown in FIG.
  • the degree of similarity between the query feature amount F_Q_correct and the registered feature amount F_R is a degree of similarity regarding a feature amount component different from the feature amount component of sunglasses. Then, when the matching process is performed using the query feature F_Q_correct, which has a low contribution of the common feature component to at least two of the K registered features F_R, Compared to the case where the matching process is performed using the query feature F_Q in which the contribution of feature components common to at least two of the query features is high, the similar image IMG_S in which the registered person who is the same as the query person is reflected is It is less likely that a similar image IMG_S in which a registered person who is not the same person as the query person is included will be listed at a higher rank than .
  • the matching process is performed using the query feature F_Q_correct to which the contribution of the sunglasses feature component is low, the registered person wearing sunglasses is not the same as the query person wearing sunglasses. It is expected that the similarity ranking of the registered image IMG_R in which is reflected will be lowered. Specifically, when the matching process is performed using the query feature F_Q in which the contribution of the feature component of sunglasses is high, as shown in FIG. A similar image IMG_S that is not a person but includes a registered person (person B or C) wearing sunglasses is listed at a relatively high rank. On the other hand, when the matching process is performed using the query feature F_Q_correct, in which the contribution of the sunglasses feature component is low, as shown in FIG.
  • the degree of similarity between the registered feature amount F_R of the registered image IMG_R in which a registered person who is not the same as the query person and the query feature amount F_Q_correct is determined by The degree of similarity is smaller than the degree of similarity between the registered feature amount F_R of the registered image IMG_R in which a person is reflected and the query feature amount F_Q.
  • the degree of similarity is smaller than the degree of similarity between the registered feature amount F_R of the registered image IMG_R in which a person is reflected and the query feature amount F_Q.
  • the matching device 1 corrects the query feature amount F_Q based on the result of the matching process using the query feature amount F_Q.
  • a new query feature F_Q_correct is calculated, and the matching process is performed again based on the new query feature F_Q_correct.
  • the matching accuracy of the query image F_Q is improved compared to the case where the matching process is not performed again based on the new query feature amount F_Q_correct.
  • the feature amount correction unit 114 subtracts the calculated value AV from the query feature amount F_Q in order to correct the query feature amount F_Q. Therefore, as described above, the feature correction unit 114 appropriately generates the query feature F_Q_correct in which the contribution of the feature component common to at least two of the K registered features F_R is relatively small. can do. As a result, the matching accuracy of the query image F_Q is improved.
  • the feature amount correction unit 114 calculates the simple average value of the K registered feature amounts F_R as the calculation value AV in order to correct the query feature amount F_Q. Therefore, as described above, the feature correction unit 114 appropriately generates the query feature F_Q_correct in which the contribution of the feature component common to at least two of the K registered features F_R is relatively small. can do. As a result, the matching accuracy of the query image F_Q is improved.
  • the feature amount correction unit 114 calculates the simple average value of the K registered feature amounts F_R as the calculated value AV.
  • the feature amount correction unit 114 may calculate other types of average values of the K registered feature amounts F_R as the calculated value AV.
  • the feature amount correction unit 114 may calculate the weighted average value of the K registered feature amounts F_R as the calculated value AV.
  • the feature amount correction unit 114 calculates the K registered feature amounts F_R using the ranking of the K registered feature amounts F_R (specifically, the ranking according to the degree of similarity calculated in the matching process) as a weight.
  • a weighted average value may be calculated as the calculated value AV.
  • the feature amount correction unit 114 calculates a weighted average value of the K registered feature amounts F_R using a weight that increases as the rank is higher (that is, the degree of similarity is higher) as the calculated value AV. Good too.
  • the feature amount correction unit 114 may calculate a calculated value AV that is different from the average value.
  • AV the calculated value AV different from the average value
  • at least one of the maximum value of the K registered feature quantities F_R, the minimum value of the K registered feature quantities F_R, and the median value of the K registered feature quantities F_R can give.
  • the point is, as described above, as long as the calculated value AV indicates a feature component common to at least two of the K registered images IMG_R extracted as the K similar images IMG_S,
  • the calculated value may be used as the calculated value AV.
  • the feature amount correction unit 114 generates the query feature amount F_Q_correct by performing the operation of subtracting the calculated value AV from the query feature amount F_Q.
  • the feature amount correction unit 114 may generate the query feature amount F_Q_correct by performing an operation different from the operation of subtracting the calculated value AV from the query feature amount F_Q.
  • the feature amount correction unit 114 may generate the query feature amount F_Q_correct by performing an arbitrary calculation using the calculated value AV.
  • the reason for performing the operation of subtracting the calculated value AV from the query feature F_Q is to reduce the contribution of a feature component common to at least two of the K registered features F_R to the query feature F_Q.
  • the feature correction unit 114 performs any calculation that can reduce the contribution of the feature component common to at least two of the K registered feature values F_R to the query feature F_Q. In this way, the query feature amount F_Q_correct may be generated.
  • the matching device 1 compares the query image IMG_Q in which the query person is reflected with a plurality of registered images IMG_R in which a plurality of registered persons are reflected, thereby determining the query image IMG_Q in which the query person is reflected.
  • K registered images IMG_R in which registered persons similar to the person are included are extracted as K similar images IMG_S.
  • the matching device 1 K registered images IMG_R in which registered objects similar to the query object reflected in IMG_Q are reflected may be extracted as K similar images IMG_S.
  • the matching device 1 may perform a matching operation in order to search for a registered image in which the query object is reflected as a registered object (that is, to perform an image search).
  • the matching device 1 extracts K registered data similar to the query data as K similar data by matching arbitrary query data different from the image with a plurality of registered data different from the image. You may.
  • the matching device 1 may perform a matching operation to search for registered data that is the same as (or similar to) the query data (that is, to perform a data search). Even in this case, there is a low possibility that registered data that is not the same as the query data will be listed at a higher rank than registered data that is the same as the query data. Therefore, the accuracy of query data matching is improved.
  • Each of the query data and the registration data may be text data indicating text (that is, text data).
  • the matching device 1 may extract K pieces of registered data indicating registered texts similar to the query text indicated by the query data as K pieces of similar data.
  • the matching device 1 may perform a matching operation to search for registered data indicating registered text that is the same as (or similar to) the query text (that is, to perform a text search). Even in this case, there is a low possibility that registered data indicating registered text that is not the same as the query text will be listed at a higher rank than registered data indicating registered text that is the same as the query text. Therefore, the accuracy of matching text data is improved.
  • Each of the query data and registration data may be audio data indicating audio.
  • the matching device 1 may extract K pieces of registered data indicating registered voices similar to the query voice indicated by the query data as K pieces of similar data.
  • the matching device 1 may perform a matching operation in order to search for registered data indicating registered speech that is the same as (or similar to) the query speech (that is, to perform a speech search). Even in this case, there is a low possibility that registered data indicating a registered voice that is not the same as the query voice will be listed at a higher rank than registered data indicating a registered voice that is the same as the query voice. Therefore, the accuracy of matching voice data is improved.
  • a matching means for extracting a plurality of first similar data similar to the query data from a plurality of registered data based on a query feature quantity that is a feature quantity of the query data; a correction means for correcting the query feature amount based on calculated values of a plurality of registered feature amounts that are feature amounts of the plurality of first similar data;
  • the matching device extracts at least one second similar data similar to the query data from among the plurality of registered data based on the query feature corrected by the correction device.
  • the matching device according to supplementary note 1, wherein the correction means corrects the query feature amount by subtracting the calculated value of the registered feature amount of the plurality of similar data from the query feature amount.
  • the verification device according to Supplementary Note 1 or 2, wherein the calculated value includes an average value.
  • the query data includes query image data in which the query person is reflected;
  • the query feature amount includes a feature amount of the query person,
  • Each of the plurality of registered data includes registered image data in which the registered person is reflected,
  • the verification device according to any one of Supplementary Notes 1 to 3, wherein the registered feature amount includes a feature amount of the registered person.
  • a matching method comprising: extracting at least one second similar data similar to the query data from among the plurality of registered data based on the corrected query feature amount.
  • a recording medium on which a computer program for causing a computer to execute a matching method is recorded,
  • the matching method is Extracting a plurality of first similar data similar to the query data from a plurality of registered data based on a query feature amount that is a feature amount of the query data; correcting the query feature amount based on statistical values of a plurality of registered feature amounts that are feature amounts of the plurality of first similar data; and extracting at least one second similar data similar to the query data from the plurality of registered data based on the corrected query feature amount.
  • Collation device 11 Arithmetic device 111 Image acquisition unit 112 Feature extraction unit 113 Collation unit 114 Feature correction unit 1000 Collation device 1001 Collation unit 1002 Correction unit IMG_Q Query image IMG_R Registered image IMG_S Similar image F_Q Query feature F_R Registered feature

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

照合装置1は、クエリデータIMG_Qの特徴量であるクエリ特徴量F_Qに基づいて、複数の登録データIMG_Rの中から、クエリデータに類似する第1類似データIMG_Sを複数抽出する照合手段113と、複数の第1類似データの特徴量である複数の登録特徴量の演算値に基づいて、前記クエリ特徴量を補正する補正手段とを備え、前記照合手段は、前記補正手段が補正した前記クエリ特徴量に基づいて、前記複数の登録データの中から、前記クエリデータに類似する第2類似データを少なくとも一つ抽出する。

Description

照合装置、照合方法及び記録媒体
 この開示は、例えば、クエリデータを複数の登録データと照合することで、複数の登録データの中から、クエリデータに類似する類似データを抽出可能な照合装置、照合方法及び記録媒体の技術分野に関する。
 クエリデータを複数の登録データと照合可能な照合装置の一例が、特許文献1に記載されている。その他、この開示に関連する先行技術文献として、特許文献2から特許文献3及び非特許文献1があげられる。
特開2003-346149号公報 特開2009-031991号公報 特開2015-018401号公報
Zhun Zhong et.al、"Re-ranking Person Re-identification with k-reciprocal Encoding"、arXiv 1701.08398、2017年5月5日
 この開示は、先行技術文献に記載された技術の改良を目的とする照合装置、照合方法及び記録媒体を提供することを課題とする。
 この開示の照合装置の一の態様は、クエリデータの特徴量であるクエリ特徴量に基づいて、複数の登録データの中から、前記クエリデータに類似する第1類似データを複数抽出する照合手段と、前記複数の第1類似データの特徴量である複数の登録特徴量の演算値に基づいて、前記クエリ特徴量を補正する補正手段とを備え、前記照合手段は、前記補正手段が補正した前記クエリ特徴量に基づいて、前記複数の登録データの中から、前記クエリデータに類似する第2類似データを少なくとも一つ抽出する。
 この開示の照合方法の一の態様は、クエリデータの特徴量であるクエリ特徴量に基づいて、複数の登録データの中から、前記クエリデータに類似する第1類似データを複数抽出することと、前記複数の第1類似データの特徴量である複数の登録特徴量の統計値に基づいて、前記クエリ特徴量を補正することと、前記補正された前記クエリ特徴量に基づいて、前記複数の登録データの中から、前記クエリデータに類似する第2類似データを少なくとも一つ抽出することとを含む。
 この開示の記録媒体の一の態様は、コンピュータに照合方法を実行させるコンピュータプログラムが記録された記録媒体であって、前記照合方法は、クエリデータの特徴量であるクエリ特徴量に基づいて、複数の登録データの中から、前記クエリデータに類似する第1類似データを複数抽出することと、前記複数の第1類似データの特徴量である複数の登録特徴量の統計値に基づいて、前記クエリ特徴量を補正することと、前記補正された前記クエリ特徴量に基づいて、前記複数の登録データの中から、前記クエリデータに類似する第2類似データを少なくとも一つ抽出することとを含む。
図1は、第1実施形態における照合装置の構成を示すブロック図である。 図2は、クエリ画像、複数の登録画像及び少なくとも一つの類似画像を模式的に示す。 図3は、クエリ画像、複数の登録画像及び少なくとも一つの類似画像を模式的に示す。 図4は、第2実施形態における照合装置の構成を示すブロック図である。 図5は、第2実施形態における照合装置が行う照合動作の流れを示すフローチャートである。 図6は、クエリ画像、複数の登録画像及び少なくとも一つの類似画像を模式的に示す。
 以下、図面を参照しながら、照合装置、照合方法及び記録媒体の実施形態について説明する。
 (1)第1実施形態
 初めに、照合装置、照合方法及び記録媒体の第1実施形態について説明する。以下では、図1を参照しながら、照合装置、照合方法及び記録媒体の第1実施形態が適用された照合装置1000を用いて、照合装置、照合方法及び記録媒体の第1実施形態について説明する。図1は、第1実施形態における照合装置1000の構成を示すブロック図である。
 図1に示すように、第1実施形態における照合装置1000は、後述する付記に記載された「照合手段」の一具体例である照合部1001と、後述する付記に記載された「補正手段」の一具体例である補正部1002とを備える。照合部1001は、クエリデータの特徴量であるクエリ特徴量に基づいて、複数の登録データの中から、クエリデータに類似する登録データである第1類似データを複数抽出する。補正部1002は、照合部1001が抽出した複数の第1類似データの特徴量である複数の登録特徴量の統計値に基づいて、クエリ特徴量を補正する。補正部1002がクエリ特徴量を補正した場合には、照合部1001は、補正されたクエリ特徴量に基づいて、複数の登録データの中から、クエリデータに類似する登録データである第2類似データを少なくとも一つ抽出する。
 以上説明した第1実施形態における照合装置1000は、クエリ特徴量に基づいてクエリデータに類似する登録データを第1類似データとして抽出する抽出処理の結果に基づいてクエリ特徴量を補正し、補正したクエリ特徴量に基づいて照合処理を再度行う。その結果、照合処理が再度行われない場合と比較して、クエリデータの照合精度が向上する。
 (2)第2実施形態
 続いて、照合装置、照合方法及び記録媒体の第2実施形態について説明する。以下では、照合装置、照合方法及び記録媒体の第2実施形態が適用された照合装置1を用いて、照合装置、照合方法及び記録媒体の第2実施形態について説明する。
 (2-1)第2実施形態における照合装置1の概要
 照合装置1は、図2に示すように、クエリ画像IMG_Qを複数の登録画像IMG_Rと照合することで、複数の登録画像IMG_Rの中から、クエリ画像IMG_Qに類似する少なくとも一つの登録画像IMG_Rを、少なくとも一つの類似画像IMG_Sとして抽出する照合動作を行う。具体的には、照合装置1は、クエリ画像IMG_Qに類似するK(尚、Kは、1以上の整数を示す変数)個の類似画像IMG_Sを抽出する照合動作を行う。例えば、照合装置1は、類似画像IMG_Sとして抽出される一の登録画像IMG_Rとクエリ画像IMG_Qとの類似度が、類似画像IMG_Sとして抽出されない他の登録画像IMG_Rとクエリ画像IMG_Qとの類似度よりも高いという抽出条件を満たす一の登録画像IMG_Rを、類似画像IMG_Sとして抽出してもよい。
 尚、クエリ画像IMG_Qと同一の登録画像IMG_Rが存在する場合には、当該登録画像IMG_Rとクエリ画像IMG_Qとの類似度が相対的に高くなるがゆえに、当該登録画像IMG_Rは、類似画像IMG_Sとして抽出される可能性が高い。このため、第2実施形態における「クエリ画像IMG_Qに類似する登録画像IMG_R」の一例として、「クエリ画像IMG_Qと同一ではないものの類似する登録画像IMG_R」のみならず、「クエリ画像IMG_Qと同一である登録画像IMG_R」があげられる。
 第2実施形態では特に、図2に示すように、クエリ画像IMG_Q及び複数の登録画像IMG_Rの夫々に、人物の顔が写り込んでいる例について説明する。尚、以下の説明では、クエリ画像IMG_Qに写り込んでいる人物を、クエリ人物と称し、登録画像IMG_Rに写り込んでいる人物を、登録人物と称する。この場合、クエリ画像IMG_Qに類似する登録画像IMG_Rを類似画像IMG_Sとして抽出する照合動作は、クエリ人物に類似する登録人物が写り込んでいる登録画像IMG_Rを類似画像IMG_Sとして抽出する動作と等価であるとみなしてもよい。
 照合装置1は、クエリ人物と同一人物である登録人物を特定するために(つまり、人物照合を行うために)、照合動作を行ってもよい。或いは、照合装置1は、クエリ人物が登録人物として写り込んだ登録画像を検索するために(つまり、画像検索を行うために)、照合動作を行ってもよい。
 尚、クエリ人物と同一人物である登録人物が写り込んだ登録画像IMG_Rが存在する場合には、当該登録画像IMG_Rとクエリ画像IMG_Qとの類似度が相対的に高くなるがゆえに、当該登録画像IMG_Rは、類似画像IMG_Sとして抽出される可能性が高い。このため、第2実施形態における「クエリ画像IMG_Qに類似する登録画像IMG_R」の一例として、「クエリ人物と同一人物ではないものの類似する登録人物が写り込んだ登録画像IMG_R」のみならず、「クエリ人物と同一人物である登録人物が写り込んだ登録画像IMG_R」があげられる。
 (2-2)第2実施形態における照合装置1が解決するべき技術的課題
 クエリ画像IMG_Qに類似する登録画像IMG_Rを類似画像IMG_Sとして抽出する照合動作を行う照合装置1は、以下の技術的課題を有している。以下、クエリ画像IMG_Qに写り込んでいるクエリ人物が、人物Aであり、複数の登録画像IMG_Rが、人物A、人物B、人物C、人物D及び人物Eが五人の登録人物として夫々写り込んでいる五つの登録画像IMG_Rを含む例を用いて、技術的課題について説明する。この場合、通常、照合装置1は、図2に示すように、クエリ人物(人物A)と同一人物である登録人物(人物A)が写り込んだ登録画像IMG_Rと、クエリ人物(人物A)と同一人物ではないもののクエリ人物(人物A)に類似する登録人物が写り込んだ登録画像IMG_Rを、類似画像IMG_Sとして抽出する可能性がある。例えば、図2は、照合装置1が、登録人物(人物A)が写り込んだ登録画像IMG_Rと、登録人物(人物B)が写り込んだ登録画像IMG_Rと、登録人物(人物C)が写り込んだ登録画像IMG_Rとの夫々を、類似画像IMG_Sとして抽出する例を示している。この場合、複数の類似画像IMG_Sを類似度の順に並べると、通常、図2に示すように、クエリ人物(人物A)と同一人物である登録人物(人物A)が写り込んだ類似画像IMG_Sは、クエリ人物(人物A)と同一人物ではない登録人物(人物B又は人物C)が写り込んだ類似画像IMG_Sよりも高い順位にリストアップされる。この場合、照合動作によって、クエリ人物(人物A)と同一人物である登録人物(人物A)が、クエリ人物(人物A)と同一人物である可能性が最も高い登録人物として抽出される。このため、クエリ画像IMG_Qの照合精度が高いと言える。
 一方で、クエリ画像IMG_Qに写り込んだクエリ人物の状態及び登録画像IMG_Rに写り込んだ登録人物の状態によっては、クエリ人物(人物A)と同一人物である登録人物(人物A)が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ人物(人物A)と同一人物ではない登録人物(人物B、C、D又はE)が写り込んだ類似画像IMG_Sがリストアップされる可能性がある。
 一例として、クエリ人物(人物A)とは異なる登録人物が、クエリ人物(人物A)が装着している装着物と同じ装着物を身に着けている場合には、クエリ人物(人物A)とは異なる登録人物が、クエリ人物(人物A)が装着している装着物と同じ装着物を身に着けていない場合と比較して、クエリ人物(人物A)とは異なる登録人物とクエリ人物(人物A)との間の類似度が高くなる。つまり、クエリ人物(人物A)とは異なる登録人物が写り込んだ登録画像IMG_Rとクエリ画像IMG_Qとの間の類似度が高くなる。その結果、クエリ人物(人物A)と同一人物である登録人物(人物A)が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ人物と同一人物ではない登録人物(人物B、C、D又はE)が写り込んだ類似画像IMG_Sがリストアップされる可能性がある。
 装着物の一例として、マスク、眼鏡、サングラス及び帽子のうちの少なくとも一つがあげられる。例えば、図3は、クエリ人物(人物A)がサングラスを装着しており、クエリ人物(人物A)と同一人物である登録人物(人物A)がサングラスを装着しておらず、クエリ人物(人物A)とは異なる登録人物(人物B及びCの夫々)がサングラスを装着しており、且つ、クエリ人物(人物A)と異なる登録人物(人物D及びEの夫々)がサングラスを装着していない場合に取得されるクエリ画像IMG_Q及び登録画像IMG_Rを示している。この場合、クエリ人物(人物A)がサングラスを装着していることに起因して、サングラスを装着している登録人物(人物B及びCの夫々)が写り込んだ登録画像IMG_R(B)及びIMG_R(C)の夫々とクエリ画像IMG_Qとの類似度が意図せずに高くなってしまう。その結果、図3に示すように、クエリ人物(人物A)と同一人物である登録人物(人物A)が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ人物と同一人物ではない登録人物(図3に示す例では、人物B及びCの夫々)が写り込んだ類似画像IMG_Sがリストアップされる可能性がある。
 他の一例として、クエリ人物(人物A)の顔の所定部位が所定の遮蔽物によって隠されている状況下でクエリ人物(人物A)とは異なる登録人物の顔の所定部位が同じ遮蔽物によって隠されている場合には、クエリ人物(人物A)の顔の所定部位が所定の遮蔽物によって隠されている状況下でクエリ人物(人物A)とは異なる登録人物の顔の所定部位が同じ遮蔽物によって隠されていない場合と比較して、クエリ人物(人物A)とは異なる登録人物とクエリ人物(人物A)との間の類似度が高くなる。つまり、クエリ人物(人物A)とは異なる登録人物が写り込んだ登録画像IMG_Rとクエリ画像IMG_Qとの間の類似度が高くなる。その結果、クエリ人物(人物A)と同一人物である登録人物(人物A)が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ人物と同一人物ではない登録人物(人物B、C、D又はE)が写り込んだ類似画像IMG_Sがリストアップされる可能性がある。尚、遮蔽物の一例として、髪の毛及び髭の少なくとも一つがあげられる。
 他の一例として、クエリ人物(人物A)の顔の所定部位がクエリ画像IMG_Qに写り込んでいない状況下でクエリ人物と(人物A)とは異なる登録人物の顔の同じ部位が登録画像IMG_Rに写り込んでいない場合には、クエリ人物(人物A)の顔の所定部位がクエリ画像IMG_Qに写り込んでいない状況下でクエリ人物と(人物A)とは異なる登録人物の顔の同じ部位が登録画像IMG_Rに写り込んでいる場合と比較して、クエリ人物(人物A)とは異なる登録人物とクエリ人物(人物A)との間の類似度が高くなる。つまり、クエリ人物(人物A)とは異なる登録人物が写り込んだ登録画像IMG_Rとクエリ画像IMG_Qとの間の類似度が高くなる。その結果、クエリ人物(人物A)と同一人物である登録人物(人物A)が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ人物と同一人物ではない登録人物(人物B、C、D又はE)が写り込んだ類似画像IMG_Sがリストアップされる可能性がある。尚、人物の顔の所定部位が画像に写り込まなくなる原因の一つとして、カメラに対する顔の向きに起因して顔の一部の部位がカメラの死角に入ってしまうことがあげられる。
 他の一例として、クエリ人物(人物A)が撮像された場合の撮像条件が、クエリ人物と(人物A)とは異なる登録人物が撮像された場合の条件と類似している場合には、クエリ人物(人物A)が撮像された場合の撮像条件が、クエリ人物と(人物A)とは異なる登録人物が撮像された場合の条件と類似していない場合と比較して、クエリ人物(人物A)とは異なる登録人物とクエリ人物(人物A)との間の類似度が高くなる。つまり、クエリ人物(人物A)とは異なる登録人物が写り込んだ登録画像IMG_Rとクエリ画像IMG_Qとの間の類似度が高くなる。その結果、クエリ人物(人物A)と同一人物である登録人物(人物A)が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ人物と同一人物ではない登録人物(人物B、C、D又はE)が写り込んだ類似画像IMG_Sがリストアップされる可能性がある。尚、撮像条件の一例として、クエリ人物若しくは登録人物を照明するための照明光に関する条件、及び、クエリ人物若しくは登録人物を照明するためのカメラの種類に関する条件の少なくとも一つがあげられる。
 このようにクエリ人物(人物A)と同一人物である登録人物(人物A)が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ人物と同一人物ではない登録人物が写り込んだ類似画像IMG_Sがリストアップされる場合、照合動作によって、クエリ人物(人物A)と同一人物ではない登録人物が、クエリ人物(人物A)と同一人物である可能性が最も高い登録人物として抽出されていると言える。このため、クエリ画像IMG_Qの照合精度が高いとは必ずしも言えない。
 そこで、第2実施形態では、照合装置1は、上述した技術的解決を解決可能に構成されている。具体的には、照合装置1は、クエリ画像IMG_Qの照合精度が高くなるように、照合動作を行う。以下、このような照合装置1について、更に詳細に説明する。
 (2-3)照合装置1の構成
 初めに、図4を参照しながら、第2実施形態における照合装置1の構成について説明する。図4は、第2実施形態における照合装置1の構成を示すブロック図である。
 図4に示すように、照合装置1は、演算装置11と、記憶装置12と、通信装置13とを備えている。更に、照合装置1は、入力装置14と、出力装置15とを備えていてもよい。但し、照合装置1は、入力装置14及び出力装置15のうちの少なくとも一つを備えていなくてもよい。演算装置11と、記憶装置12と、通信装置13と、入力装置14と、出力装置15とは、データバス16を介して接続されていてもよい。
 演算装置11は、例えば、CPU(Central Processing Unit)、GPU(Graphics Proecssing Unit)及びFPGA(Field Programmable Gate Array)のうちの少なくとも一つを含む。演算装置11は、コンピュータプログラムを読み込む。例えば、演算装置11は、記憶装置12が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置11は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、照合装置1が備える図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置11は、通信装置13(或いは、その他の通信装置)を介して、照合装置1の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、ダウンロードしてもよい又は読み込んでもよい)。演算装置11は、読み込んだコンピュータプログラムを実行する。その結果、演算装置11内には、照合装置1が行うべき動作(例えば、上述した照合動作)を実行するための論理的な機能ブロックが実現される。つまり、演算装置11は、照合装置1が行うべき動作(言い換えれば、処理)を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
 図4には、照合動作を実行するために演算装置11内に実現される論理的な機能ブロックの一例が示されている。図4に示すように、演算装置11内には、画像取得部111と、特徴量抽出部112と、後述する付記に記載された「照合手段」の一具体例である照合部113と、後述する付記に記載された「補正手段」の一具体例である特徴量補正部114とが実気にされる。尚、画像取得部111、特徴量抽出部112、照合部113及び特徴量補正部114の夫々の動作については、後に図4等を参照しながら詳述する。
 記憶装置12は、所望のデータを記憶可能である。例えば、記憶装置12は、演算装置11が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置12は、演算装置11がコンピュータプログラムを実行している場合に演算装置11が一時的に使用するデータを一時的に記憶してもよい。記憶装置12は、照合装置1が長期的に保存するデータを記憶してもよい。尚、記憶装置12は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置12は、一時的でない記録媒体を含んでいてもよい。
 通信装置13は、照合装置1の外部の装置と通信可能である。
 入力装置14は、照合装置1の外部からの照合装置1に対する情報の入力を受け付ける装置である。例えば、入力装置14は、照合装置1のオペレータが操作可能な操作装置(例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ)を含んでいてもよい。例えば、入力装置14は、照合装置1に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。
 出力装置15は、照合装置1の外部に対して情報を出力する装置である。例えば、出力装置15は、情報を画像として出力してもよい。つまり、出力装置15は、出力したい情報を示す画像を表示可能な表示装置(いわゆる、ディスプレイ)を含んでいてもよい。例えば、出力装置15は、情報を音声として出力してもよい。つまり、出力装置15は、音声を出力可能な音声装置(いわゆる、スピーカ)を含んでいてもよい。例えば、出力装置15は、紙面に情報を出力してもよい。つまり、出力装置15は、紙面に所望の情報を印刷可能な印刷装置(いわゆる、プリンタ)を含んでいてもよい。
 (2-4)照合装置1が行う照合動作
 続いて、図5を参照しながら、第2実施形態における照合装置1が行う照合動作について説明する。図5は、第2実施形態における照合装置1が行う照合動作の流れを示すフローチャートである。
 図5に示すように、画像取得部111は、クエリ画像IMG_Qを取得する(ステップS101)。例えば、クエリ画像IMG_Qが、クエリ人物を撮像するカメラによって生成される場合は、画像取得部111は、通信装置13を用いて、カメラからクエリ画像IMG_Qを取得してもよい。例えば、クエリ画像IMG_Qが、照合装置1の外部の装置によって記憶されている場合には、画像取得部111は、通信装置13を用いて、照合装置1の外部の装置からクエリ画像IMG_Qを取得してもよい。例えば、クエリ画像IMG_Qが記憶装置12によって記憶されている場合には、画像取得部111は、記憶装置12からクエリ画像IMG_Qを取得してもよい。
 その後、特徴量抽出部112は、クエリ画像IMG_Qの特徴量であるクエリ特徴量F_Qを抽出する(ステップS102)。具体的には、特徴量抽出部112は、クエリ画像IMG_Qに写り込んでいるクエリ人物の特徴量を、クエリ特徴量F_Qとして抽出する。例えば、クエリ人物の顔がクエリ画像IMG_Qに写り込んでいる場合には、特徴量抽出部112は、クエリ人物の顔の特徴量を、クエリ特徴量F_Qとして抽出してもよい。
 ステップS101からステップS102までの処理と並行して又は相前後して、画像取得部111は、複数の登録画像IMG_Rを取得する(ステップS103)。例えば、複数の登録画像IMG_Rが、照合装置1の外部の装置によって記憶されている場合には、画像取得部111は、通信装置13を用いて、照合装置1の外部の装置から複数の登録画像IMG_Rを取得してもよい。例えば、複数の登録画像IMG_Rが記憶装置12によって記憶されている場合には、画像取得部111は、記憶装置12から複数の登録画像IMG_Rを取得してもよい。
 その後、特徴量抽出部112は、複数の登録画像IMG_Rの夫々の特徴量である登録特徴量F_Rを抽出する(ステップS104)。つまり、特徴量抽出部112は、複数の登録画像IMG_Rに夫々対応する複数の登録特徴量F_Rを抽出する。具体的には、特徴量抽出部112は、登録画像IMG_Rに写り込んでいる登録人物の特徴量を、登録特徴量F_Rとして抽出する。例えば、登録人物の顔が登録画像IMG_Rに写り込んでいる場合には、特徴量抽出部112は、登録人物の顔の特徴量を、登録特徴量F_Rとして抽出してもよい。
 尚、照合装置1の外部の装置又は記憶装置12が複数の登録画像IMG_Rに加えて又は代えて、複数の登録画像IMG_Rに夫々対応する複数の登録特徴量F_Rを記憶している場合には、ステップS103において、画像取得部111は、複数の登録画像IMG_Rに加えて又は代えて、複数の登録特徴量F_Rを取得してもよい。この場合、ステップS104において、特徴量抽出部112は、複数の登録特徴量F_Rを抽出しなくてもよい。
 その後、照合部113は、ステップS102において抽出されたクエリ特徴量F_Qに基づいて、ステップS103において取得された複数の登録画像IMG_Rの中から、クエリ画像IMG_Qに類似するK個の登録画像IMG_Rを、K個の類似画像IMG_Rとして抽出する照合処理を行う(ステップS105)。ステップS105では特に、照合部113は、複数の類似画像IMG_Rを抽出する照合処理を行う。つまり、ステップS105では、照合処理によって抽出される類似画像IMG_Rの数を示す変数Kは、2以上の整数となる。
 ステップS105においてK個の類似画像IMG_Sを抽出するために、照合部113は、ステップS102において抽出されたクエリ特徴量F_Qと、ステップS104において抽出された複数の登録特徴量F_Rとを照合する。具体的には、照合部113は、クエリ特徴量F_Qと複数の登録特徴量F_Rの夫々との間の類似度を算出する。クエリ特徴量F_Qと登録特徴量F_Rとの間の類似度が高ければ高い程、クエリ画像IMG_Qと登録画像IMG_Rとの類似度が高くなる。このため、クエリ特徴量F_Qと登録特徴量F_Rとの間の類似度は、クエリ画像IMG_Qと登録画像IMG_Rとの類似度と等価である。言い換えれば、クエリ特徴量F_Qと登録特徴量F_Rとの間の類似度が高ければ高い程、クエリ画像IMG_Qに写り込んだクエリ人物と登録画像IMG_Rに写り込んだ登録人物との類似度が高くなる。このため、クエリ特徴量F_Qと登録特徴量F_Rとの間の類似度は、クエリ人物と登録人物との類似度と等価である。
 その後、照合部113は、算出した類似度に基づいて、K個の類似画像IMG_Sを抽出する。例えば、照合部113は、類似度が相対的に高いK個の類似画像IMG_Sを抽出してもよい。つまり、照合部113は、類似度が高い順に、K個の類似画像IMG_Sを抽出してもよい。言い換えれば、照合部113は、類似画像IMG_Sとして抽出されるK個の登録画像IMG_Rの夫々とクエリ画像IMG_Qとの類似度が、類似画像IMG_Sとして抽出されない残りの登録画像IMG_Rとクエリ画像IMG_Qとの類似度よりも高いという抽出条件を満たすK個の登録画像IMG_Rを、K個の類似画像IMG_Sとして抽出してもよい。
 その後、特徴量補正部114は、ステップS105における照合処理の結果に基づいて、ステップS102で抽出されたクエリ特徴量F_Qを補正する(ステップS106)。その結果、特徴量補正部114は、補正されたクエリ特徴量F_Qに相当する新たなクエリ特徴量F_Qを生成する。尚、以下の説明では、ステップS106において補正されたクエリ特徴量F_Qを、“クエリ特徴量F_Q_correct”と称することで、ステップS106において補正されていないクエリ特徴量F_Q(つまり、ステップS102で抽出されたクエリ特徴量F_Q)と区別する。
 第2実施形態では、特徴量補正部114は、ステップS105においてK個の類似画像IMG_S(つまり、K個の登録画像IMG_R)に夫々対応するK個の登録特徴量F_Rに基づいて、クエリ特徴量F_Qを補正する。具体的には、特徴量補正部114は、K個の登録特徴量F_Rの演算値AVを所定の演算によって算出し、算出した演算値AVに基づいて、クエリ特徴量F_Qを補正する。
 登録特徴量F_Rは、通常、M(尚、Mは、1以上の整数を示す変数)次元の特徴量ベクトルとして表される。この場合、特徴量補正部114は、K個の登録特徴量F_Rを夫々表すK個の特徴量ベクトルのベクトル演算値を、演算値AVとして算出してもよい。
 演算値AVは、K個の類似画像IMG_Sのうちの少なくとも二つに共通の特徴量成分を示す指標値であってもよい。言い換えれば、演算値AVは、K個の類似画像IMG_Sに夫々写り込んでいるK人の登録人物のうちの少なくとも二人に共通の特徴量成分を示す指標値であってもよい。更に言い換えれば、演算値AVは、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分を示す指標値であってもよい。演算値AVは、K個の類似画像IMG_Sのうちの少なくとも二つに共通の特徴量成分が、K個の類似画像IMG_Sの夫々に固有の特徴量成分よりも強く反映された指標値であってもよい。言い換えれば、演算値AVは、K個の類似画像IMG_Sに夫々写り込んでいるK人の登録人物のうちの少なくとも二人に共通の特徴量成分が、K個の類似画像IMG_Sに夫々写り込んでいるK人の登録人物の夫々に固有の特徴量成分よりも強く反映された指標値であってもよい。更に言い換えれば、演算値AVは、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分が、K個の登録特徴量F_Rの夫々に固有の特徴量成分よりも強く反映された指標値であってもよい。演算値AVは、K個の類似画像IMG_Sのうちの少なくとも二つに共通の特徴量成分が、主要な特徴量成分となる指標値であってもよい。言い換えれば、演算値AVは、K個の類似画像IMG_Sに夫々写り込んでいるK人の登録人物のうちの少なくとも二人に共通の特徴量成分が、主要な特徴量成分となる指標値であってもよい。更に言い換えれば、演算値AVは、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分が主要な特徴量成分となる指標値であってもよい。
 このような演算値AVの一例として、単純平均値(例えば、ベクトル平均)があげられる。この場合、特徴量補正部114は、K個の登録特徴量F_Rの単純平均値を、演算値AVとして算出してもよい。K個の登録特徴量F_Rの単純平均値には、K個の登録特徴量F_Rのうちの少なくとも二つに共通する特徴量成分が相対的に多く残る。一方で、K個の登録特徴量F_Rの単純平均値では、K個の登録特徴量F_Rの夫々に固有の特徴量成分のノルムが、平均化によって減少される。その結果、K個の登録特徴量F_Rの単純平均値は、K個の登録特徴量F_Rの少なくとも二つに共通の特徴量成分が、K個の登録特徴量F_Rの夫々に固有の特徴量成分よりも強く反映された指標値となる。
 一例として、図3に示す例では、クエリ人物(人物A)がサングラスを装着している状況下で、クエリ人物(人物A)とは同一人物ではあるもののサングラスを装着していない登録人物(人物A)が写り込んだ登録画像IMG_R(A)と、クエリ人物(人物A)とは同一人物ではないもののサングラスを装着している登録人物(人物B)が写り込んだ登録画像IMG_R(B)と、クエリ人物(人物A)とは同一人物ではないもののサングラスを装着している登録人物(人物C)が写り込んだ登録画像IMG_R(C)とが、類似画像IMG_Sとして抽出されている。この場合、特徴量補正部114は、登録画像IMG_R(A)の登録特徴量F_Rと、登録画像IMG_R(B)の登録特徴量F_Rと、登録画像IMG_R(C)の登録特徴量F_Rとの単純平均値を、演算値AVとして算出する。この場合、演算値AVは、三つの登録特徴量F_Rのうちの二つに共通するサングラスに関する特徴量成分が、サングラスに関する特徴量成分とは異なる特徴量成分よりも強く反映された指標値となる。つまり、演算値AVは、三つの登録特徴量F_Rのうちの二つに共通するサングラスに関する特徴量成分が主要な特徴量成分となる指標値となる。
 図3に示す例では、演算値AVは、三つの登録特徴量F_Rのうちの二つに共通するサングラスが写り込んだ領域に関する特徴量成分が主要な特徴量成分となる指標値となるとも言える。この場合、演算値AVは、K個の類似画像IMG_Sの夫々の特定の領域の特徴量成分が、K個の類似画像IMG_Sの夫々の特定の領域以外の領域の特徴量成分よりも強く反映された指標値であるとみなしてもよい。図3に示す例では、演算値AVは、K個の類似画像IMG_Sの夫々の目領域(つまり、サングラスを含む目領域)の特徴量成分が、K個の類似画像IMG_Sの夫々の目領域以外の領域の特徴量成分よりも強く反映された指標値であるとみなしてもよい。このため、演算値AVは、K個の類似画像IMG_Sの夫々の特定の領域の特徴量成分が、K個の類似画像IMG_Sの夫々の特定の領域以外の領域の特徴量成分よりも強く反映された指標値であってもよい。
 また、図3に示す例では、演算値AVは、三つの登録特徴量F_Rのうちの二つに共通するサングラスという物体に関する特徴量成分が主要な特徴量成分となる指標値となるとも言える。このため、演算値AVは、K個の類似画像IMG_Sの少なくとも二つに共通する特定の物体の特徴量成分が、K個の類似画像IMG_Sの夫々の特定の物体以外の物体の特徴量成分よりも強く反映された指標値であってもよい。
 演算値AVが算出された後、特徴量補正部114は、ステップS102において抽出されたクエリ特徴量F_Qから、算出した演算値AVを減算する演算を行うことで、クエリ特徴量F_Q_correctを生成する。つまり、特徴量補正部114は、「クエリ特徴量F_Q_correct=クエリ特徴量F_Q-演算値AV」という数式を用いて、クエリ特徴量F_Q_correctを生成する(つまり、クエリ特徴量F_Qを補正する)。
 ここで、上述したように、演算値AVは、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分が主要な特徴量成分となる指標値である。この場合、クエリ特徴量F_Qから演算値AVを減算する演算は、クエリ特徴量F_Qから、K個の登録特徴量F_Rの少なくとも二つに共通の特徴量成分を減算する演算であるとみなしてもよい。その結果、クエリ特徴量F_Qから演算値AVを減算する演算は、実質的には、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分のクエリ特徴量F_Qに対する寄与度を下げる演算と等価であるとみなしてもよい。その結果、補正されたクエリ特徴量F_Q_correctに対するK個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分の寄与度は、補正されていないクエリ特徴量F_Qに対するK個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分の寄与度よりも小さくなる。図3に示す例で言えば、クエリ特徴量F_Qから演算値AVを減算する演算は、実質的には、クエリ特徴量F_Qに対するサングラスの特徴量成分の寄与度を下げる演算と等価であるとみなしてもよい。その結果、補正されたクエリ特徴量F_Q_correctに対するサングラスの特徴量成分の寄与度は、補正されていないクエリ特徴量F_Qに対するサングラスの特徴量成分の寄与度よりも小さくなる。
 その後、照合部113は、ステップS106において補正されたクエリ特徴量F_Q_correctに基づいて、ステップS103において取得された複数の登録画像IMG_Rの中から、クエリ画像IMG_Qに類似するK個の類似画像IMG_Rを抽出する照合処理を行う(ステップS107)。ステップS107では特に、照合部113は、少なくとも一つの類似画像IMG_Rを抽出する照合処理を行う。つまり、ステップS107では、照合処理によって抽出される類似画像IMG_Rの数を示す変数Kは、1以上の整数となる。
 ステップS107においてK個の類似画像IMGを抽出するために、照合部113は、ステップS106において抽出されたクエリ特徴量F_Q_correctと、ステップS104において抽出された複数の登録特徴量F_Rの夫々との間の類似度を算出する。その後、照合部113は、算出した類似度に基づいて、K個の類似画像IMG_Sを抽出する。例えば、照合部113は、類似度が相対的に高いK個の類似画像IMG_Sを抽出してもよい。つまり、照合部113は、類似度が高い順に、K個の類似画像IMG_Sを抽出してもよい。言い換えれば、照合部113は、類似画像IMG_Sとして抽出されるK個の登録画像IMG_Rの夫々とクエリ画像IMG_Qとの類似度が、類似画像IMG_Sとして抽出されない残りの登録画像IMG_Rとクエリ画像IMG_Qとの類似度よりも高いという抽出条件を満たすK個の登録画像IMG_Rを、K個の類似画像IMG_Sとして抽出してもよい。
 ここで、上述した「クエリ人物と同一人物である登録人物が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ人物と同一人物ではない登録人物が写り込んだ類似画像IMG_Sがリストアップされる」という技術的課題の原因の一つは、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分の寄与度が高いクエリ特徴量F_Qを用いて照合処理を行うことにある。例えば、図3に示す例では、「サングラスをかけたクエリ人物と同一人物であるもののサングラスをかけていない登録人物が写り込んだ類似画像IMG_Sよりも高い順位に、サングラスをかけたクエリ人物と同一人物ではないもののサングラスをかけた登録人物が写り込んだ類似画像IMG_Sがリストアップされる」という技術的課題の原因の一つは、K個の登録特徴量F_Rのうちの少なくとも二つに共通するサングラスの特徴量成分の寄与度が高いクエリ特徴量F_Qを用いて照合処理を行うことにある。
 一方で、第2実施形態では、補正されたクエリ特徴量F_Q_correctに対するK個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分の寄与度は、相対的に小さくなっている。図3に示す例では、補正されたクエリ特徴量F_Q_correctに対するサングラスの特徴量成分の寄与度は、相対的に小さくなっている。このため、クエリ特徴量F_Q_correctと登録特徴量F_Rとの間の類似度は、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分とは異なる特徴量成分に関する類似度であると言える。図3に示す例では、クエリ特徴量F_Q_correctと登録特徴量F_Rとの間の類似度は、サングラスの特徴量成分とは異なる特徴量成分に関する類似度であると言える。そうすると、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分の寄与度が低いクエリ特徴量F_Q_correctを用いて照合処理が行われる場合には、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分の寄与度が高いクエリ特徴量F_Qを用いて照合処理が行われる場合と比較して、クエリ人物と同一人物である登録人物が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ人物と同一人物ではない登録人物が写り込んだ類似画像IMG_Sがリストアップされる可能性は低くなる。
 図3に示す例では、サングラスの特徴量成分の寄与度が低いクエリ特徴量F_Q_correctを用いて照合処理が行われるがゆえに、サングラスを装着したクエリ人物と同一人物ではないもののサングラスを装着した登録人物が写り込んだ登録画像IMG_Rの類似度の順位が下がることが期待される。具体的には、サングラスの特徴量成分の寄与度が高いクエリ特徴量F_Qを用いて照合処理が行われる場合には、図3に示すように、サングラスをかけたクエリ人物(人物A)と同一人物ではないもののサングラスをかけた登録人物(人物B又はC)が写り込んだ類似画像IMG_Sが相対的に高い順位にリストアップされる。一方で、サングラスの特徴量成分の寄与度が低いクエリ特徴量F_Q_correctを用いて照合処理が行われる場合には、図6に示すように、サングラスをかけたクエリ人物(人物A)と同一人物ではないもののサングラスをかけた登録人物(人物B又はC)が写り込んだ類似画像IMG_Sが相対的に高い順位にリストアップされる可能性は低くなる。その結果、サングラスの特徴量成分の寄与度が低いクエリ特徴量F_Q_correctを用いて照合処理が行われる場合には、サングラスの特徴量成分の寄与度が高いクエリ特徴量F_Qを用いて照合処理が行われる場合と比較して、サングラスをかけたクエリ人物と同一人物であるもののサングラスをかけていない登録人物が写り込んだ類似画像IMG_Sよりも高い順位に、サングラスをかけたクエリ人物と同一人物ではないもののサングラスをかけた登録人物が写り込んだ類似画像IMG_Sがリストアップされる可能性は低くなる。このため、クエリ画像IMG_Qの照合精度が高くなる。
 このように、第2実施形態では、クエリ人物と同一人物ではない登録人物が写り込んだ登録画像IMG_Rの登録特徴量F_Rとクエリ特徴量F_Q_correctとの類似度は、クエリ人物と同一人物ではない登録人物が写り込んだ登録画像IMG_Rの登録特徴量F_Rとクエリ特徴量F_Qとの類似度よりも小さくなる。その結果、クエリ特徴量F_Q_correctを用いて照合処理が行われる場合には、クエリ特徴量F_Qを用いて照合処理が行われる場合と比較して、クエリ人物と同一人物ではない登録人物が写り込んだ登録画像IMG_Rの類似度の順位が下がることが期待される。その結果、クエリ人物と同一人物である登録人物が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ人物と同一人物ではない登録人物が写り込んだ類似画像IMG_Sがリストアップされる可能性は低くなる。このため、クエリ画像IMG_Qの照合精度が高くなる。
 (2-5)第2実施形態における照合装置1の技術的効果
 以上説明したように、照合装置1は、クエリ特徴量F_Qを用いた照合処理の結果に基づいてクエリ特徴量F_Qを補正することで新たなクエリ特徴量F_Q_correctを算出し、新たなクエリ特徴量F_Q_correctに基づいて照合処理を再度行う。その結果、新たなクエリ特徴量F_Q_correctに基づいて照合処理が再度行われない場合と比較して、クエリ画像F_Qの照合精度が向上する。
 第2実施形態では、特徴量補正部114は、クエリ特徴量F_Qを補正するために、クエリ特徴量F_Qから演算値AVを減算する。このため、上述したように、特徴量補正部114は、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分の寄与度が相対的に小さいクエリ特徴量F_Q_correctを適切に生成することができる。その結果、クエリ画像F_Qの照合精度が向上する。
 第2実施形態では、特徴量補正部114は、クエリ特徴量F_Qを補正するために、演算値AVとして、K個の登録特徴量F_Rの単純平均値を算出する。このため、上述したように、特徴量補正部114は、K個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分の寄与度が相対的に小さいクエリ特徴量F_Q_correctを適切に生成することができる。その結果、クエリ画像F_Qの照合精度が向上する。
 (2-6)変形例
 上述した説明では、特徴量補正部114は、K個の登録特徴量F_Rの単純平均値を、演算値AVとして算出している。しかしながら、特徴量補正部114は、K個の登録特徴量F_Rのその他の種類の平均値を、演算値AVとして算出してもよい。例えば、特徴量補正部114は、K個の登録特徴量F_Rの加重平均値を、演算値AVとして算出してもよい。一例として、特徴量補正部114は、K個の登録特徴量F_Rの順位(具体的には、照合処理で算出される類似度に応じた順位)を重みとするK個の登録特徴量F_Rの加重平均値を、演算値AVとして算出してもよい。具体的には、特徴量補正部114は、順位が高い(つまり、類似度が高い)ほど大きくなる重みを用いたK個の登録特徴量F_Rの加重平均値を、演算値AVとして算出してもよい。
 或いは、特徴量補正部114は、平均値とは異なる演算値AVを算出してもよい。平均値とは異なる演算値AVの一例として、K個の登録特徴量F_Rの最大値、K個の登録特徴量F_Rの最小値及びK個の登録特徴量F_Rの中央値のうちの少なくとも一つがあげられる。要は、上述したように、演算値AVが、K個の類似画像IMG_Sとして夫々抽出されたK個の登録画像IMG_Rのうちの少なくとも二つに共通の特徴量成分を示す限りは、どのような演算値が演算値AVとして用いられてもよい。
 上述した説明では、特徴量補正部114は、クエリ特徴量F_Qから演算値AVを減算する演算を行うことで、クエリ特徴量F_Q_correctを生成している。しかしながら、特徴量補正部114は、クエリ特徴量F_Qから演算値AVを減算する演算とは異なる演算を行うことで、クエリ特徴量F_Q_correctを生成してもよい。例えば、特徴量補正部114は、演算値AVを用いる任意の演算を行うことで、クエリ特徴量F_Q_correctを生成してもよい。クエリ特徴量F_Qから演算値AVを減算する演算を行う理由が、クエリ特徴量F_Qに対するK個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分の寄与度を下げることであることを考慮すれば、特徴量補正部114は、クエリ特徴量F_Qに対するK個の登録特徴量F_Rのうちの少なくとも二つに共通の特徴量成分の寄与度を下げることが可能な任意の演算を行うことで、クエリ特徴量F_Q_correctを生成してもよい。
 上述した説明では、照合装置1は、クエリ人物が写り込んだクエリ画像IMG_Qを、複数の登録人物が夫々写り込んだ複数の登録画像IMG_Rと照合することで、クエリ画像IMG_Qに写り込んでいるクエリ人物に類似する登録人物が写り込んでいるK個の登録画像IMG_Rを、K個の類似画像IMG_Sとして抽出している。しかしながら、照合装置1は、人物とは異なる任意のクエリ物体が写り込んだクエリ画像IMG_Qを、人物とは異なる複数の登録物体が夫々写り込んだ複数の登録画像IMG_Rと照合することで、クエリ画像IMG_Qに写り込んでいるクエリ物体に類似する登録物体が写り込んでいるK個の登録画像IMG_Rを、K個の類似画像IMG_Sとして抽出してもよい。この場合、照合装置1は、クエリ物体が登録物体として写り込んだ登録画像を検索するために(つまり、画像検索を行うために)、照合動作を行ってもよい。この場合であっても、クエリ物体と同一物体である登録物体が写り込んだ類似画像IMG_Sよりも高い順位に、クエリ物体と同一物体ではない登録物体が写り込んだ類似画像IMG_Sがリストアップされる可能性は低くなる。このため、クエリ画像IMG_Qの照合精度が向上する。
 或いは、照合装置1は、画像とは異なる任意のクエリデータを、画像とは異なる複数の登録データと照合することで、クエリデータと類似するK個の登録データを、K個の類似データとして抽出してもよい。この場合、照合装置1は、クエリデータと同一である(或いは、類似する)登録データを検索するために(つまり、データ検索を行うために)、照合動作を行ってもよい。この場合であっても、クエリデータと同一である登録データよりも高い順位に、クエリデータと同一ではない登録データがリストアップされる可能性は低くなる。このため、クエリデータの照合精度の精度が向上する。
 クエリデータ及び登録データの夫々は、テキストを示すテキストデータ(つまり、文章データ)であってもよい。この場合、照合装置1は、クエリデータが示すクエリテキストと類似する登録テキストを示すK個の登録データを、K個の類似データとして抽出してもよい。この場合、照合装置1は、クエリテキストと同一である(或いは、類似する)登録テキストを示す登録データを検索するために(つまり、テキスト検索を行うために)、照合動作を行ってもよい。この場合であっても、クエリテキストと同一の登録テキストを示す登録データよりも高い順位に、クエリテキストと同一ではない登録テキストを示す登録データがリストアップされる可能性は低くなる。このため、テキストデータの照合精度が向上する。
 クエリデータ及び登録データの夫々は、音声を示す音声データであってもよい。この場合、照合装置1は、クエリデータが示すクエリ音声と類似する登録音声を示すK個の登録データを、K個の類似データとして抽出してもよい。この場合、照合装置1は、クエリ音声と同一である(或いは、類似する)登録音声を示す登録データを検索するために(つまり、音声検索を行うために)、照合動作を行ってもよい。この場合であっても、クエリ音声と同一の登録音声を示す登録データよりも高い順位に、クエリ音声と同一ではない登録音声を示す登録データがリストアップされる可能性は低くなる。このため、音声データの照合精度が向上する。
 (3)付記
 以上説明した実施形態に関して、更に以下の付記を開示する。
[付記1]
 クエリデータの特徴量であるクエリ特徴量に基づいて、複数の登録データの中から、前記クエリデータに類似する第1類似データを複数抽出する照合手段と、
 前記複数の第1類似データの特徴量である複数の登録特徴量の演算値に基づいて、前記クエリ特徴量を補正する補正手段と
 を備え、
 前記照合手段は、前記補正手段が補正した前記クエリ特徴量に基づいて、前記複数の登録データの中から、前記クエリデータに類似する第2類似データを少なくとも一つ抽出する
 照合装置。
[付記2]
 前記補正手段は、前記複数の類似データの登録特徴量の演算値を前記クエリ特徴量から減算することで、前記クエリ特徴量を補正する
 付記1に記載の照合装置。
[付記3]
 前記演算値は、平均値を含む
 付記1又は2に記載の照合装置。
[付記4]
 前記クエリデータは、クエリ人物が写り込んだクエリ画像データを含み、
 前記クエリ特徴量は、前記クエリ人物の特徴量を含み、
 前記複数の登録データの夫々は、登録人物が写り込んだ登録画像データを含み、
 前記登録特徴量は、前記登録人物の特徴量を含む
 付記1から3のいずれか一項に記載の照合装置。
[付記5]
 クエリデータの特徴量であるクエリ特徴量に基づいて、複数の登録データの中から、前記クエリデータに類似する第1類似データを複数抽出することと、
 前記複数の第1類似データの特徴量である複数の登録特徴量の統計値に基づいて、前記クエリ特徴量を補正することと、
 前記補正された前記クエリ特徴量に基づいて、前記複数の登録データの中から、前記クエリデータに類似する第2類似データを少なくとも一つ抽出することと
 を含む照合方法。
[付記6]
 コンピュータに照合方法を実行させるコンピュータプログラムが記録された記録媒体であって、
 前記照合方法は、
 クエリデータの特徴量であるクエリ特徴量に基づいて、複数の登録データの中から、前記クエリデータに類似する第1類似データを複数抽出することと、
 前記複数の第1類似データの特徴量である複数の登録特徴量の統計値に基づいて、前記クエリ特徴量を補正することと、
 前記補正された前記クエリ特徴量に基づいて、前記複数の登録データの中から、前記クエリデータに類似する第2類似データを少なくとも一つ抽出することと
 を含む記録媒体。
 上述の各実施形態の構成要素の少なくとも一部は、上述の各実施形態の構成要素の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要素のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献(例えば、公開公報)の開示を援用してこの開示の記載の一部とする。
 この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う照合装置、照合方法及び記録媒体もまた、この開示の技術的思想に含まれる。
 1 照合装置
 11 演算装置
 111 画像取得部
 112 特徴量抽出部
 113 照合部
 114 特徴量補正部
 1000 照合装置
 1001 照合部
 1002 補正部
 IMG_Q クエリ画像
 IMG_R 登録画像
 IMG_S 類似画像
 F_Q クエリ特徴量
 F_R 登録特徴量

Claims (6)

  1.  クエリデータの特徴量であるクエリ特徴量に基づいて、複数の登録データの中から、前記クエリデータに類似する第1類似データを複数抽出する照合手段と、
     前記複数の第1類似データの特徴量である複数の登録特徴量の演算値に基づいて、前記クエリ特徴量を補正する補正手段と
     を備え、
     前記照合手段は、前記補正手段が補正した前記クエリ特徴量に基づいて、前記複数の登録データの中から、前記クエリデータに類似する第2類似データを少なくとも一つ抽出する
     照合装置。
  2.  前記補正手段は、前記複数の類似データの登録特徴量の演算値を前記クエリ特徴量から減算することで、前記クエリ特徴量を補正する
     請求項1に記載の照合装置。
  3.  前記演算値は、平均値を含む
     請求項1又は2に記載の照合装置。
  4.  前記クエリデータは、クエリ人物が写り込んだクエリ画像データを含み、
     前記クエリ特徴量は、前記クエリ人物の特徴量を含み、
     前記複数の登録データの夫々は、登録人物が写り込んだ登録画像データを含み、
     前記登録特徴量は、前記登録人物の特徴量を含む
     請求項1から3のいずれか一項に記載の照合装置。
  5.  クエリデータの特徴量であるクエリ特徴量に基づいて、複数の登録データの中から、前記クエリデータに類似する第1類似データを複数抽出することと、
     前記複数の第1類似データの特徴量である複数の登録特徴量の統計値に基づいて、前記クエリ特徴量を補正することと、
     前記補正された前記クエリ特徴量に基づいて、前記複数の登録データの中から、前記クエリデータに類似する第2類似データを少なくとも一つ抽出することと
     を含む照合方法。
  6.  コンピュータに照合方法を実行させるコンピュータプログラムが記録された記録媒体であって、
     前記照合方法は、
     クエリデータの特徴量であるクエリ特徴量に基づいて、複数の登録データの中から、前記クエリデータに類似する第1類似データを複数抽出することと、
     前記複数の第1類似データの特徴量である複数の登録特徴量の統計値に基づいて、前記クエリ特徴量を補正することと、
     前記補正された前記クエリ特徴量に基づいて、前記複数の登録データの中から、前記クエリデータに類似する第2類似データを少なくとも一つ抽出することと
     を含む記録媒体。
PCT/JP2022/011346 2022-03-14 2022-03-14 照合装置、照合方法及び記録媒体 WO2023175676A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/011346 WO2023175676A1 (ja) 2022-03-14 2022-03-14 照合装置、照合方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/011346 WO2023175676A1 (ja) 2022-03-14 2022-03-14 照合装置、照合方法及び記録媒体

Publications (1)

Publication Number Publication Date
WO2023175676A1 true WO2023175676A1 (ja) 2023-09-21

Family

ID=88022885

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011346 WO2023175676A1 (ja) 2022-03-14 2022-03-14 照合装置、照合方法及び記録媒体

Country Status (1)

Country Link
WO (1) WO2023175676A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101970A (ja) * 1995-10-06 1997-04-15 Omron Corp 画像検索方法および画像検索装置
JP2008276775A (ja) * 2007-04-25 2008-11-13 Fujitsu Ltd 画像検索装置
JP2010250636A (ja) * 2009-04-17 2010-11-04 Seiko Epson Corp 画像検索端末装置および画像検索要求方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101970A (ja) * 1995-10-06 1997-04-15 Omron Corp 画像検索方法および画像検索装置
JP2008276775A (ja) * 2007-04-25 2008-11-13 Fujitsu Ltd 画像検索装置
JP2010250636A (ja) * 2009-04-17 2010-11-04 Seiko Epson Corp 画像検索端末装置および画像検索要求方法

Similar Documents

Publication Publication Date Title
US8676740B2 (en) Attribute estimation system, age estimation system, gender estimation system, age and gender estimation system and attribute estimation method
WO2010004958A1 (ja) 個人認証システム、個人認証方法
Abbasi-Sureshjani et al. Risk of training diagnostic algorithms on data with demographic bias
US9202109B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
WO2015008567A1 (ja) 顔印象度推定方法、装置、及びプログラム
US9779488B2 (en) Information processing device, image processing method and medium
US10635919B2 (en) Information processing device, image processing system, image processing method, and program storage medium
WO2011092865A1 (ja) 物体検出装置及び物体検出方法
WO2020012523A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2019042080A1 (en) SYSTEM AND METHOD FOR PROCESSING IMAGE DATA
KR20220071875A (ko) 인공신경망 기반 보험 가입 예정자의 언더라이팅 장치 및 방법
JP4624635B2 (ja) 個人認証方法及びシステム
Prabhu et al. U-finger: Multi-scale dilated convolutional network for fingerprint image denoising and inpainting
CN114419378B (zh) 图像分类的方法、装置、电子设备及介质
WO2023175676A1 (ja) 照合装置、照合方法及び記録媒体
JP2021103538A (ja) 情報処理装置、情報処理方法、および、情報処理プログラム
JP2011141866A (ja) データ分類装置、データ分類システムおよびプログラム
CN112200109A (zh) 面部属性识别方法、电子设备以及计算机可读存储介质
Woloszynski et al. On a new measure of classifier competence applied to the design of multiclassifier systems
Kaymak et al. Illumination Invariant Face Recognition Using Principal Component Analysis–An Overview
Nanni et al. A supervised method to discriminate between impostors and genuine in biometry
Patel et al. Counterfeit Currency Detection using Deep Learning
WO2021124320A1 (en) System and method for performing face recognition
Anila et al. An efficient preprocessing technique for face recognition under difficult lighting conditions
US20230143808A1 (en) Similarity degree calculator, authorization system, similarity degree calculation method, similarity degree calculation program, and method for generating similarity degree calculation program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22931961

Country of ref document: EP

Kind code of ref document: A1