WO2024252527A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2024252527A1
WO2024252527A1 PCT/JP2023/021036 JP2023021036W WO2024252527A1 WO 2024252527 A1 WO2024252527 A1 WO 2024252527A1 JP 2023021036 W JP2023021036 W JP 2023021036W WO 2024252527 A1 WO2024252527 A1 WO 2024252527A1
Authority
WO
WIPO (PCT)
Prior art keywords
likelihood ratio
information processing
ratio matrix
processing device
sequence data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021036
Other languages
English (en)
French (fr)
Inventor
貴也 宮本
章記 海老原
大輝 宮川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2025525499A priority Critical patent/JPWO2024252527A1/ja
Priority to PCT/JP2023/021036 priority patent/WO2024252527A1/ja
Publication of WO2024252527A1 publication Critical patent/WO2024252527A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification

Definitions

  • This disclosure relates to the technical fields of information processing devices, information processing methods, and recording media.
  • Patent Document 1 discloses a device that classifies sequence data into one of a number of predefined classes by sequentially acquiring and analyzing multiple elements contained in the sequence data.
  • This disclosure aims to improve the related technology described above.
  • One aspect of the information processing device disclosed herein includes an acquisition means for acquiring sequence data, a likelihood ratio calculation means for calculating a likelihood ratio matrix indicating the degree of match between the sequence data and each of a plurality of registered data, a determination means for determining which of the plurality of registered data the sequence data matches based on the likelihood ratio matrix, and an exclusion means for determining whether the minimum value of each row in the likelihood ratio matrix is below a predetermined exclusion threshold and excluding rows below the exclusion threshold from the likelihood ratio calculation means for subsequent calculations of the likelihood ratio matrix.
  • One aspect of the information processing method disclosed herein is to obtain sequence data by at least one computer, calculate a likelihood ratio matrix indicating the degree of match between the sequence data and each of a plurality of registered data, determine which of the plurality of registered data the sequence data matches based on the likelihood ratio matrix, determine whether the minimum value of each row in the likelihood ratio matrix is below a predetermined exclusion threshold, and exclude rows that fall below the exclusion threshold from subsequent calculations of the likelihood ratio matrix.
  • a computer program is recorded on at least one computer to execute an information processing method that acquires sequence data, calculates a likelihood ratio matrix indicating the degree of match between the sequence data and each of a plurality of registered data, determines which of the plurality of registered data the sequence data matches based on the likelihood ratio matrix, determines whether the minimum value of each row in the likelihood ratio matrix is below a predetermined exclusion threshold, and excludes rows that fall below the exclusion threshold from subsequent calculations of the likelihood ratio matrix.
  • FIG. 2 is a block diagram showing a hardware configuration of a first information processing apparatus.
  • FIG. 2 is a block diagram showing a functional configuration of a first information processing apparatus.
  • 11 is a diagram illustrating an example of a likelihood ratio matrix calculated by the first information processing device; 11 is a graph showing an example of a determination threshold value used in the first information processing apparatus. 11 is a graph showing an example of an exclusion threshold value used in the first information processing apparatus.
  • FIG. 2 is a block diagram showing a functional configuration of a second information processing apparatus.
  • FIG. 10 is a flowchart showing a flow of operations of the second information processing apparatus.
  • FIG. 11 is a conceptual diagram showing an example of an exclusion operation by the third information processing apparatus.
  • FIG. 13 is a conceptual diagram showing an example of an exclusion operation by the fourth information processing apparatus.
  • FIG. 13 is a side view showing an example of a gate system to which the fifth information processing device is applied.
  • Fig. 1 is a block diagram showing the hardware configuration of the first information processing apparatus.
  • the first information processing device 10 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, and a storage device 14.
  • the information processing device 10 may further include an input device 15 and an output device 16.
  • the above-mentioned processor 11, RAM 12, ROM 13, storage device 14, input device 15, and output device 16 are each connected via a data bus 17.
  • the processor 11 reads a computer program.
  • the processor 11 is configured to read a computer program stored in at least one of the RAM 12, the ROM 13, and the storage device 14.
  • the processor 11 may read a computer program stored in a computer-readable storage medium using a storage medium reading device (not shown).
  • the processor 11 may obtain (i.e., read) a computer program from a device (not shown) disposed outside the information processing device 10 via a network interface.
  • the processor 11 controls the RAM 12, the storage device 14, the input device 15, and the output device 16 by executing the computer program that the processor 11 reads.
  • a functional block that performs class classification based on a likelihood ratio is realized within the processor 11. That is, the processor 11 may function as a controller that performs each control in the information processing device 10.
  • the processor 11 may be configured as, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or a quantum processor.
  • the processor 11 may be configured as one of these, or may be configured to use multiple processors in parallel.
  • RAM 12 temporarily stores computer programs executed by processor 11.
  • RAM 12 temporarily stores data that processor 11 uses temporarily while processor 11 is executing a computer program.
  • RAM 12 may be, for example, a D-RAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory). Also, other types of volatile memory may be used instead of RAM 12.
  • ROM 13 stores computer programs executed by processor 11. ROM 13 may also store other fixed data. ROM 13 may be, for example, a P-ROM (Programmable Read Only Memory) or an EPROM (Erasable Read Only Memory). Also, other types of non-volatile memory may be used instead of ROM 13.
  • the storage device 14 stores data that the information processing device 10 stores long-term.
  • the storage device 14 may operate as a temporary storage device for the processor 11.
  • the storage device 14 may include, for example, at least one of a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device.
  • the input device 15 is a device that receives input instructions from a user of the information processing device 10.
  • the input device 15 may include, for example, at least one of a keyboard, a mouse, and a touch panel.
  • the input device 15 may be configured as a mobile terminal such as a smartphone or a tablet.
  • the input device 15 may be, for example, a device that includes a microphone and is capable of voice input.
  • the output device 16 is a device that outputs information related to the information processing device 10 to the outside.
  • the output device 16 may be a display device (e.g., a display) that can display information related to the information processing device 10.
  • the output device 16 may also be a speaker or the like that can output information related to the information processing device 10 as audio.
  • the output device 16 may be configured as a mobile terminal such as a smartphone or a tablet.
  • FIG. 1 shows an example of an information processing device 10 that is configured to include multiple devices, all or some of these functions may be realized by a single device.
  • Such an information processing device may, for example, be configured to include only the above-mentioned processor 11, RAM 12, and ROM 13, and the other components (i.e., storage device 14, input device 15, output device 16, etc.) may be provided by, for example, an external device connected to the information processing device 10.
  • the information processing device 10 may have some of its calculation functions realized by an external device (for example, an external server or cloud, etc.).
  • Fig. 2 is a block diagram showing the functional configuration of the first information processing device.
  • the first information processing device 10 is a device that performs class classification of input sequence data, and is configured with an acquisition unit 50, a likelihood ratio calculation unit 60, a determination unit 70, and an exclusion unit 80 as components for realizing the function.
  • Each of the acquisition unit 50, the likelihood ratio calculation unit 60, the determination unit 70, and the exclusion unit 80 may be a processing block realized by, for example, the above-mentioned processor 11 (see FIG. 1).
  • the acquisition unit 50 is configured to be able to acquire sequence data.
  • Sequence data here refers to data that includes multiple elements arranged in a specific order, and one example is time-series data. More specific examples of sequence data include, but are not limited to, video data, audio data, or subdivided image data.
  • the acquisition unit 50 may acquire data directly from any data acquisition device (e.g., a camera or microphone), or may read data that has been acquired in advance by a data acquisition device and stored in storage, etc. When acquiring data from a camera, the acquisition unit 50 may be configured to acquire data from each of multiple cameras.
  • the sequence data acquired by the acquisition unit 50 is input to the likelihood ratio calculation unit 60 together with multiple registered data.
  • the registered data here is data that has been registered in advance, and is used for matching with the sequence data.
  • the registered data is stored in, for example, a storage device. Note that the storage device that stores the registered data may be provided by the information processing device 10 itself, or may be provided by an external device.
  • the likelihood ratio calculation unit 60 is configured to be able to calculate a likelihood ratio based on the sequence data acquired by the acquisition unit 50 and multiple registered data.
  • the "likelihood ratio" here is an index indicating the likelihood of the class to which the sequence data belongs, but in this embodiment, it is particularly calculated by the acquisition unit 50 as an index indicating the degree of match between the sequence data and each of the multiple registered data.
  • the likelihood ratio calculation unit 60 may be configured to be able to calculate a likelihood ratio based on the relationship between at least two consecutive elements out of the multiple elements included in the sequence data.
  • the likelihood ratio (specifically, the likelihood ratio matrix) calculated by the likelihood ratio calculation unit 60 will be described below with reference to FIG. 3.
  • FIG. 3 is a diagram showing an example of a likelihood ratio matrix calculated by the first information processing device.
  • all numerators of the log-likelihood ratios are p(X
  • y 0).
  • all numerators of the likelihood ratios are p(X
  • y 1).
  • all numerators of the likelihood ratios are p(X
  • y 2).
  • all denominators of the likelihood ratios are p(X
  • y 0).
  • all denominators of the likelihood ratios are p(X
  • y 1).
  • all denominators of the likelihood ratios are p(X
  • y 2).
  • the likelihood ratios on the diagonal of the likelihood ratio matrix have the same likelihood in the denominator and numerator. Specifically, the first row from the top and first column from the left, log ⁇ p(X
  • y 0)/p(X
  • y 0) ⁇ , the second row from the top and second column from the left, log ⁇ p(X
  • y 1)/p(X
  • y 1) ⁇ , and the third row from the top and third column from the left, log ⁇ p(X
  • y 2)/p(X
  • y 2) ⁇ , each have the same denominator and numerator. Furthermore, the likelihood ratios on opposite sides of the diagonal likelihood ratios have reversed denominators and numerators.
  • numerator and denominator are reversed between log ⁇ p(X
  • y 0)/p(X
  • y 1) ⁇ in the first row from the top and second column from the left and log ⁇ p(X
  • y 1)/p(X
  • y 0) ⁇ in the second row from the top and first column from the left.
  • numerator and denominator are reversed between log ⁇ p(X
  • y 0)/p(X
  • y 2) ⁇ in the first row from the top and third column from the left and log ⁇ p(X
  • y 2)/p(X
  • y 0) ⁇ in the third row from the top and first column from the left.
  • the numerator and denominator are reversed between log ⁇ p(X
  • y 1)/p(X
  • y 2) ⁇ in the second row from the top and third column from the left and log ⁇ p(X
  • y 2)/p(X
  • y 1) ⁇ in the third row from the top and second column from the left. Therefore, likelihood ratios on opposite sides of the diagonal have values with opposite signs. In this way, the likelihood ratios in the likelihood ratio matrix are arranged like a skew matrix (antisymmetric matrix).
  • the determination unit 70 is configured to be able to classify sequence data based on the likelihood ratio matrix calculated by the likelihood ratio calculation unit 60.
  • the determination unit 70 selects at least one class to which the sequence data belongs from among a plurality of classes that are classification candidates. Through such an operation, the determination unit 70 determines which of a plurality of registered data the sequence data matches.
  • FIG. 4 is a graph showing an example of a determination threshold used in the first information processing device.
  • the determination unit 70 determines whether the minimum value of the likelihood ratios for each row in the likelihood ratio matrix exceeds the determination threshold. If the minimum value exceeds the determination threshold, the determination unit 70 determines that the class corresponding to that row (i.e., the registered data) matches the sequence data. In the example shown in FIG. 4, the likelihood ratio of log ⁇ p(X
  • y 0)/p(X
  • y 1) ⁇ gradually increases and finally exceeds the determination threshold. In such a case, class 0 is determined to be the correct class (i.e., the registered data that matches the sequence data).
  • the exclusion unit 80 is configured to be able to determine whether the minimum value of each row in the likelihood ratio matrix calculated by the likelihood ratio calculation unit 60 is below a predetermined exclusion threshold. The exclusion unit 80 then excludes rows whose minimum value is below the exclusion threshold from the likelihood ratio calculation unit 60 for subsequent calculations of the likelihood ratio matrix.
  • the exclusion method in the exclusion unit 80 will be specifically described with reference to FIG. 5 and FIG. 6.
  • FIG. 5 is a graph showing an example of an exclusion threshold used in the first information processing device.
  • FIG. 6 is a diagram showing an example of a class excluded in the first information processing device.
  • the exclusion unit 80 judges whether the minimum value of the likelihood ratio of each row in the likelihood ratio matrix is below a predetermined exclusion threshold.
  • the above-mentioned judgment threshold is a positive threshold (see FIG. 4), whereas the exclusion threshold is a negative threshold.
  • the exclusion threshold may be set to have the same absolute value as the judgment threshold, or may be set to be different. If there is a row whose minimum value is below the exclusion threshold, the exclusion unit 80 excludes the class (i.e., registered data) corresponding to that row from the next and subsequent calculations of the likelihood ratio matrix.
  • y 1)/p(X
  • the likelihood ratios of the rows corresponding to class 1 are not included in the calculation from the next time onwards. Also, because the likelihood ratio matrix is an antisymmetric matrix, when the rows corresponding to class 1 are excluded from the calculation, the columns corresponding to class 1 are also not included in the calculation.
  • Fig. 7 is a flowchart showing the flow of operations of the first information processing device.
  • the acquisition unit 50 first acquires sequence data (step S101). More specifically, the acquisition unit 50 sequentially acquires multiple elements included in the acquired sequence data.
  • the sequence data acquired by the acquisition unit 50 and the read registered data are input to the likelihood ratio calculation unit 101 (step S102).
  • the likelihood ratio calculation unit 60 then calculates a likelihood ratio matrix based on the sequence data and the registered data (step S103).
  • the determination unit 70 determines whether or not there is a row in the likelihood ratio matrix whose minimum value exceeds the determination threshold (step S104). If it is determined that there is a row whose minimum value exceeds the determination threshold (step S104: YES), the determination unit 70 outputs a determination result that the class corresponding to that row is the correct class (step S105).
  • step S104 determines whether or not there is a row in the likelihood ratio matrix whose minimum value is below the exclusion threshold. Then, if it is determined that there is a row whose minimum value is below the exclusion threshold (step S106: YES), the exclusion unit 80 excludes the class corresponding to that row from the calculation targets from the next time onwards (step S107). On the other hand, if it is determined that there is no row whose minimum value is below the exclusion threshold (step S106: NO), the processing of the above-mentioned step S107 is omitted. In other words, the processing of excluding calculation targets is not executed.
  • step S101 the process of obtaining elements contained in the sequence data and calculating the likelihood ratio matrix is repeatedly executed until it is determined that there is a row whose minimum value exceeds the determination threshold.
  • the corresponding class is excluded from the likelihood ratio calculation target in the next and subsequent calculations.
  • the calculation cost increases exponentially, which may become a bottleneck for the entire processing in the device.
  • classes that are below the exclusion threshold are excluded from the calculation target in the next and subsequent calculations, so the calculation cost is reduced by the amount of the excluded classes.
  • the first information processing device 10 since only classes that are easy to classify are excluded (in other words, classes whose likelihood ratios do not change significantly are not excluded), even if a class is excluded from the calculation target, the impact on the overall accuracy is small. Therefore, according to the first information processing device 10, it is possible to efficiently reduce the calculation cost while maintaining high classification accuracy.
  • Second Embodiment The second embodiment will be described with reference to Figures 8 and 9.
  • the second embodiment differs from the first embodiment described above only in some configurations and operations, and other parts may be similar to the first embodiment. Therefore, hereinafter, the parts that differ from the first embodiment will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • Fig. 8 is a block diagram showing the functional configuration of the second information processing device.
  • the same elements as those shown in Fig. 2 are denoted by the same reference numerals.
  • the second information processing device 10 is configured to include, as components for realizing its functions, an acquisition unit 50, a likelihood ratio calculation unit 60, a determination unit 70, an exclusion unit 80, and a feature integration unit 90. That is, the second information processing device 10 further includes a feature integration unit 80 in addition to the configuration described in the first embodiment (see FIG. 2).
  • the feature integration unit 80 may be a processing block realized by, for example, the above-mentioned processor 11 (see FIG. 1).
  • the feature integration unit 80 is configured to be able to integrate the features of the series data and the features of the registered data to generate integrated features. For example, when N pieces of registered data are registered, the feature integration unit 80 integrates the features of the series data and each of the features of the N pieces of registered data to generate N integrated features. Note that the method for integrating the features is not particularly limited, but for example, the feature combination unit 80 may integrate the features by combining the features of the series data and the features of the registered data. Alternatively, the feature combination unit 80 may integrate the features by calculating the difference between the features of the series data and the features of the registered data.
  • the feature integration unit 80 may have a function of extracting features from at least one of the sequence data and the registered data. In this case, the feature integration unit 80 first extracts features from the sequence data and the registered data, and then integrates the extracted features of the sequence data with the features of the registered data. Note that features of the registered data may be extracted in advance and stored in the form of features.
  • the likelihood ratio calculation unit 60 in the second information processing device 10 is configured to calculate a likelihood ratio matrix using the integrated features integrated by the feature integration unit 80 described above.
  • Fig. 9 is a flowchart showing the flow of operations of the second information processing device. Note that in Fig. 9, the same processes as those shown in Fig. 7 are denoted by the same reference numerals.
  • the acquisition unit 50 first acquires sequence data (step S101).
  • the feature integration unit 80 extracts features from the sequence data acquired by the acquisition unit 50 (step S201). Note that the feature integration unit 80 may extract features from the registered data in the same way as from the sequence data. After that, the feature integration unit 80 integrates the features of the sequence data and the features of the registered data (step S202).
  • the likelihood ratio calculation unit 60 then calculates a likelihood ratio matrix based on the integrated features integrated by the feature integration unit (step S203). Note that the subsequent processing is similar to that described in the first embodiment (see FIG. 7), and therefore detailed description thereof will be omitted here.
  • the feature amounts of the sequence data and the feature amounts of the registered data are integrated to generate integrated feature amounts.
  • the integrated feature amounts can be used to calculate a likelihood ratio matrix, making it possible to appropriately determine the degree of match between the sequence data and the registered data.
  • the third embodiment will be described with reference to Fig. 10.
  • the third embodiment differs from the first and second embodiments described above only in some operations, and other parts may be similar to the first and second embodiments. Therefore, the following will describe in detail the parts that differ from the embodiments already described, and will omit descriptions of other overlapping parts as appropriate.
  • Fig. 10 is a conceptual diagram showing an example of the exclusion operation performed by the third information processing device.
  • the likelihood ratio calculation unit 60 in the third information processing device 10 includes a classifier 65 that classifies classes.
  • the elements of the classes to be excluded are deleted from the weights W_ ⁇ ij ⁇ used by the classifier 65. In this way, the load in the calculation process from the next time onwards can be reduced by the amount of the excluded classes.
  • the fourth embodiment will be described with reference to Fig. 11.
  • the fourth embodiment differs from the first to third embodiments in some operations, and other operations may be similar to the first to third embodiments. Therefore, the following will describe in detail the parts that differ from the embodiments already described, and will omit descriptions of other overlapping parts as appropriate.
  • Fig. 11 is a conceptual diagram showing an example of the exclusion operation performed by the fourth information processing device.
  • the likelihood ratio calculation unit 60 in the fourth information processing device 10 includes a class classifier 65 that classifies classes, as in the third embodiment described above.
  • the exclusion unit 80 in the fourth information processing device 10 performs subsequent calculations using only the logits excluding the classes to be excluded, among the N-dimensional logits output by the class classifier 65. For example, if K classes are excluded, then subsequent calculations will use only logits for N-K classes.
  • next and subsequent calculations are performed using logits that exclude classes that are not to be calculated. In this way, the load in the next and subsequent calculation processes can be reduced by the amount of the excluded classes.
  • the fifth embodiment will be described with reference to Fig. 12.
  • the fifth embodiment shows a specific application example of the first to fourth embodiments described above, and the configuration and operation thereof may be generally similar to those of the first to fourth embodiments. Therefore, in the following, only the parts that differ from the embodiments already described will be described in detail, and the description of the other overlapping parts will be omitted as appropriate.
  • Fig. 12 is a side view showing an example of a gate system to which the fifth information processing device is applied.
  • the fifth information processing device 10 is applied to a gate system installed at the entrances of various facilities such as offices, apartment buildings, airports, event venues, theme parks, etc.
  • the main elements constituting the gate system are a gate device 200 and a camera 300.
  • the gate device 200 performs face recognition on an approaching target 500 to determine whether or not the target can pass through the gate.
  • the camera 300 captures a facial image of the target to be used for face recognition.
  • the information processing device 10 may be configured as, for example, a part of the gate device 300, or may be configured by another server, etc.
  • the gate system When the gate system detects the approach of the target 500, it captures a facial image of the target 500 and performs facial recognition.
  • the information processing device 10 performs facial recognition using this facial image. Specifically, the information processing device 10 acquires the facial image of the target as series data. Then, the information processing device 10 determines whether or not the facial image of the target 500 matches pre-registered registration data (i.e., the facial image of a registered user). More specifically, the information processing device 10 calculates a likelihood ratio matrix based on the feature amount extracted from the facial image of the target 500 and the feature amount of the registration data. Then, based on the calculated likelihood ratio matrix, it determines whether or not the face of the target 500 matches which face in the registration data. At this time, if the minimum value of each row of the likelihood ratio matrix is below the exclusion threshold, the information processing device 10 excludes that class from the next and subsequent calculation targets.
  • the fifth information processing device 10 is used for face recognition using a face image.
  • Face recognition requires, for example, that authentication must be completed before the target 500 passes through a gate or leaves the field of view of the camera 300, and therefore requires faster and more accurate authentication.
  • the face recognition system becomes large-scale (for example, N is on the order of tens of thousands to hundreds of thousands), the calculation time increases, leading to slower authentication speeds.
  • the fifth information processing device 10 As described above, some classes are excluded from the next and subsequent calculations depending on the judgment result, so the processing load can be reduced accordingly. In addition, the excluded classes are narrowed down to only those that are easy to judge, so the impact on the overall authentication accuracy is small. Therefore, according to the fifth information processing device 10, it is possible to realize a face authentication system with high authentication speed and high accuracy.
  • the fifth information processing device 10 can also be applied to a device that acquires images including parts of the body other than the face (e.g., iris images, fingerprint images, palm print images, etc.) as sequence data. Furthermore, the fifth information processing device 10 can also be applied to a device that acquires, other than images, for example, audio as sequence data.
  • each embodiment also includes a processing method in which a program that operates the configuration of each embodiment to realize the functions of the above-mentioned embodiments is recorded on a recording medium, the program recorded on the recording medium is read as code, and executed on a computer.
  • computer-readable recording media are also included in the scope of each embodiment.
  • each embodiment includes not only the recording medium on which the above-mentioned program is recorded, but also the program itself.
  • the recording medium may be, for example, a floppy disk, hard disk, optical disk, magneto-optical disk, CD-ROM, magnetic tape, non-volatile memory card, or ROM.
  • the scope of each embodiment is not limited to programs recorded on the recording medium that execute processes by themselves, but also includes programs that operate on an OS in conjunction with other software or functions of an expansion board to execute processes.
  • the program itself may be stored on a server, and part or all of the program may be made downloadable from the server to a user terminal.
  • the program may be provided to the user in, for example, a SaaS (Software as a Service) format.
  • the information processing device described in Supplementary Note 1 is an information processing device including: an acquisition means for acquiring sequence data; a likelihood ratio calculation means for calculating a likelihood ratio matrix indicating a degree of match between the sequence data and each of a plurality of registered data; a determination means for determining which of the plurality of registered data the sequence data matches based on the likelihood ratio matrix; and an exclusion means for determining whether a minimum value of each row in the likelihood ratio matrix is below a predetermined exclusion threshold and excluding rows below the exclusion threshold from targets for subsequent calculations of the likelihood ratio matrix by the likelihood ratio calculation means.
  • the information processing device described in Supplementary Note 2 is the information processing device described in Supplementary Note 1, further comprising a feature integration means for integrating features extracted from the sequence data and each of the features extracted from the plurality of registered data to generate a plurality of integrated features, and the likelihood ratio calculation means calculates the likelihood ratio matrix using the plurality of integrated features.
  • the information processing device described in Supplementary Note 3 is the information processing device described in Supplementary Note 1 or 2, wherein the exclusion means deletes elements corresponding to rows that fall below the exclusion threshold from the weights used by the likelihood ratio calculation means when calculating the likelihood ratio matrix.
  • Appendix 4 The information processing device described in Appendix 4 is the information processing device described in Appendix 1 or 2, wherein the exclusion means calculates the likelihood ratio matrix from the next time onwards by using the likelihood ratio matrix calculated by the likelihood ratio calculation means, excluding logits corresponding to rows that are below the exclusion threshold.
  • Appendix 5 The information processing device described in Appendix 5 is the information processing device described in any one of Appendixes 1 to 4, wherein the series data are facial images of a target, the plurality of registered data are facial images of registered users, and the determination means determines which of the registered users the face of the target matches.
  • the information processing method described in Supplementary Note 6 is an information processing method which, by at least one computer, acquires sequence data, calculates a likelihood ratio matrix indicating a degree of match between the sequence data and each of a plurality of registered data, determines which of the plurality of registered data the sequence data matches based on the likelihood ratio matrix, determines whether or not a minimum value of each row in the likelihood ratio matrix is below a predetermined exclusion threshold, and excludes rows that are below the exclusion threshold from being targets for subsequent calculations of the likelihood ratio matrix by the likelihood ratio calculation means.
  • the recording medium described in Supplementary Note 7 is a recording medium having recorded thereon a computer program for causing at least one computer to execute an information processing method of acquiring sequence data, calculating a likelihood ratio matrix indicating a degree of match between the sequence data and each of a plurality of registered data, determining which of the plurality of registered data the sequence data matches based on the likelihood ratio matrix, determining whether or not a minimum value of each row in the likelihood ratio matrix is below an exclusion threshold, and excluding rows that are below the predetermined exclusion threshold from targets for subsequent calculation of the likelihood ratio matrix by the likelihood ratio calculation means.
  • the computer program described in Supplementary Note 8 is a computer program that causes at least one computer to execute an information processing method of acquiring sequence data, calculating a likelihood ratio matrix indicating a degree of match between the sequence data and each of a plurality of registered data, determining which of the plurality of registered data the sequence data matches based on the likelihood ratio matrix, determining whether or not a minimum value of each row in the likelihood ratio matrix is below a predetermined exclusion threshold, and excluding rows that are below the exclusion threshold from targets for subsequent calculation of the likelihood ratio matrix by the likelihood ratio calculation means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置（１０）は、系列データを取得する取得手段（５０）と、系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出する尤度比算出手段（６０）と、尤度比行列に基づいて、系列データが複数の登録データのいずれと合致するのかを判定する判定手段（７０）と、尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定し、除外閾値を下回った行について、尤度比算出手段における次回以降の尤度比行列の算出対象から除外する除外手段（８０）と、を備える。このような情報処理装置によれば、尤度比計算の処理負荷が増大してしまうことを抑制することが可能である。

Description

情報処理装置、情報処理方法、及び記録媒体
　この開示は、情報処理装置、情報処理方法、及び記録媒体の技術分野に関する。
　この種の装置として、尤度比を用いて系列データのクラス分類を行うものが知られている。例えば特許文献１は、系列データに含まれる複数の要素を逐次的に取得して解析することにより、系列データをあらかじめ定められた複数のクラスのうちのいずれかに分類することを開示している。
国際公開第２０２０／１９４４９７号
　この開示は、上述した関連する技術を改善することを目的とする。
　この開示の情報処理装置の一の態様は、系列データを取得する取得手段と、前記系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出する尤度比算出手段と、前記尤度比行列に基づいて、前記系列データが前記複数の登録データのいずれと合致するのかを判定する判定手段と、前記尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定し、前記除外閾値を下回った行について、前記尤度比算出手段における次回以降の前記尤度比行列の算出対象から除外する除外手段と、を備える。
　この開示の情報処理方法の一の態様は、少なくとも１つのコンピュータによって、系列データを取得し、前記系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出し、前記尤度比行列に基づいて、前記系列データが前記複数の登録データのいずれと合致するのかを判定し、前記尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定し、前記除外閾値を下回った行について、次回以降の尤度比行列の算出対象から除外する。
　この開示の記録媒体の一の態様は少なくとも１つのコンピュータに、系列データを取得し、前記系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出し、前記尤度比行列に基づいて、前記系列データが前記複数の登録データのいずれと合致するのかを判定し、前記尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定し、前記除外閾値を下回った行について、次回以降の尤度比行列の算出対象から除外する、情報処理方法を実行させるコンピュータプログラムが記録されている。
第１の情報処理装置のハードウェア構成を示すブロック図である。 第１の情報処理装置の機能的構成を示すブロック図である。 第１の情報処理装置で算出される尤度比行列の一例を示す図である。 第１の情報処理装置で用いられる判定閾値の一例を示すグラフである。 第１の情報処理装置で用いられる除外閾値の一例を示すグラフである。 第１の情報処理装置で除外されるクラスの一例を示す図である。 第１の情報処理装置の動作の流れを示すフローチャートである。 第２の情報処理装置の機能的構成を示すブロック図である。 第２の情報処理装置の動作の流れを示すフローチャートである。 第３の情報処理装置による除外動作の一例を示す概念図である。 第４の情報処理装置による除外動作の一例を示す概念図である。 第５の情報処理装置が適用されるゲートシステムの一例を示す側面図である。
　以下、図面を参照しながら、情報処理装置、情報処理方法、及び記録媒体の実施形態について説明する。
　＜第１実施形態＞
　第1実施形態について、図１から図７を参照して説明する。
　（ハードウェア構成）
　まず、図１を参照しながら、第１の情報処理装置のハードウェア構成について説明する。図１は、第１の情報処理装置のハードウェア構成を示すブロック図である。
　図１に示すように、第１の情報処理装置１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。情報処理装置１０は更に、入力装置１５と、出力装置１６と、を備えていてもよい。上述したプロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、それぞれデータバス１７を介して接続されている。
　プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、情報処理装置１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、尤度比に基づくクラス分類を実行する機能ブロックが実現される。即ち、プロセッサ１１は、情報処理装置１０における各制御を実行するコントローラとして機能してよい。
　プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、量子プロセッサとして構成されてよい。プロセッサ１１は、これらのうち一つで構成されてもよいし、複数を並列で用いるように構成されてもよい。
　ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）や、ＳＲＡＭ(Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ)であってよい。また、ＲＡＭ１２に代えて、他の種類の揮発性メモリが用いられてもよい。
　ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）や、ＥＰＲＯＭ(Ｅｒａｓａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ)であってよい。また、ＲＯＭ１３に代えて、他の種類の不揮発性メモリが用いられてもよい。
　記憶装置１４は、情報処理装置１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
　入力装置１５は、情報処理装置１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。入力装置１５は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。入力装置１５は、例えばマイクを含む音声入力が可能な装置であってもよい。
　出力装置１６は、情報処理装置１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、情報処理装置１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。また、出力装置１６は、情報処理装置１０に関する情報を音声出力可能なスピーカ等であってもよい。出力装置１６は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。
　なお、図１では、複数の装置を含んで構成される情報処理装置１０の例を挙げたが、これらの全部又は一部の機能を、１つの装置で実現してもよい。このような情報処理装置は、例えば、上述したプロセッサ１１、ＲＡＭ１２、ＲＯＭ１３のみを備えて構成され、その他の構成要素（即ち、記憶装置１４、入力装置１５、出力装置１６等）については、例えば情報処理装置１０に接続される外部の装置が備えるようにしてもよい。また、情報処理装置１０は、一部の演算機能を外部の装置（例えば、外部サーバやクラウド等）によって実現するものであってもよい。
　（機能的構成）
　次に、図２を参照しながら、第１の情報処理装置１０の機能的構成について説明する。図２は、第１の情報処理装置の機能的構成を示すブロック図である。
　図２に示すように、第１の情報処理装置１０は、入力される系列データのクラス分類を行う装置であり、その機能を実現するための構成要素として、取得部５０と、尤度比算出部６０と、判定部７０と、除外部８０と、を備えて構成されている。取得部５０、尤度比算出部６０、判定部７０、除外部８０の各々は、例えば上述したプロセッサ１１（図１参照）によって実現される処理ブロックであってよい。
　取得部５０は、系列データを取得可能に構成されている。ここでの系列データとは、所定の順番で並んだ複数の要素を含むデータであり、例えば時系列データが一例として挙げられる。系列データのより具体的な例としては、動画データ、音声データ、或いは画像データを細分化したもの等が挙げられるが、これに限られるものではない。取得部５０は、任意のデータ取得装置（例えば、カメラやマイク等）から直接データを取得するものであってもよいし、あらかじめデータ取得装置で取得されストレージ等に記憶されているデータを読み出すものであってもよい。カメラからデータを取得する場合、取得部５０は複数のカメラの各々からデータを取得するように構成されていてもよい。
　取得部５０で取得された系列データは、複数の登録データと共に尤度比算出部６０に入力される構成となっている。ここでの登録データは、予め登録されたデータであり、系列データとの照合に用いられる。登録データは、例えば記憶装置に記憶されている。なお、登録データを記憶する記憶装置は、情報処理装置１０自身が備えていてもよいし、外部の装置が備えていてもよい。
　尤度比算出部６０は、取得部５０で取得された系列データと、複数の登録データとに基づいて、尤度比を算出可能に構成されている。なお、ここでの「尤度比」とは、系列データが属するクラスの尤もらしさを示す指標であるが、本実施形態では特に、取得部５０で系列データと、複数の登録データの各々との合致度合いを示す指標として算出される。尤度比算出部６０は、系列データに含まれる複数の要素のうち少なくとも２つの連続する要素の関係性に基づいて、尤度比を算出可能に構成されてよい。以下では、図３を参照しながら、尤度比算出部６０が算出する尤度比（具体的には、尤度比行列）について説明する。図３は、第１の情報処理装置で算出される尤度比行列の一例を示す図である。
　図３に示すように、尤度比をマトリクス状にした尤度比行列を考える。ここでは説明の便宜上、分類候補であるクラスの数（言い換えれば登録データの数）が、「クラス０」、「クラス１」、「クラス２」の３つであるとする。ｐ（Ｘ｜ｙ＝０）は、系列データが「クラス０」である尤もらしさを示す尤度である。ｐ（Ｘ｜ｙ＝１）は、系列データが「クラス１」である尤もらしさを示す尤度である。ｐ（Ｘ｜ｙ＝２）は、系列データが「クラス２」である尤もらしさを示す尤度である。
　尤度比行列の上から１行目は、対数尤度比（以下、単に「尤度比」と称する）の分子が、すべてｐ（Ｘ｜ｙ＝０）となっている。尤度比行列の上から２行目は、尤度比の分子が、すべてｐ（Ｘ｜ｙ＝１）となっている。尤度比行列の上から３行目は、尤度比の分子が、すべてｐ（Ｘ｜ｙ＝２）となっている。一方、尤度比行列の左から１列目は、尤度比の分母が、すべてｐ（Ｘ｜ｙ＝０）となっている。尤度比行列の左から２列目は、尤度比の分母が、すべてｐ（Ｘ｜ｙ＝１）となっている。尤度比行列の左から３列目は、尤度比の分母が、すべてｐ（Ｘ｜ｙ＝２）となっている。
　尤度比行列の対角線上にある尤度比（図３においてグレーで網掛けされている尤度比）は、分母と分子とが互いに同じ尤度になっている。具体的には、上から１行目、左から１列目のｌｏｇ｛ｐ（Ｘ｜ｙ＝０）/ｐ（Ｘ｜ｙ＝０）｝、上から２行目、左から２列目のｌｏｇ｛ｐ（Ｘ｜ｙ＝１）/ｐ（Ｘ｜ｙ＝１）｝、上から３行目、左から３列目のｌｏｇ｛ｐ（Ｘ｜ｙ＝２）/ｐ（Ｘ｜ｙ＝２）｝は、それぞれ分母と分子とが同じである。また、上記対角線上の尤度比を挟んで対向する位置にある尤度比は、互いに分母と分子とが逆になっている。具体的には、上から１行目、左から２列目のｌｏｇ｛ｐ（Ｘ｜ｙ＝０）/ｐ（Ｘ｜ｙ＝１）｝と、上から２行目、左から１列目のｌｏｇ｛ｐ（Ｘ｜ｙ＝１）/ｐ（Ｘ｜ｙ＝０）｝とでは、分母と分子が逆になっている。同様に、上から１行目、左から３列目のｌｏｇ｛ｐ（Ｘ｜ｙ＝０）/ｐ（Ｘ｜ｙ＝２）｝と、上から３行目、左から１列目のｌｏｇ｛ｐ（Ｘ｜ｙ＝２）/ｐ（Ｘ｜ｙ＝０）｝とでは、分母と分子が逆になっている。上から２行目、左から３列目のｌｏｇ｛ｐ（Ｘ｜ｙ＝１）/ｐ（Ｘ｜ｙ＝２）｝と、上から３行目、左から２列目のｌｏｇ｛ｐ（Ｘ｜ｙ＝２）/ｐ（Ｘ｜ｙ＝１）｝とでは、分母と分子が逆になっている。よって、対角線を挟んで対向する位置にある尤度比は、互いに符号が逆の値となる。このように、尤度比行列における各尤度比は、交代行列（反対称行列）のように並んでいる。
　図１に戻り、判定部７０は、尤度比算出部６０で算出された尤度比行列に基づいて、系列データを分類可能に構成されている。判定部７０は、分類候補である複数のクラスの中から、系列データが属する少なくとも１つのクラスを選択する。このような動作により、判定部７０は、系列データが複数の登録データのいずれに合致するかを判定する。以下では、図４を参照しながら、判定部７０における判定方法について具体的に説明する。図４は第１の情報処理装置で用いられる判定閾値の一例を示すグラフである。
　図４に示すように、判定部７０は、尤度比行列における各行の尤度比の最小値が、判定閾値を上回っているか否かを判定する。そして、判定部７０は、最小値が判定閾値を上回っている場合、その行に対応するクラス（即ち、登録データ）が、系列データに合致するものであると判定する。図４に示す例では、ｌｏｇ｛ｐ（Ｘ｜ｙ＝０）/ｐ（Ｘ｜ｙ＝１）｝の尤度比が、徐々に大きくなり最終的に判定閾値を上回っている。このような場合は、クラス０が正解クラス（即ち、系列データと合致する登録データ）であると判定されることになる。
　再び図１に戻り、除外部８０は、尤度比算出部６０で算出された尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定可能に構成されている。そして、除外部８０は、最小値が除外閾値を下回った行について、尤度比算出部６０における次回以降の尤度比行列の算出対象から除外する。以下では、図５及び図６を参照しながら、除外部８０における除外方法について具体的に説明する。図５は第１の情報処理装置で用いられる除外閾値の一例を示すグラフである。図６は、第１の情報処理装置で除外されるクラスの一例を示す図である。
　図５に示すように、除外部８０は、尤度比行列における各行の尤度比の最小値が、所定の除外閾値を下回っているか否かを判定する。なお、上述した判定閾値が正側の閾値（図４参照）であったのに対し、除外閾値は負側の閾値である。除外閾値は、判定閾値と絶対値が同じになるように設定されてもよいし、異なるように設定されてもよい。除外部８０は、最小値が除外閾値を下回っている行が存在する場合に、その行に対応するクラス（即ち、登録データ）を、次回以降の尤度比行列の算出から除外する。図５に示す例では、ｌｏｇ｛ｐ（Ｘ｜ｙ＝１）/ｐ（Ｘ｜ｙ＝２）｝の尤度比が、徐々に小さくなり最終的に判定閾値を上回っている。このような場合は、クラス１が次回以降の尤度行列の算出から除外されることになる。
　図６に示すように、クラス１が除外されると、クラス１に対応する行の尤度比が次回からはすべて計算対象外となる。また、尤度比行列は反対称行列であるため、クラス１に対応する行が計算から除外されると、クラス１に対応する列についても併せて計算対象外となる。
　（動作の流れ）
　次に、図７を参照しながら、第１の情報処理装置１０の動作の流れについて説明する。図７は、第１の情報処理装置の動作の流れを示すフローチャートである。
　図３に示すように、第１の情報処理装置１０の動作が開始されると、まず取得部５０が、系列データを取得する（ステップＳ１０１）。より具体的には、取得部５０は、取得系列データに含まれる複数の要素を逐次的に取得する。
　続いて、尤度比算出部１０１に、取得部５０で取得された系列データと、読出した登録データとを入力する（ステップＳ１０２）。そして、尤度比算出部６０は、系列データと登録データとに基づいて尤度比行列を算出する（ステップＳ１０３）。
　続いて、判定部７０が、尤度比行列の中で最小値が判定閾値を上回る行があるか否かを判定する（ステップＳ１０４）。そして、最小値が判定閾値を上回る行があると判定した場合（ステップＳ１０４：ＹＥＳ）、判定部７０が、その行に対応するクラスが正解クラスであるという判定結果を出力する（ステップＳ１０５）。
　一方、最小値が判定閾値を上回る行がないと判定された場合には（ステップＳ１０４：ＮＯ）、除外部８０が、尤度比行列の中で最小値が除外閾値を下回る行があるか否かを判定する（ステップＳ１０６）。そして、最小値が除外閾値を下回る行があると判定した場合（ステップＳ１０６：ＹＥＳ）、除外部８０がその行に対応するクラスを次回以降の計算対象から除外する（ステップＳ１０７）。他方、最小値が除外閾値を下回る行がないと判定した場合（ステップＳ１０６：ＮＯ）、上述したステップＳ１０７の処理は省略される。即ち、計算対象を除外する処理は実行されない。
　なお、計算対象が除外されたか否かに関わらず、その後は再びステップＳ１０１から処理を繰り返す。よって、最小値が判定閾値を上回る行があると判定されるまで、系列データに含まれる要素を取得して、尤度比行列を算出する処理が繰り返し実行されることになる。
　（技術的効果）
　次に、第１の情報処理装置１０によって得られる技術的効果について説明する。
　図１から図７で説明したように、第１の情報処理装置１０では、尤度比行列において最小値が除外閾値を下回るものがある場合に、対応するクラスが次回以降の尤度比の計算対象から除外される。このようにすれば、尤度比行列を算出する際の処理負荷が増大してしまうことを抑制することが可能である。例えば、登録データＮ個ある場合、Ｎ×Ｎの尤度比行列を計算することが要求されるため、その計算コストは加速度的に大きくなり、装置における処理全体のボトルネックとなってしまうおそれがある。しかしながら、本実施形態では、上述したように除外閾値を下回ったクラスについては次回以降の計算対象外となるため、除外したクラスの分だけ計算コストは小さくなる。また、分類が簡単なクラスのみを除外する（言い換えれば、尤度比が大きく変化しないクラスについては除外されない）ため、仮にクラスを計算対象から除外したとしても、全体の精度について与える影響は小さい。よって、第１の情報処理装置１０によれば、高い分類精度を維持しつつ、計算コストを効率的に下げることが可能である。
　＜第２実施形態＞
　第２実施形態について、図８及び図９を参照して説明する。なお、第２実施形態は、上述した第１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１実施形態と同様であってよい。このため、以下では、第１実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図８を参照しながら、第２の情報処理装置１０の機能的構成について説明する。図８は、第２の情報処理装置の機能的構成を示すブロック図である。なお、図８では、図２で示した構成要素と同様の要素に同一の符号を付している。
　図８に示すように、第２の情報処理装置１０は、その機能を実現するための構成要素として、取得部５０と、尤度比算出部６０と、判定部７０と、除外部８０と、特徴量統合部９０と、を備えて構成されている。即ち、第２の情報処理装置１０は、第１実施形態で説明した構成（図２参照）に加えて、特徴量統合部８０を更に備えている。特徴量統合部８０は、例えば上述したプロセッサ１１（図１参照）によって実現される処理ブロックであってよい。
　特徴量統合部８０は、系列データの特徴量と、登録データの特徴量とを統合して、統合特徴量を生成可能に構成されている。例えば、Ｎ個の登録データが登録されている場合、特徴量統合部８０は、系列データの特徴量と、Ｎ個の登録データの特徴量の各々とを統合して、Ｎ個の統合特徴量を生成する。なお、特徴量を統合する手法は特に限定されないが、例えば特徴量結合部８０は、系列データの特徴量と登録データの特徴量とを結合することで特徴量を統合してよい。或いは、特徴量結合部８０は、系列データの特徴量と登録データの特徴量との差分を算出することで特徴量を統合してよい。
　特徴量統合部８０は、系列データ及び登録データの少なくとも一方から特徴量を抽出する機能を有していてもよい。この場合、特徴量統合部８０は、まず系列データ及び登録データから特徴量を抽出し、その後で抽出した系列データの特徴量と登録データの特徴量とを統合する。なお、登録データについては、予め特徴量が抽出され、特徴量の状態で記憶されていてもよい。
　第２の情報処理装置１０における尤度比算出部６０は、上述した特徴量統合部８０で統合された統合特徴量を用いて尤度比行列を算出するように構成されている。
　（動作の流れ）
　次に、図９を参照しながら、第２の情報処理装置１０の動作の流れについて説明する。図９は、第２の情報処理装置の動作の流れを示すフローチャートである。なお、図９では、図７で示した処理と同様の処理に同一の符号を付している。
　図９に示すように、第２の情報処理装置１０の動作が開始されると、まず取得部５０が、系列データを取得する（ステップＳ１０１）。
　続いて、特徴量統合部８０が、取得部５０で取得された系列データから特徴量を抽出する（ステップＳ２０１）。なお、特徴量統合部８０は、系列データと同様に登録データの特徴量を抽出してもよい。その後、特徴量統合部８０は、系列データの特徴量と登録データの特徴量とを統合する（ステップＳ２０２）。
　続いて、尤度比算出部６０は、特徴量統合部で統合された統合特徴量に基づいて尤度比行列を算出する（ステップＳ２０３）。なお、これ以降の処理については、第１実施形態で説明したもの（図７参照）と同様であるため、ここでの詳細な説明は省略する。
　（技術的効果）
　次に、第２の情報処理装置１０によって得られる技術的効果について説明する。
　図８及び図９で説明したように、第２の情報処理装置１０では、系列データの特徴量と、登録データの特徴量とを統合して統合特徴量が生成される。このようにすれば、統合特徴量を用いて尤度比行列を算出できるため、系列データと登録データとの合致度合いを適切に判定することが可能である。
　＜第３実施形態＞
　第３実施形態について、図１０を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と一部の動作が異なるのみであり、その他の部分については第１及び第２実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（除外動作）
　まず、図１０を参照しながら、第３の情報処理装置１０が行う除外動作（即ち、除外部８０の動作）について説明する。図１０は、第３の情報処理装置による除外動作の一例を示す概念図である。
　図１０に示すように、第３の情報処理装置１０における尤度比算出部６０は、クラスを分類するクラス分類器６５を備えている。クラス分類器６５は、Ｄ次元の特徴量を入力すると、Ｎ次元のロジットを出力する構成となっている。より具体的には、クラス分類器６５は、入力されるＤ次元特徴量に、重みＷ_｛ｉｊ｝（ｉ＝［１,Ｄ］，ｊ＝［１,Ｎ］）をかけることにより、Ｎ次元のロジットを算出して出力する。
　第３の情報処理装置１０における除外部８０は、上述したクラス分類器６５が用いる重みＷ_｛ｉｊ｝から、除外するクラスの要素を削除する。この結果、例えばＫ個のクラスが除外されるとすると、重みＷ_｛ｉｊ｝（ｊ＝［１,Ｎ］）は、除外後に重みＷ_｛ｉｊ｝（ｊ＝［１,Ｎ－Ｋ］）となる。
　（技術的効果）
　次に、第３の情報処理装置１０によって得られる技術的効果について説明する。
　図１０で説明したように、第３の情報処理装置１０では、クラス分類器６５が用いる重みＷ_｛ｉｊ｝から、除外するクラスの要素が削除される。このようにすれば、除外したクラスの分だけ次回以降の計算処理における負荷を小さくすることができる。
　＜第４実施形態＞
　第４実施形態について、図１１を参照して説明する。なお、第４実施形態は、上述した第１から第３実施形態と一部の動作が異なるのみであり、その他の部分については第１及から第３実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（除外動作）
　まず、図１１を参照しながら、第４の情報処理装置１０が行う除外動作について説明する。図１１は、第４の情報処理装置による除外動作の一例を示す概念図である。
　図１１に示すように、第４の情報処理装置１０における尤度比算出部６０は、上述した第３実施形態と同様に、クラスを分類するクラス分類器６５を備えている。そして、第４の情報処理装置１０における除外部８０は、クラス分類器６５が出力するＮ次元ロジットのうち、除外するクラスを除いたロジットのみを用いて次回以降の演算を行う。例えば、Ｋ個のクラスが除外されるとすると、次回以降はＮ－Ｋクラス分のロジットのみを用いて演算が行われることになる。
　（技術的効果）
　次に、第４の情報処理装置１０によって得られる技術的効果について説明する。
　図１１で説明したように、第４の情報処理装置１０では、計算対象外とするクラスを除いたロジットを用いて次回以降の演算が行われる。このようにすれば、除外したクラスの分だけ次回以降の計算処理における負荷を小さくすることができる。
　＜第５実施形態＞
　第５実施形態について、図１２を参照して説明する。なお、第５実施形態は、上述した第１から第４実施形態の具体的な適用例を示すものであり、その構成や動作については概ね第１及から第４実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（ゲートシステム）
　まず、図１２を参照しながら、第５の情報処理装置１０が適用されるゲートシステムについて説明する。図１２は、第５の情報処理装置が適用されるゲートシステムの一例を示す側面図である。
　図１２に示すように、第５の情報処理装置１０は、例えばオフィス、マンション、空港、イベント会場、テーマパーク等の各種施設のエントランスに設置されたゲートシステムに適用されている。ゲートシステムは、システムを構成する主な要素として、ゲート装置２００と、カメラ３００とを備えている。ゲート装置２００は、接近してくる対象５００に対して顔認証を実行してゲートの通過可否を判定する。カメラ３００は、顔認証に用いる対象の顔画像を撮影する。情報処理装置１０は、例えばゲート装置３００の一部として構成されてもよいし、他のサーバ等によって構成されてもよい。
　ゲートシステムでは、対象５００の接近を検知すると、対象５００の顔画像を撮影して顔認証を実行する。情報処理装置１０は、この顔画像を用いた顔認証を実行する。具体的には、情報処理装置１０は、対象の顔画像を系列データとして取得する。そして、情報処理装置１０は、対象５００の顔画像が、予め登録されている登録データ（即ち、登録ユーザの顔画像）と合致しているか否かを判定する。より具体的には、情報処理装置１０は、対象５００の顔画像から抽出した特徴量と、登録データとの特徴量とに基づいて尤度比行列を算出する。そして、算出した尤度比行列に基づき、対象５００の顔が登録データのどの顔と合致するか否かを判定する。この際、情報処理装置１０は、尤度比行列の各行の最小値が除外閾値を下回る場合に、そのクラスを次回以降の演算対象から除外する。
　（技術的効果）
　次に、第５の情報処理装置１０によって得られる技術的効果について説明する。
　図１２で説明したように、第５の情報処理装置１０は、顔画像を用いた顔認証に用いられる。顔認証では、例えば対象５００がゲートを通り過ぎる前に、或いはカメラ３００の画角から外れるまえに認証を済ませるという条件が課されるため、より早く且つ高精度に認証できることが要求される。しかしながら、顔認証のシステムが大規模（例えば、Ｎが数万～数十万オーダー）になると、計算時間が増大し、認証スピードの遅れにつながる。
　しかるに第５の情報処理装置１０によれば、上述したように、判定結果に応じて一部のクラスが次回以降の演算から除外されるため、その分だけ処理負荷を低減することができる。また、除外されるクラスについても判断が簡単なものだけに絞られるため、全体としての認証精度に与える影響は小さい。よって、第５の情報処理装置１０によれば、認証速度が早く且つ高精度な顔認証システムを実現することが可能である。
　なお、上述した実施形態では、顔画像を用いた認証に関する例を挙げたが、例えば顔以外の部位を含む画像（例えば、虹彩画像、指紋画像、掌紋画像等）を系列データとして取得する装置にも、第５の情報処理装置１０を適用することが可能である。また、画像以外にも、例えば音声を系列データとして取得する装置にも、第５の情報処理装置１０を適用することが可能である。
　上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
　記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。更に、プログラム自体がサーバに記憶され、ユーザ端末にサーバからプログラムの一部または全てをダウンロード可能なようにしてもよい。プログラムは、例えばＳａａＳ（Ｓｏｆｔｗａｒｅ　ａｓ　ａ　Ｓｅｒｖｉｃｅ）形式でユーザに提供されてもよい。
　＜付記＞
　以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　付記１に記載の情報処理装置は、系列データを取得する取得手段と、前記系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出する尤度比算出手段と、前記尤度比行列に基づいて、前記系列データが前記複数の登録データのいずれと合致するのかを判定する判定手段と、前記尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定し、前記除外閾値を下回った行について、前記尤度比算出手段における次回以降の前記尤度比行列の算出対象から除外する除外手段と、を備える情報処理装置である。
　（付記２）
　付記２に記載の情報処理装置は、前記系列データから抽出した特徴量と、前記複数の登録データから抽出した特徴量の各々とを統合して複数の統合特徴量を生成する特徴量統合手段を更に備え、前記尤度比算出手段は、前記複数の統合特徴量を用いて前記尤度比行列を算出する、付記１に記載の情報処理装置である。
　（付記３）
　付記３に記載の情報処理装置は、前記除外手段は、前記尤度比算出手段が前記尤度比行列を算出する際に用いる重みから、前記除外閾値を下回った行に対応する要素を削除する、付記１又は２に記載の情報処理装置である。
　（付記４）
　付記４に記載の情報処理装置は、前記除外手段は、前記尤度比算出手段で算出された前記尤度比行列から、前記除外閾値を下回った行に対応するロジットを除外したものを用いて、次回以降の前記尤度比行列を算出する、付記１又は２に記載の情報処理装置である。
　（付記５）
　付記５に記載の情報処理装置は、前記系列データは対象を撮影した顔画像、前記複数の登録データは登録ユーザの顔画像であり、前記判定手段は、前記対象の顔がいずれの前記登録ユーザの顔と合致するかを判定する、付記１から４のいずれか一項に記載の情報処理装置である。
　（付記６）
　付記６に記載の情報処理方法は、少なくとも１つのコンピュータによって、系列データを取得し、前記系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出し、前記尤度比行列に基づいて、前記系列データが前記複数の登録データのいずれと合致するのかを判定し、前記尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定し、前記除外閾値を下回った行について、前記尤度比算出手段における次回以降の尤度比行列の算出対象から除外する、情報処理方法である。
　（付記７）
　付記７に記載の記録媒体は、少なくとも１つのコンピュータに、系列データを取得し、前記系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出し、前記尤度比行列に基づいて、前記系列データが前記複数の登録データのいずれと合致するのかを判定し、前記尤度比行列における各行の最小値が除外閾値を下回っているか否かを判定し、前記所定の除外閾値を下回った行について、前記尤度比算出手段における次回以降の尤度比行列の算出対象から除外する、情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。
　（付記８）
　付記８に記載のコンピュータプログラムは、少なくとも１つのコンピュータに、系列データを取得し、前記系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出し、前記尤度比行列に基づいて、前記系列データが前記複数の登録データのいずれと合致するのかを判定し、前記尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定し、前記除外閾値を下回った行について、前記尤度比算出手段における次回以降の尤度比行列の算出対象から除外する、情報処理方法を実行させるコンピュータプログラムである。
　この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理装置、情報処理方法、及び記録媒体もまたこの開示の技術思想に含まれる。
　１０　情報処理装置
　１１　プロセッサ
　５０　取得部
　６０　尤度比算出部
　６５　クラス分類器
　７０　判定部
　８０　除外部
　９０　特徴量統合部
　２００　ゲート装置
　３００　カメラ
　５００　対象

Claims (7)

  1. 　系列データを取得する取得手段と、
    　前記系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出する尤度比算出手段と、
    　前記尤度比行列に基づいて、前記系列データが前記複数の登録データのいずれと合致するのかを判定する判定手段と、
    　前記尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定し、前記所定の除外閾値を下回った行について、前記尤度比算出手段における次回以降の前記尤度比行列の算出対象から除外する除外手段と、
    　を備える情報処理装置。
  2. 　前記系列データから抽出した特徴量と、前記複数の登録データから抽出した特徴量の各々とを統合して複数の統合特徴量を生成する特徴量統合手段を更に備え、
    　前記尤度比算出手段は、前記複数の統合特徴量を用いて前記尤度比行列を算出する、
    　請求項１に記載の情報処理装置。
  3. 　前記除外手段は、前記尤度比算出手段が前記尤度比行列を算出する際に用いる重みから、前記除外閾値を下回った行に対応する要素を削除する、
    　請求項１又は２に記載の情報処理装置。
  4. 　前記除外手段は、前記尤度比算出手段で算出された前記尤度比行列から、前記除外閾値を下回った行に対応するロジットを除外したものを用いて、次回以降の前記尤度比行列を算出する、
    　請求項１又は２に記載の情報処理装置。
  5. 　前記系列データは対象を撮影した顔画像、前記複数の登録データは登録ユーザの顔画像であり、
    　前記判定手段は、前記対象の顔がいずれの前記登録ユーザの顔と合致するかを判定する、
    　請求項１又は２に記載の情報処理装置。
  6. 　少なくとも１つのコンピュータによって、
    　系列データを取得し、
    　前記系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出し、
    　前記尤度比行列に基づいて、前記系列データが前記複数の登録データのいずれと合致するのかを判定し、
    　前記尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定し、前記除外閾値を下回った行について、次回以降の尤度比行列の算出対象から除外する、
    　情報処理方法。
  7. 　少なくとも１つのコンピュータに、
    　系列データを取得し、
    　前記系列データと複数の登録データの各々との合致度合いを示す尤度比行列を算出し、
    　前記尤度比行列に基づいて、前記系列データが前記複数の登録データのいずれと合致するのかを判定し、
    　前記尤度比行列における各行の最小値が所定の除外閾値を下回っているか否かを判定し、前記除外閾値を下回った行について、次回以降の尤度比行列の算出対象から除外する、
    　情報処理方法を実行させるコンピュータプログラムが記録された記録媒体。
PCT/JP2023/021036 2023-06-06 2023-06-06 情報処理装置、情報処理方法、及び記録媒体 Ceased WO2024252527A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025525499A JPWO2024252527A1 (ja) 2023-06-06 2023-06-06
PCT/JP2023/021036 WO2024252527A1 (ja) 2023-06-06 2023-06-06 情報処理装置、情報処理方法、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021036 WO2024252527A1 (ja) 2023-06-06 2023-06-06 情報処理装置、情報処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2024252527A1 true WO2024252527A1 (ja) 2024-12-12

Family

ID=93795433

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021036 Ceased WO2024252527A1 (ja) 2023-06-06 2023-06-06 情報処理装置、情報処理方法、及び記録媒体

Country Status (2)

Country Link
JP (1) JPWO2024252527A1 (ja)
WO (1) WO2024252527A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013084617A1 (ja) * 2011-12-09 2013-06-13 株式会社日立製作所 生体認証システム
WO2022157973A1 (ja) * 2021-01-25 2022-07-28 日本電気株式会社 情報処理システム、情報処理方法、及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013084617A1 (ja) * 2011-12-09 2013-06-13 株式会社日立製作所 生体認証システム
WO2022157973A1 (ja) * 2021-01-25 2022-07-28 日本電気株式会社 情報処理システム、情報処理方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
JPWO2024252527A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
US9542621B2 (en) Spatial pyramid pooling networks for image processing
WO2021086673A1 (en) Object detection based on pixel differences
WO2021000678A1 (zh) 企业信贷审核方法、装置、设备及计算机可读存储介质
JP7740389B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2004054956A (ja) 顔／類似顔映像で学習されたパターン分類器を利用した顔検出方法及びシステム
US20160371538A1 (en) Accelerating Object Detection
CN113646758A (zh) 信息处理设备、个人识别设备、信息处理方法和存储介质
JP7453733B2 (ja) マルチデバイスによる話者ダイアライゼーション性能の向上のための方法およびシステム
US20240144729A1 (en) Generation method and information processing apparatus
CN112257689A (zh) 人脸识别模型的训练和识别方法、存储介质及相关设备
JP2011257963A (ja) 画像処理装置、その処理方法及びプログラム
CN112668491B (zh) 辅助阅读方法、计算机设备及存储装置
CN113255536A (zh) 一种人脸比对的方法、装置和存储介质
US12211198B2 (en) Method for detecting defects in divided and further divided images based on trained models, electronic device, and storage medium
US9195887B2 (en) Retrieving apparatus, retrieving method, and computer program product
JP7661981B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JP7540500B2 (ja) グループ特定装置、グループ特定方法、及びプログラム
US20230117398A1 (en) Person re-identification method using artificial neural network and computing apparatus for performing the same
US12271457B2 (en) Method and apparatus for deep learning-based real-time on-device authentication
CN115204923A (zh) 实体检测方法、装置、计算机设备及存储介质
CN111931677A (zh) 一种人脸检测方法及装置、人脸表情检测方法及装置
JP7726372B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
US12591983B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US20240303543A1 (en) Model training method and model training apparatus
WO2025069245A1 (ja) 情報処理装置、情報処理方法、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940632

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525499

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025525499

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE