WO2022019312A1 - 情報処理システム、情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2022019312A1
WO2022019312A1 PCT/JP2021/027227 JP2021027227W WO2022019312A1 WO 2022019312 A1 WO2022019312 A1 WO 2022019312A1 JP 2021027227 W JP2021027227 W JP 2021027227W WO 2022019312 A1 WO2022019312 A1 WO 2022019312A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
filter
information
learning
optimization
Prior art date
Application number
PCT/JP2021/027227
Other languages
English (en)
French (fr)
Inventor
桂一 伊藤
藍雅 鈴木
卓秀 伊部
展之 大津
Original Assignee
株式会社アダコテック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アダコテック filed Critical 株式会社アダコテック
Publication of WO2022019312A1 publication Critical patent/WO2022019312A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an information processing system, an information processing device, an information processing method and a program.
  • Patent Document 1 discloses a technique for automatically performing these adjustments.
  • An object of the present invention is to more appropriately realize a technique for acquiring information about an object by using image processing.
  • the information processing system is An information processing system including a terminal device used by a user and a server configured to be able to communicate with the terminal device.
  • the terminal device is The server is provided with a requesting means for requesting a process for acquiring information about an object in an image.
  • the server In response to the request of the terminal device, an image pre-processing filter is designed by black box optimization processing based on the image base of the learning image, and the pre-processing filter of the designed image is used for the learning. It is characterized by comprising a filter optimization means for preprocessing an image and acquiring parameters related to machine learning for acquiring information about the object based on the preprocessed image for learning.
  • the black box optimization algorithm is used to optimally design the image preprocessing filter.
  • the image preprocessing filter is designed with reference to an appropriate basis of the local image that expresses the local region of the image.
  • the image preprocessing filter is realized by a linear combination of the bases of the local image, and the combination coefficient is the optimization target.
  • the image preprocessing filter is temporarily fixed, and other parameters that need to be adjusted (for example, execution of a statistical model used for feature calculation and identification) are executed. (Various parameters required for) are optimized.
  • the design (optimization) of the image preprocessing filter is executed again using the optimized parameters.
  • an optimized image preprocessing filter for acquiring information about the object is acquired by using image processing.
  • FIG. 1 is a schematic diagram showing a system configuration of the entire information processing system 1 according to the present invention.
  • the information processing system 1 includes a server 10 and a plurality of user terminals 20, and the server 10 and the plurality of user terminals 20 communicate with each other via a network 30 such as the Internet. It is configured to be possible.
  • the server 10 executes a process (hereinafter referred to as "information acquisition process") of acquiring information about the object (for example, recognition, identification, detection, etc. of the state of the object) from the user terminal 20 by image processing.
  • the information acquisition process is executed according to the conditions set in the user terminal 20 (setting parameters of the image preprocessing filter, parameters for learning process, etc.), and the result of the information acquisition process is output to the user terminal.
  • Send to 20 the server 10 designs and optimizes an image preprocessing filter, and also executes a learning process for machine learning an algorithm (information acquisition algorithm) for acquiring information about an object by inference using image processing. do.
  • the server 10 uses the determined image preprocessing filter to perform image processing on an image for acquiring information about the object (hereinafter referred to as "information acquisition target image”), and the target included in the information acquisition target image. Get information about things.
  • the user terminal 20 is an information processing device used by the user, requests the server 10 to execute the information acquisition process, and sets conditions in the information acquisition process. Further, the user terminal 20 displays the result of the information acquisition process transmitted from the server 10 and downloads the data representing the result of the information acquisition process.
  • each device is composed of an information processing device such as a PC, a server computer, or a tablet terminal, and the basic configuration thereof is the same.
  • FIG. 2 is a diagram showing a hardware configuration of an information processing device 800 constituting each device.
  • the information processing apparatus 800 constituting each apparatus includes a CPU (Central Processing Unit) 811, a ROM (Read Only Memory) 812, a RAM (Random Access Memory) 813, and a bus 814. It includes a unit 815, an output unit 816, a storage unit 817, a communication unit 818, a drive 819, and an image pickup unit 820.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 811 executes various processes according to the program recorded in the ROM 812 or the program loaded from the storage unit 817 into the RAM 813.
  • the RAM 813 also appropriately stores data and the like necessary for the CPU 811 to execute various processes.
  • the CPU 811 and ROM 812 and RAM 813 are connected to each other via the bus 814.
  • An input unit 815, an output unit 816, a storage unit 817, a communication unit 818, a drive 819, and an image pickup unit 820 are connected to the bus 814.
  • the input unit 815 is composed of various buttons and the like, and inputs various information according to an instruction operation.
  • the output unit 816 is composed of a display, a speaker, and the like, and outputs video and audio.
  • the input unit 815 and the display of the output unit 816 may be arranged so as to overlap each other to form a touch panel.
  • the storage unit 817 is composed of a hard disk, a DRAM (Dynamic Random Access Memory), or the like, and stores various data managed by each server.
  • the communication unit 818 controls communication with other devices via the network 30.
  • a removable media 831 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately mounted on the drive 819.
  • the program read from the removable media 831 by the drive 819 is installed in the storage unit 817 as needed.
  • the image pickup unit 820 is composed of an image pickup device including a lens, an image pickup element, and the like, and captures an image of a subject.
  • the input unit 815 can be configured by a touch sensor and placed on the display of the output unit 816 so as to have a touch panel. be.
  • FIG. 3 is a block diagram showing a functional configuration of the server 10.
  • the image data acquisition unit 111, the parameter setting unit 112, the optimization processing unit 113, the learning processing unit 114, and the information acquisition processing unit 115 function.
  • the storage unit 817 of the server 10 is formed with an image data storage unit 171, a parameter storage unit 172, and an acquisition result storage unit 173.
  • the image data storage unit 171 data of an image used for learning processing for designing an image preprocessing filter (hereinafter referred to as "learning image") and an image (information) for acquiring information about an object are obtained.
  • the data of the image to be acquired) is stored.
  • the acquisition result storage unit 173 stores data of information (result of information acquisition processing) about the object acquired by the information acquisition processing.
  • the image data acquisition unit 111 acquires the learning image data and the information acquisition target image data used in the information acquisition process from the user terminal 20 or another information processing device.
  • the data of the learning image is teacher data for which information about the object as a subject is known, and is related to the object from the image such as an image of the surface of a product or an image of a security camera. It can be various image data from which information can be acquired.
  • the parameter setting unit 112 performs information acquisition processing based on various parameters transmitted from the user terminal 20 (for example, setting parameters of an image preprocessing filter representing conditions in information acquisition processing, parameters for learning processing, etc.). Set the conditions for executing.
  • the optimization processing unit 113 performs optimization processing for designing and optimizing the image preprocessing filter according to the hyperparameters (several m of image bases, size k of the image preprocessing filter, etc.) set by the parameter setting unit 112. To execute. Specifically, the optimization processing unit 113 calculates an image basis in the data of the image for training, and based on the calculated image basis and the filter coefficient sampled by the black box optimization algorithm, performs an image preprocessing filter. design. Further, the optimization processing unit 113 searches for hyperparameters that optimize performance when the designed image preprocessing filter is used, and optimizes the hyperparameters.
  • the hyperparameters hundreds of image bases, size k of the image preprocessing filter, etc.
  • the optimization processing unit 113 calculates the evaluation value (here, the generalization performance value) of the designed image preprocessing filter, and updates the optimization processing algorithm so as to maximize the evaluation value. By repeating the optimization of the image preprocessing filter and the optimization of the hyperparameters, the optimization processing unit 113 acquires the image preprocessing filter and the hyperparameters of machine learning that are actually used for processing the information acquisition target image.
  • the evaluation value here, the generalization performance value
  • the learning processing unit 114 is learning for machine learning an algorithm (information acquisition algorithm) for acquiring information about an object by inference using image processing based on the image preprocessing filter acquired by the optimization processing unit 113. Execute the process. Specifically, the learning processing unit 114 performs image processing on the learning image using the image preprocessing filter acquired by the optimization processing unit 113, and executes machine learning using the processed image. , Information acquisition Determines a machine learning model for acquiring information about an object contained in an image by inference.
  • the information acquisition processing unit 115 executes an object information acquisition process for acquiring information about an object included in an information acquisition target image by using a machine learning model determined by the learning processing unit 114. At this time, the information acquisition processing unit 115 performs image processing on the information acquisition target image using the image preprocessing filter acquired by the optimization processing unit 113, and acquires information about the object.
  • FIG. 4 is a block diagram showing a functional configuration of the user terminal 20.
  • the CPU 811 of the user terminal 20 the UI control unit 211 and the data management unit 212 function.
  • the storage unit 817 of the user terminal 20 an image data storage unit 271, a parameter storage unit 272, and an acquisition result storage unit 273 are formed.
  • the image data storage unit 271 stores the data of the learning image used for the learning process for designing the image preprocessing filter and the data of the information acquisition target image for acquiring the information about the object.
  • the acquisition result storage unit 273 stores data of information (result of information acquisition processing) about the object acquired by the information acquisition processing.
  • the UI control unit 211 controls the display of various input / output screens (hereinafter referred to as "UI screens") for inputting / outputting parameters for information acquisition processing for acquiring information about an object by image processing.
  • UI screens input / output screens
  • the UI control unit 211 has a user interface for setting conditions in information acquisition processing (setting parameters for image preprocessing filters, parameters for learning processing, etc.), and information acquisition processing transmitted from the server 10. The result etc. of is displayed.
  • the data management unit 212 manages the storage and reading of image data in the image data storage unit 171 and the storage and reading of various parameters in the parameter storage unit 172, or the transmission and reception of data to and from the server 10. For example, the data management unit 212 reads out the learning image data and the information acquisition target image data used in the information acquisition process from the image data storage unit 171 and stores various parameter data set on the UI screen in the parameter storage unit. I memorize it in 172. Further, when the data management unit 212 requests the server 10 to execute the information acquisition process, the data management unit 212 transmits the data of the learning image and the data of the information acquisition target image, or the parameter representing the condition in the information acquisition process to the server 10. Or receive the data as a result of the information acquisition process from the server 10.
  • FIG. 5 is a flowchart showing the flow of UI control processing executed by the user terminal 20.
  • the UI control process is started in response to an instruction input to execute the UI control process via the input unit 815 of the user terminal 20.
  • step S1 the UI control unit 211 displays a UI screen for acquiring information about the object by image processing. On the UI screen displayed at this time, it is possible to input various information for requesting the information acquisition process to the server 10.
  • step S2 the UI control unit 211 selects a learning image and an information acquisition target image from the image data storage unit 171 according to the user's operation.
  • step S3 the UI control unit 211 has various parameters for information acquisition processing (setting parameters of the image preprocessing filter or learning processing) for acquiring information about the object by image processing according to the user's operation. Parameters etc.) are set.
  • step S4 the UI control unit 211 requests the server 10 to execute the information acquisition process. At this time, the data of the learning image selected in step S2, the data of the information acquisition target image, and the data of various parameters set in step S3 are transmitted to the server 10.
  • step S5 the UI control unit 211 receives the result of the information acquisition process from the server 10.
  • the result of the information acquisition process represents the acquisition result of information about the object included in the information acquisition target image.
  • step S6 the UI control unit 211 displays the result of the information acquisition process received from the server 10.
  • step S7 the UI control unit 211 stores the result of the information acquisition process received from the server 10 in the acquisition result storage unit 273.
  • step S8 the UI control unit 211 determines whether or not the end of the UI control process is instructed. If the end of the UI control process is not instructed, NO is determined in step S8, and the process proceeds to step S1. On the other hand, when the end of the UI control process is instructed, YES is determined in step S8, and the UI control process ends.
  • FIG. 6 is a flowchart showing the flow of the information acquisition process executed by the server 10.
  • the information acquisition process is started by transmitting a request for the information acquisition process from the user terminal 20.
  • step S11 the optimization processing unit 113 optimizes based on the learning image data received from the user terminal 20, the information acquisition target image data, and the data of various parameters. Execute the process.
  • step S12 the learning processing unit 114 machine-learns an algorithm (information acquisition algorithm) for acquiring information about an object by inference using image processing based on the image preprocessing filter acquired by the optimization processing. Executes the learning process of.
  • step S13 the information acquisition processing unit 115 executes an object information acquisition process for acquiring information about the object included in the information acquisition target image by using the machine learning model acquired in the learning process.
  • step S14 the information acquisition processing unit 115 determines whether or not the information acquisition processing has been completed for all the information acquisition target images. If the information acquisition process has not been completed for all the information acquisition target images, NO is determined in step S14, and the process proceeds to step S13. On the other hand, when the information acquisition process is completed for all the information acquisition target images, YES is determined in step S14, and the information acquisition process is completed.
  • FIG. 7 is a flowchart showing the flow of the optimization process executed by the server 10.
  • the image data acquisition unit 111 acquires the data of the learning image used in the information acquisition process.
  • the data of N learning images is acquired.
  • the parameter setting unit 112 is based on various parameters transmitted from the user terminal 20 (for example, setting parameters of an image preprocessing filter representing conditions in information acquisition processing, parameters for learning processing, and the like). , Set the conditions for executing the information acquisition process.
  • the number m of the bases that are the elements of the image base and the size k of the image preprocessing filter are set.
  • the optimization processing unit 113 executes an image basis calculation process for the learning image.
  • the image basis is defined as a matrix whose elements are the basis obtained from the local image, as will be described later.
  • the optimization processing unit 113 executes the design processing of the image preprocessing filter based on the setting parameters of the image preprocessing filter.
  • step S25 the optimization processing unit 113 determines whether or not the loop for executing the design processing of the image preprocessing filter has reached a predetermined number of times. If the loop for executing the design process of the image preprocessing filter has not reached the specified number of times, NO is determined in step S25, and the process proceeds to step S24. On the other hand, when the loop for executing the design process of the image preprocessing filter reaches a predetermined number of times, it is determined as YES in step S25, and the process proceeds to step S26. In step S26, the optimization processing unit 113 executes the parameter search processing used in the learning processing.
  • step S27 the optimization processing unit 113 determines whether or not the end condition of the optimization processing is satisfied.
  • the end condition of the optimization process for example, it is possible to set that the set time has elapsed, that the set number of loops has been reached, that the end instruction has been received from the user terminal 20, and the like. If the end condition of the optimization process is not satisfied, NO is determined in step S27, and the process proceeds to step S24. On the other hand, when the end condition of the optimization process is satisfied, YES is determined in step S27, and the process proceeds to step S28.
  • step S28 the optimization processing unit 113 transmits the result of the optimization processing to the user terminal 20. After step S28, the process returns to the information acquisition process.
  • Various parameters acquired in the optimization process are sequentially stored in the parameter storage unit 172.
  • FIG. 8 is a flowchart showing the flow of the image basis calculation process executed by the server 10.
  • the optimization processing unit 113 samples the local image in each of the learning images.
  • N'local images are shifted from each image of the image data set X by a fixed width (for example, several pixels) in an area of k ⁇ k pixels. Is sampled and the sampling result is stored in the data matrix X'.
  • R represents a set of real numbers and N'represents the number of sampled local images.
  • step S32 the optimization processing unit 113 base-decomposes the sampled local image.
  • the following conditions are satisfied using various matrix decomposition algorithms (independent component analysis (ICA), sparse principal component analysis (sparse PCA), principal component analysis (PCA), non-negative matrix factorization (NMF), etc.).
  • ICA independent component analysis
  • SCA principal component analysis
  • NMF non-negative matrix factorization
  • step S33 the optimization processing unit 113 normalizes the basis matrix V. Specifically, in step S33, the optimization processing unit 113 normalizes the norm to 1 for each basis of the image basis V. In step S34, the optimization processing unit 113 performs additional processing of the impulse filter.
  • the impulse filter v m + 1 is represented by the following equation (3) and is used to set the intensity of the image preprocessing filter.
  • step S35 the optimization processing unit 113 returns the acquired image basis V to the optimization processing. After step S35, the process returns to the optimization process.
  • FIG. 9 is a flowchart showing the flow of the design process of the image preprocessing filter executed by the server 10.
  • step S41 the optimization processing unit 113 sets the black box optimization process for obtaining the image preprocessing filter. Specifically, in step S41, the optimization processing unit 113 uses a predetermined black box optimization method (TPE (Tre-structured Parzen Estimator), CMA-ES (Covariance Matrix Optimization), Bayesian, etc., Bayesian, etc. ), And the settings for designing the image preprocessing filter are made. At this time, an evaluation index is set according to the black box optimization method used.
  • TPE Transmission-structured Parzen Estimator
  • CMA-ES Covariance Matrix Optimization
  • Bayesian etc.
  • Bayesian Bayesian
  • the hyperparameters used in machine learning may be included in the parameters optimized by the black box optimization process in step S41. In this case, even hyperparameters that cannot be searched by brute force can be optimized.
  • step S42 the optimization processing unit 113 sets a generalization performance guideline according to the design purpose of the image preprocessing filter.
  • a generalization performance guideline an index that the user wants to maximize can be used. For example, when the highest priority is to prevent oversight of an object (not to miss a report) in image processing, "less oversight (low missed report rate)" can be used as a generalization performance guideline. .. In addition, when the highest priority is not to detect an object by mistake (not to give a false alarm) in image processing, “low false alarm (low false alarm rate)” can be used as a generalization performance guideline.
  • the filter coefficient a is a vector that takes a value in the [-1,1] interval of m + 1 dimension, and is sampled by the black box optimization algorithm.
  • step S44 the optimization processing unit 113 designs the image preprocessing filter f.
  • step S45 the optimization processing unit 113 normalizes the image preprocessing filter f. Specifically, in step S45, the optimization processing unit 113 multiplies the image preprocessing filter f by f / ( ⁇ i, j f i, j ) so that the total of the filter coefficients becomes 1. Normalize.
  • step S46 the optimization processing unit 113 calculates the evaluation value s of the filter performance. Specifically, in step S46, the optimization processing unit 113 preprocesses the learning image with the designed image preprocessing filter f, and obtains the generalization performance value specified by Assessment data, K-fold cross-validation, or the like. Let it be the evaluation value s for optimization.
  • step S47 the optimization processing unit 113 updates the optimization algorithm with reference to the calculated evaluation value s. Specifically, in step S47, the optimization processing unit 113 updates the state (parameter to be set) of the black box optimization algorithm so as to maximize the evaluation value s. After step S47, the process returns to the optimization process.
  • FIG. 10 is a flowchart showing the flow of the parameter search process executed by the server 10.
  • the optimization processing unit 113 calculates all combinations (direct products) of candidate parameters (parameters to be searched).
  • the search may be performed only for the candidate of the preferable parameter without calculating all the combinations of the candidate parameters.
  • step S52 the optimization processing unit 113 sets a generalization performance guideline according to the application of machine learning. For example, in step S52, when the optimization processing unit 113 performs abnormality detection, the AUC (Area Under the Curve) of the ROC (Receiver Operating Characteristics) curve is used as a generalization performance guideline, or when classification is performed. , The f1 score can be used as a generalization performance guideline.
  • AUC Average Under the Curve
  • ROC Receiveiver Operating Characteristics
  • step S53 the optimization processing unit 113 evaluates the generalization performance according to the generalization performance guideline set in step S53 for each combination of parameters calculated in step S51.
  • the learning image is preprocessed by the combination of the calculated parameters, and the generalization performance value specified by the Validation data or K-fold cross-validation is used as the evaluation value. be able to.
  • step S54 the optimization processing unit 113 ranks the combination of parameters calculated in step S51. Specifically, in step S54, the optimization processing unit 113 sorts the combinations of parameters in descending order of generalization performance value. In step S55, the optimization processing unit 113 returns the combination of parameters having the highest generalization performance value to the optimization processing. In addition to the combination of the parameters having the highest generalization performance value, the combination of a plurality of parameters having the highest generalization performance value may be returned to the optimization process. After step S55, the process returns to the optimization process.
  • FIG. 11 is a flowchart showing the flow of the learning process executed by the server 10.
  • the learning process unit 114 acquires the parameters determined by the optimization process.
  • step S62 the learning processing unit 114 acquires the data of the learning image.
  • step S63 the learning processing unit 114 executes image pre-processing on the data of the learning image by an image pre-processing filter in which the parameters determined by the optimization process are set.
  • step S64 the learning processing unit 114 executes machine learning of an algorithm (information acquisition algorithm) for acquiring information about an object by inference using image processing on the image data as a result of image preprocessing. do.
  • an algorithm information acquisition algorithm
  • a machine learning model used in the object information acquisition process is generated.
  • the machine learning method the method described in the international patent application PCT / JP2018 / 028884 (WO2019 / 058775) by the applicant, various deep learning methods, and the like can be used.
  • step S64 the process returns to the information acquisition process.
  • FIG. 12 is a flowchart showing the flow of the object information acquisition process executed by the server 10.
  • the information acquisition process unit 115 acquires the machine learning model generated by the learning process.
  • step S72 the information acquisition processing unit 115 acquires the data of the information acquisition target image.
  • step S73 the information acquisition processing unit 115 executes image preprocessing with an image preprocessing filter in which parameters determined by the optimization process are set for the data of the information acquisition target image.
  • step S74 the information acquisition processing unit 115 applies the machine learning model generated by the learning process to the image data resulting from the preprocessing of the image, and acquires information about the object. As a result, information about the object is acquired in the information acquisition target image preprocessed by the optimized image preprocessing filter. After step S74, the process returns to the information acquisition process.
  • an image preprocessing filter is designed by a black box optimization algorithm based on the image base in the data of the learning image, and an optimization loop is formed. Repeat a predetermined number of times. Then, the parameters of the image preprocessing filter are once fixed, the hyperparameters used in machine learning are searched, and the image preprocessing filter is optimized again using the acquired optimum hyperparameters. In the information processing system 1, by repeating such processing, a complicatedly optimized image preprocessing filter is automatically generated. This makes it possible to optimize the image preprocessing filter whose parameters are related to each other without depending on manual adjustment or the like. Therefore, it is possible to more appropriately realize a technique for acquiring information about an object by using image processing.
  • the client-server type information processing system 1 is constructed, the information acquisition process is executed on the server 10, and the result of the information acquisition process is transmitted to the user terminal 20.
  • the function of the information processing system 1 is integrated. It may be realized by the information processing apparatus 800 (that is, realized as a stand-alone system).
  • FIG. 13 is a block diagram showing a functional configuration of a stand-alone information processing apparatus 800 that executes object detection processing and display of processing results.
  • the UI control unit 211 of the user terminal 20 when configured as a stand-alone type, in a single information processing device 800, the UI control unit 211 of the user terminal 20, the image data acquisition unit 111 of the server 10, the parameter setting unit 112, and the optimization processing unit If the CPU 811 is provided with the functions of the 113, the learning processing unit 114, and the information acquisition processing unit 115, and the image data storage unit 171, the parameter storage unit 172, and the acquisition result storage unit 173 included in the server 10 are provided in the storage unit 817. good.
  • the information processing system 1 includes the user terminal 20 used by the user and the server 10 configured to be able to communicate with the user terminal 20.
  • the user terminal 20 includes a UI control unit 211.
  • the UI control unit 211 requests the server 10 to perform a process for acquiring information about an object in the image.
  • the server 10 includes an optimization processing unit 113.
  • the optimization processing unit 113 designs an image preprocessing filter by black box optimization processing based on the image base of the learning image in response to the request of the user terminal 20, and the designed image preprocessing filter. Is used to preprocess the learning image, and based on the preprocessed learning image, parameters related to machine learning for acquiring information about the object are acquired. This makes it possible to optimize the image preprocessing filter whose parameters are related to each other without depending on manual adjustment or the like. Therefore, it is possible to more appropriately realize a technique for acquiring information about an object by using image processing.
  • the optimization processing unit 113 redesigns the image preprocessing filter by the black box optimization processing using the acquired parameters related to machine learning. This makes it possible to automatically generate a complexly optimized image preprocessing filter.
  • the optimization processing unit 113 changes the parameters set in the black box optimization processing based on the evaluation values for evaluating the parameters of the preprocessing filter of the designed image, and the black box optimization processing after the change. Optimize the image pre-processing filter by designing the image pre-processing filter. This makes it possible to design an image preprocessing filter used for machine learning by repeating the optimization loop.
  • the optimization processing unit 113 acquires the evaluation value for evaluating the parameter related to the machine learning for the parameter related to machine learning for acquiring the information about the object, and optimizes the combination of the parameters having the higher evaluation value. Obtained as a parameter related to machine learning. As a result, a more appropriate combination of parameters can be obtained as a parameter related to optimized machine learning by brute force the combination of parameters or the like.
  • the optimization processing unit 113 acquires the optimized machine learning parameters by including the machine learning parameters for acquiring the information about the object as the processing target in the black box optimization processing. As a result, even if it is impossible to brute force a combination of parameters, it is possible to acquire highly appropriate parameters related to optimized machine learning.
  • the optimization processing unit 113 calculates an image basis having the basis of the local region of the training image as an element, and the coefficient of the preprocessing filter of the image sampled according to the number of elements of the image basis and the coefficient of the image basis of the image basis. Design an image preprocessing filter by multiplying the elements. This makes it possible to automatically design a more appropriate image preprocessing filter using appropriate parameters as the image preprocessing filter.
  • the information processing system 1 includes a learning processing unit 114.
  • the learning processing unit 114 processes the learning image by using the preprocessing filter of the image acquired by the optimization processing unit 113 to generate a machine learning model for acquiring information about an object in the image. As a result, it is possible to generate a machine learning model that enables more accurate information acquisition for an image processed by a preprocessing filter of an image that can be appropriately filtered.
  • the information processing system 1 includes an information acquisition processing unit 115.
  • the information acquisition processing unit 115 processes an image for acquiring information about an object by using a preprocessing filter of the image acquired by the optimization processing unit 113, and uses a machine learning model generated by the learning processing unit 114.
  • Information acquisition information processed by the image preprocessing filter Information about the object is acquired by inferring information about the subject in the target image. This makes it possible to acquire more accurate information on the image processed by the preprocessing filter of the image that can be appropriately filtered.
  • the information processing device 800 (server 10 or the information processing device 800 of the modification 1) according to the present embodiment includes an optimization processing unit 113.
  • the optimization processing unit 113 designs an image pre-processing filter by black box optimization processing based on the image base of the learning image in response to the request of the user terminal 20, and also designs the image pre-processing filter.
  • the parameters related to machine learning for acquiring information about the object can be set. get. This makes it possible to optimize the image preprocessing filter whose parameters are related to each other without depending on manual adjustment or the like. Therefore, it is possible to more appropriately realize a technique for acquiring information about an object by using image processing.
  • the present invention is not limited to the above-described embodiment, and modifications, improvements, and the like to the extent that the object of the present invention can be achieved are included in the present invention.
  • the combination of the information processing devices constituting the system is not limited to the example shown in the above-described embodiment. That is, it is possible to distribute the functions provided in the server 10 to more servers and implement them, or to implement the functions of the user terminal 20 or the server 10 collectively in a smaller number of devices.
  • the functions included in the server 10 and the user terminal 20 may be implemented in the information processing system 1 as a whole, and which function is implemented in which device may take various forms depending on the purpose. For example, it is possible to execute the optimization process and the learning process on the server 10 and execute the object information acquisition process on the user terminal 20.
  • the information processing system 1 has been described as executing all of the optimization process, the learning process, and the object information acquisition process, but the present invention is not limited to this. That is, the information processing system 1 may execute any one of the optimization process, the learning process, and the object information acquisition process.
  • the server 10 may execute the optimization process and generate the image preprocessing filter in response to the request of the user terminal 20. By generating the image preprocessing filter by the server 10 and providing it to another device, it is not necessary to generate the image preprocessing filter in the other device. Therefore, even in this case, the image processing is used as the target.
  • the technology for acquiring information about things can be realized more appropriately.
  • the series of processes described above can be executed by hardware or software.
  • the functional configuration in the above-described embodiment is merely an example and is not particularly limited. That is, it suffices if any of the computers constituting the information processing system 1 has a function capable of executing the above-mentioned series of processes as a whole, and what kind of functional block is used to realize this function is particularly important. It is not limited to the example shown. Further, one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
  • the recording medium including the program for executing the above-mentioned series of processes is not only composed of the removable media distributed separately from the device main body in order to provide the program to the user, but also incorporated in the device main body in advance. It is composed of a recording medium or the like provided to the user in this state.
  • the present invention is not limited to the above-described embodiments. Moreover, the effects described in the present embodiment are merely a list of the most preferable effects resulting from the present invention, and the effects according to the present invention are not limited to those described in the present embodiment.
  • Information processing system 10 servers, 20 user terminals, 30 networks, 111 image data acquisition unit, 112 parameter setting unit, 113 optimization processing unit, 114 learning processing unit, 115 information acquisition processing unit, 171,271 image data storage unit. , 172,272 parameter storage unit, 173,273 acquisition result storage unit, 211 UI control unit, 212 data management unit, 800 information processing device, 811 CPU, 812 ROM, 813 RAM, 814 bus, 815 input unit, 816 output unit. , 817 storage unit, 818 communication unit, 819 drive, 820 image pickup unit, 831 removable media

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像処理を用いて対象物に関する情報を取得するための技術をより適切に実現すること。 【解決手段】情報処理システム１において、ユーザ端末２０は、ＵＩ制御部２１１を備える。ＵＩ制御部２１１は、サーバ１０に対し、画像における対象物に関する情報を取得するための処理を要求する。サーバ１０は、最適化処理部１１３を備える。最適化処理部１１３は、ユーザ端末２０の要求に応じて、学習用画像の画像基底に基づいて、ブラックボックス最適化処理により、画像の前処理フィルタを設計し、設計された画像の前処理フィルタを用いて学習用画像を前処理し、当該前処理された学習用画像に基づいて、対象物に関する情報を取得するための機械学習に関するパラメータを取得する。

Description

情報処理システム、情報処理装置、情報処理方法及びプログラム
　本発明は、情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。
　近年、画像処理を用いて、対象物の状態を認識する等、対象物に関する情報を取得する技術が盛んに利用されるようになっている。
　この場合、人手による特徴量設計、統計的分析、及び、深層学習等を用いた手法が用いられている。
　これらの手法において、十分な認識性能等を実現するためには、特徴抽出を行う前に画像中のノイズを除去したり、認識に有用な成分を強調するための空間フィルタリングによる前処理を行ったりする等の調整が重要となる。
　ところが、これらの調整を行うための画一的な方法は存在せず、人手による細かな調整を要するのが実状である。
　これに対し、特許文献１には、これらの調整を自動で行うための技術が開示されている。
特開２００７－１０２４５８号公報
　しかしながら、特許文献１に記載された技術においては、予め用意した画像処理の組み合わせの範囲において最適化を行っていることから、種々のケースに適用した場合に、必ずしも十分な性能が得られない可能性がある。
　本発明の課題は、画像処理を用いて対象物に関する情報を取得するための技術をより適切に実現することである。
　上記課題を解決するため、本発明の一態様に係る情報処理システムは、
　ユーザによって使用される端末装置と、前記端末装置と通信可能に構成されたサーバとを含む情報処理システムであって、
　前記端末装置は、
　前記サーバに対し、画像における対象物に関する情報を取得するための処理を要求する要求手段を備え、
　前記サーバは、
　前記端末装置の要求に応じて、学習用画像の画像基底に基づいて、ブラックボックス最適化処理により、画像の前処理フィルタを設計し、設計された前記画像の前処理フィルタを用いて前記学習用画像を前処理し、当該前処理された前記学習用画像に基づいて、前記対象物に関する情報を取得するための機械学習に関するパラメータを取得するフィルタ最適化手段を備えることを特徴とする。
　本発明によれば、画像処理を用いて対象物に関する情報を取得するための技術をより適切に実現することができる。
本発明に係る情報処理システム１全体のシステム構成を示す模式図である。 各装置を構成する情報処理装置８００のハードウェア構成を示す図である。 サーバ１０の機能的構成を示すブロック図である。 ユーザ端末２０の機能的構成を示すブロック図である。 ユーザ端末２０が実行するＵＩ制御処理の流れを示すフローチャートである。 サーバ１０が実行する情報取得処理の流れを示すフローチャートである。 サーバ１０が実行する最適化処理の流れを示すフローチャートである。 サーバ１０が実行する画像基底の算出処理の流れを示すフローチャートである。 サーバ１０が実行する画像前処理フィルタの設計処理の流れを示すフローチャートである。 サーバ１０が実行するパラメータの探索処理の流れを示すフローチャートである。 サーバ１０が実行する学習処理の流れを示すフローチャートである。 サーバ１０が実行する対象物情報取得処理の流れを示すフローチャートである。 物体検知処理及び処理結果の表示を実行するスタンドアローン型の情報処理装置８００の機能的構成を示すブロック図である。
　以下、本発明の実施形態について、図面を参照して説明する。
　本実施形態に係る情報処理システムにおいては、ブラックボックス最適化アルゴリズムを用いて、画像前処理フィルタの最適設計を行う。このとき、まず、画像の局所領域を表現する適切な局所画像の基底を参照して画像前処理フィルタの設計を行う。画像前処理フィルタは、局所画像の基底の線形結合によって実現され、その結合係数が最適化対象とされる。そして、画像前処理フィルタの設計（最適化）を一定世代進めた段階で、画像前処理フィルタを一旦固定し、他の調整が必要なパラメータ（例えば、特徴量計算や識別に用いる統計モデルの実行に必要な各種パラメータ）の最適化を行う。そして、最適化されたパラメータを用いて、再び、画像前処理フィルタの設計（最適化）を実行する。本実施形態に係る情報処理システムでは、これらの処理を繰り返すことにより、画像処理を用いて対象物に関する情報を取得するための最適化された画像前処理フィルタを取得する。
　これにより、人手による調整等に依存することなく、パラメータが相互に関連する画像前処理フィルタと機械学習のハイパーパラメータの最適化を併せて実行することができる。
　したがって、画像処理を用いて対象物に関する情報を取得するための技術をより適切に実現することができる。
［構成］
［システム構成］
　図１は、本発明に係る情報処理システム１全体のシステム構成を示す模式図である。
　図１に示すように、情報処理システム１は、サーバ１０と、複数のユーザ端末２０と、を含んで構成され、サーバ１０と複数のユーザ端末２０とは、インターネット等のネットワーク３０を介して通信可能に構成されている。
　サーバ１０は、ユーザ端末２０から、画像処理によって対象物に関する情報を取得（例えば、対象物の状態の認識、識別、検出等）する処理（以下、「情報取得処理」と称する。）の実行が要求された場合に、ユーザ端末２０で設定された条件（画像前処理フィルタの設定パラメータ、あるいは、学習処理のためのパラメータ等）に従って、情報取得処理を実行し、情報取得処理の結果をユーザ端末２０に送信する。情報取得処理において、サーバ１０は、画像前処理フィルタを設計し、最適化すると共に、画像処理を用いて対象物に関する情報を推論により取得するアルゴリズム（情報取得アルゴリズム）を機械学習する学習処理を実行する。そして、サーバ１０は、確定した画像前処理フィルタを用いて、対象物に関する情報を取得する画像（以下、「情報取得対象画像」と称する。）を画像処理し、情報取得対象画像に含まれる対象物に関する情報を取得する。
　ユーザ端末２０は、ユーザによって使用される情報処理装置であり、サーバ１０に対して、情報取得処理の実行を要求したり、情報取得処理における条件を設定したりする。また、ユーザ端末２０は、サーバ１０から送信された情報取得処理の結果を表示したり、情報取得処理の結果を表すデータをダウンロードしたりする。
［ハードウェア構成］
　次に、情報処理システム１における各装置のハードウェア構成を説明する。
　情報処理システム１において、各装置はＰＣ、サーバコンピュータあるいはタブレット端末等の情報処理装置によって構成され、その基本的構成は同様である。
　図２は、各装置を構成する情報処理装置８００のハードウェア構成を示す図である。
　図２に示すように、各装置を構成する情報処理装置８００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）８１１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）８１２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）８１３と、バス８１４と、入力部８１５と、出力部８１６と、記憶部８１７と、通信部８１８と、ドライブ８１９と、撮像部８２０と、を備えている。
　ＣＰＵ８１１は、ＲＯＭ８１２に記録されているプログラム、または、記憶部８１７からＲＡＭ８１３にロードされたプログラムに従って各種の処理を実行する。
　ＲＡＭ８１３には、ＣＰＵ８１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
　ＣＰＵ８１１、ＲＯＭ８１２及びＲＡＭ８１３は、バス８１４を介して相互に接続されている。バス８１４には、入力部８１５、出力部８１６、記憶部８１７、通信部８１８、ドライブ８１９及び撮像部８２０が接続されている。
　入力部８１５は、各種ボタン等で構成され、指示操作に応じて各種情報を入力する。
　出力部８１６は、ディスプレイやスピーカ等で構成され、映像や音声を出力する。
　なお、情報処理装置８００がスマートフォンやタブレット端末として構成される場合には、入力部８１５と出力部８１６のディスプレイとを重ねて配置し、タッチパネルを構成することとしてもよい。
　記憶部８１７は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等で構成され、各サーバで管理される各種データを記憶する。
　通信部８１８は、ネットワーク３０を介して他の装置との間で行う通信を制御する。
　ドライブ８１９には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア８３１が適宜装着される。ドライブ８１９によってリムーバブルメディア８３１から読み出されたプログラムは、必要に応じて記憶部８１７にインストールされる。
　撮像部８２０は、レンズ及び撮像素子等を備えた撮像装置によって構成され、被写体の画像を撮像する。
　なお、情報処理装置８００がタブレット端末として構成される場合には、入力部８１５をタッチセンサによって構成し、出力部８１６のディスプレイに重ねて配置することにより、タッチパネルを備える構成とすることも可能である。
［機能的構成］
　次に、情報処理システム１における各装置の機能的構成について説明する。
［サーバ１０の構成］
　図３は、サーバ１０の機能的構成を示すブロック図である。
　図３に示すように、サーバ１０のＣＰＵ８１１においては、画像データ取得部１１１と、パラメータ設定部１１２と、最適化処理部１１３と、学習処理部１１４と、情報取得処理部１１５と、が機能する。また、サーバ１０の記憶部８１７には、画像データ記憶部１７１と、パラメータ記憶部１７２と、取得結果記憶部１７３と、が形成される。
　画像データ記憶部１７１には、画像前処理フィルタの設計のための学習処理に用いられる画像（以下、「学習用画像」と称する。）のデータ、及び、対象物に関する情報を取得する画像（情報取得対象画像）のデータが記憶される。
　パラメータ記憶部１７２には、ユーザ端末２０から送信された各種パラメータ（例えば、情報取得処理における条件を表す画像前処理フィルタの設定パラメータ、あるいは、学習処理のためのパラメータ等）が記憶される。
　取得結果記憶部１７３には、情報取得処理によって取得された対象物に関する情報（情報取得処理の結果）のデータが記憶される。
　画像データ取得部１１１は、ユーザ端末２０あるいは他の情報処理装置から、情報取得処理において用いられる学習用画像のデータ及び情報取得対象画像のデータを取得する。本実施形態において、学習用画像のデータは、被写体となっている対象物に関する情報が既知である教師データであり、例えば、製造物の表面の画像や防犯カメラの画像等、画像から対象物に関する情報を取得可能な種々の画像のデータとすることができる。
　パラメータ設定部１１２は、ユーザ端末２０から送信された各種パラメータ（例えば、情報取得処理における条件を表す画像前処理フィルタの設定パラメータ、あるいは、学習処理のためのパラメータ等）に基づいて、情報取得処理を実行する際の条件を設定する。
　最適化処理部１１３は、パラメータ設定部１１２によって設定されたハイパーパラメータ（画像基底の数ｍ，画像前処理フィルタのサイズｋ等）に従って、画像前処理フィルタの設計及び最適化のための最適化処理を実行する。具体的には、最適化処理部１１３は、学習用画像のデータにおける画像基底を算出し、算出した画像基底と、ブラックボックス最適化アルゴリズムによってサンプリングしたフィルタ係数とに基づいて、画像前処理フィルタを設計する。また、最適化処理部１１３は、設計した画像前処理フィルタを用いた場合に性能を最適化するハイパーパラメータを探索し、ハイパーパラメータを最適化する。さらに、最適化処理部１１３は、設計した画像前処理フィルタの評価値（ここでは、汎化性能値とする）を算出し、評価値を最大化するように最適化処理のアルゴリズムを更新する。最適化処理部１１３は、画像前処理フィルタの最適化及びハイパーパラメータの最適化を繰り返すことにより、実際に情報取得対象画像の処理に用いる画像前処理フィルタおよび機械学習のハイパーパラメータを取得する。
　学習処理部１１４は、最適化処理部１１３によって取得された画像前処理フィルタに基づいて、画像処理を用いて対象物に関する情報を推論により取得するアルゴリズム（情報取得アルゴリズム）を機械学習するための学習処理を実行する。具体的には、学習処理部１１４は、最適化処理部１１３によって取得された画像前処理フィルタを用いて学習用画像を画像処理し、その処理結果の画像を用いて機械学習を実行することにより、情報取得対象画像に含まれる対象物に関する情報を推論によって取得するための機械学習モデルを決定する。
　情報取得処理部１１５は、学習処理部１１４によって決定された機械学習モデルを用いて、情報取得対象画像に含まれる対象物に関する情報を取得するための対象物情報取得処理を実行する。このとき、情報取得処理部１１５は、最適化処理部１１３によって取得された画像前処理フィルタを用いて情報取得対象画像を画像処理し、対象物に関する情報を取得する。
［ユーザ端末２０の構成］
　図４は、ユーザ端末２０の機能的構成を示すブロック図である。
　図４に示すように、ユーザ端末２０のＣＰＵ８１１においては、ＵＩ制御部２１１と、データ管理部２１２と、が機能する。また、ユーザ端末２０の記憶部８１７には、画像データ記憶部２７１と、パラメータ記憶部２７２と、取得結果記憶部２７３と、が形成される。
　画像データ記憶部２７１には、画像前処理フィルタの設計のための学習処理に用いられる学習用画像のデータ、及び、対象物に関する情報を取得する情報取得対象画像のデータが記憶される。
　パラメータ記憶部２７２には、ユーザによって設定された各種パラメータ（例えば、情報取得処理における条件を表す画像前処理フィルタの設定パラメータ、あるいは、学習処理のためのパラメータ等）が記憶される。
　取得結果記憶部２７３には、情報取得処理によって取得された対象物に関する情報（情報取得処理の結果）のデータが記憶される。
　ＵＩ制御部２１１は、画像処理によって対象物に関する情報を取得する情報取得処理ためのパラメータを入出力する各種入出力画面（以下、「ＵＩ画面」と称する。）の表示を制御する。例えば、ＵＩ制御部２１１は、情報取得処理における条件（画像前処理フィルタの設定パラメータ、あるいは、学習処理のためのパラメータ等）を設定するためのユーザインターフェースや、サーバ１０から送信された情報取得処理の結果等を表示する。
　データ管理部２１２は、画像データ記憶部１７１への画像のデータの記憶及び読み出し、パラメータ記憶部１７２への各種パラメータの記憶及び読み出し、あるいは、サーバ１０との間でのデータの送受信を管理する。例えば、データ管理部２１２は、情報取得処理で用いられる学習用画像のデータ及び情報取得対象画像のデータを画像データ記憶部１７１から読み出したり、ＵＩ画面において設定された各種パラメータのデータをパラメータ記憶部１７２に記憶したりする。また、データ管理部２１２は、情報取得処理の実行をサーバ１０に要求する際に、学習用画像のデータ及び情報取得対象画像のデータ、あるいは、情報取得処理における条件を表すパラメータをサーバ１０に送信したり、情報取得処理の結果のデータをサーバ１０から受信したりする。
［動作］
　次に、情報処理システム１の動作を説明する。
［ＵＩ制御処理］
　図５は、ユーザ端末２０が実行するＵＩ制御処理の流れを示すフローチャートである。
　ＵＩ制御処理は、ユーザ端末２０の入力部８１５を介してＵＩ制御処理の実行が指示入力されることに対応して開始される。
　ＵＩ制御処理が開始されると、ステップＳ１において、ＵＩ制御部２１１は、画像処理によって対象物に関する情報を取得するためのＵＩ画面を表示する。このとき表示されるＵＩ画面においては、サーバ１０に情報取得処理を要求するための各種情報を入力することが可能となっている。
　ステップＳ２において、ＵＩ制御部２１１は、ユーザの操作に応じて、画像データ記憶部１７１から学習用画像及び情報取得対象画像を選択する。
　ステップＳ３において、ＵＩ制御部２１１は、ユーザの操作に応じて、画像処理によって対象物に関する情報を取得する情報取得処理のため各種パラメータ（画像前処理フィルタの設定パラメータ、あるいは、学習処理のためのパラメータ等）を設定する。
　ステップＳ４において、ＵＩ制御部２１１は、情報取得処理の実行をサーバ１０に要求する。このとき、ステップＳ２で選択された学習用画像のデータ及び情報取得対象画像のデータ、及び、ステップＳ３で設定された各種パラメータのデータがサーバ１０に送信される。
　ステップＳ５において、ＵＩ制御部２１１は、情報取得処理の結果をサーバ１０から受信する。情報取得処理の結果は、情報取得対象画像に含まれる対象物に関する情報の取得結果を表すものである。
　ステップＳ６において、ＵＩ制御部２１１は、サーバ１０から受信した情報取得処理の結果を表示する。
　ステップＳ７において、ＵＩ制御部２１１は、サーバ１０から受信した情報取得処理の結果を取得結果記憶部２７３に記憶する。
　ステップＳ８において、ＵＩ制御部２１１は、ＵＩ制御処理の終了が指示されたか否かの判定を行う。
　ＵＩ制御処理の終了が指示されていない場合、ステップＳ８においてＮＯと判定されて、処理はステップＳ１に移行する。
　一方、ＵＩ制御処理の終了が指示された場合、ステップＳ８においてＹＥＳと判定されて、ＵＩ制御処理は終了する。
　次に、サーバ１０が実行する処理について説明する。
［情報取得処理］
　図６は、サーバ１０が実行する情報取得処理の流れを示すフローチャートである。
　情報取得処理は、ユーザ端末２０から情報取得処理の要求が送信されることにより開始される。
　情報取得処理が開始されると、ステップＳ１１において、最適化処理部１１３は、ユーザ端末２０から受信した学習用画像のデータ及び情報取得対象画像のデータと各種パラメータのデータとに基づいて、最適化処理を実行する。
　ステップＳ１２において、学習処理部１１４は、最適化処理によって取得された画像前処理フィルタに基づいて、画像処理を用いて対象物に関する情報を推論により取得するアルゴリズム（情報取得アルゴリズム）を機械学習するための学習処理を実行する。
　ステップＳ１３において、情報取得処理部１１５は、学習処理で取得された機械学習モデルを用いて、情報取得対象画像に含まれる対象物に関する情報を取得するための対象物情報取得処理を実行する。
　ステップＳ１４において、情報取得処理部１１５は、全ての情報取得対象画像について情報取得処理が終了したか否かの判定を行う。
　全ての情報取得対象画像について情報取得処理が終了していない場合、ステップＳ１４においてＮＯと判定されて、処理はステップＳ１３に移行する。
　一方、全ての情報取得対象画像について情報取得処理が終了した場合、ステップＳ１４おいてＹＥＳと判定されて、情報取得処理は終了する。
［最適化処理］
　次に、情報取得処理のステップＳ１１において実行される最適化処理について説明する。
　図７は、サーバ１０が実行する最適化処理の流れを示すフローチャートである。
　最適化処理が開始されると、ステップＳ２１において、画像データ取得部１１１は、情報取得処理において用いられる学習用画像のデータを取得する。ここでは、Ｎ枚の学習用画像のデータが取得されるものとする。
　ステップＳ２２において、パラメータ設定部１１２は、ユーザ端末２０から送信された各種パラメータ（例えば、情報取得処理における条件を表す画像前処理フィルタの設定パラメータ、あるいは、学習処理のためのパラメータ等）に基づいて、情報取得処理を実行する際の条件を設定する。ステップＳ２２においては、画像基底の要素となる基底の数ｍ及び画像前処理フィルタのサイズｋが設定される。
　ステップＳ２３において、最適化処理部１１３は、学習用画像を対象として、画像基底の算出処理を実行する。なお、画像基底は、後述するように、局所画像から得られる基底を要素とする行列として定義される。
　ステップＳ２４において、最適化処理部１１３は、画像前処理フィルタの設定パラメータに基づいて、画像前処理フィルタの設計処理を実行する。
　ステップＳ２５において、最適化処理部１１３は、画像前処理フィルタの設計処理を実行するループが規定の回数に達したか否かの判定を行う。
　画像前処理フィルタの設計処理を実行するループが規定の回数に達していない場合、ステップＳ２５において、ＮＯと判定されて、処理はステップＳ２４に移行する。
　一方、画像前処理フィルタの設計処理を実行するループが規定の回数に達した場合、ステップＳ２５において、ＹＥＳと判定されて、処理はステップＳ２６に移行する。
　ステップＳ２６において、最適化処理部１１３は、学習処理で用いるパラメータの探索処理を実行する。
　ステップＳ２７において、最適化処理部１１３は、最適化処理の終了条件を充足したか否かの判定を行う。最適化処理の終了条件として、例えば、設定された時間が経過すること、設定されたループの回数に達したこと、あるいは、ユーザ端末２０からの終了指示の受信等を設定することができる。
　最適化処理の終了条件を充足していない場合、ステップＳ２７においてＮＯと判定されて、処理はステップＳ２４に移行する。
　一方、最適化処理の終了条件を充足した場合、ステップＳ２７においてＹＥＳと判定されて、処理はステップＳ２８に移行する。
ステップＳ２８において、最適化処理部１１３は、最適化処理の結果をユーザ端末２０に送信する。
　ステップＳ２８の後、処理は情報取得処理に戻る。
　なお、最適化処理において取得される各種パラメータは、パラメータ記憶部１７２に逐次記憶される。
［画像基底の算出処理］
　次に、最適化処理のステップＳ２３において実行される画像基底の算出処理について説明する。
　図８は、サーバ１０が実行する画像基底の算出処理の流れを示すフローチャートである。
　画像基底の算出処理が開始されると、ステップＳ３１において、最適化処理部１１３は、学習用画像それぞれにおける局所画像のサンプリングを行う。このとき、複数の学習用画像を画像データセットＸとすると、画像データセットＸのそれぞれの画像から、ｋ×ｋピクセルの領域を一定幅（例えば、数ピクセル）ずつずらしながらＮ’個の局所画像をサンプリングし、サンプリング結果をデータ行列Ｘ’に格納する。ここで、
Figure JPOXMLDOC01-appb-M000001
 であり、式（１）において、Ｒは実数の集合、Ｎ’はサンプリングした局所画像の数を表している。
　ステップＳ３２において、最適化処理部１１３は、サンプリングした局所画像を基底分解する。このとき、各種行列分解アルゴリズム（独立成分分析（ＩＣＡ）、スパース主成分分析（ｓｐａｒｓｅ　ＰＣＡ）、　主成分分析（ＰＣＡ）、非負値行列因子分解（ＮＭＦ）等）を用いて、以下の条件を充足するように、基底分解が行われる。
Figure JPOXMLDOC01-appb-M000002
　このとき取得された基底をｖ１～ｖｍとし、基底ｖ１～ｖｍによって定義される画像基底をＶ（＝｛ｖ１，ｖ２，・・・，ｖｍ｝）とする。
　ステップＳ３３において、最適化処理部１１３は、基底行列Ｖを正規化する。具体的には、ステップＳ３３において、最適化処理部１１３は、画像基底Ｖの基底毎に、ノルムを１に正規化する。
　ステップＳ３４において、最適化処理部１１３は、インパルスフィルタの追加処理を行う。具体的には、ステップＳ３４において、最適化処理部１１３は、正規化した画像基底Ｖにインパルスフィルタをｍ＋１個目の要素ｖｍ＋１として追加し、画像基底Ｖ＝｛ｖ１，ｖ２，・・・，ｖｍ，ｖｍ＋１｝とする。なお、インパルスフィルタｖｍ＋１は、以下の式（３）によって表され、画像前処理フィルタの強度を設定するために用いられる。
Figure JPOXMLDOC01-appb-M000003
　ステップＳ３５において、最適化処理部１１３は、取得した画像基底Ｖを最適化処理に返す。
　ステップＳ３５の後、処理は最適化処理に戻る。
［画像前処理フィルタの設計処理］
　次に、最適化処理のステップＳ２４において実行される画像前処理フィルタの設計処理について説明する。
　図９は、サーバ１０が実行する画像前処理フィルタの設計処理の流れを示すフローチャートである。
　画像前処理フィルタの設計処理が開始されると、ステップＳ４１において、最適化処理部１１３は、画像前処理フィルタを求めるためのブラックボックス最適化処理の設定を行う。具体的には、ステップＳ４１において、最適化処理部１１３は、所定のブラックボックス最適化手法（ＴＰＥ（Ｔｒｅｅ－ｓｔｒｕｃｔｕｒｅｄ　Ｐａｒｚｅｎ　Ｅｓｔｉｍａｔｏｒ）、ＣＭＡ－ＥＳ（Ｃｏｖａｒｉａｎｃｅ　Ｍａｔｒｉｘ　Ａｄａｐｔａｔｉｏｎ　Ｅｖｏｌｕｔｉｏｎ　Ｓｔｒａｔｅｇｙ）、Ｂａｙｅｓｉａｎ　Ｏｐｔｉｍｉｚａｔｉｏｎ、ランダムサーチ等）に従って、画像前処理フィルタを設計するための設定を行う。このとき、用いられるブラックボックス最適化手法に応じた評価指標が設定される。
　なお、最適化処理におけるパラメータの探索処理で探索することに代えて、機械学習で用いられるハイパーパラメータを、ステップＳ４１におけるブラックボックス最適化処理で最適化するパラメータに含めることとしてもよい。この場合、総当たりによる探索等が不可能なハイパーパラメータであっても、最適化することが可能となる。
　ステップＳ４２において、最適化処理部１１３は、画像前処理フィルタの設計目的に応じた汎化性能指針を設定する。このとき、汎化性能指針として、ユーザにおいて最大化したいと考える指標を用いることができる。例えば、画像処理において対象物の見落としを防ぐこと（失報しないこと）を最優先する場合には、「見落としの少なさ（失報率の低さ）」を汎化性能指針とすることができる。また、画像処理において対象物を誤って検出しないこと（誤報しないこと）を最優先する場合には、「誤報の少なさ（誤報率の低さ）」を汎化性能指針とすることができる。
　ステップＳ４３において、最適化処理部１１３は、画像基底Ｖにおける基底の数ｍ＋１に応じたフィルタ係数ａ（＝｛ａ１，ａ２，・・・，ａｍ，ａｍ＋１｝）をサンプリングする。ここで、フィルタ係数ａはｍ＋１次元の［－１，１］区間に値をとるベクトルであり、ブラックボックス最適化アルゴリズムによってサンプリングされる。
　ステップＳ４４において、最適化処理部１１３は、画像前処理フィルタｆの設計を行う。具体的には、ステップＳ４４において、最適化処理部１１３は、画像基底Ｖ＝｛ｖ１，ｖ２，・・・，ｖｍ，ｖｍ＋１｝及びフィルタ係数ａ＝｛ａ１，ａ２，・・・，ａｍ，ａｍ＋１｝を基に、画像前処理フィルタｆを
ｆ＝ａ１ｖ１＋ａ２ｖ２＋・・・＋ａｍｖｍ
として算出する。即ち、画像前処理フィルタｆは、フィルタ係数のベクトルａと、画像基底Ｖの行列との積で表される。
　ステップＳ４５において、最適化処理部１１３は、画像前処理フィルタｆの正規化を行う。具体的には、ステップＳ４５において、最適化処理部１１３は、画像前処理フィルタｆに対し、ｆ／（Σｉ，ｊｆｉ，ｊ）を乗算することでフィルタ係数の総和が１となるよう正規化する。
　ステップＳ４６において、最適化処理部１１３は、フィルタ性能の評価値ｓを算出する。具体的には、ステップＳ４６において、最適化処理部１１３は、設計した画像前処理フィルタｆで学習用画像を前処理し、ＶａｌｉｄａｔｉｏｎデータあるいはＫ－ｆｏｌｄ交差検証等により特定される汎化性能値を最適化の評価値ｓとする。
　ステップＳ４７において、最適化処理部１１３は、算出された評価値ｓを参照して、最適化アルゴリズムを更新する。具体的には、ステップＳ４７において、最適化処理部１１３は、評価値ｓを最大化するようブラックボックス最適化アルゴリズムの状態（設定されるパラメータ）を更新する。
　ステップＳ４７の後、処理は最適化処理に戻る。
［パラメータの探索処理］
　次に、最適化処理のステップＳ２６において実行されるパラメータの探索処理について説明する。
　図１０は、サーバ１０が実行するパラメータの探索処理の流れを示すフローチャートである。
　パラメータの探索処理が開始されると、ステップＳ５１において、最適化処理部１１３は、候補となるパラメータ（探索対象のパラメータ）の全ての組み合わせ（直積）を算出する。なお、好ましいパラメータの候補が既知である場合、候補となるパラメータの全ての組み合わせを算出することなく、好ましいパラメータの候補のみを対象として探索を行うこととしてもよい。
　ステップＳ５２において、最適化処理部１１３は、機械学習の用途に応じた汎化性能指針を設定する。例えば、ステップＳ５２において、最適化処理部１１３は、異常検知を行う場合には、ＲＯＣ（Ｒｅｃｅｉｖｅｒ　Ｏｐｅｒａｔｏｒａｔｉｎｇ　Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線のＡＵＣ（Ａｒｅａ　Ｕｎｄｅｒ　ｔｈｅ　Ｃｕｒｖｅ）を汎化性能指針としたり、分類を行う場合には、ｆ１スコアを汎化性能指針としたりすることができる。
　ステップＳ５３において、最適化処理部１１３は、ステップＳ５１で算出したパラメータの組み合わせそれぞれに対し、ステップＳ５３で設定した汎化性能指針による汎化性能評価を行う。このとき、画像前処理フィルタの設計処理と同様に、算出したパラメータの組み合わせで学習用画像を前処理し、ＶａｌｉｄａｔｉｏｎデータあるいはＫ－ｆｏｌｄ交差検証等により特定される汎化性能値を評価値とすることができる。
　ステップＳ５４において、最適化処理部１１３は、ステップＳ５１で算出したパラメータの組み合わせのランク付けを行う。具体的には、ステップＳ５４において、最適化処理部１１３は、汎化性能値が高い順に、パラメータの組み合わせをソートする。
　ステップＳ５５において、最適化処理部１１３は、汎化性能値が最も高いパラメータの組み合わせを最適化処理に返す。なお、汎化性能値が最も高いパラメータの組み合わせに加えて、汎化性能値が上位の複数のパラメータの組み合わせを最適化処理に返すこととしてもよい。
　ステップＳ５５の後、処理は最適化処理に戻る。
［学習処理］
　次に、情報取得処理のステップＳ１２において実行される学習処理について説明する。
　図１１は、サーバ１０が実行する学習処理の流れを示すフローチャートである。
　学習処理が開始されると、ステップＳ６１において、学習処理部１１４は、最適化処理で決定されたパラメータを取得する。
　ステップＳ６２において、学習処理部１１４は、学習用画像のデータを取得する。
　ステップＳ６３において、学習処理部１１４は、学習用画像のデータに対し、最適化処理で決定されたパラメータを設定した画像前処理フィルタによって、画像の前処理を実行する。
　ステップＳ６４において、学習処理部１１４は、画像の前処理が行われた結果の画像データに対し、画像処理を用いて対象物に関する情報を推論により取得するアルゴリズム（情報取得アルゴリズム）の機械学習を実行する。これにより、対象物情報取得処理で用いられる機械学習モデルが生成される。
　なお、機械学習の手法としては、出願人による国際特許出願ＰＣＴ／ＪＰ２０１８／０２８７８４（ＷＯ２０１９／０５８７７５）に記載された手法や、各種深層学習手法等を用いることができる。
　ステップＳ６４の後、処理は情報取得処理に戻る。
［対象物情報取得処理］
　次に、情報取得処理のステップＳ１３において実行される対象物情報取得処理について説明する。
　図１２は、サーバ１０が実行する対象物情報取得処理の流れを示すフローチャートである。
　対象物情報取得処理が開始されると、ステップＳ７１において、情報取得処理部１１５は、学習処理によって生成された機械学習モデルを取得する。
　ステップＳ７２において、情報取得処理部１１５は、情報取得対象画像のデータを取得する。
　ステップＳ７３において、情報取得処理部１１５は、情報取得対象画像のデータに対し、最適化処理で決定されたパラメータを設定した画像前処理フィルタによって、画像の前処理を実行する。
　ステップＳ７４において、情報取得処理部１１５は、画像の前処理が行われた結果の画像データに対し、学習処理によって生成された機械学習モデルを適用して、対象物に関する情報を取得する。これにより、最適化された画像前処理フィルタで前処理した情報取得対象画像において、対象物に関する情報が取得される。
　ステップＳ７４の後、処理は情報取得処理に戻る。
　このような処理により、本実施形態に係る情報処理システム１においては、学習用画像のデータにおける画像基底に基づいて、ブラックボックス最適化アルゴリズムにより、画像前処理フィルタを設計し、最適化のループを所定回数繰り返す。そして、画像前処理フィルタのパラメータを一旦固定し、機械学習で用いられるハイパーパラメータの探索を行い、取得された最適なハイパーパラメータを用いて、再び、画像前処理フィルタの最適化が行われる。情報処理システム１では、このような処理を繰り返すことで、複雑に最適化された画像前処理フィルタを自動的に生成する。
　これにより、人手による調整等に依存することなく、パラメータが相互に関連する画像前処理フィルタの最適化を実行することができる。
　したがって、画像処理を用いて対象物に関する情報を取得するための技術をより適切に実現することができる。
［変形例１］
　上述の実施形態においては、クライアント－サーバ型の情報処理システム１を構築し、サーバ１０において情報取得処理を実行して、ユーザ端末２０に情報取得処理の結果を送信するものとした。
　これに対し、情報取得処理を実行するための機能及び情報取得処理の結果を表示するための機能を１つの装置（例えば、ユーザ端末２０等）に備えることにより、情報処理システム１の機能を単体の情報処理装置８００で実現（即ち、スタンドアローン型のシステムとして実現）することとしてもよい。
　図１３は、物体検知処理及び処理結果の表示を実行するスタンドアローン型の情報処理装置８００の機能的構成を示すブロック図である。
　図１３に示すように、スタンドアローン型として構成する場合、単体の情報処理装置８００において、ユーザ端末２０のＵＩ制御部２１１、サーバ１０の画像データ取得部１１１、パラメータ設定部１１２、最適化処理部１１３、学習処理部１１４及び情報取得処理部１１５の機能をＣＰＵ８１１に備えると共に、サーバ１０が備える画像データ記憶部１７１、パラメータ記憶部１７２及び取得結果記憶部１７３を記憶部８１７に備えることとすればよい。
　以上のように、本実施形態に係る情報処理システム１は、ユーザによって使用されるユーザ端末２０と、ユーザ端末２０と通信可能に構成されたサーバ１０とを含む。
　ユーザ端末２０は、ＵＩ制御部２１１を備える。
　ＵＩ制御部２１１は、サーバ１０に対し、画像における対象物に関する情報を取得するための処理を要求する。
　サーバ１０は、最適化処理部１１３を備える。
　最適化処理部１１３は、ユーザ端末２０の要求に応じて、学習用画像の画像基底に基づいて、ブラックボックス最適化処理により、画像の前処理フィルタを設計し、設計された画像の前処理フィルタを用いて学習用画像を前処理し、当該前処理された学習用画像に基づいて、対象物に関する情報を取得するための機械学習に関するパラメータを取得する。
　これにより、人手による調整等に依存することなく、パラメータが相互に関連する画像前処理フィルタの最適化を実行することができる。
　したがって、画像処理を用いて対象物に関する情報を取得するための技術をより適切に実現することができる。
　最適化処理部１１３は、取得された機械学習に関するパラメータを用いて、画像の前処理フィルタをブラックボックス最適化処理により再び設計する。
　これにより、複雑に最適化された画像前処理フィルタを自動的に生成することができる。
　最適化処理部１１３は、設計した画像の前処理フィルタのパラメータを評価するための評価値に基づいて、ブラックボックス最適化処理に設定されるパラメータを変更し、当該変更後のブラックボックス最適化処理によって、画像の前処理フィルタを設計することにより、画像の前処理フィルタを最適化する。
　これにより、最適化のループを繰り返して、機械学習に用いられる画像の前処理フィルタを設計することができる。
　最適化処理部１１３は、対象物に関する情報を取得するための機械学習に関するパラメータについて、当該機械学習に関するパラメータを評価するための評価値を取得し、評価値が上位のパラメータの組み合わせを、最適化された機械学習に関するパラメータとして取得する。
　これにより、パラメータの組み合わせを総当たりすること等により、最適化された機械学習に関するパラメータとして、より適切なパラメータの組み合わせを取得することができる。
　最適化処理部１１３は、ブラックボックス最適化処理における処理対象として、対象物に関する情報を取得するための機械学習に関するパラメータを含めることにより、最適化された機械学習に関するパラメータを取得する。
　これにより、パラメータの組み合わせを総当たりすることが不可能なパラメータ等においても、最適化された機械学習に関するパラメータとして妥当性が高いものを取得することができる。
　最適化処理部１１３は、学習用画像の局所領域の基底を要素とする画像基底を算出し、画像基底の要素の数に応じてサンプリングされた画像の前処理フィルタの係数と、当該画像基底の要素とを乗算することにより、画像の前処理フィルタを設計する。
　これにより、画像の前処理フィルタとして適切なパラメータを用いて、より適切な画像の前処理フィルタを自動的に設計することができる。
　また、情報処理システム１は、学習処理部１１４を備える。
　学習処理部１１４は、最適化処理部１１３によって取得された画像の前処理フィルタを用いて学習用画像を処理することにより、画像における対象物に関する情報を取得するための機械学習モデルを生成する。
　これにより、適切なフィルタリングが可能な画像の前処理フィルタで処理された画像を対象として、より高精度な情報取得を可能とする機械学習モデルを生成することができる。
　また、情報処理システム１は、情報取得処理部１１５を備える。
　情報取得処理部１１５は、最適化処理部１１３によって取得された画像の前処理フィルタを用いて対象物に関する情報を取得する画像を処理し、学習処理部１１４によって生成された機械学習モデルを用いて、画像の前処理フィルタによって処理された情報取得対象画像における被写体に関する情報を推論することにより、対象物に関する情報を取得する。
　これにより、適切なフィルタリングが可能な画像の前処理フィルタで処理された画像を対象として、より高精度な情報取得を行うことが可能となる。
　また、本実施形態に係る情報処理装置８００（サーバ１０または変形例１の情報処理装置８００）は、最適化処理部１１３を備える。
　最適化処理部１１３は、ユーザ端末２０の要求に応じて、学習用画像の画像基底に基づいて、ブラックボックス最適化処理により、画像の前処理フィルタを設計すると共に、設計した画像の前処理フィルタを最適化する処理を繰り返し、当該最適化する処理を繰り返して取得された画像の前処理フィルタを用いて学習用画像を処理することにより、対象物に関する情報を取得するための機械学習に関するパラメータを取得する。
　これにより、人手による調整等に依存することなく、パラメータが相互に関連する画像前処理フィルタの最適化を実行することができる。
　したがって、画像処理を用いて対象物に関する情報を取得するための技術をより適切に実現することができる。
　なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
　例えば、上述の実施形態において、クライアント－サーバ型の情報処理システム１を構成する場合、システムを構成する情報処理装置の組み合わせは、上述の実施形態に示した例に限られない。
　即ち、サーバ１０に備えられた機能をより多くのサーバに分散して実装したり、ユーザ端末２０あるいはサーバ１０の機能をより少ない装置にまとめて実装したりすることが可能である。
　また、サーバ１０及びユーザ端末２０が備える機能が全体として情報処理システム１に実装されていればよく、いずれの機能をいずれの装置に実装するかは、目的に応じて種々の形態をとり得る。例えば、サーバ１０において最適化処理及び学習処理を実行し、ユーザ端末２０において対象物情報取得処理を実行すること等が可能である。
　また、上述の実施形態においては、情報処理システム１が、最適化処理、学習処理及び対象物情報取得処理の全てを実行するものとして説明したが、これに限られない。即ち、情報処理システム１は、最適化処理、学習処理及び対象物情報取得処理のうち、いずれかを実行するものとしてもよい。例えば、情報処理システム１において、ユーザ端末２０の要求に応じて、サーバ１０が最適化処理を実行し、画像前処理フィルタを生成することとしてもよい。画像前処理フィルタをサーバ１０が生成し、他の装置に提供することで、他の装置においては、画像前処理フィルタを生成する必要がなくなることから、この場合においても、画像処理を用いて対象物に関する情報を取得するための技術をより適切に実現することができる。
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
　換言すると、上述の実施形態における機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システム１を構成するいずれかのコンピュータに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に示した例に限定されない。
　また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
　また、上述した一連の処理を実行するためのプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
　以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
１　情報処理システム、１０　サーバ、２０　ユーザ端末、３０　ネットワーク、１１１　画像データ取得部、１１２　パラメータ設定部、１１３　最適化処理部、１１４　学習処理部、１１５　情報取得処理部、１７１，２７１　画像データ記憶部、１７２，２７２　パラメータ記憶部、１７３，２７３　取得結果記憶部、２１１　ＵＩ制御部、２１２　データ管理部、８００　情報処理装置、８１１　ＣＰＵ、８１２　ＲＯＭ、８１３　ＲＡＭ、８１４　バス、８１５　入力部、８１６　出力部、８１７　記憶部、８１８　通信部、８１９　ドライブ、８２０　撮像部、８３１　リムーバブルメディア

Claims (11)

  1. 　ユーザによって使用される端末装置と、前記端末装置と通信可能に構成されたサーバとを含む情報処理システムであって、
    　前記端末装置は、
    　前記サーバに対し、画像における対象物に関する情報を取得するための処理を要求する要求手段を備え、
    　前記サーバは、
    　前記端末装置の要求に応じて、学習用画像の画像基底に基づいて、ブラックボックス最適化処理により、画像の前処理フィルタを設計し、設計された前記画像の前処理フィルタを用いて前記学習用画像を前処理し、当該前処理された前記学習用画像に基づいて、前記対象物に関する情報を取得するための機械学習に関するパラメータを取得するフィルタ最適化手段を備えることを特徴とする情報処理システム。
  2. 　前記フィルタ最適化手段は、取得された前記機械学習に関するパラメータを用いて、前記画像の前処理フィルタを前記ブラックボックス最適化処理により再び設計することを特徴とする請求項１に記載の情報処理システム。
  3. **フィルタ最適化のループを具体化**
    　前記フィルタ最適化手段は、設計した前記画像の前処理フィルタのパラメータを評価するための評価値に基づいて、前記ブラックボックス最適化処理に設定されるパラメータを変更し、当該変更後の前記ブラックボックス最適化処理によって、前記画像の前処理フィルタを設計することにより、前記画像の前処理フィルタを最適化することを特徴とする請求項１または２に記載の情報処理システム。
  4. 　前記フィルタ最適化手段は、前記対象物に関する情報を取得するための機械学習に関するパラメータについて、当該機械学習に関するパラメータを評価するための評価値を取得し、評価値が上位のパラメータの組み合わせを、最適化された前記機械学習に関するパラメータとして取得することを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
  5. 　前記フィルタ最適化手段は、前記ブラックボックス最適化処理における処理対象として、前記対象物に関する情報を取得するための機械学習に関するパラメータを含めることにより、最適化された前記機械学習に関するパラメータを取得することを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
  6. 　前記フィルタ最適化手段は、前記学習用画像の局所領域の基底を要素とする前記画像基底を算出し、前記画像基底の前記要素の数に応じてサンプリングされた前記画像の前処理フィルタの係数と、当該画像基底の前記要素とを乗算することにより、前記画像の前処理フィルタを設計することを特徴とする請求項１から５のいずれか１項に記載の情報処理システム。
  7. 　前記フィルタ最適化手段によって取得された前記画像の前処理フィルタを用いて前記学習用画像を処理することにより、画像における対象物に関する情報を取得するための機械学習モデルを生成する学習手段を備えることを特徴とする請求項１から６のいずれか１項に記載の情報処理システム。
  8. 　前記フィルタ最適化手段によって取得された前記画像の前処理フィルタを用いて対象物に関する情報を取得する画像を処理し、前記学習手段によって生成された前記機械学習モデルを用いて、前記画像の前処理フィルタによって処理された前記対象物に関する情報を取得する画像における被写体に関する情報を推論することにより、前記対象物に関する情報を取得する情報取得手段を備えることを特徴とする請求項７に記載の情報処理システム。
  9. 　画像における対象物に関する情報を取得するための処理を実行する情報処理装置であって、
    　学習用画像の画像基底に基づいて、ブラックボックス最適化処理により、画像の前処理フィルタを設計し、設計された前記画像の前処理フィルタを用いて前記学習用画像を前処理し、当該前処理された前記学習用画像に基づいて、前記対象物に関する情報を取得するための機械学習に関するパラメータを取得するフィルタ最適化手段を備えることを特徴とする情報処理装置。
  10. 　情報処理システムが実行する情報処理方法であって、
    　学習用画像の画像基底に基づいて、ブラックボックス最適化処理により、画像の前処理フィルタを設計し、設計された前記画像の前処理フィルタを用いて前記学習用画像を前処理し、当該前処理された前記学習用画像に基づいて、画像における対象物に関する情報を取得するための機械学習に関するパラメータを取得するフィルタ最適化処理を含むことを特徴とする情報処理方法。
  11. 　コンピュータに、
    　学習用画像の画像基底に基づいて、ブラックボックス最適化処理により、画像の前処理フィルタを設計し、設計された前記画像の前処理フィルタを用いて前記学習用画像を前処理し、当該前処理された前記学習用画像に基づいて、画像における対象物に関する情報を取得するための機械学習に関するパラメータを取得するフィルタ最適化機能を実現させることを特徴とするプログラム。
PCT/JP2021/027227 2020-07-21 2021-07-20 情報処理システム、情報処理装置、情報処理方法及びプログラム WO2022019312A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020124802 2020-07-21
JP2020-124802 2020-07-21

Publications (1)

Publication Number Publication Date
WO2022019312A1 true WO2022019312A1 (ja) 2022-01-27

Family

ID=79729179

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027227 WO2022019312A1 (ja) 2020-07-21 2021-07-20 情報処理システム、情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2022019312A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087940A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017076289A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 パラメータ決定装置、パラメータ決定方法及びプログラム
WO2017068675A1 (ja) * 2015-10-22 2017-04-27 富士通株式会社 プログラム生成装置、プログラム生成方法および生成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087940A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017076289A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 パラメータ決定装置、パラメータ決定方法及びプログラム
WO2017068675A1 (ja) * 2015-10-22 2017-04-27 富士通株式会社 プログラム生成装置、プログラム生成方法および生成プログラム

Similar Documents

Publication Publication Date Title
Odena et al. Conditional image synthesis with auxiliary classifier gans
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
US9904874B2 (en) Hardware-efficient deep convolutional neural networks
WO2019004350A1 (ja) データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法
US11620480B2 (en) Learning method, computer program, classifier, and generator
US20140169623A1 (en) Action recognition based on depth maps
CN113743607B (zh) 异常检测模型的训练方法、异常检测方法及装置
Liu et al. Iterative relaxed collaborative representation with adaptive weights learning for noise robust face hallucination
Zhao et al. Learning-based quality assessment for image super-resolution
US20230053026A1 (en) Systems and methods for providing displayed feedback when using a rear-facing camera
JP5311899B2 (ja) パターン検出器の学習装置、学習方法及びプログラム
KR20220018633A (ko) 이미지 검색 방법 및 장치
Mitra et al. EasyDeep: an IoT friendly robust detection method for GAN generated deepfake images in social media
Wankhade et al. Hybrid hunt-based deep convolutional neural network for emotion recognition using EEG signals
Gastaldo et al. Neural networks for the no-reference assessment of perceived quality
WO2022019312A1 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2010004527A (ja) 画像に対する不規則な空間的サブサンプリングの適応生成
Ravela et al. No-reference image quality assessment based on deep convolutional neural networks
CN111079905A (zh) 卷积神经网络处理方法、装置和电子系统
Sunhem et al. A scenario-based analysis of front-facing camera eye tracker for UX-UI survey on mobile banking app
Pflüger et al. Simulating fixations when looking at visual arts
Bozinis et al. Improving visual question answering using active perception on static images
JP2006260410A (ja) 画像処理アルゴリズムの評価装置、生成装置、評価方法、生成方法、コンピュータをその評価装置として機能させるためのプログラム、およびコンピュータをその生成装置として機能させるためのプログラム
Ahtik et al. Detail diversity analysis of novel visual database for digital image evaluation
Petrini Breaking the Curse of Dimensionality in Deep Neural Networks by Learning Invariant Representations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21845638

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21845638

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP