WO2023068126A1 - 学習装置、データ加工装置、パラメータ生成装置、学習方法、データ加工方法及びパラメータ生成方法 - Google Patents

学習装置、データ加工装置、パラメータ生成装置、学習方法、データ加工方法及びパラメータ生成方法 Download PDF

Info

Publication number
WO2023068126A1
WO2023068126A1 PCT/JP2022/037996 JP2022037996W WO2023068126A1 WO 2023068126 A1 WO2023068126 A1 WO 2023068126A1 JP 2022037996 W JP2022037996 W JP 2022037996W WO 2023068126 A1 WO2023068126 A1 WO 2023068126A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
unit
image
parameter
data
Prior art date
Application number
PCT/JP2022/037996
Other languages
English (en)
French (fr)
Inventor
大祐 稲石
宏明 新井
裕麻 平井
純一 小坂
りんな 金尾
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP22883430.5A priority Critical patent/EP4422163A1/en
Publication of WO2023068126A1 publication Critical patent/WO2023068126A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Definitions

  • the present disclosure relates to a learning device, data processing device, parameter generation device, learning method, data processing method, and parameter generation method.
  • image quality parameters parameters that change the image quality (hereafter sometimes referred to as “image quality parameters”) in order to improve the "image quality", which is the element of brightness, contrast, saturation, tone, definition, etc. is being done.
  • image quality parameters there are various image quality parameters that change brightness, contrast, saturation, tone, definition, and the like. For example, if there are 28 types of image quality parameters as image quality parameters, and each value of the 28 types of image quality parameters can be adjusted in 255 steps, the total number of image quality parameter combinations is 2.4 ⁇ 10 67 sets. It becomes a huge number. It is difficult even for a skilled engineer to visually determine the optimum one from such a huge number of combinations of image quality parameters.
  • the optimum image quality parameters are different for each image, the optimum image quality parameters for one image are not necessarily the optimum for other images. Therefore, if one image quality parameter is fixedly applied to a plurality of images, satisfactory image quality may not be obtained.
  • the optimum image quality parameters are different for each image, as with still images.
  • speech is also processed using parameters that change sound quality (hereinafter sometimes referred to as "sound quality parameters").
  • Sound quality parameters Multimedia data that can be handled by computers are roughly classified into image data, moving image data, and audio data.
  • image quality parameter and the sound quality parameter may be referred to as "quality parameter”.
  • this disclosure proposes a technique that can improve the quality of multimedia data while reducing the effort required to determine suitable quality parameters.
  • the learning device of the present disclosure has an evaluation unit, a generation unit, and a learning unit.
  • the evaluation unit obtains a plurality of evaluation results for each of the plurality of multimedia data by quantitatively evaluating the plurality of multimedia data.
  • the generator selects a second parameter from among a plurality of first parameters having different values based on the plurality of evaluation results, and generates teacher data including the selected second parameter.
  • the learning unit performs machine learning using the teacher data to generate a trained model that outputs a third parameter used for processing multimedia data to be processed.
  • FIG. 1 is a diagram illustrating a configuration example of an image processing system according to Embodiment 1 of the present disclosure
  • FIG. 1 is a diagram illustrating a configuration example of an image learning device according to Embodiment 1 of the present disclosure
  • FIG. 1 is a diagram illustrating a configuration example of an image processing apparatus according to Embodiment 1 of the present disclosure
  • FIG. 1 is a diagram illustrating an example of a processing procedure in an image processing system according to Embodiment 1 of the present disclosure
  • FIG. 1 is a diagram illustrating an example of a processing procedure in an image processing system according to Embodiment 1 of the present disclosure
  • FIG. 1 is a diagram illustrating an example of a processing procedure in an image processing system according to Embodiment 1 of the present disclosure
  • FIG. 4 is a diagram showing an example of quantitative evaluation according to Embodiment 1 of the present disclosure
  • FIG. 4 is a diagram showing an example of quantitative evaluation according to Embodiment 1 of the present disclosure
  • It is a figure which shows the structural example of the image processing system which concerns on Embodiment 2 of this indication.
  • FIG. 7 is a diagram illustrating an example of a processing procedure in an image processing system according to Embodiment 2 of the present disclosure
  • FIG. 7 is a diagram illustrating an example of a processing procedure in an image processing system according to Embodiment 2 of the present disclosure;
  • FIG. 7 is a diagram illustrating an example of a processing procedure in an image processing system according to Embodiment 2 of the present disclosure;
  • FIG. 10 is a diagram illustrating an operation example of a selection unit according to Embodiment 2 of the present disclosure
  • FIG. 11 is a diagram illustrating a configuration example of a speech processing system according to Embodiment 3 of the present disclosure
  • FIG. 11 is a diagram illustrating a configuration example of a speech learning device according to Embodiment 3 of the present disclosure
  • FIG. 11 is a diagram illustrating a configuration example of a voice processing device according to Embodiment 3 of the present disclosure
  • FIG. 13 is a diagram illustrating an example of a processing procedure in a speech processing system according to Embodiment 3 of the present disclosure
  • FIG. 13 is a diagram illustrating an example of a processing procedure in a speech processing system according to Embodiment 3 of the present disclosure
  • FIG. 13 is a diagram illustrating an example of a processing procedure in a speech processing system according to Embodiment 3 of the present disclosure
  • FIG. 10 is a diagram illustrating an operation example of a selection unit according to Embodiment
  • FIG. 13 is a diagram illustrating an example of a processing procedure in a speech processing system according to Embodiment 3 of the present disclosure
  • FIG. 11 is a diagram showing an example of quantitative evaluation according to Embodiment 3 of the present disclosure
  • FIG. 11 is a diagram illustrating a configuration example of a speech processing system according to Embodiment 4 of the present disclosure
  • FIG. 13 is a diagram illustrating a configuration example of a speech learning device according to Embodiment 4 of the present disclosure
  • FIG. 13 is a diagram illustrating an example of a processing procedure in a speech processing system according to Embodiment 4 of the present disclosure
  • FIG. 13 is a diagram illustrating an example of a processing procedure in a speech processing system according to Embodiment 4 of the present disclosure
  • FIG. 13 is a diagram illustrating an operation example of a selection unit according to Embodiment 4 of the present disclosure;
  • FIG. 1 is a diagram illustrating a configuration example of an image processing system according to Embodiment 1 of the present disclosure.
  • the image processing system 1 has an image learning device 10 and an image processing device 20 .
  • the image learning device 10 generates an image quality parameter generation model by performing machine learning using the original image and the image quality parameter group, and outputs the generated image quality parameter generation model to the image processing device 20 .
  • the image processing device 20 obtains a processed image by processing the image to be processed using the image quality parameter generation model input from the image learning device 10 .
  • FIG. 2 is a diagram illustrating a configuration example of an image learning device according to Embodiment 1 of the present disclosure.
  • the image learning device 10 includes a first processing unit 13, a first evaluation unit 14, a teacher data generation unit 15, a first storage unit 16, a first machine learning unit 17, and a second storage unit. 18 and an output unit 19 .
  • FIG. 3 is a diagram illustrating a configuration example of an image processing apparatus according to Embodiment 1 of the present disclosure.
  • the image processing device 20 has an acquisition unit 21 , a third storage unit 22 , a parameter generation unit 23 and a second processing unit 24 .
  • ⁇ Processing procedure in the image processing system> 4, 5, and 6 are diagrams illustrating an example of processing procedures in the image processing system according to the first embodiment of the present disclosure.
  • an original image is input to the first processing unit 13 and the teacher data generation unit 15, and an image quality parameter group is input to the first processing unit 13 and the teacher data generation unit 15.
  • each of the image quality parameter groups PG1 to PGN is a combination of multiple types of image quality parameters.
  • each of the image quality parameter groups PG1 to PGN includes four types of image quality parameter PA for changing brightness, image quality parameter PB for changing contrast, image quality parameter PC for changing saturation, and image quality parameter PD for changing tone. is formed by the image quality parameters of
  • the image quality parameter groups PG1 to PGN have different values for at least one of the image quality parameters PA, PB, PC, and PD. That is, the image quality parameter groups PG1 to PGN are image quality parameters having different values.
  • the first processing unit 13 processes the original image using each of the image quality parameter groups PG1 to PGN to acquire the output images OP1 to OPN having different image qualities, and first evaluates the acquired output images OP1 to OPN.
  • Output to the unit 14 The output image OP1 is an image obtained by processing the original image using the image quality parameter group PG1, the output image OP2 is an image obtained by processing the original image using the image quality parameter group PG2,
  • the output image OPN is an image obtained by processing the original image using the image quality parameter group PGN. That is, the output image OP1 corresponds to the image quality parameter group PG1, the output image OP2 corresponds to the image quality parameter group PG2, and the output image OPN corresponds to the image quality parameter group PGN.
  • Each of the output images OP1 to OPN is input to the first evaluation unit 14 .
  • the input images input to the first evaluation unit 14 are the output images OP1 to OPN.
  • the first evaluation unit 14 evaluates the image quality of each of the output images OP1 to OPN by quantitatively evaluating each of the output images OP1 to OPN.
  • the first evaluation unit 14 performs a quantitative evaluation on each of the output images OP1 to OPN based on a predetermined viewpoint of image quality.
  • the first evaluation unit 14 outputs scores SC1 to SCN, which are evaluation results of the output images OP1 to OPN, respectively, to the teacher data generation unit 15 .
  • the score SC1 indicates the score of the output image OP1
  • the score SC2 indicates the score of the output image OP2
  • the score SCN indicates the score of the output image OPN.
  • each of the output images OP1-OPN corresponds to each of the image quality parameter groups PG1-PGN
  • each of the scores SC1-SCN corresponds to each of the output images OP1-OPN. Therefore, each of the scores SC1-SCN corresponds to each of the image quality parameter groups PG1-PGN. That is, it can be said that the score SC1 is the evaluation result of the image quality parameter group PG1, the score SC2 is the evaluation result of the image quality parameter group PG2, and the score SCN is the evaluation result of the image quality parameter group PGN.
  • the training data generation unit 15 selects the score corresponding to the highest evaluation result (hereinafter sometimes referred to as "best image quality score”) from among the input scores SC1 to SCN.
  • the teacher data generator 15 selects, for example, the maximum value among the scores SC1 to SCN as the best image quality score.
  • the teacher data generation unit 15 selects an image quality parameter group (hereinafter sometimes referred to as "best image quality parameter group") corresponding to the best image quality score from the image quality parameter groups PG1 to PGN. Since the best image quality parameter group is the image quality parameter group corresponding to the best image quality score, the image quality parameter group that can obtain the highest image quality when the original image is processed, that is, the image quality parameter group that is optimal for processing the original image.
  • the training data generation unit 15 associates the original image with the best image quality parameter group, generates training data TDB including the original image and the best image quality parameter group, and stores the generated training data TDB in the first storage unit 16. Output.
  • the first storage unit 16 stores the teaching data TDB generated by the teaching data generation unit 15 .
  • FIG. 4 by sequentially inputting a plurality of M different original images to the image learning apparatus 10, a plurality of M teacher data TDBs including different original images and different best image quality parameter groups can be obtained. can be mass-produced mechanically (automatically).
  • the operator may manually adjust the values of the best image quality parameter group selected by the training data generation unit 15.
  • the training data generation unit 15 may generate the training data TDB containing the feature amount of the original image and the best image quality parameter group.
  • the feature amount of the original image include the average, variance, histogram, etc. of the pixel values of the original image.
  • the first machine learning unit 17, as shown in FIG. Generate an "image quality parameter generation model” as Deep learning such as CNN (Convolutional Neural Network), for example, is used as machine learning when generating the image quality parameter generation model. Since each of the teacher data TDB1 to TDB3 includes the original image and the best image quality parameter group for the original image, the image quality parameter generation model generated by the first machine learning unit 17 is input with the image to be processed. In this case, it becomes a trained model that outputs an optimal image quality parameter group for processing the image to be processed (hereinafter sometimes referred to as "optimal image quality parameter group").
  • optimal image quality parameter group an optimal image quality parameter group for processing the image to be processed
  • the first machine learning unit 17 outputs the image quality parameter generation model generated as shown in FIG. Store the generative model.
  • the output unit 19 acquires the image quality parameter generation model stored in the second storage unit 18 and outputs the acquired image quality parameter generation model to the image processing device 20 .
  • the output of the image quality parameter generation model from the image learning device 10 to the image processing device 20 is performed, for example, according to an operator's instruction to the image learning device 10 .
  • the acquisition unit 21 acquires the image quality parameter generation model output from the image learning device 10 and outputs the acquired image quality parameter generation model to the third storage unit 22 .
  • Acquisition of the image quality parameter generation model from the image learning device 10 in the image processing device 20 is performed according to an operator's instruction to the image processing device 20, for example.
  • the third storage unit 22 stores the image quality parameter generation model acquired by the acquisition unit 21 .
  • the image to be processed is input to the parameter generation unit 23 and the second processing unit 24 .
  • the parameter generation unit 23 that has received the image to be processed uses the image quality parameter generation model stored in the third storage unit 22 to generate an optimum image quality parameter group (that is, the image to be processed is processed A group of image quality parameters that can obtain the highest image quality when the image quality is obtained), and outputs the generated optimal image quality parameter group to the second processing unit 24 .
  • the second processing unit 24 acquires a processed image by processing the image to be processed using the optimum image quality parameter group, and outputs the acquired processed image. Since the image quality parameter group used when the image to be processed is processed in the second processing unit 24 is the optimum image quality parameter group, the processed image can obtain the highest image quality.
  • ⁇ Quantitative evaluation> 7 and 8 are diagrams showing an example of quantitative evaluation according to Embodiment 1 of the present disclosure.
  • the quantitative evaluation of image quality performed by the first evaluation unit 14 will be described below with reference to two evaluation examples, image quality evaluation example 1 and image quality evaluation example 2.
  • FIG. 1 A schematic diagram showing an example of quantitative evaluation according to Embodiment 1 of the present disclosure.
  • Image quality evaluation example 1 is based on a predetermined viewpoint (hereinafter sometimes referred to as a “first viewpoint”) that “a processed image having the highest image quality is an image with no bias in luminance distribution.” This is an evaluation example.
  • the first evaluation unit 14 generates histograms (hereinafter sometimes referred to as "luminance histograms") obtained by dividing the luminance into 256 levels for each of the output images OP1 to OPN.
  • the brightness histogram represents the distribution of brightness in each of the output images OP1 to OPN.
  • the first evaluation unit 14 determines the number of pixels included in each of the 256 regions (hereinafter sometimes referred to as "luminance bin”) in the luminance histogram (hereinafter sometimes referred to as "bin pixel number”) are counted per luminance bin for each of the 256 luminance bins.
  • the first evaluation unit 14 calculates, for each luminance bin, the occupancy ratio of the number of bin pixels to the total number of pixels included in one output image (hereinafter sometimes referred to as “pixel occupancy ratio”).
  • the first evaluation unit 14 counts the number of luminance bins whose pixel occupancy is equal to or greater than the threshold TH1 (hereinafter, may be referred to as "high occupancy bin number").
  • the first evaluation unit 14 counts the high occupancy bin numbers for each of the output images OP1 to OPN.
  • the first evaluation unit 14 sets the high occupancy bin numbers of each of the output images OP1 to OPN as scores SC1 to SCN of each of the output images OP1 to OPN.
  • the maximum value of the high occupancy bin number is "256".
  • the score for the output image becomes a large value.
  • the score for the output image will be a small value of “10”.
  • Image quality evaluation example 2 is based on a predetermined viewpoint (hereinafter sometimes referred to as a “second viewpoint”) that “a processed image having the highest image quality is an image having optimum brightness.” This is an evaluation example.
  • the original image is also input to the first evaluation unit 14 (not shown).
  • the first evaluation unit 14 calculates the average luminance value of all pixels included in one original image (hereinafter sometimes referred to as “original image average luminance”).
  • a brightness table 141 as shown in FIG. 8 is preset in the first evaluation unit 14 .
  • a plurality of ranges of original image average brightness and the optimum average brightness of all pixels included in one image (hereinafter sometimes referred to as "optimal average brightness”) are associated with each other. is set.
  • the brightness table 141 is created by a skilled technician with a detailed eye for analysis.
  • the first evaluation unit 14 refers to the brightness table 141 based on the average brightness of the original image, and acquires from the brightness table 141 the optimum average brightness corresponding to the average brightness of the original image. For example, when the original image average brightness is "35", the first evaluation unit 14 acquires "19" from the brightness table 141 as the optimum average brightness.
  • the first evaluation unit 14 calculates the average luminance value of all pixels included in one output image (hereinafter sometimes referred to as “output image average luminance”). .
  • the first evaluation unit 14 calculates the absolute values of the differences between the optimum average luminance and the output image average luminance as scores SC1 to SCN according to Equation (1). Therefore, in image quality evaluation example 2, an output image with a smaller score value is an image that is more in line with the second viewpoint.
  • Score abs (optimal average luminance - output image average luminance) (1)
  • the first embodiment has been described above.
  • FIG. 9 is a diagram illustrating a configuration example of an image processing system according to Embodiment 2 of the present disclosure.
  • the image processing system 2 has an image learning device 30 and an image processing device 20 .
  • the image learning device 30 generates an image quality parameter generation model by performing machine learning using the teacher data, the original image, and the image quality parameter group, and outputs the generated image quality parameter generation model to the image processing device 20 .
  • FIG. 10 is a diagram illustrating a configuration example of an image learning device according to Embodiment 2 of the present disclosure.
  • the image learning device 30 includes a first processing unit 13, a first evaluation unit 14, a first storage unit 16, a first machine learning unit 17, a second storage unit 18, and an output unit 19.
  • the image learning device 30 also has a second machine learning unit 31 , a fourth storage unit 32 , a second evaluation unit 33 , a selection unit 34 and a teacher data generation unit 35 .
  • ⁇ Processing procedure in the image processing system> 11 and 12 are diagrams illustrating an example of a processing procedure in an image processing system according to Embodiment 2 of the present disclosure.
  • a human evaluator evaluates the evaluation target image while visually comparing the reference image and the evaluation target image.
  • the evaluator manually adjusts the image quality parameters and applies the various manually adjusted image quality parameters to the reference image.
  • an image to be evaluated which is a processed image, is obtained.
  • FIG. 11 shows, as an example, a case where evaluation target images ET01 to ET13 are obtained as a result of processing a reference image using image quality parameters with mutually different values.
  • the evaluator visually determines that the image quality of all the obtained images to be evaluated changes gradually by adjusting the image quality parameters and has the highest image quality. Assume that the score of the image to be evaluated is "0.5". Also, the evaluator assigns a score of "1.0" to the image to be evaluated that is visually determined to have the greatest degree of change from the reference image due to excessive adjustment of the image quality parameter. In this way, the evaluator evaluates each evaluation target image by scoring each evaluation target image based on the evaluator's subjectivity. As a result, for example, as shown in FIG.
  • a score of “0.36” is given to the image ET04, “0.18” to the image to be evaluated ET05, “0.12” to the image to be evaluated ET06, and “0.66” to the image to be evaluated ET07. be done. Further, for example, as shown in FIG. 11, “0.50” for the evaluation target image ET08, “0.90” for the evaluation target image ET09, “0.25” for the evaluation target image ET10, and “0.25” for the evaluation target image ET11 is assigned a score of "0.78", the evaluation target image ET12 is assigned a score of "0.41", and the evaluation target image ET13 is assigned a score of "0.72". In other words, in the example shown in FIG.
  • the evaluation target image ET08 is subjectively determined to have the highest image quality by the evaluator's visual observation. ⁇ ET01 ⁇ ET10 ⁇ ET05 ⁇ ET06. Also, evaluation target images ET07, ET13, ET11, ET03, ET09, and ET02 with scores greater than 0.5 are judged to have undergone excessive image quality adjustment.
  • the evaluator associates the reference image, the evaluation target image, and the score with each other, and generates teacher data TDA including the reference image, the evaluation target image, and the score. Therefore, for example, the teacher data TDA01 includes the reference image, the evaluation target image ET01, and the score "0.31" of the evaluation target image ET01 in association with each other, and the teacher data TDA02 includes the reference image and , the evaluation target image ET02 and the score "0.99" of the evaluation target image ET02 are included in association with each other. The score "0.84" is included in association with each other.
  • the teacher data TDA04 to TDA13 also include the reference image, the evaluation target images ET04 to ET13, and the scores of the evaluation target images ET04 to ET13 in association with each other.
  • the second machine learning unit 31 generates an "image quality evaluation model" by performing machine learning using a plurality of teacher data TDA.
  • deep learning such as CNN is used as machine learning for generating the image quality evaluation model.
  • the second machine learning unit 31 outputs the image quality evaluation model generated as shown in FIG. memorize
  • the original image is input to the first processing unit 13, the teacher data generation unit 35, and the second evaluation unit 33, and the image quality parameter group is subjected to the first processing. It is input to the unit 13 and the teacher data generation unit 35 .
  • the selection unit 34 is an evaluation unit that evaluates the image quality of each of the output images OP1 to OPN from among the first evaluation unit 14 and the second evaluation unit 33 (hereinafter sometimes referred to as an “image quality evaluation execution unit”). is selected for each output image.
  • image quality evaluation execution unit When the selection unit 34 selects the first evaluation unit 14 as the image quality evaluation execution unit, the selection unit 34 outputs to the first evaluation unit 14 the output image for which the first evaluation unit 14 evaluates the image quality among the output images OP1 to OPN. do.
  • the selection unit 34 selects the second evaluation unit 33 as the image quality evaluation execution unit
  • the output image selected by the second evaluation unit 33 from among the output images OP1 to OPN is selected by the second evaluation unit for image quality evaluation.
  • the input image input to the first evaluation unit 14 is the output image selected by the selection unit 34 from among the output images OP1 to OPN (hereinafter sometimes referred to as "selected image")
  • the second evaluation unit The input images input to 33 are the original image and the selected image.
  • the first evaluation unit 14 evaluates the image quality of each selected image by quantitatively evaluating each selected image in the same manner as in the first embodiment. As in the first embodiment, the first evaluation unit 14 performs quantitative evaluation on each selected image based on a predetermined viewpoint of image quality.
  • the second evaluation unit 33 uses the image quality evaluation model stored in the fourth storage unit 32 to evaluate each selected image.
  • the evaluation of the selected image by the second evaluation unit 33 is performed in the same manner as the evaluation by the evaluator of the evaluation target images ET01 to ET13 as described above.
  • the evaluator evaluated the evaluation target images ET01 to ET13 relative to the reference image and gave scores to each of the evaluation target images ET01 to ET13.
  • Each of the evaluation target images ET01 to ET13 was an image processed by applying different image quality parameters to the same reference image.
  • an image quality evaluation model is generated using teacher data TDA that includes the reference image, the evaluation target image, and the score of the evaluation target image in association with each other.
  • the original image and the selected image are input to the second evaluation unit 33, and the second evaluation unit 33 evaluates the selected image using an image quality evaluation model based on the original image and the selected image, Score the selected images. That is, the original image corresponds to the reference image in FIG.
  • the second evaluation unit 33 evaluates the selected image using the image quality evaluation model generated by the second machine learning unit 31, similarly to when the evaluator evaluates each of the evaluation target images ET01 to ET13.
  • a rating of the selected image can be made on the scale of .
  • the second evaluation unit 33 outputs the score, which is the evaluation result of the selected image, to the teacher data generation unit 35.
  • the original image, the image quality parameter group PG1 to PGN, and the score of the selected image (hereinafter sometimes referred to as "selected image score") are input to the teacher data generation unit 35.
  • the selected image score is input to the teacher data generation unit 35 from either the first evaluation unit 14 or the second evaluation unit 33 selected by the selection unit 34 .
  • the total number of selected image scores is the output The number of images is N, which is the same as the total number of images.
  • the N selected image scores may be denoted as SSC1 to SSCN.
  • the training data generation unit 35 selects the best image quality score from among the input selected image scores SSC1 to SSCN.
  • the teacher data generator 35 selects, for example, the maximum value among the scores SSC1 to SSCN as the best image quality score.
  • the teacher data generator 35 selects the best image quality parameter group from the image quality parameter groups PG1 to PGN.
  • the training data generation unit 35 associates the original image with the best image quality parameter group, generates training data TDB including the original image and the best image quality parameter group, and stores the generated training data TDB in the first storage unit 16.
  • the first storage unit 16 stores the teaching data TDB generated by the teaching data generation unit 35 .
  • ⁇ Operation of selection part> 13 is a diagram illustrating an operation example of a selection unit according to the second embodiment of the present disclosure.
  • the selection unit 34 generates a luminance histogram for each of the output images OP1 to OPN.
  • the selection unit 34 counts the number of bin pixels for each luminance bin for each of the 256 luminance bins.
  • the selection unit 34 determines the bin with the maximum number of bin pixels (hereinafter sometimes referred to as “peak pixel number bin”) among the 256 luminance bins.
  • the selection unit 34 determines the luminance corresponding to the pixel count peak bin (hereinafter sometimes referred to as “peak luminance”) among the 256 levels of luminance.
  • the selector 34 compares the peak luminance with the threshold TH2.
  • the threshold TH2 is, for example, "128", which is the median value of 256 levels of brightness.
  • the output image When the peak luminance is equal to or higher than the threshold TH2, the output image is bright and the correct answer rate in the second evaluation unit 33 tends to be high. select. On the other hand, when the peak luminance is less than the threshold TH2, the output image is dark and the correct answer rate in the second evaluation unit 33 tends to be low. to select.
  • Embodiment 3 In Embodiment 3, the technology of the present disclosure will be described by citing audio data as an example of multimedia data.
  • FIG. 14 is a diagram illustrating a configuration example of a speech processing system according to Embodiment 3 of the present disclosure.
  • the speech processing system 3 has a speech learning device 50 and a speech processing device 40 .
  • Speech learning device 50 generates a sound quality parameter generation model by performing machine learning using the original speech and the sound quality parameter group, and outputs the generated sound quality parameter generation model to speech processing device 40 .
  • the speech processing device 40 acquires processed speech by processing the speech to be processed using the sound quality parameter generation model input from the speech learning device 50 .
  • FIG. 15 is a diagram illustrating a configuration example of a speech learning device according to Embodiment 3 of the present disclosure.
  • the speech learning device 50 includes a first processing unit 53, a first evaluation unit 54, a teacher data generation unit 55, a first storage unit 56, a first machine learning unit 57, and a second storage unit. 58 and an output unit 59 .
  • FIG. 16 is a diagram illustrating a configuration example of a voice processing device according to Embodiment 3 of the present disclosure.
  • the voice processing device 40 has an acquisition unit 41 , a third storage unit 42 , a parameter generation unit 43 and a second processing unit 44 .
  • ⁇ Processing procedure in the audio processing system> 17, 18, and 19 are diagrams illustrating an example of a processing procedure in a speech processing system according to Embodiment 3 of the present disclosure.
  • the original speech is input to the first processing unit 53 and the teacher data generation unit 55
  • the sound quality parameter group is input to the first processing unit 53 and the teacher data generation unit 55.
  • each of the sound quality parameter groups APG1 to APGN is a combination of multiple types of sound quality parameters.
  • each of the sound quality parameter groups APG1 to APGN includes a sound quality parameter APA that changes the frequency characteristic, a sound quality parameter APB that changes the distortion factor, a sound quality parameter APC that changes the SN ratio, and a sound quality parameter APD that changes the dynamic range. It is formed by four types of sound quality parameters.
  • the value of at least one of the sound quality parameters APA, APB, APC, and APD differs from each other between the sound quality parameter groups APG1 to APGN. That is, the sound quality parameter groups APG1 to APGN are sound quality parameters having different values.
  • the first processing unit 53 acquires output voices AOP1 to AOPN having different voice qualities by processing the original voice using each of the sound quality parameter groups APG1 to APGN, and first evaluates the acquired output voices AOP1 to AOPN. Output to unit 54 .
  • the output voice AOP1 is the voice obtained by processing the original voice using the quality parameter group APG1
  • the output voice AOP2 is the voice obtained by processing the original voice using the quality parameter group APG2
  • the output speech AOPN is speech obtained by processing the original speech using the quality parameter group APGN. That is, the output audio AOP1 corresponds to the sound quality parameter group APG1, the output audio AOP2 corresponds to the sound quality parameter group APG2, and the output audio AOPN corresponds to the sound quality parameter group APGN.
  • Each of the output voices AOP1 to AOPN is input to the first evaluation unit 54.
  • the input voices input to the first evaluation unit 54 are the output voices AOP1 to AOPN.
  • the first evaluation unit 54 evaluates the sound quality of each of the output sounds AOP1 to AOPN by quantitatively evaluating each of the output sounds AOP1 to AOPN.
  • the first evaluation unit 54 performs a quantitative evaluation on each of the output voices AOP1 to AOPN based on a predetermined viewpoint of sound quality.
  • the first evaluation unit 54 outputs scores ASC1 to ASCN, which are the evaluation results of the output voices AOP1 to AOPN, respectively, to the teacher data generation unit 55.
  • the score ASC1 indicates the score of the output speech AOP1
  • the score ASC2 indicates the score of the output speech AOP2
  • the score ASCN indicates the score of the output speech AOPN.
  • the teacher data generation unit 55 receives the original speech, the sound quality parameter groups APG1 to APGN, and the scores ASC1 to ASCN.
  • each of the output voices AOP1-AOPN corresponds to each of the sound quality parameter groups APG1-APGN
  • each of the scores ASC1-ASCN corresponds to each of the output voices AOP1-AOPN. Therefore, each of the scores ASC1-ASCN corresponds to each of the sound quality parameter groups APG1-APGN. That is, it can be said that the score ASC1 is the evaluation result of the sound quality parameter group APG1, the score ASC2 is the evaluation result of the sound quality parameter group APG2, and the score ASCN is the evaluation result of the sound quality parameter group APGN.
  • the training data generation unit 55 selects the score corresponding to the highest evaluation result (hereinafter sometimes referred to as "best sound quality score") from among the input scores ASC1 to ASCN.
  • the teacher data generator 55 selects, for example, the maximum value among the scores ASC1 to ASCN as the best sound quality score.
  • the training data generator 55 selects a sound quality parameter group (hereinafter sometimes referred to as a "best sound quality parameter group") corresponding to the best sound quality score from the sound quality parameter groups APG1 to APGN. Since the best sound quality parameter group is the sound quality parameter group corresponding to the best sound quality score, the sound quality parameter group that can obtain the highest sound quality when the original voice is processed, that is, the sound quality parameter group that is optimal for processing the original voice.
  • the training data generation unit 55 associates the original speech and the best sound quality parameter group with each other, generates training data TDD including the original speech and the best sound quality parameter group, and stores the generated training data TDD in the first storage unit 56. Output.
  • the first storage unit 56 stores the teaching data TDD generated by the teaching data generation unit 55 .
  • the operator may manually adjust the values of the best sound quality parameter group selected by the training data generation unit 55.
  • the teacher data generation unit 55 may generate the teacher data TDD containing the feature amount of the original voice and the best sound quality parameter group.
  • the feature quantity of the original speech include the sound pressure of the original speech, fundamental frequency, formant frequency, MFCC (Mel-Frequency Cepstral Coefficient), and the like.
  • the first machine learning unit 57 performs machine learning using a plurality of teacher data TDD including teacher data TDD1 to TDD3 stored in the first storage unit 56, thereby obtaining a learned model.
  • Generate a "sound quality parameter generation model" as Deep learning such as CNN (Convolutional Neural Network) and RNN (Recurrent Neural Network) is used as machine learning for generating the sound quality parameter generation model.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • the first machine learning unit 57 outputs the sound quality parameter generation model generated as shown in FIG. Store the generative model.
  • the output unit 59 acquires the sound quality parameter generation model stored in the second storage unit 58 and outputs the acquired sound quality parameter generation model to the voice processing device 40 .
  • the output of the sound quality parameter generation model from the speech learning device 50 to the speech processing device 40 is performed according to an operator's instruction to the speech learning device 50, for example.
  • the acquisition unit 41 acquires the sound quality parameter generation model output from the speech learning device 50 and outputs the acquired sound quality parameter generation model to the third storage unit 42 .
  • Acquisition of the sound quality parameter generation model from the speech learning device 50 in the speech processing device 40 is performed, for example, according to an operator's instruction to the speech processing device 40 .
  • the third storage unit 42 stores the sound quality parameter generation model acquired by the acquisition unit 41 .
  • the speech to be processed is input to the parameter generation unit 43 and the second processing unit 44.
  • the parameter generation unit 43 which receives the voice to be processed as input, uses the sound quality parameter generation model stored in the third storage unit 42, as shown in FIG. A sound quality parameter group that can obtain the highest sound quality when the sound quality is obtained), and outputs the generated optimum sound quality parameter group to the second processing unit 44 .
  • the second processing unit 44 acquires processed voice by processing the voice to be processed using the optimum sound quality parameter group, and outputs the acquired processed voice. Since the sound quality parameter group used when the sound to be processed is processed in the second processing unit 44 is the optimum sound quality parameter group, the processed sound can obtain the highest sound quality.
  • FIG. 20 is a diagram illustrating an example of quantitative evaluation according to Embodiment 3 of the present disclosure.
  • the quantitative evaluation of the sound quality performed by the first evaluation unit 54 is based on, for example, a predetermined viewpoint (hereinafter referred to as a “third viewpoint”) that “processed sound having the highest sound quality is sound that is not offensive to the ears.” It is an evaluation based on
  • the first evaluation unit 54 performs a Fourier transform on each of the output sounds AOP1 to AOPN to obtain a histogram indicating amplitude values for each frequency band (hereinafter referred to as a "frequency histogram") for each of the output sounds AOP1 to AOPN. (sometimes called).
  • the frequency histogram indicates frequency characteristics of each of the output audios AOP1-AOPN.
  • the first evaluation unit 54 compares the amplitude value of each region (hereinafter sometimes referred to as “frequency bin”) in the frequency histogram with the threshold TH3, and the frequency bin ( The number of high-amplitude bins (hereinafter sometimes referred to as “high-amplitude bins”) is counted.
  • the third embodiment has been described above.
  • FIG. 21 is a diagram illustrating a configuration example of a speech processing system according to Embodiment 4 of the present disclosure.
  • the speech processing system 4 has a speech learning device 70 and a speech processing device 40 .
  • Speech learning device 70 generates a sound quality parameter generation model by performing machine learning using teacher data, original speech, and a sound quality parameter group, and outputs the generated sound quality parameter generation model to speech processing device 40 .
  • FIG. 22 is a diagram illustrating a configuration example of a speech learning device according to Embodiment 4 of the present disclosure.
  • the speech learning device 70 includes a first processing unit 53, a first evaluation unit 54, a first storage unit 56, a first machine learning unit 57, a second storage unit 58, and an output unit 59.
  • the speech learning device 70 also has a second machine learning section 71 , a fourth storage section 72 , a second evaluation section 73 , a selection section 74 and a teacher data generation section 75 .
  • ⁇ Processing procedure in the audio processing system> 23 and 24 are diagrams illustrating an example of a processing procedure in a speech processing system according to Embodiment 4 of the present disclosure.
  • a human evaluator evaluates the evaluation target speech while actually listening to and comparing the reference speech and the evaluation target speech.
  • the evaluator manually adjusts the sound quality parameters and applies the various manually adjusted sound quality parameters to the reference speech.
  • the speech to be evaluated which is the post-processing speech, is obtained.
  • FIG. 23 shows, as an example, a case where evaluation target speeches AET01 to AET13 are obtained as a result of processing a reference speech with sound quality parameters having mutually different values.
  • the evaluator sets the score of the reference speech to "0"
  • the sound quality of all the evaluation target speech obtained is gradually changed by adjusting the sound quality parameters, and is judged to have the highest sound quality.
  • the score of the evaluation target speech is "0.5”.
  • the evaluator assigns a score of "1.0" to the evaluation target voice judged to have the greatest degree of change from the reference voice due to excessive adjustment of the sound quality parameter.
  • the evaluator evaluates each evaluation target speech by scoring each evaluation target speech based on the evaluator's subjectivity. As a result, for example, as shown in FIG.
  • a score of "0.36" is given to the speech AET04, "0.18” to the evaluation speech AET05, “0.12” to the evaluation speech AET06, and "0.66” to the evaluation speech AET07. be done. Also, for example, as shown in FIG. is given a score of "0.78", the evaluation target speech AET12 is given a score of "0.41", and the evaluation target speech AET13 is given a score of "0.72". In other words, in the example shown in FIG. 23, while the evaluator subjectively determined that the evaluation target speech AET08 has the highest sound quality, the sound quality of the evaluation target speech AET08 is set to the highest sound quality. ⁇ AET10 ⁇ AET05 ⁇ AET06. In addition, it is determined that excessive sound quality adjustment is performed for the evaluation target speeches AET07, AET13, AET11, AET03, AET09, and AET02 with scores greater than 0.5.
  • the evaluator associates the reference speech, the speech to be evaluated, and the score with each other, and generates teacher data TDC including the reference speech, the speech to be evaluated, and the score. Therefore, for example, the teacher data TDC01 includes the reference speech, the evaluation target speech AET01, and the score "0.31" of the evaluation target speech AET01 in association with each other, and the teacher data TDC02 includes the reference speech and , the evaluation target speech AET02 and the score "0.99" of the evaluation target speech AET02 are included in association with each other. The score "0.84" is included in association with each other.
  • the teacher data TDC04 to TDC13 also include the reference speech, each of the evaluation target speeches AET04 to AET13, and the score of each of the evaluation target speeches AET04 to AET13 in association with each other.
  • the second machine learning unit 71 generates a "sound quality evaluation model" by performing machine learning using a plurality of teacher data TDC.
  • deep learning such as CNN and RNN is used as machine learning for generating the sound quality evaluation model.
  • the second machine learning unit 71 outputs the sound quality evaluation model generated as shown in FIG. memorize
  • the original speech is input to the first processing unit 53, the teaching data generation unit 75, and the second evaluation unit 73, and the sound quality parameter group is subjected to the first processing. It is input to the unit 53 and the teacher data generation unit 75 .
  • the output sounds AOP1 to AOPN output from the first processing unit 53 are input to the selection unit 74.
  • the selection unit 74 is selected from the first evaluation unit 54 and the second evaluation unit 73 and evaluates the sound quality of each of the output audios AOP1 to AOPN (hereinafter sometimes referred to as a "sound quality evaluation execution unit"). for each output audio.
  • the selection unit 74 selects the first evaluation unit 54 as the sound quality evaluation execution unit, the selection unit 74 outputs to the first evaluation unit 54 the output sound that causes the first evaluation unit 54 to evaluate the sound quality of the output sounds AOP1 to AOPN. do.
  • the selection unit 74 selects the second evaluation unit 73 as the sound quality evaluation execution unit, the selection unit 74 selects the output sound from among the output sounds AOP1 to AOPN for the second evaluation unit 73 to evaluate the sound quality. 73. That is, the input voice input to the first evaluation unit 54 is the output voice selected by the selection unit 74 from among the output voices AOP1 to AOPN (hereinafter sometimes referred to as "selected voice"), and the second evaluation unit The input voices input to 73 are the original voice and the selected voice.
  • the first evaluation unit 54 evaluates the sound quality of each selected voice by quantitatively evaluating each selected voice in the same manner as in the third embodiment. As in the third embodiment, the first evaluation unit 54 performs quantitative evaluation on each selected voice based on a predetermined viewpoint of sound quality.
  • the second evaluation unit 73 uses the sound quality evaluation model stored in the fourth storage unit 72 to evaluate each selected voice.
  • the evaluation of the selected speech by the second evaluation unit 73 is performed in the same manner as the evaluation by the evaluator of the evaluation target speeches AET01 to AET13 as described above.
  • the evaluator evaluated the evaluation target speeches AET01 to AET13 relative to the reference speech and scored each of the evaluation target speeches AET01 to AET13. Moreover, each of the evaluation target speeches AET01 to AET13 was speech processed by applying different sound quality parameters to the same reference speech. Then, the second machine learning unit 71 generates a sound quality evaluation model using teacher data TDC that includes the reference speech, the evaluation target speech, and the score of the evaluation target speech in association with each other.
  • the original speech and the selected speech are input to the second evaluation unit 73, and the second evaluation unit 73 evaluates the selected speech using the sound quality evaluation model based on the original speech and the selected speech, Score selected voices.
  • the second evaluation unit 73 evaluates the selected speech using the sound quality evaluation model generated by the second machine learning unit 71, similarly to when the evaluator evaluates each of the evaluation target speeches AET01 to AET13.
  • the evaluation of selected speech can be made on the scale of .
  • the second evaluation unit 73 outputs the score, which is the evaluation result of the selected voice, to the teacher data generation unit 75.
  • the teacher data generation unit 75 is input with the original voice, the sound quality parameter groups APG1 to APGN, and the score of the selected voice (hereinafter sometimes referred to as "selected voice score").
  • the selected speech score is input to the teacher data generation unit 75 from either the first evaluation unit 54 or the second evaluation unit 73 selected by the selection unit 74 .
  • each of the output voices AOP1 to AOPN is sorted by the selection unit 74 to either the first evaluation unit 54 or the second evaluation unit 73, so the total number of selected voice scores is N, which is the same as the total number of voices.
  • the N selected speech scores may be denoted as ASSC1 to ASSCN.
  • the teacher data generation unit 75 selects the best sound quality score from among the input selected speech scores ASSC1 to ASSCN.
  • the teacher data generator 75 selects, for example, the maximum value among the scores ASSC1 to ASSCN as the best sound quality score.
  • the teacher data generator 75 selects the best sound quality parameter group from the sound quality parameter groups APG1 to APGN.
  • the training data generation unit 75 associates the original speech and the best sound quality parameter group with each other, generates training data TDD including the original speech and the best sound quality parameter group, and stores the generated training data TDD in the first storage unit 56.
  • the first storage unit 56 stores teacher data TDD generated by the teacher data generator 75 .
  • ⁇ Operation of selection unit> 25 is a diagram illustrating an operation example of a selection unit according to Embodiment 4 of the present disclosure.
  • the selection unit 74 generates a frequency histogram for each of the output sounds AOP1 to AOPN by Fourier transforming each of the output sounds AOP1 to AOPN.
  • the selector 74 determines the bin having the maximum amplitude value (hereinafter sometimes referred to as "amplitude peak bin") among the plurality of frequency bins.
  • the selector 74 determines the frequency (hereinafter sometimes referred to as "peak frequency") to which the amplitude peak bin corresponds.
  • peak frequency hereinafter sometimes referred to as "peak frequency”
  • the selection unit 74 selects the second evaluation unit 73 as the sound quality evaluation execution unit. do.
  • the peak frequency is less than 1 kHz, the output voice is unclear and the correct answer rate in the second evaluation unit 73 tends to be low. to select.
  • the fourth embodiment has been described above.
  • the first storage units 16 and 56, the second storage units 18 and 58, the third storage units 22 and 42, and the fourth storage units 32 and 72 are implemented as hardware by storage media such as memory and storage. be done.
  • SDRAM Serial Dynamic Random Access Memory
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory and the like.
  • a storage that realizes the first storage units 16 and 56, the second storage units 18 and 58, the third storage units 22 and 42, and the fourth storage units 32 and 72, a HDD (Hard Disk Drive), An SSD (Solid State Drive) and the like are included.
  • a HDD Hard Disk Drive
  • An SSD Solid State Drive
  • First processing units 13, 53, first evaluation units 14, 54, teacher data generation units 15, 35, 55, 75, first machine learning units 17, 57, parameter generation units 23, 43, second processing unit 24, 44, the second machine learning units 31 and 71, the second evaluation units 33 and 73, and the selection units 34 and 74 are implemented as hardware by, for example, a processor.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • NPU Neural-network Processing Unit
  • DSP Digital Signal Processor
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the output units 19 and 59 and the acquisition units 21 and 41 are implemented as hardware, for example, by wired network interface modules or wireless communication modules.
  • the image learning devices 10 and 30 and the speech learning devices 50 and 70 are implemented as computers such as personal computers and servers, for example.
  • the image processing device 20 and the audio processing device 40 are implemented as mobile terminals such as smartphones and tablet terminals, for example.
  • the learning device of the present disclosure includes the first evaluation unit (the first evaluation units 14 and 54 of the embodiment) and the generation unit (the It has teacher data generation units 15 and 55) and a first learning unit (first machine learning units 17 and 57 of the embodiment).
  • the first evaluation unit obtains a plurality of first evaluation results for each of the plurality of multimedia data by quantitatively evaluating the plurality of multimedia data.
  • the generator selects a second parameter from a plurality of first parameters having different values based on the plurality of first evaluation results, and generates first teacher data including the selected second parameter.
  • the first learning unit performs the first machine learning using the first teacher data to generate the first learned model (image quality parameter generation in the embodiment) that outputs the third parameter used for processing the multimedia data to be processed. model, sound quality parameter generation model).
  • the multimedia data is image data
  • the first evaluation unit performs quantitative evaluation based on the luminance distribution of the image data.
  • the multimedia data is image data
  • the first evaluation unit performs quantitative evaluation based on the average brightness of the image data.
  • the multimedia data is audio data
  • the first evaluation unit performs quantitative evaluation based on the frequency characteristics of the audio data.
  • the data processing device of the present disclosure includes a generation unit (parameter generation units 23 and 43 of the embodiment) and a processing unit (second processing unit of the embodiment 24, 44).
  • the generating unit generates a third Generate parameters.
  • the processing unit processes the multimedia data to be processed using the generated third parameter.
  • the learning device of the present disclosure includes a second learning unit (second machine learning units 31 and 71 of the embodiment) and a second evaluation unit ( Second evaluation units 33, 73) and selection units (selection units 34, 74 in the embodiment) are further provided.
  • the second learning unit outputs a third evaluation result for the input multimedia data by performing second machine learning using second teacher data including the second evaluation result for the multimedia data to be evaluated.
  • Models image quality evaluation model and sound quality evaluation model of the embodiment
  • a second evaluation unit obtains a plurality of third evaluation results for each of the plurality of multimedia data using the second trained model.
  • the selection unit selects an evaluation execution unit that evaluates a plurality of pieces of multimedia data from among the first evaluation unit and the second evaluation unit.
  • the generation unit generates a plurality of A second parameter is selected from among the first parameters of , and first teacher data including the selected second parameter is generated.
  • the multimedia data is image data
  • the selection unit selects the evaluation execution unit based on the luminance distribution of the image data.
  • the multimedia data is audio data
  • the selection unit selects the evaluation execution unit based on the frequency characteristics of the audio data.
  • the optimum evaluation execution unit is selected according to the multimedia data, so the quality of the multimedia data can be further improved.
  • each processing in the above description in the image processing systems 1 and 2 and the sound processing systems 3 and 4 may be performed by the image processing systems 1 and 2 and the sound processing systems 3 and 4. It may also be realized by causing a processor having the For example, a program corresponding to each process described above may be stored in a memory, and the program may be read from the memory and executed by a processor. Further, the program is stored in a program server connected to the image processing systems 1, 2 and the sound processing systems 3, 4 via an arbitrary network, and is transmitted from the program server to the image processing systems 1, 2, the sound processing system 3, 4. 4, or stored in a recording medium readable by the image processing systems 1 and 2 and the audio processing systems 3 and 4, and read from the recording medium and executed.
  • Examples of recording media readable by the image processing systems 1 and 2 and the audio processing systems 3 and 4 include memory cards, USB memories, SD cards, flexible disks, magneto-optical disks, CD-ROMs, DVDs, and Blu-ray discs.
  • Portable storage media such as ray (registered trademark) disks are included.
  • a program is a data processing method written in an arbitrary language and an arbitrary description method, and may be in any format such as source code or binary code. In addition, the program is not necessarily configured in a single unit, but may be distributed as multiple modules or multiple libraries, or cooperate with a separate program represented by the OS to achieve its function. Including things.
  • the specific form of dispersion/integration of the image processing systems 1 and 2 and the sound processing systems 3 and 4 is not limited to the illustrated one, and all or part of the image processing systems 1 and 2 and the sound processing systems 3 and 4 are , according to various additions, etc., or according to functional loads, functionally or physically distributed and integrated in arbitrary units.
  • the image processing device and the audio processing device excluding the acquisition units 21 and 41, the third storage units 22 and 42, and the parameter generation units 23 and 43 transmit the processing target image and the processing target voice through wireless communication or the like.
  • the network server that receives the image to be processed and the audio to be processed generates an optimal image quality parameter group and an optimal sound quality parameter group, and transmits the generated optimal image quality parameter group and optimal sound quality parameter group to the image processing device and audio using wireless communication. Send to processing equipment.
  • the image processing device and the audio processing device that have received the optimal image quality parameter group and the optimal sound quality parameter group process the processing target image and the processing target sound using the optimal image quality parameter group and the optimal sound quality parameter group received from the network server. Acquire a processed image and processed audio, and output the acquired processed image and processed audio.
  • the above processing is repeated each time an image to be processed or a sound to be processed is input to the image processing device or the sound processing device. Therefore, in this case, the network server having the acquisition units 21 and 41, the third storage units 22 and 42, and the parameter generation units 23 and 43 functions as a parameter generation device that generates the optimal image quality parameter group and the optimal sound quality parameter group. do.
  • a configuration may be adopted in which the image processing device 20 and the audio processing device 40 shown in FIGS. 3 and 16 are provided in a network server.
  • a communication terminal having a display or a speaker transmits the image to be processed and the sound to be processed to the network server using wireless communication or the like.
  • the network server that receives the image to be processed and the audio to be processed generates an optimal image quality parameter group and an optimal sound quality parameter group, and processes the image to be processed and the audio to be processed using the generated optimal image quality parameter group and optimal sound quality parameter group.
  • the processed image and processed sound are acquired, and the acquired processed image and processed sound are transmitted to the communication terminal using wireless communication or the like.
  • the communication terminal that has received the processed image and the processed sound displays the received processed image on the display and outputs the received processed sound from the speaker. The above processing is repeated each time an image to be processed or a processed voice is input to the communication terminal.
  • a first evaluation unit that obtains a plurality of first evaluation results for each of the plurality of multimedia data by performing a quantitative evaluation on the plurality of multimedia data based on a predetermined viewpoint; a generation unit that selects a second parameter from among a plurality of first parameters having mutually different values based on the plurality of first evaluation results, and generates first teacher data including the selected second parameter; a first learning unit that generates a first trained model that outputs a third parameter used for processing multimedia data to be processed by performing first machine learning using the first teacher data;
  • a learning device comprising: (2) the multimedia data is image data; The first evaluation unit performs the quantitative evaluation based on the luminance distribution of the image data.
  • the multimedia data is image data; The first evaluation unit performs the quantitative evaluation based on the average brightness of the image data.
  • the multimedia data is audio data, The first evaluation unit performs the quantitative evaluation based on the frequency characteristics of the audio data.
  • the multimedia data is image data;
  • the selection unit selects the evaluation execution unit based on the luminance distribution of the image data.
  • the multimedia data is audio data,
  • the selection unit selects the evaluation execution unit based on frequency characteristics of the audio data.
  • an evaluation unit that obtains a plurality of evaluation results for each of the plurality of multimedia data by performing a quantitative evaluation on the plurality of multimedia data based on a predetermined viewpoint; a generation unit that selects a second parameter from among a plurality of first parameters having mutually different values based on the plurality of evaluation results, and generates teacher data including the selected second parameter; a learning unit that generates a trained model that outputs a third parameter used for processing multimedia data to be processed by performing machine learning using the teacher data; a generator that generates the third parameter using the trained model generated by a learning device comprising a processing unit that processes the multimedia data to be processed using the generated third parameter;
  • a data processing device comprising: (9) an evaluation unit that obtains a plurality of evaluation results for each of the plurality of multimedia data by performing a quantitative evaluation on the plurality of multimedia data based on a predetermined viewpoint; a generation unit that selects a second parameter from among a plurality of first parameters having mutually different values based on the plurality of evaluation results,
  • an evaluation unit that obtains a plurality of evaluation results for each of the plurality of multimedia data by performing a quantitative evaluation on the plurality of multimedia data based on a predetermined viewpoint; a generation unit that selects a second parameter from among a plurality of first parameters having mutually different values based on the plurality of evaluation results, and generates teacher data including the selected second parameter; a learning unit that generates a trained model that outputs a third parameter used for processing multimedia data to be processed by performing machine learning using the teacher data; generating the third parameter using the trained model generated by a learning device comprising processing the multimedia data to be processed using the generated third parameter; data processing method.
  • an evaluation unit that obtains a plurality of evaluation results for each of the plurality of multimedia data by performing a quantitative evaluation on the plurality of multimedia data based on a predetermined viewpoint; a generation unit that selects a second parameter from among a plurality of first parameters having mutually different values based on the plurality of evaluation results, and generates teacher data including the selected second parameter; a learning unit that generates a trained model that outputs a third parameter used for processing multimedia data to be processed by performing machine learning using the teacher data; obtaining from the learning device the trained model generated by the learning device comprising generating the third parameter using the acquired learned model; Parameter generation method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

学習装置（１０）において、第一評価部（１４）は、複数の画像データに対する定量的評価を行うことによって、複数の画像データのそれぞれに対する複数の第一評価結果を取得し、教師データ生成部（１５）は、複数の第一評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した第二パラメータを含む第一教師データを生成し、第一機械学習部（１７）は、第一教師データを用いる機械学習を行うことによって、加工対象の画像データの加工に用いられる第三パラメータを出力する学習済モデルを生成する。

Description

学習装置、データ加工装置、パラメータ生成装置、学習方法、データ加工方法及びパラメータ生成方法
　本開示は、学習装置、データ加工装置、パラメータ生成装置、学習方法、データ加工方法及びパラメータ生成方法に関する。
　明るさ、コントラスト、彩度、トーン、精細度等を要素とする「画質」を向上させるために、画質を変化させるパラメータ（以下では「画質パラメータ」と呼ぶことがある）を用いて画像を加工することが行われている。
　従来、画像の加工に用いられる画質パラメータの調整は、詳細な分析眼を有する熟練技術者によって行われている。熟練技術者は、様々に変化させた画質パラメータにより画質がどのように変化するのかを観察することにより、画像の加工に用いる最適な画質パラメータを決定している。
特開２０１５－０８８８０５号公報 国際公開第２０２０／２６１５０３号
　画質パラメータとして、明るさ、コントラスト、彩度、トーン、精細度等を変化させる種々の画質パラメータが存在する。例えば、画質パラメータとして２８種類の画質パラメータが存在し、かつ、２８種類の画質パラメータのそれぞれの値について２５５段階の調整が可能な場合、画質パラメータの組合せの総数は「2.4×1067組」と膨大な数になってしまう。このような膨大な数の画質パラメータの組合せの中から最適なものを人間の目視により決定することは、たとえ熟練技術者であっても困難である。
　また、画像毎に最適な画質パラメータはそれぞれ異なるため、ある画像に対して最適な画質パラメータが他の画像に対しても最適であるとは限らない。このため、複数の画像に対して一つの画質パラメータを固定的に適用したのでは、満足のいく画質が得られないことがある。
　また、動画の各フレームの画像についても、静止画像と同様に、画像毎に最適な画質パラメータはそれぞれ異なる。さらに、音声についても、「音質」を向上させるために、音質を変化させるパラメータ（以下では「音質パラメータ」と呼ぶことがある）を用いて音声を加工することが行われている。コンピュータによって扱うことが可能なマルチメディアデータは、画像データ、動画データ、及び、音声データに大別される。以下では、画質パラメータ及び音質パラメータを「品質パラメータ」と呼ぶことがある。
　そこで、本開示では、好適な品質パラメータの決定にかかる労力を軽減した上でマルチメディアデータの品質を向上させることができる技術を提案する。
　本開示の学習装置は、評価部と、生成部と、学習部とを有する。前記評価部は、複数のマルチメディアデータに対する定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得する。生成部は、前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む教師データを生成する。学習部は、前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する。
本開示の実施形態１に係る画像処理システムの構成例を示す図である。 本開示の実施形態１に係る画像学習装置の構成例を示す図である。 本開示の実施形態１に係る画像加工装置の構成例を示す図である。 本開示の実施形態１に係る画像処理システムにおける処理手順の一例を示す図である。 本開示の実施形態１に係る画像処理システムにおける処理手順の一例を示す図である。 本開示の実施形態１に係る画像処理システムにおける処理手順の一例を示す図である。 本開示の実施形態１に係る定量的評価の一例を示す図である。 本開示の実施形態１に係る定量的評価の一例を示す図である。 本開示の実施形態２に係る画像処理システムの構成例を示す図である。 本開示の実施形態２に係る画像学習装置の構成例を示す図である。 本開示の実施形態２に係る画像処理システムにおける処理手順の一例を示す図である。 本開示の実施形態２に係る画像処理システムにおける処理手順の一例を示す図である。 本開示の実施形態２に係る選択部の動作例を示す図である。 本開示の実施形態３に係る音声処理システムの構成例を示す図である。 本開示の実施形態３に係る音声学習装置の構成例を示す図である。 本開示の実施形態３に係る音声加工装置の構成例を示す図である。 本開示の実施形態３に係る音声処理システムにおける処理手順の一例を示す図である。 本開示の実施形態３に係る音声処理システムにおける処理手順の一例を示す図である。 本開示の実施形態３に係る音声処理システムにおける処理手順の一例を示す図である。 本開示の実施形態３に係る定量的評価の一例を示す図である。 本開示の実施形態４に係る音声処理システムの構成例を示す図である。 本開示の実施形態４に係る音声学習装置の構成例を示す図である。 本開示の実施形態４に係る音声処理システムにおける処理手順の一例を示す図である。 本開示の実施形態４に係る音声処理システムにおける処理手順の一例を示す図である。 本開示の実施形態４に係る選択部の動作例を示す図である。
　以下に、本開示の実施形態について図面に基づいて説明する。なお、以下の実施形態において、同一の部位または同一の処理には同一の符号を付することにより重複する説明を省略することがある。
　また、以下に示す項目順序に従って本開示を説明する。
　［実施形態１］
　　＜画像処理システムの構成＞
　　＜画像学習装置の構成＞
　　＜画像加工装置の構成＞
　　＜画像処理システムにおける処理手順＞
　　＜定量的評価＞
　　　＜画質評価例１＞
　　　＜画質評価例２＞
　［実施形態２］
　　＜画像処理システムの構成＞
　　＜画像学習装置の構成＞
　　＜画像処理システムにおける処理手順＞
　　＜選択部の動作＞
　［実施形態３］
　　＜音声処理システムの構成＞
　　＜音声学習装置の構成＞
　　＜音声加工装置の構成＞
　　＜音声処理システムにおける処理手順＞
　　＜定量的評価＞
　［実施形態４］
　　＜音声処理システムの構成＞
　　＜音声学習装置の構成＞
　　＜音声処理システムにおける処理手順＞
　　＜選択部の動作＞
　［実施形態５］
　　＜ハードウェア構成＞
　［開示の技術の効果］
　［実施形態１］
　実施形態１では、マルチメディアデータの一例として画像データを挙げて本開示の技術について説明する。また、実施形態１は、動画データを構成する各フレームの画像データにも適用可能である。
　＜画像処理システムの構成＞
　図１は、本開示の実施形態１に係る画像処理システムの構成例を示す図である。図１において、画像処理システム１は、画像学習装置１０と、画像加工装置２０とを有する。画像学習装置１０は、元画像と、画質パラメータ群とを用いて機械学習を行うことにより画質パラメータ生成モデルを生成し、生成した画質パラメータ生成モデルを画像加工装置２０へ出力する。画像加工装置２０は、画像学習装置１０から入力される画質パラメータ生成モデルを用いて加工対象画像を加工することにより加工済画像を取得する。
　＜画像学習装置の構成＞
　図２は、本開示の実施形態１に係る画像学習装置の構成例を示す図である。図２において、画像学習装置１０は、第一加工部１３と、第一評価部１４と、教師データ生成部１５と、第一記憶部１６と、第一機械学習部１７と、第二記憶部１８と、出力部１９とを有する。
　＜画像加工装置の構成＞
　図３は、本開示の実施形態１に係る画像加工装置の構成例を示す図である。図３において、画像加工装置２０は、取得部２１と、第三記憶部２２と、パラメータ生成部２３と、第二加工部２４とを有する。
　＜画像処理システムにおける処理手順＞
　図４、図５及び図６は、本開示の実施形態１に係る画像処理システムにおける処理手順の一例を示す図である。
　まず、元画像が第一加工部１３及び教師データ生成部１５に入力されるとともに、画質パラメータ群が第一加工部１３及び教師データ生成部１５に入力される。
　ここで、図４に示すように、第一加工部１３には、元画像と、例えば画質パラメータ群ＰＧ１～ＰＧＮのＮ組の画質パラメータ群とが入力される。画質パラメータ群ＰＧ１～ＰＧＮの各々は、複数の種類の画質パラメータの組合せである。例えば、画質パラメータ群ＰＧ１～ＰＧＮの各々は、明るさを変化させる画質パラメータＰＡ、コントラストを変化させる画質パラメータＰＢ、彩度を変化させる画質パラメータＰＣ、及び、トーンを変化させる画質パラメータＰＤの４種類の画質パラメータにより形成される。また、画質パラメータ群ＰＧ１～ＰＧＮの間では、画質パラメータＰＡ，ＰＢ，ＰＣ，ＰＤの少なくとも一つの値が互いに異なっている。つまり、画質パラメータ群ＰＧ１～ＰＧＮは、互いに異なる値を有する画質パラメータである。第一加工部１３は、画質パラメータ群ＰＧ１～ＰＧＮの各々を用いて元画像を加工することにより、互いに画質が異なる出力画像ＯＰ１～ＯＰＮを取得し、取得した出力画像ＯＰ１～ＯＰＮを第一評価部１４へ出力する。出力画像ＯＰ１は画質パラメータ群ＰＧ１を用いて元画像を加工することにより得られた画像であり、出力画像ＯＰ２は画質パラメータ群ＰＧ２を用いて元画像を加工することにより得られた画像であり、出力画像ＯＰＮは画質パラメータ群ＰＧＮを用いて元画像を加工することにより得られた画像である。つまり、出力画像ＯＰ１は画質パラメータ群ＰＧ１に、出力画像ＯＰ２は画質パラメータ群ＰＧ２に、出力画像ＯＰＮは画質パラメータ群ＰＧＮにそれぞれ対応する。
　第一評価部１４には出力画像ＯＰ１～ＯＰＮの各々が入力される。つまり、第一評価部１４へ入力される入力画像は出力画像ＯＰ１～ＯＰＮとなる。第一評価部１４は、出力画像ＯＰ１～ＯＰＮの各々に対して定量的評価を行うことにより、出力画像ＯＰ１～ＯＰＮの各々の画質を評価する。第一評価部１４は、画質に対する所定の観点に基づいた定量的評価を出力画像ＯＰ１～ＯＰＮの各々に対して行う。そして、第一評価部１４は、出力画像ＯＰ１～ＯＰＮのそれぞれの評価結果であるスコアＳＣ１～ＳＣＮを教師データ生成部１５へ出力する。スコアＳＣ１は出力画像ＯＰ１の、スコアＳＣ２は出力画像ＯＰ２の、スコアＳＣＮは出力画像ＯＰＮの各スコアを示す。
　教師データ生成部１５には、元画像と、画質パラメータ群ＰＧ１～ＰＧＮと、スコアＳＣ１～ＳＣＮとが入力される。上記のように、出力画像ＯＰ１～ＯＰＮの各々は画質パラメータ群ＰＧ１～ＰＧＮの各々に対応し、スコアＳＣ１～ＳＣＮの各々は出力画像ＯＰ１～ＯＰＮの各々に対応する。よって、スコアＳＣ１～ＳＣＮの各々は画質パラメータ群ＰＧ１～ＰＧＮの各々に対応する。つまり、スコアＳＣ１は画質パラメータ群ＰＧ１の評価結果、スコアＳＣ２は画質パラメータ群ＰＧ２の評価結果、スコアＳＣＮは画質パラメータ群ＰＧＮの評価結果であると言える。
　そこで、教師データ生成部１５は、入力されたスコアＳＣ１～ＳＣＮの中から、最高の評価結果に相当するスコア（以下では「ベスト画質スコア」と呼ぶことがある）を選択する。教師データ生成部１５は、例えば、スコアＳＣ１～ＳＣＮの中の最大値をベスト画質スコアとして選択する。次いで、教師データ生成部１５は、画質パラメータ群ＰＧ１～ＰＧＮの中から、ベスト画質スコアに対応する画質パラメータ群（以下では「ベスト画質パラメータ群」と呼ぶことがある）を選択する。ベスト画質パラメータ群はベスト画質スコアに対応する画質パラメータ群であるため、元画像が加工された際に最高の画質を得ることができる画質パラメータ群、つまり、元画像の加工に最適な画質パラメータ群であると言える。そして、教師データ生成部１５は、元画像とベスト画質パラメータ群とを互いに対応付け、元画像及びベスト画質パラメータ群を含む教師データＴＤＢを生成し、生成した教師データＴＤＢを第一記憶部１６へ出力する。第一記憶部１６は、教師データ生成部１５で生成された教師データＴＤＢを記憶する。
　よって、図４において、互いに異なるＭ個の複数の元画像を画像学習装置１０に順次入力するだけで、互いに異なる元画像と、互いに異なるベスト画質パラメータ群とを含むＭ個の複数の教師データＴＤＢを機械的に（自動的に）量産することができる。
　なお、教師データ生成部１５により選択されたベスト画質パラメータ群の値をオペレータが手動により調整しても良い。
　また、教師データ生成部１５は、元画像とベスト画質パラメータ群と含む教師データＴＤＢを生成することに替えて、元画像の特徴量とベスト画質パラメータ群と含む教師データＴＤＢを生成しても良い。元画像の特徴量の一例として、元画像の画素値の平均、分散、ヒストグラム等が挙げられる。
　第一機械学習部１７は、図５に示すように、第一記憶部１６に記憶されている教師データＴＤＢ１～ＴＤＢ３を含む複数の教師データＴＤＢを用いた機械学習を行うことにより、学習済モデルとしての「画質パラメータ生成モデル」を生成する。画質パラメータ生成モデルを生成する際の機械学習として、例えば、ＣＮＮ（Convolutional　Neural　Network）等の深層学習が用いられる。教師データＴＤＢ１～ＴＤＢ３の各々には、元画像と、その元画像に対するベスト画質パラメータ群とが含まれるため、第一機械学習部１７により生成される画質パラメータ生成モデルは、加工対象画像が入力された場合に、加工対象画像の加工に最適な画質パラメータ群（以下では「最適画質パラメータ群」と呼ぶことがある）を出力する学習済モデルとなる。
　第一機械学習部１７は、図５に示すようにして生成した画質パラメータ生成モデルを第二記憶部１８へ出力し、第二記憶部１８は、第一機械学習部１７で生成された画質パラメータ生成モデルを記憶する。
　出力部１９は、第二記憶部１８に記憶されている画質パラメータ生成モデルを取得し、取得した画質パラメータ生成モデルを画像加工装置２０へ出力する。画像学習装置１０から画像加工装置２０への画質パラメータ生成モデルの出力は、例えば、画像学習装置１０に対するオペレータの指示に従って行われる。
　画像加工装置２０において、取得部２１は、画像学習装置１０から出力された画質パラメータ生成モデルを取得し、取得した画質パラメータ生成モデルを第三記憶部２２へ出力する。画像加工装置２０での画像学習装置１０からの画質パラメータ生成モデルの取得は、例えば、画像加工装置２０に対するオペレータの指示に従って行われる。
　第三記憶部２２は、取得部２１によって取得された画質パラメータ生成モデルを記憶する。
　また、加工対象画像がパラメータ生成部２３及び第二加工部２４に入力される。
　加工対象画像を入力されたパラメータ生成部２３は、図６に示すように、第三記憶部２２に記憶されている画質パラメータ生成モデルを用いて、最適画質パラメータ群（つまり、加工対象画像が加工された際に最高の画質を得ることができる画質パラメータ群）を生成し、生成した最適画質パラメータ群を第二加工部２４へ出力する。
　そして、図６に示すように、第二加工部２４は、最適画質パラメータ群を用いて加工対象画像を加工することにより加工済画像を取得し、取得した加工済画像を出力する。第二加工部２４において加工対象画像が加工される際に用いられる画質パラメータ群は最適画質パラメータ群であるため、加工済画像は最高の画質を得ることができる。
　＜定量的評価＞
　図７及び図８は、本開示の実施形態１に係る定量的評価の一例を示す図である。以下、第一評価部１４によって行われる画質の定量的評価について、画質評価例１と画質評価例２の二つの評価例を挙げて説明する。
　＜画質評価例１（図７）＞
　画質評価例１は、「最高の画質を有する加工済画像とは、輝度分布に偏りがない画像である。」という所定の観点（以下では「第一観点」と呼ぶことがある）に基づいた評価例である。
　図７に示すように、第一評価部１４は、出力画像ＯＰ１～ＯＰＮの各々について、輝度を２５６段階に分割したヒストグラム（以下では「輝度ヒストグラム」と呼ぶことがある）を生成する。輝度ヒストグラムは、出力画像ＯＰ１～ＯＰＮの各々における輝度の分布を表す。次いで、第一評価部１４は、輝度ヒストグラムにおける２５６個の各々の領域（以下では「輝度ｂｉｎ」と呼ぶことがある）に含まれる画素数（以下では「ｂｉｎ画素数」と呼ぶことがある）を、２５６個の各輝度ｂｉｎについて輝度ｂｉｎ毎に数える。次いで、第一評価部１４は、輝度ｂｉｎ毎に、一つの出力画像に含まれる全画素数に対するｂｉｎ画素数の占有率（以下では「画素占有率」と呼ぶことがある）を算出する。次いで、第一評価部１４は、画素占有率が閾値ＴＨ１以上である輝度ｂｉｎの数（以下では「高占有率ｂｉｎ数」と呼ぶことがある）を集計する。第一評価部１４は、出力画像ＯＰ１～ＯＰＮの各々について高占有率ｂｉｎ数を集計する。そして、第一評価部１４は、出力画像ＯＰ１～ＯＰＮの各々の高占有率ｂｉｎ数を、出力画像ＯＰ１～ＯＰＮの各々のスコアＳＣ１～ＳＣＮとする。高占有率ｂｉｎ数の最大値は「２５６」である。
　第一観点に基づいた評価によれば、例えば、すべての輝度ｂｉｎに満遍なく画素が分布している場合には、高占有率ｂｉｎ数が多くなるため、出力画像に対するスコアは大きい値になる。逆に、一つの出力画像に含まれる全画素数のほぼすべてが、輝度ヒストグラムの中央部分の１０個の輝度ｂｉｎに集中している場合には、出力画像に対するスコアは「１０」という小さい値になる。
　＜画質評価例２（図８）＞
　画質評価例２は、「最高の画質を有する加工済画像とは、最適な明るさを有する画像である。」という所定の観点（以下では「第二観点」と呼ぶことがある）に基づいた評価例である。
　画質評価例２では、元画像が第一評価部１４にも入力される（図示省略）。第一評価部１４は、一つの元画像に含まれる全画素の輝度の平均値（以下では「元画像平均輝度」と呼ぶことがある）を算出する。また、第一評価部１４には、図８に示すような輝度テーブル１４１が予め設定されている。輝度テーブル１４１には、元画像平均輝度の複数の範囲と、一つの画像に含まれる全画素の輝度の最適な平均値（以下では「最適平均輝度」と呼ぶことがある）とが互いに対応付けて設定されている。輝度テーブル１４１は、詳細な分析眼を有する熟練技術者によって作成される。そこで、第一評価部１４は、元画像平均輝度に基づいて輝度テーブル１４１を参照し、元画像平均輝度に対応する最適平均輝度を輝度テーブル１４１から取得する。例えば元画像平均輝度が「３５」であるときは、第一評価部１４は、最適平均輝度として「１９」を輝度テーブル１４１から取得する。次いで、第一評価部１４は、出力画像ＯＰ１～ＯＰＮの各々について、一つの出力画像に含まれる全画素の輝度の平均値（以下では「出力画像平均輝度」と呼ぶことがある）を算出する。そして、第一評価部１４は、出力画像ＯＰ１～ＯＰＮの各々について、式（１）に従って、最適平均輝度と出力画像平均輝度との差分の絶対値をスコアＳＣ１～ＳＣＮとして算出する。よって、画質評価例２では、スコアの値がより小さい出力画像ほど、より第二観点に沿った画像となる。
　スコア＝ａｂｓ（最適平均輝度－出力画像平均輝度）　…（１）
　以上、実施形態１について説明した。
　［実施形態２］
　実施形態２では、実施形態１と同様、マルチメディアデータの一例として画像データを挙げて本開示の技術について説明する。また、実施形態２は、実施形態１と同様、動画データを構成する各フレームの画像データにも適用可能である。以下、実施形態１と異なる点について説明する。
　＜画像処理システムの構成＞
　図９は、本開示の実施形態２に係る画像処理システムの構成例を示す図である。図２において、画像処理システム２は、画像学習装置３０と、画像加工装置２０とを有する。画像学習装置３０は、教師データと、元画像と、画質パラメータ群とを用いて機械学習を行うことにより画質パラメータ生成モデルを生成し、生成した画質パラメータ生成モデルを画像加工装置２０へ出力する。
　＜画像学習装置の構成＞
　図１０は、本開示の実施形態２に係る画像学習装置の構成例を示す図である。図１０において、画像学習装置３０は、第一加工部１３と、第一評価部１４と、第一記憶部１６と、第一機械学習部１７と、第二記憶部１８と、出力部１９とを有する。また、画像学習装置３０は、第二機械学習部３１と、第四記憶部３２と、第二評価部３３と、選択部３４と、教師データ生成部３５とを有する。
　＜画像処理システムにおける処理手順＞
　図１１及び図１２は、本開示の実施形態２に係る画像処理システムにおける処理手順の一例を示す図である。
　画像処理システム２において画像学習装置３０が処理を行う前に、図１１に示すように、人間の評価者が、基準画像と評価対象画像とを目視で見比べながら評価対象画像を評価する。
　まず、評価者は、画質パラメータを手動で調整し、手動で調整した様々な画質パラメータを基準画像に適用する。手動で調整された様々な画質パラメータを用いて基準画像が加工されることにより、加工後の画像である評価対象画像が得られる。図１１には、一例として、互いに異なる値の画質パラメータにより基準画像が加工された結果、評価対象画像ＥＴ０１～ＥＴ１３が得られた場合を示す。
　そして、評価者は、基準画像のスコアを「０」とする一方で、得られたすべての評価対象画像において、画質パラメータの調整により画質が徐々に変化して最高の画質を有すると目視により判断される評価対象画像のスコアを「０.５」とする。また、評価者は、画質パラメータの過剰な調整により、基準画像に対して最も変化の度合が大きいと目視により判断される評価対象画像のスコアを「１.０」とする。このようにして、評価者は、評価者の主観によって各評価対象画像にスコアを付けることにより各評価対象画像を評価する。その結果、例えば、図１１に示すように、評価対象画像ＥＴ０１には「０.３１」、評価対象画像ＥＴ０２には「０.９９」、評価対象画像ＥＴ０３には「０.８４」、評価対象画像ＥＴ０４には「０.３６」、評価対象画像ＥＴ０５には「０.１８」、評価対象画像ＥＴ０６には「０.１２」、評価対象画像ＥＴ０７には「０.６６」の各スコアが付けられる。また例えば、図１１に示すように、評価対象画像ＥＴ０８には「０.５０」、評価対象画像ＥＴ０９には「０.９０」、評価対象画像ＥＴ１０には「０.２５」、評価対象画像ＥＴ１１には「０.７８」、評価対象画像ＥＴ１２には「０.４１」、評価対象画像ＥＴ１３には「０.７２」の各スコアが付けられる。つまり、図１１に示す例では、評価者の目視による主観によって、評価対象画像ＥＴ０８が最高の画質を有すると判断された一方で、評価対象画像ＥＴ０８の画質を最高画質として、ＥＴ０８→ＥＴ１２→ＥＴ０４→ＥＴ０１→ＥＴ１０→ＥＴ０５→ＥＴ０６の順に評価対象画像の画質が徐々に低下すると判断されている。また、スコアが０.５より大きい評価対象画像ＥＴ０７，ＥＴ１３，ＥＴ１１，ＥＴ０３，ＥＴ０９，ＥＴ０２については、過剰な画質調整が行われていると判断されている。
　次いで、評価者は、基準画像と評価対象画像とスコアとを互いに対応付け、基準画像、評価対象画像及びスコアを含む教師データＴＤＡを生成する。よって例えば、教師データＴＤＡ０１には、基準画像と、評価対象画像ＥＴ０１と、評価対象画像ＥＴ０１のスコアである「０.３１」とが互いに対応付けて含まれ、教師データＴＤＡ０２には、基準画像と、評価対象画像ＥＴ０２と、評価対象画像ＥＴ０２のスコアである「０.９９」とが互いに対応付けて含まれ、教師データＴＤＡ０３には、基準画像と、評価対象画像ＥＴ０３と、評価対象画像ＥＴ０３のスコアである「０.８４」とが互いに対応付けて含まれる。同様に、教師データＴＤＡ０４～ＴＤＡ１３にも、基準画像と、評価対象画像ＥＴ０４～ＥＴ１３の各々と、評価対象画像ＥＴ０４～ＥＴ１３の各々のスコアとが互いに対応付けられて含まれる。
　そして、このようにして生成された複数の教師データＴＤＡが、第二機械学習部３１（図１０）に入力される。第二機械学習部３１は、図１２に示すように、複数の教師データＴＤＡを用いた機械学習を行うことにより「画質評価モデル」を生成する。画質評価モデルを生成する際の機械学習として、例えば、ＣＮＮ等の深層学習が用いられる。
　第二機械学習部３１は、図１２に示すようにして生成した画質評価モデルを第四記憶部３２へ出力し、第四記憶部３２は、第二機械学習部３１で生成された画質評価モデルを記憶する。
　第四記憶部３２への画質評価モデルの記憶が完了した後、元画像が第一加工部１３、教師データ生成部３５及び第二評価部３３に入力されるとともに、画質パラメータ群が第一加工部１３及び教師データ生成部３５に入力される。
　また、第一加工部１３から出力された出力画像ＯＰ１～ＯＰＮが選択部３４に入力される。選択部３４は、第一評価部１４及び第二評価部３３の中から、出力画像ＯＰ１～ＯＰＮの各々の画質の評価を行う評価部（以下では「画質評価実行部」と呼ぶことがある）を出力画像毎に選択する。選択部３４は、画質評価実行部として第一評価部１４を選択したときは、出力画像ＯＰ１～ＯＰＮのうち第一評価部１４に画質の評価を行わせる出力画像を第一評価部１４へ出力する。一方で、選択部３４は、画質評価実行部として第二評価部３３を選択したときは、出力画像ＯＰ１～ＯＰＮのうち第二評価部３３に画質の評価を行わせる出力画像を第二評価部３３へ出力する。つまり、第一評価部１４へ入力される入力画像は、出力画像ＯＰ１～ＯＰＮのうち選択部３４によって選択された出力画像（以下では「選択画像」と呼ぶことがある）となり、第二評価部３３へ入力される入力画像は、元画像及び選択画像となる。
　第一評価部１４は、実施形態１と同様にして各選択画像に対して定量的評価を行うことにより、各選択画像の画質を評価する。第一評価部１４は、実施形態１と同様に、画質に対する所定の観点に基づいた定量的評価を各選択画像に対して行う。
　一方で、第二評価部３３は、第四記憶部３２に記憶されている画質評価モデルを用いて各選択画像を評価する。選択画像に対する第二評価部３３での評価は、上述したような、評価対象画像ＥＴ０１～ＥＴ１３に対する評価者による評価と同様にして行われる。
　すなわち、上記のように、評価者は、基準画像に対する評価対象画像ＥＴ０１～ＥＴ１３の相対的な評価を行って評価対象画像ＥＴ０１～ＥＴ１３の各々にスコアを付けた。また、評価対象画像ＥＴ０１～ＥＴ１３の各々は同一の基準画像に対して互いに異なる画質パラメータが適用されることにより加工された画像であった。そして、第二機械学習部３１では、基準画像と、評価対象画像と、評価対象画像のスコアとが互いに対応付けられて含まれる教師データＴＤＡを用いて画質評価モデルが生成された。これに対し、第二評価部３３には元画像と選択画像とが入力され、第二評価部３３は、元画像と選択画像とに基づいて画質評価モデルを用いて選択画像を評価して、選択画像にスコアを付ける。つまり、元画像は図１１における基準画像に相当し、選択画像は図１１における評価対象画像ＥＴ０１～ＥＴ１３に相当する。よって、第二評価部３３は、第二機械学習部３１によって生成された画質評価モデルを用いて選択画像を評価することにより、評価者が評価対象画像ＥＴ０１～ＥＴ１３の各々を評価したときと同様の尺度で選択画像の評価を行うことができる。
　第二評価部３３は、選択画像の評価結果であるスコアを教師データ生成部３５へ出力する。
　教師データ生成部３５には、元画像と、画質パラメータ群ＰＧ１～ＰＧＮと、選択画像のスコア（以下では「選択画像スコア」と呼ぶことがある）とが入力される。選択画像スコアは、選択部３４によって選択された第一評価部１４または第二評価部３３の何れかから教師データ生成部３５に入力される。上記のように、出力画像ＯＰ１～ＯＰＮの各々は、選択部３４によって、第一評価部１４と第二評価部３３との何れか一方に振り分けられるため、選択画像スコアの個数の合計は、出力画像の個数の合計と同一のＮ個となる。以下ではＮ個の選択画像スコアをＳＳＣ１～ＳＳＣＮと表記することがある。
　教師データ生成部３５は、入力された選択画像スコアＳＳＣ１～ＳＳＣＮの中から、ベスト画質スコアを選択する。教師データ生成部３５は、例えば、スコアＳＳＣ１～ＳＳＣＮの中の最大値をベスト画質スコアとして選択する。次いで、教師データ生成部３５は、画質パラメータ群ＰＧ１～ＰＧＮの中からベスト画質パラメータ群を選択する。そして、教師データ生成部３５は、元画像とベスト画質パラメータ群とを互いに対応付け、元画像及びベスト画質パラメータ群を含む教師データＴＤＢを生成し、生成した教師データＴＤＢを第一記憶部１６へ出力する。第一記憶部１６は、教師データ生成部３５で生成された教師データＴＤＢを記憶する。
　＜選択部の動作＞
　図１３は、本開示の実施形態２に係る選択部の動作例を示す図である。
　図１３に示すように、選択部３４は、出力画像ＯＰ１～ＯＰＮの各々について輝度ヒストグラムを生成する。次いで、選択部３４は、２５６個の各輝度ｂｉｎについて輝度ｂｉｎ毎にｂｉｎ画素数を数える。次いで、選択部３４は、２５６個の輝度ｂｉｎの中で、ｂｉｎ画素数が最大のｂｉｎ（以下では「画素数ピークｂｉｎ」と呼ぶことがある）を判定する。次いで、選択部３４は、２５６段階の輝度のうち画素数ピークｂｉｎが該当する輝度（以下では「ピーク輝度」と呼ぶことがある）を判定する。次いで、選択部３４は、ピーク輝度と閾値ＴＨ２とを比較する。閾値ＴＨ２は、例えば、２５６段階の輝度の中央値である「１２８」である。そして、選択部３４は、ピーク輝度が閾値ＴＨ２以上であるときは、出力画像が明るくて第二評価部３３での正答率が高い傾向にあるため、画質評価実行部として第二評価部３３を選択する。一方で、ピーク輝度が閾値ＴＨ２未満であるときは、出力画像が暗くて第二評価部３３での正答率が低い傾向にあるため、選択部３４は、画質評価実行部として第一評価部１４を選択する。
　以上、実施形態２について説明した。
　［実施形態３］
　実施形態３では、マルチメディアデータの一例として音声データを挙げて本開示の技術について説明する。
　＜音声処理システムの構成＞
　図１４は、本開示の実施形態３に係る音声処理システムの構成例を示す図である。図１４において、音声処理システム３は、音声学習装置５０と、音声加工装置４０とを有する。音声学習装置５０は、元音声と、音質パラメータ群とを用いて機械学習を行うことにより音質パラメータ生成モデルを生成し、生成した音質パラメータ生成モデルを音声加工装置４０へ出力する。音声加工装置４０は、音声学習装置５０から入力される音質パラメータ生成モデルを用いて加工対象音声を加工することにより加工済音声を取得する。
　＜音声学習装置の構成＞
　図１５は、本開示の実施形態３に係る音声学習装置の構成例を示す図である。図１５において、音声学習装置５０は、第一加工部５３と、第一評価部５４と、教師データ生成部５５と、第一記憶部５６と、第一機械学習部５７と、第二記憶部５８と、出力部５９とを有する。
　＜音声加工装置の構成＞
　図１６は、本開示の実施形態３に係る音声加工装置の構成例を示す図である。図１６において、音声加工装置４０は、取得部４１と、第三記憶部４２と、パラメータ生成部４３と、第二加工部４４とを有する。
　＜音声処理システムにおける処理手順＞
　図１７、図１８及び図１９は、本開示の実施形態３に係る音声処理システムにおける処理手順の一例を示す図である。
　まず、元音声が第一加工部５３及び教師データ生成部５５に入力されるとともに、音質パラメータ群が第一加工部５３及び教師データ生成部５５に入力される。
　ここで、図１７に示すように、第一加工部５３には、元音声と、例えば音質パラメータ群ＡＰＧ１～ＡＰＧＮのＮ組の音質パラメータ群とが入力される。音質パラメータ群ＡＰＧ１～ＡＰＧＮの各々は、複数の種類の音質パラメータの組合せである。例えば、音質パラメータ群ＡＰＧ１～ＡＰＧＮの各々は、周波数特性を変化させる音質パラメータＡＰＡ、歪率を変化させる音質パラメータＡＰＢ、ＳＮ比を変化させる音質パラメータＡＰＣ、及び、ダイナミックレンジを変化させる音質パラメータＡＰＤの４種類の音質パラメータにより形成される。また、音質パラメータ群ＡＰＧ１～ＡＰＧＮの間では、音質パラメータＡＰＡ，ＡＰＢ，ＡＰＣ，ＡＰＤの少なくとも一つの値が互いに異なっている。つまり、音質パラメータ群ＡＰＧ１～ＡＰＧＮは、互いに異なる値を有する音質パラメータである。第一加工部５３は、音質パラメータ群ＡＰＧ１～ＡＰＧＮの各々を用いて元音声を加工することにより、互いに音質が異なる出力音声ＡＯＰ１～ＡＯＰＮを取得し、取得した出力音声ＡＯＰ１～ＡＯＰＮを第一評価部５４へ出力する。出力音声ＡＯＰ１は音質パラメータ群ＡＰＧ１を用いて元音声を加工することにより得られた音声であり、出力音声ＡＯＰ２は音質パラメータ群ＡＰＧ２を用いて元音声を加工することにより得られた音声であり、出力音声ＡＯＰＮは音質パラメータ群ＡＰＧＮを用いて元音声を加工することにより得られた音声である。つまり、出力音声ＡＯＰ１は音質パラメータ群ＡＰＧ１に、出力音声ＡＯＰ２は音質パラメータ群ＡＰＧ２に、出力音声ＡＯＰＮは音質パラメータ群ＡＰＧＮにそれぞれ対応する。
　第一評価部５４には出力音声ＡＯＰ１～ＡＯＰＮの各々が入力される。つまり、第一評価部５４へ入力される入力音声は出力音声ＡＯＰ１～ＡＯＰＮとなる。第一評価部５４は、出力音声ＡＯＰ１～ＡＯＰＮの各々に対して定量的評価を行うことにより、出力音声ＡＯＰ１～ＡＯＰＮの各々の音質を評価する。第一評価部５４は、音質に対する所定の観点に基づいた定量的評価を出力音声ＡＯＰ１～ＡＯＰＮの各々に対して行う。そして、第一評価部５４は、出力音声ＡＯＰ１～ＡＯＰＮのそれぞれの評価結果であるスコアＡＳＣ１～ＡＳＣＮを教師データ生成部５５へ出力する。スコアＡＳＣ１は出力音声ＡＯＰ１の、スコアＡＳＣ２は出力音声ＡＯＰ２の、スコアＡＳＣＮは出力音声ＡＯＰＮの各スコアを示す。
　教師データ生成部５５には、元音声と、音質パラメータ群ＡＰＧ１～ＡＰＧＮと、スコアＡＳＣ１～ＡＳＣＮとが入力される。上記のように、出力音声ＡＯＰ１～ＡＯＰＮの各々は音質パラメータ群ＡＰＧ１～ＡＰＧＮの各々に対応し、スコアＡＳＣ１～ＡＳＣＮの各々は出力音声ＡＯＰ１～ＡＯＰＮの各々に対応する。よって、スコアＡＳＣ１～ＡＳＣＮの各々は音質パラメータ群ＡＰＧ１～ＡＰＧＮの各々に対応する。つまり、スコアＡＳＣ１は音質パラメータ群ＡＰＧ１の評価結果、スコアＡＳＣ２は音質パラメータ群ＡＰＧ２の評価結果、スコアＡＳＣＮは音質パラメータ群ＡＰＧＮの評価結果であると言える。
　そこで、教師データ生成部５５は、入力されたスコアＡＳＣ１～ＡＳＣＮの中から、最高の評価結果に相当するスコア（以下では「ベスト音質スコア」と呼ぶことがある）を選択する。教師データ生成部５５は、例えば、スコアＡＳＣ１～ＡＳＣＮの中の最大値をベスト音質スコアとして選択する。次いで、教師データ生成部５５は、音質パラメータ群ＡＰＧ１～ＡＰＧＮの中から、ベスト音質スコアに対応する音質パラメータ群（以下では「ベスト音質パラメータ群」と呼ぶことがある）を選択する。ベスト音質パラメータ群はベスト音質スコアに対応する音質パラメータ群であるため、元音声が加工された際に最高の音質を得ることができる音質パラメータ群、つまり、元音声の加工に最適な音質パラメータ群であると言える。そして、教師データ生成部５５は、元音声とベスト音質パラメータ群とを互いに対応付け、元音声及びベスト音質パラメータ群を含む教師データＴＤＤを生成し、生成した教師データＴＤＤを第一記憶部５６へ出力する。第一記憶部５６は、教師データ生成部５５で生成された教師データＴＤＤを記憶する。
　よって、図１７において、互いに異なるＭ個の複数の元音声を音声学習装置５０に順次入力するだけで、互いに異なる元音声と、互いに異なるベスト音質パラメータ群とを含むＭ個の複数の教師データＴＤＤを機械的に（自動的に）量産することができる。
　なお、教師データ生成部５５により選択されたベスト音質パラメータ群の値をオペレータが手動により調整しても良い。
　また、教師データ生成部５５は、元音声とベスト音質パラメータ群と含む教師データＴＤＤを生成することに替えて、元音声の特徴量とベスト音質パラメータ群と含む教師データＴＤＤを生成しても良い。元音声の特徴量の一例として、元音声の音圧、基本周波数、フォルマント周波数、ＭＦＣＣ（Mel-Frequency　Cepstral　Coefficient）等が挙げられる。
　第一機械学習部５７は、図１８に示すように、第一記憶部５６に記憶されている教師データＴＤＤ１～ＴＤＤ３を含む複数の教師データＴＤＤを用いた機械学習を行うことにより、学習済モデルとしての「音質パラメータ生成モデル」を生成する。音質パラメータ生成モデルを生成する際の機械学習として、例えば、ＣＮＮ（Convolutional　Neural　Network）やＲＮＮ（Recurrent　Neural　Network）等の深層学習が用いられる。教師データＴＤＤ１～ＴＤＤ３の各々には、元音声と、その元音声に対するベスト音質パラメータ群とが含まれるため、第一機械学習部５７により生成される音質パラメータ生成モデルは、加工対象音声が入力された場合に、加工対象音声の加工に最適な音質パラメータ群（以下では「最適音質パラメータ群」と呼ぶことがある）を出力する学習済モデルとなる。
　第一機械学習部５７は、図１８に示すようにして生成した音質パラメータ生成モデルを第二記憶部５８へ出力し、第二記憶部５８は、第一機械学習部５７で生成された音質パラメータ生成モデルを記憶する。
　出力部５９は、第二記憶部５８に記憶されている音質パラメータ生成モデルを取得し、取得した音質パラメータ生成モデルを音声加工装置４０へ出力する。音声学習装置５０から音声加工装置４０への音質パラメータ生成モデルの出力は、例えば、音声学習装置５０に対するオペレータの指示に従って行われる。
　音声加工装置４０において、取得部４１は、音声学習装置５０から出力された音質パラメータ生成モデルを取得し、取得した音質パラメータ生成モデルを第三記憶部４２へ出力する。音声加工装置４０での音声学習装置５０からの音質パラメータ生成モデルの取得は、例えば、音声加工装置４０に対するオペレータの指示に従って行われる。
　第三記憶部４２は、取得部４１によって取得された音質パラメータ生成モデルを記憶する。
　また、加工対象音声がパラメータ生成部４３及び第二加工部４４に入力される。
　加工対象音声を入力されたパラメータ生成部４３は、図１９に示すように、第三記憶部４２に記憶されている音質パラメータ生成モデルを用いて、最適音質パラメータ群（つまり、加工対象音声が加工された際に最高の音質を得ることができる音質パラメータ群）を生成し、生成した最適音質パラメータ群を第二加工部４４へ出力する。
　そして、図１９に示すように、第二加工部４４は、最適音質パラメータ群を用いて加工対象音声を加工することにより加工済音声を取得し、取得した加工済音声を出力する。第二加工部４４において加工対象音声が加工される際に用いられる音質パラメータ群は最適音質パラメータ群であるため、加工済音声は最高の音質を得ることができる。
　＜定量的評価＞
　図２０は、本開示の実施形態３に係る定量的評価の一例を示す図である。
　第一評価部５４によって行われる音質の定量的評価は、例えば、「最高の音質を有する加工済音声とは、耳障りにならない音声である。」という所定の観点（以下では「第三観点」と呼ぶことがある）に基づいた評価である。
　第一評価部５４は、出力音声ＡＯＰ１～ＡＯＰＮの各々に対してフーリエ変換を行うことにより、出力音声ＡＯＰ１～ＡＯＰＮの各々について、周波数帯毎の振幅値を示すヒストグラム（以下では「周波数ヒストグラム」と呼ぶことがある）を生成する。周波数ヒストグラムは、出力音声ＡＯＰ１～ＡＯＰＮの各々の周波数特性を示す。次いで、第一評価部５４は、周波数ヒストグラムにおける各々の領域（以下では「周波数ｂｉｎ」と呼ぶことがある）の振幅値と閾値ＴＨ３とを比較し、振幅値が閾値ＴＨ３以上である周波数ｂｉｎ（以下では「高振幅ｂｉｎ」と呼ぶことがある）の数（以下では「高振幅ｂｉｎ数」と呼ぶことがある）を数える。次いで、第一評価部５４は、複数の高振幅ｂｉｎのうち、１０ｋＨｚ以上の周波数に該当する周波数ｂｉｎの数（以下では「高周波ｂｉｎ数」と呼ぶことがある）を数える。そして、第一評価部５４は、出力音声ＡＯＰ１～ＡＯＰＮの各々について、式（２）に従って、高周波ｂｉｎ数を高振幅ｂｉｎ数で除した値をスコアＡＳＣ１～ＡＳＣＮとして算出する。よって、スコアの値がより小さい出力音声ほど、より第三観点に沿った音声となる。
　スコア＝高周波ｂｉｎ数／高振幅ｂｉｎ数　…（２）
　以上、実施形態３について説明した。
　［実施形態４］
　実施形態４では、実施形態３と同様、マルチメディアデータの一例として音声データを挙げて本開示の技術について説明する。以下、実施形態３と異なる点について説明する。
　＜音声処理システムの構成＞
　図２１は、本開示の実施形態４に係る音声処理システムの構成例を示す図である。図２１において、音声処理システム４は、音声学習装置７０と、音声加工装置４０とを有する。音声学習装置７０は、教師データと、元音声と、音質パラメータ群とを用いて機械学習を行うことにより音質パラメータ生成モデルを生成し、生成した音質パラメータ生成モデルを音声加工装置４０へ出力する。
　＜音声学習装置の構成＞
　図２２は、本開示の実施形態４に係る音声学習装置の構成例を示す図である。図２２において、音声学習装置７０は、第一加工部５３と、第一評価部５４と、第一記憶部５６と、第一機械学習部５７と、第二記憶部５８と、出力部５９とを有する。また、音声学習装置７０は、第二機械学習部７１と、第四記憶部７２と、第二評価部７３と、選択部７４と、教師データ生成部７５とを有する。
　＜音声処理システムにおける処理手順＞
　図２３及び図２４は、本開示の実施形態４に係る音声処理システムにおける処理手順の一例を示す図である。
　音声処理システム４において音声学習装置７０が処理を行う前に、図２３に示すように、人間の評価者が、基準音声と評価対象音声とを実際に聞き比べながら評価対象音声を評価する。
　まず、評価者は、音質パラメータを手動で調整し、手動で調整した様々な音質パラメータを基準音声に適用する。手動で調整された様々な音質パラメータを用いて基準音声が加工されることにより、加工後の音声である評価対象音声が得られる。図２３には、一例として、互いに異なる値の音質パラメータにより基準音声が加工された結果、評価対象音声ＡＥＴ０１～ＡＥＴ１３が得られた場合を示す。
　そして、評価者は、基準音声のスコアを「０」とする一方で、得られたすべての評価対象音声において、音質パラメータの調整により音質が徐々に変化して最高の音質を有すると判断される評価対象音声のスコアを「０.５」とする。また、評価者は、音質パラメータの過剰な調整により、基準音声に対して最も変化の度合が大きいと判断される評価対象音声のスコアを「１.０」とする。このようにして、評価者は、評価者の主観によって各評価対象音声にスコアを付けることにより各評価対象音声を評価する。その結果、例えば、図２３に示すように、評価対象音声ＡＥＴ０１には「０.３１」、評価対象音声ＡＥＴ０２には「０.９９」、評価対象音声ＡＥＴ０３には「０.８４」、評価対象音声ＡＥＴ０４には「０.３６」、評価対象音声ＡＥＴ０５には「０.１８」、評価対象音声ＡＥＴ０６には「０.１２」、評価対象音声ＡＥＴ０７には「０.６６」の各スコアが付けられる。また例えば、図２３に示すように、評価対象音声ＡＥＴ０８には「０.５０」、評価対象音声ＡＥＴ０９には「０.９０」、評価対象音声ＡＥＴ１０には「０.２５」、評価対象音声ＡＥＴ１１には「０.７８」、評価対象音声ＡＥＴ１２には「０.４１」、評価対象音声ＡＥＴ１３には「０.７２」の各スコアが付けられる。つまり、図２３に示す例では、評価者の主観によって、評価対象音声ＡＥＴ０８が最高の音質を有すると判断された一方で、評価対象音声ＡＥＴ０８の音質を最高音質として、ＡＥＴ０８→ＡＥＴ１２→ＡＥＴ０４→ＡＥＴ０１→ＡＥＴ１０→ＡＥＴ０５→ＡＥＴ０６の順に評価対象音声の音質が徐々に低下すると判断されている。また、スコアが０.５より大きい評価対象音声ＡＥＴ０７，ＡＥＴ１３，ＡＥＴ１１，ＡＥＴ０３，ＡＥＴ０９，ＡＥＴ０２については、過剰な音質調整が行われていると判断されている。
　次いで、評価者は、基準音声と評価対象音声とスコアとを互いに対応付け、基準音声、評価対象音声及びスコアを含む教師データＴＤＣを生成する。よって例えば、教師データＴＤＣ０１には、基準音声と、評価対象音声ＡＥＴ０１と、評価対象音声ＡＥＴ０１のスコアである「０.３１」とが互いに対応付けて含まれ、教師データＴＤＣ０２には、基準音声と、評価対象音声ＡＥＴ０２と、評価対象音声ＡＥＴ０２のスコアである「０.９９」とが互いに対応付けて含まれ、教師データＴＤＣ０３には、基準音声と、評価対象音声ＡＥＴ０３と、評価対象音声ＡＥＴ０３のスコアである「０.８４」とが互いに対応付けて含まれる。同様に、教師データＴＤＣ０４～ＴＤＣ１３にも、基準音声と、評価対象音声ＡＥＴ０４～ＡＥＴ１３の各々と、評価対象音声ＡＥＴ０４～ＡＥＴ１３の各々のスコアとが互いに対応付けられて含まれる。
　そして、このようにして生成された複数の教師データＴＤＣが、第二機械学習部７１（図２２）に入力される。第二機械学習部７１は、図２４に示すように、複数の教師データＴＤＣを用いた機械学習を行うことにより「音質評価モデル」を生成する。音質評価モデルを生成する際の機械学習として、例えば、ＣＮＮやＲＮＮ等の深層学習が用いられる。
　第二機械学習部７１は、図２４に示すようにして生成した音質評価モデルを第四記憶部７２へ出力し、第四記憶部７２は、第二機械学習部７１で生成された音質評価モデルを記憶する。
　第四記憶部７２への音質評価モデルの記憶が完了した後、元音声が第一加工部５３、教師データ生成部７５及び第二評価部７３に入力されるとともに、音質パラメータ群が第一加工部５３及び教師データ生成部７５に入力される。
　また、第一加工部５３から出力された出力音声ＡＯＰ１～ＡＯＰＮが選択部７４に入力される。選択部７４は、第一評価部５４及び第二評価部７３の中から、出力音声ＡＯＰ１～ＡＯＰＮの各々の音質の評価を行う評価部（以下では「音質評価実行部」と呼ぶことがある）を出力音声毎に選択する。選択部７４は、音質評価実行部として第一評価部５４を選択したときは、出力音声ＡＯＰ１～ＡＯＰＮのうち第一評価部５４に音質の評価を行わせる出力音声を第一評価部５４へ出力する。一方で、選択部７４は、音質評価実行部として第二評価部７３を選択したときは、出力音声ＡＯＰ１～ＡＯＰＮのうち第二評価部７３に音質の評価を行わせる出力音声を第二評価部７３へ出力する。つまり、第一評価部５４へ入力される入力音声は、出力音声ＡＯＰ１～ＡＯＰＮのうち選択部７４によって選択された出力音声（以下では「選択音声」と呼ぶことがある）となり、第二評価部７３へ入力される入力音声は、元音声及び選択音声となる。
　第一評価部５４は、実施形態３と同様にして各選択音声に対して定量的評価を行うことにより、各選択音声の音質を評価する。第一評価部５４は、実施形態３と同様に、音質に対する所定の観点に基づいた定量的評価を各選択音声に対して行う。
　一方で、第二評価部７３は、第四記憶部７２に記憶されている音質評価モデルを用いて各選択音声を評価する。選択音声に対する第二評価部７３での評価は、上述したような、評価対象音声ＡＥＴ０１～ＡＥＴ１３に対する評価者による評価と同様にして行われる。
　すなわち、上記のように、評価者は、基準音声に対する評価対象音声ＡＥＴ０１～ＡＥＴ１３の相対的な評価を行って評価対象音声ＡＥＴ０１～ＡＥＴ１３の各々にスコアを付けた。また、評価対象音声ＡＥＴ０１～ＡＥＴ１３の各々は同一の基準音声に対して互いに異なる音質パラメータが適用されることにより加工された音声であった。そして、第二機械学習部７１では、基準音声と、評価対象音声と、評価対象音声のスコアとが互いに対応付けられて含まれる教師データＴＤＣを用いて音質評価モデルが生成された。これに対し、第二評価部７３には元音声と選択音声とが入力され、第二評価部７３は、元音声と選択音声とに基づいて音質評価モデルを用いて選択音声を評価して、選択音声にスコアを付ける。つまり、元音声は図２３における基準音声に相当し、選択音声は図２３における評価対象音声ＡＥＴ０１～ＡＥＴ１３に相当する。よって、第二評価部７３は、第二機械学習部７１によって生成された音質評価モデルを用いて選択音声を評価することにより、評価者が評価対象音声ＡＥＴ０１～ＡＥＴ１３の各々を評価したときと同様の尺度で選択音声の評価を行うことができる。
　第二評価部７３は、選択音声の評価結果であるスコアを教師データ生成部７５へ出力する。
　教師データ生成部７５には、元音声と、音質パラメータ群ＡＰＧ１～ＡＰＧＮと、選択音声のスコア（以下では「選択音声スコア」と呼ぶことがある）とが入力される。選択音声スコアは、選択部７４によって選択された第一評価部５４または第二評価部７３の何れかから教師データ生成部７５に入力される。上記のように、出力音声ＡＯＰ１～ＡＯＰＮの各々は、選択部７４によって、第一評価部５４と第二評価部７３との何れか一方に振り分けられるため、選択音声スコアの個数の合計は、出力音声の個数の合計と同一のＮ個となる。以下ではＮ個の選択音声スコアをＡＳＳＣ１～ＡＳＳＣＮと表記することがある。
　教師データ生成部７５は、入力された選択音声スコアＡＳＳＣ１～ＡＳＳＣＮの中から、ベスト音質スコアを選択する。教師データ生成部７５は、例えば、スコアＡＳＳＣ１～ＡＳＳＣＮの中の最大値をベスト音質スコアとして選択する。次いで、教師データ生成部７５は、音質パラメータ群ＡＰＧ１～ＡＰＧＮの中からベスト音質パラメータ群を選択する。そして、教師データ生成部７５は、元音声とベスト音質パラメータ群とを互いに対応付け、元音声及びベスト音質パラメータ群を含む教師データＴＤＤを生成し、生成した教師データＴＤＤを第一記憶部５６へ出力する。第一記憶部５６は、教師データ生成部７５で生成された教師データＴＤＤを記憶する。
　＜選択部の動作＞
　図２５は、本開示の実施形態４に係る選択部の動作例を示す図である。
　図２５に示すように、選択部７４は、出力音声ＡＯＰ１～ＡＯＰＮの各々に対してフーリエ変換を行うことにより、出力音声ＡＯＰ１～ＡＯＰＮの各々について、周波数ヒストグラムを生成する。次いで、選択部７４は、複数の周波数ｂｉｎの中で、最大の振幅値を有するｂｉｎ（以下では「振幅ピークｂｉｎ」と呼ぶことがある）を判定する。次いで、選択部７４は、振幅ピークｂｉｎが該当する周波数（以下では「ピーク周波数」と呼ぶことがある）を判定する。そして、選択部７４は、ピーク周波数が１ｋＨｚ以上であるときは、出力音声が明瞭で第二評価部７３での正答率が高い傾向にあるため、音質評価実行部として第二評価部７３を選択する。一方で、ピーク周波数が１ｋＨｚ未満であるときは、出力音声が不明瞭で第二評価部７３での正答率が低い傾向にあるため、選択部７４は、音質評価実行部として第一評価部５４を選択する。
　以上、実施形態４について説明した。
　［実施形態５］
　＜ハードウェア構成＞
　第一記憶部１６，５６、第二記憶部１８，５８、第三記憶部２２，４２、及び、第四記憶部３２，７２は、ハードウェアとして、例えば、メモリ、ストレージ等の記憶媒体により実現される。第一記憶部１６，５６、第二記憶部１８，５８、第三記憶部２２，４２、及び、第四記憶部３２，７２を実現するメモリの一例として、ＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）等のＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ等が挙げられる。また、　第一記憶部１６，５６、第二記憶部１８，５８、第三記憶部２２，４２、及び、第四記憶部３２，７２を実現するストレージの一例として、ＨＤＤ（Hard　Disk　Drive）、ＳＳＤ（Solid　State　Drive）等が挙げられる。
　第一加工部１３，５３、第一評価部１４，５４、教師データ生成部１５，３５，５５，７５、第一機械学習部１７，５７、パラメータ生成部２３，４３、第二加工部２４，４４、第二機械学習部３１，７１、第二評価部３３，７３、及び、選択部３４，７４は、ハードウェアとして、例えばプロセッサにより実現される。第一加工部１３，５３、第一評価部１４，５４、教師データ生成部１５，３５，５５，７５、第一機械学習部１７，５７、パラメータ生成部２３，４３、第二加工部２４，４４、第二機械学習部３１，７１、第二評価部３３，７３、及び、選択部３４，７４を実現するプロセッサの一例として、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）、ＮＰＵ（Neural-network　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）等が挙げられる。
　出力部１９，５９及び取得部２１，４１は、ハードウェアとして、例えば、有線のネットワークインタフェースモジュールまたは無線通信モジュールにより実現される。
　画像学習装置１０，３０及び音声学習装置５０，７０は、例えば、パーソナルコンピュータやサーバ等のコンピュータとして実現される。画像加工装置２０及び音声加工装置４０は、例えば、スマートフォンやタブレット端末等の携帯端末として実現される。
　［開示の技術の効果］
　以上のように、本開示の学習装置（実施形態の画像学習装置１０，音声学習装置５０）は、第一評価部（実施形態の第一評価部１４，５４）と、生成部（実施形態の教師データ生成部１５，５５）と、第一学習部（実施形態の第一機械学習部１７，５７）とを有する。第一評価部は、複数のマルチメディアデータに対する定量的評価を行うことによって、複数のマルチメディアデータのそれぞれに対する複数の第一評価結果を取得する。生成部は、複数の第一評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した第二パラメータを含む第一教師データを生成する。第一学習部は、第一教師データを用いる第一機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する第一学習済モデル（実施形態の画質パラメータ生成モデル，音質パラメータ生成モデル）を生成する。
　例えば、マルチメディアデータは画像データであり、第一評価部は、画像データの輝度分布に基づいて定量的評価を行う。
　また例えば、マルチメディアデータは画像データであり、第一評価部は、画像データの平均輝度に基づいて定量的評価を行う。
　また例えば、マルチメディアデータは音声データであり、第一評価部は、音声データの周波数特性に基づいて定量的評価を行う。
　一方で、本開示のデータ加工装置（実施形態の画像加工装置２０，音声加工装置４０）は、生成部（実施形態のパラメータ生成部２３，４３）と、加工部（実施形態の第二加工部２４，４４）とを有する。生成部は、学習装置（実施形態の画像学習装置１０，３０，音声学習装置５０，７０）によって生成された学習済モデル（実施形態の画質パラメータ生成モデル，音質パラメータ生成モデル）を用いて第三パラメータを生成する。加工部は、生成された第三パラメータを用いて加工対象のマルチメデイアデータを加工する。
　こうすることで、様々なマルチメディアデータに応じてそれぞれ好適な品質パラメータを機械的に（自動的に）生成することができるため、好適な品質パラメータの決定にかかる労力を軽減した上でマルチメディアデータの品質を向上させることができる。
　また、本開示の学習装置（実施形態の画像学習装置３０，音声学習装置７０）は、第二学習部（実施形態の第二機械学習部３１，７１）と、第二評価部（実施形態の第二評価部３３，７３）と、選択部（実施形態の選択部３４，７４）とをさらに有する。第二学習部は、評価対象のマルチメディアデータに対する第二評価結果を含む第二教師データを用いる第二機械学習を行うことによって、入力マルチメディアデータに対する第三評価結果を出力する第二学習済モデル（実施形態の画質評価モデル，音質評価モデル）を生成する。第二評価部は、第二学習済モデルを用いて、複数のマルチメディアデータのそれぞれに対する複数の第三評価結果を取得する。選択部は、第一評価部及び第二評価部の中から、複数のマルチメディアデータに対する評価を行う評価実行部を選択する。生成部は、選択部によって第一評価部が選択されたときの複数の第一評価結果と、選択部によって第二評価部が選択されたときの複数の第三評価結果とに基づいて、複数の第一パラメータの中から第二パラメータを選択し、選択した第二パラメータを含む第一教師データを生成する。
　例えば、マルチメディアデータは画像データであり、選択部は、画像データの輝度分布に基づいて評価実行部を選択する。
　また例えば、マルチメディアデータは音声データであり、選択部は、音声データの周波数特性に基づいて評価実行部を選択する。
　こうすることで、マルチメディアデータに応じた最適な評価実行部が選択されるため、マルチメディアデータの品質をさらに向上させることができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があっても良い。
　また、画像処理システム１，２、音声処理システム３，４での上記説明における各処理の全部または一部は、各処理に対応するプログラムを画像処理システム１，２や音声処理システム３，４が有するプロセッサに実行させることによって実現されても良い。例えば、上記説明における各処理に対応するプログラムがメモリに記憶され、プログラムがプロセッサによってメモリから読み出されて実行されても良い。また、プログラムは、任意のネットワークを介して画像処理システム１，２や音声処理システム３，４に接続されたプログラムサーバに記憶され、そのプログラムサーバから画像処理システム１，２や音声処理システム３，４にダウンロードされて実行されたり、画像処理システム１，２や音声処理システム３，４が読み取り可能な記録媒体に記憶され、その記録媒体から読み出されて実行されても良い。画像処理システム１，２や音声処理システム３，４が読み取り可能な記録媒体には、例えば、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、及び、Ｂｌｕ－ｒａｙ（登録商標）ディスク等の可搬の記憶媒体が含まれる。また、プログラムは、任意の言語や任意の記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。また、プログラムは必ずしも単一的に構成されるものに限られず、複数のモジュールや複数のライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものも含む。
　また、画像処理システム１，２や音声処理システム３，４の分散・統合の具体的形態は図示するものに限られず、画像処理システム１，２や音声処理システム３，４の全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　例えば、上記の図３，図１６に示す取得部２１，４１、第三記憶部２２，４２、及び、パラメータ生成部２３，４３を画像加工装置２０や音声加工装置４０から分離してネットワークサーバ内に設ける構成を採っても良い。この場合、取得部２１，４１、第三記憶部２２，４２、及び、パラメータ生成部２３，４３が除かれた画像加工装置や音声加工装置が、加工対象画像や加工対象音声を無線通信等を用いてネットワークサーバへ送信する。加工対象画像や加工対象音声を受信したネットワークサーバは、最適画質パラメータ群や最適音質パラメータ群を生成し、生成した最適画質パラメータ群や最適音質パラメータ群を無線通信等を用いて画像加工装置や音声加工装置へ送信する。最適画質パラメータ群や最適音質パラメータ群を受信した画像加工装置や音声加工装置は、ネットワークサーバから受信した最適画質パラメータ群や最適音質パラメータ群を用いて加工対象画像や加工対象音声を加工することにより加工済画像や加工済音声を取得し、取得した加工済画像や加工済音声を出力する。以上の処理を、加工対象画像や加工対象音声が画像加工装置や音声加工装置に入力される度に繰り返す。よって、この場合、取得部２１，４１、第三記憶部２２，４２、及び、パラメータ生成部２３，４３を有するネットワークサーバは、最適画質パラメータ群や最適音質パラメータ群を生成するパラメータ生成装置として機能する。
　また例えば、上記の図３，図１６に示す画像加工装置２０や音声加工装置４０をネットワークサーバ内に設ける構成を採っても良い。この場合、ディスプレーまたはスピーカを有する通信端末が、加工対象画像や加工対象音声を無線通信等を用いてネットワークサーバへ送信する。加工対象画像や加工対象音声を受信したネットワークサーバは、最適画質パラメータ群や最適音質パラメータ群を生成し、生成した最適画質パラメータ群や最適音質パラメータ群を用いて加工対象画像や加工対象音声を加工することにより加工済画像や加工済音声を取得し、取得した加工済画像や加工済音声を無線通信等を用いて通信端末へ送信する。加工済画像や加工済音声を受信した通信端末は、受信した加工済画像をディスプレーに表示したり、受信した加工済音声をスピーカから出力したりする。以上の処理を、加工対象画像や加工済音声が通信端末に入力される度に繰り返す。　
　また、開示の技術は以下のような構成も採ることができる。
（１）
　複数のマルチメディアデータに対して所定の観点に基づいた定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の第一評価結果を取得する第一評価部と、
　前記複数の第一評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む第一教師データを生成する生成部と、
　前記第一教師データを用いる第一機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する第一学習済モデルを生成する第一学習部と、
　を具備する学習装置。
（２）
　前記マルチメディアデータは画像データであり、
　前記第一評価部は、前記画像データの輝度分布に基づいて前記定量的評価を行う、
　前記（１）に記載の学習装置。
（３）
　前記マルチメディアデータは画像データであり、
　前記第一評価部は、前記画像データの平均輝度に基づいて前記定量的評価を行う、
　前記（１）に記載の学習装置。
（４）
　前記マルチメディアデータは音声データであり、
　前記第一評価部は、前記音声データの周波数特性に基づいて前記定量的評価を行う、
　前記（１）に記載の学習装置。
（５）
　評価対象のマルチメディアデータに対する第二評価結果を含む第二教師データを用いる第二機械学習を行うことによって、入力マルチメディアデータに対する第三評価結果を出力する第二学習済モデルを生成する第二学習部と、
　前記第二学習済モデルを用いて、前記複数のマルチメディアデータのそれぞれに対する複数の前記第三評価結果を取得する第二評価部と、
　前記第一評価部及び前記第二評価部の中から、前記複数のマルチメディアデータに対する評価を行う評価実行部を選択する選択部と、
　をさらに具備し、
　前記生成部は、前記選択部によって前記第一評価部が選択されたときの前記複数の第一評価結果と、前記選択部によって前記第二評価部が選択されたときの前記複数の第三評価結果とに基づいて、前記複数の第一パラメータの中から前記第二パラメータを選択し、選択した前記第二パラメータを含む前記第一教師データを生成する、
　前記（１）に記載の学習装置。
（６）
　前記マルチメディアデータは画像データであり、
　前記選択部は、前記画像データの輝度分布に基づいて前記評価実行部を選択する、
　前記（５）に記載の学習装置。
（７）
　前記マルチメディアデータは音声データであり、
　前記選択部は、前記音声データの周波数特性に基づいて前記評価実行部を選択する、
　前記（５）に記載の学習装置。
（８）
　複数のマルチメディアデータに対して所定の観点に基づいた定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得する評価部と、
　前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む教師データを生成する生成部と、
　前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する学習部と、
　を具備する学習装置によって生成された前記学習済モデルを用いて前記第三パラメータを生成する生成部と、
　生成された前記第三パラメータを用いて前記加工対象のマルチメデイアデータを加工する加工部と、
　を具備するデータ加工装置。
（９）
　複数のマルチメディアデータに対して所定の観点に基づいた定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得する評価部と、
　前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む教師データを生成する生成部と、
　前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する学習部と、
　を具備する学習装置によって生成された前記学習済モデルを前記学習装置から取得する取得部と、
　取得された前記学習済モデルを用いて前記第三パラメータを生成する生成部と、
　を具備するパラメータ生成装置。
（１０）
　複数のマルチメディアデータに対して所定の観点に基づいた定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得し、
　前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、
　選択した前記第二パラメータを含む教師データを生成し、
　前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する、
　学習方法。
（１１）
　複数のマルチメディアデータに対して所定の観点に基づいた定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得する評価部と、
　前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む教師データを生成する生成部と、
　前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する学習部と、
　を具備する学習装置によって生成された前記学習済モデルを用いて前記第三パラメータを生成し、
　生成した前記第三パラメータを用いて前記加工対象のマルチメデイアデータを加工する、
　データ加工方法。
（１２）
　複数のマルチメディアデータに対して所定の観点に基づいた定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得する評価部と、
　前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む教師データを生成する生成部と、
　前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する学習部と、
　を具備する学習装置によって生成された前記学習済モデルを前記学習装置から取得し、
　取得した前記学習済モデルを用いて前記第三パラメータを生成する、
　パラメータ生成方法。
１，２　画像処理システム
１０，３０　画像学習装置
２０　画像加工装置
３，４　音声処理システム
５０，７０　音声学習装置
４０　音声加工装置
１３，５３　第一加工部
１４，５４　第一評価部
１５，３５，５５，７５　教師データ生成部
１７，５７　第一機械学習部
２３，４３　パラメータ生成部
２４，４４　第二加工部
３１，７１　第二機械学習部
３３，７３　第二評価部
３４，７４　選択部

Claims (12)

  1. 　複数のマルチメディアデータに対する定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の第一評価結果を取得する第一評価部と、
    　前記複数の第一評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む第一教師データを生成する生成部と、
    　前記第一教師データを用いる第一機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する第一学習済モデルを生成する第一学習部と、
    　を具備する学習装置。
  2. 　前記マルチメディアデータは画像データであり、
    　前記第一評価部は、前記画像データの輝度分布に基づいて前記定量的評価を行う、
    　請求項１に記載の学習装置。
  3. 　前記マルチメディアデータは画像データであり、
    　前記第一評価部は、前記画像データの平均輝度に基づいて前記定量的評価を行う、
    　請求項１に記載の学習装置。
  4. 　前記マルチメディアデータは音声データであり、
    　前記第一評価部は、前記音声データの周波数特性に基づいて前記定量的評価を行う、
    　請求項１に記載の学習装置。
  5. 　評価対象のマルチメディアデータに対する第二評価結果を含む第二教師データを用いる第二機械学習を行うことによって、入力マルチメディアデータに対する第三評価結果を出力する第二学習済モデルを生成する第二学習部と、
    　前記第二学習済モデルを用いて、前記複数のマルチメディアデータのそれぞれに対する複数の前記第三評価結果を取得する第二評価部と、
    　前記第一評価部及び前記第二評価部の中から、前記複数のマルチメディアデータに対する評価を行う評価実行部を選択する選択部と、
    　をさらに具備し、
    　前記生成部は、前記選択部によって前記第一評価部が選択されたときの前記複数の第一評価結果と、前記選択部によって前記第二評価部が選択されたときの前記複数の第三評価結果とに基づいて、前記複数の第一パラメータの中から前記第二パラメータを選択し、選択した前記第二パラメータを含む前記第一教師データを生成する、
    　請求項１に記載の学習装置。
  6. 　前記マルチメディアデータは画像データであり、
    　前記選択部は、前記画像データの輝度分布に基づいて前記評価実行部を選択する、
    　請求項５に記載の学習装置。
  7. 　前記マルチメディアデータは音声データであり、
    　前記選択部は、前記音声データの周波数特性に基づいて前記評価実行部を選択する、
    　請求項５に記載の学習装置。
  8. 　複数のマルチメディアデータに対する定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得する評価部と、
    　前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む教師データを生成する生成部と、
    　前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する学習部と、
    　を具備する学習装置によって生成された前記学習済モデルを用いて前記第三パラメータを生成する生成部と、
    　生成された前記第三パラメータを用いて前記加工対象のマルチメデイアデータを加工する加工部と、
    　を具備するデータ加工装置。
  9. 　複数のマルチメディアデータに対する定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得する評価部と、
    　前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む教師データを生成する生成部と、
    　前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する学習部と、
    　を具備する学習装置によって生成された前記学習済モデルを前記学習装置から取得する取得部と、
    　取得された前記学習済モデルを用いて前記第三パラメータを生成する生成部と、
    　を具備するパラメータ生成装置。
  10. 　複数のマルチメディアデータに対する定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得し、
    　前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、
    　選択した前記第二パラメータを含む教師データを生成し、
    　前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する、
    　学習方法。
  11. 　複数のマルチメディアデータに対する定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得する評価部と、
    　前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む教師データを生成する生成部と、
    　前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する学習部と、
    　を具備する学習装置によって生成された前記学習済モデルを用いて前記第三パラメータを生成し、
    　生成した前記第三パラメータを用いて前記加工対象のマルチメデイアデータを加工する、
    　データ加工方法。
  12. 　複数のマルチメディアデータに対する定量的評価を行うことによって、前記複数のマルチメディアデータのそれぞれに対する複数の評価結果を取得する評価部と、
    　前記複数の評価結果に基づいて、互いに異なる値を有する複数の第一パラメータの中から第二パラメータを選択し、選択した前記第二パラメータを含む教師データを生成する生成部と、
    　前記教師データを用いる機械学習を行うことによって、加工対象のマルチメデイアデータの加工に用いられる第三パラメータを出力する学習済モデルを生成する学習部と、
    　を具備する学習装置によって生成された前記学習済モデルを前記学習装置から取得し、
    　取得した前記学習済モデルを用いて前記第三パラメータを生成する、
    　パラメータ生成方法。
PCT/JP2022/037996 2021-10-19 2022-10-12 学習装置、データ加工装置、パラメータ生成装置、学習方法、データ加工方法及びパラメータ生成方法 WO2023068126A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22883430.5A EP4422163A1 (en) 2021-10-19 2022-10-12 Learning device, data processing device, parameter generation device, learning method, data processing method, and parameter generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-171140 2021-10-19
JP2021171140 2021-10-19

Publications (1)

Publication Number Publication Date
WO2023068126A1 true WO2023068126A1 (ja) 2023-04-27

Family

ID=86058110

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037996 WO2023068126A1 (ja) 2021-10-19 2022-10-12 学習装置、データ加工装置、パラメータ生成装置、学習方法、データ加工方法及びパラメータ生成方法

Country Status (2)

Country Link
EP (1) EP4422163A1 (ja)
WO (1) WO2023068126A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088805A (ja) 2013-10-29 2015-05-07 ソニー株式会社 符号化装置、復号装置、符号化データ、符号化方法、復号方法およびプログラム
WO2020209337A1 (ja) * 2019-04-12 2020-10-15 日本電信電話株式会社 識別装置、識別方法、識別処理プログラム、生成装置、生成方法、および生成処理プログラム
WO2020261503A1 (ja) 2019-06-27 2020-12-30 ソニー株式会社 学習装置、画像加工装置、パラメータ生成装置、学習方法及び画像加工方法
JP2021089654A (ja) * 2019-12-05 2021-06-10 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088805A (ja) 2013-10-29 2015-05-07 ソニー株式会社 符号化装置、復号装置、符号化データ、符号化方法、復号方法およびプログラム
WO2020209337A1 (ja) * 2019-04-12 2020-10-15 日本電信電話株式会社 識別装置、識別方法、識別処理プログラム、生成装置、生成方法、および生成処理プログラム
WO2020261503A1 (ja) 2019-06-27 2020-12-30 ソニー株式会社 学習装置、画像加工装置、パラメータ生成装置、学習方法及び画像加工方法
JP2021089654A (ja) * 2019-12-05 2021-06-10 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
EP4422163A1 (en) 2024-08-28

Similar Documents

Publication Publication Date Title
US10984818B2 (en) Devices and methods for evaluating speech quality
WO2018008395A1 (ja) 音場形成装置および方法、並びにプログラム
CN111898881B (zh) 一种课堂教学质量评估方法、装置、设备及存储介质
US20160328501A1 (en) Automatic AMP Matching
US8195453B2 (en) Distributed intelligibility testing system
US10181320B2 (en) Computer-implemented method and apparatus for generating grapheme-to-phoneme model
US20180190310A1 (en) De-reverberation control method and apparatus for device equipped with microphone
US11508120B2 (en) Methods and apparatus to generate a three-dimensional (3D) model for 3D scene reconstruction
US20170064444A1 (en) Signal processing apparatus and method
JP2024528596A (ja) 発話向上
CN118230767B (zh) 一种声音环境自适应的usb音频优化方法及系统
WO2023068126A1 (ja) 学習装置、データ加工装置、パラメータ生成装置、学習方法、データ加工方法及びパラメータ生成方法
WO2020261503A1 (ja) 学習装置、画像加工装置、パラメータ生成装置、学習方法及び画像加工方法
WO2023086311A1 (en) Control of speech preservation in speech enhancement
JP2019126423A (ja) 聴覚的注意推定装置、聴覚的注意推定方法、プログラム
Nunes et al. Degradation type classifier for full band speech contaminated with echo, broadband noise, and reverberation
EP4354899A1 (en) Apparatus, methods and computer programs for providing signals for otoacoustic emission measurements
Marshall et al. Metrics including time-varying loudness models to assess the impact of sonic booms and other transient sounds
CN110808066A (zh) 教学环境安全分析方法
Shirol Speech data augmentation in the frequency domain using deep learning methods
KR102568994B1 (ko) 사용자의 스피치 능력 개선을 위한 피드백 장치 및 방법
US20240355348A1 (en) Detecting environmental noise in user-generated content
CN113555008B (zh) 一种针对模型的调参方法及装置
US12124630B2 (en) Information processing device
JP2024532759A (ja) ユーザ生成コンテンツにおける環境ノイズの検出

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883430

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022883430

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022883430

Country of ref document: EP

Effective date: 20240521