WO2020148976A1 - 画像処理制御装置と画像処理制御方法 - Google Patents

画像処理制御装置と画像処理制御方法 Download PDF

Info

Publication number
WO2020148976A1
WO2020148976A1 PCT/JP2019/043870 JP2019043870W WO2020148976A1 WO 2020148976 A1 WO2020148976 A1 WO 2020148976A1 JP 2019043870 W JP2019043870 W JP 2019043870W WO 2020148976 A1 WO2020148976 A1 WO 2020148976A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
image processing
control device
processing control
Prior art date
Application number
PCT/JP2019/043870
Other languages
English (en)
French (fr)
Inventor
拓郎 川合
健一郎 細川
佳之 秋山
高橋　修一
孝文 森藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/309,948 priority Critical patent/US20220076370A1/en
Publication of WO2020148976A1 publication Critical patent/WO2020148976A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • This technology is related to the image processing control device and the image processing control method, so that high quality processed images can be obtained.
  • Patent Document 1 it is determined whether or not another device is connected, and a function of a signal processing unit that processes an input signal when the other device is connected and when the other device is not connected. Is being changed. Further, in Patent Document 2, by distributing the audio and video processing tasks among a plurality of devices interconnected with the display device, the display device is relieved from some processing tasks and an improvement in processing performance is achieved. Has been done.
  • this technology provides an image processing control device and an image processing control method in which a plurality of image processing devices can share the image processing so that an output image with good image quality can be obtained.
  • the first aspect of this technology is Based on the image quality evaluation result of the processed image obtained by processing the test image with the plurality of image processing devices, the image processing device used for the image processing is selected for each of the plurality of image processes performed on the input image, and the processing flow is performed.
  • the image processing control apparatus includes a processing flow setting unit that sets
  • the processing flow is set by selecting the image processing device used for image processing based on the image quality evaluation result of the processed image obtained by processing the test image with multiple image processing devices.
  • the test image is an image generated by performing the processing that is the reverse of the image processing on the evaluation image
  • the image evaluation result is the qualitative and quantitative image quality of the processed image for the evaluation image.
  • the evaluation result of or the evaluation result which integrated the evaluation result of qualitative image quality and quantitative image quality is used.
  • the processing flow setting unit of the image processing control apparatus selects, for example, the image processing apparatus that can obtain the best image quality evaluation result for each image processing. In this case, as the test image, an image obtained by processing the evaluation image according to the processing performance of the image processing device is used for each image processing device.
  • the processing flow setting unit changes the combination of the image processing devices used for each image processing, sets a plurality of processing flows, and outputs an output image obtained by performing a plurality of image processing on the input image.
  • An image processing apparatus having a processing flow that gives the best image quality evaluation result is selected.
  • the test image is generated by performing, on the evaluation image, a processing process that is the reverse process of a plurality of image processes performed on the input image based on the process flow set by the process flow setting unit. Image is used.
  • the processing flow setting unit adjusts the parameters of the image processing apparatus used for each image processing, and sets the parameter that gives the best image quality evaluation result of the output image obtained by performing a plurality of image processings on the input image. You may set it.
  • the image processing control device may be provided with an information storage unit that stores a processing order of a plurality of image processings, information indicating an image processing apparatus selected for each processing order, and an image quality evaluation result. Further, based on the processing performance of the image processing apparatus, a processing performance management unit that detects an image processing apparatus that can be used for image processing of the input image is provided, and the processing flow setting unit is configured to detect the plurality of processing performance management units. An image processing device used for image processing may be selected from the image processing devices. Further, the processing performance management unit detects a change in the image processing apparatus that can be used for image processing of the input image, and the processing flow setting unit uses the changed image processing apparatus after the change when the available image processing apparatus changes.
  • An image processing apparatus used for image processing is selected from the possible image processing apparatuses.
  • a display unit that displays the processing performance of a plurality of image processing apparatuses and the processing flow set by the processing flow setting unit and a display screen of the display unit are provided, and the processing is performed based on the display of the display unit.
  • An operation unit that receives a user instruction may be further provided, and the processing flow setting unit may change the processing order of the plurality of image processes and the selected image processing apparatus according to the user instruction.
  • the second aspect of this technology is Based on the image quality evaluation result of the processed image obtained by processing the test image with the plurality of image processing devices, the image processing device used for the image processing is processed by the processing flow setting unit for each of the plurality of image processes performed on the input image.
  • An image processing control method includes selecting and setting a processing flow.
  • 9 is a flowchart illustrating a user instruction handling process. It is the figure which illustrated the case where priority was given to qualitative image quality rather than quantitative image quality by resolution conversion. It is the figure which illustrated the case where the processing order was changed. It is a figure for demonstrating a user instruction (for example, tap operation). It is a figure for demonstrating a user instruction (for example, drag operation). 9 is a flowchart illustrating the operation of another embodiment. It is a figure which illustrated the composition in the case of performing image quality evaluation using the display image after image processing. FIG. 9 is a diagram showing an operation example in the case of performing image quality evaluation using a display image after image processing.
  • FIG. 1 shows the configuration of an image processing system using an image processing control device of the present technology.
  • the image processing system 10 is configured by using an image processing control device 20 and a plurality of image processing devices 30-1 to 30-n.
  • the image processing control device 20 and the plurality of image processing devices 30-1 to 30-n are , Connected via a wired or wireless transmission path.
  • the image processing control device 20 may be configured separately from the image processing devices 30-1 to 30-n, or may be built in any of the image processing devices 30-1 to 30-n.
  • the image processing control device 20 acquires the processing performance of the image processing devices 30-1 to 30-n and causes each of the image processing devices 30-1 to 30-n to process a test image according to the processing performance.
  • the image processing control apparatus 20 uses the image processing for each of the plurality of image processing performed on the input image based on the image quality evaluation result of the processed image obtained by processing the test image by the plurality of image processing apparatuses.
  • the image processing apparatus is selected and the processing flow is set.
  • the test image is an image generated by a processing process that is the reverse of the image process for the evaluation image
  • the image evaluation result is the image quality evaluation result of the processed image for the evaluation image.
  • the image processing control device 20 may select an image processing device that can obtain the best image quality evaluation result for each image processing when selecting the image processing device used for the image processing. From the combinations, it is possible to select an image processing apparatus of a combination that gives the best image quality evaluation result of the output image obtained by performing a plurality of image processes on the input image. Further, the image processing control device 20 controls the operations of the image processing devices 30-1 to 30-n so that the image processing is performed according to the set processing flow.
  • the image processing devices 30-1 to 30-n notify the image processing control device 20 of processing performance, perform image processing of test images supplied from the image processing control device 20, return test images after processing, and perform image processing. Image processing of an input image is performed based on a control signal from the control device 20.
  • FIG. 2 illustrates the configuration of the first embodiment of the image processing control device.
  • the image processing control device 20a has a processing performance management unit 21, an information storage unit 22, an image storage unit 23a, an image processing unit 24a, an image quality evaluation unit 25a, and a processing flow setting unit 26a. ..
  • the processing performance management unit 21 inquires of the image processing apparatuses 30-1 to 30-n about the performance and acquires the processing performance, or inquires of the image processing apparatuses 30-1 to 30-n about the performance.
  • the processing performance notified from the image processing devices 30-1 to 30-n is acquired without performing the processing, and the processing performance profile indicating the acquired processing performance is stored in the information storage unit 22.
  • the processing performance management unit 21 includes the image quality evaluation result obtained by the image quality evaluation unit 25a in the processing performance profile.
  • the processing performance management unit 21 acquires the processing performance profiles of the image processing devices 30-1 to 30-n connected to the image processing control device 20a from the information storage unit 22, and acquires the image processing unit 24a and the processing flow setting unit 26a. Output to.
  • FIG. 3 illustrates the processing performance profile.
  • the processing performance profile includes, for example, an image signal transmission/reception method, input/output image resolution, input/output image frame rate, compatible coding method, image processing type, transmittable/receivable characteristic amount and parameter, qualitative image quality, quantitative value. The image quality and the like are shown.
  • the image signal transmission/reception method indicates whether or not encoding is necessary when transmitting/receiving the image signal.
  • the resolution of the input and output images indicates whether the input image and the output image are SD (Standard definition), HD (High definition), 4K, 8K, etc., respectively.
  • the frame rate of the input/output image indicates whether the input image and the output image are 24p, 30p (progressive), 60p, 120p, etc., respectively.
  • Encoding schemes that can be supported are MPEG2, H.264. 264-AVC, H.M. 265-HEVC, VP9, VVC, etc. are shown to be applicable.
  • the type of image processing indicates which of noise removal processing, frame rate conversion processing, scaling processing, enhancement processing, dynamic range conversion processing, etc. is possible.
  • the features and parameters that can be transmitted/received include, for example, local features calculated from test images, full-screen features, parameters for image quality adjustment (setting of image quality adjustment function on/off, strength, etc., adjustment parameter set for image quality adjustment, etc.). ), various settings and control information at the time of encoding are shown.
  • PSNR Peak Signal to Noise Ratio
  • band restoration performance indicating whether the frequency characteristic is up to the high frequency range
  • distortion restoration performance indicating whether the frequency characteristic can be reduced to the high frequency range
  • adjacent pixel difference absolute value etc.
  • Qualitative image quality shows the model-based qualitative image quality evaluation result and the qualitative image quality evaluation result using deep learning such as CNN (Convolution Neural Network).
  • CNN Convolution Neural Network
  • the information storage unit 22 stores the processing performance profile acquired by the processing performance management unit 21.
  • the information storage unit 22 also includes a processing flow set by the processing flow setting unit 26a, which will be described later, and a processing flow indicating an image quality evaluation result obtained by the image quality evaluation unit 25a when image processing is performed by the set processing flow.
  • the information storage unit 22 outputs the processing performance profile in response to the request from the processing performance management unit 21, and outputs the processing flow profile in response to the request from the processing flow setting unit 26a.
  • FIG. 4 illustrates a processing flow profile.
  • the processing flow profile indicates, for example, the setting status of the processing flow, the setting status of image quality adjustment for each image processing apparatus, and the like.
  • the order of the image processing apparatuses that perform the image processing, the input/output information (image, feature amount, control parameter, etc.) for each image processing apparatus, and the image quality evaluation result when the image processing is performed based on the processing flow Etc. are shown.
  • the setting state of image quality adjustment for each image processing apparatus detailed setting of parameters of the image processing apparatus (for example, setting of function ON/OFF, strength and weakness, adjustment parameter set, etc.) is shown.
  • the processing flow profile may include qualitative image quality and quantitative image quality for each image processing apparatus used for image processing.
  • the image storage unit 23a stores in advance evaluation images for performing image quality evaluation of image processing.
  • the image storage unit 23a outputs the evaluation image in response to a request from the image processing unit 24a.
  • the image processing unit 24a includes an evaluation image stored in the image storage unit 23a or an evaluation image supplied from the outside (for example, a received image obtained by receiving a broadcast signal or a distribution signal, a reproduced image of a recording medium, or the like). ) Is processed for each of the image processing devices 30-1 to 30-n to generate a test image. The image processing unit 24a also outputs the generated test image to the corresponding image processing device. Further, the image processing unit 24a outputs the evaluation image used for generating the test image to the image quality evaluation unit 25a so that the image quality of the processed image can be evaluated for each of the image processing devices 30-1 to 30-n.
  • the reverse process to the image process performed for each of the image processing devices 30-1 to 30-n is performed.
  • Evaluation image supplied from the outside FIG. 5 exemplifies the processing performed by the image processing unit 24a.
  • the image processing unit 24a performs a processing process that is the reverse of the image processing on the evaluation image to generate a test image.
  • the image processing unit 24a processes test images corresponding to the processing performance of the image processing devices 30-1 to 30-n, such as encoding, frame rate conversion, resolution conversion (for up conversion), enhancement processing, dynamic range conversion, and the like. To generate.
  • H.264 are added to the evaluation image.
  • Encoding that can be supported by the image processing apparatus in the encoding system such as 265-HEVC, VP9, and VVC is performed. Also, if the encoding method that the image processing apparatus can handle is not clear, a test image is generated for each encoding method.
  • the evaluation image When generating a test image used for frame rate conversion, the evaluation image is dropped so that it has a low frame rate compatible with the image processing device. If the frame rate that the image processing device can handle is not clear, a test image is generated for each preset frame rate.
  • the evaluation image When generating a test image used for resolution conversion, the evaluation image is downscaled so that the resolution can be supported by the image processing device. If the resolution that can be supported by the image processing apparatus is not clear, a test image is generated for each preset resolution.
  • the band of the evaluation image is deteriorated by using a filter.
  • a test image is generated by removing high-pass components such as texture from the evaluation image using a low-pass filter or a band-pass filter.
  • the tone mapping function is used to convert the evaluation image with a high dynamic range into an image with a low dynamic range.
  • the image quality evaluation unit 25a evaluates the image quality of the processed image using the processed image and the evaluation image obtained for each of the image processing devices 30-1 to 30-n, and manages the image quality evaluation result based on the processing performance management. Output to the unit 21.
  • the processing flow setting unit 26a is based on the processing performance profile supplied from the processing performance management unit 21, and is an image processing apparatus that can obtain the best image quality evaluation result for each processing order of a plurality of image processes performed on an input image. To set the optimal processing flow. In addition, the processing flow setting unit 26a generates a control signal so as to perform image processing in the set optimal processing flow, and outputs the control signal to each image processing apparatus. Further, the processing flow setting unit 26a stores the processing flow profile indicating the set optimal processing flow in the information storage unit 22. Further, when the parameter adjustment of the image processing apparatus is possible, the processing flow setting unit 26a sets the parameter that gives the best image quality evaluation result of the processed image obtained by performing the image processing on the test image.
  • the image processing devices 30-1 to 30-n have a processing performance notification unit 31 and a signal processing unit 32.
  • the processing performance notification unit 31 notifies the processing performance of the image processing apparatus to the image processing control apparatus 20.
  • the notification of the processing performance to the image processing control device 20 may be performed in response to a request from the image processing control device 20, or may be performed when the connection with the image processing control device 20 is detected.
  • the signal processing unit 32 performs operation setting based on the control signal from the processing flow setting unit 26a of the image processing control device 20, performs signal processing of the input image, and outputs the signal.
  • FIG. 6 is a flowchart illustrating the operation of the first embodiment.
  • the image processing control device acquires the processing performance of the image processing device in step ST1.
  • the image processing control device 20 acquires information indicating the processing performance from the connected image processing devices 30-1 to 30-n and proceeds to step ST2.
  • the image processing control device updates the processing performance profile in step ST2.
  • the image processing control device 20 updates the processing performance profile stored in the information storage unit 22 based on the processing performance acquired in step ST1 and proceeds to step ST3.
  • the image processing control device generates a test image in step ST3.
  • the image processing control device 20 generates a test image corresponding to the processing performance of the image processing device newly added to the processing performance profile from the evaluation image, and proceeds to step ST4.
  • the image processing control device gives an instruction to process the test image.
  • the image processing controller 20 controls the operation so that the image processing of the test image generated in step ST3 is performed by the newly added image processing device, and the process proceeds to step ST5.
  • the image processing control device evaluates the processed image in step ST5.
  • the image processing control device 20 acquires the processed image obtained by processing the test image instructed in step ST4. Further, the image processing control device 20 evaluates the image quality using the evaluation image and the processed image, and proceeds to step ST6.
  • the image processing control device updates the processing performance profile in step ST6.
  • the image processing control device 20 stores the image quality evaluation result obtained in step ST5 in the processing performance profile, and proceeds to step ST7.
  • the image processing control device determines whether the image quality evaluation is completed.
  • the image processing control device 20 determines whether the image quality evaluation of the processed image has been completed for the newly added image processing device. If there is an image processing apparatus whose image quality evaluation has not been completed, the image processing control apparatus 20 returns to step ST3, generates a test image according to the processing performance of the image processing apparatus whose image quality evaluation has not been completed, and The quality of the processed image is evaluated. In addition, the image processing control device 20 proceeds to step ST8 when the image quality evaluation of the processed image is completed for the newly added image processing device.
  • the image processing control device sets an optimum processing flow.
  • the image processing control device sets an optimum processing flow by selecting an image processing device having the best image quality evaluation for each item when performing image processing of a plurality of preset items for the input image, for example. Proceed to.
  • the image processing control device controls each image processing device based on the optimum processing flow.
  • the image processing control device 20 controls the operation of each image processing device so that the image processing according to the optimum processing flow set in step ST8 is performed using the plurality of image processing devices.
  • step ST9 of FIG. 6 the operation of each image processing apparatus is controlled based on the optimum processing flow.
  • the optimum processing flow is associated with configuration information indicating the image processing apparatus connected to the image processing control apparatus. You may perform the process made to memorize
  • the optimum processing flow when the configuration is the same as the configuration of the connected image processing apparatus is acquired from the information storage unit 22, so that the optimum image is obtained without performing the image quality evaluation or the like. The processing can be performed quickly.
  • the operation example of the first embodiment exemplifies a case where the encoding method is HEVC and an image with a HD resolution of 60p frame rate is an image with a 4K resolution of 120p frame rate.
  • FIG. 7 exemplifies the processing performance profile of the image processing devices 30-1 to 30-8 in the case of performing noise removal processing, frame rate conversion, and resolution conversion as image processing.
  • the image processing device 30-1 is compatible with an encoding method such as the HEVC standard, the quantitative image quality after noise removal processing is “3” and the qualitative image quality is “2”, and the output format is compressed or uncompressed. It is shown that it is possible to support both formats. Further, for example, it is shown that the image processing apparatus 30-2 cannot support the compression of the output format, and the image processing apparatus 30-7 does not support the encoding method such as the HEVC standard.
  • the qualitative image quality is "-" indicating that there is no evaluation. Note that in FIG. 7 and FIGS. 8, 10, 14, and 15 described later, the numerical value indicating the image quality indicates that the image quality deteriorates as the value increases, and the symbol “ ⁇ ” indicates that there is no evaluation. Is shown.
  • the image processing apparatus 30-1 can support both compressed and non-compressed input formats, can convert the frame rate from 60p to 120p, etc. Is "4", the qualitative image quality is "3", and the output format is compatible with both compressed and uncompressed formats. Further, for example, the image processing device 30-3 does not support the frame rate conversion from 60p to 120p, and therefore the quantitative image quality and the qualitative image quality are not evaluated.
  • the image processing apparatus 30-1 can support both compressed and uncompressed input formats, can convert HD resolution to 4K resolution, and the quantitative image quality after resolution conversion is " 1” indicates that the qualitative image quality is “2”, and that the output format is compatible with both compressed and uncompressed formats. Further, for example, since the image processing device 30-5 does not support resolution conversion from HD resolution to 4K resolution, quantitative image quality and qualitative image quality are not evaluated.
  • FIG. 8 shows an operation example of the image processing control device.
  • the processing flow setting unit 26a selects an image processing device having the best image quality in each processing based on the processing performance related to noise removal processing, the processing performance related to frame rate conversion, and the processing performance related to resolution conversion, and sets the processing flow.
  • the noise removal processing is performed using the image processing apparatus 30-8
  • the frame rate conversion processing of the image subjected to the noise removal processing is performed using the image processing apparatus 30-2, and the frame rate conversion processing is performed.
  • the process flow performed by using the image processing device 30-1 is the optimum process flow.
  • the processing flow and the image quality performance set by the processing flow setting unit 26a are stored in the information storage unit 22 so that they can be reused.
  • the optimum processing flow is set so that the optimum image quality can be obtained in each image processing based on the processing performance profile of the plurality of image processing apparatuses connected to the image processing control apparatus. It can be set automatically.
  • the second embodiment is configured similarly to the first embodiment, and the operations of the processing performance management unit 21, the image processing unit 24a, and the processing flow setting unit 26a are different.
  • the processing performance management unit 21 inquires of the image processing apparatuses 30-1 to 30-n about the performance and acquires the processing performance, or inquires of the image processing apparatuses 30-1 to 30-n about the performance.
  • the processing performance notified from the image processing devices 30-1 to 30-n is acquired without performing the processing, and the processing performance profile indicating the acquired processing performance is stored in the information storage unit 22.
  • the processing performance management unit 21 also acquires the processing performance profiles of the image processing devices 30-1 to 30-n connected to the image processing control device 20a from the information storage unit 22 and outputs them to the processing flow setting unit 26a. ..
  • the image processing unit 24a performs the evaluation image stored in the image storage unit 23a or the evaluation image supplied from the outside on the input image based on the processing flow set by the processing flow setting unit 26a. It is generated by performing a processing process that is the reverse process for a plurality of image processes.
  • the image processing unit 24a outputs to the first image processing apparatus in the processing flow set by the processing flow setting unit 26a. Further, the image processing unit 24a outputs the evaluation image used for generating the test image to the image quality evaluation unit 25a so that the image quality of the processed image output from the last image processing apparatus in the processing flow can be evaluated.
  • the processing flow setting unit 26a changes the combination of the image processing devices used for the image processing for each of the plurality of image processings performed on the input image and performs the plurality of processings. Set the flow.
  • the processing flow setting unit 26a causes the image processing unit 24a to generate a test image corresponding to the processing flow for each processing flow that has been set, and the image processing in which the control signal is selected to perform the image processing in the set processing flow. Output to the device.
  • the processing flow setting unit 26a has the best image quality evaluation result of the output image obtained by performing the plurality of image processes on the input image when the parameter adjustment of the image processing apparatus used for each image process is possible.
  • the processing flow setting unit 26a for each processing flow that has been set, the processing flow and the image quality evaluation result supplied from the image quality evaluation unit 25a, or the processing flow profile indicating the processing flow, the image quality evaluation result, and the parameters, the information storage unit 22. Memorize. Further, the processing flow setting unit 26a outputs a control signal to the selected image processing apparatus so as to perform image processing in the optimum processing flow, with the processing flow that gives the best image quality evaluation result as the optimum processing flow. Then, the image processing of the input image is performed using the plurality of image processing devices.
  • FIG. 9 is a flowchart exemplifying the operation of the second embodiment.
  • the image processing control device acquires the processing performance of the image processing device.
  • the image processing control device 20 acquires information indicating the processing performance from the connected image processing devices 30-1 to 30-n and proceeds to step ST12.
  • the image processing control device updates the processing performance profile.
  • the image processing control device 20 updates the processing performance profile stored in the information storage unit 22 based on the processing performance acquired in step ST11, and proceeds to step ST13.
  • step ST13 the image processing control device sets the processing flow.
  • the image processing control device 20 performs the image processing using a plurality of image processing devices based on the processing performance profile stored in the information storage unit 22. Is set and the process proceeds to step ST14.
  • the image processing control device generates a test image in step ST14.
  • the image processing control device 20 generates a test image for performing image processing according to the processing flow set in step ST13 from the evaluation image, and proceeds to step ST15.
  • step ST15 the image processing control device gives an instruction to process the test image.
  • the image processing control device 20 controls the operation of each image processing device so that the image processing of the test image is performed according to the processing flow set in step ST13, and proceeds to step ST16.
  • step ST16 the image processing control device evaluates the processed image.
  • the image processing control device 20 acquires a processed image obtained by processing the test image according to the processing flow set in step ST13. Further, the image processing control device 20 evaluates the image quality using the evaluation image and the processed image, and proceeds to step ST17.
  • step ST17 the image processing control device updates the processing flow profile.
  • the image processing control device 20 generates a processing flow profile indicating the processing flow set in step ST13 and the image quality evaluation result. Further, the image processing control device 20 stores the generated processing flow profile in the information storage unit 22 and proceeds to step ST18.
  • step ST18 the image processing control device determines whether to end the processing flow evaluation. If the image processing control device 20 determines that the image quality evaluation of the new processing flow is to be performed based on the processing performance profile, the process proceeds to step ST19, and if it is determined that the image quality evaluation of each processing flow based on the processing performance profile has ended. It proceeds to step ST20.
  • the image processing control device updates the processing flow in step ST19.
  • the image processing control device 20 updates the processing flow in which the image quality is not evaluated, returns to step ST15, and processes the test image in the updated processing flow.
  • the image processing control device sets an optimal processing flow.
  • the image processing control device 20 selects a processing flow profile with the best image quality evaluation from the processing flow profiles stored in the information storage unit 22. Further, the image processing control device 20 proceeds to step ST21 with the processing flow indicated by the processing flow profile having the best image quality evaluation as the optimum processing flow.
  • step ST21 the image processing control device controls each image processing device based on the optimum processing flow.
  • the image processing control device 20 controls the operation of each image processing device so that the image processing according to the optimum processing flow set in step ST20 is performed using the plurality of image processing devices.
  • step ST21 of FIG. 9 the operation of each image processing apparatus is controlled based on the optimum processing flow.
  • the image processing apparatus connected to the image processing control apparatus is shown in the optimum processing flow.
  • a process of associating information and storing it in the information storage unit 22 may be performed.
  • the optimum processing flow when the configuration is the same as the configuration of the connected image processing apparatus is acquired from the information storage unit 22, so that the optimum image is obtained without performing the image quality evaluation or the like. The processing can be performed quickly.
  • the encoding method is HEVC, and an image having a frame rate of 60p in HD resolution and a frame rate of 120p in 4K resolution is obtained.
  • the image is illustrated as an example.
  • FIG. 10 shows an operation example of the image processing control device.
  • the processing flow setting unit 26a sets the combination of the image processing devices that provides the best image quality of the processed image when the noise removal processing, the frame rate conversion, and the resolution conversion are performed in this order as the optimum processing flow.
  • the noise removal processing is performed using the image processing apparatus 30-8, the frame rate conversion processing of the image subjected to the noise removal processing is performed using the image processing apparatus 30-4, and the frame rate conversion processing is performed.
  • the resolution conversion process of the image subjected to the process is shown in the case where the processed image obtained by the process flow performed using the image processing device 30-7 has the best image quality.
  • the optimum processing flow can be automatically set so that the image quality of the output image obtained by performing the image processing of a plurality of items on the input image is the best.
  • FIG. 11 illustrates the configuration of the third embodiment of the image processing control device.
  • the image processing control device 20b includes a processing performance management unit 21, an information storage unit 22, an image storage unit 23b, an image processing unit 24b, an image quality evaluation unit 25b, a processing flow setting unit 26b, a display unit 27, and an operation unit 28. The case is shown.
  • the processing performance management unit 21 makes an inquiry about the performance to the image processing apparatuses 30-1 to 30-n to obtain the processing performance, or makes an inquiry about the performance to the image processing apparatuses 30-1 to 30-n.
  • the processing performance notified from the image processing devices 30-1 to 30-n is acquired without performing the processing, and the processing performance profile indicating the acquired processing performance is stored in the information storage unit 22. Further, the processing performance management unit 21 includes the image quality evaluation result obtained by the image quality evaluation unit 25a in the processing performance profile.
  • the processing performance management unit 21 acquires the processing performance profiles of the image processing devices 30-1 to 30-n connected to the image processing control device 20a from the information storage unit 22, and acquires the image processing unit 24b and the processing flow setting unit 26b. Output to.
  • the information storage unit 22 stores the processing performance profile acquired by the processing performance management unit 21.
  • the information storage unit 22 also stores the processing flow set by the processing flow setting unit 26b and the processing flow profile indicating the image quality evaluation result obtained by the image quality evaluation unit 25b.
  • the information storage unit 22 outputs the processing performance profile in response to the request from the processing performance management unit 21, and outputs the processing flow profile in response to the request from the processing flow setting unit 26b.
  • the image storage unit 23b stores in advance an evaluation image for performing image quality evaluation of image processing according to the image processing.
  • the image storage unit 23b outputs the evaluation image in response to a request from the image processing unit 24b or an operation signal indicating a user instruction from the operation unit 28 described later.
  • the image processing unit 24b based on the processing performance of the image processing apparatus or the processing flow or operation signal set by the processing flow setting unit 26b, is used for the evaluation image stored in the image storage unit 23b or the evaluation image supplied from the outside. A processing image is processed to generate a test image. The image processing unit 24b also outputs the generated test image to the corresponding image processing apparatus, and outputs the evaluation image used for generating the test image to the image quality evaluation unit 25b.
  • the image quality evaluation unit 25b acquires the processed image from the image processing apparatus, evaluates the image quality of the processed image using the evaluation image and the processed image, and outputs the image quality evaluation result to the processing performance management unit 21 or the processing flow setting unit 26b. To do.
  • the processing flow setting unit 26b sets the optimum processing flow in the same manner as in the first embodiment or the second embodiment, and the operation of each image processing apparatus so as to perform image processing according to the set optimum processing flow. To control. Further, the processing flow setting unit 26b sets the optimal processing flow such that the processing performance designated based on the operation signal is emphasized or the image processing is performed in the designated processing order.
  • the display unit 27 displays the processing performance profile read by the processing performance management unit 21 and the processing flow set by the processing flow setting unit 26b.
  • the operation unit 28 is provided on the display screen of the display unit 27, and the display unit 27 and the operation unit 28 configure a GUI (Graphical User Interface).
  • the operation unit 28 generates an operation signal indicating a user instruction made based on the display on the display unit 27.
  • the image processing devices 30-1 to 30-n have a processing performance notification unit 31 and a signal processing unit 32.
  • the processing performance notification unit 31 notifies the image processing control device 20b of the processing performance of the image processing device.
  • the notification of the processing performance of the image processing control device 20b may be performed in response to a request from the image processing control device 20b, or may be performed when the connection with the image processing control device 20b is detected.
  • the signal processing unit 32 performs operation setting based on the control signal from the processing flow setting unit 26b of the image processing control device 20b, performs signal processing of the input image, and outputs the signal.
  • FIG. 12 is a flowchart illustrating the operation of the third embodiment. Note that the third embodiment exemplifies a case where the processes from step ST31 are performed after the processes of steps ST11 to ST20 of the first embodiment.
  • step ST31 the image processing control device determines whether or not there is a user instruction for the optimum processing flow.
  • the image processing control device 20 proceeds to step ST32 when determining that there is a user instruction, and proceeds to step ST33 when determining that there is no user instruction.
  • step ST32 the image processing control device performs a user instruction corresponding process.
  • the process flow based on the user instruction is set as the optimum process flow instead of the optimum process flow set in step ST20.
  • FIG. 13 is a flowchart exemplifying the user instruction handling process.
  • the image processing control device sets a processing flow based on a user instruction. Based on the user instruction indicated by the operation signal, the image processing control device selects the image processing order, the image processing device used for the image processing, or specifies the priority processing performance, and the like, and proceeds to step ST322.
  • step ST322 the image processing control device gives an instruction to process the test image.
  • the image processing control device causes the test image to be processed using the plurality of image processing devices according to the processing flow set in step ST321, and proceeds to step ST323.
  • step ST323 the image processing control device evaluates the processed image.
  • the image processing control device 20b acquires the processed image obtained by processing the test image according to the processing flow set in step ST321. Further, the image processing control device 20 evaluates the image quality using the evaluation image and the processed image, and proceeds to step ST324.
  • step ST324 the image processing control device performs an image saving process.
  • the image processing control device stores the processed image acquired in step ST323 in the image storage unit 23b as a user image quality image.
  • step ST325 the image processing control device updates the processing flow profile.
  • the image processing control device 20 generates the processing flow set in step ST321 and the processing flow profile indicating the image quality evaluation result. Further, the image processing control device 20 stores the generated processing flow profile in the information storage unit 22 and proceeds to step ST326.
  • the processing flow profile and the user image quality image are associated with each other so that it is possible to confirm what kind of processing flow the image quality of the user can obtain. ..
  • step ST326 the image processing control device updates the optimum processing flow based on the user instruction.
  • the image processing control device proceeds to step ST327 with the processing flow selected based on the user instruction as the optimum processing flow.
  • step ST327 the image processing control device determines whether or not the user instruction has ended. If the image processing control unit has not determined that the user instruction has ended, the process returns to step ST321 to evaluate the image quality of the processed image of the new processing flow based on the user instruction, and the user instruction ends. If determined, the process proceeds to step ST33 in FIG.
  • step ST33 the image processing control device controls each image processing device based on the optimum processing flow.
  • the image processing control device 20 controls the operation of each image processing device so that the image processing according to the optimum processing flow set in step ST20 or step ST326 is performed using the plurality of image processing devices.
  • an image processing device or a processing order used in a plurality of image processes performed on an input image is set according to a user instruction.
  • the encoding method is HEVC as in the first and second embodiments, and an image having a HD resolution of 60p and a frame rate of 60p has a 4K resolution of 120p. The case where it is an image is illustrated.
  • the image processing apparatus used in the operation example of the third embodiment is the same as the operation examples of the first and second embodiments.
  • FIG. 14 exemplifies a case where qualitative image quality is prioritized over quantitative image quality in resolution conversion based on a user instruction.
  • the image processing control device selects the image processing device 30-7 having the optimum qualitative image quality for resolution conversion based on the user instruction. That is, the image processing control device 20b performs the noise removal process using the image processing device 30-8, performs the frame rate conversion of the image after the noise removal process using the image processing device 30-2, and performs the noise removal process.
  • the processing flow performed using the image processing device 30-7 is referred to as the optimum processing flow.
  • FIG. 15 exemplifies a case where the processing order is changed based on a user instruction. For example, resolution conversion is performed after noise removal processing, and frame rate conversion is performed on an image on which noise removal processing and resolution conversion have been performed. Be seen.
  • the image processing control apparatus 20b sets the processing flow in which the image quality of the processed image obtained by performing the image processing in the processing order based on the user instruction is the best as the optimum processing flow.
  • the image processing control device 20b performs noise removal processing using the image processing device 30-8, performs resolution conversion of the image after noise removal processing using the image processing device 30-1, and performs noise removal processing and resolution conversion.
  • the processing flow for performing the frame rate conversion of the image subjected to the processing using the image processing device 30-2 is referred to as an optimum processing flow.
  • GUI Graphic User Interface
  • selectable image processing devices and image processing items are two-dimensionally arranged.
  • 16 and 17 are diagrams for explaining a user instruction.
  • selectable image processing devices are arranged in the horizontal direction, and image processing items are arranged in the vertical direction in the processing order.
  • the image processing control device 20b sets or updates the processing flow according to a tap operation, a drag operation, or the like on the GUI screen. For example, as shown in FIG.
  • the image processing control device 20 determines that the tap operation is performed at the position where the tap operation is performed.
  • the processing flow is set so that the image processing apparatus performs image processing of desired processing items. Therefore, the processing flow shown in FIG. 16 can be changed to the processing flow shown in FIG.
  • the image processing control device 20 changes the order of the processing items according to the drag operation, and changes the processing order to the changed processing order.
  • the processing flow is set to perform image processing. Therefore, the processing flow shown in FIG. 17 can be changed to the processing flow shown in FIG.
  • the processing flow can be set so that the processed image having the image quality desired by the user can be obtained.
  • FIG. 18 is a flow chart illustrating the operation of another embodiment. Note that FIG. 18 shows a case where the image processing apparatus is added or deleted after the processing in any of the above-mentioned steps ST20 and ST32 is performed when the optimum processing flow is set.
  • the image processing control device determines whether or not the connected image processing device is changed.
  • the image processing control device 20 detects that the image processing device is newly connected or that the connected image processing device is removed, the image processing control device 20 determines that the image processing device is changed, and proceeds to step ST42. If it is determined that the connected image processing device has not been changed, the process proceeds to step ST51.
  • the image processing control device updates the processing performance profile in step ST42.
  • the image processing control device stores the processing performance profile indicating the processing performance of the newly connected image processing device in the information storage unit 22.
  • the image processing control apparatus may delete the processing performance profile indicating the processing performance of the image processing apparatus whose connection has been terminated from the information storage unit 22, and when the image processing apparatus whose connection has been terminated is reconnected.
  • the processing performance profile may be left stored in the information storage unit 22 so that it can be reused.
  • the image processing control device 20 updates the processing performance profile and proceeds to step ST43.
  • step ST43 the image processing control device determines whether the image processing device is added.
  • the image processing control device proceeds to step ST44 when the change of the image processing device detected at step ST41 is addition of the image processing device, and proceeds to step ST48 when it is the deletion of the image processing device.
  • step ST44 the image processing control device sets a processing flow.
  • the image processing control device 20 performs image processing using a plurality of image processing devices based on the processing performance profile stored in the information storage unit 22.
  • the processing flow is set and the process proceeds to step ST45.
  • step ST45 the image processing control device gives an instruction to process the test image.
  • the image processing control device 20 controls the operation of each image processing device so as to perform the image processing of the test image according to the processing flow set in step ST44, and proceeds to step ST46.
  • step ST46 the image processing control device evaluates the processed image.
  • the image processing control device 20 acquires the processed image obtained by processing the test image according to the processing flow set in step ST44. Further, the image processing control device 20 evaluates the image quality using the evaluation image and the processed image, and proceeds to step ST47.
  • the image processing control device adds a processing flow profile in step ST47.
  • the image processing control device 20 generates a processing flow profile showing the processing flow set in step ST44 and the image quality evaluation result obtained in step ST46. Further, the image processing control device 20 stores the generated processing flow profile in the information storage unit 22 and proceeds to step ST49.
  • step ST48 the image processing control device updates the processing flow profile.
  • the image processing control apparatus 20 proceeds to step ST49 with the processing flow file using the deleted image processing apparatus as a deleted or non-selected processing flow profile.
  • step ST49 the image processing control device sets an optimum processing flow.
  • the image processing control device 20 is stored in the information storage unit 22 and selects a processing flow profile with the best image quality evaluation from processing flow profiles that are not non-selected processing flow profiles. Further, the image processing control apparatus 20 proceeds to step ST50 with the processing flow indicated by the processing flow profile having the best image quality evaluation as the optimum processing flow.
  • step ST50 the image processing control device controls each image processing device based on the optimum processing flow.
  • the image processing control device 20 controls the operation of each image processing device so that the image processing according to the optimum processing flow set in step ST49 is performed using the plurality of image processing devices, and proceeds to step ST51.
  • the image processing control device determines whether or not the image processing has ended.
  • the image processing control device 20 determines that the image processing is finished when, for example, the user gives an end instruction or when the image to be processed is finished, and proceeds to step ST52.
  • the image processing control device 20 returns to step ST41 when the end of the image processing is not determined.
  • the image processing control device performs termination processing.
  • the image processing control device 20 ends the operation of the image processing device used in the optimum processing flow.
  • the optimum processing flow is set so that the image quality of the output image on which the image processing of a plurality of items has been performed becomes the best, but the image processing apparatus having the best image quality for each item is selected and optimized.
  • the processing flow may be set. In this case, image processing is performed using a test image according to the processing performance of the added image processing apparatus, the image quality of the processed image is evaluated, and the evaluation result is included in the processing performance profile. Furthermore, the image processing apparatus with the best image quality evaluation may be selected for each item of image processing based on the processing performance profile.
  • the blocks constituting the image processing control device shown in FIGS. 2 and 11 are not limited to being integrally provided.
  • the processing of the image processing unit and the image quality evaluation unit may be performed by an external device to reduce the load on the image processing control device. The same applies to the image processing control device shown in FIG. 19 described later.
  • the optimum processing flow is set by using the quantitative image quality and the qualitative image quality individually, but the optimum processing flow may be set based on the integrated score of the quantitative image quality and the qualitative image quality.
  • a weighted addition value of the quantitative image quality and the qualitative image quality is used as the integrated score QT.
  • Formula (1) has illustrated the calculation formula of integrated score QT. In equation (1), the PSNR improvement amount Qa and the score Qb indicating the qualitative image quality are used, and the weight for the improvement amount Qa is “Wa” and the weight for the score Qb is “Wb”.
  • QT Wa ⁇ Qa +Wb ⁇ Qb (1)
  • FIG. 19 exemplifies a configuration when the image quality is evaluated using the display image after the image processing.
  • the image processing system includes an image processing control device 20c, a plurality of image processing devices 30-in to 30-out, a display device 40, and an imaging device 50.
  • the image processing control device 20c has the same configuration as the above-described image processing control device 20a (20b), and the image used by the image quality evaluation unit 25a (25b) is different. That is, the image quality evaluation unit 25c of the image processing control device 20c uses the captured image acquired by the imaging device 50.
  • the input image to be image-processed is input to the image processing apparatus 30-in, and the output image after the image processing is output from the image processing apparatus 30-out.
  • the display device 40 displays the output image output from the image processing device 30-out.
  • the imaging device 50 captures the output image displayed on the display device 40 and outputs the captured image to the image quality evaluation unit 25c of the image processing control device 20c. Further, the display device 40 may superimpose a region display indicating an image region used for image quality evaluation on the processed image, and the imaging device 50 may capture the processed image in the region indicated by the region display.
  • FIG. 20 shows an operation example when the image quality is evaluated by using the display image after the image processing.
  • FIG. 20A illustrates a display image. In the display image, for example, an area frame AR indicating an evaluation area is shown. 20B illustrates an image of the evaluation area in the evaluation image, and FIG. 20C illustrates a test image indicating the evaluation area.
  • (d) of FIG. 20 illustrates a processed image obtained by performing image processing on the test image.
  • the image quality evaluation unit 25c performs the image quality evaluation of (d) of FIG. 20 with respect to (b) of FIG.
  • the appearance of the processed image is considered so that the displayed processed image has the optimum image quality. Then, the optimum processing flow can be set.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • it may be realized as an apparatus mounted on a device used in a production process in a factory or a device used in the construction field.
  • it can be applied to the medical field. When applied to such a field, it becomes possible to provide the user with an image of good quality.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed.
  • the program can be installed and executed in a general-purpose computer that can execute various processes.
  • the program can be recorded in advance in a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disc, semiconductor memory card. It can be stored (recorded) temporarily or permanently in a removable recording medium such as.
  • a removable recording medium can be provided as so-called package software.
  • the program may be wirelessly or wired transferred from the download site to the computer via a network such as a LAN (Local Area Network) or the Internet.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the program thus transferred can be received and installed in a recording medium such as a built-in hard disk.
  • the image processing control device of the present technology can also have the following configurations. (1) Based on the image quality evaluation result of the processed image obtained by processing the test image with the plurality of image processing apparatuses, the image processing apparatus used for the image processing is selected for each of the plurality of image processing performed on the input image.
  • An image processing control device including a processing flow setting unit configured to set a processing flow according to an embodiment.
  • the test image is an image generated by performing a processing process that is the reverse process of the image process on the evaluation image, The image processing control device according to (1), wherein the processing flow setting unit selects an image processing device to be used for the image processing based on an image quality evaluation result of the processed image with respect to the evaluation image.
  • the image processing control device selects an image processing device that provides the best image quality evaluation result for each of the image processes.
  • the test image is an image obtained by performing the processing on an evaluation image corresponding to the image processing apparatus for each image processing apparatus.
  • the processing flow setting unit obtains the best image quality evaluation result of an output image obtained by performing a plurality of image processes on the input image from a combination of image processing devices used for each of the image processes.
  • the image processing control device which selects a combination of image processing devices.
  • the processing flow setting unit performs the parameter adjustment of the image processing apparatus used for each image processing, and the image quality evaluation result of the output image obtained by performing the plurality of image processing on the input image is the best.
  • the image processing control device according to (5) wherein the image processing control device is set to the following parameter.
  • the test image is subjected to a processing process, which is the reverse process of a plurality of image processes performed on the input image based on the processing flow set by the processing flow setting unit, on the evaluation image.
  • the image processing control device according to (5) or (6) which is an image generated by performing the image processing.
  • Any one of (2) to (7) further including a processing order of the plurality of image processings, information indicating an image processing apparatus selected for each processing order, and an information storage unit that stores the image quality evaluation result.
  • An image processing control device according to claim 1.
  • a processing performance management unit that detects an image processing apparatus that can be used for image processing of the input image based on the processing performance of the image processing apparatus, The image processing control device according to any one of (2) to (8), wherein the processing flow setting unit selects an image processing device to be used for the image processing from a plurality of image processing devices detected by the processing performance management unit. ..
  • the processing performance management unit detects a change in an image processing apparatus that can be used for image processing of the input image, The image processing according to (9), wherein the processing flow setting unit selects an image processing apparatus to be used for the image processing from the available image processing apparatuses after the change when the available image processing apparatus changes.
  • Control device (11) The image processing according to any one of (2) to (10), in which the processing flow setting unit changes the processing order of the plurality of image processings and the selected image processing apparatus according to a user instruction. Processing controller.
  • a display unit that displays the processing performance of the plurality of image processing apparatuses and the processing flow set by the processing flow setting unit,
  • the image processing control device according to (11), further including an operation unit which is provided on a display screen of the display unit and receives the user instruction made based on the display of the display unit.
  • the image quality evaluation result uses an evaluation result of qualitative image quality and quantitative image quality or an evaluation result obtained by integrating evaluation results of qualitative image quality and quantitative image quality. ..
  • the image processing control device according to any one of (1) to (13), wherein the image quality evaluation result indicates an image quality evaluation result of a captured image obtained by capturing the displayed processed image.
  • the present technology includes the following programs.
  • a program that causes a computer to execute control of image processing using a plurality of image processing devices Based on the image quality evaluation result of the processed image obtained by processing the test image with the plurality of image processing devices, the image processing device used for the image processing is selected for each of the plurality of image processes performed on the input image, and the processing flow is performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

画像処理制御装置２０は、画像処理装置３０-1～３０-nの処理性能を取得して、画像処理装置３０-1～３０-n毎に処理性能に応じたテスト画像を処理させる。また、画像処理制御装置２０は、処理後のテスト画像の画質評価を行い、画像処理装置３０-1～３０-nの処理性能と画質評価結果に基づき、入力画像に対して行う画像処理毎に、画質の良好な処理画像が得られる画像処理装置を選択することで、最適処理フローを設定して、最適処理フローに基づき画像処理装置を制御する。したがって、画質の良好な出力画像が得られるように画像処理を複数の画像処理装置に分担させることができるようになる。

Description

画像処理制御装置と画像処理制御方法
　この技術は、画像処理制御装置と画像処理制御方法に関し、高品質の処理画像を得られるようにする。
　従来、複数の装置を用いて入力信号に対する画像処理を協調して分担することにより、１つの装置で画像処理を行う場合よりも高品質の処理結果を得るｓｔことが行われている。例えば、特許文献１では、他の装置が接続されているかどうかを判定して、他の装置が接続されているときと、接続されていないときとで、入力信号を処理する信号処理手段の機能を変化させることが行われている。また、特許文献２では、ディスプレイデバイスと相互接続される複数のデバイスの間でオーディオおよびビデオ処理タスクを分散させることで、ディスプレイデバイスは、幾つかの処理タスクから解放されて処理性能の向上が達成されている。
特開２００２－３７４４６１号公報 特許第５６８９８０２号公報
　ところで、所定の画像処理装置に接続された他の装置で画像処理の一部を分担して行う場合、所定の画像処理装置の負荷は軽減されるが、他の装置の性能に応じて処理を分担しても、高品質の処理画像が得られるとは限らない。
　そこで、この技術では、画質の良好な出力画像が得られるように画像処理を複数の画像処理装置に分担させることができる画像処理制御装置と画像処理制御方法を提供する。
　この技術の第１の側面は、
　テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を選択して処理フローを設定する処理フロー設定部
を備える画像処理制御装置にある。
　この技術では、テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、画像処理に用いる画像処理装置を選択することで処理フローを設定する。テスト画像は、画像処理に対して逆の処理である加工処理を評価用画像に対して行うことにより生成された画像であり、画像評価結果は、評価用画像に対する処理画像の定性画質と定量画質の評価結果あるいは定性画質と定量画質の評価結果を統合した評価結果を用いる。画像処理制御装置の処理フロー設定部は、例えば画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択する。この場合、テスト画像は、画像処理装置毎に、画像処理装置の処理性能に応じた評価用画像に対して加工処理が行われた画像を用いる。また、例えば、処理フロー設定部は、画像処理毎に用いる画像処理装置の組み合わせを替えて複数の処理フローを設定して、入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となる処理フローの画像処理装置を選択する。この場合、テスト画像は、処理フロー設定部で設定された処理フローに基づき入力画像に対して行う複数の画像処理に対して逆の処理である加工処理を評価用画像に対して行うことにより生成された画像を用いる。また、処理フロー設定部は、画像処理毎に用いる画像処理装置のパラメータ調整を行い、入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となるパラメータに設定してもよい。
　また、画像処理制御装置には、複数の画像処理の処理順と、処理順毎に選択された画像処理装置を示す情報と、画質評価結果を記憶する情報記憶部を設けてもよい。また、画像処理装置の処理性能に基づき、入力画像の画像処理に利用可能な画像処理装置を検出する処理性能管理部を設けて、処理フロー設定部は、処理性能管理部で検出された複数の画像処理装置から画像処理に用いる画像処理装置を選択してもよい。また、処理性能管理部は、入力画像の画像処理に利用可能な画像処理装置の変化を検出して、処理フロー設定部は、利用可能な画像処理装置の変化が生じた場合に、変化後に利用可能な画像処理装置から画像処理に用いる画像処理装置を選択する。また、例えば複数の画像処理装置の処理性能と処理フロー設定部で設定された処理フローを表示する表示部と、表示部の表示画面上に設けられて、表示部の表示に基づいて行われたユーザ指示を受け付ける操作部とをさらに設けて、処理フロー設定部は、複数の画像処理の処理順と、選択された画像処理装置を、ユーザ指示に応じて変更してもよい。
　この技術の第２の側面は、
　テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を処理フロー設定部で選択して処理フローを設定すること
を含む画像処理制御方法にある。
画像処理システムの構成を例示した図である。 画像処理制御装置の第１の実施の形態の構成を例示した図である。 処理性能プロファイルを例示した図である。 処理フロープロファイルを例示した図である。 加工処理を例示した図である。 第１の実施の形態の動作を例示したフローチャートである。 処理性能プロファイルを例示した図である。 画像処理制御装置の動作例を示す図である。 第２の実施の形態の動作を例示したフローチャートである。 画像処理制御装置の動作例を示す図である。 第３の実施の形態の構成を例示した図である。 第３の実施の形態の動作を例示したフローチャートである。 ユーザ指示対応処理を例示したフローチャートである。 解像度変換で定量画質よりも定性画質を優先させた場合を例示した図である。 処理順序が変更された場合を例示した図である。 ユーザ指示（例えばタップ操作）を説明するための図である。 ユーザ指示（例えばドラッグ操作）を説明するための図である。 他の実施の形態の動作を例示したフローチャートである。 画像処理後の表示画像を利用して画質評価を行う場合の構成を例示した図である。 画像処理後の表示画像を利用して画質評価を行う場合の動作例を示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．画像処理システムについて
　２．第１の実施の形態
　　２－１．第１の実施の形態の構成
　　２－２．第１の実施の形態の動作
　３．第２の実施の形態
　　３－１．第２の実施の形態の構成と動作
　４．第３の実施の形態
　　４－１．第３の実施の形態の構成
　　４－２．第３の実施の形態の動作
　５．他の実施の形態について
　　５－１．システム構成について
　　５－２．画質について
　６．応用例
　　＜１．画像処理システムについて＞
　図１は、本技術の画像処理制御装置を用いた画像処理システムの構成を示している。画像処理システム１０は画像処理制御装置２０と複数の画像処理装置３０-1～３０-nを用いて構成されており、画像処理制御装置２０と複数の画像処理装置３０-1～３０-nは、有線または無線の伝送路を介して接続されている。また、画像処理制御装置２０は、画像処理装置３０-1～３０-nと別個に構成されていてもよく、画像処理装置３０-1～３０-nのいずれかに内蔵されてもよい。
　画像処理制御装置２０は、画像処理装置３０-1～３０-nの処理性能を取得して、画像処理装置３０-1～３０-n毎に処理性能に応じたテスト画像を処理させる。または、画像処理制御装置２０は、テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を選択して処理フローを設定する。テスト画像は、評価用画像に対して画像処理に対する逆の処理を行う加工処理によって生成された画像であり、画像評価結果は、評価用画像に対する処理画像の画質評価結果である。
　画像処理制御装置２０は、画像処理に用いる画像処理装置の選択において、画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択してもよく、画像処理毎に用いる画像処理装置の組み合わせから、入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となる組み合わせの画像処理装置を選択してもよい。さらに、画像処理制御装置２０は設定した処理フローで画像処理が行われるように、画像処理装置３０-1～３０-nの動作を制御する。
　画像処理装置３０-1～３０-nは、画像処理制御装置２０に対して処理性能の通知、画像処理制御装置２０から供給されたテスト画像の画像処理、処理後のテスト画像の返送、画像処理制御装置２０からの制御信号に基づき入力画像の画像処理等を行う。
　＜２．第１の実施の形態について＞
　＜２－１．第１の実施の形態の構成＞
　次に、第１の実施の形態について説明する。第１の実施の形態では、画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択して最適処理フローを設定する場合について説明する。図２は、画像処理制御装置の第１の実施の形態の構成を例示している。なお、画像処理制御装置２０ａは、処理性能管理部２１，情報記憶部２２，画像記憶部２３ａ，画像加工部２４ａ，画質評価部２５ａ，処理フロー設定部２６ａを有している場合を示している。
　処理性能管理部２１は、画像処理装置３０-1～３０-nに対して性能の問い合わせを行い処理性能を取得して、あるいは画像処理装置３０-1～３０-nに対して性能の問い合わせを行うことなく画像処理装置３０-1～３０-nから通知された処理性能を取得して、取得した処理性能を示す処理性能プロファイルを情報記憶部２２に記憶する。また、処理性能管理部２１は、画質評価部２５ａで得られた画質評価結果を処理性能プロファイルに含める。処理性能管理部２１は、画像処理制御装置２０ａに接続されている画像処理装置３０-1～３０-nの処理性能プロファイルを情報記憶部２２から取得して画像加工部２４ａと処理フロー設定部２６ａへ出力する。
　図３は、処理性能プロファイルを例示している。処理性能プロファイルでは、例えば画像信号の送受信方法、入出力画像の解像度、入出力画像のフレームレート、対応可能な符号化方式、画像処理の種類、送受信が可能な特徴量やパラメータ、定性画質、定量画質等が示されている。
　画像信号の送受信方法では、画像信号の送受信の際に符号化が必要であるか不要であるか示されている。
　入出力画像の解像度では、入力画像と出力画像がそれぞれＳＤ（Standard definition），ＨＤ（High definition），４Ｋ，８Ｋ等のいずれの解像度であるか示されている。入出力画像のフレームレートでは、入力画像と出力画像がそれぞれ２４ｐ，３０ｐ(progressive)，６０ｐ，１２０ｐ等のいずれであるか示されている。
　対応可能な符号化方式では、ＭＰＥＧ２，Ｈ．２６４－ＡＶＣ，Ｈ．２６５－ＨＥＶＣ，ＶＰ９，ＶＶＣ等のいずれの符号化方式に対応可能であるか示されている。
　画像処理の種類では、ノイズ除去処理，フレームレート変換処理，スケーリング処理，エンハンス処理，ダイナミックレンジ変換処理等のいずれの処理が可能であるか示されている。
　送受信が可能な特徴量やパラメータとしては、例えばテスト画像から算出した局所特徴量や全画面特徴量，画質調整用のパラメータ（画質調整機能のオンオフや強弱等の設定、画質調整の調整パラメータセット等），符号化時の各種設定や制御情報等が示されている。
　定量画質では、ＰＳＮＲ（Peak Signal to Noise Ratio），周波数特性が高域まで出ているかを示す帯域復元性能，周波数特性が高域を落とせているかを示す歪復元性能，隣接画素差分絶対値等の画像特徴量，符号化処理のデブロックフィルタで処理する歪の検出結果等が示されている。
　定性画質では、モデルベースの定性画質評価結果やＣＮＮ（Convolution Neural Network）等の深層学習等を用いた定性画質評価結果等が示されている。例えば、文献「Weilong Hou, Xinbo Gao, Dacheng Tao, Xuelong Li, “Blind Image Quality Assessment via Deep Learning”, IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, VOL. 26, NO. 6, JUNE 2015」に記載されている手法を用いて算出した画質評価のスコアや、文献「Richard Zhang, Phillip Isola, Alexei A. Efros, Eli Shechtman, Oliver Wang, “The Unreasonable Effectiveness of Deep Features as a Perceptual Met”, CVPR 2018」に記載されている手法を用いて算出した評価用画像に対する処理画像の類似度を示す値等が示されている。なお、評価用画像と処理画像については後述する。
　図２に戻り、情報記憶部２２は、処理性能管理部２１で取得された処理性能プロファイルを記憶する。また、情報記憶部２２は、後述する処理フロー設定部２６ａで設定された処理フローおよび設定された処理フローで画像処理を行ったときに画質評価部２５ａで得られた画質評価結果を示す処理フロープロファイルを記憶する。情報記憶部２２は、処理性能管理部２１からの要求に応じて処理性能プロファイルを出力して、処理フロー設定部２６ａからの要求に応じて処理フロープロファイルを出力する。
　図４は、処理フロープロファイルを例示している。処理フロープロファイルでは、例えば処理フローの設定状態、画像処理装置毎の画質調整の設定状態等が示されている。
　処理フローの設定状態では、画像処理を行う画像処理装置の順序，画像処理装置毎の入出力情報（画像や特徴量や制御パラメータ等），処理フローに基づき画像処理を行ったときの画質評価結果等が示されている。画像処理装置毎の画質調整の設定状態では、画像処理装置のパラメータの詳細設定（例えば機能のオンオフや強弱等の設定、調整パラメータセット等）が示されている。なお、処理フロープロファイルには、画像処理に用いる画像処理装置毎の定性画質や定量画質を含めてもよい。
　画像記憶部２３ａには、画像処理の画質評価を行うための評価用画像が予め記憶されている。画像記憶部２３ａは、画像加工部２４ａからの要求に応じて評価用画像を出力する。
　画像加工部２４ａは、画像記憶部２３ａに記憶されている評価用画像あるいは外部から供給された評価用画像（例えは放送信号や配信信号を受信して得られる受信画像あるいは記録媒体の再生画像等）に対して画像処理装置３０-1～３０-n毎に、画像処理装置の処理性能に応じた加工処理を行いテスト画像を生成する。また、画像加工部２４ａは、生成したテスト画像を対応する画像処理装置へ出力する。さらに、画像加工部２４ａは、画像処理装置３０-1～３０-n毎に処理画像の画質評価を行えるように、テスト画像の生成に用いた評価用画像を画質評価部２５ａへ出力する。なお、加工処理では、画像処理装置３０-1～３０-n毎に行われる画像処理に対して逆の処理を行う。外部から供給された評価用画像
　図５は、画像加工部２４ａで行う加工処理を例示している。画像加工部２４ａは、画像処理に対して逆の処理である加工処理を評価用画像に対して行いテスト画像を生成する。画像加工部２４ａは、画像処理装置３０-1～３０-nの処理性能、例えば符号化やフレームレート変換、解像度変換（例えばアップコンバート用）、エンハンス処理、ダイナミックレンジ変換等に対応したテスト画像を生成する。
　符号化に用いるテスト画像の生成では、例えば評価用画像に対してＭＰＥＧ２，Ｈ．２６４－ＡＶＣ，Ｈ．２６５－ＨＥＶＣ，ＶＰ９，ＶＶＣ等の符号化方式における画像処理装置で対応可能な符号化を行う。また、画像処理装置で対応可能な符号化方式が明らかでない場合は符号化方式毎にテスト画像を生成する。
　フレームレート変換に用いるテスト画像の生成では、画像処理装置で対応可能な低フレームレートとなるように評価用画像をコマ落ちさせる。また、画像処理装置で対応可能なフレームレートが明らかでない場合は、予め設定されているフレームレート毎にテスト画像を生成する。
　解像度変換に用いるテスト画像の生成では、画像処理装置で対応可能な解像度となるように評価用画像をダウンスケーリングする。また、画像処理装置で対応可能な解像度が明らかでない場合は、予め設定されている解像度毎にテスト画像を生成する。
　エンハンス処理に用いるテスト画像の生成では、フィルタを用いて評価用画像の帯域を劣化させる。例えば、低域通過フィルタや帯域通過フィルタを用いて評価用画像からテクスチャのような高域成分を除去してテスト画像を生成する。
　ダイナミックレンジ変換に用いるテスト画像の生成では、トーンマッピング関数を用いて高ダイナミックレンジである評価用画像を低ダイナミックレンジの画像に変換する。
　図２に戻り、画質評価部２５ａは、画像処理装置３０-1～３０-n毎に得られた処理画像と評価用画像を用いて処理画像の画質評価を行い、画質評価結果を処理性能管理部２１へ出力する。
　処理フロー設定部２６ａは、処理性能管理部２１から供給された処理性能プロファイルに基づき、入力画像に対して行う複数の画像処理の処理順毎に、最も良好な画質評価結果が得られる画像処理装置を選択して最適処理フローを設定する。また、処理フロー設定部２６ａは、設定された最適処理フローでの画像処理を行うように制御信号を生成して各画像処理装置へ出力する。さらに、処理フロー設定部２６ａは、設定した最適処理フローを示す処理フロープロファイルを情報記憶部２２に記憶させる。また、処理フロー設定部２６ａは、画像処理装置のパラメータ調整が可能である場合、テスト画像に対して画像処理を行うことにより得られる処理画像の画質評価結果が最も良好となるパラメータに設定する。
　画像処理装置３０-1～３０-nは、処理性能通知部３１と信号処理部３２を有している。処理性能通知部３１は、画像処理装置の処理性能を画像処理制御装置２０へ通知する。なお、画像処理制御装置２０への処理性能の通知は、画像処理制御装置２０からの要求に応じて行ってもよく、画像処理制御装置２０との接続を検出した場合に行ってもよい。信号処理部３２は、画像処理制御装置２０の処理フロー設定部２６ａからの制御信号に基づき動作設定を行い、入力画像の信号処理を行って出力する。
　＜２－２．第１の実施の形態の動作＞
　次に第１の実施の形態の動作について説明する。図６は第１の実施の形態の動作を例示したフローチャートである。
　ステップＳＴ１で画像処理制御装置は画像処理装置の処理性能を取得する。画像処理制御装置２０は接続されている画像処理装置３０-1～３０-nから処理性能を示す情報を取得してステップＳＴ２に進む。
　ステップＳＴ２で画像処理制御装置は処理性能プロファイルを更新する。画像処理制御装置２０は、ステップＳＴ１で取得した処理性能に基づき情報記憶部２２に記憶されている処理性能プロファイルを更新してステップＳＴ３に進む。
　ステップＳＴ３で画像処理制御装置はテスト画像を生成する。画像処理制御装置２０は、処理性能プロファイルに新たに追加された画像処理装置の処理性能に対応するテスト画像を評価用画像から生成してステップＳＴ４に進む。
　ステップＳＴ４で画像処理制御装置はテスト画像の処理を指示する。画像処理制御装置２０はステップＳＴ３で生成したテスト画像の画像処理を新たに追加された画像処理装置で行うように動作制御を行いステップＳＴ５に進む。
　ステップＳＴ５で画像処理制御装置は処理画像の評価を行う。画像処理制御装置２０はステップＳＴ４で指示したテスト画像の処理を行って得られた処理画像を取得する。また、画像処理制御装置２０は、評価用画像と処理画像を用いて画質の評価を行ってステップＳＴ６に進む。
　ステップＳＴ６で画像処理制御装置は処理性能プロファイルを更新する。画像処理制御装置２０は、ステップＳＴ５で得られた画質評価結果を処理性能プロファイルに記憶させてステップＳＴ７に進む。
　ステップＳＴ７で画像処理制御装置は画質評価の完了であるか判別する。画像処理制御装置２０は、新たに追加された画像処理装置について処理画像の画質評価が完了したか判別する。画像処理制御装置２０は、画質評価が完了していない画像処理装置がある場合はステップＳＴ３に戻り、画質評価が完了していない画像処理装置の処理性能に応じたテスト画像を生成して、画像処理および処理画像の画質評価を行わせる。また、画像処理制御装置２０は、新たに追加された画像処理装置について処理画像の画質評価が完了した場合にステップＳＴ８に進む。
　ステップＳＴ８で画像処理制御装置は最適処理フローを設定する。画像処理制御装置は、入力画像について例えば予め設定された複数項目の画像処理を行う場合に、項目毎に画質評価が最も良好な画像処理装置を選択することで最適処理フローを設定してステップＳＴ９に進む。
　ステップＳＴ９で画像処理制御装置は最適処理フローに基づき各画像処理装置を制御する。画像処理制御装置２０は、ステップＳＴ８で設定された最適処理フローに応じた画像処理が複数の画像処理装置を用いて行われるように、各画像処理装置の動作を制御する。
　なお、図６のステップＳＴ９では、最適処理フローに基づき各画像処理装置の動作を制御しているが、最適処理フローに画像処理制御装置に接続されている画像処理装置を示す構成情報を関連付けて情報記憶部２２に記憶させる処理を行ってもよい。この場合、画像処理を行う際に、接続されている画像処理装置の構成と等しい構成であるときの最適処理フローを情報記憶部２２から取得することで、画質評価等を行うことなく最適な画像処理を速やかに行うことができるようになる。
　次に、第１の実施の形態の動作例について説明する。なお、第１の実施の形態の動作例では、符号化方式がＨＥＶＣであり、ＨＤ解像度で６０ｐのフレームレートの画像を４Ｋ解像度１２０ｐのフレームレートの画像とする場合を例示している。
　図７は、画像処理としてノイズ除去処理とフレームレート変換および解像度変換を行う場合における画像処理装置３０-1～３０-8の処理性能プロファイルを例示している。
　ノイズ除去処理に関する処理性能では、例えば対応可能な符号化方式、定量画質，定性画質、出力フォーマットに関する情報が用いられている。画像処理装置３０-1では、ＨＥＶＣ規格等の符号化方式に対応可能であり、ノイズ除去処理後の定量画質が「３」で定性画質が「２」であること、出力フォーマットが圧縮と非圧縮のいずれのフォーマットにも対応可能であることが示されている。また、例えば画像処理装置３０-2では、出力フォーマットが圧縮に対応できないことが示されており、画像処理装置３０-7では、ＨＥＶＣ規格等の符号化方式に対応していないことから、定量画質と定性画質は評価がないことを示す「－」となっている。なお、図７および後述する図８，１０，１４，１５において、画質を示す数値は、値が大きくなるに伴い画質が低下していることを示しており、記号「－」は評価がないことを示している。
　フレームレート変換に関する処理性能では、例えば入力フォーマット、対応可能なフレームレート、定量画質，定性画質、出力フォーマットに関する情報が用いられている。画像処理装置３０-1では、入力フォーマットが圧縮と非圧縮のいずれのフォーマットにも対応可能であること、フレームレートを６０ｐから１２０ｐ等に変換することが可能であり、フレームレート変換後の定量画質が「４」で定性画質が「３」であること、出力フォーマットが圧縮と非圧縮のいずれのフォーマットにも対応可能であることが示されている。また、例えば画像処理装置３０-3では、６０ｐから１２０ｐへのフレームレート変換に対応していないことから、定量画質と定性画質の評価はない。
　解像度変換に関する処理性能では、例えば入力フォーマット、対応可能な解像度、定量画質，定性画質、出力フォーマットに関する情報が用いられている。画像処理装置３０-1では、入力フォーマットが圧縮と非圧縮のいずれのフォーマットにも対応可能であること、ＨＤ解像度を４Ｋ解像度等に変換することが可能であり、解像度変換後の定量画質が「１」で定性画質が「２」であること、出力フォーマットが圧縮と非圧縮のいずれのフォーマットにも対応可能であることが示されている。また、例えば画像処理装置３０-5では、ＨＤ解像度から４Ｋ解像度への解像度変換に対応していないことから、定量画質と定性画質の評価はない。
　図８は、画像処理制御装置の動作例を示している。例えば、処理フロー設定部２６ａは、ノイズ除去処理に関する処理性能とフレームレート変換に関する処理性能および解像度変換に関する処理性能に基づき各処理で画質が最も良好である画像処理装置を選択して処理フローを設定する。したがって、ノイズ除去処理は画像処理装置３０-8を用いて行い、ノイズ除去処理が行われた画像のフレームレート変換処理は画像処理装置３０-2を用いて行い、フレームレート変換処理が行われた画像の解像度変換処理は画像処理装置３０-1を用いて行う処理フローを最適処理フローとする。また、処理フロー設定部２６ａで設定された処理フローと画質性能を再利用できるように情報記憶部２２に記憶する。
　このような第１の実施の形態によれば、画像処理制御装置に接続された複数の画像処理装置を処理性能プロファイルに基づき、各画像処理で最適な画質が得られるように、最適処理フローを自動的に設定できるようになる。
　＜３．第２の実施の形態について＞
　ところで、第１の実施の形態では、画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択する場合について説明したが、第２の実施の形態では、入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となる組み合わせの画像処理装置を選択して最適処理フローを設定する場合について説明する。
　＜３－１．第２の実施の形態の構成と動作＞
　第２の実施の形態では、第１の実施の形態と同様に構成されており、処理性能管理部２１や画像加工部２４ａおよび処理フロー設定部２６ａの動作が相違する。
　処理性能管理部２１は、画像処理装置３０-1～３０-nに対して性能の問い合わせを行い処理性能を取得して、あるいは画像処理装置３０-1～３０-nに対して性能の問い合わせを行うことなく画像処理装置３０-1～３０-nから通知された処理性能を取得して、取得した処理性能を示す処理性能プロファイルを情報記憶部２２に記憶する。また、処理性能管理部２１は、画像処理制御装置２０ａに接続されている画像処理装置３０-1～３０-nの処理性能プロファイルを情報記憶部２２から取得して処理フロー設定部２６ａへ出力する。
　画像加工部２４ａは、画像記憶部２３ａに記憶されている評価用画像あるいは外部から供給された評価用画像に対して、処理フロー設定部２６ａで設定された処理フローに基づき入力画像に対して行う複数の画像処理に対して逆の処理である加工処理を行うことにより生成する。画像加工部２４ａは、処理フロー設定部２６ａで設定された処理フローの最初の画像処理装置へ出力する。また、画像加工部２４ａは、処理フローの最後の画像処理装置から出力される処理画像の画質評価を行えるように、テスト画像の生成に用いた評価用画像を画質評価部２５ａへ出力する。
　処理フロー設定部２６ａは、処理性能管理部２１から供給された処理性能プロファイルに基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置の組み合わせを替えて複数の処理フローを設定する。処理フロー設定部２６ａは設定した処理フロー毎に、画像加工部２４ａで処理フローに対応したテスト画像を生成させて、設定された処理フローでの画像処理を行うように制御信号を選択した画像処理装置へ出力する。また、処理フロー設定部２６ａは、画像処理毎に用いる画像処理装置のパラメータ調整が可能である場合、入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となるパラメータに設定する。さらに、処理フロー設定部２６ａは、設定した処理フロー毎に、処理フローと画質評価部２５ａから供給された画質評価結果、あるいは処理フローと画質評価結果とパラメータを示す処理フロープロファイルを情報記憶部２２に記憶させる。さらに、処理フロー設定部２６ａは、最も良好な画質評価結果が得られる処理フローを最適処理フローとして、選択された画像処理装置に対して最適処理フローでの画像処理を行うように制御信号を出力して、複数の画像処理装置を用いて入力画像の画像処理を行わせる。
　図９は第２の実施の形態の動作を例示したフローチャートである。ステップＳＴ１１で画像処理制御装置は画像処理装置の処理性能を取得する。画像処理制御装置２０は接続されている画像処理装置３０-1～３０-nから処理性能を示す情報を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で画像処理制御装置は処理性能プロファイルを更新する。画像処理制御装置２０は、ステップＳＴ１１で取得した処理性能に基づき情報記憶部２２に記憶されている処理性能プロファイルを更新してステップＳＴ１３に進む。
　ステップＳＴ１３で画像処理制御装置は処理フローを設定する、画像処理制御装置２０は、情報記憶部２２に記憶されている処理性能プロファイルに基づき、複数の画像処理装置を用いて画像処理を行う処理フローを設定してステップＳＴ１４に進む。
　ステップＳＴ１４で画像処理制御装置はテスト画像を生成する。画像処理制御装置２０は、ステップＳＴ１３で設定した処理フローで画像処理を行うテスト画像を評価用画像から生成してステップＳＴ１５に進む。
　ステップＳＴ１５で画像処理制御装置はテスト画像の処理を指示する。画像処理制御装置２０はステップＳＴ１３で設定した処理フローでテスト画像の画像処理を行うように、各画像処理装置の動作制御を行いステップＳＴ１６に進む。
　ステップＳＴ１６で画像処理制御装置は処理画像の評価を行う。画像処理制御装置２０はステップＳＴ１３で設定した処理フローでテスト画像の処理を行って得られた処理画像を取得する。また、画像処理制御装置２０は、評価用画像と処理画像を用いて画質の評価を行ってステップＳＴ１７に進む。
　ステップＳＴ１７で画像処理制御装置は処理フロープロファイルを更新する。画像処理制御装置２０は、ステップＳＴ１３で設定した処理フローと画質評価結果を示す処理フロープロファイルを生成する。さらに、画像処理制御装置２０は生成した処理フロープロファイルを情報記憶部２２に記憶させてステップＳＴ１８に進む。
　ステップＳＴ１８で画像処理制御装置は処理フロー評価を終了するか判別する。画像処理制御装置２０は、処理性能プロファイルに基づき、新たな処理フローの画質評価を行うと判別した場合にステップＳＴ１９に進み、処理性能プロファイルに基づく各処理フローの画質評価の終了と判別した場合にステップＳＴ２０に進む。
　ステップＳＴ１９で画像処理制御装置は処理フローを更新する。画像処理制御装置２０は、画質評価が行われていない処理フローに更新してステップＳＴ１５に戻り、更新後の処理フローでテスト画像を処理させる。
　ステップＳＴ１８で処理フローの画質評価が終了したと判別されてステップＳＴ２０に進むと、画像処理制御装置は最適処理フローを設定する。画像処理制御装置２０は、情報記憶部２２に記憶されている処理フロープロファイルから画質評価が最も良好な処理フロープロファイルを選択する。さらに、画像処理制御装置２０は、画質評価が最も良好な処理フロープロファイルで示された処理フローを最適処理フローとしてステップＳＴ２１に進む。
　ステップＳＴ２１で画像処理制御装置は最適処理フローに基づき各画像処理装置を制御する。画像処理制御装置２０は、ステップＳＴ２０で設定された最適処理フローに応じた画像処理が複数の画像処理装置を用いて行われるように、各画像処理装置の動作を制御する。
　なお、図９のステップＳＴ２１では、最適処理フローに基づき各画像処理装置の動作を制御しているが、ステップＳＴ２１では、最適処理フローに画像処理制御装置に接続されている画像処理装置を示す構成情報を関連付けて情報記憶部２２に記憶させる処理を行ってもよい。この場合、画像処理を行う際に、接続されている画像処理装置の構成と等しい構成であるときの最適処理フローを情報記憶部２２から取得することで、画質評価等を行うことなく最適な画像処理を速やかに行うことができるようになる。
　次に、第２の実施の形態の動作例について説明する。なお、第２の実施の形態の動作例では、第２の実施の形態の動作例と同様に、符号化方式がＨＥＶＣであり、ＨＤ解像度で６０ｐのフレームレートの画像を４Ｋ解像度１２０ｐのフレームレートの画像とする場合を例示している。
　図１０は、画像処理制御装置の動作例を示している。例えば、処理フロー設定部２６ａは、ノイズ除去処理とフレームレート変換と解像度変換を順に行ったときの処理画像の画質が最も良好となる画像処理装置の組み合わせを最適処理フローとする。なお、図１０では、ノイズ除去処理は画像処理装置３０-8を用いて行い、ノイズ除去処理が行われた画像のフレームレート変換処理は画像処理装置３０-4を用いて行い、フレームレート変換処理が行われた画像の解像度変換処理は画像処理装置３０-7を用いて行う処理フローで得られた処理画像が最も良好な画質である場合を示している。
　このように、第２の実施の形態によれば、入力画像に対して複数項目の画像処理を行うことで得られる出力画像の画質が最も良好となるように最適処理フローを自動的に設定できるようになる。
　＜４．第３の実施の形態について＞
　＜４－１．第３の実施の形態の構成＞
　次に、第３の実施の形態について説明する。上述の第１および第２の実施の形態では、最適な画質の出力画像を得られる最適処理フローを画像処理制御装置で自動的に設定する場合について説明したが、第３の実施の形態では、最適な画質の処理画像を得られる最適処理フローの設定に、ユーザの関与を可能とする場合について説明する。
　図１１は、画像処理制御装置の第３の実施の形態の構成を例示している。なお、画像処理制御装置２０ｂは、処理性能管理部２１，情報記憶部２２，画像記憶部２３ｂ，画像加工部２４ｂ，画質評価部２５ｂ，処理フロー設定部２６ｂ，表示部２７，操作部２８を有している場合を示している。
　処理性能管理部２１は、画像処理装置３０-1～３０-nに対して性能の問い合わせを行い処理性能を取得して、あるいは画像処理装置３０-1～３０-nに対して性能の問い合わせを行うことなく画像処理装置３０-1～３０-nから通知された処理性能を取得して、取得した処理性能を示す処理性能プロファイルを情報記憶部２２に記憶する。また、処理性能管理部２１は、画質評価部２５ａで得られた画質評価結果を処理性能プロファイルに含める。処理性能管理部２１は、画像処理制御装置２０ａに接続されている画像処理装置３０-1～３０-nの処理性能プロファイルを情報記憶部２２から取得して画像加工部２４ｂと処理フロー設定部２６ｂへ出力する。
　情報記憶部２２は、処理性能管理部２１で取得された処理性能プロファイルを記憶する。また、情報記憶部２２は、処理フロー設定部２６ｂで設定された処理フローと画質評価部２５ｂで得られた画質評価結果を示す処理フロープロファイルを記憶する。情報記憶部２２は、処理性能管理部２１からの要求に応じて処理性能プロファイルを出力して、処理フロー設定部２６ｂからの要求に応じて処理フロープロファイルを出力する。
　画像記憶部２３ｂには、画像処理の画質評価を行うための評価用画像が、画像処理に応じて予め記憶されている。画像記憶部２３ｂは、画像加工部２４ｂからの要求、あるいは後述する操作部２８からのユーザ指示を示す操作信号に応じて評価用画像を出力する。
　画像加工部２４ｂは、画像処理装置の処理性能あるいは処理フロー設定部２６ｂで設定された処理フローまたは操作信号に基づき、画像記憶部２３ｂに記憶された評価用画像あるいは外部から供給された評価用画像に対して加工処理を行いテスト画像を生成する。また、画像加工部２４ｂは、生成したテスト画像を対応する画像処理装置へ出力して、テスト画像の生成に用いた評価用画像を画質評価部２５ｂへ出力する。
　画質評価部２５ｂは、画像処理装置から処理画像を取得して、評価用画像と処理画像を用いて処理画像の画質評価を行い画質評価結果を処理性能管理部２１または処理フロー設定部２６ｂへ出力する。
　処理フロー設定部２６ｂは、第１の実施の形態または第２の実施の形態と同様に最適処理フローを設定して、設定された最適処理フローで画像処理を行うように各画像処理装置の動作を制御する。また、処理フロー設定部２６ｂは、操作信号に基づき指定された処理性能を重視してあるいは指定された処理順序で画像処理を行うように最適処理フローを設定する。
　表示部２７は、処理性能管理部２１で読み出された処理性能プロファイルや処理フロー設定部２６ｂで設定された処理フローに関する表示を行う。また、操作部２８は、表示部２７の表示画面上に設けられて、表示部２７と操作部２８によってＧＵＩ（Graphical User Interface）が構成されている。操作部２８は、表示部２７の表示に基づいて行われたユーザ指示を示す操作信号を生成する。
　画像処理装置３０-1～３０-nは、処理性能通知部３１と信号処理部３２を有している。処理性能通知部３１は、画像処理装置の処理性能を画像処理制御装置２０ｂ通知する。なお、画像処理制御装置２０ｂの処理性能の通知は、画像処理制御装置２０ｂからの要求に応じて行ってもよく、画像処理制御装置２０ｂとの接続を検出した場合に行ってもよい。信号処理部３２は、画像処理制御装置２０ｂの処理フロー設定部２６ｂからの制御信号に基づき動作設定を行い、入力画像の信号処理を行って出力する。
　＜４－２．第３の実施の形態の動作＞
　次に第３の実施の形態の動作について説明する。図１２は第３の実施の形態の動作を例示したフローチャートである。なお、第３の実施の形態では、第１の実施の形態のステップＳＴ１１～ステップＳＴ２０の処理後に、ステップＳＴ３１からの処理を行う場合を例示している。
　ステップＳＴ３１で画像処理制御装置は最適処理フローに対するユーザ指示があるか判別する。画像処理制御装置２０は、ユーザ指示があると判別した場合にステップＳＴ３２に進み、ユーザ指示がないと判別した場合にステップＳＴ３３に進む。
　ステップＳＴ３２で画像処理制御装置はユーザ指示対応処理を行う。ユーザ指示対応処理では、ステップＳＴ２０で設定された最適処理フローに替えてユーザ指示に基づく処理フローを最適処理フローとする。
　図１３はユーザ指示対応処理を例示したフローチャートである。ステップＳＴ３２１で画像処理制御装置はユーザ指示に基づき処理フローを設定する。画像処理制御装置は操作信号で示されたユーザ指示に基づき、画像処理順序や画像処理に用いる画像処理装置の選択、あるいは優先する処理性能の指定等を行いステップＳＴ３２２に進む。
　ステップＳＴ３２２で画像処理制御装置はテスト画像の処理を指示する。画像処理制御装置は、ステップＳＴ３２１で設定された処理フローでテスト画像の処理を、複数の画像処理装置を用いて行わせてステップＳＴ３２３に進む。
　ステップＳＴ３２３で画像処理制御装置は処理画像の評価を行う。画像処理制御装置２０ｂはステップＳＴ３２１で設定した処理フローでテスト画像の処理を行って得られた処理画像を取得する。また、画像処理制御装置２０は、評価用画像と処理画像を用いて画質の評価を行ってステップＳＴ３２４に進む。
　ステップＳＴ３２４で画像処理制御装置は画像保存処理を行う。画像処理制御装置は、ステップＳＴ３２３で取得した処理画像を画像記憶部２３ｂにユーザ画質画像として記憶させる。
　ステップＳＴ３２５で画像処理制御装置は処理フロープロファイルを更新する。画像処理制御装置２０は、ステップＳＴ３２１で設定した処理フローと画質評価結果を示す処理フロープロファイルを生成する。さらに、画像処理制御装置２０は生成した処理フロープロファイルを情報記憶部２２に記憶させてステップＳＴ３２６に進む。なお、画像処理制御装置２０ｂでは、処理フロープロファイルとユーザ画質画像と関係付けて、どのような処理フローで画像処理を行った場合にどのようなユーザ画質画像が得られるか、確認できるようにする。
　ステップＳＴ３２６で画像処理制御装置はユーザ指示に基づき最適処理フローを更新する。画像処理制御装置はユーザ指示に基づき選択した処理フローを最適処理フローとしてステップＳＴ３２７に進む。
　ステップＳＴ３２７で画像処理制御装置はユーザ指示の終了であるか判別する。画像処理制御部はユーザ指示の終了であると判別していない場合はステップＳＴ３２１に戻ることで、ユーザ指示に基づく新たな処理フローの処理画像の画質評価等を行い、ユーザ指示の終了であると判別した場合は図１２のステップＳＴ３３に進む。
　ステップＳＴ３３で画像処理制御装置は最適処理フローに基づき各画像処理装置を制御する。画像処理制御装置２０は、ステップＳＴ２０またはステップＳＴ３２６で設定された最適処理フローに応じた画像処理が複数の画像処理装置を用いて行われるように、各画像処理装置の動作を制御する。
　また、第１の実施の形態に第３の実施の形態を適用する場合、入力画像に対して行う複数の画像処理で用いる画像処理装置あるいは処理順序をユーザ指示に応じて設定する。
　次に、第３の実施の形態の動作例について説明する。なお、第３の実施の形態の動作例では、第１および第２の実施の形態と同様に符号化方式がＨＥＶＣであり、ＨＤ解像度で６０ｐのフレームレートの画像を４Ｋ解像度１２０ｐのフレームレートの画像とする場合を例示している。また、第３の実施の形態の動作例で用いる画像処理装置は、第１および第２の実施の形態の動作例と等しい。
　図１４は、ユーザ指示に基づき解像度変換で定量画質よりも定性画質を優先させた場合を例示している。この場合、画像処理制御装置ではユーザ指示に基づき、解像度変換は定性画質が最適である画像処理装置３０-7を選択する。すなわち、画像処理制御装置２０ｂは、ノイズ除去処理は画像処理装置３０-8を用いて行い、ノイズ除去処理後の画像のフレームレート変換は画像処理装置３０-2を用いて行い、ノイズ除去処理とフレームレート変換が行われた画像の解像度変換は画像処理装置３０-7を用いて行う処理フローを、最適処理フローとする。
　図１５は、ユーザ指示に基づき処理順序が変更された場合を例示しており、例えばノイズ除去処理後に解像度変換を行い、ノイズ除去処理と解像度変換が行われた画像に対してフレームレート変換が行われる。この場合、画像処理制御装置２０ｂは、ユーザ指示に基づいた処理順序で画像処理を行うことにより得られた処理画像の画質が最も良好となる処理フローを最適処理フローとする。例えば画像処理制御装置２０ｂは、ノイズ除去処理は画像処理装置３０-8を用いて行い、ノイズ除去処理後の画像の解像度変換は画像処理装置３０-1を用いて行い、ノイズ除去処理と解像度変換が行われた画像のフレームレート変換は画像処理装置３０-2を用いて行う処理フローを、最適処理フローとする。
　ユーザ指示は、表示部２７と操作部２８で構成されたＧＵＩ（Graphical User Interface）等を用いて行う。ＧＵＩ画面では、例えば、選択可能な画像処理装置と画像処理項目を二次元配置する。図１６，１７は、ユーザ指示を説明するための図である。ＧＵＩ画面では、例えば選択可能な画像処理装置が水平方向に配置されており、画像処理項目が垂直方向に処理順に配置されている。画像処理制御装置２０ｂは、ＧＵＩ画面上でのタップ操作やドラッグ操作等に応じて処理フローの設定や更新を行う。例えば、図１６に示すように、所望の処理項目に対応する複数の画像処理装置のいずれかの位置でタップ操作が行われた場合、画像処理制御装置２０は、タップ操作が行われた位置の画像処理装置で所望の処理項目の画像処理を行うように処理フローを設定する。したがって、図１６に示す処理フローを図１４に示す処理フローに変更できる。
　また、図１７に示すように所望の処理項目を移動するドラッグ操作が行われた場合、画像処理制御装置２０は、ドラッグ操作に応じて処理項目の順序を変更して、変更後の処理順序で画像処理を行うように処理フローを設定する。したがって、図１７に示す処理フローを図１５に示す処理フローに変更できる。
　この第３の実施の形態によれば、処理フローの設定にユーザが関与できるので、ユーザが所望する画質の処理画像を得られるように処理フローを設定できるようになる。
　＜５．他の実施の形態について＞
　＜５－１．システム構成について＞
　複数の画像処理装置を用いて画像処理を行う場合、新たな画像処理装置が利用可能となる場合や、画像処理制御装置との接続が解除されて画像処理装置が利用できなくなる場合も生じる。そこで、画像処理制御装置２０は画像処理装置の追加や削除に応じて最適処理フローを更新してもよい。
　図１８は他の実施の形態の動作を例示したフローチャートである。なお、図１８では最適処理フローが設定されているとき、例えば上述のステップＳＴ２０，ＳＴ３２のいずれかの処理が行われたのち、画像処理装置の追加や削除が行われた場合を示している。
　ステップＳＴ４１で画像処理制御装置は接続されている画像処理装置の変更があるか判別する。画像処理制御装置２０は、新たに画像処理装置が接続されたこと、あるいは接続されている画像処理装置が取り外されたことを検出した場合、画像処理装置の変更があると判別してステップＳＴ４２に進み、接続されている画像処理装置の変更がないと判別した場合はステップＳＴ５１に進む。
　ステップＳＴ４２で画像処理制御装置は処理性能プロファイルを更新する。画像処理制御装置は、新たに接続された画像処理装置の処理性能を示す処理性能プロファイルを情報記憶部２２に記憶させる。また、画像処理制御装置は、接続が終了された画像処理装置の処理性能を示す処理性能プロファイルを情報記憶部２２から削除してもよく、接続が終了された画像処理装置が再度接続されたときに処理性能プロファイルを再利用できるように、情報記憶部２２に記憶したままの状態としてもよい。画像処理制御装置２０は処理性能プロファイルを更新してステップＳＴ４３に進む。
　ステップＳＴ４３で画像処理制御装置は画像処理装置の追加であるか判別する。画像処理制御装置は、ステップＳＴ４１で検出した画像処理装置の変更が画像処理装置の追加である場合はステップＳＴ４４に進み、画像処理装置の削除である場合はステップＳＴ４８に進む。
　ステップＳＴ４４で画像処理制御装置は処理フローを設定する、画像処理制御装置２０は、情報記憶部２２に記憶されている処理性能プロファイルに基づき、複数の画像処理装置を用いて画像処理を行う際の処理フローを設定してステップＳＴ４５に進む。
　ステップＳＴ４５で画像処理制御装置はテスト画像の処理を指示する。画像処理制御装置２０はステップＳＴ４４で設定した処理フローでテスト画像の画像処理を行うように、各画像処理装置の動作制御を行いステップＳＴ４６に進む。
　ステップＳＴ４６で画像処理制御装置は処理画像の評価を行う。画像処理制御装置２０はステップＳＴ４４で設定した処理フローでテスト画像の処理を行って得られた処理画像を取得する。また、画像処理制御装置２０は、評価用画像と処理画像を用いて画質の評価を行ってステップＳＴ４７に進む。
　ステップＳＴ４７で画像処理制御装置は処理フロープロファイルを追加する。画像処理制御装置２０は、ステップＳＴ４４で設定した処理フローとステップＳＴ４６で得られた画質評価結果を示す処理フロープロファイルを生成する。さらに、画像処理制御装置２０は生成した処理フロープロファイルを情報記憶部２２に記憶させてステップＳＴ４９に進む。
　ステップＳＴ４３からステップＳＴ４８に進むと、画像処理制御装置は処理フロープロファイルを更新する。画像処理制御装置２０は、削除された画像処理装置を用いる処理フローファイルを、削除あるいは非選択処理フロープロファイルとしてステップＳＴ４９に進む。
　ステップＳＴ４９で画像処理制御装置は最適処理フローを設定する。画像処理制御装置２０は、情報記憶部２２に記憶されており、非選択処理フロープロファイルでない処理フロープロファイルから画質評価が最も良好な処理フロープロファイルを選択する。さらに、画像処理制御装置２０は、画質評価が最も良好な処理フロープロファイルで示された処理フローを最適処理フローとしてステップＳＴ５０に進む。
　ステップＳＴ５０で画像処理制御装置は最適処理フローに基づき各画像処理装置を制御する。画像処理制御装置２０は、ステップＳＴ４９で設定された最適処理フローに応じた画像処理が複数の画像処理装置を用いて行われるように、各画像処理装置の動作を制御してステップＳＴ５１に進む。
　ステップＳＴ５１で画像処理制御装置は画像処理の終了であるか判別する。画像処理制御装置２０は、例えばユーザから終了指示があった場合あるいは処理対象の画像が終了した場合、画像処理の終了と判別してステップＳＴ５２に進む。また、画像処理制御装置２０は、画像処理の終了を判別していない場合ステップＳＴ４１に戻る。
　ステップＳＴ５２で画像処理制御装置は終了処理を行う。画像処理制御装置２０は、最適処理フローで用いられる画像処理装置の動作を終了させる。
　なお、図１８では、複数項目の画像処理が行われた出力画像の画質が最も良好となるように最適処理フローを設定したが、項目毎に画質が最も良好な画像処理装置を選択して最適処理フローを設定してもよい。この場合、追加された画像処理装置の処理性能に応じたテスト画像を用いて画像処理を行い、処理画像の画質評価を行い、評価結果を処理性能プロファイルに含めるようにする。さらに、処理性能プロファイルに基づき、画像処理の項目毎に画質評価が最良の画像処理装置を選択すればよい。
　このような処理を行えば、画像処理制御装置２０に接続される画像処理装置の追加や削除が行われても、それぞれの状況に応じて良好な処理画像が得られるように最適処理フローを設定することができるようになる。
　また、図２，図１１に示す画像処理制御装置を構成するブロックは一体に設けられる場合に限られない。例えば、画像加工部や画質評価部の処理は外部機器で行うようにして、画像処理制御装置の負荷を軽減してもよい。また、後述する図１９に示す画像処理制御装置も同様である。
　＜５－２．画質について＞
　また、上述の実施の形態の動作例では定量画質と定性画質を個々に用いて最適処理フローを設定しているが、定量画質と定性画質の統合スコアに基づいて最適処理フローを設定してもよい。例えば定量画質と定性画質の重み付き加算値等を統合スコアＱＴとして用いる。式（１）は統合スコアＱＴの算出式を例示している。なお、式（１）では、ＰＳＮＲの改善量Ｑａと定性画質を示すスコアＱｂを用いており、改善量Ｑａに対する重みは「Ｗａ」、スコアＱｂに対する重みは「Ｗｂ」である。
　ＱＴ＝Ｗａ×Ｑａ　＋Ｗｂ×Ｑｂ　　・・・（１）
　また、上述の実施の形態では、画像処理装置で生成された処理画像を用いて画質の評価を行う場合を例示したが、実際の表示状態で画質を評価してもよい。図１９は、画像処理後の表示画像を利用して画質評価を行う場合の構成を例示している。画像処理システムは、画像処理制御装置２０ｃと複数の画像処理装置３０-in～３０-out、および表示装置４０と撮像装置５０を用いて構成されている。なお、画像処理制御装置２０ｃは、上述の画像処理制御装置２０ａ（２０ｂ）と同様に構成されており、画質評価部２５ａ（２５ｂ）で用いる画像が異なる。すなわち、画像処理制御装置２０ｃの画質評価部２５ｃでは、撮像装置５０で取得された撮像画像を用いる。また、画像処理対象の入力画像は画像処理装置３０-inに入力されて、画像処理後の出力画像は画像処理装置３０-outから出力される。
　表示装置４０は、画像処理装置３０-outから出力された出力画像を表示する。撮像装置５０は、表示装置４０で表示された出力画像を撮像して、撮像画像を画像処理制御装置２０ｃの画質評価部２５ｃへ出力する。また、表示装置４０は、画質評価に用いる画像領域を示す領域表示を処理画像に重畳させて、撮像装置５０では、領域表示で示された領域内の処理画像を撮像してもよい。
　図２０は、画像処理後の表示画像を利用して画質評価を行う場合の動作例を示している。図２０の（ａ）は表示画像を例示しており、表示画像では例えば評価領域を示す領域枠ＡＲが示されている。図２０の（ｂ）は評価用画像における評価領域の画像を例示しており、図２０の（ｃ）は評価領域を示すテスト画像を例示している。また、図２０の（ｄ）は、テスト画像を画像処理して得られた処理画像を例示している。画質評価部２５ｃは、図２０の（ｂ）に対する図２０の（ｄ）の画質評価を行う。
　このように、画像処理後の表示画像を撮像して得られた撮像画像を用いて画質評価を行うことで、表示された処理画像が最適な画質となるように、処理画像の見え方を考慮して、最適処理フローを設定できるようになる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
　＜６．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。さらに、医療分野へ適用することもできる。このような分野に適用すれば、良好な画質の画像をユーザに提供できるようになる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理制御装置は以下のような構成も取ることができる。
　（１）　テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を選択して処理フローを設定する処理フロー設定部
を備える画像処理制御装置。
　（２）　前記テスト画像は、前記画像処理に対して逆の処理である加工処理を評価用画像に対して行うことにより生成された画像であり、
　処理フロー設定部は、前記評価用画像に対する前記処理画像の画質評価結果に基づいて前記画像処理に用いる画像処理装置を選択する（１）に記載の画像処理制御装置。
　（３）　前記処理フロー設定部は、前記画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択する（２）に記載の画像処理制御装置。
　（４）　前記テスト画像は、前記画像処理装置毎に、前記画像処理装置に応じた評価用画像に対して前記加工処理が行われた画像である（３）に記載の画像処理制御装置。
　（５）　前記処理フロー設定部は、前記画像処理毎に用いる画像処理装置の組み合わせから、前記入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となる組み合わせの画像処理装置を選択する（２）に記載の画像処理制御装置。
　（６）　前記処理フロー設定部は、前記画像処理毎に用いる画像処理装置のパラメータ調整を行い、前記入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となるパラメータに設定する（５）に記載の画像処理制御装置。
　（７）　前記テスト画像は、前記処理フロー設定部で設定された処理フローに基づき前記入力画像に対して行う複数の画像処理に対して逆の処理である加工処理を前記評価用画像に対して行うことにより生成された画像である（５）または（６）に記載の画像処理制御装置。
　（８）　前記複数の画像処理の処理順と、処理順毎に選択された画像処理装置を示す情報と、前記画質評価結果を記憶する情報記憶部をさらに備える（２）乃至（７）のいずれかに記載の画像処理制御装置。
　（９）　画像処理装置の処理性能に基づき、前記入力画像の画像処理に利用可能な画像処理装置を検出する処理性能管理部を備え、
　前記処理フロー設定部は、前記処理性能管理部で検出された複数の画像処理装置から前記画像処理に用いる画像処理装置を選択する（２）乃至（８）のいずれかに記載の画像処理制御装置。
　（１０）　前記処理性能管理部は、前記入力画像の画像処理に利用可能な画像処理装置の変化を検出して、
　前記処理フロー設定部は、前記利用可能な画像処理装置の変化が生じた場合に、変化後に利用可能な画像処理装置から前記画像処理に用いる画像処理装置を選択する（９）に記載の画像処理制御装置。
　（１１）　前記処理フロー設定部は、前記複数の画像処理の処理順と、前記選択された画像処理装置を、ユーザ指示に応じて変更する（２）乃至（１０）のいずれかに記載の画像処理制御装置。
　（１２）　前記複数の画像処理装置の処理性能と前記処理フロー設定部で設定された処理フローを表示する表示部と、
　前記表示部の表示画面上に設けられて、前記表示部の表示に基づいて行われた前記ユーザ指示を受け付ける操作部とをさらに備える（１１）に記載の画像処理制御装置。
　（１３）　前記画質評価結果は、定性画質と定量画質の評価結果あるいは定性画質と定量画質の評価結果を統合した評価結果を用いる（１）乃至（１２）のいずれかに記載の画像処理制御装置。
　（１４）　前記画質評価結果は、表示された前記処理画像を撮像して得られる撮像画像の画質評価結果を示す（１）乃至（１３）のいずれかに記載の画像処理制御装置。
　また、本技術は以下のようなプログラムを含む。
　（１）複数の画像処理装置を用いた画像処理の制御をコンピュータで実行させるプログラムであって、
　テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を選択して処理フローを設定する手順
を前記コンピュータで実行させるプログラム。
　１０・・・画像処理システム
　２０，２０ａ，２０ｂ，２０ｃ・・・画像処理制御装置
　２１・・・処理性能管理部
　２２・・・情報記憶部
　２３ａ，２３ｂ・・・画像記憶部
　２４ａ，２４ｂ・・・画像加工部
　２５ａ，２５ｂ，２５ｃ・・・画質評価部
　２６ａ，２６ｂ・・・処理フロー設定部
　２７・・・表示部
　２８・・・操作部
　３０-1～３０-8～３０-n，３０-in，３０-out・・・画像処理装置
　３１・・・処理性能通知部
　３２・・・信号処理部
　４０・・・表示装置
　５０・・・撮像装置

Claims (15)

  1. 　テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を選択して処理フローを設定する処理フロー設定部
    を備える画像処理制御装置。
  2. 　前記テスト画像は、前記画像処理に対して逆の処理である加工処理を評価用画像に対して行うことにより生成された画像であり、
    　処理フロー設定部は、前記評価用画像に対する前記処理画像の画質評価結果に基づいて前記画像処理に用いる画像処理装置を選択する
    請求項１に記載の画像処理制御装置。
  3. 　前記処理フロー設定部は、前記画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択する
    請求項２に記載の画像処理制御装置。
  4. 　前記テスト画像は、前記画像処理装置毎に、前記画像処理装置に応じた評価用画像に対して前記加工処理が行われた画像である
    請求項３に記載の画像処理制御装置。
  5. 　前記処理フロー設定部は、前記画像処理毎に用いる画像処理装置の組み合わせから、前記入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となる組み合わせの画像処理装置を選択する
    請求項２に記載の画像処理制御装置。
  6. 　前記処理フロー設定部は、前記画像処理毎に用いる画像処理装置のパラメータ調整を行い、前記入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となるパラメータに設定する
    請求項５に記載の画像処理制御装置。
  7. 　前記テスト画像は、前記処理フロー設定部で設定された処理フローに基づき前記入力画像に対して行う複数の画像処理に対して逆の処理である加工処理を前記評価用画像に対して行うことにより生成された画像である
    請求項５に記載の画像処理制御装置。
  8. 　前記複数の画像処理の処理順と、処理順毎に選択された画像処理装置を示す情報と、前記画質評価結果を記憶する情報記憶部をさらに備える
    請求項２に記載の画像処理制御装置。
  9. 　画像処理装置の処理性能に基づき、前記入力画像の画像処理に利用可能な画像処理装置を検出する処理性能管理部を備え、
    　前記処理フロー設定部は、前記処理性能管理部で検出された複数の画像処理装置から前記画像処理に用いる画像処理装置を選択する
    請求項２に記載の画像処理制御装置。
  10. 　前記処理性能管理部は、前記入力画像の画像処理に利用可能な画像処理装置の変化を検出して、
    　前記処理フロー設定部は、前記利用可能な画像処理装置の変化が生じた場合に、変化後に利用可能な画像処理装置から前記画像処理に用いる画像処理装置を選択する
    請求項９に記載の画像処理制御装置。
  11. 　前記処理フロー設定部は、前記複数の画像処理の処理順と、前記選択された画像処理装置を、ユーザ指示に応じて変更する
    請求項２に記載の画像処理制御装置。
  12. 　前記複数の画像処理装置の処理性能と前記処理フロー設定部で設定された処理フローを表示する表示部と、
    　前記表示部の表示画面上に設けられて、前記表示部の表示に基づいて行われた前記ユーザ指示を受け付ける操作部とをさらに備える
    請求項１１に記載の画像処理制御装置。
  13. 　前記画質評価結果は、定性画質と定量画質の評価結果あるいは定性画質と定量画質の評価結果を統合した評価結果を用いる
    請求項１に記載の画像処理制御装置。
  14. 　前記画質評価結果は、表示された前記処理画像を撮像して得られる撮像画像の画質評価結果を示す
    請求項１に記載の画像処理制御装置。
  15. 　テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を処理フロー設定部で選択して処理フローを設定すること
    を含む画像処理制御方法。
PCT/JP2019/043870 2019-01-17 2019-11-08 画像処理制御装置と画像処理制御方法 WO2020148976A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/309,948 US20220076370A1 (en) 2019-01-17 2019-11-08 Image processing control apparatus and image processing control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019005874A JP2020115599A (ja) 2019-01-17 2019-01-17 画像処理制御装置と画像処理制御方法
JP2019-005874 2019-01-17

Publications (1)

Publication Number Publication Date
WO2020148976A1 true WO2020148976A1 (ja) 2020-07-23

Family

ID=71613051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/043870 WO2020148976A1 (ja) 2019-01-17 2019-11-08 画像処理制御装置と画像処理制御方法

Country Status (3)

Country Link
US (1) US20220076370A1 (ja)
JP (1) JP2020115599A (ja)
WO (1) WO2020148976A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7505337B2 (ja) 2020-09-02 2024-06-25 富士フイルムビジネスイノベーション株式会社 情報処理装置
JP7571425B2 (ja) 2020-09-02 2024-10-23 富士フイルムビジネスイノベーション株式会社 情報処理装置
US11803946B2 (en) * 2020-09-14 2023-10-31 Disney Enterprises, Inc. Deep SDR-HDR conversion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274525A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム、および画像処理管理装置
JP2011250013A (ja) * 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> 画質評価方法、画質評価装置、及びプログラム
JP2012178655A (ja) * 2011-02-25 2012-09-13 Ricoh Co Ltd 画像形成装置、画像形成システム、画像形成方法及び画像形成プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69422074D1 (de) * 1993-03-17 2000-01-20 Matsushita Electric Ind Co Ltd Bildkorrekturvorrichtung
JP4582681B2 (ja) * 2001-04-12 2010-11-17 ソニー株式会社 信号処理装置および信号処理方法、プログラムおよび記録媒体、並びに信号処理システム
JP2010272109A (ja) * 2009-04-20 2010-12-02 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274525A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム、および画像処理管理装置
JP2011250013A (ja) * 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> 画質評価方法、画質評価装置、及びプログラム
JP2012178655A (ja) * 2011-02-25 2012-09-13 Ricoh Co Ltd 画像形成装置、画像形成システム、画像形成方法及び画像形成プログラム

Also Published As

Publication number Publication date
US20220076370A1 (en) 2022-03-10
JP2020115599A (ja) 2020-07-30

Similar Documents

Publication Publication Date Title
WO2020148976A1 (ja) 画像処理制御装置と画像処理制御方法
JP4444354B2 (ja) 画像処理装置、および画像処理方法
JP4831017B2 (ja) 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、および現像プログラム
TWI508534B (zh) Image processing apparatus and image processing method
JP5387395B2 (ja) 受信装置、受信方法およびプログラム
JP5243833B2 (ja) 画像信号処理回路、画像表示装置、および画像信号処理方法
JP2010041336A (ja) 画像処理装置、および画像処理方法
JP5581688B2 (ja) 画像処理装置および方法、並びにプログラム
JP6242171B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5529161B2 (ja) ビデオストリームをブラウジングする方法及び装置
CN101969557B (zh) 图像记录设备、图像记录方法
JP2015195582A (ja) 画像処理装置及びその制御方法、撮像装置及びその制御方法、並びに、記録媒体
EP2166758B1 (en) Image signal processing apparatus and image signal processing method
JP2007180927A (ja) 伝送装置
US8509548B2 (en) Image decoding apparatus and control method for speeding up decoding processing
JP4991884B2 (ja) 画像処理装置、および画像処理方法
JP5791244B2 (ja) 画像処理装置、表示装置及びそれらの制御方法
JP2017069914A (ja) 画像処理装置
GB2432473A (en) Recording and playback using motion parameters and reduced data image version
JP6416255B2 (ja) 画像処理システム、及び、画像処理方法
JP5219735B2 (ja) 画像処理装置、方法及びプログラム
WO2016047250A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP4897036B2 (ja) 画像処理装置、および画像処理方法
JP5075923B2 (ja) 画像処理装置、および画像処理方法
JP2008193326A (ja) 画像再生表示装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19909897

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19909897

Country of ref document: EP

Kind code of ref document: A1