WO2022249661A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2022249661A1
WO2022249661A1 PCT/JP2022/011503 JP2022011503W WO2022249661A1 WO 2022249661 A1 WO2022249661 A1 WO 2022249661A1 JP 2022011503 W JP2022011503 W JP 2022011503W WO 2022249661 A1 WO2022249661 A1 WO 2022249661A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
target frame
processing
resolution
processing target
Prior art date
Application number
PCT/JP2022/011503
Other languages
English (en)
French (fr)
Inventor
舜太 前田
ウデイ パンダリカクシャ ボンディ
Original Assignee
Ｎａｖｉｅｒ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎａｖｉｅｒ株式会社 filed Critical Ｎａｖｉｅｒ株式会社
Priority to CN202280004929.4A priority Critical patent/CN115836519A/zh
Publication of WO2022249661A1 publication Critical patent/WO2022249661A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for performing high-resolution processing of a moving image sequence.
  • Non-Patent Documents 1 and 2 a high-resolution method has been proposed to increase the resolution of video (increase the number of pixels) using a machine learning model (especially a neural network such as a convolution neural network (hereinafter referred to as "CNN")).
  • CNN convolution neural network
  • An object of the present invention is to provide an image processing apparatus and an image processing method capable of increasing the resolution of a moving image sequence with higher performance in the recurrent method.
  • an image processing method for performing high-resolution processing on a moving image sequence composed of a plurality of frames, wherein it is determined whether or not a frame to be processed in the plurality of frames is a key frame. (i) when the frame to be processed is determined to be a key frame, estimating the degree of difficulty in increasing the resolution of the frame to be processed; determining a machine learning model according to the estimated difficulty level of high resolution; determining whether the processing target frame is a key frame corresponding to a scene change; If the key frame does not correspond to a change, the image quality enhancement processing unit uses the determined machine learning model to extract the processing target frame, the frame before and/or after the processing target frame, and the processing target frame.
  • generating a high-resolution frame by increasing the resolution of the processing target frame using a feature map generated when the frame before the processing is subjected to high-resolution processing; and If the keyframe corresponds to a change, generating an alternative feature map using the processing target frame and the frame after the processing target frame, and performing image quality enhancement processing using the determined machine learning model.
  • a high-resolution image processing unit that uses the processing target frame, frames before and/or after the processing target frame, the processing target frame, and the alternative feature map to obtain a high-resolution image of the processing target frame; generating a resolution frame; and (ii) if the processing target frame is determined not to be a key frame, the image quality enhancement processing unit uses the determined machine learning model to generate the processing target frame and the Using a frame before and/or after the frame to be processed and a feature map generated when the frame before the frame to be processed is subjected to a resolution enhancement process, the frame to be processed is increased in resolution. and generating a high resolution frame for the image processing.
  • an image processing apparatus that performs high-resolution processing on a moving image sequence composed of a plurality of frames, and determines whether or not a frame to be processed in the plurality of frames is a frame to be reset. and a first machine learning model, and when the processing target frame is not a reset target frame, the processing target frame, a frame before and/or after the processing target frame, and the processing and a feature map generated when a frame preceding the target frame is subjected to high-resolution processing to generate a high-resolution frame and a feature map obtained by increasing the resolution of the processing target frame, and the processing target When the frame is a reset target frame, the processing target frame and the frames before and/or after the processing target frame are used.
  • An image processing apparatus is provided that includes a high-resolution processing unit that generates the high-resolution frame and the feature map without using the generated feature map.
  • the reset determination unit may determine whether the processing target frame is a reset target frame based on key frames included in the plurality of frames.
  • the reset determination unit may determine that the processing target frame is the reset target frame.
  • the reset determination unit may determine that the processing target frame is the reset target frame when the processing target frame is a frame corresponding to a scene change.
  • the reset determination unit may determine that the processing target frame is the reset target frame when the processing target frame is a key frame corresponding to a scene change.
  • the reset determination unit may determine that the processing target frame is the reset target frame when the processing target frame is the leading frame of the plurality of frames.
  • the reset determination unit may determine that the processing target frame is the reset target frame for each predetermined frame.
  • a feature map generation unit that has a second machine learning model different from the first machine learning model and generates a substitute feature map using the processing target frame and a frame after the processing target frame.
  • the high-resolution processing unit may generate the high-resolution frame and the feature map using the alternative feature map when the processing target frame is a reset target frame.
  • an image processing apparatus for performing resolution enhancement processing on a moving image sequence composed of a plurality of frames, wherein the resolution enhancement difficulty level of a frame to be processed in the plurality of frames is estimated.
  • a difficulty level estimation unit and a plurality of resolution enhancement processing units having machine learning models with different computational complexity, wherein one of the plurality of resolution enhancement processing units determines the resolution enhancement difficulty level of the processing target frame.
  • a resolution enhancement processing unit having a corresponding machine learning model uses the processing target frame and frames before and/or after the processing target frame to perform high resolution processing of the processing target frame.
  • An image processing apparatus is provided for generating an image frame.
  • the higher the resolution enhancement difficulty, the higher the resolution enhancement processing unit having a machine learning model with a larger calculation amount may generate the high resolution frame.
  • the difficulty level estimation unit estimates a difficulty level for increasing the resolution of the processing target frame when the processing target frame is a key frame, and estimates the difficulty level for increasing the resolution of the processing target frame when the processing target frame is a key frame.
  • a resolution enhancement processing unit having a machine learning model corresponding to the resolution enhancement difficulty level of the processing target frame estimated by the difficulty level estimation unit generates the high resolution frame,
  • the resolution enhancement processing unit that has performed the resolution enhancement processing of the frame one frame before the processing target frame may perform the resolution enhancement processing of the processing target frame.
  • an image processing method for performing high-resolution processing on a moving image sequence composed of a plurality of frames, wherein whether or not a frame to be processed in the plurality of frames is a frame to be reset. and, if the processing target frame is not a reset target frame, the image quality enhancement processing unit using a machine learning model determines the processing target frame, the frame before and/or after the processing target frame, generating a high-resolution frame and a feature map obtained by increasing the resolution of the processing target frame using a feature map generated when a frame preceding the processing target frame is subjected to high-resolution processing, and When the processing target frame is a reset target frame, the processing target frame and the frames before and/or after the processing target frame are used, and the frame before the processing target frame is subjected to high resolution processing. and generating the high resolution frame and the feature map without using the feature map generated during the processing.
  • an image processing method for performing resolution enhancement processing on a moving image sequence composed of a plurality of frames which includes estimating a difficulty level for resolution enhancement of a processing target frame in the plurality of frames. and a high-quality image processing unit using a machine learning model corresponding to the degree of difficulty in increasing the resolution of the processing target frame from among a plurality of machine learning models having different computational amounts, the processing target frame and the processing. and generating a high-resolution frame obtained by increasing the resolution of the target frame using a frame before and/or after the target frame.
  • FIG. 4 is a diagram schematically showing a recurrent method resolution enhancement process using a CNN
  • FIG. 1B is a block diagram schematically showing a schematic configuration of an image processing apparatus that performs a recurrent method resolution enhancement process using the CNN shown in FIG. 1A
  • 1 is a block diagram schematically showing the schematic configuration of an image processing apparatus according to a first embodiment
  • FIG. 3 is a flowchart showing an example of processing operations of the image processing apparatus of FIG. 2
  • FIG. 2 is a block diagram schematically showing the schematic configuration of an image processing apparatus according to a second embodiment
  • FIG. 5 is a flowchart showing an example of processing operations of the image processing apparatus of FIG. 4
  • FIG. 11 is a block diagram schematically showing the schematic configuration of an image processing apparatus according to a third embodiment
  • 7 is a flowchart showing an example of processing operations of the image processing apparatus of FIG. 6;
  • FIG. 1A is a diagram schematically showing a recurrent-method high-resolution processing using CNN, and shows how a low-resolution video sequence X is increased in resolution to generate a high-resolution video sequence Y.
  • FIG. 1A It should be noted that "high resolution” in this specification means relative to "low resolution”, and does not mean that the number of pixels is greater than or equal to a specific number.
  • a processing module for registration, feature extraction and reconstruction is configured using CNN. Then, the previous frame x(t ⁇ 1) and/or the subsequent frame x(t+1) are used to perform the high resolution processing of the low resolution frame x(t). Below, the low-resolution frame x(t) to be subjected to the high-resolution processing may be referred to as a "processing target frame x(t)". Note that the processing module may use only one of the front and back frames, or may use two or more front and/or back frames.
  • the feature map h (t-1) is used. Using the feature map h(t ⁇ 1) improves the accuracy of resolution enhancement. Further, a high-resolution frame y(t-1) obtained by performing the resolution-enhancement processing on the previous frame x(t-1) may be used for the resolution-enhancement processing.
  • the processing module applies CNN to perform high-resolution processing, and outputs a high-resolution frame y(t) obtained by high-resolution processing target frame x(t) and a feature map h(t).
  • the feature map h(t) is used when the resolution of the subsequent frame x(t+1) is increased.
  • the processing module recursively and sequentially applies the above processing to each of the low-resolution frames x(1) to x(n) constituting the low-resolution video sequence X, whereby the high-resolution video sequence Y is obtained. can get.
  • FIG. 1B is a block diagram schematically showing the schematic configuration of an image processing apparatus that performs a recurrent method resolution enhancement process using the CNN shown in FIG. 1A.
  • This image processing apparatus includes a resolution enhancement processing unit 100 having a CNN 10.
  • the CNN 10 performs high-resolution processing on each of the low-resolution frames x(1) to x(n) forming the moving image sequence X, and outputs high-resolution frames y(1) to y(n). That is, the CNN 10 includes a plurality of weighting parameters, and weighting parameter values suitable for increasing the resolution are learned and set in advance.
  • the CNN 10 uses the feature map h(t-1) output from the intermediate layer of the CNN 10 during the resolution enhancement processing of the previous frame x(t-1) when performing the resolution enhancement processing of the processing target frame x(t). .
  • Non-Patent Document 3 has the following problems.
  • the initialized feature map h(0) (for example, constant 0) must be used. As a result, the accuracy of resolution enhancement may be lowered for the first frame and several subsequent frames.
  • an object of the present invention is to solve at least part of these problems.
  • the first embodiment mainly deals with problems (1) and (2)
  • the second embodiment mainly deals with problem (3)
  • the third embodiment deals with (1) to ( 3) is addressed.
  • FIG. 2 is a block diagram showing a schematic configuration of the image processing apparatus according to the first embodiment.
  • This image processing apparatus performs high-resolution processing on a moving image sequence composed of a plurality of frames. I have. A part or all of these may be realized by a processor executing a predetermined program.
  • the resolution enhancement processing unit 101 uses the processing target frame x(t) and the previous frame x(t ⁇ 1) and/or the subsequent frame x(t+1) of the processing target frame x(t) to convert the processing target frame
  • a high-resolution frame y(y) is generated by increasing the resolution of x(t). Any number of before and after frames may be used. One or more previous frames y with high resolution may also be used.
  • the resolution enhancement processing unit 101 During resolution enhancement processing, if the processing target frame x(t) is not a reset target frame (described later), the resolution enhancement processing unit 101 generates a A feature map h(t ⁇ 1) is used. On the other hand, when the processing target frame x(t) is the reset target frame, the resolution enhancement processing unit 101 does not use the feature map h(t ⁇ 1), but uses an alternative feature map h′ (described later).
  • the reset determination unit 1 determines whether the processing target frame x(t) is a reset target frame. The determination result is notified to the resolution enhancement processing unit 101 .
  • the reset target frame will be described.
  • key frames for example, I-pictures in MPEG-compressed moving images
  • key frames are inserted at scene changes
  • key frames are inserted at regular intervals when scene changes do not occur for a long period of time.
  • the reset determination unit 1 may determine whether or not the processing target frame x(t) is the reset target frame based on the key frame. Information on whether each of the low-resolution frames x(1) to x(n) is a key frame is included in the video sequence X (or each of the low-resolution frames x(1) to x(n) is included in the video sequence X). ).
  • the reset determination unit 1 determines that the frame to be processed x(t) is a frame to be reset. Alternatively, it may be determined that the frame is not a reset target frame.
  • the reset determination unit 1 determines that the processing target frame x(t) is one or several frames before or after the key frame. It may be determined that (t) is the reset target frame.
  • the reset determination unit 1 determines that the processing target frame x(t) is the reset target frame, and does not correspond to the scene change. In this case, it may be determined that the frame is not a reset target frame.
  • the reset determination unit 1 may determine whether or not to respond to a scene change using a known method.
  • the reset determination unit 1 has another CNN (not shown), and determines whether or not the processing target frame x(t) is a scene change using several frames before and after the processing target frame x(t).
  • the video sequence X may include information as to whether or not each of the low-resolution frames x(1) to x(n) corresponds to a scene change (or each low-resolution frame x(1) ) to x(n)).
  • the reset determination unit 1 determines that the processing target frame x(t) is the reset target frame, and determines that the processing target frame x(t) is the reset target frame. If the keyframe does not correspond to a change (that is, if it does not correspond to a keyframe or does not correspond to a scene change), it may be determined that the frame is not a reset target frame. Even if the processing target frame x(t) is a key frame, if it does not correspond to a scene change, the feature map h(t-1 ), the continuity of the resolution enhancement process can be maintained.
  • the reset determination unit 1 may determine that the processing target frame x(t) is the reset target frame when it is the leading frame x(0). Further, the reset determination unit 1 may determine that a frame is a reset target frame for each predetermined frame (for example, every predetermined interval such as the 1st frame, the 11th frame, the 21st frame, and so on). Note that the constant interval in this specification includes a strictly constant interval and a case where the interval is not exactly constant but is only a small variation that can solve the above problem.
  • the alternative feature map generation unit 2 generates an alternative feature map h' that is used when the processing target frame x(t) is the reset target frame.
  • the generated alternative feature map h′ is input to the resolution enhancement processing unit 101 .
  • the alternative feature map h' may be a predetermined constant. However, it is desirable that the alternative feature map generator 2 has a CNN 21 separate from the CNN 11 and generates the alternative feature map h' from the low resolution frames. That is, the CNN 21 includes a plurality of weighting parameters, and weighting parameter values suitable for generating a suitable alternative feature map h' are learned and set in advance.
  • the alternative feature map generation unit 2 may generate the alternative feature map h' from the processing target frame x(t) and/or the subsequent frame.
  • the number of post frames to be used is not particularly limited, and is, for example, about 5 frames.
  • FIG. 3 is a flow chart showing an example of the processing operation of the image processing apparatus of FIG.
  • the resolution enhancement processing unit 101 sets one of the resolution enhancement frames x(1) to x(n) as the processing target frame x(t) (step S1).
  • the reset determination unit 1 determines whether or not the processing target frame x(t) is the reset target frame (step S2).
  • the resolution enhancement processing unit 101 converts the processing target frame x(t) and the previous frame x(t) of the processing target frame. -1) and/or the subsequent frame x(t+1) and the feature map h(t ⁇ 1) generated when the previous frame x(t ⁇ 1) is subjected to the high resolution processing, the processing target frame x A high-resolution frame y(t) is generated by increasing the resolution of (t) (step S3a). At this time, a feature map h(t) is also generated.
  • a high-resolution frame y(t) is generated by increasing the resolution of the processing target frame x(t) (step S3b). At this time, a feature map h(t) is also generated.
  • the generated high resolution frame y(t) may be displayed on a display.
  • step S4 the processing operation of the image processing apparatus ends (YES in step S4).
  • the resolution enhancement processing unit 101 may generate a high resolution video sequence Y from the high resolution frames y(1) to y(n).
  • the reset determination unit 1 is provided.
  • the generated feature map h(t-1) is not used. As a result, it is possible to prevent errors from accumulating and propagating in the feature map, and to prevent a decrease in accuracy in increasing the resolution of the low-resolution frames in the latter half.
  • the feature map can be reset periodically. Also, by setting the key frame corresponding to the scene change as the reset target frame, the continuity of the high resolution frame y(t) can be maintained.
  • the accuracy of resolution enhancement is improved. can be improved.
  • the first frame as the frame to be reset and using the alternative feature map h', it is possible to improve the accuracy of resolution enhancement for the first frame and several subsequent frames.
  • FIG. 4 is a block diagram schematically showing the schematic configuration of an image processing apparatus according to the second embodiment.
  • This image processing apparatus includes a resolution enhancement processing unit 102 and a difficulty estimation unit 3 . A part or all of these may be realized by a processor executing a predetermined program. The following description will focus on differences from the first embodiment.
  • the difficulty estimating unit 3 estimates the difficulty of increasing the resolution of the processing target frame x(t). It is assumed that the difficulty level estimation unit 3 of the present embodiment performs binary determination as to whether the difficulty level of the processing target frame x(t) is high or low. Judgment may apply a well-known technique.
  • the difficulty level estimation unit 3 may determine the difficulty level based on the magnitude of motion in the time direction in the processing target frame x(t). More specifically, the processing target frame x(t) is compared with one or more previous and/or subsequent frames x, and if the difference between the frames is large, the difficulty estimation unit 3 determines the processing target frame x It may be estimated that the degree of difficulty in increasing the resolution of (t) is high.
  • the difficulty level estimation unit 3 may determine the difficulty level based on the frequency components included in the processing target frame x(t). More specifically, when the processing target frame x(t) contains many high-frequency components, the difficulty level estimation unit 3 may estimate that the resolution enhancement difficulty of the processing target frame x(t) is high.
  • the difficulty estimation unit 3 has a CNN 31 and determines the difficulty of increasing the resolution of the processing target frame x(t). That is, the CNN 31 includes a plurality of weighting parameters, and the values of the weighting parameters are learned and set in advance so that the degree of difficulty in increasing the resolution can be appropriately determined.
  • the high-resolution processing unit 102 has a high-difficulty high-resolution processing unit 103 having a CNN 13 and a low-difficulty high-resolution processing unit 104 having a CNN 14 as a plurality of high-resolution processing units.
  • each of the high-difficulty high-resolution enhancement processing unit 103 and the low-difficulty high-resolution enhancement processing unit 104 enhances the resolution of the processing target frame x(t) to produce a high-resolution frame y(t). ) and feature map h(t).
  • CNN13 and CNN14 are different in size. Specifically, the size of CNN 13 is larger than the size of CNN 14 . More specifically, CNN 13 is computationally more expensive than CNN 14 (eg, has more layers or includes more weight parameters than CNN 14). In other words, the CNN 13 has a higher resolution accuracy than the CNN 14 but a slower processing speed than the CNN 14 .
  • the CNN 13 it is preferable to apply the CNN 13 to the processing target frame x(t) for which the difficulty of increasing the resolution is high, even if it takes some processing time.
  • the high-difficulty level resolution enhancement processing unit 103 performs resolution enhancement processing. and when the difficulty level estimation unit 3 estimates that the difficulty level for increasing the resolution of the processing target frame x(t) is low, the low-difficulty level resolution enhancement processing unit 103 performs resolution enhancement processing. do. That is, the CNNs 13 and 14 having different sizes are adaptively applied according to the inter-high-resolution difficulty level of the processing target frame x(t).
  • the CNNs 13 and 14 to be applied in units of frames may be switched by determining the degree of difficulty in increasing the resolution for each processing target frame x(t). can be switched. This is because it is considered that the degree of difficulty in increasing the resolution does not change significantly between adjacent frames.
  • FIG. 5 is a flow chart showing an example of the processing operation of the image processing apparatus of FIG.
  • the resolution enhancement processing unit 102 sets one of the low resolution frames x(1) to x(n) as the processing target frame x(t) (step S11).
  • the difficulty level estimation unit 3 determines whether or not the processing target frame x(t) is a switching target frame (step S12).
  • the difficulty level estimation unit 3 may set the processing target frame x(t), which is a key frame, as the switching target frame.
  • the difficulty estimation unit 3 may set the processing target frame x(t), which is the key frame corresponding to the scene change, as the switching target frame, or may set all the frames as the switching target frame.
  • the difficulty level estimation unit 3 estimates the resolution enhancement difficulty level of the processing target frame x(t) (step S13). In this embodiment, the difficulty level estimation unit 3 determines whether the resolution enhancement difficulty level of the processing target frame x(t) is high or low.
  • a specific estimation method may be the one described above. When a key frame is used as a switching target frame, the average difficulty level of resolution enhancement is estimated for one or all frames between the current key frame and the next key frame, and the estimated difficulty level is applied to the processing target frame x (t) may be the high resolution difficulty level.
  • the resolution enhancement processing unit 102 selects the resolution enhancement processing unit 103 for high difficulty and the It is determined which one of the high-resolution processing units 104 for degrees is to be applied (step S14). Specifically, the high-difficulty level resolution enhancement processing unit 103 is applied to the processing target frame x(t) for which the difficulty level of resolution enhancement is determined to be high, and it is determined that the difficulty level of resolution enhancement is low. The low-difficulty high-resolution processing unit 104 is applied to the processed frame x(t).
  • the high-difficulty level high-resolution processing unit 103 or the low-difficulty level high-resolution processing unit 104 that has been determined performs the high-resolution processing for the processing target frame x(t) (step S15).
  • the generated high resolution frame y(t) may be displayed on a display. Note that if the resolution enhancement processing unit applied to the processing target frame x(t) is different from the resolution enhancement processing unit applied to the previous frame x(t ⁇ 1), the previous frame x(t ⁇ 1) If it is not possible to use the feature map h(t-1) generated when increasing the resolution of the target frame x(t) for increasing the resolution of the processing target frame x(t), then the constant feature map or You can use an alternative feature map such as
  • the high-difficulty high-resolution processor 103 that processed the previous frame x(t-1) and the low-difficulty high-resolution Any one of the resolution processing units 104 performs resolution enhancement processing for the processing target frame x(t) (step S15).
  • the high-difficulty high-resolution processing unit 103 and the low-difficulty high-resolution processing unit 104 determined according to the high-resolution difficulty of the switching target frame before the processing target frame x(t). Either one performs resolution enhancement of the processing target frame x(t).
  • the generated high resolution frame y(t) may be displayed on a display.
  • the resolution enhancement processing unit 101 may generate a high resolution video sequence Y from the high resolution frames y(1) to y(n).
  • the resolution enhancement processing unit 103 has the same keyframe from one keyframe to the frame before the next keyframe.
  • the resolution enhancement processing unit 104 is applied.
  • the difficulty level estimation unit 3 estimates the difficulty level of high resolution in two stages (high or low difficulty level), but it may be estimated in three or more stages.
  • the resolution enhancement processing unit 102 has three or more resolution enhancement processing units having CNNs of different sizes, and the higher the resolution enhancement difficulty, the higher the resolution enhancement processing unit having a larger size CNN. should increase the resolution of the processing target frame x(t).
  • a plurality of resolution enhancement processing units having CNNs of different sizes are provided, and a CNN having a size corresponding to the difficulty of resolution enhancement of the processing target frame x(t) is used to achieve high resolution.
  • Perform resolution processing As a result, it is possible to achieve both accuracy and processing speed of high resolution, and to improve the efficiency of high resolution processing.
  • this embodiment is not limited to recurrent resolution enhancement processing, and can also be applied to cases in which information generated when resolution enhancement processing is performed on a previous frame is not used for resolution enhancement processing on the next frame. is.
  • a third embodiment described below is a combination of the first and second embodiments.
  • FIG. 6 is a block diagram schematically showing the schematic configuration of an image processing apparatus according to the third embodiment. The function of each part is as described in the first and second embodiments.
  • FIG. 7 is a flow chart showing an example of the processing operation of the image processing apparatus of FIG.
  • the difficulty estimation unit 3 determines that the processing target frame is the switching target frame.
  • the reset determination unit 1 determines that the processing target frame is the reset target frame.
  • the high-resolution processing unit 102 sets one of the low-resolution frames x(1) to x(n) as the processing target frame x(t) (step S21). Then, the difficulty estimation unit 3 determines whether or not the processing target frame x(t) is a switching target frame (in this example, whether or not it is a key frame) (step S22).
  • step S26a If the processing target frame x(t) is not the switching target frame (NO in step S22), the process proceeds to step S26a.
  • the difficulty level estimation unit 3 determines whether the processing target frame x(t) is estimated (step S23). In this embodiment, the difficulty level estimation unit 3 determines whether the resolution enhancement difficulty level of the processing target frame x(t) is high or low.
  • the resolution enhancement processing unit 102 selects the resolution enhancement processing unit 103 for high difficulty and the It is determined which one of the high-resolution processing units 104 for degrees is to be applied (step S24). Specifically, the high-difficulty level resolution enhancement processing unit 103 is applied to the processing target frame x(t) for which the difficulty level of resolution enhancement is determined to be high, and it is determined that the difficulty level of resolution enhancement is low. The low-difficulty high-resolution processing unit 104 is applied to the processed frame x(t).
  • the reset determination unit 1 determines whether or not the processing mode frame x(t) is a reset target frame (in this example, whether or not it is a key frame corresponding to a scene change) (step S25).
  • processing target frame x(t) is not the reset target frame (NO in step S25)
  • the processing target frame x(t) the previous frame x(t ⁇ 1) and/or the subsequent frame x(t+1) of the processing target frame, and the previous frame x(t ⁇ 1) are subjected to high resolution processing
  • a high-resolution frame y(t) and a feature map h(t) are generated by increasing the resolution of the processing target frame x(t) (step S26a ).
  • the generated high resolution frame y(t) may be displayed on a display.
  • the high-difficulty high-resolution processing unit 103 and the low-difficulty high-resolution processing unit 104 determined in step S24 is the processing target frame x(t), the previous frame x(t ⁇ 1) and/or the subsequent frame x(t+1) of the processing target frame, and the alternative feature map generated by the alternative feature map generation unit 2 h′ (without using the feature map h(t ⁇ 1)) to generate a high-resolution frame y(t) and a feature map h(t) by increasing the resolution of the processing target frame x(t) (step S26b).
  • the generated high resolution frame y(t) may be displayed on a display.
  • step S27 the resolution enhancement processing unit 102 may generate a high resolution video sequence Y from the high resolution frames y(1) to y(n).
  • the reset determination unit 1 is provided to suppress the accumulation and propagation of errors
  • the difficulty level estimation unit 3 is provided to increase the efficiency of the resolution enhancement process. Note that the items described in the first and second embodiments may also be applied to the third embodiment as appropriate.
  • each resolution enhancement processing unit may perform processing using an arbitrary machine learning model, and may perform processing using a neural network as an example, and processing using a CNN as an example.
  • the program referred to in this specification may be recorded non-temporarily on a computer-readable recording medium and distributed, or may be distributed via a communication line (including wireless communication) such as the Internet. , may be distributed as installed on any terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

リカレント方式において、より高性能に動画シーケンスを高解像度化できる画像処理装置および画像処理方法を提供する。 複数のフレームから構成される動画シーケンスを高解像化処理する画像処理装置であって、前記複数のフレームにおける処理対象フレームがリセット対象フレームであるか否かを判定するリセット判定部と、第１機械学習モデルを有し、前記処理対象フレームがリセット対象フレームでない場合、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームおよび特徴マップを生成し、前記処理対象フレームがリセット対象フレームである場合、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、を用いるが、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップを用いず、前記高解像フレームおよび前記特徴マップを生成する高解像度化処理部と、を備える画像処理装置が提供される。

Description

画像処理装置および画像処理方法
　本発明は、動画シーケンスの高解像度化処理を行う画像処理装置および画像処理方法に関する。
　従来から、機械学習モデル（特に、畳み込みニューラルネットワーク（Convolution Neural Network、以下「ＣＮＮ」という。）等のニューラルネットワーク）を用いて動画の解像度を高くする（画素数を増やす）高解像度化手法が提案されている（非特許文献１，２）。このような超解像度化手法では、位置合わせ、特徴抽出および再構成といった各機能がＣＮＮを組み合わせることで実現されている。なかでも、リカレント方式と呼ばれる手法が知られている（非特許文献２，３）。
https://arxiv.org/pdf/2007.12928.pdf https://arxiv.org/pdf/1801.04590.pdf https://arxiv.org/pdf/1909.08080.pdf
　本発明の課題は、リカレント方式において、より高性能に動画シーケンスを高解像度化できる画像処理装置および画像処理方法を提供することである。
　本発明の一態様によれば、複数のフレームから構成される動画シーケンスを高解像化処理する画像処理方法であって、前記複数のフレームにおける処理対象フレームがキーフレームであるか否かを判定するステップと、（ｉ）前記処理対象フレームがキーフレームであると判定された場合、前記処理対象フレームの高解像度化難易度を推定するステップと、互いに計算量が異なる複数の機械学習モデルのうち、推定された高解像度化難易度に応じた機械学習モデルを決定するステップと、前記処理対象フレームがシーンチェンジに対応するキーフレームであるか否かを判定するステップと、前記処理対象フレームがシーンチェンジに対応するキーフレームでない場合、前記決定された機械学習モデルを用いて高画質化処理部が、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームを生成するステップと、前記処理対象フレームがシーンチェンジに対応するキーフレームである場合、前記処理対象フレームと、前記処理対象フレームの後のフレームと、を用いて代替特徴マップを生成し、前記決定された機械学習モデルを用いて高画質化処理部が、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記処理対象フレームと、前記代替特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームを生成するステップと、（ｉｉ）前記処理対象フレームがキーフレームでないと判定された場合、前記決定された機械学習モデルを用いて高画質化処理部が、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームを生成するステップと、を備える画像処理方法が提供される。
　本発明の別の態様によれば、複数のフレームから構成される動画シーケンスを高解像化処理する画像処理装置であって、前記複数のフレームにおける処理対象フレームがリセット対象フレームであるか否かを判定するリセット判定部と、第１機械学習モデルを有し、前記処理対象フレームがリセット対象フレームでない場合、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームおよび特徴マップを生成し、前記処理対象フレームがリセット対象フレームである場合、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、を用いるが、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップを用いず、前記高解像フレームおよび前記特徴マップを生成する高解像度化処理部と、を備える画像処理装置が提供される。
　前記リセット判定部は、前記複数のフレームに含まれるキーフレームに基づいて、前記処理対象フレームがリセット対象フレームであるか否かを判定してもよい。
　前記リセット判定部は、前記処理対象フレームがキーフレームである場合、前記処理対象フレームがリセット対象フレームであると判定してもよい。
　前記リセット判定部は、前記処理対象フレームがシーンチェンジに対応するフレームである場合、前記処理対象フレームがリセット対象フレームであると判定してもよい。
　前記リセット判定部は、前記処理対象フレームがシーンチェンジに対応するキーフレームである場合、前記処理対象フレームがリセット対象フレームであると判定してもよい。
　前記リセット判定部は、前記処理対象フレームが前記複数のフレームのうちの先頭フレームである場合、前記処理対象フレームがリセット対象フレームであると判定してもよい。
　前記リセット判定部は、所定フレーム毎に、前記処理対象フレームがリセット対象フレームであると判定してもよい。
　前記第１機械学習モデルとは異なる第２機械学習モデルを有し、前記処理対象フレームと、前記処理対象フレームの後のフレームと、を用いて、代替特徴マップを生成する特徴マップ生成部を備え、前記高解像度化処理部は、前記処理対象フレームがリセット対象フレームである場合、前記代替特徴マップを用いて前記高解像フレームおよび前記特徴マップを生成してもよい。
　本発明の別の態様によれば、複数のフレームから構成される動画シーケンスを高解像化処理する画像処理装置であって、前記複数のフレームにおける処理対象フレームの高解像度化難易度を推定する難易度推定部と、互いに計算量が異なる機械学習モデルを有する複数の高解像度化処理部と、を備え、前記複数の高解像度化処理部のうち、前記処理対象フレームの高解像度化難易度に応じた機械学習モデルを有する高解像度化処理部が、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、を用いて、前記処理対象フレームを高解像化した高解像フレームを生成する、画像処理装置が提供される。
　前記高解像度化難易度が高いほど、計算量が大きい機械学習モデルを有する高解像度化処理部が前記高解像フレームを生成してもよい。
　前記難易度推定部は、前記処理対象フレームがキーフレームである場合に、前記処理対象フレームの高解像度化難易度を推定し、前記処理対象フレームがキーフレームである場合には、前記複数の高解像度化処理部のうち、前記難易度推定部によって推定された前記処理対象フレームの高解像度化難易度に応じた機械学習モデルを有する高解像度化処理部が前記高解像フレームを生成し、前記処理対象フレームがキーフレームでない場合には、前記処理対象フレームより１つ前のフレームの高解像度化処理を行った高解像度化処理部が前記処理対象フレームの高解像度化処理を行ってもよい。
　本発明の別の態様によれば、複数のフレームから構成される動画シーケンスを高解像化処理する画像処理方法であって、前記複数のフレームにおける処理対象フレームがリセット対象フレームであるか否かを判定するステップと、機械学習モデルを用いて高画質化処理部が、前記処理対象フレームがリセット対象フレームでない場合、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームおよび特徴マップを生成し、前記処理対象フレームがリセット対象フレームである場合、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、を用いるが、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップを用いず、前記高解像フレームおよび前記特徴マップを生成するステップと、を含む画像処理方法が提供される。
　本発明の別の態様によれば、複数のフレームから構成される動画シーケンスを高解像化処理する画像処理方法であって、前記複数のフレームにおける処理対象フレームの高解像度化難易度を推定するステップと、互いに計算量が異なる複数の機械学習モデルのうち、前記処理対象フレームの高解像度化難易度に応じた機械学習モデルを用いて高画質化処理部が、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、を用いて、前記処理対象フレームを高解像化した高解像フレームを生成するステップと、含む画像処理方法が提供される。
　より高性能に動画シーケンスを高解像度化できる。
ＣＮＮを用いたリカレント方式の高解像度化処理を模式的に示す図。 図１Ａに示すＣＮＮを用いたリカレント方式の高解像度化処理を行う画像処理装置の概略構成を模式的に示すブロック図。 第１実施形態に係る画像処理装置の概略構成を模式的に示すブロック図。 図２の画像処理装置の処理動作の一例を示すフローチャート。 第２実施形態に係る画像処理装置の概略構成を模式的に示すブロック図。 図４の画像処理装置の処理動作の一例を示すフローチャート。 第３実施形態に係る画像処理装置の概略構成を模式的に示すブロック図。 図６の画像処理装置の処理動作の一例を示すフローチャート。
　以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
　まず、前提となるＣＮＮを用いたリカレント方式の高解像度化処理（非特許文献３）について説明する。
　図１Ａは、ＣＮＮを用いたリカレント方式の高解像度化処理を模式的に示す図であり、低解像度の動画シーケンスＸを高解像度化して高解像度の動画シーケンスＹを生成する様子を示している。なお、本明細書での「高解像度」は「低解像度」に対する相対的な意味であって、特定の画素数以上であることを意味するものではない。
　以下では、動画シーケンスＸがｎ枚の低解像度フレームから構成され、ｔ（ｔ＝１～ｎ）枚目の低解像度フレームをｘ（ｔ）と表記することとする。そして、生成される動画シーケンスＹもｎ枚の高解像度フレームから構成され、ｔ（ｔ＝１～ｎ）枚目の高解像度フレームをｙ（ｔ）と表記することとする。
　図示のように、位置合わせ、特徴抽出および再構成を行う処理モジュールがＣＮＮを用いて構成されている。そして、低解像度フレームｘ（ｔ）を高解像度化処理するために、その前フレームｘ（ｔ－１）および／または後フレームｘ（ｔ＋１）が用いられる。以下では、高解像度化処理される対象となる低解像度化フレームｘ（ｔ）を「処理対象フレームｘ（ｔ）」と呼ぶことがある。なお、処理モジュールは前フレームおよび後フレームの一方のみを用いてもよいし、２以上の前フレームおよび／または後フレームを用いてもよい。
　リカレント方式の特徴の１つとして、処理対象フレームｘ（ｔ）を高解像度化処理する際に、前フレームｘ（ｔ－１）の高解像度化処理時にＣＮＮの中間層から出力される特徴マップｈ（ｔ－１）が用いられる。特徴マップｈ（ｔ－１）を用いることにより、高解像度化の精度が向上する。さらに、前フレームｘ（ｔ－１）を高解像度化処理して得られた高解像度フレームｙ（ｔ－１）が高解像度化処理に用いられてもよい。
　そして、処理モジュールはＣＮＮを適用して高解像度化処理を行い、処理対象フレームｘ（ｔ）を高解像度化した高解像度フレームｙ（ｔ）と、特徴マップｈ（ｔ）とを出力する。特徴マップｈ（ｔ）は後フレームｘ（ｔ＋１）を高解像度化処理する際に用いられる。
　処理モジュールが低解像度の動画シーケンスＸを構成する各低解像度フレームｘ（１）～ｘ（ｎ）に対して以上の処理を再帰的に順次適用することで、高解像度化された動画シーケンスＹが得られる。
　図１Ｂは、図１Ａに示すＣＮＮを用いたリカレント方式の高解像度化処理を行う画像処理装置の概略構成を模式的に示すブロック図である。
　この画像処理装置はＣＮＮ１０を有する高解像度化処理部１００を備えている。ＣＮＮ１０は、動画シーケンスＸを構成する低解像度フレームｘ（１）～ｘ（ｎ）のそれぞれを高解像度化処理して、高解像度フレームｙ（１）～ｙ（ｎ）を出力する。すなわち、ＣＮＮ１０は複数の重みパラメータを含んでおり、高解像度化に適した重みパラメータの値が予め学習され、設定されている。
　ＣＮＮ１０は、処理対象フレームｘ（ｔ）を高解像度化処理する際、前フレームｘ（ｔ－１）の高解像度化処理時にＣＮＮ１０の中間層から出力される特徴マップｈ（ｔ－１）を用いる。
　このような非特許文献３に記載のリカレント方式の高解像度化処理において、以下のような課題があることに発明者らは想到した。
（１）低解像度フレームを順次高解像度化処理する過程において、生成される特徴マップｈ（ｔ）には少しずつエラーが蓄積し、伝播する。その結果、後半の低解像度フレームに対する高解像度化の精度が低下することがある。
（２）１番初めの低解像度フレームｘ（１）（以下「先頭フレーム」という。）を高解像度化処理する際、前フレームが存在しないため、初期化された特徴マップｈ（０）（例えば定数０）を用いざるを得ない。その結果、先頭フレームおよびその後の数フレームについて、高解像度化の精度が低下することがある。
（３）現実の動画シーケンスでは各低解像度化フレームの高解像度化の難易度は様々であって時間変化が大きいが、常に同じＣＮＮが用いられる。その結果、高解像度化処理の効率が低下する。具体的には、高解像度化が容易である低解像度化フレームについては処理時間が無駄に長くなり、高解像度化が困難である低解像度化フレームについては高解像度化の精度が低下することがある。
　そこで、本発明はこれらの課題の少なくとも一部を解決することを目的とする。以下、第１実施形態は主として（１）及び（２）の課題に対応しており、第２実施形態は主として（３）の課題に対応しており、第３実施形態は（１）～（３）の課題に対応している。
　なお、以下の各実施形態では、従来のＣＮＮを用いたリカレント方式の高解像度化処理（図１Ａおよび図１Ｂ）と共通する点についての説明を省略する。
（第１実施形態）
　図２は、第１実施形態に係る画像処理装置の概略構成を示すブロック図である。この画像処理装置は複数のフレームから構成される動画シーケンスを高解像度化処理するものであり、ＣＮＮ１１を有する高解像度化処理部１０１に加え、リセット判定部１と、代替特徴マップ生成部２とを備えている。これらの一部または全部は、プロセッサが所定のプログラムを実行することによって実現されてもよい。
　高解像度化処理部１０１は、処理対象フレームｘ（ｔ）と、処理対象フレームｘ（ｔ）の前フレームｘ（ｔ－１）および／または後フレームｘ（ｔ＋１）とを用いて、処理対象フレームｘ（ｔ）を高解像化した高解像フレームｙ（ｙ）を生成する。用いる前フレームおよび後フレームの数は任意である。高解像度化された１以上の前フレームｙがさらに用いられてもよい。
　高解像度化処理の際、処理対象フレームｘ（ｔ）がリセット対象フレーム（後述）でなければ、高解像度化処理部１０１は前フレームｘ（ｔ－１）を高解像度化処理した際に生成される特徴マップｈ（ｔ－１）を用いる。一方、処理対象フレームｘ（ｔ）がリセット対象フレームである場合、高解像度化処理部１０１は、特徴マップｈ（ｔ－１）を用いることなく、代替特徴マップｈ’（後述）を用いる。
　リセット判定部１は処理対象フレームｘ（ｔ）がリセット対象フレームであるか否かを判定する。判定結果は高解像度化処理部１０１に通知される。ここで、リセット対象フレームについて説明する。
　一般に、圧縮動画ではシーンチェンジの際にキーフレーム（例えば、ＭＰＥＧで圧縮された動画におけるＩピクチャ）が挿入され、シーンチェンジが長時間に渡って発生しない場合には一定間隔でキーフレームが挿入される。
　そこで、リセット判定部１はキーフレームに基づいて処理対象フレームｘ（ｔ）がリセット対象フレームであるか否かの判定を行ってもよい。低解像度化フレームｘ（１）～ｘ（ｎ）のそれぞれがキーフレームであるか否かの情報は、動画シーケンスＸに含まれている（あるいは各低解像度化フレームｘ（１）～ｘ（ｎ）に付与されている）。
　より具体的には、リセット判定部１は、処理対象フレームｘ（ｔ）がキーフレームであ
る場合には、その処理対象フレームｘ（ｔ）がリセット対象フレームであると判定し、キーフレームでない場合には、リセット対象フレームでないと判定してもよい。
　また、キーフレームそのものをリセットフレームにするのではなく、リセット判定部１は、処理対象フレームｘ（ｔ）がキーフレームの１または数フレーム前または後のフレームである場合に、その処理対象フレームｘ（ｔ）がリセット対象フレームであると判定してもよい。
　また、リセット判定部１は、処理対象フレームｘ（ｔ）が動画のシーンチェンジに対応する場合には、その処理対象フレームｘ（ｔ）がリセット対象フレームであると判定し、シーンチェンジに対応しない場合には、リセット対象フレームでないと判定してもよい。
　シーンチェンジに対応するか否かは公知の手法でリセット判定部１が判定すればよい。一例として、リセット判定部１がまた別のＣＮＮ（不図示）を有し、処理対象フレームｘ（ｔ）の前後数フレームを用いて処理対象フレームｘ（ｔ）がシーンチェンジか否かを判定してもよい。また、低解像度化フレームｘ（１）～ｘ（ｎ）のそれぞれがシーンチェンジに対応するか否かの情報が、動画シーケンスＸに含まれていてもよい（あるいは各低解像度化フレームｘ（１）～ｘ（ｎ）に付与されていてもよい）。
　さらに、リセット判定部１は、処理対象フレームｘ（ｔ）が動画のシーンチェンジに対応するキーフレームである場合には、その処理対象フレームｘ（ｔ）がリセット対象フレームであると判定し、シーンチェンジに対応するキーフレームでない場合（すなわち、キーフレームでない場合およびシーンチェンジに対応しないキーフレームである場合）には、リセット対象フレームでないと判定してもよい。処理対象フレームｘ（ｔ）がキーフレームであったとしもシーンチェンジに対応しない場合には前フレームｘ（ｔ－１）の高解像化処理した際に生成された特徴マップｈ（ｔ－１）を用いることで、高解像度化処理の連続性を保てる。
　その他、リセット判定部１は処理対象フレームｘ（ｔ）が先頭フレームｘ（０）である場合に、リセット対象フレームであると判定してもよい。また、リセット判定部１は所定フレーム毎（例えば、第１フレーム、第１１フレーム、第２１フレーム・・・といった一定間隔毎）にリセット対象フレームであると判定してもよい。なお、本明細書における一定間隔とは、厳密な一定間隔の場合と、厳密に一定ではないが上記の課題を解決できる程度の小さな変動にすぎない場合と、を含むものとする。
　代替特徴マップ生成部２は処理対象フレームｘ（ｔ）がリセット対象フレームである場合に用いられる代替特徴マップｈ’を生成する。生成された代替特徴マップｈ’は高解像度化処理部１０１に入力される。
　代替特徴マップｈ’は予め定めた定数であってもよい。しかし、代替特徴マップ生成部２はＣＮＮ１１とは別のＣＮＮ２１を有し、低解像度フレームから代替特徴マップｈ’を生成するのが望ましい。すなわち、ＣＮＮ２１は複数の重みパラメータを含んでおり、適切な代替特徴マップｈ’を生成するのに適した重みパラメータの値が予め学習され、設定されている。
　一例として、代替特徴マップ生成部２は処理対象フレームｘ（ｔ）および／または後フレームから代替特徴マップｈ’を生成してもよい。用いる後フレームの数に特に制限はなく、例えば５フレーム程度である。
　図３は、図２の画像処理装置の処理動作の一例を示すフローチャートである。まず、高解像度化処理部１０１は低解像度化フレームｘ（１）～ｘ（ｎ）のうちの１つを処理対象フレームｘ（ｔ）として設定する（ステップＳ１）。そして、リセット判定部１は処理対象フレームｘ（ｔ）がリセット対象フレームであるか否かを判定する（ステップＳ２）。
　処理対象フレームｘ（ｔ）がリセット対象フレームでないと判定された場合（ステップＳ２のＮＯ）、高解像度化処理部１０１は、処理対象フレームｘ（ｔ）と、処理対象フレームの前フレームｘ（ｔ－１）および／または後フレームｘ（ｔ＋１）と、前フレームｘ（ｔ－１）を高解像化処理した際に生成され特徴マップｈ（ｔ－１）とを用いて、処理対象フレームｘ（ｔ）を高解像化した高解像フレームｙ（ｔ）を生成する（ステップＳ３ａ）。この際、特徴マップｈ（ｔ）も生成される。
　一方、処理対象フレームｘ（ｔ）がリセット対象フレームであると判定された場合（ステップＳ２のＹＥＳ）、高解像度化処理部１０１は、処理対象フレームｘ（ｔ）と、処理対象フレームの前フレームｘ（ｔ－１）および／または後フレームｘ（ｔ＋１）と、代替特徴マップ生成部２によって生成された代替特徴マップｈ’とを用いて（特徴マップｈ（ｔ－１）を用いず）、処理対象フレームｘ（ｔ）を高解像化した高解像フレームｙ（ｔ）を生成する（ステップＳ３ｂ）。この際、特徴マップｈ（ｔ）も生成される。生成された高解像度フレームｙ（ｔ）はディスプレイに表示されてもよい。
　以上の処理を、処理対象フレームｘ（ｔ）が最終フレームとなるまで（ｔ＝ｎとなるまで）、ｔをインクリメントしながらステップＳ１以降の処理を繰り返す（ステップＳ４のＮＯ）。すべての低解像度フレームｘ（１）～ｘ（ｎ）の高解像度化処理が完了すると、画像処理装置の処理動作は終了する（ステップＳ４のＹＥＳ）。処理の終了後に、高解像度化処理部１０１は高解像度フレームｙ（１）～ｙ（ｎ）から高解像度動画シーケンスＹを生成してもよい。
　このように、第１実施形態では、リセット判定部１を設け、処理対象フレームｘ（ｔ）がリセット対象フレームである場合には、前フレームｘ（ｔ－１）を高解像度化処理した際に生成される特徴マップｈ（ｔ－１）を用いない。これにより、特徴マップにエラーが蓄積されて伝播するのを抑えられ、後半の低解像度フレームに対する高解像度化の精度が低下するのを抑制できる。
　特に、キーフレームをリセット対象フレームとすることで、シーンチェンジが長時間に渡って発生しない場合でも、定期的に特徴マップをリセットできる。また、シーンチェンジに対応するキーフレームをリセット対象フレームとすることで、高解像度フレームｙ（ｔ）の連続性を保てる。
　リセット対象フレームにおいては、処理対象フレームｘ（ｔ）および／または後フレームに基づいて、ＣＮＮ２１を有する代替特徴マップ生成部２によって生成された代替特徴マップｈ’を用いることで、高解像度化の精度を向上できる。
　また、先頭フレームをリセット対象フレームとし、代替特徴マップｈ’を用いることで、先頭フレームおよびその後の数フレームについても高解像度化の精度を向上できる。
（第２実施形態）
　図４は、第２実施形態に係る画像処理装置の概略構成を模式的に示すブロック図である。この画像処理装置は、高解像度化処理部１０２と、難易度推定部３とを備えている。これらの一部または全部は、プロセッサが所定のプログラムを実行することによって実現されてもよい。以下、第１実施形態との相違点を中心に説明する。
　難易度推定部３は処理対象フレームｘ（ｔ）の高解像度化難易度を推定する。本実施形態の難易度推定部３は処理対象フレームｘ（ｔ）の難易度が高いか低いかの２値判定を行うものとする。判定は公知の技術を適用してよい。
　一例として、難易度推定部３は処理対象フレームｘ（ｔ）における時間方向の動きの大きさに基づいて難易度を判定してもよい。より具体的には、処理対象フレームｘ（ｔ）と、１または複数の前フレームおよび／または後フレームｘとを対比し、フレーム間の差が大きい場合に難易度推定部３は処理対象フレームｘ（ｔ）の高解像度化難易度が高いと推定してもよい。
　あるいは、難易度推定部３は処理対象フレームｘ（ｔ）に含まれる周波数成分に基づいて難易度を判定してもよい。より具体的には、処理対象フレームｘ（ｔ）に高周波数成分を多く含む場合に難易度推定部３は処理対象フレームｘ（ｔ）の高解像度化難易度が高いと推定してもよい。
　難易度推定部３はＣＮＮ３１を有し、処理対象フレームｘ（ｔ）の高解像度化難易度を判定するのが望ましい。すなわち、ＣＮＮ３１は複数の重みパラメータを含んでおり、適切に高解像度化難易度を判定できるよう重みパラメータの値が予め学習され、設定されている。
　高解像度化処理部１０２は、複数の高解像度化処理部として、ＣＮＮ１３を有する高難易度用高解像度化処理部１０３と、ＣＮＮ１４を有する低難易度用高解像度化処理部１０４とを有する。高難易度用高解像度化処理部１０３および低難易度用高解像度化処理部１０４のそれぞれは、第１実施形態と同様、処理対象フレームｘ（ｔ）を高解像度化して高解像度フレームｙ（ｔ）と特徴マップｈ（ｔ）を生成できる。
　ここで、ＣＮＮ１３とＣＮＮ１４はサイズが互いに異なる。詳細には、ＣＮＮ１３のサイズはＣＮＮ１４のサイズより大きい。さらに詳細には、ＣＮＮ１３は、ＣＮＮ１４より計算量が多い（例えば、層数が多い、あるいは、ＣＮＮ１４より多い重みパラメータ数を含んでいる）。すなわち、ＣＮＮ１３は、ＣＮＮ１４より高解像度化の精度は高いが、ＣＮＮ１４より処理速度が遅い。
　よって、高解像度化の難易度が高い処理対象フレームｘ（ｔ）については、多少処理時間がかかるとしても、ＣＮＮ１３を適用するのが好適である。一方、高解像度化の難易度が低い処理対象フレームｘ（ｔ）については、ＣＮＮ１４を適用して処理時間を短縮するのが好適である。
　そこで、本実施形態では、難易度推定部３によって処理対象フレームｘ（ｔ）の高解像度化難易度が高いと推定された場合には高難易度用高解像度化処理部１０３が高解像度化処理を行い、難易度推定部３によって処理対象フレームｘ（ｔ）の高解像度化難易度が低いと推定された場合には低難易度用高解像度化処理部１０３が高解像度化処理を行うこととする。すなわち、処理対象フレームｘ（ｔ）の高解像度間難易度に応じてサイズが異なるＣＮＮ１３，１４を適応的に適用する。
　なお、処理対象フレームｘ（ｔ）ごとに高解像度化難易度を判定してフレーム単位で適用するＣＮＮ１３，１４を切り替えてもよいが、一定間隔ごと（例えばキーフレームごと）に適用するＣＮＮ１３，１４を切り替えてもよい。高解像度化難易度は隣接フレームでは大きく変わらないと考えられるためである。
　図５は、図４の画像処理装置の処理動作の一例を示すフローチャートである。まず、高解像度化処理部１０２は低解像度フレームｘ（１）～ｘ（ｎ）のうちの１つを処理対象フレームｘ（ｔ）として設定する（ステップＳ１１）。そして、難易度推定部３は処理対象フレームｘ（ｔ）が切替対象フレームであるか否かを判定する（ステップＳ１２）。
　ここで、一例として、難易度推定部３はキーフレームである処理対象フレームｘ（ｔ）を切替対象フレームとしてもよい。別の例として、難易度推定部３は、シーンチェンジに対応するキーフレームである処理対象フレームｘ（ｔ）を切替対象フレームとしてもよいし、全フレームを切替対象フレームとしてもよい。
　処理対象フレームｘ（ｔ）が切替対象フレームである場合（ステップＳ１２のＹＥＳ）、難易度推定部３は処理対象フレームｘ（ｔ）の高解像度化難易度を推定する（ステップＳ１３）。本実施形態では、難易度推定部３は処理対象フレームｘ（ｔ）の高解像度化難易度が高いか低いかを判定する。具体的な推定手法は上述したものでもよい。キーフレームを切替対象フレームとする場合、当該キーフレームから次のキーフレームまでの間の１またはすべてのフレームの平均的な高解像度化難易度を推定し、推定された難易度を処理対象フレームｘ（ｔ）の高解像度化難易度としてもよい。
　続いて、高解像度化処理部１０２は、難易度推定部３によって推定された処理対象フレームｘ（ｔ）の高解像度化難易度に応じて、高難易度用高解像度化処理部１０３および低難易度用高解像度化処理部１０４のいずれを適用するかを決定する（ステップＳ１４）。具体的には、高解像度化の難易度が高いと判定された処理対象フレームｘ（ｔ）には高難易度用高解像度化処理部１０３が適用され、高解像度化の難易度が低いと判定された処理対象フレームｘ（ｔ）には低難易度用高解像度化処理部１０４が適用される。
　そして、決定された高難易度用高解像度化処理部１０３および低難易度用高解像度化処理部１０４のいずれが処理対象フレームｘ（ｔ）の高解像度化処理を行う（ステップＳ１５）。生成された高解像度フレームｙ（ｔ）はディスプレイに表示されてもよい。なお、処理対象フレームｘ（ｔ）に適用される高解像度化処理部と、前フレームｘ（ｔ－１）に適用された高解像度化処理部とが異なる場合、前フレームｘ（ｔ－１）を高解像度化した際に生成される特徴マップｈ（ｔ－１）を処理対象フレームｘ（ｔ）の高解像度化に使えないのであれば、適宜、定数の特徴マップあるいは第１実施形態で述べたような代替特徴マップを使うようにすればよい。
　一方、処理対象フレームｘ（ｔ）が切替対象フレームでない場合（ステップＳ１２のＮＯ）、前フレームｘ（ｔ－１）を処理した高難易度用高解像度化処理部１０３および低難易度用高解像度化処理部１０４のいずれが処理対象フレームｘ（ｔ）の高解像度化処理を行う（ステップＳ１５）。言い換えると、処理対象フレームｘ（ｔ）より前の切替対象フレームの高解像度化難易度に応じて決定された高難易度用高解像度化処理部１０３および低難易度用高解像度化処理部１０４のいずれが、処理対象フレームｘ（ｔ）の高解像度化を行う。生成された高解像度フレームｙ（ｔ）はディスプレイに表示されてもよい。
　以上の処理を、処理対象フレームｘ（ｔ）が最終フレームとなるまで（ｔ＝ｎとなるまで）、ｔをインクリメントしながらステップＳ１１以降の処理を繰り返す（ステップＳ１６のＮＯ）。すべての低解像度フレームｘ（１）～ｘ（ｎ）の高解像度化処理が完了すると、画像処理装置の処理動作は終了する（ステップＳ１６のＹＥＳ）。処理の終了後に、高解像度化処理部１０１は高解像度フレームｙ（１）～ｙ（ｎ）から高解像度動画シーケンスＹを生成してもよい。
　ステップＳ１２においてキーフレームを切替対象フレームとする例においては、１つのキーフレームから次のキーフレームの前のフレームまでが同一の高解像度化処理部１０３
または高解像度化処理部１０４が適用されることとなる。
　なお、本実施形態では難易度推定部３が高解像度化難易度を２段階（難易度が高いか低いか）で推定する例を示したが、３段階以上で推定してもよい。この場合、高解像度化処理部１０２が互いにサイズが異なるＣＮＮを有する３つ以上の高解像度化処理部を有し、高解像度化の難易度が高いほどサイズが大きいＣＮＮを有する高解像度化処理部が処理対象フレームｘ（ｔ）を高解像度化すればよい。
　このように、第２実施形態では、互いにサイズが異なるＣＮＮを有する複数の高解像度化処理部を設け、処理対象フレームｘ（ｔ）の高解像度化難易度に応じたサイズのＣＮＮを用いて高解像度化処理を行う。これにより、高解像度化の精度と処理速度と両立させることができ、高解像度化処理の効率を向上できる。
　なお、本実施形態は、リカレント方式の高解像度化処理に限らず、前のフレームを高解像度化処理した際に生成された情報を次のフレームの高解像度化処理に用いない場合にも適用可能である。
（第３実施形態）
　次に述べる第３実施形態は第１実施形態と第２実施形態とを組み合わせたものである。
　図６は、第３実施形態に係る画像処理装置の概略構成を模式的に示すブロック図である。各部の機能は第１実施形態および第２実施形態で述べたとおりである。
　図７は、図６の画像処理装置の処理動作の一例を示すフローチャートである。以下、処理対象フレームがキーフレームである場合に、難易度推定部３は処理対象フレームが切り替え対象フレームであると判定するものとする。また、処理対象フレームがシーンチェンジに対応するキーフレームである場合に、リセット判定部１は処理対象フレームがリセット対象フレームであると判定するものとする。
　まず、高解像度化処理部１０２は低解像度化フレームｘ（１）～ｘ（ｎ）のうちの１つを処理対象フレームｘ（ｔ）として設定する（ステップＳ２１）。そして、難易度推定部３は処理対象フレームｘ（ｔ）が切替対象フレームであるか否か（本例では、キーフレームであるか否か）を判定する（ステップＳ２２）。
　処理対象フレームｘ（ｔ）が切替対象フレームでない場合（ステップＳ２２のＮＯ）、ステップＳ２６ａの処理に進む。
　処理対象フレームｘ（ｔ）が切替対象フレームである場合（ステップＳ２２のＹＥＳ）、すなわち、処理対象フレームｘ（ｔ）がキーフレームである場合、難易度推定部３は処理対象フレームｘ（ｔ）の高解像度化難易度を推定する（ステップＳ２３）。本実施形態では、難易度推定部３は処理対象フレームｘ（ｔ）の高解像度化難易度が高いか低いかを判定する。
　続いて、高解像度化処理部１０２は、難易度推定部３によって推定された処理対象フレームｘ（ｔ）の高解像度化難易度に応じて、高難易度用高解像度化処理部１０３および低難易度用高解像度化処理部１０４のいずれを適用するかを決定する（ステップＳ２４）。具体的には、高解像度化の難易度が高いと判定された処理対象フレームｘ（ｔ）には高難易度用高解像度化処理部１０３が適用され、高解像度化の難易度が低いと判定された処理対象フレームｘ（ｔ）には低難易度用高解像度化処理部１０４が適用される。
　次に、リセット判定部１は処理態様フレームｘ（ｔ）がリセット対象フレームであるか否か（本例では、シーンチェンジに対応するキーフレームであるか否か）を判定する（ステップＳ２５）。
　処理対象フレームｘ（ｔ）がリセット対象フレームでない場合（ステップＳ２５のＮＯ）、ステップＳ２４で決定された高難易度用高解像度化処理部１０３および低難易度用高解像度化処理部１０４のいずれかが、処理対象フレームｘ（ｔ）と、処理対象フレームの前フレームｘ（ｔ－１）および／または後フレームｘ（ｔ＋１）と、前フレームｘ（ｔ－１）を高解像化処理した際に生成され特徴マップｈ（ｔ－１）とを用いて、処理対象フレームｘ（ｔ）を高解像化した高解像フレームｙ（ｔ）および特徴マップｈ（ｔ）を生成する（ステップＳ２６ａ）。生成された高解像度フレームｙ（ｔ）はディスプレイに表示されてもよい。
　一方、処理対象フレームｘ（ｔ）がリセット対象フレームである場合（ステップＳ２５のＹＥＳ）、ステップＳ２４で決定された高難易度用高解像度化処理部１０３および低難易度用高解像度化処理部１０４のいずれかが、処理対象フレームｘ（ｔ）と、処理対象フレームの前フレームｘ（ｔ－１）および／または後フレームｘ（ｔ＋１）と、代替特徴マップ生成部２によって生成された代替特徴マップｈ’とを用いて（特徴マップｈ（ｔ－１）を用いず）、処理対象フレームｘ（ｔ）を高解像化した高解像フレームｙ（ｔ）および特徴マップｈ（ｔ）を生成する（ステップＳ２６ｂ）。生成された高解像度フレームｙ（ｔ）はディスプレイに表示されてもよい。
　以上の処理を、処理対象フレームｘ（ｔ）が最終フレームとなるまで（ｔ＝ｎとなるまで）、ｔをインクリメントしながらステップＳ２１以降の処理を繰り返す（ステップＳ２７のＮＯ）。すべての低解像度フレームｘ（１）～ｘ（ｎ）の高解像度化処理が完了すると、画像処理装置の処理動作は終了する（ステップＳ２７のＹＥＳ）。処理の終了後に、高解像度化処理部１０２は高解像度フレームｙ（１）～ｙ（ｎ）から高解像度動画シーケンスＹを生成してもよい。
　このように、第３実施形態では、リセット判定部１を設けることによりエラーの蓄積および伝播を抑制でき、難易度推定部３を設けることにより高解像度化処理を効率化できる。なお、第１および第２実施形態で述べた事項を適宜第３実施形態にも適用してよい。
　なお、上述した各実施形態は機械学習手法の一例としてＣＮＮを示したが、他の一般的な機械学習手法にも本発明は適用可能である。すなわち、各高解像度化処理部は任意の機械学習モデルを用いて処理を行えばよく、その一例としてニューラルネットワークを用いた処理、さらにその一例としてＣＮＮを用いた処理を行ってよい。
　本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線（無線通信も含む）を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。
上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形例を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
例えば、本明細書において１台の装置として説明されるもの（図面において１台の装置として描かれているものを含む）を複数の装置によって実現してもよい。逆に、本明細書において複数の装置として説明されるもの（図面において複数の装置として描かれているものを含む）を１台の装置によって実現してもよい。あるいは、ある装置に含まれるとした手段や機能の一部または全部が、他の装置に含まれるようにしてもよい。
　また、本明細書に記載された事項の全てが必須の要件というわけではない。特に、本明細書に記載され、特許請求の範囲に記載されていない事項は任意の付加的事項ということができる。
　なお、本出願人は本明細書の「先行技術文献」欄の文献に記載された文献公知発明を知っているにすぎず、本発明は必ずしも同文献公知発明における課題を解決することを目的とするものではないことにも留意されたい。本発明が解決しようとする課題は本明細書全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果の裏返しとなる課題が解決されるということもできる。ただし、必ずしもそのような特定の構成を必須の要件とする趣旨ではない。
１００，１０１，１０２　高解像度化処理部
１０，１１，１３，１４，２１，３１　ＣＮＮ
１　リセット判定部
２　代替特徴マップ生成部
３　難易度推定部

Claims (13)

  1. 　複数のフレームから構成される動画シーケンスを高解像化処理する画像処理方法であって、
    　前記複数のフレームにおける処理対象フレームがキーフレームであるか否かを判定するステップと、
    （ｉ）前記処理対象フレームがキーフレームであると判定された場合、
    　　前記処理対象フレームの高解像度化難易度を推定するステップと、
    　　互いに計算量が異なる複数の機械学習モデルのうち、推定された高解像度化難易度に応じた機械学習モデルを決定するステップと、
    　　前記処理対象フレームがシーンチェンジに対応するキーフレームであるか否かを判定するステップと、
    　　前記処理対象フレームがシーンチェンジに対応するキーフレームでない場合、前記決定された機械学習モデルを用いて高画質化処理部が、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームを生成するステップと、
    　　前記処理対象フレームがシーンチェンジに対応するキーフレームである場合、
    　　　前記処理対象フレームと、前記処理対象フレームの後のフレームと、を用いて代替特徴マップを生成し、
    　　　前記決定された機械学習モデルを用いて高画質化処理部が、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記代替特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームを生成するステップと、
    （ｉｉ）前記処理対象フレームがキーフレームでないと判定された場合、前記決定された機械学習モデルを用いて高画質化処理部が、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームを生成するステップと、を備える画像処理方法。
  2. 　複数のフレームから構成される動画シーケンスを高解像化処理する画像処理装置であって、
    　前記複数のフレームにおける処理対象フレームがリセット対象フレームであるか否かを判定するリセット判定部と、
    　第１機械学習モデルを有し、
    　　前記処理対象フレームがリセット対象フレームでない場合、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームおよび特徴マップを生成し、
    　　前記処理対象フレームがリセット対象フレームである場合、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、を用いるが、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップを用いず、前記高解像フレームおよび前記特徴マップを生成する高解像度化処理部と、を備える画像処理装置。
  3. 　前記リセット判定部は、前記複数のフレームに含まれるキーフレームに基づいて、前記処理対象フレームがリセット対象フレームであるか否かを判定する、請求項２に記載の画像処理装置。
  4. 　前記リセット判定部は、前記処理対象フレームがキーフレームである場合、前記処理対象フレームがリセット対象フレームであると判定する、請求項２または３に記載の画像処理装置。
  5. 　前記リセット判定部は、前記処理対象フレームがシーンチェンジに対応するフレームである場合、前記処理対象フレームがリセット対象フレームであると判定する、請求項２に記載の画像処理装置。
  6. 　前記リセット判定部は、前記処理対象フレームがシーンチェンジに対応するキーフレームである場合、前記処理対象フレームがリセット対象フレームであると判定する、請求項２に記載の画像処理装置。
  7. 　前記リセット判定部は、前記処理対象フレームが前記複数のフレームのうちの先頭フレームである場合、前記処理対象フレームがリセット対象フレームであると判定する、請求項２に記載の画像処理装置。
  8. 　前記リセット判定部は、所定フレーム毎に、前記処理対象フレームがリセット対象フレームであると判定する、請求項２に記載の画像処理装置。
  9. 　前記第１機械学習モデルとは異なる第２機械学習モデルを有し、前記処理対象フレームと、前記処理対象フレームの後のフレームと、を用いて、代替特徴マップを生成する特徴マップ生成部を備え、
    　前記高解像度化処理部は、前記処理対象フレームがリセット対象フレームである場合、前記代替特徴マップを用いて前記高解像フレームおよび前記特徴マップを生成する、請求項２乃至８のいずれかに記載の画像処理装置。
  10. 　複数のフレームから構成される動画シーケンスを高解像化処理する画像処理装置であって、
    　前記複数のフレームにおける処理対象フレームがキーフレームである場合、前記処理対象フレームの高解像度化難易度を推定する難易度推定部と、
    　互いに計算量が異なる機械学習モデルを有する複数の高解像度化処理部と、を備え、
    　前記処理対象フレームがキーフレームである場合には、前記複数の高解像度化処理部のうち、前記処理対象フレームの高解像度化難易度に応じた機械学習モデルを有する高解像度化処理部が、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、を用いて、前記処理対象フレームを高解像化した高解像フレームを生成し、
    　前記処理対象フレームがキーフレームでない場合には、前記処理対象フレームより１つ前のフレームの高解像度化処理を行った高解像度化処理部が前記処理対象フレームの高解像度化処理を行う、画像処理装置。
  11. 　前記高解像度化難易度が高いほど、計算量が大きい機械学習モデルを有する高解像度化処理部が前記高解像フレームを生成する、請求項１０に記載の画像処理装置。
  12. 　複数のフレームから構成される動画シーケンスを高解像化処理する画像処理方法であって、
    　前記複数のフレームにおける処理対象フレームがリセット対象フレームであるか否かを判定するステップと、
    　機械学習モデルを用いて高画質化処理部が、
    　　前記処理対象フレームがリセット対象フレームでない場合、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップと、を用いて、前記処理対象フレームを高解像化した高解像フレームおよび特徴マップを生成し、
    　　前記処理対象フレームがリセット対象フレームである場合、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、を用いるが、前記処理対象フレームの前のフレームを高解像化処理した際に生成される特徴マップを用いず、前記高解像フレームおよび前記特徴マップを生成するステップと、を含む画像処理方法。
  13. 　複数のフレームから構成される動画シーケンスを高解像化処理する画像処理方法であって、
    　前記複数のフレームにおける処理対象フレームがキーフレームである場合、前記処理対象フレームの高解像度化難易度を推定するステップと、
    　前記処理対象フレームがキーフレームである場合には、互いに計算量が異なる複数の機械学習モデルのうち、前記処理対象フレームの高解像度化難易度に応じた機械学習モデルを用いて高画質化処理部が、前記処理対象フレームと、前記処理対象フレームの前および／または後のフレームと、を用いて、前記処理対象フレームを高解像化した高解像フレームを生成するステップと、
    　前記処理対象フレームがキーフレームでない場合には、前記処理対象フレームより１つ前のフレームの高解像度化処理を行った高解像度化処理部が前記処理対象フレームの高解像度化処理を行うステップと、含む画像処理方法。
PCT/JP2022/011503 2021-05-24 2022-03-15 画像処理装置および画像処理方法 WO2022249661A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280004929.4A CN115836519A (zh) 2021-05-24 2022-03-15 图像处理装置以及图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-087069 2021-05-24
JP2021087069A JP7007000B1 (ja) 2021-05-24 2021-05-24 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2022249661A1 true WO2022249661A1 (ja) 2022-12-01

Family

ID=80624149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011503 WO2022249661A1 (ja) 2021-05-24 2022-03-15 画像処理装置および画像処理方法

Country Status (3)

Country Link
JP (1) JP7007000B1 (ja)
CN (1) CN115836519A (ja)
WO (1) WO2022249661A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7508525B2 (ja) 2022-10-21 2024-07-01 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097646A1 (en) * 2019-09-26 2021-04-01 Lg Electronics Inc. Method and apparatus for enhancing video frame resolution

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097646A1 (en) * 2019-09-26 2021-04-01 Lg Electronics Inc. Method and apparatus for enhancing video frame resolution

Also Published As

Publication number Publication date
JP2022180137A (ja) 2022-12-06
JP7007000B1 (ja) 2022-01-24
CN115836519A (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
CN103761710B (zh) 基于边缘自适应的高效图像盲去模糊方法
US8554019B2 (en) Apparatus and method for image processing
CN102576454A (zh) 利用空间图像先验的图像去模糊法
CN104103052B (zh) 一种基于稀疏表示的图像超分辨率重建方法
KR101987079B1 (ko) 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법
WO2022249661A1 (ja) 画像処理装置および画像処理方法
CN113724136B (zh) 一种视频修复方法、设备及介质
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
JP2009081574A (ja) 画像処理装置、方法およびプログラム
CN115731132A (zh) 图像修复方法、装置、设备及介质
US12056793B2 (en) Image processing method and apparatus and computer program product for the same
JP2015197818A (ja) 画像処理装置およびその方法
JP4563982B2 (ja) 動き推定方法，装置，そのプログラムおよびその記録媒体
JP2011070283A (ja) 顔画像高解像度化装置、及びプログラム
JP6652052B2 (ja) 画像処理装置および画像処理方法
CN116523743A (zh) 一种基于循环神经网络的游戏超分辨率方法
JP4232831B2 (ja) 画像処理装置および画像処理方法並びに画像処理プログラム
CN110598547A (zh) 快速运动人体姿态估计方法及装置
JP6854629B2 (ja) 画像処理装置、画像処理方法
CN114429203B (zh) 一种卷积计算方法、卷积计算装置及其应用
WO2014175484A1 (ko) 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치
Kim et al. NERDS: A General Framework to Train Camera Denoisers from Raw-RGB Noisy Image Pairs
JP7003342B2 (ja) 動画分離装置、プログラム及び動画分離方法
JP2005316985A (ja) 画像拡大装置及び画像拡大方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22810939

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2022810939

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022810939

Country of ref document: EP

Effective date: 20240102

122 Ep: pct application non-entry in european phase

Ref document number: 22810939

Country of ref document: EP

Kind code of ref document: A1