WO2019058606A1 - 補間フレーム生成装置 - Google Patents

補間フレーム生成装置 Download PDF

Info

Publication number
WO2019058606A1
WO2019058606A1 PCT/JP2018/010787 JP2018010787W WO2019058606A1 WO 2019058606 A1 WO2019058606 A1 WO 2019058606A1 JP 2018010787 W JP2018010787 W JP 2018010787W WO 2019058606 A1 WO2019058606 A1 WO 2019058606A1
Authority
WO
WIPO (PCT)
Prior art keywords
interpolation
mixing ratio
pixel
pixels
motion vector
Prior art date
Application number
PCT/JP2018/010787
Other languages
English (en)
French (fr)
Inventor
真季 高見
吉田　篤史
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2019058606A1 publication Critical patent/WO2019058606A1/ja
Priority to US16/808,942 priority Critical patent/US10917609B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Definitions

  • the present disclosure relates to an interpolated frame generation device that generates an interpolated frame based on a motion vector of an image.
  • the interpolation frame generation apparatus generates an interpolation frame to interpolate between two adjacent frames in order to convert the frame frequency of the video signal.
  • the interpolation frame generation device generates each interpolation pixel constituting the interpolation frame based on the motion vector of the image.
  • an interpolation pixel may be generated by mixing the interpolation pixel of the motion interpolation generated based on the motion vector and the interpolation pixel of the still interpolation of the motion 0.
  • An embodiment provides an interpolation frame generation device capable of generating an interpolation frame without reducing visual discomfort when a motion vector is erroneously detected, and without loss of smoothness of movement of an image more than necessary.
  • the purpose is
  • a motion vector of an image is detected based on pixels in at least first and second frames of an input video signal, and reliability data indicating reliability of the motion vector is generated.
  • Motion vectors from the pixels in the first and second frames in order to generate a motion vector detection unit and interpolation pixels constituting an interpolation frame to be interpolated between the first and second frames.
  • a pixel selector for selecting a pair of pixels for dynamic interpolation based on the pixel, a pair of pixels for static interpolation, and a motion generated based on the pair of pixels for dynamic interpolation based on the reliability data A first mixing ratio generation unit that generates a first mixing ratio indicating a mixing ratio of interpolation interpolation pixels for interpolation and interpolation pixels for still interpolation generated based on the pair of pixels for still interpolation; Choice A second mixing ratio generating a second mixing ratio indicating a mixing ratio between the interpolation pixel for the dynamic interpolation and the interpolation pixel for the still interpolation, based on the difference value between the pair of pixels for the dynamic interpolation selected by When the ratio generation unit and the first mixing ratio and the second mixing ratio are different from each other, the mixing ratio of the interpolation pixel of the still interpolation among the first mixing ratio and the second mixing ratio is smaller
  • a mixing ratio adjusting unit configured to generate a third mixing ratio by adjusting the mixing ratio so that the mixing ratio
  • the interpolation frame generation device of the embodiment it is possible to reduce the visual discomfort when the motion vector is erroneously detected, and to generate the interpolation frame without losing the smoothness of the movement of the image more than necessary. .
  • FIG. 1 is a block diagram showing a frame frequency conversion apparatus including an interpolation frame generation apparatus according to one embodiment.
  • FIG. 2 is a diagram conceptually showing an operation of generating interpolation pixels for dynamic interpolation by the interpolation frame generation device of one embodiment.
  • FIG. 3 is a block diagram showing an example of the internal configuration of the interpolation data generation unit 8 in FIG.
  • FIG. 4 is a diagram conceptually showing an operation of generating an interpolation pixel by mixing the interpolation pixel of dynamic interpolation and the interpolation pixel of static interpolation by the interpolation frame generation device of one embodiment.
  • the pixels at each pixel position that make up each frame of the video signal Sin that is the target of frame frequency conversion are sequentially arranged in frame units, the frame memory 1, the motion vector detection unit 2, the pixel selection unit 3, and The frame frequency conversion memory 9 is input.
  • the frame of the input video signal Sin is a frame F1 which is a current frame.
  • the frame F1 is a real frame as a first frame. It is assumed that the frame frequency of the video signal Sin is 60 Hz.
  • the frame memory 1 delays the frame F1 by one frame period to generate a frame F2 one frame before.
  • the frame F2 is a real frame as a second frame.
  • the pixels at each pixel position constituting the frame F2 are sequentially input to the motion vector detection unit 2 and the pixel selection unit 4 in pixel units.
  • the motion vector detection unit 2 extracts a set of pixels corresponding to various motions from a predetermined range in the horizontal and vertical directions in the frame F1 and a predetermined range in the horizontal and vertical directions in the frame F2, and their difference values Is calculated, and the motion vector MV is detected based on the direction in which the difference value is small. Note that the motion vector detection unit 2 calculates difference values corresponding to various motions in each block in the block consisting of a plurality of pixels in the frame F1 and the block consisting of a plurality of pixels in the frame F2, The motion vector MV can also be detected based on the sum of the absolute values of the difference values.
  • the motion vector detection unit 2 refers to pixels in a frame other than the frames F1 and F2, for example, a future frame before the frame F1 and a previous frame one frame before the frame F2, or any one of them.
  • the motion vector MV may be detected. In this way, the detection accuracy of the motion vector MV is improved.
  • the number of frames compared when the motion vector detection unit 2 detects a motion vector MV is not limited to two, and may be three or more.
  • the motion vector detection unit 2 is not limited to comparing adjacent two frames, and may compare between frames skipped by one or more frames.
  • a motion vector detector 2 delays the input pixel in the horizontal direction to detect a motion vector MV between blocks in a predetermined range in the horizontal and vertical directions between the frame F1 and the frame F2. (Flip-flops) and vertically delayed line memories.
  • the pixel delay unit and the line memory may be provided outside the motion vector detection unit 2.
  • the motion vector detection unit 2 generates reliability data Re of the motion vector MV at the same time as detecting the motion vector MV.
  • the motion vector detection unit 2 can use the difference value of the pixel when the motion vector MV is detected as the reliability data Re.
  • the motion vector detection unit 2 generates the reliability data Re with the higher reliability as the difference value is smaller and the lower reliability as the difference value is larger.
  • the motion vector detection unit 2 generates the reliability data Re on the basis of how much the difference value of the other candidate vectors is different from the difference value of the motion vector MV when the motion vector MV is detected. It is also good. In this case, the motion vector detection unit 2 generates the reliability data Re with higher reliability as the difference value of the other candidate vectors is larger than the difference value of the motion vector MV.
  • the motion vector detection unit 2 may generate the reliability data Re of the motion vector MV in the process of detecting the motion vector MV, and a specific generation method of the reliability data Re is not limited.
  • the motion vector MV is supplied to the pixel selection units 3 and 4, and the reliability data Re is supplied to the mixing ratio generation unit 5.
  • the mixing ratio generation unit 5 generates a first mixing ratio Mr1 for mixing the interpolation pixel for dynamic interpolation and the interpolation pixel for still interpolation based on the reliability data Re, and supplies the first mixing ratio Mr1 to the mixing ratio adjustment unit 7 Do.
  • the first mixing ratio Mr1 indicates the mixing ratio of the two when the sum of the interpolation pixel for dynamic interpolation and the interpolation pixel for static interpolation is 1.
  • the pixel selection unit 3 selects the pixel P1 in the frame F1 based on the motion vector MV, and also selects the pixel P10 at the same pixel position as the interpolation pixel to be generated and supplies it to the interpolation data generation unit 8 Do.
  • the pixel selection unit 4 selects the pixel P2 in the frame F2 based on the motion vector MV and also selects the pixel P20 at the same pixel position as the interpolation pixel to be generated and supplies it to the interpolation data generation unit 8 Do.
  • Pixel selectors 3 and 4 are input to select pixels P1 and P2 in frames F1 and F2 and pixels P10 and P20 at the same pixel position as the interpolation pixel to be generated based on motion vector MV, respectively.
  • FIG. 2 shows an operation in which the pixel selection units 3 and 4 select the pixels P1 and P2 based on the motion vector MV to generate the interpolation pixel P21 of the interpolation frame F21 to be interpolated between the frame F1 and the frame F2. Shown conceptually. Here, only pixels in the horizontal direction are shown for simplification.
  • the motion vector MV indicates that the image has moved by four pixels to the left in the horizontal direction.
  • the interpolation pixel P21 is generated by dynamic interpolation based on only the motion vector MV, a pixel P1 at a position shifted by 2 pixels to the left with respect to the interpolation pixel P21 and a pixel P2 at a position shifted by 2 pixels to the right , And divided by two, an interpolated pixel P21 is generated.
  • the pixel selection units 3 and 4 respectively select the pixels P10 and P20 at the same pixel position as the interpolation pixel P21 shown in FIG. As described later, the interpolation pixel P21 may be generated based on the pixels P1 and P2 and the pixels P10 and P20.
  • the pixel P1 selected by the pixel selection unit 3 and the pixel P2 selected by the pixel selection unit 4 are also supplied to the mixing ratio generation unit 6.
  • the mixing ratio generation unit 6 mixes the interpolation pixel of the dynamic interpolation with the interpolation pixel of the static interpolation based on the difference value between the pixel P1 and the pixel P2 selected based on the motion vector MV.
  • the second mixing ratio Mr2 also indicates the mixing ratio of the two when the sum of the interpolation pixel for dynamic interpolation and the interpolation pixel for static interpolation is 1.
  • the mixing ratio adjusting unit 7 generates a final third mixing ratio Mr3 based on the first mixing ratio Mr1 and the second mixing ratio Mr2.
  • the mixing ratio adjustment unit 7 selects the mixing ratio of the one with the larger ratio of the interpolation pixel for static interpolation out of the first mixing ratio Mr1 and the second mixing ratio Mr2, and Mixing ratio Mr3.
  • the first mixing ratio Mr1 indicates that the mixing ratio of the interpolation pixel for dynamic interpolation and the interpolation pixel for static interpolation is 0.7: 0.3
  • the second mixing ratio Mr2 is for dynamic interpolation It is assumed that the mixing ratio of the interpolation pixel and the interpolation pixel of static interpolation is 0.6: 0.4.
  • the mixing ratio adjusting unit 7 sets the second mixing ratio Mr2 to the third mixing ratio Mr3.
  • the mixing ratio adjusting unit 7 averages the first mixing ratio Mr1 and the second mixing ratio Mr2 to generate a third mixing ratio Mr3. For example, when indicating that the first mixing ratio Mr1 is 0.7: 0.3 and indicating that the second mixing ratio Mr2 is 0.6: 0.4, the mixing ratio adjusting unit 7 The two are averaged to set the third mixing ratio Mr3 to 0.65: 0.35.
  • the mixing ratio adjustment unit 7 interpolates the pixel for motion interpolation and indicates the first mixing ratio Mr1 and the second mixing ratio Mr2.
  • the mixing ratio of the interpolation pixel to the interpolation pixel is taken as the third mixing ratio Mr3 as it is.
  • the mixing ratio adjustment unit 7 performs interpolation of still interpolation more than when the mixing ratio of the one with smaller interpolation ratio of still interpolation is selected.
  • the third mixing ratio Mr3 may be generated by adjusting the mixing ratio so as to increase the mixing ratio of the pixels.
  • the mixing ratio adjusting unit 7 selects the mixing ratio of the one with the larger ratio of the interpolation pixel of the still interpolation, out of the first mixing ratio Mr1 and the second mixing ratio Mr2, Since the third mixing ratio Mr3 may be set, the configuration is simplified as compared with the second example, which is preferable.
  • the mixing ratio adjusting unit 7 may generate a third mixing ratio Mr3 as follows as a third example.
  • the mixing ratio generation unit 5 generates the reliability of the first mixing ratio Mr1 based on the reliability data Re.
  • the method of generating the reliability is not particularly limited, but the higher the reliability indicated by the reliability data Re, the higher the reliability, and the lower the reliability indicated by the reliability data Re.
  • the mixing ratio generation unit 5 may use the reliability indicated by the reliability data Re as it is as the reliability of the first mixing ratio Mr1.
  • the mixing ratio generation unit 6 generates the reliability of the second mixing ratio Mr2 based on the difference value between the pixel P1 and the pixel P2.
  • the mixing ratio generation unit 6 may generate a higher reliability as the difference value is smaller, and may generate a lower reliability as the difference value is larger.
  • the mixing ratio adjusting unit 7 is more reliable than the reliability of the first mixing ratio Mr1 generated by the mixing ratio generating unit 5 and the reliability of the second mixing ratio Mr2 generated by the mixing ratio generating unit 6. Let the mixing ratio of the higher one be the third mixing ratio Mr3.
  • the third mixing ratio Mr3 indicates that the interpolation data generation unit 8 indicates the interpolation pixel for dynamic interpolation generated based on the pixels P1 and P2 and the interpolation pixel for still interpolation generated based on the pixels P10 and P20. It mixes adaptively according to the mixing ratio.
  • FIG. 4 shows a state in which the interpolation pixel P12 for dynamic interpolation and the interpolation pixel P120 for static interpolation are adaptively mixed to generate the interpolation pixel P21.
  • FIG. 2 corresponds to the operation of the interpolation data generation unit 8 when the third mixing ratio Mr3 indicates that the mixing ratio of the interpolation pixel for dynamic interpolation and the interpolation pixel for static interpolation is 1: 0.
  • the third mixing ratio Mr3 may be determined in the range of 1: 0 to 0: 1 of the mixing ratio of the interpolation pixel for dynamic interpolation and the interpolation pixel for static interpolation.
  • the interpolation pixels P21 at the respective pixel positions constituting the interpolation frame F21 are sequentially supplied to the frame frequency conversion memory 9 in pixel units.
  • the frame frequency conversion memory 9 writes the frame F1 and the interpolation frame F21.
  • the frame frequency conversion memory 9 alternately reads out the written frame F1 and the interpolation frame F21 at 120 Hz which is twice the frame frequency of the video signal Sin to generate and output a video signal Sout having a frame frequency of 120 Hz.
  • Interpolation frame F21 can be generated.
  • the frame frequency conversion device provided with the interpolation frame generation device of the present embodiment, there is less visual unnaturalness when the motion vector MV is erroneously detected, and the slippage of the image movement is not lost more than necessary.
  • a video signal Sout whose frequency is converted can be generated.
  • the interpolation frame generation device may be an interpolation frame generation device that generates three interpolation frames to be interpolated between two adjacent real frames, which is used in a frame frequency conversion device that converts a frame frequency into four.
  • FIG. 1 may be configured by a circuit by hardware, or at least a portion may be configured by software (computer program).
  • the use of hardware and software is optional.
  • the computer program may be stored and provided in a non-transitory storage medium.

Abstract

動きベクトル検出部（２）は動きベクトル（ＭＶ）を検出し、動きベクトル（ＭＶ）の信頼度データ（Ｒｅ）を生成する。画素選択部（３及び４）は、動補間用の画素（Ｐ１及びＰ２）と静止補間用の画素（Ｐ１０及びＰ２０）とを選択する。混合比率生成部（５）は、信頼度データ（Ｒｅ）に基づいて、動補間の補間画素と静止補間の補間画素との第１の混合比率（Ｍｒ１）を生成する。混合比率生成部（６）は、動補間用の画素の差分値に基づいて第２の混合比率（Ｍｒ２）を生成する。混合比率調整部（７）は、静止補間の補間画素の混合比率が多くなるように混合比率を調整して第３の混合比率（Ｍｒ３）を生成する。補間データ生成部（８）は、第３の混合比率（Ｍｒ３）に応じて動補間及び静止補間の補間画素を混合する。

Description

補間フレーム生成装置
　本開示は、画像の動きベクトルに基づいて補間フレームを生成する補間フレーム生成装置に関する。
　補間フレーム生成装置は、映像信号のフレーム周波数を変換するために、隣接する２つのフレーム間に内挿するための補間フレームを生成する。補間フレーム生成装置は、画像の動きベクトルに基づいて補間フレームを構成する各補間画素を生成する。
特開２０１４－１８７６９０号公報
　動きベクトルを誤検出すると不適切な補間画素が生成され、視聴者に視覚的な違和感を与えてしまう。そこで、視覚的な違和感を軽減するために、動きベクトルに基づいて生成した動補間の補間画素と、動き０の静止補間の補間画素とを混合して補間画素を生成することがある。
　動補間の補間画素と静止補間の補間画素とを混合するときに、動補間の補間画素の比率を増やせば補間フレームにおける画像の動きが滑らかとなるが、動きベクトルを誤検出したときの視覚的な違和感が増大しやすい。一方、静止補間の補間画素の比率を増やせば動きベクトルを誤検出しても視覚的な違和感を少なくすることができるが、画像の動きの滑らさが必要以上に失われることがある。
　実施形態は、動きベクトルを誤検出したときの視覚的な違和感を少なくし、画像の動きの滑らさが必要以上に失われることなく、補間フレームを生成することができる補間フレーム生成装置を提供することを目的とする。
　実施形態の一態様によれば、入力された映像信号における少なくとも第１及び第２のフレーム内の画素に基づいて画像の動きベクトルを検出し、前記動きベクトルの信頼度を示す信頼度データを生成する動きベクトル検出部と、前記第１及び第２のフレーム間に内挿される補間フレームを構成する各補間画素を生成するために、前記第１及び第２のフレーム内の画素より、前記動きベクトルに基づく動補間用の一対の画素と、静止補間用の一対の画素とを選択する画素選択部と、前記信頼度データに基づいて、前記動補間用の一対の画素に基づいて生成される動補間の補間画素と、前記静止補間用の一対の画素に基づいて生成される静止補間の補間画素との混合比率を示す第１の混合比率を生成する第１の混合比率生成部と、前記画素選択部によって選択された前記動補間用の一対の画素の差分値に基づいて、前記動補間の補間画素と前記静止補間の補間画素との混合比率を示す第２の混合比率を生成する第２の混合比率生成部と、前記第１の混合比率と前記第２の混合比率とが異なるとき、前記第１の混合比率と前記第２の混合比率とのうち静止補間の補間画素の混合比率が少ない方の混合比率を選択したときよりも静止補間の補間画素の混合比率が多くなるように混合比率を調整して、第３の混合比率を生成する混合比率調整部と、前記動補間の補間画素と前記静止補間の補間画素とを生成し、前記第３の混合比率に応じて前記動補間の補間画素と前記静止補間の補間画素とを適応的に混合して補間画素を生成する補間データ生成部とを備える補間フレーム生成装置が提供される。
　実施形態の補間フレーム生成装置によれば、動きベクトルを誤検出したときの視覚的な違和感を少なくし、画像の動きの滑らさが必要以上に失われることなく、補間フレームを生成することができる。
図１は、一実施形態の補間フレーム生成装置を含むフレーム周波数変換装置を示すブロック図である。 図２は、一実施形態の補間フレーム生成装置によって動補間の補間画素を生成する動作を概念的に示す図である。 図３は、図１中の補間データ生成部８の内部構成例を示すブロック図である。 図４は、一実施形態の補間フレーム生成装置によって動補間の補間画素と静止補間の補間画素とを混合して補間画素を生成する動作を概念的に示す図である。
　以下、一実施形態の補間フレーム生成装置について、添付図面を参照して説明する。図１に示すフレーム周波数変換装置は、本実施形態の補間フレーム生成装置を含んで構成されている。フレーム周波数変換装置の動作を説明しながら、補間フレーム生成装置の動作を説明する。
　図１において、フレーム周波数変換の対象となっている映像信号Ｓｉｎの各フレームを構成する各画素位置の画素は、画素単位で順に、フレームメモリ１、動きベクトル検出部２、画素選択部３、及びフレーム周波数変換メモリ９に入力される。入力された映像信号Ｓｉｎのフレームを現在フレームであるフレームＦ１であるとする。フレームＦ１は第１のフレームとしての実フレームである。映像信号Ｓｉｎのフレーム周波数は６０Ｈｚであるとする。
　フレームメモリ１はフレームＦ１を１フレーム期間遅延して、１フレーム前のフレームＦ２を生成する。フレームＦ２は第２のフレームとしての実フレームである。フレームＦ２を構成する各画素位置の画素は、画素単位で順に、動きベクトル検出部２及び画素選択部４に入力される。
　動きベクトル検出部２は、フレームＦ１内の水平及び垂直方向の所定の範囲及びフレームＦ２内の水平及び垂直方向の所定の範囲から、様々な動きに対応した画素の組を抽出してその差分値を算出し、差分値の小さい方向に基づいて動きベクトルＭＶを検出する。なお、動きベクトル検出部２は、フレームＦ１内の複数の画素よりなるブロック及びフレームＦ２内の複数の画素よりなるブロックのブロック内の各画素において、様々な動きに対応した差分値を算出し、その差分値の絶対値の総和に基づいて動きベクトルＭＶを検出することもできる。
　動きベクトル検出部２は、フレームＦ１及びＦ２以外の、例えばフレームＦ１よりも未来のフレームと、フレームＦ２の１フレーム前の過去のフレームとの双方、またはいずれか一方のフレーム内の画素を参照して、動きベクトルＭＶを検出してもよい。このようにすれば、動きベクトルＭＶの検出精度が向上する。動きベクトル検出部２が動きベクトルＭＶを検出する際に比較するフレームは２フレームに限定されず、３フレーム以上であってもよい。動きベクトル検出部２は隣接する２フレームを比較することに限定されず、１フレームまたはそれ以上飛ばしたフレーム間で比較してもよい。
　動きベクトル検出部２は、フレームＦ１とフレームＦ２との間の水平及び垂直方向の所定の範囲のブロック間の動きベクトルＭＶを検出するために、入力された画素を水平方向に遅延する画素遅延器（フリップフロップ）及び垂直方向に遅延するラインメモリを備える。画素遅延器及びラインメモリは、動きベクトル検出部２の外部に設けられていてもよい。
　動きベクトル検出部２は、動きベクトルＭＶを検出するのに併せて、動きベクトルＭＶの信頼度データＲｅを生成する。動きベクトル検出部２は、動きベクトルＭＶを検出したときの画素の差分値を信頼度データＲｅとすることができる。動きベクトル検出部２は、差分値が小さいほど信頼度が高く、差分値が大きいほど信頼度が低い信頼度データＲｅを生成する。
　動きベクトル検出部２は、動きベクトルＭＶを検出したときに、他の候補ベクトルの差分値が動きベクトルＭＶの差分値に対してどれだけ差があるかという基準で信頼度データＲｅを生成してもよい。この場合、動きベクトル検出部２は、他の候補ベクトルの差分値が動きベクトルＭＶの差分値が大きいほど、信頼度が高い信頼度データＲｅを生成する。
　動きベクトル検出部２は、動きベクトルＭＶを検出する過程で動きベクトルＭＶの信頼度データＲｅを生成すればよく、信頼度データＲｅの具体的な生成方法は限定されない。
　動きベクトルＭＶは、画素選択部３及び４に供給され、信頼度データＲｅは混合比率生成部５に供給される。混合比率生成部５は、信頼度データＲｅに基づいて、後述する動補間の補間画素と静止補間の補間画素とを混合する第１の混合比率Ｍｒ１を生成して、混合比率調整部７に供給する。第１の混合比率Ｍｒ１は、動補間の補間画素と静止補間の補間画素との合計を１としたときの両者の混合比率を示す。
　画素選択部３は、動きベクトルＭＶに基づいてフレームＦ１内の画素Ｐ１を選択し、併せて、生成しようとする補間画素と同じ画素位置の画素Ｐ１０を選択して、補間データ生成部８に供給する。画素選択部４は、動きベクトルＭＶに基づいてフレームＦ２内の画素Ｐ２を選択し、併せて、生成しようとする補間画素と同じ画素位置の画素Ｐ２０を選択して、補間データ生成部８に供給する。
　画素Ｐ１及びＰ２は動補間用の一対の画素であり、画素Ｐ１０及びＰ２０は静止補間用の一対の画素である。
　画素選択部３及び４は、それぞれ、動きベクトルＭＶに基づいてフレームＦ１及びＦ２内の画素Ｐ１及びＰ２、生成しようとする補間画素と同じ画素位置の画素Ｐ１０及びＰ２０を選択するために、入力された画素を水平方向に遅延する画素遅延器及び垂直方向に遅延するラインメモリを備える。動きベクトル検出部２と画素選択部３及び４とで画素遅延器及びラインメモリの少なくとも一部が共通化されていてもよい。画素遅延器及びラインメモリは、画素選択部３及び４の外部に設けられていてもよい。
　図２は、画素選択部３及び４が動きベクトルＭＶに基づいて画素Ｐ１及びＰ２を選択して、フレームＦ１とフレームＦ２との間に内挿する補間フレームＦ２１の補間画素Ｐ２１を生成する動作を概念的に示している。ここでは簡略化のため、水平方向の画素のみを示している。
　動きベクトルＭＶは、画像が水平方向左側に４画素分移動したことを示す。このとき、仮に動きベクトルＭＶのみに基づく動補間によって補間画素Ｐ２１を生成するとすれば、補間画素Ｐ２１に対して左側に２画素ずれた位置の画素Ｐ１と、右側に２画素ずれた位置の画素Ｐ２とを加算して２で除算すれば、補間画素Ｐ２１が生成される。
　しかしながら、画像の動きを全く誤検出することなく検出することは極めて困難であり、動きベクトルＭＶが完全に正しいとは限らない。そこで、画素選択部３及び４は、それぞれ、画素Ｐ１及びＰ２に加えて、図２に示す補間画素Ｐ２１と同じ画素位置の画素Ｐ１０及びＰ２０を選択する。後述するように、補間画素Ｐ２１は、画素Ｐ１及びＰ２と画素Ｐ１０及びＰ２０とに基づいて生成されることがある。
　図１に戻り、画素選択部３が選択した画素Ｐ１と、画素選択部４が選択した画素Ｐ２は、混合比率生成部６にも供給される。混合比率生成部６は、動きベクトルＭＶに基づいて選択された画素Ｐ１と画素Ｐ２との差分値に基づいて、動補間の補間画素と静止補間の補間画素とを混合する第２の混合比率Ｍｒ２を生成して、混合比率調整部７に供給する。第２の混合比率Ｍｒ２も、動補間の補間画素と静止補間の補間画素との合計を１としたときの両者の混合比率を示す。
　混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とに基づいて最終的な第３の混合比率Ｍｒ３を生成する。第１の例として、混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とのうち、静止補間の補間画素の比率が大きい方の混合比率を選択して、第３の混合比率Ｍｒ３とする。
　例えば、第１の混合比率Ｍｒ１が、動補間の補間画素と静止補間の補間画素との混合比率が０．７：０．３であることを示し、第２の混合比率Ｍｒ２が、動補間の補間画素と静止補間の補間画素との混合比率が０．６：０．４であることを示すとする。このとき、混合比率調整部７は、第２の混合比率Ｍｒ２を第３の混合比率Ｍｒ３とする。
　第２の例として、混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とを平均して、第３の混合比率Ｍｒ３を生成する。例えば、第１の混合比率Ｍｒ１が０．７：０．３であることを示し、第２の混合比率Ｍｒ２が０．６：０．４であることを示すとき、混合比率調整部７は、両者を平均して第３の混合比率Ｍｒ３を０．６５：０．３５とする。
　混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とが同じであれば、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とが示す動補間の補間画素と静止補間の補間画素との混合比率をそのまま第３の混合比率Ｍｒ３とする。
　混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とが異なれば、静止補間の補間画素の混合比率が少ない方の混合比率を選択したときよりも、静止補間の補間画素の混合比率が多くなるように混合比率を調整した第３の混合比率Ｍｒ３を生成すればよい。
　上述した第１の例では、混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とのうち、静止補間の補間画素の比率が大きい方の混合比率を選択して、第３の混合比率Ｍｒ３とすればよいので、第２の例よりも構成が簡略化されるので好ましい。
　混合比率調整部７は、第３の例として、次のように第３の混合比率Ｍｒ３を生成してもよい。混合比率生成部５は、信頼度データＲｅに基づいて第１の混合比率Ｍｒ１の信頼度を生成する。信頼度の生成の仕方は特に限定されないが、信頼度データＲｅが示す信頼度が高いほど高く、低いほど低い信頼度を生成すればよい。混合比率生成部５は、信頼度データＲｅが示す信頼度をそのまま第１の混合比率Ｍｒ１の信頼度としてもよい。
　混合比率生成部６は、画素Ｐ１と画素Ｐ２との差分値に基づいて第２の混合比率Ｍｒ２の信頼度を生成する。混合比率生成部６は、差分値が小さいほど高く、差分値が大きいほど低い信頼度を生成すればよい。
　混合比率調整部７は、混合比率生成部５が生成した第１の混合比率Ｍｒ１の信頼度と、混合比率生成部６が生成した第２の混合比率Ｍｒ２の信頼度とのうち、より信頼度が高い方の混合比率を第３の混合比率Ｍｒ３とする。
　補間データ生成部８は、画素Ｐ１及びＰ２に基づいて生成される動補間の補間画素と、画素Ｐ１０及びＰ２０に基づいて生成される静止補間の補間画素とを、第３の混合比率Ｍｒ３が示す混合比率に応じて適応的に混合する。
　図３に示すように、補間データ生成部８は、動補間部８１と、静止補間部８２と、混合部８３とを有する。動補間部８１は、画素Ｐ１と画素Ｐ２とを加算して２で除算して動補間の補間画素Ｐ１２を生成する。静止補間部８２は、画素Ｐ１０と画素Ｐ２０とを加算して２で除算して静止補間の補間画素Ｐ１２０を生成する。混合部８３は、第３の混合比率Ｍｒ３が示す混合比率に応じて、動補間の補間画素Ｐ１２と静止補間の補間画素Ｐ１２０を適応的に混合して、最終的な補間画素Ｐ２１を生成する。
　図４は、動補間の補間画素Ｐ１２と静止補間の補間画素Ｐ１２０を適応的に混合して、補間画素Ｐ２１を生成する状態を示している。図２は、第３の混合比率Ｍｒ３が、動補間の補間画素と静止補間の補間画素との混合比率が１：０であることを示すときの補間データ生成部８の動作に相当する。第３の混合比率Ｍｒ３は、動補間の補間画素と静止補間の補間画素との混合比率を１：０～０：１の範囲で決定すればよい。
　図１に戻り、補間フレームＦ２１を構成する各画素位置の補間画素Ｐ２１は、画素単位で順にフレーム周波数変換メモリ９に供給される。フレーム周波数変換メモリ９は、フレームＦ１及び補間フレームＦ２１を書き込む。フレーム周波数変換メモリ９は、書き込まれたフレームＦ１と補間フレームＦ２１とを、映像信号Ｓｉｎのフレーム周波数の２倍である１２０Ｈｚで交互に読み出すことにより、フレーム周波数１２０Ｈｚの映像信号Ｓｏｕｔを生成して出力する。
　以上のようにして、本実施形態の補間フレーム生成装置によれば、動きベクトルＭＶを誤検出したときの視覚的な違和感を少なくし、画像の動きの滑らさが必要以上に失われることがなく、補間フレームＦ２１を生成することができる。本実施形態の補間フレーム生成装置を備えるフレーム周波数変換装置によれば、動きベクトルＭＶを誤検出したときの視覚的な違和感が少なく、画像の動きの滑らさが必要以上に失われることなく、フレーム周波数が変換された映像信号Ｓｏｕｔを生成することができる。
　補間フレーム生成装置は、フレーム周波数を４倍に変換するフレーム周波数変換装置で用いられる、隣接する２つの実フレーム間に内挿する３つの補間フレームを生成する補間フレーム生成装置であってもよい。
　図１の各部をハードウェアによる回路によって構成してもよいし、少なくとも一部をソフトウェア（コンピュータプログラム）によって構成してもよい。ハードウェアとソフトウェアとの使い分けは任意である。コンピュータプログラムは非一時的な記憶媒体に記憶されて提供されてもよい。
　本願の開示は、２０１７年９月２２日に出願された特願２０１７－１８２００２号に記載の主題と関連しており、それらの全ての開示内容は引用によりここに援用される。
　既に述べられたもの以外に、本発明の新規かつ有利な特徴から外れることなく、上記の実施形態に様々な修正や変更を加えてもよいことに注意すべきである。従って、そのような全ての修正や変更は、添付の請求の範囲に含まれることが意図されている。

Claims (3)

  1. 　入力された映像信号における少なくとも第１及び第２のフレーム内の画素に基づいて画像の動きベクトルを検出し、前記動きベクトルの信頼度を示す信頼度データを生成する動きベクトル検出部と、
    　前記第１及び第２のフレーム間に内挿される補間フレームを構成する各補間画素を生成するために、前記第１及び第２のフレーム内の画素より、前記動きベクトルに基づく動補間用の一対の画素と、静止補間用の一対の画素とを選択する画素選択部と、
    　前記信頼度データに基づいて、前記動補間用の一対の画素に基づいて生成される動補間の補間画素と、前記静止補間用の一対の画素に基づいて生成される静止補間の補間画素との混合比率を示す第１の混合比率を生成する第１の混合比率生成部と、
    　前記画素選択部によって選択された前記動補間用の一対の画素の差分値に基づいて、前記動補間の補間画素と前記静止補間の補間画素との混合比率を示す第２の混合比率を生成する第２の混合比率生成部と、
    　前記第１の混合比率と前記第２の混合比率とが異なるとき、前記第１の混合比率と前記第２の混合比率とのうち静止補間の補間画素の混合比率が少ない方の混合比率を選択したときよりも静止補間の補間画素の混合比率が多くなるように混合比率を調整して、第３の混合比率を生成する混合比率調整部と、
    　前記動補間の補間画素と前記静止補間の補間画素とを生成し、前記第３の混合比率に応じて前記動補間の補間画素と前記静止補間の補間画素とを適応的に混合して補間画素を生成する補間データ生成部と、
    　を備える補間フレーム生成装置。
  2. 　前記混合比率調整部は、前記第１の混合比率と前記第２の混合比率とのうち、静止補間の補間画素の混合比率が大きい方の混合比率を前記第３の混合比率とする請求項１に記載の補間フレーム生成装置。
  3. 　前記混合比率調整部は、前記第１の混合比率と前記第２の混合比率とを平均して前記第３の混合比率を生成する請求項１に記載の補間フレーム生成装置。
PCT/JP2018/010787 2017-09-22 2018-03-19 補間フレーム生成装置 WO2019058606A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/808,942 US10917609B2 (en) 2017-09-22 2020-03-04 Interpolation frame generation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-182002 2017-09-22
JP2017182002A JP6904192B2 (ja) 2017-09-22 2017-09-22 補間フレーム生成装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/808,942 Continuation US10917609B2 (en) 2017-09-22 2020-03-04 Interpolation frame generation device

Publications (1)

Publication Number Publication Date
WO2019058606A1 true WO2019058606A1 (ja) 2019-03-28

Family

ID=65810780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010787 WO2019058606A1 (ja) 2017-09-22 2018-03-19 補間フレーム生成装置

Country Status (3)

Country Link
US (1) US10917609B2 (ja)
JP (1) JP6904192B2 (ja)
WO (1) WO2019058606A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230162633A1 (en) * 2020-04-24 2023-05-25 Lg Electronics Inc. Pov display device and control method therefor
KR20220085283A (ko) * 2020-12-15 2022-06-22 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3181431B2 (ja) * 1993-05-21 2001-07-03 沖電気工業株式会社 動きベクトルを用いた適応動き内挿信号生成装置
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
JP2009503969A (ja) * 2005-07-28 2009-01-29 トムソン ライセンシング 補間フレームを生成するためのデバイス
JP2009239726A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 補間画像生成装置、方法およびプログラム
JP2013048375A (ja) * 2011-08-29 2013-03-07 Jvc Kenwood Corp 動き補償フレーム生成装置及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3887346B2 (ja) * 2003-04-28 2007-02-28 株式会社東芝 映像信号処理装置及び映像信号処理方法、映像表示装置
JP2014187690A (ja) 2013-02-25 2014-10-02 Jvc Kenwood Corp 映像信号処理装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3181431B2 (ja) * 1993-05-21 2001-07-03 沖電気工業株式会社 動きベクトルを用いた適応動き内挿信号生成装置
JP2009503969A (ja) * 2005-07-28 2009-01-29 トムソン ライセンシング 補間フレームを生成するためのデバイス
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
JP2009239726A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 補間画像生成装置、方法およびプログラム
JP2013048375A (ja) * 2011-08-29 2013-03-07 Jvc Kenwood Corp 動き補償フレーム生成装置及び方法

Also Published As

Publication number Publication date
US20200204760A1 (en) 2020-06-25
JP2019057866A (ja) 2019-04-11
JP6904192B2 (ja) 2021-07-14
US10917609B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
US8189105B2 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
EP1646228B1 (en) Image processing apparatus and method
US8446523B2 (en) Image processing method and circuit
US10917609B2 (en) Interpolation frame generation device
JP2006331136A (ja) 動きベクトル検出装置
JP4565339B2 (ja) 動き補正装置及び方法
JP5116602B2 (ja) 映像信号処理装置及び方法、プログラム
JP5325341B2 (ja) 立体映像処理装置および方法ならびに立体映像表示装置
JP2006109488A (ja) フィールド選択が可能な映像処理装置及びその方法
JP2011019037A (ja) 画像処理回路および画像処理方法
JP2008011476A (ja) フレーム補間装置及びフレーム補間方法
CN102104765A (zh) 用于短程运动补偿去隔行的方法和系统
US8200032B2 (en) Image processing method and related apparatus for performing image processing operation according to image blocks in horizontal direction
JP2006174123A (ja) 順次走査変換装置
JP2005236937A (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2014129528A1 (ja) 映像信号処理装置及び方法
JP5526918B2 (ja) 映像信号処理装置及び方法
JP5880116B2 (ja) 映像信号処理装置及び方法
JP2011035656A (ja) 補間フレーム生成装置およびそれを搭載した表示装置
WO2020075649A1 (ja) 補間フレーム生成装置及び方法
JP2011216935A (ja) 映像処理装置および映像表示装置
JP2006041619A (ja) 画像処理装置
JP2008011439A (ja) 補間画像生成装置
JP2010098513A (ja) 補間画像生成装置及び補間画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18859095

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18859095

Country of ref document: EP

Kind code of ref document: A1