WO2011043433A1 - フレームレート変換装置及び方法 - Google Patents

フレームレート変換装置及び方法 Download PDF

Info

Publication number
WO2011043433A1
WO2011043433A1 PCT/JP2010/067674 JP2010067674W WO2011043433A1 WO 2011043433 A1 WO2011043433 A1 WO 2011043433A1 JP 2010067674 W JP2010067674 W JP 2010067674W WO 2011043433 A1 WO2011043433 A1 WO 2011043433A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel data
interpolation
frame
correlation
motion vector
Prior art date
Application number
PCT/JP2010/067674
Other languages
English (en)
French (fr)
Inventor
浩史 野口
Original Assignee
日本ビクター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本ビクター株式会社 filed Critical 日本ビクター株式会社
Priority to KR1020117016839A priority Critical patent/KR101186143B1/ko
Priority to CN2010800038511A priority patent/CN102292981B/zh
Priority to US13/142,735 priority patent/US8319889B2/en
Priority to EP20100822103 priority patent/EP2375737B1/en
Publication of WO2011043433A1 publication Critical patent/WO2011043433A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)

Abstract

　相関検出部２１，２２は２種類の相関検出方法で相関を求める。相関比較部２３，２４は最大相関値を示す方向の動きベクトルＭＶ１，ＭＶ２と相関値ＤＦ１，ＤＦ２を出力する。相関比較部２５は相関が大きい方の動きベクトルを動きベクトルＭＶ３として選択し、補間部３における補間方法を決定するための補間制御信号ＦＳ１を出力する。補間部３は、補間制御信号ＦＳ１に応じて２種類の片側補間と両側補間とのいずれかを選択して補間画素データＰfp0を生成する。

Description

フレームレート変換装置及び方法
　本発明は、動画像の動きベクトルを用いて補間画素を生成し、実フレーム間に補間フレームを内挿してフレームレートを変換するフレームレート変換装置及び方法に関する。
　液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させるため、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上の垂直周波数に変換して画像表示することが行われている。フレームレート変換を行う映像信号処理装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。
　動きベクトルを用いて補間画素を生成し、実フレーム間に補間フレームを内挿してフレームレートを変換する動き補償型のフレームレート変換装置は、一例として、特許文献１に記載されている。
特開２００６－３３１１３６号公報
　動き補償型のフレームレート変換装置においては、時間的に前後する画像から本来存在しない画像を予測して生成するので、誤った画像を生成する、いわゆる誤補間が発生する場合がある。一例として、空間的に前に位置する前景の画像と空間的に後ろに位置する背景の画像との動きが異なる場合には、誤補間が発生しやすい。前景と背景との境界付近では動きベクトルの誤検出が発生しやすく、誤補間により不自然で違和感のある補間画像が発生してしまうという問題点がある。
　本発明はこのような問題点に鑑みなされたものであり、動きベクトルの誤検出に起因する誤補間を低減させることができるフレームレート変換装置及び方法を提供することを目的とする。
　本発明は、上述した従来の技術の課題を解決するため、第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出部（２１）と、前記第１の相関検出部より出力された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較部（２３）と、前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出部（２２）と、前記第２の相関検出部より出力された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較部（２４）と、前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較部（２５）と、前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択部（３１）と、前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択部（３２）と、前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成部（３４）と、前記補間画素データを用いて前記補間フレームを生成し、前記第１のフレームと前記第２のフレームとの間に内挿してフレームレートを変換するフレームレート変換部（４）とを備えることを特徴とするフレームレート変換装置を提供する。
　ここで、前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。
　また、前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、
　前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。
　さらに、前記第３の相関比較部は、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力することが好ましい。
　また、本発明は、上述した従来の技術の課題を解決するため、第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出ステップと、前記第１の相関検出ステップにて検出された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較ステップと、前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出ステップと、前記第２の相関検出ステップにて検出された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較ステップと、前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較ステップと、前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択ステップと、前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択ステップと、前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成ステップと、　前記補間画素データを用いて前記補間フレームを生成し、前記第１のフレームと前記第２のフレームとの間に内挿してフレームレートを変換するフレームレート変換ステップとを含むことを特徴とするフレームレート変換方法を提供する。
　ここで、前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。
　また、前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。
　さらに、前記第３の相関比較ステップは、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力するが好ましい。
　本発明のフレームレート変換装置及び方法によれば、動きベクトルの誤検出に起因する誤補間を低減させることができるので、自然で違和感の少ないフレームレート変換画像を得ることができる。
図１は、本発明のフレームレート変換装置の一実施形態を示すブロック図である。 図２は、一実施形態で用いる第１の相関検出方法を説明するための図である。 図３は、一実施形態で用いる第２の相関検出方法を説明するための図である。 図４は、動きベクトルに基づいた補間ベクトルを説明するための図である。 図５は、図１中の相関比較部２５の具体的構成例を示すブロック図である。 図６は、図５に示す相関比較部２５の動作を説明するための図である。 図７は、図１中の選択・平均値化部３４の具体的構成例を示すブロック図である。 図８は、一実施形態における補間動作を説明するための図である。 図９は、一実施形態における補間動作を説明するための図である。 図１０は、一実施形態による効果を説明するための図である。
　以下、本発明のフレームレート変換装置及び方法の一実施形態について、添付図面を参照して説明する。図１において、６０Ｈｚのフレーム周波数を有する映像信号Ｓinの各画素データは、フレームメモリ１，動きベクトル検出部２，補間部３，時系列変換メモリ４に順次入力される。フレームメモリ１は入力された画素データを１フレーム遅延して出力する。入力された映像信号Ｓinの現在フレームをＦ０、フレームメモリ１より出力された現在フレームより１フレーム前のフレームをＦ１とする。フレームＦ１の画素データは、動きベクトル検出部２及び補間部３に順次入力される。
　動きベクトル検出部２は、相関検出部２１，２２と相関比較部２３～２５とを備える。相関検出部２１は図２に示す第１の相関検出方法で複数の方向の相関を検出する。図２を用いて、相関検出部２１で行われる第１の相関検出方法について説明する。図２は、隣接するフレームＦ１，Ｆ０で“ＡＢＣＤＥＦ”なる文字画像よりなる物体ＯＢ１が水平移動している状態を示している。フレームＦp0はフレームＦ１，Ｆ０間に内挿する補間フレームである。補間フレームＦp0上の補間画素データＰfp0を生成する際に必要となる動きベクトルを求めるため、図２に示すように複数の方向の差分値を生成する。差分値とは厳密には画素データの輝度値の差分絶対値であり、以下単に差分値と称することとする。
　図２において、補間画素データＰfp0と同一の水平及び垂直位置にあるフレームＦ０上の画素データＰf00を移動後の画素データとして固定し、フレームＦ１上の複数の画素データそれぞれを移動前の画素データとする。フレームＦ１上の移動前の画素データは、補間画素データＰfp0と同一の水平及び垂直位置にある画素データＰf10を中心とした所定の範囲内の画素データである。なお、簡略化のため、フレームＦ１上の画素データＰf10のみ丸印で示し、その他の画素データの丸印は省略している。相関検出部２１は、画素データＰf00とフレームＦ１上の複数の画素データそれぞれとの差分値Ｄf11～Ｄf1Mを求める。図１に示すように、差分値Ｄf11～Ｄf1Mは相関比較部２３に入力される。差分値Ｄf11～Ｄf1Mは相関値と称することもできる。差分値が小さいほど相関が大きく、差分値が大きいほど相関が小さい。
　相関比較部２３は、差分値Ｄf11～Ｄf1Mを大小比較して最も小さい値を示す方向を動きベクトルＭＶ１として出力すると共に、最も小さい差分値、即ち、動きベクトルＭＶ１が有する差分値をＤＦ１として出力する。最も小さい差分値ＤＦ１を有する方向が最も相関が大きい。最も小さい差分値ＤＦ１は最大相関値である。図２において、画素データＰf00とフレームＦ１上の複数の画素データそれぞれとを結ぶ破線は動きベクトルＭＶ１として選択されなかった候補ベクトルを示している。相関比較部２３より出力された動きベクトルＭＶ１と差分値ＤＦ１は相関比較部２５に供給される。
　一方、相関検出部２２は図３に示す第２の相関検出方法で複数の方向の相関を検出する。図３を用いて、相関検出部２２で行われる第２の相関検出方法について説明する。図３は、図２と同様、隣接するフレームＦ１，Ｆ０で“ＡＢＣＤＥＦ”なる文字画像よりなる物体ＯＢ１が水平移動している状態を示している。補間フレームＦp0上の補間画素データＰfp0を生成する際に必要となる動きベクトルを求めるため、図３に示すように複数の方向の差分値を生成する。
　図３において、補間画素データＰfp0と同一の水平及び垂直位置にあるフレームＦ１上の画素データＰf10を移動前の画素データとして固定し、フレームＦ０上の複数の画素データそれぞれを移動後の画素データとする。フレームＦ０上の移動後の画素データは、補間画素データＰfp0と同一の水平及び垂直位置にある画素データＰf00を中心とした所定の範囲内の画素データである。なお、簡略化のため、フレームＦ０上の画素データＰf00のみ丸印で示し、その他の画素データの丸印は省略している。相関検出部２２は、画素データＰf10とフレームＦ０上の複数の画素データそれぞれとの差分値Ｄf21～Ｄf2Mを求める。図１に示すように、差分値Ｄf21～Ｄf2Mは相関比較部２４に入力される。同様に、差分値Ｄf21～Ｄf2Mは相関値と称することもできる。
　相関比較部２４は、差分値Ｄf21～Ｄf2Mを大小比較して最も小さい値を示す方向を動きベクトルＭＶ２として出力すると共に、最も小さい差分値（最大相関値）、即ち、動きベクトルＭＶ２が有する差分値をＤＦ２として出力する。図３において、画素データＰf10とフレームＦ０上の複数の画素データそれぞれとを結ぶ破線は動きベクトルＭＶ２として選択されなかった候補ベクトルを示している。相関比較部２４より出力された動きベクトルＭＶ２と差分値ＤＦ２は相関比較部２５に供給される。
　図２，図３では、一対の画素データ間の差分値を求めて相関を検出するようにしたが、複数の画素データを含むブロック毎に差分値を求めて積分した差分絶対値和に基づいて相関を求めてもよい。相関の検出方法は任意である。
　相関比較部２５は、差分値ＤＦ１，ＤＦ２及び動きベクトルＭＶ１，ＭＶ２に基づいて、最終的な動きベクトルＭＶ３と、補間部３における補間方法を決定するための補間制御信号ＦＳ１とを生成して出力する。動きベクトルＭＶ３が図４に示すベクトルである場合、補間画素データＰfp0を生成するための一対の補間ベクトルは、フレームＦ１上の画素データＰf11から補間画素データＰfp0へと向かうベクトル（１／２）×ＭＶ３（以下、1/2ＭＶ３と表記する）と、フレームＦ０上の画素データＰf01から補間画素データＰfp0へと向かうベクトル（－１／２）×ＭＶ３（以下、-1/2ＭＶ３と表記する）となる。
　本実施形態においては、後に詳述するように、補間部３は、補間制御信号ＦＳ１に応じて、補間画素データＰfp0を生成する際に、フレームＦ１上の画素データ（図４の例では画素データＰf11）のみを用いる片側補間の補間方法と、フレームＦ０上の画素データ（図４の例では画素データＰf01）のみを用いる片側補間の補間方法と、フレームＦ１上の画素データとフレームＦ０上の画素データとを平均化して新たな画素データを生成する両側補間の補間方法とを選択的に用いる。
　図５を用いて相関比較部２５の具体的構成及び動作について説明する。図５において、相関比較部２５１には差分値ＤＦ１，ＤＦ２が入力され、相関比較部２５１は差分値ＤＦ２が差分値ＤＦ１より小さいときに比較信号Ｓcp0として１を、それ以外のときに比較信号Ｓcp0として０を出力する。ベクトル選択部２５２は、比較信号Ｓcp0が０であれば動きベクトルＭＶ１を動きベクトルＭＶ３として出力し、比較信号Ｓcp0が１であれば動きベクトルＭＶ２を動きベクトルＭＶ３として出力する。
　ベクトル等価判定部２５３には動きベクトルＭＶ１，ＭＶ２が入力される。ベクトル等価判定部２５３は、動きベクトルＭＶ１，ＭＶ２の差分が比較的小さい所定の範囲内にあるときに判定信号Ｓj0として１を、それ以外のときに判定信号Ｓj0として０を出力する。なお、動きベクトルＭＶ１，ＭＶ２の差分は一例として次のようにして求めればよい。動きベクトルＭＶ１の水平方向と垂直方向の成分を（ｘ１，ｙ１）、動きベクトルＭＶ２の水平方向と垂直方向の成分を（ｘ２，ｙ２）とする。ｘ１，ｙ１，ｘ２，ｙ２は正または負の値である。（|ｘ１－ｘ２|，|ｙ１－ｙ２|）が所定の（ａ，ｂ）以内であれば動きベクトルＭＶ１，ＭＶ２の差分は所定の範囲内にあるとする。ａ，ｂの値は適宜に設定すればよい。相関差分絶対値算出部２５４には差分値ＤＦ１，ＤＦ２が入力され、相関差分絶対値算出部２５４は差分値ＤＦ１，ＤＦ２の差分の絶対値Ｓdaを算出して出力する。
　閾値比較部２５５は第１の閾値TH1と差分絶対値Ｓdaとを比較し、差分絶対値Ｓdaが第１の閾値TH1より小さいときに比較信号Ｓcp1として１を、それ以外のときに比較信号Ｓcp1として０を出力する。閾値比較部２５６は第２の閾値TH2と差分絶対値Ｓdaとを比較し、差分絶対値Ｓdaが第２の閾値TH2より小さいときに判定信号Ｓj2として１を、それ以外のときに判定信号Ｓj2として０を出力する。第２の閾値TH2は第１の閾値TH1より小さい値とする。
　ＡＮＤ回路２５７には、ベクトル等価判定部２５３からの判定信号Ｓj0と閾値比較部２５５からの比較信号Ｓcp1とが入力される。ＡＮＤ回路２５７は２つの入力信号が１のとき判定信号Ｓj1として１を出力し、それ以外のとき判定信号Ｓj1として０を出力する。以上の説明より分かるように、ＡＮＤ回路２５７から１が出力されるのは、動きベクトルＭＶ１，ＭＶ２の差分がわずかで、差分絶対値Ｓdaも比較的小さく、動きベクトルＭＶ１，ＭＶ２は実施的に同じであるとみなせる場合である。ＡＮＤ回路２５７から出力される判定信号Ｓj1は、一例として前景が静止して背景が動いているような画像の場合に、背景の領域において図４に示すベクトル1/2ＭＶ３，-1/2ＭＶ３を用いた両側補間にするための信号である。
　ＯＲ回路２５８には、ＡＮＤ回路２５７からの判定信号Ｓj1と閾値比較部２５６からの判定信号Ｓj2とが入力される。閾値比較部２５６から出力される判定信号Ｓj2は、背景と前景との境界近傍領域で差分値ＤＦ１，ＤＦ２にほとんど差がなかった場合に、両側補間にするための信号である。これは、背景と前景との境界近傍領域で差分値ＤＦ１，ＤＦ２にほとんど差がない場合に片側補間を行うと誤補間が発生しやく、誤補間を避けるためである。ＯＲ回路２５８は、判定信号Ｓj1，Ｓj2の少なくとも一方が１のとき判定信号Ｓj3として１を出力し、双方が０のとき判定信号Ｓj3として０を出力する。これにより、両側補間にすることが好ましい背景の領域で判定信号Ｓj3を１にすることができる。また、境界近傍領域で片側補間にすることが好ましくない場合にも判定信号Ｓj3を１にすることができる。
　補間制御信号生成部２５９には、相関比較部２５１からの比較信号Ｓcp0とＯＲ回路２５８からの判定信号Ｓj3とが入力される。補間制御信号生成部２５９は、判定信号Ｓj3と比較信号Ｓcp0とに基づいて図６に示すように２ビットの補間制御信号ＦＳ１を生成する。図６に示すように、判定信号Ｓj3と比較信号Ｓcp0の双方が０であれば、補間制御信号ＦＳ１は１０となり、判定信号Ｓj3が０で比較信号Ｓcp0が１であれば、補間制御信号ＦＳ１は０１となる。判定信号Ｓj3が１であれば比較信号Ｓcp0には無関係に１１となる。
　図１に戻り、相関比較部２５より出力された動きベクトルＭＶ３は補間部３内のベクトル遅延量変換部３３に入力され、補間制御信号ＦＳ１は補間部３内の選択・平均値化部３４に入力される。補間部３は、ベクトル遅延量変換部３３と選択・平均値化部３４の他、データ保持・選択部（画素データ選択部）３１，３２を備える。データ保持・選択部３１は、補間画素データＰfp0を生成する際に必要となるフレームＦ０上の複数の画素データを保持する。データ保持・選択部３２は、補間画素データＰfp0を生成する際に必要となるフレームＦ１上の複数の画素データを保持する。ベクトル遅延量変換部３３は、入力された動きベクトルＭＶ３を図４で説明したように一対の補間ベクトルとし、この一対の補間ベクトルを、補間画素データＰfp0を生成するための遅延量ＤＬ０，ＤＬ１に変換して出力する。
　ベクトル遅延量変換部３３は、ベクトル1/2ＭＶ３を遅延量ＤＬ１に変換し、ベクトル-1/2ＭＶ３を遅延量ＤＬ０に変換する。遅延量ＤＬ０，ＤＬ１は、補間画素データＰfp0の位置を基準として正方向または負方向に何画素分遅延させるか（シフトさせるか）を示す値である。データ保持・選択部３１には遅延量ＤＬ０が入力され、データ保持・選択部３２には遅延量ＤＬ１が入力される。データ保持・選択部３１は予め保持しておいたフレームＦ０上の複数の画素データの中から遅延量ＤＬ０に基づいていずれかの画素データを選択し、データ保持・選択部３２は予め保持しておいたフレームＦ１上の複数の画素データの中から遅延量ＤＬ１に基づいていずれかの画素データを選択する。
　図４の例では、データ保持・選択部３１は画素データＰf11を選択し、データ保持・選択部３２は画素データＰf01を選択する。データ保持・選択部３１が選択した画素データをＰs0、データ保持・選択部３２が選択した画素データをＰs1とする。選択・平均値化部３４には、画素データＰs0，Ｐs1が入力される。選択・平均値化部３４は、補間制御信号ＦＳ１に応じて画素データＰs0，Ｐs1のいずれか一方または双方を用いて補間画素データＰfp0を生成して出力する。選択・平均値化部３４は補間画素データ生成部である。厳密には、補間部３では輝度及び色（色差を含む）の補間画素データを生成する。
　ここで、図７を用いて選択・平均値化部３４の具体的構成及び動作について説明する。図７に示すように、選択・平均値化部３４は、選択部３４１，３４２と、選択部３４１，３４２の出力を平均化して出力する平均値化部３４３とを備える。選択部３４１，３４２にはそれぞれ画素データＰs0，Ｐs1が入力される。選択部３４１には補間制御信号ＦＳ１の下位ビットが入力され、選択部３４２には補間制御信号ＦＳ１の上位ビットが入力される。選択部３４１は、補間制御信号ＦＳ１の下位ビットが１のとき画素データＰs0を選択し、下位ビットが０のとき画素データＰs1を選択する。選択部３４２は、補間制御信号ＦＳ１の上位ビットが１のとき画素データＰs1を選択し、下位ビットが０のとき画素データＰs0を選択する。
　補間制御信号ＦＳ１が１０のとき、選択部３４１，３４２は共に画素データＰs1を選択して出力するので、平均値化部３４３からは画素データＰs1が補間画素データＰfp0として出力されることになる。補間制御信号ＦＳ１が０１のとき、選択部３４１，３４２は共に画素データＰs0を選択して出力するので、平均値化部３４３からは画素データＰs0が補間画素データＰfp0として出力されることになる。即ち、補間制御信号ＦＳ１が１０のときは、図８に示すように、フレームＦ１上の画素データ（図８の例では画素データＰf11）を用いた片側補間となる。また、補間制御信号ＦＳ１が０１のときは、図９に示すように、フレームＦ０上の画素データ（図９の例では画素データＰf01）を用いた片側補間となる。
　補間制御信号ＦＳ１が１１のときには、選択部３４１は画素データＰs0を選択し、選択部３４２は画素データＰs1を選択して出力するので、平均値化部３４３からは画素データＰs0と画素データＰs1とを平均化したデータが補間画素データＰfp0として出力されることになる。即ち、補間制御信号ＦＳ１が１１のときは、図４に示すように、フレームＦ０，Ｆ１上の画素データ（図４の例では画素データＰf01，Ｐf11）を用いた両側補間となる。
　図１に戻り、時系列変換メモリ４にはフレームＦ０の画素データと補間部３より出力された補間画素データＰfp0とが順次入力される。時系列変換メモリ４は、順次入力されるフレームＦ０の画素データに基づいて実フレームであるフレームＦ０の画像データと、順次入力される補間画素データＰfp0に基づいて補間フレームである補間フレームＦp0の画像データを生成する。そして、両者を１２０Ｈｚで交互に出力して、１２０Ｈｚのフレーム周波数を有する映像信号Ｓoutを出力する。
　次に、図１０を用いて本実施形態のフレームレート変換装置及び方法による効果について説明する。図１０は、前景が静止して背景が水平方向に動いている状態を示している。図１０において、フレームＦ２はフレームＦ１よりも１フレーム前のフレームであり、ＭＶは背景の動きベクトルである。図１０に示す領域ＡＲ１，ＡＲ４は背景の領域であり、領域ＡＲ１，ＡＲ４内の補間画素データは、図５～図７で説明した動作によって、フレームＦ０，Ｆ１双方の画素データＰs0，Ｐs1を用いた両側補間によって生成される。
　領域ＡＲ２は前景と背景との境界に隣接する領域であり、図５～図７で説明した動作によって、領域ＡＲ２内の補間画素データを生成する際に使用される動きベクトルには、フレームＦ１上の画素データＰf1a～Ｐf1bを基点として検出した動きベクトルＭＶ２が選択される。この結果、領域ＡＲ２内の補間画素データは、破線の矢印で示すように、ベクトル-1/2ＭＶ２でフレームＦ０上の画素データのみから補間する片側補間によって生成される。従って、領域ＡＲ２内の補間画素データはフレームＦ０上の画素データから背景の画像が正しくシフトした画像となる。フレームＦ１上の画素データＰf1a～Ｐf1bの範囲Ｒg1は動きベクトルＭＶ２が選択される範囲である。
　同じく領域ＡＲ３は前景と背景との境界に隣接する領域であり、図５～図７で説明した動作によって、領域ＡＲ３内の補間画素データを生成する際に使用される動きベクトルには、フレームＦ０上の画素データＰf0c～Ｐf0dを基点として検出した動きベクトルＭＶ１が選択される。この結果、領域ＡＲ３内の補間画素データは、破線の矢印で示すように、ベクトル1/2ＭＶ１でフレームＦ１上の画素データのみから補間する片側補間によって生成される。従って、領域ＡＲ３内の補間画素データはフレームＦ１上の画素データから背景の画像が正しくシフトした画像となる。フレームＦ０上の画素データＰf0c～Ｐf0dの範囲Ｒg0は動きベクトルＭＶ１が選択される範囲である。なお、領域Ｒgsvは両側補間によって補間される。
　さらに、領域ＡＲ２１，ＡＲ３１は領域ＡＲ２，ＡＲ３内の境界近傍の領域であり、この境界近傍領域ＡＲ２１，ＡＲ３１では、図５～図７で説明した特定の条件のときに片側補間ではなく両側補間とする。例えば前景と背景との輝度が近い場合には、領域ＡＲ２１，ＡＲ３１では差分値ＤＦ１，ＤＦ２が近い値となって、図５における相関比較部２５１より出力される比較信号Ｓcp0が０または１の一方に固定されず、頻繁に０と１が変化することになる。このような場合に片側補間を行うと、領域ＡＲ２１，ＡＲ３１は前景が二重にぶれたような画像となる。図５～図７で説明した特定の条件のときに両側補間とすることによって、領域ＡＲ２１，ＡＲ３１における違和感を軽減することができる。
　このように、本実施形態においては、図１０に示すように前景と背景とが異なる動きをしている場合でも、前景と背景との境界付近で発生しやすい動きベクトルの誤検出を防ぐことができる。よって、動きベクトルの誤検出に起因する誤補間を低減させることができ、自然で違和感の少ないフレームレート変換画像を得ることが可能となる。
　以上説明した本実施形態においては、図１０の領域ＡＲ２１，ＡＲ３１における違和感を軽減するため図５において閾値比較部２５６及びＯＲ回路２５８を設けているが、簡略化のため閾値比較部２５６及びＯＲ回路２５８を削除してもよい。但し、閾値比較部２５６及びＯＲ回路２５８を設ける方が好ましい。また、閾値比較部２５５及びＡＮＤ回路２５７を削除して、ベクトル等価判定部２５３のみで背景であると判断することも可能である。但し、閾値比較部２５５及びＡＮＤ回路２５７を設ける方が好ましい。
　ベクトル等価判定部２５３からの判定信号Ｓj0が１である第１の条件を満たすときに両側補間にするのが基本である。閾値比較部２５５を追加すると、境界付近では本来であれば片側補間にするのが望ましいにもかかわらず、動きベクトルＭＶ１，ＭＶ２が等価のときに両側補間になってしまう不具合を回避することができる。従って、判定信号Ｓj0と比較信号Ｓcp1との双方が１である第２の条件を満たすときに両側補間にすることが好ましい。さらに、閾値比較部２５６を追加して、判定信号Ｓj2が１である第３の条件を満たす場合にも両側補間にすると、境界近傍領域ＡＲ２１，ＡＲ３１における違和感を軽減させることができる。第１の条件と第３の条件を満たす場合に両側補間にする構成としてもよい。
　図１に示す本実施形態においては、フレームレートを２倍に変換するフレームレート変換装置及び方法について示したが、３倍またはそれ以上の垂直周波数に変換するフレームレート変換装置及び方法であってもよい。本実施形態をフィルムジャダー除去装置に用いてもよい。本発明は以上説明した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
　以上で説明したように、本発明によれば、動きベクトルの誤検出に起因する誤補間を低減させ、自然で違和感の少ないフレームレート変換画像を得るフレームレート変換装置を提供することができる。
　１　フレームメモリ
　２　動きベクトル検出部
　３　補間部
　４　時系列変換メモリ
　２１，２２　相関検出部
　２３～２５　相関比較部
　３１，３２　データ保持・選択部（画素データ選択部）
　３３　ベクトル遅延量変換部
　３４　選択・平均値化部（補間画素データ生成部）

Claims (8)

  1. 　第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出部と、
    　前記第１の相関検出部より出力された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較部と、
    　前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出部と、
    　前記第２の相関検出部より出力された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較部と、
    　前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較部と、
    　前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択部と、
    　前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択部と、
    　前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成部と、
    　前記補間画素データを用いて前記補間フレームを生成し、前記第１のフレームと前記第２のフレームとの間に内挿してフレームレートを変換するフレームレート変換部と
    　を備えることを特徴とするフレームレート変換装置。
  2. 　前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、
    　前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
    　ことを特徴とする請求項１記載のフレームレート変換装置。
  3. 　前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、
    　前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
    　ことを特徴とする請求項１記載のフレームレート変換装置。
  4. 　前記第３の相関比較部は、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力する
    　ことを特徴とする請求項２または３に記載のフレームレート変換装置。
  5. 　第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出ステップと、
    　前記第１の相関検出ステップにて検出された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較ステップと、
    　前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出ステップと、
    　前記第２の相関検出ステップにて検出された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較ステップと、
    　前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較ステップと、
    　前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択ステップと、
    　前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択ステップと、
    　前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成ステップと、
    　前記補間画素データを用いて前記補間フレームを生成し、前記第１のフレームと前記第２のフレームとの間に内挿してフレームレートを変換するフレームレート変換ステップと
    　を含むことを特徴とするフレームレート変換方法。
  6. 　前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、
    　前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
    　ことを特徴とする請求項５記載のフレームレート変換方法。
  7. 　前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、
    　前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
    　ことを特徴とする請求項５記載のフレームレート変換方法。
  8. 　前記第３の相関比較ステップは、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力する
    　ことを特徴とする請求項６または７に記載のフレームレート変換方法。
PCT/JP2010/067674 2009-10-08 2010-10-07 フレームレート変換装置及び方法 WO2011043433A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020117016839A KR101186143B1 (ko) 2009-10-08 2010-10-07 프레임 레이트 변환 장치 및 방법
CN2010800038511A CN102292981B (zh) 2009-10-08 2010-10-07 帧率变换装置及方法
US13/142,735 US8319889B2 (en) 2009-10-08 2010-10-07 Frame rate conversion apparatus and method
EP20100822103 EP2375737B1 (en) 2009-10-08 2010-10-07 Device and method for frame rate conversion

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-234125 2009-10-08
JP2009234125A JP4692913B2 (ja) 2009-10-08 2009-10-08 フレームレート変換装置及び方法

Publications (1)

Publication Number Publication Date
WO2011043433A1 true WO2011043433A1 (ja) 2011-04-14

Family

ID=43856883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/067674 WO2011043433A1 (ja) 2009-10-08 2010-10-07 フレームレート変換装置及び方法

Country Status (6)

Country Link
US (1) US8319889B2 (ja)
EP (1) EP2375737B1 (ja)
JP (1) JP4692913B2 (ja)
KR (1) KR101186143B1 (ja)
CN (1) CN102292981B (ja)
WO (1) WO2011043433A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102811332B (zh) * 2011-05-31 2015-04-15 Jvc建伍株式会社 影像信号处理装置以及方法
JP5803500B2 (ja) 2011-09-27 2015-11-04 株式会社Ｊｖｃケンウッド 動きベクトル検出装置及び方法
JP2013165487A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置、およびプログラム
US9479788B2 (en) * 2014-03-17 2016-10-25 Qualcomm Incorporated Systems and methods for low complexity encoding and background detection
KR101574301B1 (ko) 2014-05-22 2015-12-04 주식회사 칩스앤미디어 프레임 율 변환 장치 및 그 방법
KR101574205B1 (ko) 2014-05-22 2015-12-04 주식회사 칩스앤미디어 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치
CN108040217B (zh) 2017-12-20 2020-01-24 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机
JP7139858B2 (ja) * 2018-10-12 2022-09-21 株式会社Ｊｖｃケンウッド 補間フレーム生成装置及び方法
CN110267098B (zh) * 2019-06-28 2022-05-20 连尚（新昌）网络科技有限公司 一种视频处理方法及终端
TWI748459B (zh) * 2020-05-18 2021-12-01 瑞昱半導體股份有限公司 影像處理方法
CN113726980A (zh) * 2020-05-25 2021-11-30 瑞昱半导体股份有限公司 图像处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
JPH08191448A (ja) * 1995-01-09 1996-07-23 Oki Electric Ind Co Ltd 動きベクトルによる画面内挿装置および方法
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP2003047011A (ja) * 2001-07-30 2003-02-14 Shibasoku:Kk 動きベクトルを用いる動き補正方法
JP2003274414A (ja) * 2002-03-15 2003-09-26 Toshiba Corp 動きベクトル検出方法、補間画像作成方法及び画像表示システム
JP2004320279A (ja) * 2003-04-15 2004-11-11 Victor Co Of Japan Ltd 動画像時間軸補間方法及び動画像時間軸補間装置
JP2006270823A (ja) * 2005-03-25 2006-10-05 Tama Tlo Kk 画像レート変換方法及び画像レート変換装置
JP2006331136A (ja) 2005-05-27 2006-12-07 Victor Co Of Japan Ltd 動きベクトル検出装置
JP2007504700A (ja) * 2003-09-02 2007-03-01 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 閉塞検出に基づく画素の時間的補間
JP2007506333A (ja) * 2003-09-17 2007-03-15 コニンクリユケ フィリップス エレクトロニクス エヌ．ブイ． 動きベクトルフィールド再タイミング
JP2009118456A (ja) * 2007-10-18 2009-05-28 Sharp Corp 画像補間装置および方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
KR20070040397A (ko) * 2004-07-20 2007-04-16 퀄컴 인코포레이티드 다중의 기준 프레임 및 가변 블록 크기를 가진 프레임레이트 업 변환을 위한 방법 및 장치
JP4359223B2 (ja) * 2004-10-29 2009-11-04 株式会社 日立ディスプレイズ 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置
JP4389866B2 (ja) * 2005-12-12 2009-12-24 セイコーエプソン株式会社 画像処理方法、画像処理装置、表示装置およびプログラム
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
JPH08191448A (ja) * 1995-01-09 1996-07-23 Oki Electric Ind Co Ltd 動きベクトルによる画面内挿装置および方法
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP2003047011A (ja) * 2001-07-30 2003-02-14 Shibasoku:Kk 動きベクトルを用いる動き補正方法
JP2003274414A (ja) * 2002-03-15 2003-09-26 Toshiba Corp 動きベクトル検出方法、補間画像作成方法及び画像表示システム
JP2004320279A (ja) * 2003-04-15 2004-11-11 Victor Co Of Japan Ltd 動画像時間軸補間方法及び動画像時間軸補間装置
JP2007504700A (ja) * 2003-09-02 2007-03-01 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 閉塞検出に基づく画素の時間的補間
JP2007506333A (ja) * 2003-09-17 2007-03-15 コニンクリユケ フィリップス エレクトロニクス エヌ．ブイ． 動きベクトルフィールド再タイミング
JP2006270823A (ja) * 2005-03-25 2006-10-05 Tama Tlo Kk 画像レート変換方法及び画像レート変換装置
JP2006331136A (ja) 2005-05-27 2006-12-07 Victor Co Of Japan Ltd 動きベクトル検出装置
JP2009118456A (ja) * 2007-10-18 2009-05-28 Sharp Corp 画像補間装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2375737A4

Also Published As

Publication number Publication date
KR101186143B1 (ko) 2012-09-27
US8319889B2 (en) 2012-11-27
CN102292981A (zh) 2011-12-21
CN102292981B (zh) 2013-12-11
EP2375737B1 (en) 2014-04-30
KR20110106390A (ko) 2011-09-28
EP2375737A4 (en) 2012-05-23
EP2375737A1 (en) 2011-10-12
JP2011082846A (ja) 2011-04-21
JP4692913B2 (ja) 2011-06-01
US20110267536A1 (en) 2011-11-03

Similar Documents

Publication Publication Date Title
WO2011043433A1 (ja) フレームレート変換装置及び方法
JP4929819B2 (ja) 映像信号の変換装置及び方法
KR20100114499A (ko) 후광현상이 줄어든 영상보간 장치 및 방법
JP2009042482A (ja) 画像処理装置及びその制御方法
JP2012169992A (ja) 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置
JP4991360B2 (ja) フレームレート変換装置および映像表示装置
JP4506882B2 (ja) 画像処理装置および方法、並びにプログラム
JP2007195062A (ja) 画像静止領域判定装置、およびインタレース−プログレッシブ画像変換装置
JP4031390B2 (ja) 画像変換装置および画像変換方法
CN107124617B (zh) 运动估计运动补偿中随机矢量的生成方法及系统
JP4735779B2 (ja) 補間画素データ生成装置及び方法
WO2014129528A1 (ja) 映像信号処理装置及び方法
JP2006174123A (ja) 順次走査変換装置
KR100510670B1 (ko) 디인터레이싱 장치
JP5803500B2 (ja) 動きベクトル検出装置及び方法
JP5526918B2 (ja) 映像信号処理装置及び方法
JP5164716B2 (ja) 映像処理装置および映像表示装置
JP2009177524A (ja) 走査線補間装置及び走査線補間方法
JP4910579B2 (ja) 画像信号処理装置、画像信号処理方法、およびプログラム
JP2007288483A (ja) 画像変換装置
JP5891913B2 (ja) 映像信号処理装置及び方法
JP4032785B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
KR20120088674A (ko) 영상 신호 처리 장치
JP5325671B2 (ja) 画像処理装置、表示装置および画像処理方法
KR20080023604A (ko) 프레임 레이트 변환장치 및 프레임 레이트 변환방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080003851.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10822103

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010822103

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13142735

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20117016839

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE