JP4396496B2 - フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法 - Google Patents

フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法 Download PDF

Info

Publication number
JP4396496B2
JP4396496B2 JP2004349261A JP2004349261A JP4396496B2 JP 4396496 B2 JP4396496 B2 JP 4396496B2 JP 2004349261 A JP2004349261 A JP 2004349261A JP 2004349261 A JP2004349261 A JP 2004349261A JP 4396496 B2 JP4396496 B2 JP 4396496B2
Authority
JP
Japan
Prior art keywords
frame
interpolation
pixel
frames
straight lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004349261A
Other languages
English (en)
Other versions
JP2006165602A5 (ja
JP2006165602A (ja
Inventor
嘉章 水橋
満雄 中嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004349261A priority Critical patent/JP4396496B2/ja
Priority to EP05253951A priority patent/EP1667093A3/en
Priority to US11/190,191 priority patent/US7548276B2/en
Priority to CN200510090703A priority patent/CN100588239C/zh
Publication of JP2006165602A publication Critical patent/JP2006165602A/ja
Publication of JP2006165602A5 publication Critical patent/JP2006165602A5/ja
Application granted granted Critical
Publication of JP4396496B2 publication Critical patent/JP4396496B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Description

本発明は、例えば映像表示装置に用いられる、映像のフレーム数を変換するフレームレート変換技術に関する。
映像表示装置において、例えばテレビジョン放送で送信された映像信号のフレームレート（フレーム周波数）を所望のフレームレートに変換して表示する技術としては、例えば特許文献１に記載のものが知られている。
特開２００１−１１１９６８号公報
上記従来技術は、例えば映像信号のフレームレートを増加させる変換を行う場合、同じフレームを複数回繰り返す処理を行う。例えば、フレーム列（Ｆ１、Ｆ２…）を有する映像信号のフレームレートを２倍にする場合、（Ｆ１、Ｆ１、Ｆ２、Ｆ２…）と、各フレームを２回ずつ繰り返す処理を行う。従って、変換後の映像信号において、画面内を移動する物体の位置は、繰り返される２つのフレーム間で同じとなる。このため、従来技術では、フレームレート変換後の映像の動きを滑らかにすることが困難となる。
上記の問題は、２−３プルダンウン化されたインターレース形式の映像信号を毎秒６０フレームで表示する場合においてより顕著になる。２−３プルダンウン方式の映像信号は、映像表示装置において、逆プルダウン処理により一旦毎秒２４フレームの映像信号に変換され、これを２枚、３枚、２枚、３枚…の順で同じフレーム映像を繰り返すことで毎秒６０フレームの映像信号に変換される。よって、変換後の映像は、２／６０、３／６０秒間隔で映像内容が切り換わるため、物体が画面内を等速で移動する映像であっても、変換後の映像における物体の単位時間当りの動き量は一定でなくなる。また、同一フレームが表示される時間も長くなるため、より動きが滑らかにならない。
本発明は、上記課題に鑑みて為されたものであって、その目的は、映像の動きをより滑らかにして高画質な映像を表示可能にしたフレームレート変換に関する技術を提供することにある。
上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。
本発明によれば、フレームレート変換後の映像の動きを滑らかにし、高画質な映像を得ることが可能になる。
本発明を実施するための好ましい形態について、図面を参照しつつ以下に説明する。
まず、本発明の第１実施例について、図１及び図２を用いて説明する。図１は、映像表示装置に用いられるフレームレート変換部の第１実施例を示すブロック図である。この第１実施例では、毎秒６０枚（フレーム）の順次走査方式の映像信号が入力され、これを倍のフレーム、すなわち毎秒１２０フレームの映像信号にフレームレート変換を行う場合を例にして説明する。当然ながら、上記入力映像信号のフレーム周波数は他の周波数でもよい。また、本実施例は、入力映像信号のフレーム周波数を、２倍とは異なる倍率（例えば１．５倍、３倍の周波数）でフレームレート変換する場合にも同様に適用できることは言うまでもない。また、以下の説明においては、入力される映像信号はデジタル形式であるものとする。よって、映像表示装置がアナログ映像信号を受信した場合は、これをデジタル映像信号に変換して図１に示される回路に供給される。
本実施例に係るフレームレート変換部は、フレームメモリ２２〜２４及び２５、相関検出・補間画素生成部１１、及び切換回路３１を備えている。映像信号の入力部１に入力された映像信号は、相関検出・補間画素生成部１１及びフレームメモリ２２へ供給される。フレームメモリ２２は、１フレーム分の映像信号を保持することにより映像信号を１フレーム分遅延する。この１フレーム分遅延された信号は、相関検出・補間画素生成部１１及びフレームメモリ２３へ供給される。フレームメモリ２３は、フレームメモリ２２と同様に１フレーム分の映像信号を保持することにより、映像信号を更に１フレーム分遅延する。従って、フレームメモリ２３の出力信号は、信号入力部１の映像信号に対し、２フレーム遅延される。この２フレーム遅延された映像信号は、相関検出・補間画素生成部１１及びフレームメモリ２４、並びに切換回路３１へ供給される。フレームメモリ２４は、フレームメモリ２２及び２３と同様に１フレーム分の映像信号を保持することにより、映像信号を更に１フレーム分遅延する。従って、フレームメモリ２３の出力信号は、信号入力部１の映像信号に対し、３フレーム遅延される。この３フレーム遅延された信号も同様に、相関検出・補間画素生成部１１に供給される。
相関検出・補間画素生成部１１は、信号入力部１及びフレームメモリ２２〜２３の、計４フレーム分の映像信号が入力され、これらを用いて補間フレームを生成する。この補間フレームは、この第１実施例においては、時間的に、フレームメモリ２２によって１フレーム遅延された信号と、フレームメモリ２３によって２フレーム遅延された信号との間に挿入される。従って、フレームメモリ２３によって２フレーム遅延された信号は、補間フレームから見て時間的に前に存在するので、これを前フレーム１１３と呼ぶこととする。またフレームメモリ２４によって３フレーム遅延された信号は、前フレーム１１３からみて時間的に前、すなわち補間フレームから見て２フレーム前に存在するので、これを前々フレーム１１４と呼ぶこととする。一方、フレームメモリ２２によって１フレーム遅延された信号は、補間フレームから見て時間的に後に存在するので、これを後フレーム１１２と呼ぶこととする。信号入力部１からの遅延されない信号は、後フレーム１１２からみて時間的に後、すなわち補間フレームから見て２フレーム後に存在するので、これを後々フレーム１１１と呼ぶこととする。上記後々フレーム１１１、後フレーム１１２、前フレーム１１３、前々フレーム１１４の４つのフレームは、連続したフレームである。
相関検出・補間画素生成部１１では、上記後々フレーム１１１、後フレーム１１２、前フレーム１１３、前々フレーム１１４の４つのフレームから、生成しようとする補間フレーム内のある補間画素（補間しようとする画素）について、相関性の強い方向、すなわち当該補間画素の動き方向を検出する。そして、この動き方向に位置する前フレーム１１３及び後フレーム１１２内の画素のデータを用いて補間画素を作成する。この動き方向の検出並びに補間画素の作成は、１補間フレーム内の全ての画素ついて行われる。例えば、１フレームの画素数が６４０×４８０ならば、その個数分、動き方向の検出及び補間画素の作成が行われ、その結果、１枚の補間フレームが生成される。
このようにして、相関検出・補間画素生成部１１で生成された補間フレームは、フレームメモリ２５に供給される。フレームメモリ２５は、相関検出・補間画素生成部１１からの補間フレームを１フレーム分保持し、切換回路３１に供給する。切換回路３１は、フレームメモリ２５からの補間フレームとフレームメモリ２３からの前フレーム１１３とを、１／１２０秒周期で切り換えて出力する。これにより、入力映像信号の隣接する２つのフレーム間に補間フレームが挿入され、入力映像信号は、その２倍のフレーム周波数、つまり１２０Ｈｚのフレーム周波数を持つ映像信号にフレームレート変換される（すなわち倍速変換される）。切換回路３１からのフレームレート変換された映像信号は、図示しない表示パネルに供給され、フレームレート変換された映像が表示される。ここで、表示パネルは、例えばプラズマディスプレイパネル（ＰＤＰ）、液晶パネルまたはフィールドエミッションディスプレイ（ＦＥＤ）等の表示デバイスであるものとする。
次に、図２を参照しつつ、上記相関検出・補間画素生成部１１における相関性（動き方向）の検出及び補間画素作成の詳細について説明する。相関検出・補間画素生成部１１は、図２に示されるように、補間フレーム１００上のある補間画素１０１に対し、次の相関検索用のウィンドウを設定する。前フレーム映像１１３及び後フレーム映像１１２には、それぞれ、フレーム内での補間画素１０１の位置を中心に、横２Ｍ＋１画素、縦２Ｎ＋１画素(Ｍ、Ｎは自然数)の範囲を持つ検索ウィンドウ１２３、１２２を設定する。ここでは、Ｍ＝２、Ｎ＝１とする。前々フレーム映像１１４及び後々フレーム映像１１１には、それぞれ、フレーム内での補間画素１０１の位置を中心に横６Ｍ＋１画素、横６Ｎ＋１画素の範囲を持つ検索ウィンドウ１２４、１２１を設定する。これらの検索ウィンドウ上において、補間画素の位置を(０，０)とする。そして、この補間画素を中心として、この補間画素を通るとともに、後々フレーム１１１、後フレーム１１２、前フレーム１１３及び前々フレーム１１４を通過する複数の直線を設定する。本実施例では、この複数の直線として、以下に記述する１５本の直線を設定する。下記において、括弧前の数字は各検索ウィンドウの符号、括弧内の数字はその検索ウィンドウにおける座標(Ｘ,Ｙ)を示している。つまり、下記の各直線は、それぞれの座標に位置する各画素を通過する直線である。尚、各直線は、いずれも補間画素１０１を通過するものとする。
(a) 124(-6,3)-123(-2,1)-122(2,-1)-121(6,-3)
(b) 124(-3,3)-123(-1,1)-122(1,-1)-121(3,-3)
(c) 124(0,3)-123(0,1)-122(0,-1)-121(0,-3)
(d) 124(3,3)-123(1,1)-122(-1,-1)-121(-3,-3)
(e) 124(6,3)-123(2,1)-122(-2,-1)-121(-6,-3)
(f) 124(-6,0)-123(-2,0)-122(2,0)-121(6,0)
(g) 124(-3,0)-123(-1,0)-122(1,0)-121(3,0)
(h) 124(0,0)-123(0,0)-122(0,0)-121(0,0)
(i) 124(3,0)-123(1,0)-122(-1,0)-121(-3,0)
(j) 124(6,0)-123(2,0)-122(-2,0)-121(-6,0)
(k) 124(-6,-3)-123(-2,-1)-122(2,1)-121(6,3)
(l) 124(-3,-3)-123(-1,-1)-122(1,1)-121(3,3)
(m) 124(0,-3)-123(0,-1)-122(0,1)-121(0,3)
(n) 124(3,-3)-123(1,-1)-122(-1,1)-121(-3,3)
(o) 124(6,-3)-123(2,-1)-122(-2,1)-121(-6,3)
そして、上記(a)〜(o)に示された１５本の直線のそれぞれについて、補間画素１０１との相関に関する次のパラメータを演算して求める。(1)後フレーム検索ウィンドウ１２２上の座標(Ｘ,Ｙ)にある画素と前フレーム検索ウィンドウ１２３上の座標(-Ｘ,-Ｙ)にある画素との差分の絶対値；(2)前フレーム検索ウィンドウ１２３上の座標(-Ｘ,-Ｙ)にある画素と前々フレーム検索ウィンドウ１２４上の座標(-３Ｘ,-３Ｙ)にある画素との差分の絶対値；(3)後フレーム検索ウィンドウ１２２上の座標(Ｘ,Ｙ)にある画素と後々フレーム検索ウィンドウ１２１上の座標(３Ｘ,３Ｙ)にある画素との差分の絶対値。
例えば、直線(a)の場合、検索ウィンドウ１２２の座標(2,-1)にある画素と検索ウィンドウ１２３の座標(-2,1)にある画素との差分の絶対値、検索ウィンドウ１２３の座標(-2,1)にある画素と検索ウィンドウ１２４の座標(-6,3)にある画素との差分の絶対値、及び検索ウィンドウ１２２の座標(2,-1)にある画素と検索ウィンドウ１２１の座標(6,-3)にある画素との差分の絶対値を求める。尚、前フレーム検索ウィンドウ１２３上の座標を(-Ｘ,-Ｙ)で表しているのは、後フレーム検索ウィンドウ１２２上の座標を(Ｘ,Ｙ)としたときに、検索ウィンドウ１２３上の座標が検索ウィンドウ１２２上の座標に対して、Ｘ方向及びＹ方向とも逆方向になることを意味する。また、前々フレーム検索ウィンドウ１２４上の座標を(-3Ｘ,-3Ｙ)表しているのは、後フレーム検索ウィンドウ１２２上の座標を(Ｘ,Ｙ)としたときに、検索ウィンドウ１２４上の座標が検索ウィンドウ１２２上の座標に対して、Ｘ方向及びＹ方向とも３倍になることを意味する。
相関検出・補間画素生成部１１は、後フレーム検索ウィンドウ１２２内において、Ｘを−ＭからＭまで、Ｙを−ＮからＮまでスキャンする。これにより、上記(1)〜(3)の演算を上記１５本の直線それぞれについて行い、(1)〜(3)の演算で求めた各差分の絶対値の合計を直線毎に算出する。そして、その合計値が小さいほど、相関が強い方向、すなわち動きの方向として判断する。本実施例では、上記１５本の直線のうち、上記(1)〜(3)の合計値が最も小さい直線を物体の動きの方向としている。ここでは、図２において灰色で示された画素を通る直線、すなわち直線(b)が最も合計値が小さい直線としている。つまり、この直線(b)で示される方向が、補間画素１０１を通過する物体の動き方向となる。相関検出・補間画素生成部１１は、上記合計値が最も小さい直線(b)上に位置する後フレーム１１２上の画素、及び前フレーム１１３上の画素を用いて補間画素１０１を作成する。すなわち、相関検出・補間画素生成部１１は、この直線(b)を、補間画素１０１を作成するための補間方向として判定し、この補間方向にある前フレーム及び後フレームの画素が補間画素１０１について最も相関が強い画素の組として、補間画素１０１作成のためのデータとして用いる。ここでは、補間方向が直線(b)の方向なので、この直線(b)上に位置する前フレームの座標(-1,1)の画素(検索ウィンドウ１２３内の灰色の画素)と、後フレームの座標(1,-1)の画素(検索ウィンドウ１２２内の灰色の画素)とを用いて補間画素１０１が作成される。ここで、前フレームの画素データ(レベル)をα、後フレームの画素データをβ、補間画素１０１のデータをγとすれば、補間画素１０１は、例えば下式により求められる。
（数１） γ＝（α＋β）／２
つまり、補間画素１０１は、前フレームの画素データと後フレームの画素データとの平均（中間値）を演算することにより作成される。
上記のような動き方向の検出及び補間画素の作成を、現補間フレーム１００の全体にわたって行うことにより、１枚の補間フレーム１００を生成する。つまり、このような処理を、フレームを構成する画素数分実行する。生成された補間フレーム１００は、上述したように、フレームメモリ２５に書き込まれ、切換回路３１により入力映像信号の２フレーム間に挿入される。これによりフレームレート変換が行われ、最終的に１２０Ｈｚのフレーム周波数を持つ映像信号が生成される。フレームレートを１２０Ｈｚにした映像信号は、表示パネルとして液晶パネルを用いた表示装置に特に有効である。すなわち、液晶パネルは残像が目立つため、映像信号のフレームレートを１２０Ｈｚにすると残像が目立たなくなる。また、本実施例では、フレームメモリ２３の出力、すなわち前フレーム１１３と補間フレーム１００とを切換回路３１で切り換えてフレームレート変換したが、後フレーム１１２と補間フレームを切り換えてフレームレート変換してもよい。
本実施例では、検索ウィンドウの大きさを決めるＭ及びＮの値として、Ｍ＝２，Ｎ＝１とした。しかしながら、この値は任意であり、補間の効果や演算量、回路規模などに応じて適宜決定すればよい。例えばＭ＝７、Ｎ＝３とすれば、１０５本の直線が設定される。また、本実施例では、上記差分の合計値が最も小さい直線を補間方向として決定したが、これに限定されるものではない。例えば、上記合計値が最小の直線を基準にして、他の条件を組み合わせて最終的に補間方向を決定してもよい。そのような補間方向の決定の方法は、例えば次のものが挙げられる。
第１の方法：補間画素１０１を通過する１５本の直線それぞれについて算出した合計値に基づき、(a)〜(o)の各直線にポイントを付与する。このポイントは、合計値が少ないほど高くする。更に、この補間画素１０１の前において既に作成された、複数の他の補間画素における補間方向を最終的な補間方向判定のために使用する。上記複数の他の補間画素は、補間画素１０１に隣接する画素が好ましい。この他の補間画素における補間方向が、上記(a)〜(o)の直線のどれに該当するか判定し、その該当直線に所定ポイントを加算する。この加算の結果、最も高いポイントのものを補間方向として決定する。例えば、上記合計値により、直線(b)：１５点、直線(c)：１４点、直線(f)１３点、直線(b)：１２点、直線(e)：１１点が付与されたとする（ここでは、説明の簡略化のためポイント上位５本のみを例示する）。補間画素１０１の左隣にある補間画素の補間方向が(c)、左上にある補間画素の補間方向が(c)、真上にある補間画素の補間方向が(a)、右上にある補間画素の補間方向が(b)であるならば、直線(a)、(b)、(c)対し、例えば５点づつ加算する。その結果、直線(c)のポイントが２４点となって最大となるので、これを補間方向として決定する。上記他の補間画素は４つとして説明したが、１つでもよく、また２つもしくは３つでもよい。１つの場合は、左隣の補間画素のみを用い、２つの場合は、左隣と真上の補間画素のみを用いる。
第２の方法：各直線へのポイントの付与は上記第１の方法と同じとする。補間画素１０１の１フレーム前において既に作成された、補間フレームで用いられた補間方向をその種類毎に計数する。そして、この計数値の上位３つの方向に該当する直線に、それぞれ所定ポイントを加算する。勿論、計数値の大きいものほど高いポイントとする。この加算の結果、最も高いポイントのものを補間方向として決定する。例えば、上記合計値に基づく各直線へのポイントが、上記第１の方法と同じとする。前の補間フレームに用いられた補間方向の計数値の上位が、計数値の大きい順に、直線(f)、直線(c)、直線(a)とする。この場合、直線(f)に５ポイント、(c)に３ポイント、直線(a)に１ポイントを加算する。その結果、直線(f)のポイントが１８点となって最大となるので、これを補間方向として決定する。
上記第１の方法及び第２の方法は、それぞれ個別に用いてもよく、またこれらを組み合わせてもよい。いずれを用いるかは、補間方向の決定の精度向上に関する要求により定められる。
このように、本実施例は、従来技術のように単に前フレームと同じフレーム補間フレームとして映像信号に挿入するのではなく、映像の動きに基づいて補間方向を決定し、この補間方向に基づき画素補間して補間フレームを生成している。従って、フレームレート変換後の映像の動きを滑らかにすることができる。また本実施例では、動き方向を検出する際、４つのフレームを用いて動き方向を検出している。このため、２つのフレームから動きを検出するものに比べ、動き方向をより正確に検出できる。本実施例では、前フレーム、後フレーム、前々フレーム及び後々フレームの４つのフレームで動きを検出しているが、３つのフレームで検出してもよい。このとき、動き方向の検出に用いる３つのフレームとしては、前フレームと後フレームの他に、前々フレームまたは後々フレームの何れか１つを用いる。すなわち、少なくとも３つのフレームを用いれば、動き方向の検出精度を向上させることができる。動き検出精度をより向上させるには、本実施例にように４つのフレームを用いることが好ましいが、回路規模やコストの制約上、多くのフレームメモリを使用することが困難な場合は、３つのフレームを用いてもよい。その場合でも本発明を実現できることは、上述したとおりである。この場合、動き検出に用いられる検索ウィンドウとしては、後々フレーム検索ウィンドウ１２１、または前々フレーム検索ウィンドウ１２４の何れか一方が削除される。
次に、本発明の第２実施例について図３〜図６を用いて説明する。本実施例は、本実施例について、２−３プルダウン化された毎秒６０フィールドのインターレース信号(以下、単に「２−３信号」と呼ぶ)が入力され、これを毎秒６０フレームの映像へと変換する場合を例にして説明する。
図３は、本発明の第２実施例を示す回路ブロック図であり、図１に示された第１実施例と大きく異なる点は、順次走査変換部２が追加された点にある。この順次走査変換部は、フィールドメモリ４１及び４２、減算器８１、制御部６１、ラインメモリ５１及び５２、及びセレクタ３２を含んでいる。信号入力部１から入力された映像信号（２−３信号）は、フィールドメモリ４１及び減算器８１に供給される。フィールドメモリ４１は、入力された映像信号を１フィールド保持して遅延し、フィールドメモリ４２及びラインメモリ５１へ出力する。フィールドメモリ４２は、フィールドメモリ４１からの出力信号を保持して更に１フィールド遅延してラインメモリ５２及び減算器８１へ出力する。従って、フィールドメモリ４２の出力は、入力映像信号に対して２フィールド（１フレーム）遅延される。ラインメモリ５１、５２は、それぞれフィールドメモリ４１、４２から出力される映像信号を１ライン分保持し、セレクタ３２へ出力する。
一方、減算器８１は、信号入力部１に入力された映像信号とフィールドメモリ４２から出力された２フィールド遅延された映像信号とを減算し、その減算結果を制御部６１に出力する。図４の「入力信号」に示されるように、２−３信号の映像２０１〜２４３は、毎秒６０フィールドのインターレース映像信号であり、奇数はトップフィールドの映像信号を、偶数はボトムフィールドの映像信号を示している。また、十の桁が同じ映像は、元となる毎秒２４枚の同じフレームから生成された映像信号であることを示す。このため、映像２０１と２０３は同じである。同様に映像２２２と２２４、映像２４１と２４３もそれぞれ同じである。このように、２−３信号は、５フィールドに１回、１フィールドを挟んだ２つのフィールド間の映像内容が等しくなる。従って、入力映像信号と２フィールド遅延された映像信号との差分（フレーム差分）は、５フィールドに１回の割合でほぼ０となる。上記制御部６１は、５フィールドに１回差分が０となるシーケンス（差分が、例えば有、有、有、無(０)、有と出現する一連の流れ）が、連続して所定回数（例えば３回）以上出現した場合に、入力映像信号が２−３信号であると検出する。入力映像信号が２−３信号であると検出された場合、制御部６１は、セレクタ３２に対し制御信号を出力する。この制御信号によって、セレクタ３２は、ラインメモリ５１からの信号とラインメモリ５２からの信号とを周期的に切り換えて出力するように制御される。従って、セレクタ３２からは、フィールドメモリ４１に格納された第１フィールドの第１ライン、フィールドメモリ４２に格納された第２フィールドの第１ライン、第１フィールドの第２ライン、第２フィールドの第２ライン…の順に出力される。この結果、２−３信号の２つのフィールドから、図４の中段に示されるような順次走査信号（１フレームの信号）が生成される。例えば、図４に示すように、フィールドメモリ４１及び４２に、それぞれ映像２０３、２０２が保持されているときは映像３０１が生成され、それぞれ映像２１２、２１３が保持されているときは、映像３１１が生成される処理となる。制御部６１からセレクタ３２への制御信号は、２−３信号の５フィールドから２フレームを作成するようなタイミングで出力される。このように、順次走査変換部２は、２−３プルダウン化された毎秒６０フィールドのインターレース信号を、毎秒２４フレームのノンインターレース（順次走査）信号に変換する処理を行うものである。
この順次走査変換部２から出力された毎秒２４フレームのノンインターレース信号は、フレームメモリ２１に供給される。この第２実施例は、第１実施例と異なり、フレームメモリ２１が新たに付け加えられている。その理由について、図４を用いて説明する。第１実施例は、映像信号のフレーム数を２倍に変換する処理である。しかしながら、本実施例は、毎秒２４フレームの映像を毎秒６０フレームの映像にする処理であるため、同一の組み合わせの映像から、２種類の映像を生成しなければならない。例えば図４の映像３０１、映像３１１、映像３２１、映像３３１の４フレームから、映像３１１と映像３２１の間の映像４０４と映像４０５の２種類の映像を生成する必要がある。そのため、相関検出・補間画素生成部１２で２度の処理を行う必要が存在する。第１実施例では、１度の処理であるため、外部から入力される信号をそのまま用いることが可能であった。しかしながら、本実施例ではセレクタ３２からの信号を２度使用する必要がある。このため、本実施例では、フレームメモリ２１を新たに追加し、このフレームメモリ２１にセレクタ３２からの信号を書き込み、２度読出すようにしている。
次に、図５も参照しつつ、例えば図４の映像４０５を生成する際の補間処理の詳細について説明する。図３のフレームメモリ２１〜２４は、第１実施例と同様なフレームメモリであり、映像を１フレーム分保持する。フレームメモリ２１はセレクタ３２からの信号を１フレーム分保持し、補間フレーム１００から見て時間的に後々フレーム１１１となる映像データ３３１を、相関・補間処理部１２に出力する。フレームメモリ２２、２３及び２４は、それぞれ第一の実施例と同様に１フレーム分のデータを保持し、後フレーム１１２である映像３２１、前フレーム１１３である映像３１１、及び前々フレーム１１４である映像３０１を出力する。相関検出・補間処理部１２は、フレームメモリ２１〜２４から出力された４フレームのデータを用いて、第１実施例と同様に、補間方向の検出処理、及び補間画素と補間フレームの生成処理を行う。ただし、本実施形態は第１実施例と異なり、生成する補間フレーム１００と前フレーム１１３との時間的距離、及び補間フレーム１００と後フレーム１１２との時間的距離が、互いに異なる。例えば、図４の映像４０５を生成する際、前フレーム１１３である映像３１１と後フレーム１１２である映像３２１の映像４０５に対する時間的距離の比は、３：２になる。よって、補間画素１０１について相関をとる画素の位置も３：２にする必要があり、検索ウィンドウの大きさも変更する必要がある。従って、本実施例では、補間画素１０１を中心に上記４つのフレームを通る複数の直線の各々について、補間画素１０１とのの相関に関する次のパラメータを演算により求める。(1)後フレーム検索ウィンドウ１２２上の座標(Ｘ,Ｙ)にある画素と前フレーム検索ウィンドウ１２３上の座標(-1.5Ｘ,-1.5Ｙ)にある画素との差分の絶対値；(2)前フレーム検索ウィンドウ１２３上の座標(-1.5Ｘ,-1.5Ｙ)にある画素と前々フレーム検索ウィンドウ１２４上の座標(-4Ｘ,-4Ｙ)にある画素との差分の絶対値；(3)後フレーム検索ウィンドウ１２２上の座標(Ｘ,Ｙ)にある画素と後々フレーム検索ウィンドウ１２１上の座標(3.5Ｘ,3.5Ｙ)にある画素との差分の絶対値。
なお、画素位置が整数にならず、実際に画素が存在しない位置になった場合には、周囲の画素の加重平均にてその位置の画素値として処理を行う。例えば図５に示された前フレーム検索ウィンドウ１２３上の灰色の位置が画素位置となった場合、この画素位置は周囲４つの画素の中心にあるため、この画素位置のデータを、周囲４つの画素データの総和／４で求める。そして、第１実施例で説明したものと同様な処理で、上記(1)〜(3)の合計が最小となる直線から、又はその直線を基準にして補間画素１０１の補間方向を決定する。この補間方向に位置する前フレーム１１３上の画素と後フレーム１１２上の画素とを用いて補間画素１０１を作成する。ここで、補間フレーム１００と前フレーム１１３との時間的距離と、補間フレーム１００と後フレーム１１３との時間的距離が異なるため、両者の比に応じて補間方向にある２つの画素の加重平均を求める。本実施例では、上記時間的距離の比が３：２なので、前フレームの画素データをα、後フレームの画素データをβ、補間画素１０１のデータをγとすれば、補間画素１０１は、例えば下式により求められる。
（数２） γ＝（２α＋３β）／５
また、補間に用いる画素、及び画素データαと画素データβは、相関が強いために似たレベルの値である。従って、演算量や回路規模を削減するため、画素データαと画素データβの平均から（例えば数１による演算から）補間画素γのデータを求めてもよい。
図５においては、前フレーム１１３である映像３１１と映像４０５との時間的距離と、後フレーム１１２である映像３２１と映像４０５との時間的距離との比は３：２であるが、補間の画像の時間的位置によって、その比率は変化する。また、本実施例では、２−３信号を毎秒６０フレームの信号に変換する場合を例にして説明したが、毎秒７２、９６または１２０フレームに変換する場合も同様な処理が行われる。この場合、上記時間的距離の比率が変化するが、フレームメモリ２１〜２４から映像信号を読出し、補間画像を生成する回数が変化するだけで、他の部分については同一の処理である。
また、相関検出・補間画素生成部１２では、上記の処理以外にフレームメモリ２１、２２からの信号を用い、シーンチェンジの検出を行う。図６に示すように、ある時間において、フレームメモリ２４に映像５０１、フレームメモリ２３に映像５０２、フレームメモリ２２に映像５０３、フレームメモリ２１に映像５０４が保持されているものとする。この時、映像５０１〜５０３は同一シーンであり、Ａ、Ｂ、Ｃと違いが少ない映像であるとする。一方、映像５０４は別シーンであり、Ａ〜Ｃとは大きく異なる映像ｄであるとする。この様な状態で、相関検出・補間画素生成部１２では、フレームメモリ２１からの信号とフレームメモリ２２からの信号との差分を演算する。この差分は、このフレーム間の同位置（同座標の画素）同士の差分である。この演算は、１フレームの全画素、もしくは設定領域（例えば、画面全体の、画面中央を中心として設定された８０％の領域）の全画素について行われる。そして１フレームの各画素同士の差分を累積し、その累積値が所定値を越えた場合にシーンチェンジが発生したものと判断する。そのシーンチェンジの情報は、相関検出・補間画素生成部１２に保持される。時間が経過すると、フレームメモリ２４に映像５０２、フレームメモリ２３に映像５０３、フレームメモリ２２に映像５０４、フレームメモリ２１に映像５０５が保持されている状態になる。このとき、相関検出・補間画素生成部１２にはシーンチェンジの情報が保持されているため、この情報を用いて補間方法の変更を行う。すなわち、本実施例においては、検出されたシーンチェンジの情報を、検出時点における補間処理ではなく、その次の補間処理に反映させるようにしている。補間方法の変更は、例えば次のようにする。すなわち、シーンチェンジ前は、第１実施例のように４フレームのデータから補間方向を検出して補間処理していたものを、シーンチェンジ後は、そのような補間方向の検出を行わず、映像５０３と５０４との加重平均から補間画素を生成する。このとき、映像５０３または５０４のデータをそのまま用いて補間処理を行ってもよい。上記説明では、シーンチェンジの検出に、１フレーム分における画素同士の差分を累積したものを用いた。しかしながら、差分値が一定値以上の画素の数を１フレームにわたって積算し、その積算値が所定値以上の場合にシーンチェンジが発生したものと判断してもよい。
フレームメモリ２５では、上記のようにして生成された補間フレームの映像を格納し、切換回路３１に出力する。切換回路３１は、フレームメモリ２５からの補間フレームとフレームメモリ２３からの前フレーム１１３とを周期的に切り換えて、毎秒６０フレームの映像信号を出力する。このとき、切換回路３１における補間フレームの選択時間と前フレームの選択時間とは等しくない。すなわち、図４の「出力信号」に示されるように、切換回路は、映像４０１、４０６、４１１を出力するときはフレームメモリ２３からの信号を選択し、映像４０２〜４０５及び映像４０７〜４１０を出力するときはフレームメモリ２５からの信号を選択する。つまり切り替え回路３１は、順次走査変換部で映像３０１、３２１及び３４１が生成されるタイミングにおいてはフレームメモリ２３からの信号を選択し、それ以外はフレームメモリ２５からの信号を選択するように動作する。
本実施例は、フレームメモリ２５と切換回路３１の動作は、毎秒６０フレームに対する処理を例にして説明されている。映像の出力フレーム周波数が変更された場合も、動作速度やフレームメモリの読み出し順が変わる以外は同様の処理である。
また、音声遅延部７１は、映像信号とともに入力される音声信号を遅延するためのものである。上述したフレームレート変換処理において、映像はフィールドメモリ及びフレームメモリを使用するため遅延が生じるが、音声は遅延が発生しない。このため、映像と音声との間に時間的なずれが生じる。音声遅延部７１は、この時間的なずれを補正するためのものである。音声遅延部７１は、音声をデジタル的に処理し、例えばＦＩＦＯにより映像と同じだけの遅延をつけることで映像と音声のずれを補償する。
本発明は、フレームレート変換処理を行う映像表示装置に適用される。特に、フレームレート変換後の映像の動きを滑らかにしたい場合に有用である。
本発明に係る第１実施例の回路ブロックを示す図。 第１実施例における相関・補間処理装置の処理を説明する図。 本発明に係る第２実施例の回路ブロックを示す図。 第２実施例における相関・補間処理装置の処理を説明する図。 第２実施例における相関・補間処理装置の処理を説明する図。 第２実施例において、シーンチェンジが発生した際の処理を示す図。
符号の説明
１…信号入力部、２…順次走査変換部、１１、１２…相関検出・補間画素生成部、２１〜２５…フレームメモリ、３１…切換回路、３２…セレクタ、４１、４２…フィールドメモリ、５１、５２…ラインメモリ、１００…補間フレーム、１０１…補間画素、１１１…後々フレーム、１１２…後フレーム、１１３…前フレーム、１１４…前々フレーム。

Claims (27)

  1. 複数のフレームが含まれる映像信号が入力される入力部と、
    前記複数のフレームのうち時間的に異なる複数のフレームに基づいて補間フレームを生成して前記映像信号のフレームレートを変換する変換部と、を備え、
    前記変換部は、
    時間軸と空間軸とからなる座標系において、前記補間フレーム中の補間対象画素が位置する座標を通る複数の直線を設定し、
    それぞれの前記直線について、前記時間的に異なる複数のフレームとの交点に位置する複数の画素間の画素値の差分の絶対値と、前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報とに基づいて、前記複数の直線のうち一の直線を選択し、
    前記時間的に異なる複数のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して前記補間フレームを生成する
    ことを特徴とするフレームレート変換装置。
  2. 複数のフレームが含まれる映像信号が入力される入力部と、
    前記複数のフレームのうち、時間的に異なる複数のフレームに基づいて補間フレームを生成して前記映像信号のフレームレートを変換する変換部と、を備え、
    前記変換部は、
    時間軸と空間軸とからなる座標系において、前記補間フレーム中の補間対象画素が位置する座標を通る複数の直線を設定し、
    それぞれの前記直線について、前記時間的に異なる複数のフレームとの交点に位置する複数画素間の画素値の差分の絶対値を算出し、前記絶対値に基づいて前記複数の直線のそれぞれにポイントを付与し、
    前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報に基づいて、前記複数の直線のそれぞれにポイントをさらに付与し、
    該ポイントを付与された前記複数の直線のうち、付与された前記ポイントに基づいて一の直線を選択し、
    前記時間的に異なる複数のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して前記補間フレームを生成する
    ことを特徴とするフレームレート変換装置。
  3. 映像信号が入力される入力部と、
    前記映像信号において、補間フレームよりも時間的に前に存在する第１のフレームと、該第１のフレームよりも時間的に前に存在する第２のフレームと、前記補間フレームよりも時間的に後に存在する第３のフレームと、該第３のフレームよりも時間的に後に存在する第４のフレームとに基づいて補間フレームを生成して、前記映像信号のフレームレートを変換する変換部と、を備え、
    前記変換部は、
    時間軸と空間軸とからなる座標系において、前記補間フレーム中の補間対象画素が位置する座標を通り、前記第１乃至第４のフレームを通過する複数の直線を設定し、
    それぞれの前記直線について、前記第１乃至第４のフレームとの交点に位置する複数の画素間の画素値の差分の絶対値と、前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報とに基づいて、前記複数の直線のうち一の直線を選択し、
    前記第１と第３のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して前記補間フレームを生成する
    ことを特徴とするフレームレート変換装置。
  4. 映像信号が入力される入力部と、
    前記映像信号において、補間フレームよりも時間的に前に存在する第１のフレームと、該第１のフレームよりも時間的に前に存在する第２のフレームと、前記補間フレームよりも時間的に後に存在する第３のフレームと、該第３のフレームよりも時間的に後に存在する第４のフレームとに基づいて補間フレームを生成して、前記映像信号のフレームレートを変換する変換部と、を備え、
    前記変換部は、
    時間軸と空間軸とからなる座標系において、前記補間フレーム中の補間対象画素が位置する座標を通り、前記第１乃至第４のフレームを通過する複数の直線を設定し、
    それぞれの前記直線について、前記第１乃至第４のフレームとの交点に位置する複数画素間の画素値の差分の絶対値を算出し、前記絶対値に基づいて前記複数の直線のそれぞれにポイントを付与し、
    前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報に基づいて、前記複数の直線のそれぞれにポイントをさらに付与し、
    該ポイントを付与された前記複数の直線のうち、付与された前記ポイントに基づいて一の直線を選択し、
    前記第１と第３のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して前記補間フレームを生成する
    ことを特徴とするフレームレート変換装置。
  5. 前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報は、
    前記補間フレーム中で前記補間対象画素に隣接する画素であって、前記補間対象画素よりも時間的に前に補間された画素の補間方向である
    ことを特徴とする請求項１乃至４に記載のフレームレート変換装置。
  6. 前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報は、
    前記補間フレームよりも時間的に前に補間されたフレームの画素の補間方向の情報である
    ことを特徴とする請求項１乃至４に記載のフレームレート変換装置。
  7. 前記変換部は、
    前記複数の直線に、前記差分の絶対値が小さいほど高いポイントを付与する
    ことを特徴とする請求項２または４に記載のフレームレート変換装置。
  8. 前記変換部は、
    前記ポイントが最大となる直線を選択する
    ことを特徴とする請求項２、４または７に記載のフレームレート変換装置。
  9. 前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報は、
    前記補間フレームよりも時間的に前に補間されたフレームの画素の補間方向の情報であって、
    前記変換部は、
    前記補間フレームよりも時間的に前に補間されたフレームの複数の画素における補間方向の情報について、補間方向の種類ごとに存在する数を算出し、該算出した数が大きい補間方向の情報と同じ補間方向を示す直線ほど、高いポイントを付与する
    ことを特徴とする請求項２または４に記載のフレームレート変換装置。
  10. 複数のフレームが含まれる映像信号が入力される入力ステップと、
    前記複数のフレームのうち時間的に異なる複数のフレームに基づいて補間フレームを生成して前記映像信号のフレームレートを変換する変換ステップと、を有し、
    前記変換ステップにおいて、
    時間軸と空間軸とからなる座標系において、前記補間フレーム中の補間対象画素が位置する座標を通る複数の直線を設定し、
    それぞれの前記直線について、前記時間的に異なる複数のフレームとの交点に位置する複数の画素間の画素値の差分の絶対値と、前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報とに基づいて、前記複数の直線のうち一の直線を選択し、
    前記時間的に異なる複数のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して前記補間フレームを生成する
    ことを特徴とするフレームレート変換方法。
  11. 複数のフレームが含まれる映像信号が入力される入力ステップと、
    前記複数のフレームのうち、時間的に異なる複数のフレームに基づいて補間フレームを生成して前記映像信号のフレームレートを変換する変換ステップと、を有し、
    前記変換ステップにおいて、
    時間軸と空間軸とからなる座標系において、前記補間フレーム中の補間対象画素が位置する座標を通る複数の直線を設定し、
    それぞれの前記直線について、前記時間的に異なる複数のフレームとの交点に位置する複数画素間の画素値の差分の絶対値を算出し、前記絶対値に基づいて前記複数の直線のそれぞれにポイントを付与し、
    前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報に基づいて、前記複数の直線のそれぞれにポイントをさらに付与し、
    該ポイントを付与された前記複数の直線のうち、付与された前記ポイントに基づいて一の直線を選択し、
    前記時間的に異なる複数のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して前記補間フレームを生成する
    ことを特徴とするフレームレート変換方法。
  12. 映像信号が入力される入力ステップと、
    前記映像信号において、補間フレームよりも時間的に前に存在する第１のフレームと、該第１のフレームよりも時間的に前に存在する第２のフレームと、前記補間フレームよりも時間的に後に存在する第３のフレームと、該第３のフレームよりも時間的に後に存在する第４のフレームとに基づいて補間フレームを生成して、前記映像信号のフレームレートを変換する変換ステップと、を有し、
    前記変換ステップにおいて、
    時間軸と空間軸とからなる座標系において、前記補間フレーム中の補間対象画素が位置する座標を通り、前記第１乃至第４のフレームを通過する複数の直線を設定し、
    それぞれの前記直線について、前記第１乃至第４のフレームとの交点に位置する複数の画素間の画素値の差分の絶対値と、前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報とに基づいて、前記複数の直線のうち一の直線を選択し、
    前記第１と第３のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して前記補間フレームを生成する
    ことを特徴とするフレームレート変換方法。
  13. 映像信号が入力される入力ステップと、
    前記映像信号において、補間フレームよりも時間的に前に存在する第１のフレームと、該第１のフレームよりも時間的に前に存在する第２のフレームと、前記補間フレームよりも時間的に後に存在する第３のフレームと、該第３のフレームよりも時間的に後に存在する第４のフレームとに基づいて補間フレームを生成して、前記映像信号のフレームレートを変換する変換ステップと、を有し、
    前記変換ステップにおいて、
    時間軸と空間軸とからなる座標系において、前記補間フレーム中の補間対象画素が位置する座標を通り、前記第１乃至第４のフレームを通過する複数の直線を設定し、
    それぞれの前記直線について、前記第１乃至第４のフレームとの交点に位置する複数画素間の画素値の差分の絶対値を算出し、前記絶対値に基づいて前記複数の直線のそれぞれにポイントを付与し、
    前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報に基づいて、前記複数の直線のそれぞれにポイントをさらに付与し、
    該ポイントを付与された前記複数の直線のうち、付与された前記ポイントに基づいて一の直線を選択し、
    前記第１と第３のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して前記補間フレームを生成する
    ことを特徴とするフレームレート変換方法。
  14. 前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報は、
    前記補間フレーム中で前記補間対象画素に隣接する画素であって、前記補間対象画素よりも時間的に前に補間された画素の補間方向である
    ことを特徴とする請求項１０乃至１３に記載のフレームレート変換方法。
  15. 前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報は、
    前記補間フレームよりも時間的に前に補間されたフレームの画素の補間方向の情報である
    ことを特徴とする請求項１０乃至１３に記載のフレームレート変換方法。
  16. 前記変換ステップにおいて、
    前記複数の直線に、前記差分の絶対値が小さいほど高いポイントを付与する
    ことを特徴とする請求項１１または１３に記載のフレームレート変換方法。
  17. 前記変換ステップにおいて、
    前記ポイントが最大となる直線を選択する
    ことを特徴とする請求項１１、１３または１６に記載のフレームレート変換方法。
  18. 前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報は、
    前記補間フレームよりも時間的に前に補間されたフレームの画素の補間方向の情報であって、
    前記変換ステップにおいて、
    前記補間フレームよりも時間的に前に補間されたフレームの複数の画素における補間方向の情報について、補間方向の種類ごとに存在する数を算出し、該算出した数が大きい補間方向の情報と同じ補間方向を示す直線ほど、高いポイントを付与する
    ことを特徴とする請求項１１または１３に記載のフレームレート変換方法。
  19. 複数のフレームが含まれる映像信号が入力される入力部と、
    前記複数のフレームのうち時間的に異なる複数のフレームに基づいて補間フレームを生成して前記映像信号のフレームレートを変換する変換部と、
    前記変換部によって変換された映像信号を表示する表示部と、を備え、
    前記表示部は、
    前記変換部において、時間軸と空間軸とからなる座標系における前記補間フレーム中の補間対象画素が位置する座標を通る複数の直線のうち、それぞれの前記直線について、前記時間的に異なる複数のフレームとの交点に位置する複数の画素間の画素値の差分の絶対値と、前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報とに基づいて、前記複数の直線のうち一の直線を選択し、前記時間的に異なる複数のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して作成した前記補間フレームを表示する
    ことを特徴とする映像表示装置。
  20. 複数のフレームが含まれる映像信号が入力される入力部と、
    前記複数のフレームのうち、時間的に異なる複数のフレームに基づいて補間フレームを生成して前記映像信号のフレームレートを変換する変換部と、
    前記変換部によって変換された映像信号を表示する表示部と、を備え、
    前記表示部は、
    前記変換部において、時間軸と空間軸とからなる座標系における前記補間フレーム中の補間対象画素が位置する座標を通る複数の直線のうち、それぞれの前記直線について、前記時間的に異なる複数のフレームとの交点に位置する複数画素間の画素値の差分の絶対値を算出し、前記絶対値に基づいて前記複数の直線のそれぞれにポイントを付与し、前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報に基づいて、前記複数の直線のそれぞれにポイントをさらに付与し、該ポイントを付与された前記複数の直線のうち、付与された前記ポイントに基づいて一の直線を選択し、前記時間的に異なる複数のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して作成した前記補間フレームを表示する
    ことを特徴とする映像表示装置。
  21. 映像信号が入力される入力部と、
    前記映像信号において、補間フレームよりも時間的に前に存在する第１のフレームと、該第１のフレームよりも時間的に前に存在する第２のフレームと、前記補間フレームよりも時間的に後に存在する第３のフレームと、該第３のフレームよりも時間的に後に存在する第４のフレームとに基づいて補間フレームを生成して、前記映像信号のフレームレートを変換する変換部と、
    前記変換部によって変換された映像信号を表示する表示部と、を備え、
    前記表示部は、
    前記変換部において、時間軸と空間軸とからなる座標系における前記補間フレーム中の補間対象画素が位置する座標を通り、前記第１乃至第４のフレームを通過する複数の直線のうち、それぞれの前記直線について、前記第１乃至第４のフレームとの交点に位置する複数の画素間の画素値の差分の絶対値と、前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報とに基づいて、前記複数の直線のうち一の直線を選択し、前記第１と第３のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して作成した前記補間フレームを表示する
    ことを特徴とする映像表示装置。
  22. 映像信号が入力される入力部と、
    前記映像信号において、補間フレームよりも時間的に前に存在する第１のフレームと、該第１のフレームよりも時間的に前に存在する第２のフレームと、前記補間フレームよりも時間的に後に存在する第３のフレームと、該第３のフレームよりも時間的に後に存在する第４のフレームとに基づいて補間フレームを生成して、前記映像信号のフレームレートを変換する変換部と、
    前記変換部によって変換された映像信号を表示する表示部と、を備え、
    前記表示部は、
    前記変換部において、時間軸と空間軸とからなる座標系における前記補間フレーム中の補間対象画素が位置する座標を通り、前記第１乃至第４のフレームを通過する複数の直線のうち、それぞれの前記直線について、前記第１乃至第４のフレームとの交点に位置する複数画素間の画素値の差分の絶対値を算出し、前記絶対値に基づいて前記複数の直線のそれぞれにポイントを付与し、前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報に基づいて、前記複数の直線のそれぞれにポイントをさらに付与し、該ポイントを付与された前記複数の直線のうち、付与された前記ポイントに基づいて一の直線を選択し、前記第１と第３のフレーム上の画素であって、選択した前記一の直線との交点に位置する画素の画素値に基づいて、前記補間対象画素の画素値を生成して作成した前記補間フレームを表示する
    ことを特徴とする映像表示装置。
  23. 前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報は、
    前記補間フレーム中で前記補間対象画素に隣接する画素であって、前記補間対象画素よりも時間的に前に補間された画素の補間方向である
    ことを特徴とする請求項１９乃至２２に記載の映像表示装置。
  24. 前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報は、
    前記補間フレームよりも時間的に前に補間されたフレームの画素の補間方向の情報である
    ことを特徴とする請求項１９乃至２２に記載の映像表示装置。
  25. 前記変換部は、
    前記複数の直線に、前記差分の絶対値が小さいほど高いポイントを付与する
    ことを特徴とする請求項２０または２２に記載の映像表示装置。
  26. 前記変換部は、
    前記ポイントが最大となる直線を選択する
    ことを特徴とする請求項２０、２２または２５に記載の映像表示装置。
  27. 前記補間対象画素よりも時間的に前に補間された画素の補間方向の情報は、
    前記補間フレームよりも時間的に前に補間されたフレームの画素の補間方向の情報であって
    前記変換部は、
    前記補間フレームよりも時間的に前に補間されたフレームの複数の画素における補間方向の情報について、補間方向の種類ごとに存在する数を算出し、該算出した数が大きい補間方向の情報と同じ補間方向を示す直線ほど、高いポイントを付与する
    ことを特徴とする請求項２０または２２に記載の映像表示装置。
JP2004349261A 2004-12-02 2004-12-02 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法 Active JP4396496B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004349261A JP4396496B2 (ja) 2004-12-02 2004-12-02 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
EP05253951A EP1667093A3 (en) 2004-12-02 2005-06-24 Frame rate conversion device, image display apparatus, and method of converting frame rate
US11/190,191 US7548276B2 (en) 2004-12-02 2005-07-27 Frame rate conversion device, image display apparatus, and method of converting frame rate
CN200510090703A CN100588239C (zh) 2004-12-02 2005-08-11 帧速率变换装置和图像显示装置以及帧速率变换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004349261A JP4396496B2 (ja) 2004-12-02 2004-12-02 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法

Publications (3)

Publication Number Publication Date
JP2006165602A JP2006165602A (ja) 2006-06-22
JP2006165602A5 JP2006165602A5 (ja) 2007-08-30
JP4396496B2 true JP4396496B2 (ja) 2010-01-13

Family

ID=36118214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004349261A Active JP4396496B2 (ja) 2004-12-02 2004-12-02 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法

Country Status (4)

Country Link
US (1) US7548276B2 (ja)
EP (1) EP1667093A3 (ja)
JP (1) JP4396496B2 (ja)
CN (1) CN100588239C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485453B2 (en) 2013-09-10 2016-11-01 Kabushiki Kaisha Toshiba Moving image player device

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5264048B2 (ja) * 2005-05-23 2013-08-14 ゴールドチャームリミテッド 液晶表示装置及びその駆動方法
JP4887727B2 (ja) * 2005-10-20 2012-02-29 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
WO2007052452A1 (ja) * 2005-11-07 2007-05-10 Sharp Kabushiki Kaisha 画像表示装置及び方法
WO2007060584A2 (en) * 2005-11-23 2007-05-31 Koninklijke Philips Electronics N.V. Rendering views for a multi-view display device
JP4389866B2 (ja) * 2005-12-12 2009-12-24 セイコーエプソン株式会社 画像処理方法、画像処理装置、表示装置およびプログラム
TW200739507A (en) * 2006-03-23 2007-10-16 Toshiba Matsushita Display Tec Liquid crystal display device
JP5174329B2 (ja) 2006-05-23 2013-04-03 株式会社日立製作所 画像処理装置及び画像表示装置
JP2007324830A (ja) * 2006-05-31 2007-12-13 Toshiba Corp フレームレート変換装置及びフレームレート変換方法
WO2007148290A2 (en) * 2006-06-20 2007-12-27 Koninklijke Philips Electronics N.V. Generating fingerprints of information signals
US8432495B2 (en) * 2006-09-15 2013-04-30 Panasonic Corporation Video processor and video processing method
JP5002249B2 (ja) * 2006-11-30 2012-08-15 株式会社東芝 フレーム内挿装置及びフレーム内挿方法並びに画像表示装置
US8134640B2 (en) * 2006-12-26 2012-03-13 Broadcom Corporation Video processor architecture and method for frame rate conversion
US8542747B2 (en) * 2006-12-26 2013-09-24 Broadcom Corporation Low latency cadence detection for frame rate conversion
JP4412323B2 (ja) 2006-12-28 2010-02-10 株式会社日立製作所 映像処理装置及び映像表示装置
US8018530B2 (en) * 2006-12-29 2011-09-13 Intel Corporation Adaptive video de-interlacing
WO2008102827A1 (ja) * 2007-02-20 2008-08-28 Sony Corporation 画像表示装置、映像信号処理装置および映像信号処理方法
JP4525692B2 (ja) 2007-03-27 2010-08-18 株式会社日立製作所 画像処理装置、画像処理方法、画像表示装置
KR100953143B1 (ko) * 2007-05-21 2010-04-16 닛뽕빅터 가부시키가이샤 영상 신호 표시 장치 및 영상 신호 표시 방법
CN101785308B (zh) 2007-08-31 2013-02-06 富士通株式会社 信号输出装置和信号输出方法
JP2009111936A (ja) * 2007-11-01 2009-05-21 Hitachi Ltd 映像表示装置
WO2009078686A2 (en) * 2007-12-18 2009-06-25 Humax Co., Ltd. Method and device for video coding and decoding
US8805101B2 (en) * 2008-06-30 2014-08-12 Intel Corporation Converting the frame rate of video streams
JP2010093596A (ja) * 2008-10-09 2010-04-22 Hitachi Ltd 表示システム及び受信装置
US8411738B2 (en) * 2009-03-12 2013-04-02 Samsung Electronics Co., Ltd. System and method for identification of vertical scrolling regions in digital video
CA2757571A1 (en) * 2009-04-13 2010-10-21 Showscan Digital Llc Method and apparatus for photographing and projecting moving images
US8619198B1 (en) * 2009-04-28 2013-12-31 Lucasfilm Entertainment Company Ltd. Adjusting frame rates for video applications
JP5212252B2 (ja) * 2009-05-08 2013-06-19 株式会社Ｊｖｃケンウッド フレームレート変換装置及び方法
US8963966B2 (en) 2009-09-04 2015-02-24 Sharp Kabushiki Kaisha Display driver circuit, liquid crystal display device, display driving method, control program, and computer-readable recording medium having same control program recorded therein
US8471959B1 (en) * 2009-09-17 2013-06-25 Pixelworks, Inc. Multi-channel video frame interpolation
US8643776B2 (en) * 2009-11-30 2014-02-04 Mediatek Inc. Video processing method capable of performing predetermined data processing operation upon output of frame rate conversion with reduced storage device bandwidth usage and related video processing apparatus thereof
US8665367B2 (en) * 2010-01-29 2014-03-04 Sharp Laboratories Of America, Inc. Video resolution enhancement technique
JP4922418B2 (ja) * 2010-02-16 2012-04-25 株式会社東芝 再生装置および再生装置の制御方法
TWI412278B (zh) * 2010-05-03 2013-10-11 Himax Tech Ltd 影片模式的圖框速率轉換系統及方法
JP5669523B2 (ja) * 2010-07-06 2015-02-12 三菱電機株式会社 フレーム補間装置及び方法、並びにプログラム及び記録媒体
TW201228403A (en) * 2010-12-28 2012-07-01 Acer Inc Video display device, multi-media vedio streamoing device, and method thereof
CN102131058B (zh) * 2011-04-12 2013-04-17 上海理滋芯片设计有限公司 高清数字视频帧速率变换处理模块及其方法
WO2012166512A2 (en) 2011-05-31 2012-12-06 Dolby Laboratories Licensing Corporation Video compression implementing resolution tradeoffs and optimization
US9137522B2 (en) * 2011-07-11 2015-09-15 Realtek Semiconductor Corp. Device and method for 3-D display control
US10659724B2 (en) * 2011-08-24 2020-05-19 Ati Technologies Ulc Method and apparatus for providing dropped picture image processing
CN103491335B (zh) * 2013-09-24 2017-07-18 深圳超多维光电子有限公司 一种图像显示方法及装置
WO2015130616A2 (en) 2014-02-27 2015-09-03 Dolby Laboratories Licensing Corporation Systems and methods to control judder visibility
JP2017183914A (ja) * 2016-03-29 2017-10-05 パナソニックＩｐマネジメント株式会社 画像処理装置
GB2553125B (en) * 2016-08-24 2022-03-09 Grass Valley Ltd Comparing video sequences using fingerprints
TWI748459B (zh) 2020-05-18 2021-12-01 瑞昱半導體股份有限公司 影像處理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06501358A (ja) * 1990-09-20 1994-02-10 ブリティッシュ・ブロードキャスティング・コーポレーション ビデオ画像処理
GB9214218D0 (en) * 1992-07-03 1992-08-12 Snell & Wilcox Ltd Motion compensated video processing
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
US6151075A (en) * 1997-06-11 2000-11-21 Lg Electronics Inc. Device and method for converting frame rate
JP4083265B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 画像信号の方式変換方法および装置
US6111610A (en) * 1997-12-11 2000-08-29 Faroudja Laboratories, Inc. Displaying film-originated video on high frame rate monitors without motions discontinuities
JP3812921B2 (ja) 1998-03-06 2006-08-23 パイオニア株式会社 映像信号識別方法及びそれを用いた映像信号の処理方 法
JP4092773B2 (ja) 1998-04-14 2008-05-28 株式会社日立製作所 画像信号のフレーム数変換方法および装置
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
JP2000134585A (ja) 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US6542198B1 (en) * 1999-03-30 2003-04-01 Ati International Srl Method and apparatus for optimizing video playback at arbitrary refresh rates
JP2001025021A (ja) 1999-07-05 2001-01-26 Sony Corp 動き検出方法および動き検出装置
JP2001024988A (ja) 1999-07-09 2001-01-26 Hitachi Ltd 画像信号の動き補償フレーム数変換方式および装置
JP2001111968A (ja) 1999-10-07 2001-04-20 Sony Corp フレームレート変換装置
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
US7236207B2 (en) * 2002-01-22 2007-06-26 Broadcom Corporation System and method of transmission and reception of progressive content with isolated fields for conversion to interlaced display
JP2003333540A (ja) 2002-05-13 2003-11-21 Hitachi Ltd フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置
FR2851398A1 (fr) * 2003-02-19 2004-08-20 St Microelectronics Sa Procede et dispositif de de-entrelacement par analyse de pixels
JP4244685B2 (ja) 2003-04-15 2009-03-25 日本ビクター株式会社 動画像時間軸補間方法及び動画像時間軸補間装置
KR100553893B1 (ko) * 2003-10-14 2006-02-24 삼성전자주식회사 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485453B2 (en) 2013-09-10 2016-11-01 Kabushiki Kaisha Toshiba Moving image player device

Also Published As

Publication number Publication date
US7548276B2 (en) 2009-06-16
EP1667093A2 (en) 2006-06-07
JP2006165602A (ja) 2006-06-22
CN100588239C (zh) 2010-02-03
US20080007614A1 (en) 2008-01-10
EP1667093A3 (en) 2008-10-22
CN1783995A (zh) 2006-06-07

Similar Documents

Publication Publication Date Title
JP4396496B2 (ja) フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
JP4438795B2 (ja) 映像変換装置、映像表示装置、映像変換方法
US6104755A (en) Motion detection using field-difference measurements
US6784942B2 (en) Motion adaptive de-interlacing method and apparatus
JP4991360B2 (ja) フレームレート変換装置および映像表示装置
JP2000253365A (ja) 解像度変換方法および解像度変換装置
JP4119360B2 (ja) 映像フォーマットの変換装置及びその方法
KR101016493B1 (ko) 움직임 보정 장치 및 방법
JP2007274411A (ja) プルダウン信号検出装置およびプルダウン信号検出方法並びに順次走査変換装置および順次走査変換方法
KR100962742B1 (ko) 화상 신호 처리 장치 및 처리 방법
JP3596519B2 (ja) 画像信号処理装置及び方法
WO2003055211A1 (fr) Processeur de signaux d'image et procede de traitement
JP4339237B2 (ja) 順次走査変換装置
JP2003018552A (ja) 走査線変換回路
US7362375B2 (en) Scanning conversion apparatus and method
US20030184676A1 (en) Image scan conversion method and apparatus
JP4507841B2 (ja) 画像信号処理装置、および画像信号処理方法
JP5077037B2 (ja) 画像処理装置
JP2007288483A (ja) 画像変換装置
US7791672B2 (en) Scanning conversion apparatus and method
JP2010147699A (ja) 補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置
KR100710236B1 (ko) 화소 보간 장치 및 화소 보간 방법
JP4230903B2 (ja) 映像信号処理装置及び映像信号処理方法
JP2014216740A (ja) 映像信号処理装置及び方法、並びにプログラム及び記録媒体
JP2008011439A (ja) 補間画像生成装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070718

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4396496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250