JP4982345B2 - フレーム補間回路、フレーム補間方法、表示装置 - Google Patents

フレーム補間回路、フレーム補間方法、表示装置 Download PDF

Info

Publication number
JP4982345B2
JP4982345B2 JP2007318635A JP2007318635A JP4982345B2 JP 4982345 B2 JP4982345 B2 JP 4982345B2 JP 2007318635 A JP2007318635 A JP 2007318635A JP 2007318635 A JP2007318635 A JP 2007318635A JP 4982345 B2 JP4982345 B2 JP 4982345B2
Authority
JP
Japan
Prior art keywords
block
motion vector
vector
frame
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007318635A
Other languages
English (en)
Other versions
JP2009141878A (ja
Inventor
考 佐藤
桂子 平山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007318635A priority Critical patent/JP4982345B2/ja
Publication of JP2009141878A publication Critical patent/JP2009141878A/ja
Application granted granted Critical
Publication of JP4982345B2 publication Critical patent/JP4982345B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Systems (AREA)

Description

本発明は、動きベクトルを検出し利用するフレーム補間回路及びフレーム補間方法とこれを用いた表示装置に関する。
最近、デジタル映像技術の発達に伴って、映像の高画質化、高品質化への要請が高まっている。これに応じて、映像の各フレーム画像に対する補間画像を生成し付加することにより、映像の動きをより滑らかに自然に表現するフレーム補間処理が知られている。このようなフレーム補間処理では、画像のブロック動きベクトルを検出し、この動きベクトルの動き程度に応じて補間画像を生成している。しかし、この動きベクトルの近傍にエッジを含む画像部分が存在すると、動きベクトルの誤検出により補間処理の結果である画像に破綻をきたすこととなる。
特許文献1は、この場合の画像の破綻を回避するべく、孤立した動きベクトルを除去する動きベクトル検出装置なるものを開示している。概要としては、水平又は垂直のエッジの有無を検出する水平・垂直エッジ検出手段を備えており、動きベクトル算出手段が水平もしくは垂直エッジが存在するブロックの動きベクトルの信頼度を高又は中の信頼度に分類する、というものである。
しかしながらエッジの検出に関する明確な記載がなく、またエッジのみに着目した処理は確実性が低いという問題があった。
特開2003−224854号公報(図17)
本発明は、動きベクトルの誤検出による破綻のより少ないフレーム補間技術を提供することを目的とする。
上記課題を解決するために、本発明の請求項1に記載のフレーム補間方法は、入力画像信号から第1のフレーム画像と第2のフレーム画像を検出し両者を比較して、前記フレームをブロック状に分割した複数ブロック毎の複数の動きベクトルを検出し、前記複数ブロックの中の一のブロックの動きベクトルの値に比べて、前記一のブロックの上のブロックの動きベクトルと左のブロックの動きベクトルの内のベクトル値が近い方の動きベクトルを選び、選んだ動きベクトルの値から所定値以内の値に、前記一のブロックの動きベクトルの値を修正するベクトルフィルタ処理を行い、この修正処理後の動きベクトルを適用した際の当該ブロックのブロックマッチング評価指標に従って当該修正処理方法を適応的に変更し、前記適応的に変更された当該修正処理方法により生成された複数の動きベクトルと前記第1のフレーム画像と前記第2のフレーム画像に基づいて、補間画像を生成して出力することを特徴とする。
本発明によれば、動きベクトルの誤検出による破綻のより少ないフレーム補間技術が得られる。
以下、本発明の実施形態を説明する。
本発明による実施形態1を図1乃至図7及び図11を参照して説明する。
図1は実施形態1のフレーム数変換処理のフローの概要を説明するブロック図、図2は動きベクトル検出に関する説明のための模式図、図3はブロックマッチング処理のイメージを示した図である。図4は24画素/フレームで左方向にスクロールする文字が含まれる入力映像を例示した図、図5は図4の入力映像に対して単純なブロックマッチング処理のみによって検出した動きベクトルを用いて生成された補間画像を例示した図、図6は同じく図4の入力映像に対して単純なブロックマッチング処理のみによって検出されたベクトルの分布状態を例示した図、図7は図6のベクトル分布において動きベクトルが誤検出されている箇所のベクトルの詳細値を例示した図、図8は図4の入力映像に対して特願2006-244729号公報の従来例の垂直方向のベクトルフィルタ処理で補正された後の動きベクトルの詳細値を例示した図、図9は図4の入力映像に対してベクトルフィルタ処理によって補正された後の動きベクトルの詳細値を例示した図、図10は図8に示す従来のベクトルフィルタ処理後の動きベクトルを用いて生成された補間画像を例示した図、図11は図9に示すベクトルフィルタ処理後の動きベクトルを用いて生成された補間画像を例示した図である。
ブロックマッチングを用いた動きベクトルの検出方法としては、様々な方法が提案されている。ここで、動きベクトルの推定を行った際、本来、同一物体に相当するブロックではほぼ同一の動きベクトルが検出されるはずであるが、周期的な模様を含む映像等において誤検出が生じ、同一物体に相当するブロックでありながら局所的に周辺のブロックと全く異なる動きベクトルが検出される場合がある。このような動きベクトル検出結果に基づいて生成された補間画像はベクトルが誤検出された箇所での破綻が目立ち、補間画像品位の著しい低下を招く。
このような動きベクトルの誤検出による破綻を低減するために、検出したベクトルへのフィルタ処理を行う方法が提案されている。本願と同じ発明者他の発明であって、本願と同じ出願人によって出願された特願2006-244729号公報の従来例では、注目ブロックの動きベクトルに対して、注目ブロックに隣接するブロックで検出された動きベクトルからのベクトル変化量を所定の範囲に制限することにより、補間画像の生成に用いる動きベクトルの空間内での局所的なバラツキを抑え、これにより動きベクトルの誤検出による補間画像の破綻低減を実現している。しかしながら、このようなフィルタ処理を無条件で行ってしまうと、実際に異なる動きをしている異なる物体境界部分でベクトルの歪みが生じ、これが新たな画質劣化をもたらす場合があった。
よって、フィルタ処理後の動きベクトルを適用した際のブロックマッチング評価指数を予め見積もることによってフィルタ処理を変更する。より具体的には、ベクトルフィルタ処理後のベクトルのブロックマッチング評価指数が著しく悪化する場合にはフィルタが弱くしか掛からない、あるいは全く掛からないように制御するなどの制御を行う。
図1は、本発明によるフレーム補間回路(フレーム数変換装置)の一実施形態を示すブロック構成図である。図1のフレーム補間回路10は、フレームメモリ部1、動きベクトル検出部2、ベクトルフィルタ処理部3、マッチング評価指数判定部4、および補間画像作成部5を備える。動きベクトル検出部2は、入力画像信号における例えば連続する2フレームから、動きベクトルをブロックマッチング処理にて検出する。すなわち動きベクトル検出部2は、2つの入力フレーム画像における画像ブロックの互いに対応する画素値どうしの差分絶対値を算出し、この差分絶対値の累積加算値(SAD)の極小値に対応する動きベクトルを動きベクトル候補として選択する。なお入力画像信号のフレームレートは例えば60フレーム/秒である。
補間画像作成部5は、動きベクトル検出部2の検出結果に基づいて補間フレームを作成し、前記2フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば120フレーム/秒である。
マッチング評価指数判定部4は、動きベクトル検出部2により検出された動きベクトルの参照画素が有効か有効でないかを判定する。すなわちマッチング評価指標判定部4は、動きベクトル検出部2により検出された動きベクトルの参照画素の位置をマッチング評価指標判定部4内部の図示せぬカウンターで把握し、その結果に基づいて参照画素が有効か有効でないかを判定する。
すなわちマッチング評価指標判定部4は検出された動きベクトルの参照画素の位置が有効か有効でないかを後述のようにブロックごとに判定する。そして、検出された動きベクトルを用いて補間フレームを生成するか、または、後述のように動きベクトルを修正して補間フレームを生成するかをブロックごと判定する。そしてその結果を補間画像作成部5に渡す。補間画像作成部5は評価指標判定部4の判定結果に基づいて補間画像を作成する。
補間画像作成部5は、動きベクトル検出部2により検出された動きベクトルを用いて補間フレームを作成する。その際、評価指標判定部4により用いるべき動きベクトルと判定された動きベクトルの基の画素を有効画素として、補間フレームを作成する。または、補間画像作成部5は、評価指標判定部4により用いるべき動きベクトルと判定された動きベクトルに基づいて作成した画像と、他の用いるべき動きベクトルと判定された動きベクトルに基づいて作成した画像とを合成(ブレンド)して補間フレームを作成する、例えば画素値の平均をとるといった方法を用いることもできる。
動きベクトル検出部2、補間画像作成部5、および、マッチング評価指標判定部4は、それぞれ個別電子回路を用いたハードウエア、あるいはCPU(図示せず)にて実行されるソフトウエアとして構成できる。
図1の動きベクトル検出部2の動きベクトル検出等に関し図2の模式図を参照してまず簡単に説明する。図2では、入力画像が時間方向に対してN−1フレーム、Nフレーム、N+1フレームの順に配列されている。先ず、入力動画(ビデオ画像)のNフレーム(第1参照フレーム、Nは自然数)とN+1フレームとの間の時間的に中間位置に補間フレームIを生成する例について説明する。これは、例えば30fpsの入力動画を60fpsの動画に変換する場合もあるが、ここでは60fpsの入力動画を120fpsの動画に変換する場合について以下に述べる。
補間画像作成部5は、動きベクトル検出部2の検出結果に基づいて補間フレームを作成し、前記2フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば120フレーム/秒である。
なお、図1の構成に関して、動きベクトル検出範囲外等により動きベクトル検出ができなかった場合は、動きベクトル検出部2から制御して、例えば簡単にはフレームメモリ2の第1参照フレームを外部のLCD6へ出力することができるよう構成されている。
図3はブロックマッチング処理の一例を説明するための図である。即ちブロックマッチングを用いた動きベクトルの検出方法としては、補間フレーム画像の挿入位置を中心して、それを挟む前後2枚のフレーム上で所定形状のブロックを点対象に平行移動させ対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算しこれを累積した値(SAD:Sum of Absolute Difference)を求め、このSAD値が最小となる方向を該ブロックの動きベクトルとする方法等が知られている。
図3に示すように、点対称の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。すなわち図3の方法では、補間フレーム21内の補間画像ブロック41の挿入位置を中心として、それを挟む前フレーム20上及び後フレーム22上で点対称の位置にある画像ブロックどうしを画素毎に比較してSADを算出する。最も類似している(SADが最も小さい)画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム20中の所定探索範囲40及び後フレーム22内の対応する探索範囲42において行われる。
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック43と画像ブロック44であった場合、画像ブロック43から画像ブロック44までのベクトルが、補間画像ブロック41の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック43及び44の画像データに基づいて、補間フレーム21内の補間画像ブロック41が作成される。尚、この動きベクトル(大きさと方向を含む)は、図3では説明の都合上3次元のように示されているが、実際の処理においては、フレーム上の2次元で示されるベクトルである。
図3に示す方法では、補間フレーム画像の挿入位置を中心としそれを挟む前後2枚のフレーム上で規定の形状のブロックを点対称に平行移動させる。そして、対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算し、これを累積した値(SAD)を求め、このSAD値が最小となる方向を該ブロックの動きベクトルとする。
以下、表示形態に係わる図面を用いて処理を説明する。フィルタ処理に伴う副作用が発生する例として、図4のように静止した無地な背景上でアルファベット文字が水平方向にスクロールしている映像を考える。ここで文字のスクロール速度は24画素/フレームである。本例のスクロール文字の場合、アルファベットの文字を形成する縦線の一部が周期的なパターンになっており、単純なブロックマッチング処理で検出したのみでは、文字スクロール速度との関係でベクトルが誤検出され、例えば図5に示すように文字の一部(図5の例では文字”H”の一部)に欠けが生じる等、補間画像に破綻を来たす場合がある。このような局所的なベクトルの誤検出による補間画像の破綻を抑制するための手段として、いったん検出した動きベクトルのフィルタ処理によって、ベクトルの不連続性を解消する方法が有効と考えられる。
まず、本例でスクロールしている文字周辺で検出されている動きベクトルの分布状態の例を図6に示す。図6のように、背景部分の動きベクトルが検出されている領域Aと、スクロールしている文字の動きベクトルが検出されている領域Bと、文字スクロール領域内の一部で、本来の文字の動きと異なる動きベクトルが検出されている領域Cとがある。この領域C周辺の動きベクトル値の詳細値の分布例を図7に示す。動きベクトルは(水平方向の動き量、垂直方向の動き量)で記載されている。なお本例では、水平方向の動きは右方向への動きを正、垂直方向の動きは上方向への動きを正とし、入力される前後いずれか片方のフレーム上の位置から補間フレーム上の位置への移動量を動き量として、動きベクトルを表現している。本例では、スクロール文字領域中の2ブロックにおいてベクトルの誤検出が発生している。ブロックのサイズは例えば縦2画素、横32画素である。
ここで、特願2006-244729号公報で開示されている、「注目ブロックの動きベクトルの、上方ブロックの動きベクトルからの変化量を所定範囲に制限する」ベクトルフィルタ処理を、上方ブロックのベクトルからの変化量を3に制限する設定で行う場合を考える。
この場合、誤検出していた2ブロックのうち上方のブロックでは、元々検出された動きベクトルは(0, 0)であるが、そのさらに上方ブロックのベクトルが(-12, 0)であり、かつこのベクトルからの許容変化量が3に設定されているため、フィルタ処理後のベクトルは(-9, 0)となる。誤検出していた2ブロックのうち下方のブロックでは、同じく元々検出された動きベクトルは(0, 0)であるが、前記の通りこの上方に相当するブロックのベクトルがフィルタ処理によって(-9, 0)となっているため、フィルタ処理後のベクトルは(-6, 0)となる。
一方、文字の上端部分では、その上方ブロックが静止した無地な画像で動きベクトルは(0, 0)と検出されているため、元々検出されたベクトル(-12, 0)という本来の動きに合致したベクトルであったものが、ベクトルフィルタ処理によって(-2, 0)に補正される。
以下、同様に処理が行われることによって、破綻箇所周辺のフィルタ処理後の動きベクトルは、図8のようになり、このようにフィルタ処理された動きベクトルを用いて生成された補間画像は図10に示すようになる。なお、図10の補間画像の例では、検出した動きの方向に相当する前フレームの画素値と、後フレームの画素値との平均値により生成している。
上述のように、検出したベクトルがフィルタ処理されることにより、誤検出による欠けが生じていた文字部分に関しては多少の歪みは残るものの補間画像は本来の形に近いものとなり、動画像として見た際の破綻は低減される。ところが一方で、ベクトルのフィルタ処理がされていなかった際には正しいベクトルが検出され、品質の良い補間画像が生成されていた文字の上端部において、背景部分との境界部で大きく歪みが生じてしまい、この新たな歪みに補間画像の品位が大きく損ねられてしまっている。このように、従来の方法によるフィルタ処理では、効果とともに副作用が生じる場合が往々にしてあり、例えば以下のような修正処理が必要であった。
ここで、本実施形態の方法であるマッチング評価指標の利用方法について説明する。図4の入力映像に対して、上方ブロックのベクトルからの変化量を3に制限するフィルタ処理を行う場合を例として説明する。ここで、フィルタ処理後のベクトルのSAD値がTHR_VALより大きい場合にはフィルタ処理によるベクトルの補正を行わないような設定で動作させるとする。
文字上部ではフィルタ処理を行うことによって、元々(-12, 0)と検出されたベクトルが(-3, 0)へと補正されることになるが、このブロックに対して、フィルタ処理後のベクトル(-3, 0)を用いて入力の前後フレーム間のブロックマッチングを行った際のSAD値がVAL1であるとする。一方、文字の破綻が発生しているブロックでは元々(0, 0)と検出されたベクトルが、フィルタ処理により(-9, 0)へと補正されることになるが、このブロックに対して、フィルタ処理後のベクトル(-9, 0)を用いて入力の前後フレーム間のブロックマッチングを行った際のSAD値がVAL2であるとする。
ここで、THR_VALの値が、VAL1 > THR_VAL かつ、と VAL2 < THR_VAL となるように設定されていれば、スクロールしている文字と静止している背景部の境界部に当たる文字上端部ではフィルタ処理によるベクトルの補正は行われず、元々検出されたベクトル(-12, 0)がそのまま出力され、フィルタ処理が行われない場合に文字破綻の生じていたブロックでは、補正が有効となり(0,0)というベクトルが(-9, 0)へと補正されベクトルの局所的な誤検出による破綻が軽減される。
このように、フィルタ処理後のベクトルでのマッチング評価指数が所定値より悪化する場合にはフィルタ処理を弱くする、あるいはフィルタ処理を行わないように制御することで、物体境界部での歪みを生じることなく、ベクトル誤検出箇所の画像破綻を抑制することが出来る。
このように本実施形態によれば、物体境界部での歪みを生じることなく、ベクトル誤検出箇所の画像破綻を抑制することが出来ることが分かる。
本発明による実施形態2を説明する。実施形態1と共通する部分は説明を省略する。
図9は図4の入力映像に対して本実施形態によるベクトルフィルタ処理によって補正された後の動きベクトルの詳細値を例示した図、図11は図9に示す本実施形態のベクトルフィルタ処理後の動きベクトルを用いて生成された補間画像を例示した図である。
本実施形態は、上記問題を解決するためになされたもので、検出した動きベクトルに対して空間的なフィルタ処理を行う際に、注目ブロック内、あるいは注目ブロックと周辺のブロックとの間にエッジが存在しているかどうかを判定し、物体の境界と見なされるようなエッジが存在している場合と存在していない場合とでフィルタ処理方法を変更する。より具体的には、エッジが存在していない場合にはフィルタが強く掛かるようにし、エッジが存在している場合にはフィルタが弱くしか掛からない、あるいは全く掛からないように制御する。
さてフレーム補間方式としては、例えば、後方探索、前方探索、前後方平均の3種類の方式が考えられるがここでは前方探索を採用している。前方探索とは、Nフレーム上の参照ブロックに対し、N+1フレーム上で最も相関の高いブロック位置(動きベクトル)を求める方法であり、NフレームからN+1フレームへのいわゆるブロックマッチングである。相関の大小の基準となる相関値としては、実施形態1で概略を記した絶対値差分和(Sum of Absolute Difference: SAD)のほかに、高相関画素に対応する一致画素数和(Sum of Agreement Pixels: SAP)等が考えられる。まずSADは、以下の式により求めることができる。
Figure 0004982345


ここでxはフレームにおける画素の位置、Bはブロック内画素位置の集合、Nはフレーム数、dは動きベクトルを表し、f(x,N)は、対象画素の輝度成分を表している。すなわち(1)式においてSADが最小となるdがNフレームからN+1フレームへの動きベクトルMVとなり、MVが示す先のブロックが候補補間ブロックとなる。また、SAPは以下の式により求めることができる。
Figure 0004982345


(2)、(3)式は、ブロック内の輝度成分の絶対値差分が閾値Thより小さい画素数を求めている。すなわち(2)、(3)式においてSAPが最大となるdがNフレームからN+1フレームへの動きベクトルMVとなり、MVが示す先のブロックが候補補間ブロックとなる。
ここで、本実施形態の方法によるフィルタ処理を行った場合を説明する。前述の従来例と同じく、ベクトルフィルタ処理としては、上方ブロックからのベクトル変化量を所定範囲を3に制限したフィルタ処理を例とし、エッジの検出方法としては、垂直方向のエッジを検出するものを例として説明する。ここでは、エッジの検出方法としては、フィルタ処理前の検出ベクトル値の方向にある前後フレーム上の該当するブロック画素内にエッジが存在するかどうかにより判定する方法を取ることとする。
この場合、ベクトルの誤検出が発生していたブロックでは、当該ブロック内、あるいは当該ブロックとその上方に隣接するブロックとの間には垂直方向のエッジと判定されるものは存在しない。従って、フィルタ処理が有効となり、当該ブロックのベクトルは(0, 0)から(-9, 0)へと補正される。以下、この下方に向かっての補正は前述の従来方法と同様となる。一方で、文字の上端部では、文字と背景部分の境界部が垂直エッジと判定されるため、ベクトルフィルタ処理は無効となり、元々検出されたベクトルがそのまま出力されることとなる。このようにして垂直エッジを含む領域と垂直エッジを含まない領域とで、ベクトルフィルタが適応的に機能し、フィルタ処理後のベクトル詳細値は図9のようになり、このフィルタ処理された動きベクトルを用いて生成された補間画像は図11に示すようなものとなる。
実施形態1における適応的なベクトルフィルタ処理方法は、注目ブロック内、もしくはその近傍にエッジの存在が検出された場合に、前記隣接ブロックのベクトルからの変化許容量を大きくすることも好適である。
以上の実施形態では、物体境界部での動きベクトルの歪みによる画像破綻を抑止しながら、同一物体内での局所的な動きベクトルの誤検出による補間画像破綻を抑止することが可能となる。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば上記実施形態で用いるベクトルのフィルタ処理の手法としては、特願2006-244729号に示された方法に限定されるものではなく、メディアン処理、平均化処理等、その他の一般的なフィルタ処理のいずれであっても良い。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
この発明の一実施形態を示すブロック構成図。 同実施形態の動きベクトル検出に関する説明のための模式図。 同実施形態のブロックマッチング処理のイメージを示した図。 同実施形態の左方向にスクロールする文字が含まれる入力映像を例示した図。 図4の入力映像に対して単純なブロックマッチング処理のみによって検出した動きベクトルを用いて生成された補間画像を例示した図。 図4の入力映像に対して単純なブロックマッチング処理のみによって検出されたベクトルの分布状態を例示した図。 図6のベクトル分布において動きベクトルが誤検出されている箇所のベクトルの詳細値を例示した図。 図4の入力映像に対して従来例の垂直方向のベクトルフィルタ処理で補正された後の動きベクトルの詳細値を例示した図。 図4の入力映像に対してベクトルフィルタ処理によって補正された後の動きベクトルの詳細値を例示した図。 図8に示す従来のベクトルフィルタ処理後の動きベクトルを用いて生成された補間画像を例示した図。 図9に示すベクトルフィルタ処理後の動きベクトルを用いて生成された補間画像を例示した図。
符号の説明
10…フレーム補間回路、1…フレームメモリ部、2…上左ベクトルを使用したフィルタリングを含む動きベクトル検出部、3…ベクトルフィルタ処理部、4…マッチング評価指数判定部、5…補間画像作成部、6…パネル。

Claims (7)

  1. 入力画像信号から第1のフレーム画像と第2のフレーム画像を検出し両者を比較して、前記フレームをブロック状に分割した複数ブロック毎の複数の動きベクトルを検出し、
    前記複数ブロックの中の一のブロックの動きベクトルの値に比べて、前記一のブロックの上のブロックの動きベクトルと左のブロックの動きベクトルの内のベクトル値が近い方の動きベクトルを選び、選んだ動きベクトルの値から所定値以内の値に、前記一のブロックの動きベクトルの値を修正するベクトルフィルタ処理を行い、
    この修正処理後の動きベクトルを適用した際の当該ブロックのブロックマッチング評価指標に従って当該修正処理方法を適応的に変更し、
    前記適応的に変更された当該修正処理方法により生成された複数の動きベクトルと前記第1のフレーム画像と前記第2のフレーム画像に基づいて、補間画像を生成して出力することを特徴とするフレーム補間方法。
  2. 前記ブロックマッチングの評価指標に従って修正処理を適応的に変更する方法は、前記ベクトルフィルタ処理後のベクトルの持つ前記ブロックマッチング評価指標が、所定値よりもブロックマッチング度の低い値である場合には、修正処理しないように制御する方法であることを特徴とする、請求項1に記載のフレーム補間方法。
  3. 前記ブロックマッチング評価指標は、入力される2枚のフレーム上で所定サイズのブロックを移動させた際の対応画素間の差分絶対値を合計した値(SAD:Sum of Absolute Difference)を用いることを特徴とする、請求項1または請求項2に記載のフレーム補間方法。
  4. 前記ベクトルフィルタ処理は、注目ブロックの動きベクトルを、隣接するブロックの動きベクトルを基準としてベクトルの変化量が所定範囲内となるように制限する方法であることを特徴とする、請求項1乃至請求項3に記載のフレーム補間方法。
  5. 前記適応的なベクトルフィルタ処理方法は、注目ブロック内、もしくはその近傍にエッジの存在が検出された場合に、前記隣接ブロックのベクトルからの変化許容量を大きくすることを特徴とする、請求項4に記載のフレーム補間方法。
  6. 入力画像信号から第1のフレーム画像と第2のフレーム画像を検出し両者を比較して、前記フレームをブロック状に分割した複数ブロック毎の複数の動きベクトルを検出する検出部と、
    前記複数ブロックの中の一のブロックの動きベクトルの値に比べて、前記一のブロックの上のブロックの動きベクトルと左のブロックの動きベクトルの内のベクトル値が近い方の動きベクトルを選び、選んだ動きベクトルの値から所定値以内の値に、前記一のブロックの動きベクトルの値を修正するフィルタ部と、
    この修正処理後の動きベクトルを適用した際の当該ブロックのブロックマッチング評価指標に従って当該修正処理方法を適応的に変更し、前記適応的に変更された当該修正処理方法により生成された前記複数の動きベクトルと前記第1のフレーム画像と前記第2のフレーム画像に基づいて、補間画像を生成して出力する補間フレーム生成部と、を具備することを特徴とするフレーム補間回路。
  7. 入力画像信号から第1のフレーム画像と第2のフレーム画像を検出し両者を比較して、前記フレームをブロック状に分割した複数ブロック毎の複数の動きベクトルを検出する検出部と、
    前記複数ブロックの中の一のブロックの動きベクトルの値に比べて、前記一のブロックの上のブロックの動きベクトルと左のブロックの動きベクトルの内のベクトル値が近い方の動きベクトルを選び、選んだ動きベクトルの値から所定値以内の値に、前記一のブロックの動きベクトルの値を修正するフィルタ部と、
    この修正処理後の動きベクトルを適用した際の当該ブロックのブロックマッチング評価指標に従って当該修正処理方法を適応的に変更し、前記適応的に変更された当該修正処理方法により生成された前記複数の動きベクトルと前記第1のフレーム画像と前記第2のフレーム画像に基づいて、補間画像を生成して出力する補間フレーム生成部と、
    前記第1及び第2のフレーム画像及び前記補間画像を画面に表示するパネル部を具備することを特徴とする表示装置。
JP2007318635A 2007-12-10 2007-12-10 フレーム補間回路、フレーム補間方法、表示装置 Expired - Fee Related JP4982345B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007318635A JP4982345B2 (ja) 2007-12-10 2007-12-10 フレーム補間回路、フレーム補間方法、表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007318635A JP4982345B2 (ja) 2007-12-10 2007-12-10 フレーム補間回路、フレーム補間方法、表示装置

Publications (2)

Publication Number Publication Date
JP2009141878A JP2009141878A (ja) 2009-06-25
JP4982345B2 true JP4982345B2 (ja) 2012-07-25

Family

ID=40871995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007318635A Expired - Fee Related JP4982345B2 (ja) 2007-12-10 2007-12-10 フレーム補間回路、フレーム補間方法、表示装置

Country Status (1)

Country Link
JP (1) JP4982345B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153167A (ja) * 1992-11-13 1994-05-31 Oki Electric Ind Co Ltd 動きベクトル検出回路
JP3418799B2 (ja) * 1994-02-21 2003-06-23 富士通株式会社 動きベクトル補正制御方式
JP3486227B2 (ja) * 1994-07-12 2004-01-13 日本放送協会 動きベクトル補間フィルタ
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP4210910B2 (ja) * 2003-03-11 2009-01-21 ソニー株式会社 動きベクトル補正装置、動きベクトル補正方法及びプログラム
JP2006186504A (ja) * 2004-12-27 2006-07-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4799330B2 (ja) * 2006-09-08 2011-10-26 株式会社東芝 フレーム補間回路、フレーム補間方法、表示装置

Also Published As

Publication number Publication date
JP2009141878A (ja) 2009-06-25

Similar Documents

Publication Publication Date Title
US8437398B2 (en) Method and apparatus for adaptively converting frame rate based on motion vector, and display device with adaptive frame rate conversion function
JP4869045B2 (ja) 補間フレーム作成方法および補間フレーム作成装置
JP5645636B2 (ja) フレーム補間装置及び方法
CN106791279B (zh) 基于遮挡检测的运动补偿方法及系统
US7936950B2 (en) Apparatus for creating interpolation frame
US8406305B2 (en) Method and system for creating an interpolated image using up-conversion vector with uncovering-covering detection
US20080246884A1 (en) Motion estimation method
KR101186143B1 (ko) 프레임 레이트 변환 장치 및 방법
US20070133685A1 (en) Motion estimating apparatus and motion estimating method
WO2009085205A1 (en) Image interpolation with halo reduction
JP2008135980A (ja) 補間フレーム作成方法および補間フレーム作成装置
JP3960258B2 (ja) 信号処理装置および信号処理方法
KR20080033094A (ko) 모션이 보상된 이미지를 위한 보간 방법 및 이 방법의구현을 위한 디바이스
US20080063308A1 (en) Frame interpolating circuit, frame interpolating method, and display apparatus
JP5887764B2 (ja) 動き補償フレーム生成装置及び方法
US20090310679A1 (en) Video processing apparatus and methods
JP2008042332A (ja) 補間フレーム作成方法及び補間フレーム作成装置
US20060227242A1 (en) Method and apparatus of deinterlacing
JP4951487B2 (ja) 映像処理装置及びそれを用いた映像表示装置
EP2224738A1 (en) Identifying occlusions
JP5737072B2 (ja) 動き補償フレーム生成装置及び方法
JP4982345B2 (ja) フレーム補間回路、フレーム補間方法、表示装置
JP4383477B2 (ja) フィルムモード判定装置、判定方法、判定プログラム及び記録媒体
TWI389568B (zh) 影像解交錯的方法及相關裝置
US8531598B2 (en) Image processing method and related apparatus for generating target image block

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100329

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees