JP4563603B2

JP4563603B2 - 両方向動きベクトルを用いたフォーマット変換装置及びその方法

Info

Publication number: JP4563603B2
Application number: JP2001072812A
Authority: JP
Inventors: 聖▲ヒー▼ 李; 聖済高
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2000-06-13
Filing date: 2001-03-14
Publication date: 2010-10-13
Anticipated expiration: 2021-03-14
Also published as: US20020036705A1; JP2002027414A; KR20010111740A; EP1164792A2; KR100708091B1; CN1328405A; EP1164792A3; US6900846B2; CN1183768C

Description

【０００１】
【発明の属する技術分野】
本発明は映像信号のフォーマット変換装置及びその方法に係り、特に両方向動きベクトルを用いてフレームレート変換及びデインターレーシング(de−interlacing)を具現するフォーマット変換装置及びその方法に関する。
【０００２】
【従来の技術】
一般にパソコンや高鮮明テレビでは多様な信号規格を有するプログラムを相互交換するためにフレームレート及びデインターレーシングのようなフォーマット変換が必要である。
図１は、従来のフレームレート変換装置を示すブロック図である。
【０００３】
図１を参照すれば、映像分割部１１０は図２のように効率的な動き推定のために映像を変更された/非変更された(changed/unchanged)領域に区分する。そしてまた非変更された領域はカバーされた/非カバーされた(covered/uncovered)領域、背景、物体に分ける。
【０００４】
動き推定部１２０は、一般にビデオコーディングで使用するブロック整合アルゴリズムを用いてブロックの動きベクトルを生成する。既存の代表的なブロック整合アルゴリズムは、図３のように一定大きさのブロック内の画素が回転あるいは拡大、縮少されずに同一に移動だけしたという仮定下でブロック当り一つの動きベクトルを探すことである。図３で現在フレームf_c内の任意の座標x_c、y_cに位置したN×N大きさの基準ブロックの動きベクトルを以前フレームf_pで±P画素だけの範囲で推定すると仮定しよう。すると以前フレーム内の探索範囲は(N＋２P)×(N＋２P)となる。したがって動きベクトルは総(２P＋１)²個の候補位置中で最大相関度を有する位置に決定される。この時に現在フレームでの基準ブロックと以前フレームでの候補ブロックとの間の差は式（１）のようにMAD(mean absolute difference)として計算される。
【０００５】
【数１】

【０００６】
ここで、最終的にブロックの動きベクトルは、基準ブロックと候補ブロックの平均絶対値差が一番小さな値を有する探索範囲の位置(m、n)として決定される。
【０００７】
時空間スムージング部１３０は、動き推定部１２０で得られた不適切な動きベクトルを改善し、図４に示したように動きベクトルをスムースに改善する。動き補償補間部１４０は、補間しようとする映像の前後フレームに対する順方向動きベクトルを捜し出し、この求められた動きベクトルを用いて映像分割部１１０で発生する領域分類情報によって補間を行う。この時に順方向動きベクトルを用いた動き補償補間は、図５のように補間されるフレームで二つ以上の動きベクトルが割当されることによりブロックが重なる部分と動きベクトルが割当されない穴部分を発生させる。この重なる部分と穴部分は、補間された映像の画質に直接的な影響を与えて画質を低下させる。また、この重なる部分と穴部分は不規則な形態をしているために画素単位で処理されねばならない。したがって、従来にはこの重なる部分及び穴部分を除去するために複雑な信号処理過程及びこれによる複雑なハードウェアを具現すべき問題点がある。
【０００８】
また通常的なテレビ映像信号は、２個のフィールドが一フレームを形成する飛越し走査方式で周波数帯域が圧縮される。そして、最近通常の順次方式でディスプレイするパソコンや高鮮明テレビでは飛越し走査をディスプレイするためにはデインターレーシングにより空いている映像ラインを任意の方法で生成して順次走査すべきである。
【０００９】
図６は通常的なデインターレーシングの基本概念図である。
図６を参照すれば、デインターレーシングは垂直方向に奇数あるいは偶数番目のサンプルだけを含むフィールドをフレームに変更する。この時に出力フレーム(F₀(x^→,n))（ここで、記号「x^→」は「ｘ」の上に符号「^→」が重なっているものを示す）は式（２）のように定義する。
【００１０】
【数２】

【００１１】
図７は、動き補償を用いないELAデインターレーシングアルゴリズムを適用するための３×３ウインドである。
図７を参照すれば、ELA(edge−based line averaging)デインターレーシングは、式（３）のように補間される画素の位置で方向性(x、y)を考慮した画素間の相関性を用いる。すなわち、補間される画素の周辺に隣接した画素と補間されるフィールドの前後フィールドで補間される画素の平均値を出力する。
【００１２】
【数３】

【００１３】
図８は、通常的なTRデインターレーシング方法を説明するための概念図である。
図８を参照すれば、動きベクトルを用いたTR(time−recursive)デインターレーシングは以前フィールド(n−１)が完璧にデインターレーシングされたと仮定し、現在フィールド(n)の紛失データを動きベクトルで補償する。補間される画素は、以前フィールドの元の画素になりえ、以前フィールドで補間された画素になりうる。したがって、補間される画素は、式（４）のように示すことができる。
【００１４】
【数４】

【００１５】
しかし、ELAデインターレーシング方式は、動き補償を使用しないために動きが存在する領域では明滅が発生し、TRデインターレーシング方式は、連続的にデインターレーシングされるために任意のフィールドで発生したエラーが他のフィールドに伝播されうる。
【００１６】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、補間される画素のために連続的な二つのフレームの両方向動きベクトルを直接求めることによって画質を改善させるフレームレート変換方法を提供することにある。
【００１７】
本発明が解決しようとする他の技術的課題は、前記フレームレート変換方法を用いたフレームレート変換装置を提供することにある。
本発明が解決しようとする他の技術的課題は、補間される画素のために連続的な二つのフィールド間の両方向動きベクトルを推定して具現が容易で優れた輪郭線保存能力を有するデインターレーシング装置を提供することにある。
【００１８】
本発明が解決しようとする他の技術的課題は、前記デインターレーシング方法を用いたデインターレーシング装置を提供することにある。
本発明が解決しようとする他の技術的課題は、入力映像の動き程度によって動き補償型補間値または時空間補間値を適応的に選択することによって動き情報の信頼性を向上させ、補間する画素のエラーを減らしうるデインターレーシング装置を提供することにある。
【００１９】
【課題を解決するための手段】
前記の技術的課題を解決するために、本発明は(a)現在フレームと以前フレームとの動きベクトルを使用して補間されるフレームに対する両方向の動きベクトルを推定する過程と、(b)補間されるフレームで前記(a)過程で推定された動きベクトル中で画素誤差が最小の周辺ブロックの動きベクトルを現在ブロックの動きベクトルに設定する過程と、(c)前記(b)過程で設定された動きベクトルで補間されるフレームを形成する過程とを含むフレームレート変換方法である。
【００２０】
前記の技術的課題を解決するために、本発明はフレームレート変換装置において、現在フレームと以前フレームとの動きベクトルを求めて補間されるフレームに割当て、前記補間されるフレームに対して割当てられた動きベクトルを推定する両方向動き推定手段と、前記両方向動き推定手段で補間されるフレームで現在ブロックの動きベクトルの正確性を評価した後、画素誤差が最小の周辺ブロックの動きベクトルを現在ブロックの動きベクトルに設定する時空間スムージング部と、前記補間されるブロックを拡張して重畳された領域で相異した加重値をおいて前記時空間スムージング部で求められた動きベクトルで補間する補間部とを含むフレームレート変換装置である。
【００２１】
前記の他の技術的課題を解決するために、本発明はデインターレーシング方法において、(a)現在フィールドと以前フィールドとの動きベクトルを使用して補間される画素に対する両方向の動きベクトルを推定する過程と、(b)前記(a)過程で周辺画素誤差が最小の動きベクトルを補間される画素の動きベクトルに設定する過程と、(c)前記(b)過程で設定された動きベクトルで補間される画素を形成する過程とを含むデインターレーシング方法である。
【００２２】
前記の他の技術的課題を解決するために、本発明は適応的なデインターレーシング装置において、以前フィールドと現在フィールドのブロック間画素誤差が最小の動きベクトル値を参照して動き程度を評価する動き評価部と、補間される画素に対して両方向動きベクトルを適用した画素の平均で補間したり、動きベクトルを適用した画素値とその画素の平均値、そして、補間される画素の垂直方向に隣接した二つの画素間値のメジアン値で補間する動き補償補間部と、補間される画素周辺に隣接した画素と補間されるフィールドの前後フィールドで補間される画素の平均値で補間する時空間補間部と、前記動き評価部で評価された動き程度によって前記動き補償補間部の補間値と時空間補間部の補間値を適応的に選択する動き適応部とを含むデインターレーシング装置である。
【００２３】
前記の他の技術的課題を解決するために、本発明は適応的なフレームレート変換装置において、以前フレームと現在フレームのブロック間画素誤差が最小の動きベクトル値を参照して動き程度を評価する動き評価部と、補間されるフレームを基準として検出された両方向動きベクトルを適用した画素の平均で補間する動き補償補間部と、補間されるフレームの周辺に隣接した画素と補間されるフレームの前後フレームで補間される画素の平均値で補間する時空間補間部と、前記動き評価部で評価された動き程度によって前記動き補償補間部の補間値と時空間補間部の補間値を適応的に選択する動き適応部とを含むフレームレート変換装置である。
【００２４】
【発明の実施の形態】
以下、添付した図面を参照して本発明の望ましい実施形態を説明する。
図９は、本発明に係るフレームレート変換装置を示すブロック図である。
図９の装置は、動き推定部２１０、時空間スムージング部２２０、改善された動き補償補間部２３０より構成される。
【００２５】
図９を参照すれば、動き推定部２１０は現在フレームと以前フレームとの動きベクトルを求めて補間されるフレームに割当て、その補間されるフレームを基準として両方向動きベクトルを推定する。時空間スムージング部２２０は、補間されるフレームで推定された現在ブロックの動きベクトルの正確性を評価した後、画素誤差が最小の周辺ブロックの動きベクトルを現在ブロックの動きベクトルに設定する。
【００２６】
改善された動き補償補間部２３０は、時空間スムージング部２２０で求められた動きベクトルを用いて補間されるフレームの前後フレームでブロックの平均で補間されるブロックを形成する。この時、改善された動き補償補間部２３０は補間されるブロックを拡張して重畳された領域で相異した加重値で補間する。
【００２７】
図１０Ａ乃至図１０Ｃは両方向動きベクトルを求める概念図である。
先ず、隣接した二つのフレームでF_n-1は(n−１)番目フレームであり、F_n+1は(n＋１)番目フレームであり、F_nはn番目フレームである。n番目フレームF_nで図１０Ａ乃至図１０Ｃに示したような動きベクトル初期化段階(図１０Ａ、図１０Ｂ)と動きベクトル調整段階(図１０Ｃ)を通じて両方向動きベクトルが求められる。
【００２８】
図１０Ａを参照して動きベクトル初期化段階を説明する。先ず、連続的に入力される（ｎ−１）番目フレーム／フィールド（Ｆ_ｎ−１）と（ｎ＋１）番目フレーム／フィールド（Ｆ_ｎ＋１）は２：１にデシメーションされて（ｎ−１）番目フレーム／フィールド（Ｆ＾_ｎ＋１）（ここで、記号「Ｆ＾」は「Ｆ」の上に符号「＾」が重なっているものを示す）及び（ｎ＋１）番目フレーム／フィールド（Ｆ＾_ｎ＋１）に再構成される。
【００２９】
次いで、図１０Ａに示したように(n＋１)番目フレーム/フィールド（F^{^} _n+1）が複数個のブロックに分けられ、各ブロックに対して探索領域を定める。次いで、その探索領域でブロック整合アルゴリズム(block matching algorithm:以下BMAと称する)を適用して順方向動きベクトル(forward MV)が推定される。次いで図１０Ｂのように補間されるn番目フレーム/フィールド（F^{^} _n）をブロック別に分け、その推定された順方向動きベクトルを補間されるn番目フレーム/フィールド（F^{^} _n）の初期動きベクトル(initial MV)に設定する。したがって、図１０Ｂのように両方向動きベクトルを用いて各ブロックグリッドによって動きを補償することによって既存の映像信号で重なる部分及び穴部分が発生しなくなる。
【００３０】
次いで、図１０Ｃを参照して動きベクトル調整段階を説明する。まず、動きベクトル初期化段階で求めた初期動きベクトルは初期化過程で順方向動きベクトルを使用したので少しの変化が発生する。これを補正するために動きベクトル初期化段階で求めた順方向動きベクトルを初期値として小さな探索領域(±d)が新しく設定される。次いで小さな探索領域(±d)で再びBMAを用いて初期に設定された動きベクトルを補正した後、両方向動きベクトルが生成される。図１０Ｃに示した初期動きベクトルの調整段階を説明するために補間されるn番目フレーム/フィールド（F^{^} _n）での任意のブロックB_tiを考慮する。このブロックB_tiは中心が(x、y)であり、初期動きベクトル(D^→ _i)＝(h、v)に該当する（ここで、記号「D^→」は「D」の上に符号「^→」が重なっているものを示す）。この時に初期動きベクトル(D^→ _i)は任意のブロックB_tiに対する補間されるn番目フレーム/フィールド（F^{^} _n）と(n＋１)番目フレーム/フィールド（F^{^} _n+1）との動きと、(n−１)番目フレーム/フィールド（F^{^} _n-1）で補間されるn番目フレーム/フィールド（F^{^} _n）までの動きを同時に示す。すると補間されるn番目フレーム/フィールド（F^{^} _n）上の任意のブロックB_tiが初期動きベクトル(D^→ _i)により移動すれば、任意のブロックB_tiは(n−１)番目フレーム/フィールド（F^{^} _n-1）のブロックB_t1と(n＋１)番目フレーム/フィールド（F^{^} _n+1）のブロックB_t2より生成される。すなわち、初期のブロックB_t1及びブロックB_t2の中心は各々次のように式（５）、（６）に示すことができる。
【００３１】
【数５】

【００３２】
ここで、任意のブロックＢ_ｔｉは固定された位置に存在し、ブロックＢ_ｔ１及びブロックＢ_ｔ２は各々初期位置から探索領域（±ｄ）の範囲内で動く。この時、もしｎ番目フレーム／フィールド（Ｆ＾_ｎ）が（ｎ−１）番目フレーム／フィールド（Ｆ＾_ｎ−１）と（ｎ＋１）番目フレーム／フィールド（Ｆ＾_ｎ＋１）との中間に位置すべきであれば、ブロックＢ_ｔ１と任意のブロックＢ_ｔｉとの動きと、任意のブロックＢ_ｔｉとブロックＢ_ｔ２との間の動きは同じべきである。このために初期動きベクトルによる動き軌跡上でブロックＢ_ｔ１とブロックＢ_ｔ２は補間されるブロックＢ_ｔｉの中心として対称的に動かねばならない。
【００３３】
したがって、探索領域(±d)を有する場合に可能な組合の数は(２d＋１)²になる。この過程を経ればn番目フレーム/フィールド（F^{^} _n）を基準として(n−１)番目フレーム/フィールド（F^{^} _n-1）及び(n＋１)番目フレーム/フィールド（F^{^} _n+1）間の両方向動きベクトルが求められる。この時、もしn番目フレーム/フィールド（F^{^} _n）が(n−１)番目フレーム/フィールド（F^{^} _n-1）と(n＋１)番目フレーム/フィールド（F^{^} _n+1）との中間に位置すべきであれば、各方向への動きベクトルは同じ値を有する。
【００３４】
図１１は、図９の時空間スムージング部２２０の動きベクトルを改善する概念図である。
図１１を参照すれば、まず補間されるフレーム/フィールドで現在ブロックはMV₀にし、現在ブロックを取り囲んだ周辺ブロックはMV_i、i＝１,......８に設定し、ブロックの動きベクトルはD(・)に設定する。そしてこの周辺ブロックで得られた動きベクトル中で一番小さなMAD(mean absolute difference)を有するブロックの動きベクトルを現在ブロックの動きベクトルに設定する。すなわち、式（７）のように隣接した二つのフレーム/フィールド間の両方向動きベクトルを用いて現在ブロックのDFD(displaced frame differences)を求めた後、一番少ないDFDを有する周辺ブロックの動きベクトルを現在ブロックの動きベクトルに設定する。結局、時空間スムージングは、動き推定で検出された不適切な動きベクトルを除去することによって画質を改善する。
【００３５】
【数６】

【００３６】
図１２は、図９の改善された動き補償補間部２３０の動き補償型補間方法を説明する概念図である。
図１２を参照すれば、改善された動き補償補間部２３０は、両方向に求められた動きベクトルを用いて式（８）のように隣接した二つのフレームでのブロックの平均を取った後、補間されるフレームを構成する。この時、補間するフレームは元のブロック大きさで横/縦方向にブロックを拡張し、その重畳された領域で相異した加重値をおいて補間される。
【００３７】
【数７】

【００３８】
図１３は、本発明に係るデインターレーシング装置を示す全体ブロック図である。
図１３を参照すれば、まず入力されるF_n-1は(n−１)番目フィールドであり、F_nはn番目フィールドであり、F_n+1は(n＋１)番目フィールドである。F^〜 _n（ここで、「F^〜」は「F」の上に符号「^〜」が重なるものを示す）は、n番目フィールドF_nが順次走査に変換された映像信号である。
【００３９】
動き推定部４１０は、(n−１)番目フィールド(F_n-1)、(n＋１)番目フィールド(F_n+1)映像から両方向動きベクトルを用いて補間されるフィールド位置に該当するn番目フィールド(F_n)の動きベクトルMVを求める。n番目フィール(F_n)で求める両方向動きベクトルは、先ずデシメーション変換が行われたフィールドから図１０Ａ及び図１０Ｂに示したように動きベクトル初期化段階(図１０Ａ、図１０Ｂ)と動きベクトル調整段階(図１０Ｃ)を通じて計算される。結果的に補間されるフィールドを基準として前後フィールド間の両方向動きベクトルが計算される。
【００４０】
時空間スムージング部４２０は図１１で説明したように、動き推定部４１０で求められた両方向動きベクトルMVが少しの不連続性があるので、時空間スムージング過程を経てスムージングな両方向動きベクトルを求める。
【００４１】
信号変換部４３０は、IPC(interlaced to progressive)変換ブロックであって、時空間スムージング部４２０で発生する両方向動きベクトルが適用された画素の平均でn番目フィールド(F_n)のデータがないラインを復元して最終的なフレーム(F^〜 _n)を出力する。
【００４２】
図１４は、動き推定部４１０のデシメーション変換を示す概念図である。
図１４を参照すれば、入力される(n−１)番目フィールド(F_n-1)、(n＋１)番目フィールド(F_n+1)はデータが存在するラインだけで再構成して(n−１)番目フィールド(F^{^} _n-1)及び(n＋１)番目フィールド(F^{^} _n+1)に生成される。すなわち、再構成された(n−１)番目フィールド(F^{^} _n-1)及び(n＋１)番目フィールド(F^{^} _n+1)は入力される(n−１)番目フィールド(F_n-1)、(n＋１)番目フィールド(F_n+1)より垂直方向に１/２だけ縮まる。したがって、再構成された(n−１)番目フィールド(F^{^} _n-1)及び(n＋１)番目フィールド(F^{^} _n+1)は、垂直及び水平方向に２:１にデシメーションされる。
【００４３】
図１５は、図１３の信号変換部４３０で動き補償型デインターレーシングを示す概念図である。
図１５を参照すれば、n番目フィールド(F_n)のデータがないラインは補間されるフィールド(F^{^} _n)の両方向動きベクトルを使用して復元される。その復元過程を数式で表現すれば式（９）の通りである。
【００４４】
【数８】

【００４５】
ここでx、yは各フィールドでの水平、垂直座標値、h、vは各々両方向動きベクトルの水平、垂直成分を示す。
図１６は、図１３の信号変換部４３０でメジアンフィルタを用いた時空間補間を示す概念図である。
【００４６】
デインターレーシング技法の性能は動き推定結果に大きく影響される。よって動き推定のエラーを減らすために補間されるフィールド(F^n)で映像データがないラインは図１６のようにメジアンフィルタを用いて補間され、次のような式（１０）に示しうる。
【００４７】
【数９】

【００４８】
ここで、D^→は両方向動きベクトルであり、u^→ _y（ここで、「u^→」は、「u」の上に符号「^→」が重なっていることを示す）は(０,１)^Tである。そして(C＋D)/２は式（１０）のような動き補償型デインターレーシング結果値である。
【００４９】
このようにメジアンフィルタを用いれば、最終的に出力されるフレーム(F^〜 _n)は元々映像データがあるラインであれば元の画素をそのまま取り、そうでなければ(n−１)番目フィールドの画素(C)と(n＋１)番目フィールドの画素(D)、n番目フィールドで補間される画素(Z)の垂直方向隣接画素(A、B)、デインターレーシングされた画素((C＋D)/２)中で中間値をn番目フィールドの画素(Z)として補間する。
【００５０】
図１７は、本発明に係るデインターレーシング装置の他の実施形態である。
図１７を参照すれば、動き補償補間部１７２は、本発明に係る図１３のようにフレームの補間値、すなわち、動きベクトルを用いて画素の平均で補間したりまたは動きベクトルを適用した画素値とその画素の平均値、そして補間される画素の垂直方向に隣接した二つの画素間値のメジアン値を出力する。
【００５１】
時空間補間部１７６はフレームの補間値として補間される画素の周辺に隣接した画素と補間されるフィールドの前後フィールドで補間される画素の平均値を出力する。
動き評価部１７４は図１３の動き予測部４１０で計算された現在ブロックのMAD値を用いて動き程度を評価する。
【００５２】
動き適応部１７８は、動き評価部１７４で評価された動き程度値を用いて動き補償補間部１７２の出力値と時空間補間部１７６の出力値を適応するように計算して最終的に補間される画素値を設定する。
したがって、図１７のデインターレーシング装置は、動き有無を判定する過程で精密でない動きベクトルを利用する場合に発生するエラーを防止する。
【００５３】
【発明の効果】
前述したように本発明によれば、補間されるフレームを基準として連続的な二つのフレームの両方向動きベクトルを直接求めることによって重なる部分及び穴部分が全く発生しないで画質を向上させられ、特にカメラモーションがあるパニング(panning)やズーミング(zooming)映像に効率的に対応でき、また既存方式で発生するフィールド間の時間軸上の雑音と各ライン間の明滅現象を減らせ、また既存のデインターレーシング技法より輪郭性保存能力に優れる。また入力映像の動き程度によって動き補償型補間値または時空間補間値を適応的に選択することによって単純に動き補償型補間値を用いることより動きに対する情報の信頼性を高められながら、同時にアーチファクトを効率的に減少できる。
【図面の簡単な説明】
【図１】従来のフレームレート変換装置のブロック図である。
【図２】図１の映像分割部で映像分割方法を説明するための図面である。
【図３】図１の動き推定部で動き推定方法を説明するための図面である。
【図４】図１の時空間スムージング部でリファイン以前と以後の画面を示す図面である。
【図５】図１の動き補償補間部で動き補償による補間された映像の構成例を示す図面である。
【図６】通常的なデインターレーシングの基本概念図である。
【図７】動き補償を用いていないELAデインターレーシングアルゴリズムを適用するための３×３ウィンドである。
【図８】図６の時空間スムージング部でブロック別に動きベクトル推定を説明するための図面である。
【図９】本発明に係るフレームレート変換装置を示すブロック図である。
【図１０】図１０Ａ乃至図１０Ｃは、両方向動きベクトルを求める概念図である。
【図１１】図９の時空間スムージング部の動きベクトルを改善する概念図である。
【図１２】図９の改善された動き補償補間部の動き補償型補間方法を説明する概念図である。
【図１３】本発明に係るデインターレーシング装置を示す全体ブロック図である。
【図１４】図１３の動き推定部のデシメーション変換を示す概念図である。
【図１５】図１３の信号変換部で動き補償型デインターレーシングを示す概念図である。
【図１６】図１３の信号変換部でメジアンフィルタを用いた時空間補間を示す概念図である。
【図１７】本発明に係るデインターレーシング装置の他の実施形態である。
【符号の説明】
１７２動き補償補間部
１７４動き評価部
１７６時空間補間部
１７８動き適応部
２１０動き推定部
２２０時空間スムージング部
２３０改善された動き補償補間部

Claims

フレームレート変換方法において、
(a) 現在フレームおよび以前フレームから決定された動きベクトルを、前記現在フレームと以前フレームとの間に補間されるフレームのブロックグリッドのブロックの中心を基準にして、前記補間されるフレームから前記現在フレームへ向かうベクトルと、前記補間されるフレームから前記以前フレームへ向かうベクトルとからなる両方向動きベクトルと推定する過程と、
(b) 前記(a) 過程で推定された両方向動きベクトルについて、前記補間されるフレームにおけるブロックおよびその周辺ブロックの画素誤差を求め、画素誤差が最小であるブロックの動きベクトルを求める過程と、
(c) 前記(b) 過程で求められた動きベクトルについて、前記現在フレームおよび以前フレームのブロックの平均を取ることによって、前記補間されるフレーム内のブロックを形成する過程と、を含み、
前記(a) 過程は、
(a-1) 現在フレームと以前フレーム間の動きベクトルを検出して補間されるフレームに割当てる過程と、
(a-2) 補間されるフレームでブロックグリッドを設定し、該ブロックグリッドにおいてブロック整合アルゴリズムを用いて前記(a-1)過程で割当てられた動きベクトルを調整する過程と、を含むフレームレート変換方法。
前記(a-1) で動きベクトル検出は、
映像を垂直方向に１／２に縮める過程と、
前記過程で縮められた映像から動きベクトルを推定する過程と、を含むことを特徴とする請求項１に記載のフレームレート変換方法。
前記(c) 過程は、補間されるフレームで前記推定された動きベクトルを適用して、以前フレーム及び現在フレームのブロック間の平均で以前フレームと現在フレーム間で補間されるブロックを形成することを特徴とする請求項１に記載のフレームレート交換方法。
前記(c) 過程は、前記現在フレームおよび以前フレームのブロックを縦横に任意の大きさ拡張し、拡張されたブロックの動きベクトルについて、前記平均を取った後、補間されるフレーム内の前記拡張によって重畳された領域については、相異なる加重値を用いて補間する過程であることを特徴とする請求項１に記載のフレームレート変換方法。
フレームレート変換装置において、
現在フレームおよび以前フレームから決定された動きベクトルを、前記現在フレームと以前フレームとの間に補間されるフレームのブロックグリッドのブロックの中心を基準にして、前記補間されるフレームから前記現在フレームへ向かうベクトルと、前記補間されるフレームから前記以前フレームへ向かうベクトルとからなる両方向動きベクトルと推定する両方向動き推定手段と、
前記両方向動き推定手段で推定された両方向動きベクトルについて、前記補間されるフレームにおけるブロックおよびその周辺ブロックの画素誤差を求め、画素誤差が最小であるブロックの動きベクトルを求める時空間スムーズ部と、
前記現在フレームおよび以前フレームのブロックを縦横に任意の大きさ拡張し、拡張されたブロックの動きベクトルの平均を取った後、補間されるフレーム内の前記拡張によって重畳された領域については、相異なる加重値を用いて補間する補間部と、を含み、
前記両方向動き推定手段は、
(a-1) 現在フレームと以前フレーム間の動きベクトルを検出して補間されるフレームに割当てる手段と、
(a-2) 補間されるフレームでブロックグリッドを設定し、該ブロックグリッドにおいてブロック整合アルゴリズムを用いて前記(a-1)手段で割当てられた動きベクトルを調整する手段と、を含むフレームレート変換装置。
デインタレース方法において、
(a) 現在フィールドおよび以前フィールドから決定された動きベクトルを、前記現在フィールドと以前フィールドとの間に補間されるフィールドのブロックグリッドのブロックの中心を基準にして、前記補間されるフィールドから前記現在フィールドへ向かうベクトルと、前記補間されるフィールドから前記以前フィールドへ向かうベクトルとからなる両方向動きベクトルと推定する過程と、
(b) 前記(a) 過程で推定された両方向動きベクトルについて、前記補間されるフィールドにおける画素およびその周辺画素の画素誤差を求め、画素誤差が最小である画素の動きベクトルを現在画素の動きベクトルと設定する過程と、
(c) 前記(b) 過程で設定された動きベクトルについて、前記現在フィールドおよび以前フィールドの画素の平均を取ることによって、前記補間されるフィールド内の画素を形成する過程と、を含み、
前記(a) 過程は、
(a-1) 現在フィールドと以前フィールド間の動きベクトルを検出して補間されるフィールドに割当てる過程と、
(a-2) 補間されるフィールドでブロックグリッドを設定し、該ブロックグリッドにおいてブロック整合アルゴリズムを用いて前記(a-1) 過程で割当てられた動きベクトルを調整する過程と、を含むデインタレース方法。
前記(c) 過程は、補間されるフレームで前記過程で推定された動きベクトルを適用して以前フィールドおよび現在フィールドに存在する画素の平均で補間される画素を形成することを特徴とする請求項６に記載のデインターレース方法。
前記(c) 過程は、補間されるフィールドの前後フィールドで推定された動きベクトルを適用した画素値とその画素値の平均値、そして補間される画素の垂直方向に隣接した両画素値のうちメジアン値を補間される画素と設定することを特徴とする請求項６に記載のデインターレース方法。
前記(c) 過程は、補間されるフィールドは映像データのあるラインであれば原画素をそのまま取り、そうでなければ、(n-1) 番目フィールドの同一位置画素値と(n+1) 番目フィールドの同一位置画素値、ｎ番目フィールドで補間される画素の垂直方向の隣接画素値、前記画素値の平均値のうち中間値を取ることを特徴とする請求項６に記載のデインターレース方法。
デインタレース装置において、
現在フィールドおよび以前フィールドから決定された動きベクトルを、前記現在フィールドと以前フィールドとの間に補間されるフィールドのブロックグリッドのブロックの中心を基準にして、前記補間されるフィールドから前記現在フィールドへ向かうベクトルと、前記補間されるフィールドから前記以前フィールドへ向かうベクトルとからなる両方向動きベクトルと推定する両方向動き推定部と、
前記両方向動き推定部で推定された両方向動きベクトルについて、前記補間されるフィールドにおけるブロックおよびその周辺ブロックの画素誤差を求め、画素誤差が最小であるブロックの動きベクトルを求める時空間スムーズ部と、
前記時空間スムーズ部で求められた動きベクトルを適用して求められた画素値とその値の平均値、そして補間される画素で垂直方向に隣接した画素値のうちメジアン値で映像データのないラインの画素を構成する信号変換部と、を含み、
前記両方向動き推定部は、
(a-1) 現在フレームと以前フレーム間の動きベクトルを検出して補間されるフレームに割当てる手段と、
(a-2) 補間されるフレームでブロックグリッドを設定し、該ブロックグリッドにおいてブロック整合アルゴリズムを用いて前記(a-1)手段で割当てられた動きベクトルを調整する手段と、を含むデインターレース装置。
適応的なデインタレース装置において、
以前フィールドと現在フィールドとのブロック間画素誤差が最小である動きベクトル値を参照して動き程度を評価する動き評価部と、
現在フィールドおよび以前フィールドから決定された動きベクトルを、前記現在フィールドと以前フィールドとの間に補間されるフィールドのブロックグリッドのブロックの中心を基準にして、前記補間されるフィールドから前記現在フィールドへ向かうベクトルと、前記補間されるフィールドから前記以前フィールドへ向かうベクトルとからなる両方向動きベクトルと推定し、その補間される画素に対して動きベクトルを適用した画素値の平均値、補間される画素の垂直方向に隣接した二つの画素間値のメジアン値で補間する動き補償補間部と、
補間される画素周辺に隣接した画素と、補間されるフィールドの前後フィールドで補間される画素との平均値で補間する時空間補間部と、
前記動き評価部で評価された動き程度によって前記動き補償補間部の補間値と時空間補間部の補間値のうちいずれか一つを選択する動き適応部と、を含み、
前記動き補償補間部は、
(a-1) 現在フレームと以前フレーム間の動きベクトルを検出して補間されるフレームに割当てる手段と、
(a-2) 補間されるフレームでブロックグリッドを設定し、該ブロックグリッドにおいてブロック整合アルゴリズムを用いて前記(a-1)手段で割当てられた動きベクトルを調整する手段と、を含むデインターレース装置。
適応的なフレームレート変換装置において、
以前フレームおよび現在フレームのブロック間画素誤差が最小である動きベクトル値を参照して動き程度を評価する動き評価部と、
現在フレームおよび以前フレームから決定された動きベクトルを、前記現在フレームと以前フレームとの間に補間されるフレームのブロックグリッドのブロックの中心を基準にして、前記補間されるフレームから前記現在フレームへ向かうベクトルと、前記補間されるフレームから前記以前フレームへ向かうベクトルとからなる両方向動きベクトルと推定し、その推定された両方向動きベクトルを適用した画素の平均で補間する動き補償補間部と、
補間されるフレームの画素周辺に隣接した画素と、補間されるフレームの前後フレームで補間される画素との平均値で補間する時空間補間部と、
前記動き評価部で評価された動き程度によって前記動き補償補間部の補間値と時空間補間部の補間値のうちいずれか一つを選択する動き適応部と、を含み、
前記動き補償補間部は、
(a-1) 現在フレームと以前フレーム間の動きベクトルを検出して補間されるフレームに割当てる手段と、
(a-2) 補間されるフレームでブロックグリッドを設定し、該ブロックグリッドにおいてブロック整合アルゴリズムを用いて前記(a-1)手段で割当てられた動きベクトルを調整する手段と、を含むフレームレート変換装置。