JP4037841B2 - 映像補間装置および映像補間方法 - Google Patents

Description

本発明は映像補間装置および映像補間方法に関し、より詳しくは、所定の解像度で入力される映像を相異なる解像度の映像で拡大変換する時、入力映像の周波数別に相異なるフィルタリングを適用して解像度を拡げる映像補間装置および映像補間方法に関する。

一般に、映像表示装置に既設定された解像度と異なる解像度を有している映像が映像信号提供源から入力される場合、映像表示装置は入力される映像の解像度を映像表示装置に既設定された解像度に適するよう変換すべきである。映像信号処理において、上述したように画素数を変換し映像の解像度を拡大(Interpolation、Up-Scaling)または縮小(Decimation、Down-Scaling)することをスケーリングまたはフォーマット変換と言う。

特に、既設定された解像度より低い低解像度の映像が入力された場合、映像表示装置は入力される映像の解像度を垂直または水平方向に拡げるために所定の線形補間法を適用する。
以下では所定の線形補間法で画素数を増し解像度を拡げる装置のことを映像補間装置といい、このような映像補間装置は映像表示装置内に備えられることが一般的である。
線形補間法の例として、両線形補間(Bi-Linear Interpolation)、キュービッグ回線補間(Cubic Convolution Interpolation)などがある。両線形補間方法およびキュービック回線補間は、有限インパルス応答(Finite Impulse Response : FIR)フィルターを利用する補間であって、入力映像信号を周波数領域に変換した後、補間すべき位置に隣接した画素の加重値(Weighted)を利用してフィルタリングする。これで広げられた最終補間データが出力される。

例えば、両線形補間法は、入力映像信号に対して図1(a)に示された2タップフィルタリングを適用して補間を行う。即ち、両線形補間法は補間を行う位置の回り画素2個を利用して補間を行う。

一方、キュービッグ回線補間法は、入力映像信号に対して図1(b)に示された4タップフィルタリングを適用して補間を行う。即ち、キュービッグ回線補間法は補間を行う位置の回り画素4個を用いて補間を行う。

しかしながら、従来の映像補間装置は1つの補間法、即ち、既に設定された1つのフィルタリングを適用して補間を行うことによって、映像信号の周波数領域別に画質劣化が発生する場合がある。例えば、入力される映像信号に対してキュービッグ回線補間を適用すると高周波成分がない部分においては画質劣化が発生しないが、高周波成分の映像信号に対しては画質劣化が発生する。

即ち、図2(a)のようにサンプリングされた画素(P1からP8まで)をキュービッグ回線補間を利用して補間を行う場合、図2(b)のように‘い’区間が‘あ’および‘う’区間に比べて相対的に低い輝度レベルで補間されるのが分かる。言い換えれば、高周波映像信号からなる‘い’区間は低周波映像信号からなる‘あ’および‘う’区間に比べて暗く補間される。従って、このような場合には図2(b)に示された‘い’区間に対して画質劣化がほとんど発生しない他の補間法を適用するのが好ましい。しかし、従来の映像補間装置は1つのフィルタリングだけで映像補間を行うので、図2(b)のように高周波映像信号から発生するエイリアシング(aliasing)のような画質劣化は解消しがたいという問題点があった。非特許文献1“Video line rate vertical scaler”にはPoly-phaseフィルターを利用して単一プロセッサーで垂直方向へのスケーリングおよびフィルタリングを行う方法が開示されている。
アメリカ特許第6281873号

本発明で解決しようとする技術的課題は、所定の解像度変換割合に応じて入力映像をアップスケーリングする場合、少なくとも2つの有限インパルス応答フィルターの中いずれか1つを適応的に選択して映像を補間できる映像補間装置および映像補間方法を提供することにある。

前記のような技術的課題を解決するための、本発明に係る第1解像度の入力映像信号を所定の解像度変換割合に応じて第2解像度の出力映像信号で補間する映像補間装置は、前記入力映像信号が貯蔵される映像信号貯蔵部と、前記映像信号貯蔵部から順次に入力される所定個の前記入力映像信号の輝度レベルのパターンに応じて相異なる少なくとも2つの補間フィルタリングの中、所定フィルタリングに対する選択信号を出力するフィルタリング選択部と、前記解像度変換割合に応じて所定個の前記入力映像信号の各々に対する補間位置を算出する制御部と、算出された前記補間位置に対応される補間係数が前記フィルタリング別に貯蔵されていて、前記フィルタリング選択信号および所定個の算出された前記補間位置に対応される補間係数を出力する係数貯蔵部および前記映像信号貯蔵部から所定個の前記入力映像信号および前記係数貯蔵部から前記フィルタリング選択信号に対応される所定個の前記補間係数を入力して、選択された前記フィルタリングを行って前記出力映像信号を出力する補間フィルターを含む。

好ましくは、少なくとも2つの前記フィルタリングは4タップフィルタリングおよび8タップフィルタリングである。

また、前記輝度レベルのパターンが順次に入力される所定個の前記入力映像信号の輝度レベルが既に設定された回数の分連続的に増加および減少するパターンのうち少なくともいずれか1つであると判断されると、前記フィルタリング選択部は前記4タップフィルタリングに対する選択信号を出力する。

また、所定個の前記入力映像信号の中連続的に入力される2つの入力映像信号の輝度レベルが同一の場合、前記フィルタリング選択部は前記2つの入力映像信号間の前記輝度レベルのパターンを判断する前に判断された以前輝度レベルのパターンを前記2つの入力映像信号の輝度レベルのパターンに適用する。

また、所定個の前記入力映像信号の中連続的に入力される2つの入力映像信号の輝度レベルの差が既に設定された基準レベルより小さければ、前記フィルタリング選択部は前記2つの入力映像信号間の前記輝度レベルのパターンを判断する前に判断された以前輝度レベルのパターンを前記2つの入力映像信号の輝度レベルのパターンで適用する。
好ましくは、前記の既に設定された回数は少なくとも2回である。

より詳しくは、少なくとも2つの前記フィルタリングは8タップフィルタリングを含む多数の有限インパルス応答フィルタリングである。
ひいては、前記補間フィルターは、前記映像信号の貯蔵部から順次に入力される所定個の前記入力映像信号を所定時間の間に引き延ばした後、出力する多数の遅延器と、前記多数の遅延器から出力される所定個の前記入力映像信号と前記係数貯蔵部から出力される所定個の前記補間係数とを各々乗算して補間データを出力する多数の乗算器、および前記多数の乗算器から出力される所定個の前記補間データを加算して前記出力映像信号を出力する加算器を含む。
また、前記制御部は、前記解像度変換割合に応じて前記映像信号の貯蔵部から前記補間フィルターに入力される前記入力映像信号の入力速度を制御する。

一方、前述と同じ技術的課題を解決するための、本発明に係る第1解像度の入力映像信号を所定の解像度変換割合に応じて第2解像度の出力映像信号で補間する映像補間方法は、順次に入力される所定個の前記入力映像信号の輝度レベルのパターンに応じて相違している少なくとも2つの補間フィルタリングの中、所定フィルタリングに対する選択信号を出力する段階と、前記解像度の変換割合に応じて所定個の前記入力映像信号の各々に対する補間位置を算出する段階と、貯蔵された多数の補間係数の中、出力された前記フィルタリング選択信号および所定個算出された前記補間位置に対応される補間係数を前記所定個の分出力する段階および、所定個の前記入力映像信号および前記フィルタリングの選択信号に対応される所定個の前記補間係数を入力し、選択された前記所定フィルタリングを行って前記出力映像信号を出力する段階を含む。
より詳しくは、少なくとも2つの前記フィルタリングは4タップフィルタリングおよび8タップフィルタリングである。

また、前記フィルタリング選択段階は、前記輝度レベルのパターンが順次に入力される所定個の前記入力映像信号の輝度レベルが既に設定された回数の分連続的に増加および減少するパターンの中、少なくともその中の1つであると判断されると、前記4タップフィルタリングに対する選択信号を出力する。

また、所定個の前記入力映像信号の中、連続的に入力される2つの入力映像信号の輝度レベルが同一の場合、前記フィルタリングの択段階は前記2つの入力映像信号間の輝度レベルのパターンを判断する前に判断された以前輝度レベルのパターンを前記2つの入力映像信号の輝度レベルのパターンで適用する。

また、所定個の前記入力映像信号の中、連続的に入力される2つの入力映像信号の輝度レベルが既に設定された基準レベルより小さければ、前記フィルタリングの選択段階は前記2つの入力映像信号間の前記輝度レベルのパターンを判断する前に判断された以前輝度レベルのパターンを前記2つの入力映像信号の輝度レベルのパターンで適用する。

好ましくは、前記フィルタリングを行う段階は、順次に入力される所定個の前記入力映像信号を所定時間の間引き延ばした後出力する段階と、前記遅延段階において出力される所定個の前記入力映像信号と前記補間係数出力段階において出力される所定個の前記補間係数とを各々乗算して補間データを出力する段階、および前記乗算段階から出力される所定個の補間データを加算して前記出力映像信号を出力する段階を含む。

本発明による映像補間装置および映像補間方法によると、所定の解像度で入力される映像を相違している解像度の映像に拡大変換する時、入力映像の周波数別に異なるフィルタリングを適用して映像を補間することが可能である。従って、映像補間において、高周波映像信号は8タップフィルターを用いて補間することでエイリアシング(aliasing)のような画質劣化を解消できるし、かつ低周波映像信号は4タップフィルターを用いて補間することでリングイング（RINGING）現象のような画質劣化を解消できる。

以下、添えた図面を参照して本発明につき詳説する。
図3は本発明の好ましい実施形態に係る映像補間装置を概略的に示したブロック図である。
同図を参照すると、本発明の好ましい実施形態に係る映像補間装置300は、映像信号貯蔵部310、フィルタリング選択部320、制御部330、係数貯蔵部340、および補間フィルター350を含む。

一般に所定の補間法によって画素数を増すことで解像度を拡げる装置をスケーラ、フォーマット変換装置、映像拡大装置などと多様に呼べることができ、本発明では映像補間装置300と称する。

映像補間装置300は、第1解像度の入力映像信号を所定の解像度変換割合に応じて第2解像度の出力映像信号にアップスケーリングする装置である。即ち、解像度変換割合は補間前後の入出力解像度の割合であり、出力映像信号は映像補間装置300から出力される最終補間データである。

映像信号貯蔵部310には、映像信号提供源から入力される映像信号が貯蔵される。映像信号貯蔵部310は後述する制御部330の制御によって入力映像信号をフィルタリング選択部320および補間フィルター350に提供する。

フィルタリング選択部320は、映像信号貯蔵部310から順次に入力される入力映像信号間の輝度レベルの増減を分析する。それから、フィルタリング選択部320は、分析結果によって相違している、少なくとも2つのフィルタリングの中、所定のフィルタリングに対する選択信号を出力する。即ち、フィルタリング選択部320は、入力映像信号の周波数を判別してフィルタリング選択信号を出力する。

本発明にては少なくとも2つのフィルタリングとしてキュービッグ回線補間による4タップフィルタリングおよびPoly-phase Interpolationによる8タップフィルタリングが適用される場合につき実施形態にとして説明する。尚、4タップフィルタリングは基準周波数以下の信号である低周波からなる映像信号に対する補間を行い、8タップフィルタリングは基準周波数以上の信号である高周波からなる映像信号に対する補間を行う。

詳説すると、フィルタリング選択部320は、映像信号貯蔵部310から入力される所定個の入力映像信号に対して入力映像信号の輝度レベルが連続的に既に設定された回数以上の増加または減少するパターンが存在するかを判断する。それから、上述したパターンが存在すると判断されると、フィルタリング選択部320は低周波領域であると判断し4タップフィルタリングに対する選択信号を出力する。一方、上述したパターンが存しないと判断されると、フィルタリング選択部320は8タップフィルタリングに対する選択信号を出力する。

ここで、連続的に入力される2つの入力映像信号の輝度レベルが同一の場合、フィルタリング選択部320は輝度レベルが同一な2つの入力映像信号の輝度レベルのパターン(即ち、増減可否)を判断する前に判断された以前輝度レベルのパターンが維持されると判断する。即ち、フィルタリング選択部320は、輝度レベルが同一な2つの入力映像信号の輝度レベルのパターンを判断する前に判断された輝度レベルのパターンが増えると判断されれば、連続的に入力される2つの入力映像信号の輝度レベルが同一な場合にも増えると判断する。

また、所定個の前記入力映像信号の中、連続的に入力される2つの入力映像信号の輝度レベルの差が既に設定された基準レベルより小さければ、フィルタリング選択部320は2つの入力映像信号間の輝度レベルのパターンを判断する前に判断された異なる2つの入力映像信号の輝度レベルのパターンが維持されると判断する。これはエッジ領域のような映像信号にノイズが挿入されたことと認識して、エッジ領域が高周波領域と判断されるのを防ぐためである。本発明では既に設定された基準レベルとして‘5’を適用し、これは可変可能である。

所定個の入力映像信号に対する輝度レベルの増減比較が終ると、所定個の入力映像信号の中、最初に入力された映像信号は消去され、新しい入力映像信号1個がフィルタリング選択部320に順次入力される。

本発明では順次入力される8個の入力映像信号の輝度レベルを比べて、少なくとも3回連続的に増加または減少するパターンが存するかを判断してフィルタリングの選択信号を出力する場合を実施形態で説明する。

図4は、図3のフィルタリング選択部が所定のフィルタリング選択信号を出力する実施形態を説明するために順次入力される8個の入力映像信号を示した図である。
図4から第1ないし第8入力映像信号(x(n)ないしx(n+7))は所定の輝度レベルで表現され、連続的に入力される画素のことを意味する。また、第1ないし第8入力映像信号(x(n)ないしx(n+7))の下に表記された数字は輝度レベルを意味する。

先に図4(a)を参照すると、第1ないし第4入力映像信号(x(n)ないしx(n+3))の輝度レベルは連続的に3回減少し、また、第4ないし第7入力映像信号(x(n+3)ないしx(n+6))の輝度レベルは連続的に3回増加するパターンであることが分かる。この場合、フィルタリング選択部320は4タップフィルタリングの選択信号を出力する。

より好ましくは、フィルタリング選択部320は、入力される映像信号間の輝度レベル差または周波数の差を算出して、増えた場合は‘1’、減少した場合は‘0’で現わした後、表現された結果によって輝度レベルの増減パターンを判断する。例えば、図4(a)で第1および第2入力映像信号(x(n)、x(n+1))間の輝度レベルは減少したので‘0’、第4および第5入力映像信号(x(n+3)、x(n+4))間の輝度レベルは増加したので‘1’で現わす。それから、各表現結果の中‘1’または‘0’が連続的に3回表現された区間があるので、フィルタリング選択部320は4タップフィルタリングに対する選択信号を出力する。

図4(b)を参照すると、第6ないし第8入力映像信号(x(n+5)ないしx(n+7))の輝度レベルは等しいことが分かる。ここで、第5および第6入力映像信号(x(n+4)ないしx(n+5))で輝度レベルが増加したので、フィルタリング選択部320は第6ないし第8入力映像信号(x(n+5)ないしx(n+7))の輝度レベルも増加したと判断する。従って、フィルタリング選択部320は第5ないし第8入力映像信号(x(n+4)ないしx(n+7))の輝度レベルは連続的に3回増えるパターンであることと判断して4タップフィルタリング選択信号を出力する。

図4(c)を参照すると、第1ないし第8入力映像信号(x(n)ないしx(n+7))の輝度レベルは連続的に3回増加または減少する区間がないことが分かる。この場合、フィルタリング選択部320は8タップフィルタリング選択信号を出力する。

図4(d)を参照すると、第1および第2入力映像信号(x(n)、x(n+1))の間の輝度レベルは減少し、第2および第3入力映像信号(x(n+1)、 x(n+2))の間の輝度レベルは増加した。しかし、第2および第3入力映像信号(x(n+1)、x(n+2))の間の輝度レベル差が既に設定された基準レベル5より小さいので、フィルタリング選択部320は以前に判断された輝度レベルパターンである減少が維持されると判断する。これは第3および第4入力映像信号(x(n+2)、x(n+4))の間の輝度レベルに対しても同一に適用される。従って、図4(d)のような場合、フィルタリング選択部320は連続的に3回減少するパターンであると判断して4タップフィルタリング選択信号を出力する。

また、フィルタリング選択部320は、映像信号貯蔵部310から入力される所定個の入力映像信号に対して、連続的に入力された2つの入力映像信号の輝度レベルが同一の区間が少なくとも2つ存在する場合、所定個の入力映像信号はグラフィック領域またはエッジ領域に当該していると判断する。この場合、フィルタリング選択部320は4タップフィルタリング選択信号を出力する。尚、グラフィック領域またはエッジ領域に対して8タップフィルタリングを適用するとリングイング(ringing)現象が発生するためフィルタリング選択部320は4タップフィルタリングに対する選択信号を出力する。

例えば、第1ないし第8入力映像信号(x(n)ないしx(n+7))の輝度レベルが図5に示すように、連続的に入力された2つの入力映像信号の輝度レベルの同じ区間は3個(点線で図示)存在する。従って、フィルタリング選択部320は、図5に示すよう入力される所定個の入力映像信号はグラフィック領域またはエッジ領域であると判断し、4タップフィルタリング選択信号を出力する。図5において各第1ないし第8入力映像信号(x(n)ないしx(n+7))下に表記された数字は輝度レベルを意味する。

制御部330は、解像度変換割合に応じて映像信号貯蔵部310から後述する補間フィルター350に入力される入力映像信号の入力速度を制御する。これは本発明が映像拡大に関することであるため、映像縮小の場合、制御部330は補間フィルター350から出力される出力映像信号の出力速度を制御する。また、制御部330はフィルタリング選択部320に入力された所定個の入力映像信号各々に対した補間位置(phase)を解像度変換割合に応じて算出する。
図6(a)および図6(b)は、図3に示された制御部で所定の解像度変換割合に応じて算出される補間位置の実施形態を説明するための図である。

図6(a)を参照すると、白色で示された円は入力映像信号の位置、黒色で示された円は解像度変換割合に応じて算出される補間位置を意味する。

詳説すると、解像度変換割合が図6(a)のよう1:2である場合、水平方向へのスケールファクターは0.5である。従って、図6(b)に示すよう8タップカーナル(8tap Poly-Phase Interpolation Kernel)を利用して水平補間を行う場合、各入力映像信号に対する補間位置は各々-3.5、-2.5、-1.5、-0.5、＋0.5、＋1.5、＋2.5および＋3.5に当該することが分かる。他の例として、解像度の変換割合が3:5である場合、水平方向へのスケールファクターは0.6である。

係数貯蔵部340には複数の補間位置に対応される補間係数、即ち、タップ加重値がフィルタリング別に貯蔵されている。補間係数は図7に示すよう8タップカーナルを利用して算出される。

図7は、図3の制御部で算出された所定の補間位置によって補間係数を生成する方法を説明するための図である。
同図を参照すると、8タップカーナルは8個の入力映像信号が補間に関係する。また、複数の補間位置が(p-4)、(p-3)、(p-2)、(p-1)、(p)、(p+1)、(p+2)および(p+3)である場合、最終補間データを得るために必要な複数の補間係数はf(p-4)、f(p-3)、f(p-2)、f(p-1)、f(p)、f(p+1)、f(p+2)およびf(p+3)である。ここでpは各タップ間での相対的位置値である。

このような補間係数は、図7の8タップカーナルによって予め算出されて係数貯蔵部340に貯蔵されている。例えば、各タップ間の間隔を32区間と分割する場合、タップの間で補間位置は0、1/32、2/32、3/32、・・・、 31/32、1などの相対的位置値を有し、各補間位置に対応される垂直および水平補間係数が予め計算されて係数貯蔵部340に貯蔵される。一方、各タップ間の間隔は16区間、64区間など他の区間でも分割可能である。

本発明の場合、係数貯蔵部340には4タップフィルタリングおよび8タップフィルタリングに対する水平補間係数が貯蔵されている。従って、係数貯蔵部340はフィルタリング選択部320から出力されたフィルタリング選択信号および制御部330から所定個が算出された補間位置に対応される水平補間係数を出力する。

即ち、フィルタリング選択部320によって8タップフィルタリングが選択された場合、係数貯蔵部340は8個の補間係数を出力する。しかし、フィルタリング選択部320によって4タップフィルタリングが選択された場合、係数貯蔵部340は8個の補間係数を出力するが、8タップの両方ともに2つずつのタップに対して‘0’を有する補間係数を出力する。これは後述する補間フィルター350に8個の乗算器371ないし378が備えられており、4タップフィルタリングは4個の補間係数を用いて補間を行うためである。

係る解像度変化の割合に応じた補間位置および各補間位置に対するフィルター係数の算出は既に公開された技術であり、この分野で従事する者ならば、誰でも知られる技術分野であるためそれに対する詳説は略する。

補間フィルター350は、係数貯蔵部340から出力される補間係数を利用して水平方向への補間を行う、少なくとも2つのFIRフィルターの中、所定のフィルターを選択的に提供するフィルターである。本発明において、少なくとも2つのFIRフィルターとして上述した4タップフィルターおよび8タップフィルターが適用され、4タップフィルターだけでなく2タップフィルターも適用可能である。また、補間フィルター350は映像信号貯蔵部310から順次に入力される所定個の入力映像信号および係数貯蔵部340から出力される所定個の補間係数を利用して水平方向に最終補間データを算出する。

このために、補間フィルター350は第1ないし第7遅延器（361ないし367）、第1ないし第8乗算器（371ないし378）および加算器380を有する。
第1ないし第7遅延器(図面において、‘D’は‘delay’の略語である)361ないし367は映像信号貯蔵部310から順次に入力される入力映像信号を所定時間の間、引き延ばし、遅延された入力映像信号を第2ないし第8乗算器372ないし378で出力する。従って、第1遅延器361に入力映像信号(x(n))が遅延されている場合、第7遅延器361ないし367には第6遅延映像信号(x(n-6))が所定の時間遅延される。

詳説すると、第1遅延器361は、入力映像信号(x(n))の入力を受けて、所定の時間の間に遅延された第1遅延映像信号(x(n-1))を第2遅延器362および第2乗算器372に提供する。
第2遅延器362は、第1遅延器361から入力された第1遅延映像信号(x(n-1))を所定の時間引き延ばした後、所定時間遅延された第2遅延映像信号(x(n-2))を第3遅延器363および第3乗算器373に提供する。

第3ないし第6遅延器363ないし366も上述した方法のように、入力映像信号を所定の時間引き延ばした後出力するので、その詳説は略する。
さらに、第7遅延器367は、第6遅延器366から入力された第6遅延映像信号(x(n-6))を所定の時間引き延ばした後、所定の時間遅延された第7遅延映像信号(x(n-7))を第8乗算器378に提供する。

第1ないし第8乗算器371ないし378は、各遅延器361ないし367にて遅延された入力映像信号の輝度レベルと係数貯蔵部340から出力された各入力映像信号に対応される補間係数を乗算する。
詳説すると、第1乗算器371は、映像信号貯蔵部310から入力された入力映像信号(x(n))と入力映像信号(x(n)に対応される補間係数を乗算して第1補間データを生成する。

また、第2乗算器372は第1遅延器361から入力された第1遅延映像信号(x(n-1))とそれに対応される補間係数を乗算して第2補間データを生成する。
これと同様、第3ないし第8乗算器371ないし378は第2ないし第7遅延器361ないし367から入力された第2ないし第7遅延映像信号(x(n-2)ないしx(n-7))とそれに対応される補間係数を各々乗算して第3ないし第8補間データを生成する。

尚、フィルタリング選択部320によって8タップフィルタリングが選択された場合、係数貯蔵部340は各乗算器371ないし378に対応される補間係数を8個出力する。一方、フィルタリング選択部320によって4タップフィルタリングが選択された場合、係数貯蔵部340は、第1および第2乗算器371、372と第7および第8乗算器377、378に対応される補間係数は‘0’を出力し、その外の乗算器371ないし378に対応される補間係数4個を出力する。これで補間フィルター350は入力映像信号の輝度レベルのパターンに応じて4タップフィルタリングおよび8タップフィルタリングの中、いずれか1つのフィルタリングを適応的に適用して最終補間データを算出する。

加算器380は第1ないし第8乗算器371ないし378で乗算された第1ないし第8補間データを全部加算して最終補間データを出力する。よって補間フィルター350は水平補間を介して入力映像信号の水平方向拡大を行うようになる。

図8は、図3に示された映像補間装置に係る映像補間方法を概略的に説明するための流れ図である。
図3ないし図8を参照すると、まず、フィルタリング選択部320は映像信号貯蔵部310から順次入力される所定個の入力映像信号の輝度レベルのパターンを分析する（S810）。S810段階が行なわれると、フィルタリング選択部320は分析された輝度レベルのパターンによって4タップおよび8タップフィルタリングの中、所定フィルタリングに対する選択信号を係数貯蔵部340で出力する（S820）。ここで輝度レベルのパターンは順次に入力される映像信号間の輝度レベルの増減を意味する。

それから、制御部330は、解像度変換割合によって所定個の入力映像信号各々に対した補間位置(phase)を算出した後、 係数貯蔵部340で出力する（S830）。S830段階が行なわれると、係数貯蔵部340はS820段階およびS830段階から出力されたフィルタリング選択信号および算出された補間位置に対応される所定個の補間係数を出力する（S840）。

S840段階の後、補間フィルター350は、映像信号貯蔵部310から入力される入力映像信号(x(n))および第1ないし第7遅延映像信号(x(n-1)ないしx(n-7))とそれに対応される補間係数を各々乗算し第1ないし第8補間データを生成する。それから、補間フィルター350は第1ないし第8補間データを加算して最終補間データを出力する（S850）。これでフィルタリング選択部320によって選択された所定のフィルタリングを利用して入力映像信号の補間が行なわれる。

一方、上述したように映像補間装置300および映像補間方法は、キュービッグ回線補間フィルターである4タップフィルターおよびポリ-フェーズ補間フィルターである8タップフィルター中、いずれか1つを適応的に選択し映像を補間する場合について説明したが、これは4タップフィルターの代わりに2タップフィルターを適用することもできる。

また、上述した映像補間装置300および映像補間方法は、水平方向に対した補間についてのみ説明したが、これはもちろん垂直方向への補間にも適用可能である。
また、上述した映像補間装置300および映像補間方法は、入力映像信号の輝度レベルに応じて周波数を判別しグラフィック領域またはエッジ領域であるかを判断することにより鮮やかな補間を行うことができる。

以上では本発明の好ましい実施形態に対して説明したが、本発明は前記した実施形態に限定されなくて、 以下請求範囲で請求する本発明の要地をズレなしに当該発明が属する分野で通商の知識を持つ者であれば誰でも多様な変形実施が可能なことは言うまでもなく、そのような変形は請求範囲記載の範囲内にあるようになる。

本発明は所定の解像度で入力される映像を異なる解像度の映像で拡大変換する時、入力映像の周波数別に相異なるフィルタリングを適用して解像度を拡げる映像補間装置および映像補間方法に利用可能である。

一般的な線形補間法により補間を行う方法を説明するための図である。 従来の映像補間装置に適用されたキュービッグ回線補間を利用して補間を行う場合発生する問題点の例を説明するための図である。 本発明の好適な実施形態に係る映像補間装置を概略的に示したブロック図である。 図3のフィルタリング選択部が所定のフィルタリング選択信号を出力する実施形態を説明するために順次入力される8個の入力映像信号を示した図である。 図3のフィルタリング選択部が順次入力される8個の入力映像信号に対してグラフィック領域またはエッジ領域であるかを判断する場合を説明するための図である。 図3に示された制御部において所定の解像度変換割合に応じて算出される補間位置の実施形態を説明するための図である。 図3に示された制御部において算出された所定の補間位置によって補間係数を生成する方法を説明するための図である。 図3に示された映像補間装置に係る映像補間方法を概略的に説明するための流れ図である。

符号の説明

300 映像補間装置
310 映像信号貯蔵部
320 フィルタリング選択部
330 制御部
340 係数貯蔵部
350 補間フィルター

Claims (15)

1. 第１解像度の入力映像信号を所定の解像度変換割合に応じて第２解像度の出力映像信号に補間する映像補間装置において、
   前記入力映像信号が貯蔵される映像信号貯蔵部と、
   前記映像信号貯蔵部から順次に入力される所定個の前記入力映像信号の輝度レベルのパターンに応じて、相違する少なくとも２つの補間フィルタリングの中、所定フィルタリングに対する選択信号を出力するフィルタリング選択部と、
   前記解像度の変換割合に応じて所定個の前記入力映像信号各々に対する補間位置を算出する制御部と、
   算出された前記補間位置に対応される補間係数が前記フィルタリング別に貯蔵され、前記フィルタリングの選択信号および所定個算出された前記補間位置に対応される補間係数を出力する係数貯蔵部と、
   前記映像信号貯蔵部から所定個の前記入力映像信号および前記係数貯蔵部から前記フィルタリングの選択信号に対応される所定個の前記補間係数を入力され、選択された前記フィルタリングを行なって前記出力映像信号を出力する補間フィルターを含むことを特徴とする映像補間装置。
2. 少なくとも２つの前記フィルタリングは、４タップフィルタリングおよび8タップフィルタリングであることを特徴とする請求項１に記載の映像補間装置。
3. 前記輝度レベルのパターンが順次に入力される所定個の前記入力映像信号の輝度レベルが既に設定された回数の分連続的に増加および減少するパターンのうち少なくともいずれか１つであると判断されると、前記フィルタリング選択部は前記４タップフィルタリングに対する選択信号を出力することを特徴とする請求項２に記載の映像補間装置。
4. 所定個の前記入力映像信号の中、連続的に入力される２つの入力映像信号の輝度レベルが同一の場合、前記フィルタリング選択部は前記２つの入力映像信号間の前記輝度レベルのパターンを判断する直前に判断された直前輝度レベルのパターンを前記２つの入力映像信号の輝度レベルのパターンとして適用することを特徴とする請求項３に記載の映像補間装置。
5. 所定個の前記入力映像信号の中、連続的に入力される２つの入力映像信号の輝度レベルの差が既に設定された基準レベルより小さければ、前記フィルタリング選択部は前記２つの入力映像信号間の前記輝度レベルのパターンを判断する直前に判断された直前輝度レベルのパターンを前記2つの入力映像信号の輝度レベルのパターンとして適用することを特徴とする請求項３に記載の映像補間装置。
6. 前記既に設定された回数は少なくとも２回であることを特徴とする請求項３に記載の映像補間装置。
7. 少なくとも２つの前記フィルタリングは８タップフィルタリングを含む多数の有限インパルス応答フィルタリングであることを特徴とする請求項１に記載の映像補間装置。
8. 前記補間フィルターは、
   前記映像信号貯蔵部から順次に入力される所定個の前記入力映像信号を所定時間の間引き延ばした後出力する多数の遅延器と、
   前記多数の遅延器から出力される所定個の前記入力映像信号と前記係数貯蔵部から出力される所定個の前記補間係数とを各々乗算して補間データを出力する多数の乗算器と、
   前記多数の乗算器から出力される所定個の前記補間データを加算して前記出力映像信号を出力する加算器とを含むことを特徴とする請求項１に記載の映像補間装置。
9. 前記制御部は、前記解像度変換割合に応じて前記映像信号の貯蔵部から前記補間フィルターに入力される前記入力映像信号の入力速度を制御することを特徴とする請求項１に記載の映像補間装置。
10. 第１解像度の入力映像信号を所定の解像度変換割合に応じて第２解像度の出力映像信号に補間する映像補間方法において、
    順次に入力される所定個の前記入力映像信号の輝度レベルのパターンに応じて相違している少なくとも２つの補間フィルタリングの中、所定フィルタリングに対する選択信号を出力する段階と、
    前記解像度変換割合に応じて所定個の前記入力映像信号各々に対する補間位置を算出する段階と、
    貯蔵された多数の補間係数の中、出力された前記フィルタリング選択信号および所定個の算出された前記補間位置に対応される補間係数を前記所定個の分出力する段階と、
    所定個の前記入力映像信号および前記フィルタリング選択信号に対応される所定個の前記補間係数を入力し、選択された前記所定フィルタリングを行って前記出力映像信号を出力する段階とを含むことを特徴とする映像補間方法。
11. 少なくとも２つの前記フィルタリングは、４タップフィルタリングおよび８タップフィルタリングであることを特徴とする請求項10に記載の映像補間方法。
12. 前記フィルタリング選択段階は、前記輝度レベルのパターンが順次に入力される所定個の前記入力映像信号の輝度レベルが既に設定された回数の分連続的に増加および減少するパターンのうち少なくともいずれか１つであると判断されれば、前記４タップフィルタリングに対する選択信号を出力することを特徴とする請求項11に記載の映像補間方法。
13. 所定個の前記入力映像信号の中、連続的に入力される２つの入力映像信号の輝度レベルが同一の場合、前記フィルタリング選択段階は前記２つの入力映像信号間の輝度レベルのパターンを判断する直前に判断された直前輝度レベルのパターンを前記２つの入力映像信号の輝度レベルのパターンとして適用することを特徴とする請求項12に記載の映像補間方法。
14. 所定個の前記入力映像信号の中、連続的に入力される２つの入力映像信号の輝度レベルの差が既に設定された基準レベルより小さければ、前記フィルタリング選択段階は、前記２つの入力映像信号間の前記輝度レベルのパターンを判断する直前に判断された直前輝度レベルのパターンを前記２つの入力映像信号の輝度レベルのパターンとして適用することを特徴とする請求項12に記載の映像補間方法。
15. 前記フィルタリングを行う段階は、
    順次に入力される所定個の前記入力映像信号を所定時間の間引き延ばした後、出力する段階と、
    前記遅延段階において出力される所定個の前記入力映像信号と前記補間係数の出力段階において出力される所定個の前記補間係数とを各々乗算して補間データを出力する段階と、
    前記乗算段階から出力される所定個の補間データを加算して前記出力映像信号を出力する段階とを含むことを特徴とする請求項10に記載の映像補間方法。

Images