JP5059862B2 - 映像信号の動き補償処理の方法および装置 - Google Patents

Description

本発明は、映像信号の動き補償処理のための方法および装置に関する。

米国特許出願公開第２００２／００９３５８８号には、費用効果的な高精細度テレビ用のフィルム‐ビデオ変換機が記載されている。高精細度ビデオ信号をビデオ変換システムにより予フィルタ処理し、縮小抽出して標準精細度の画像サイズとする。フィールドレートの拡大変換に用いる標準精細度の動き推定器は、それゆえ、標準精細度の画像の動ベクトルの推定に使用する。これにより得た動ベクトルを縮小し、動きを滑らかにする前処理を施し、フィールドレートの動き補償拡大変換に使用し、高精細度の映像とする。

米国特許出願公開第２００２／００９３５８８号

とりわけ、本発明の目的は、特に、映像信号における動き補償処理の改良的方法および装置を提供することである。本発明は、独立請求項において定義する。より効果的な具体例は、従属請求項において定義する。

本発明は、特にフラットパネルディスプレイにおいて、速い動きに対応して精度を維持することができない、という知見に基づく。従って、本発明の一態様において、その着想は、低空間分解能で十分な動き補償拡大変換処理を使用すること、並びに、低速の動画像部分に対する未補償の詳細を再び拡大映像に加えることである。かように、高精細度テレビ（ＨＤＴＶ）信号の動き補償処理は、ハードウェアおよび／またはソフトウェアを使用することにより、軽減された投資で可能である。特許文献１との主な相違点は、特許文献１では、高解像度信号により（動ベクトルの計算を除く）動き補償処理を行うのに対し、本発明により提案する方法では、縮小映像により動き補償補間を行うという点である。本発明の一実施形態は、拡大補間映像を元の映像と合成する効果的な方法を提案するものであり、該方法は、静止画像を最大精細度／鮮明度に維持でき、動画像を動き補償映像として使用可能とし：高速で、出力を動き補償映像により満たす。

本発明における上記および他の態様を、以下に示す実施形態を参照にして、明らかにし、説明する。

本発明の第１の実施形態を示す図である。 本発明の第２の実施形態を示す図である。 整合度判断に使用するベクトルの時空間ブロックを示す図である。

図１は、本発明の第１の実施形態を示す図である。プログレッシブ（例、ノンインターレース）走査線数１０８０本、画素数／走査線数１９２０本の高精細度映像信号を、縮小器ｓｃ１により縮小し、走査線数７２０本、画素数／走査線数１２８０本の、より低精細度の映像信号ｌｐｆとする。動ベクトル推定器ＭＥを使用し、低精細度映像ｌｐｆを基に動ベクトルを計算した後、該低精細度映像ｌｐｆを、動き補償拡大変換器ＵＰＣにより処理し、さらにその後、拡大器ｓｃ２を使用して、該低精細度映像ｌｐｆを元の１０８０／１９２０フォーマットに拡大する。

また、低精細度映像ｌｐｆを、拡大器ｓｃ３により元の１０８０／１９２０フォーマットに拡大し、その後、これを入力信号から減算して高域抽出信号ｈｐｆとする。即ち、縮小器ｓｃ１、拡大器ｓｃ３および減算器は、協働してハイパスフィルタＨを構成する。代替的な実施形態では、純粋なハイパスフィルタを使用する。高域抽出信号ｈｐｆに因数ｋを乗算し、これを拡大動き補償信号に加算する。前記乗算および加算は、乗算器および加算器を使用して行い、該乗算器および加算器は、協働して合成回路Ｃを構成する。ハイパスフィルタＨおよび合成回路Ｃは、協働してミキサＭを構成し、該ミキサＭにより、（高域抽出した）入力信号を、拡大器ｓｃ２からの前記拡大動き補償信号に組み入れる。

図２は、本発明の第２の実施形態を示す図であり、該実施形態は、図１に示す実施形態よりもハードウェアの使用に適したものとするため、第１の実施形態で使用した３つのスケール変換器に代えて、２つのスケール変換器ｓｃ１およびｓｃ２のみを使用する。先と同様に、走査線数１０８０本、画素数／走査線数１９２０本の高精細度入力映像信号を、縮小器ｓｃ１により縮小し、走査線数７２０、画素数／走査線数１２８０本の、より低精細度の映像信号ｌｐｆとする。動ベクトル推定器ＭＥを使用し、低精細度映像ｌｐｆを基に動ベクトルを計算した後、該低精細度映像ｌｐｆを、動き補償拡大変換器ＵＰＣにより処理し、さらにその後、拡大器ｓｃ２を使用して、該低精細度映像ｌｐｆを元の１０８０／１９２０フォーマットに拡大する。拡大動き補償信号および入力信号を、（１−ｋ）：ｋの合成比で合成する。前記合成は、乗算器および加算器により行い、該乗算器および加算器は、協働してミキサＭを構成する。

図１および２に示す実施形態では、合成係数の計算のため、以下の要素を使用することが好ましい：即ち、過去および現在のベクトル場、現在のベクトル長、並びに、輝度値である。図２に示す実施形態において、出力は、
Output＝k*Orig＋（１−ｋ）*NM_result
と定義される。ここで、ｋは合成係数であり、Origは原入力信号であり、また、NM_resultは動き補償拡大変換の出力である。

過去および現在のベクトル場を利用するにあたり、時空間的な整合度を計算する。ベクトル長の最大差分値は、図３に示す、現在のベクトル場ＣＶＦおよび過去のベクトル場ＰＶＦによるブロックを含む時空間的アパーチャにおける、現在のブロックのベクトルと他の全てのベクトルとの間の距離により定まる。基本概念として；非整合領域での合成は無い。一例として、８ビットのビデオでは、ベクトル長の最大差分値が０ならば、k_inconsistencyは１であり、前記最大差分値が８以上ならば、k_inconsistencyは０であり、０〜８の範囲のベクトル長の差分値に対しては、０〜１に線形変換する。

現在のベクトル長を利用するにあたり、現在のブロックにおける動ベクトル長を計算する。基本概念として；０または小さな動きに対しては、合成が可能であるが、大きな動きに対しては、（致命的なアーチファクトを生じる可能性があるため）合成することはできない。結果；静止映像部に対しては（１０ビットの）最大精細度とし、動画像部に対しては（８ビットの）より低精細度とした。一例として、８ビットのビデオでは、ベクトル長が０ならば、k_vectorlength＝１であり、ベクトル長が４以上ならば、k_vectorlength＝０であり、０〜４の範囲のベクトル長に対しては、０〜１に線形変換する。

輝度値を利用するにあたり、基本的に、極めて暗い画像領域に対しては、スイッチングを適用することなく、動き補償（ＭＣ）低精細度のみを利用する。これは、スイッチングそのものが、より容易に可視化するためである。一例として、８ビットのビデオでは、画素値が２５以下ならば、k_luma＝０であり、画素値が３２以上ならば、k_luma＝１であり、２５〜３２の範囲の画素値に対しては、０〜１に線形変換する。

最終の合成要素ｋは、
ｋ＝k_inconsistency*k_vectorlength*k_luma
により定義される。より詳細には、基本的概念は、以下の［数１］により定義される。

ここで、０≦ｋ≦１であり、以下の［数２］に示す空間座標においてＴは置換を示し、０≦α≦１であり、ｎは画像番号であり、

は、低域抽出した動き補償（時間的に補間された）画像であり、また、

は、原入力画像の高域抽出である。

低域抽出した画像の時間的補間は、さらに大幅に低精細度の画像に適用してから、空間変換器によって出力精細度まで拡大することが可能であるが、低域抽出した画像および高域抽出した画像は、明確に同一の空間分解能である。

静止画像部において、因数ｋを１とすることができ、これにより、完全な周波数スペクトルを保存することができる。基本的に（補間器が誤作動を生じない限り）、精細度が低下することはない。動きの速い映像部分では、ｋの値を０とすることにより、出力は、低周波数スペクトルのスペクトル成分のみ持つものとなる。高スペクトル成分は、いずれも観測が難しく、特にＬＣＤパネルにおいて難しい。最後に、動きの遅い映像部分では、ｋの値を中間値とすることにより、出力スペクトルは、全ての低スペクトル周波数成分と、いくつかの高スペクトル周波数成分とを持つものとなる。ｋの値を過度に高く設定した場合、異常振動（いわゆるジャダー）を生じる蓋然性がある。これは、高周波数成分が動き補償されないためである。

上述のように、ｋを制御する手段は数多くあるが、好適な実施形態において、制御信号ｋは、局部動ベクトルの整合度、動ベクトル長および画素レベルに、例えば、
ｋ＝k_consistencyk_vectork_pixel
のように依存する。

前記整合度は、現在のブロック（カラー印刷時の図３では、青色）の動ベクトルと、選択した近傍：即ち、空間的近傍（カラー印刷時の図３では、緑色）および時間的近傍（カラー印刷時の図３では、灰色）の、ブロックの動ベクトルとの間の最大差分値（ＭＶＤ）により定義する。

差分値は、動ベクトルのｘ成分およびｙ成分の絶対差より計算する。
従い、k_consistencyは、
k_consistency＝１−CLIP(βMVD,0,1)
により定義される。ここで、CLIP(a,b,c)は、ｂ≦ａ≦ｃのとき、CLIP(a,b,c)＝ａ、また、ａ＞ｃのとき、CLIP(a,b,c)＝ｂ、と定義される。さらに、βは、固定のゲイン／スケーリング変換係数である。

ベクトル長の指数値は、
k_vector＝１−CLIP(γL,0,1)
により定義される。ここで、Ｌは、ベクトル長（水平方向ベクトル成分および垂直方向ベクトル成分の絶対値の合計）を示し、γは、プログラム可能なゲイン係数を示す。

また、黒色に近い色の変更は、他のグレースケール部分よりも視認性が高いことがわかる。即ち、画素数の依存係数は、以下の［数３］となる：

ここで、ηはゲイン係数、κは補正値である。前記ゲイン係数は、暗い画素に対しては０、また、明るい画素に対しては１である。

本発明の実施形態は、以下の様に要約することができる。即ち、動き補償した映像の画像をレート変換する装置であって、該装置は、入力映像を縮小可能な縮小手段ｓｃ１と、縮小映像から動きを推定可能な推定手段ＭＥと、推定した動きおよび縮小映像から中間縮小映像を補間する補間手段ＵＰＣと、中間縮小映像を拡大する拡大手段ｓｃ２と、拡大した中間縮小映像および（（高域）フィルタリングを処した）入力映像の合成を出力する出力手段Ｍと、を含む。本発明は、ディスプレイ装置（例、ＴＶセット等）であって、図１および２に示すように出力を得る装置と、該出力を表示する表示ディスプレイと、を具えたディスプレイ装置に、効果的に使用することができる。

以上に記載した実施形態は、本発明を制限するためのものではなく、当業者は、添付した特許請求の範囲を逸脱しない限り、多くの代替的な実施形態を考案可能であるということに留意すべきである。特許請求の範囲において、「信号Ａを信号Ｂに組み合わせる」とは、信号Ａに由来する第１信号を、信号Ｂに由来する第２信号に組み合わせる実施形態であって、信号の高周波数部のみを組み合わせるような実施形態も含む。特許請求の範囲において、括弧内に記した参照符号は、特許請求の範囲を制限するものと解釈してはならない。用語「含む」とは、特許請求の範囲に列挙したもの以外の要素および方法を除外するものではない。要素に用語「ひとつの」が接頭する場合には、該要素が複数あることを除外するものではない。本発明は、特徴的な要素を含むハードウェア、および／または、適切にプログラムしたプロセッサを使用することにより実施可能である。互いに異なる独立請求項には一定の措置が記載されているが、これは、これらの措置の組み合わせにより有利的に使用し得えないことを示すものではない。

Claims (6)

1. 入力映像を縮小し、縮小映像とする、縮小ステップ（ｓｃ１）と、
   前記縮小映像に動き補償処理を施し、動き補償映像とする、動き補償処理ステップ（ＭＥ ＵＰＣ）と、
   前記動き補償映像を拡大し、拡大動き補償映像とする、拡大ステップ（ｓｃ２）と、
   前記拡大動き補償映像を高域抽出された前記入力映像に合成し、出力映像とする、合成ステップ（Ｍ）であって、
   前記縮小映像を拡大し、拡大映像とするステップと、
   前記拡大映像を前記入力映像から減算し、前記高域抽出された前記入力映像とするステップとを含む合成ステップ（Ｍ）と
   を含む映像の動き補償処理方法。
2. 入力映像を縮小し、縮小映像とする、縮小器（ｓｃ１）と、
   前記縮小映像に動き補償処理を施し、動き補償映像とする、動き補償プロセッサ（ＭＥ ＵＰＣ）と、
   前記動き補償映像を拡大し、拡大動き補償映像とする、拡大器（ｓｃ２）と、
   出力映像を出力する、ミキサ（Ｍ）であって、
   前記縮小映像を拡大した拡大映像を前記入力映像から減算し、高域抽出映像信号とする、ハイパスフィルタ（Ｈ）と、
   前記高域抽出映像信号と前記拡大動き補償映像とを合成し、前記出力映像とする、合成回路（Ｃ）とを具えるミキサ（Ｍ）と
   を具えた映像の動き補償処理装置。
3. 請求項２に記載の処理装置において、前記ミキサ（Ｍ）は、前記拡大動き補償映像を前記入力映像に合成するにあたり、制御信号（ｋ）を受信することができ、前記縮小映像内で移動する対象物体の速度に依存した、出力映像を得る処理装置。
4. 請求項３に記載の処理装置において、前記制御信号（ｋ）は、さらに、前記動き補償処理に使用する動ベクトルの整合性に依存する処理装置。
5. 請求項３に記載の処理装置において、前記制御信号（ｋ）は、さらに、前記縮小映像の輝度値に依存する処理装置。
6. 出力映像を出力可能な請求項２に記載の処理装置と、
   該出力映像を表示する表示ディスプレイと、
   を具えたディスプレイ装置。

Images