JP5891913B2 - 映像信号処理装置及び方法 - Google Patents

Description

本発明は、画像の動きベクトルを用いて補間フレームを生成する映像信号処理装置及び方法に係り、特に、動領域において検出した動きベクトルが静止領域の背景に影響することによって発生する補間画像の不連続性に起因する視覚的な違和感を軽減させることができる映像信号処理装置及び方法に関する。

液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させて動画特性を向上させるために、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレート（フレーム周波数）を２倍の１２０Ｈｚまたはそれ以上のフレームレートに変換して画像表示することが行われている。映像信号のフレームレートを変換して画像表示する画像表示装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。

画像の動きベクトルを検出する方法の１つとして、補間フレームの時間的な前後に位置する実フレームである過去フレームまたは現在フレームを相関が最も高い方向を探索する際の基準フレームとして動きベクトルを検出する方法がある。この過去フレームまたは現在フレームを探索基準として動きベクトルを検出する方法では、基準フレーム内の動きベクトルを検出した画素（ブロック）の検出位置と、補間フレーム内で補間画素（補間ブロック）を生成する補間位置とがずれてしまう。

そこで、動領域において所定の物体が移動するとき、移動する物体の範囲よりも広い範囲で物体の動きベクトルが検出されるようにしておく。このようにすれば、過去フレームまたは現在フレームを探索基準として検出した動きベクトルを用いても、補間フレーム内に正しい動きベクトルによって補間された補間画像を生成することができる。

特開２００９−５５３４０号公報

ところが、移動する物体の範囲よりも広い範囲で物体の動きベクトルを検出して、補間フレームにおける補間画像を生成するために用いると、動領域において検出した動きベクトルの一部が動領域に隣接する静止領域の背景の補間画像を生成する際にも適用されることになる。すると、背景内で、移動する物体の動きベクトルが適用されて補間された領域と正しく静止画像として補間された領域との境界が不連続となり、視覚的な違和感となるという問題点があった。

本発明はこのような問題点に鑑み、移動する物体の範囲よりも広い範囲で物体の動きベクトルを検出して、補間フレームを生成した場合に発生する補間画像の不連続性に起因する視覚的な違和感を軽減させることができる映像信号処理装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、入力された映像信号（Ｓin）の過去フレームまたは現在フレームを探索基準とし、前記映像信号中の移動する物体の範囲よりも広い範囲で前記物体の動きを示す第１の動きベクトル（Ｖ１）を検出する動きベクトル検出部（２）と、前記過去フレームと前記現在フレームと前記第１の動きベクトルとを用いて、前記過去フレームと前記現在フレームとの間に内挿する第１の補間フレーム（ｆ0.5）を生成する補間フレーム生成部（３）と、前記第１の動きベクトルに対して第１のフィルタ処理を施して、第２の動きベクトル（Ｖ２）として出力する動きベクトルフィルタ部（４）と、前記第１の動きベクトルと前記第２の動きベクトルとの差分を算出することによって、前記物体の外側に位置する静止領域の背景における前記第１の動きベクトルに基づいて補間画像が生成される第１の領域と静止ベクトルに基づいて補間画像が生成される第２の領域との境界線を含む所定の範囲の領域である境界領域を示す境界判定信号（Ｓjb）を生成する差分算出部（５）と、前記境界判定信号に基づいて、前記第１の補間フレームにおける前記境界領域に対して第２のフィルタ処理を施して第２の補間フレーム（ｆ0.5’）として出力する補間フレームフィルタ部（６）とを備えることを特徴とする映像信号処理装置を提供する。

上記の映像信号処理装置において、前記動きベクトルフィルタ部は、ローパスフィルタであることが好ましい。

上記の映像信号処理装置において、前記補間フレームフィルタ部は、ローパスフィルタであることが好ましい。

上記の映像信号処理装置において、前記差分算出部は、前記境界判定信号として、前記境界領域内で前記境界線からの距離に応じて複数のステップよりなる信号を生成し、前記補間フレームフィルタ部は、前記境界判定信号による前記複数のステップに応じて前記第２のフィルタ処理におけるタップ数を異ならせることが好ましい。

上記の映像信号処理装置において、前記補間フレームフィルタ部は、前記境界領域内で前記境界線に近いほど前記第２のフィルタ処理におけるタップ数を多くすることが好ましい。

また、本発明は、上述した従来の技術の課題を解決するため、入力された映像信号（Ｓin）の過去フレームまたは現在フレームを探索基準とし、前記映像信号中の移動する物体の範囲よりも広い範囲で前記物体の動きを示す第１の動きベクトル（Ｖ１）を検出し、前記過去フレームと前記現在フレームと前記第１の動きベクトルとを用いて、前記過去フレームと前記現在フレームとの間に内挿する第１の補間フレーム（ｆ0.5）を生成し、前記第１の動きベクトルに対して第１のフィルタ処理を施して、第２の動きベクトル（Ｖ２）として出力し、前記第１の動きベクトルと前記第２の動きベクトルとの差分を算出することによって、前記物体の外側に位置する静止領域の背景における前記第１の動きベクトルに基づいて補間画像が生成される第１の領域と静止ベクトルに基づいて補間画像が生成される第２の領域との境界線を含む所定の範囲の領域である境界領域を示す境界判定信号（Ｓjb）を生成し、前記境界判定信号に基づいて、前記第１の補間フレームにおける前記境界領域に対して第２のフィルタ処理を施して第２の補間フレーム（ｆ0.5’）として出力することを特徴とする映像信号処理方法を提供する。

上記の映像信号処理方法において、前記第１のフィルタ処理は、ローパスフィルタによるフィルタ処理であることが好ましい。

上記の映像信号処理方法において、前記第２のフィルタ処理は、ローパスフィルタによるフィルタ処理であることが好ましい。

上記の映像信号処理方法において、前記境界判定信号として、前記境界領域内で前記境界線からの距離に応じて複数のステップよりなる信号を生成し、前記境界判定信号による前記複数のステップに応じて前記第２のフィルタ処理におけるタップ数を異ならせることが好ましい。

上記の映像信号処理方法において、前記境界領域内で前記境界線に近いほど前記第２のフィルタ処理におけるタップ数を多くすることが好ましい。

本発明の映像信号処理装置及び方法によれば、移動する物体の範囲よりも広い範囲で物体の動きベクトルを検出して、補間フレームを生成した場合に発生する補間画像の不連続性に起因する視覚的な違和感を軽減させることができる。

本発明の映像信号処理装置の一実施形態を示すブロック図である。 図１中の動きベクトル検出部２による現在フレームを探索基準とした動きベクトルの検出動作を説明するための図である。 図１中の動きベクトル検出部２による移動する物体の範囲よりも広い範囲で動きベクトルを検出する検出動作を説明するための図である。 移動する物体の範囲よりも広い範囲で検出した動きベクトルが静止領域の背景にも適用されることによって発生する視覚的な現象を説明するための図である。 図１中の動きベクトルフィルタ部４の動作を説明するための図である。 図１中の差分算出部５の動作を説明するための図である。 図１中の補間フレームフィルタ部６の動作であり、一実施形態による効果を説明するための図である。

以下、本発明の映像信号処理装置及び方法の一実施形態について、添付図面を参照して説明する。図１に示す一実施形態は、映像信号処理装置の一例としてフレーム周波数変換装置を示している。図１において、入力された映像信号Ｓinの各画素データは、フレームメモリ１と、動きベクトル検出部２と、補間フレーム生成部３と、フレーム周波数変換部７とに順次入力される。映像信号Ｓinは、例えば６０Ｈｚのフレーム周波数を有する。

フレームメモリ１は、入力された画素データを１フレーム期間遅延させて出力する。映像信号Ｓinの現在のフレームを現在フレームｆ０、フレームメモリ１より出力された１フレーム過去のフレームを過去フレームｆ１とする。補間フレーム生成部３が生成する補間フレームを補間フレームｆ0.5とする。フレームメモリ１より出力された過去フレームｆ１の各画素データは、動きベクトル検出部２と補間フレーム生成部３とに順次入力される。

動きベクトル検出部２は、例えばマッチング法を用い、現在フレームｆ０と過去フレームｆ１の画素を用いて、現在フレームｆ０と過去フレームｆ１との間に内挿する補間フレームｆ0.5の各補間画素を生成するための動きベクトルＶ１を検出する。動きベクトルＶ１は、補間フレーム生成部３と、動きベクトルフィルタ部４と、差分算出部５とに入力される。

動きベクトルＶ１を画素単位で検出してもよいし、複数の画素よりなるブロック単位で検出してもよい。ブロックとは１または複数画素であるとする。特に図示しないが、動きベクトル検出部２は複数のラインメモリと画素遅延器、画素データの差分を求める減算器等を含んで構成される。

図２を用いて、動きベクトル検出部２による動きベクトルＶ１の検出動作についてさらに説明する。図２は、過去フレームｆ１内に位置している物体ＯＢが、現在フレームｆ０内の図示の位置に移動した状態を示している。理想的には、補間フレームｆ0.5内に、破線で示すような補間画像による物体ＯＢｉが生成される。本実施形態では、動きベクトル検出部２は、現在フレームｆ０を探索基準として動きベクトルＶ１を検出する。過去フレームｆ１を探索基準として動きベクトルＶ１を検出してもよいし、過去フレームｆ１及び現在フレームｆ０の双方を探索基準として動きベクトルＶ１を検出してもよい。

図２に示すように、現在フレームｆ０を探索基準として、現在フレームｆ０内の注目ブロックと細い矢印線で示すように過去フレームｆ１内の複数のブロックとの相関（差分値）を検出する。互いの相関を比較して最も差分値が小さい方向を最も相関が高い方向と判定する。このようにして、動きベクトル検出部２は最も相関が高い方向と動きの量を示す動きベクトルＶ１を検出することができる。

現在フレームｆ０を探索基準として検出した動きベクトルＶ１を破線の矢印線で示すように補間フレームｆ0.5に適用すると、動きベクトルＶ１の検出位置と物体ＯＢｉを生成する補間位置とがずれることになる。そこで、動きベクトル検出部２においては、図３に示すように、移動する物体ＯＢの範囲よりも広い範囲で物体ＯＢの動きベクトルＶ１を検出するように構成されている。

図３において、現在フレームｆ０内の物体ＯＢにかかっている動きベクトルＶ１は、動きベクトルＶ１を検出するそれぞれのブロックで図２のようにして検出された動きベクトルを示している。物体ＯＢの両外側に位置する動きベクトルＶ１は、移動する物体ＯＢの範囲よりも広い範囲で物体ＯＢの動きベクトルＶ１を検出するように構成することによって検出された動きベクトルである。物体ＯＢの両外側に位置する動きベクトルＶ１は、物体ＯＢの移動方向を正しく示している。

移動する物体ＯＢの範囲のみで動きベクトルＶ１を検出すれば、物体ＯＢの両外側に位置する動きベクトルＶ１は、静止ベクトルとなったり、物体ＯＢの移動方向を正しく示す動きベクトルＶ１とはならなかったりする。

このように動きベクトルＶ１の検出範囲を広げる手法は種々あり、任意の手法を採用すればよい。例えば、動きベクトルＶ１を検出しようとする注目ブロックで得られた差分値に近傍のブロックで得られた差分値を加算することによって、動きベクトルＶ１の検出範囲を広げることができる。また、過去のフレームで検出した動きベクトルＶ１の検出結果を参照することによって動きベクトルＶ１の検出範囲を広げることができる。

補間フレーム生成部３は、以上のようにして動きベクトル検出部２が検出した動きベクトルＶ１に基づいて補間フレームｆ0.5を生成する。図３に示すように、物体ＯＢの範囲よりも広い範囲で検出した物体ＯＢの動きを示す動きベクトルＶ１を破線の矢印線で示すように補間フレームｆ0.5に適用することにより、動きベクトルＶ１の検出位置と物体ＯＢｉを生成する補間位置とがずれることがない。よって、補間フレームｆ0.5内に正しい動きベクトルＶ１によって補間された補間画像による物体ＯＢｉを生成することができる。

図３において、物体ＯＢの右側に位置している領域は静止画の背景Ｒbgである。図３に示すように、検出範囲を広げた動きベクトルＶ１の一部は、背景Ｒbgにも適用される。背景Ｒbg内の物体ＯＢｉに隣接する領域Ｒａは動きベクトルＶ１に基づいて生成される補間画像となる。領域Ｒａよりも外側の領域Ｒｂは、静止ベクトルによって生成される静止画の補間画像となる。

図４を用いて、物体ＯＢｉを生成するために生成した動きベクトルＶ１が静止領域の背景Ｒbgにも適用されることによって発生する視覚的な現象について説明する。図４は、一例として、背景Ｒbgが、図の左側から右側へとグレーのレベルが順次高くなっている静止画を示している。図４（Ａ）に示すように、破線で囲んだ領域Ｒａには動きベクトルＶ１が適用され、領域Ｒｂには動きベクトルＶ１は適用されない。領域Ｒｂには正しく検出された静止ベクトルが適用される。

図４（Ｂ）は、補間フレームｆ0.5内に生成される補間画像を示している。領域Ｒａに対応する部分では、動きベクトルＶ１に基づいて生成された補間画像ＩＭａとなり、領域Ｒｂに対応する部分では、静止ベクトルに基づいて生成された補間画像ＩＭｂとなる。図４（Ｂ）に示すように、補間画像ＩＭａと間画像ＩＭｂとの境界には、補間画像ＩＭａと間画像ＩＭｂとが不連続であることによって境界線Ｌbdrが発生してしまう。この境界線Ｌbdrは視覚的な違和感となる。

そこで、本実施形態の映像信号処理装置及び方法においては、図１に示す構成とすることよって境界線Ｌbdrを目立たなくするよう処理し、視覚的な違和感を軽減させる。図１において、動きベクトルフィルタ部４は、入力された動きベクトルＶ１に対してフィルタ処理を施して動きベクトルＶ２として出力する。動きベクトルフィルタ部４におけるフィルタは、ローパスフィルタであることが好ましい。動きベクトルフィルタ部４として、３タップのローパスフィルタを用いることができる。

図５を用いて、動きベクトルフィルタ部４の動作について説明する。図５（Ａ）は図４（Ａ）と同じである。領域Ｒａにおける動きベクトルＶ１は所定の動きベクトル値を有し、領域Ｒｂでは静止ベクトルであるので動きベクトル値は０である。従って、動きベクトルＶ１の動きベクトル値は水平方向の画素位置に応じて図５（Ｂ）に実線で示すように急峻に変化する。動きベクトルフィルタ部４によって動きベクトルＶ１に対してローパスフィルタによるフィルタ処理を施すと、破線にて示すなだらかな特性の動きベクトルＶ２となる。動きベクトルＶ１と動きベクトルＶ２との差であるハッチングを付した部分は、領域Ｒａと領域Ｒｂとの境界を含む所定の領域の境界領域Ｒbdrとなる。

境界領域Ｒbdrの幅は、動きベクトルフィルタ部４におけるフィルタを適宜に設定することによって調整することができる。

図１に戻り、差分算出部５は、動きベクトルＶ１と動きベクトルＶ２との差分絶対値を算出する。差分算出部５には複数の閾値が設定されており、差分算出部５は、動きベクトルＶ１と動きベクトルＶ２との差分絶対値と複数の閾値とを比較することによって、領域Ｒａと領域Ｒｂとの境界からの距離を大まかに検出する。差分算出部５は、領域Ｒａと領域Ｒｂとの境界からの距離に応じた複数ステップを有する境界判定信号Ｓjbを生成する。

図６を用いて、境界判定信号Ｓjbを生成する差分算出部５の動作について説明する。図６では、簡略化のため、閾値がTH1，TH2の２つ場合について示している。境界領域Ｒbdrより外側の部分では、動きベクトルＶ１と動きベクトルＶ２との差分絶対値は０であり、差分算出部５は境界判定信号Ｓjbを“０”とする。差分算出部５は、差分絶対値が０を超えて閾値TH1までであれば境界判定信号Ｓjbを“１”とし、差分絶対値が閾値TH1を超えて閾値TH2までであれば境界判定信号Ｓjbを“２”とする。差分算出部５は、差分絶対値が閾値TH2を越えたら境界判定信号Ｓjbを“３”とする。境界判定信号Ｓjbの“０”〜“３”なる数値は単なる例である。

差分算出部５が生成した境界判定信号Ｓjbは、補間フレームフィルタ部６に入力される。補間フレームフィルタ部６は、補間フレーム生成部３によって生成された補間フレームｆ0.5に対してフィルタ処理を施して、補間フレームｆ0.5’として出力する。補間フレームフィルタ部６におけるフィルタは、ローパスフィルタであることが好ましい。補間フレームフィルタ部６は、境界判定信号Ｓjbによるステップに応じて、ローパスフィルタのタップ数を動きベクトルＶ１と動きベクトルＶ２との差分絶対値が大きいほど増やすことが好ましい。

境界判定信号Ｓjbが“０”〜“３”の場合には、境界判定信号Ｓjbが“３”のとき最も多いタップ数としてフィルタ処理の範囲を広くし、境界判定信号Ｓjbが“１”のとき最も少ないタップ数としてフィルタ処理の範囲を狭くすればよい。差分算出部５にさらに多くの閾値を設定し、境界判定信号Ｓjbをさらに多くのステップを有する信号としてもよい。境界判定信号Ｓjbの値が“３”であればローパスフィルタのタップ数を３タップ、境界判定信号Ｓjbの値が“１５”であればローパスフィルタのタップ数を１５タップのようにしてもよい。

図７（Ａ）は、補間フレーム生成部３より出力される補間フレームｆ0.5による補間画像であり、図４（Ｂ）と同じである。補間画像ＩＭａと間画像ＩＭｂとの間には境界線Ｌbdrが発生する。図７（Ｂ）は、補間フレームフィルタ部６より出力される補間フレームｆ0.5’による補間画像である。補間フレームフィルタ部６によって境界領域Ｒbdrに対してフィルタ処理が施されるので、境界領域Ｒbdr内の補間画像が補正されて境界線Ｌbdrが目立たなくなる。これによって、視覚的な違和感を軽減することができる。補間フレームｆ0.5’は、フレーム周波数変換部７に入力される。

フレーム周波数変換部７は、入力された現在フレームｆ０と補間フレームｆ0.5’とを、補間フレームｆ0.5’、現在フレームｆ０の順で、映像信号Ｓinの２倍の周波数である１２０Ｈｚで交互に出力する。これによって、フレーム周波数変換部７からは、１２０Ｈｚのフレーム周波数を有する映像信号Ｓoutが出力される。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。上述した本実施形態においては、水平方向のフィルタ処理について説明したが、垂直方向のフィルタ処理を加えてもよい。

また、本実施形態は映像信号処理装置の一例としてフレーム周波数を２倍に変換するフレーム周波数変換装置について説明したが、フレーム周波数を３倍以上に変換するフレーム周波数変換装置であってもよい。さらに、本発明は、フレーム周波数変換装置のみに適用されるものでもなく、動きベクトルに基づいて補間フレームを生成する任意の映像信号処理装置及び方法に適用可能である。

１ フレームメモリ
２ 動きベクトル検出部
３ 補間フレーム生成部
４ 動きベクトルフィルタ部
５ 差分算出部
６ 補間フレームフィルタ部
７ フレーム周波数変換部

Claims (6)

1. 入力された映像信号の過去フレームまたは現在フレームを探索基準とし、前記映像信号中の移動する物体の範囲よりも広い範囲で前記物体の動きを示す第１の動きベクトルを検出する動きベクトル検出部と、
   前記過去フレームと前記現在フレームと前記第１の動きベクトルとを用いて、前記過去フレームと前記現在フレームとの間に内挿する第１の補間フレームを生成する補間フレーム生成部と、
   前記第１の動きベクトルに対して第１のフィルタ処理を施して、第２の動きベクトルとして出力する動きベクトルフィルタ部と、
   前記第１の動きベクトルと前記第２の動きベクトルとの差分を算出することによって、前記物体の外側に位置する静止領域の背景における前記第１の動きベクトルに基づいて補間画像が生成される第１の領域と静止ベクトルに基づいて補間画像が生成される第２の領域との境界線を含む所定の範囲の領域である境界領域を示す境界判定信号を生成する差分算出部と、
   前記境界判定信号に基づいて、前記第１の補間フレームにおける前記境界領域に対して第２のフィルタ処理を施して第２の補間フレームとして出力する補間フレームフィルタ部と、
   を備え、
   前記差分算出部は、前記境界判定信号として、前記境界領域内で前記境界線からの距離に応じて複数のステップよりなる信号を生成し、
   前記補間フレームフィルタ部は、前記境界判定信号による前記複数のステップに応じて、前記境界領域内で前記境界線に近いほど前記第２のフィルタ処理におけるタップ数を多くする
   ことを特徴とする映像信号処理装置。
2. 前記動きベクトルフィルタ部は、ローパスフィルタであることを特徴とする請求項１記載の映像信号処理装置。
3. 前記補間フレームフィルタ部は、ローパスフィルタであることを特徴とする請求項１または２に記載の映像信号処理装置。
4. 入力された映像信号の過去フレームまたは現在フレームを探索基準とし、前記映像信号中の移動する物体の範囲よりも広い範囲で前記物体の動きを示す第１の動きベクトルを検出する動きベクトル検出ステップと、
   前記過去フレームと前記現在フレームと前記第１の動きベクトルとを用いて、前記過去フレームと前記現在フレームとの間に内挿する第１の補間フレームを生成する補間フレーム生成ステップと、
   前記第１の動きベクトルに対して第１のフィルタ処理を施して、第２の動きベクトルとして出力する動きベクトルフィルタ処理ステップと、
   前記第１の動きベクトルと前記第２の動きベクトルとの差分を算出することによって、前記物体の外側に位置する静止領域の背景における前記第１の動きベクトルに基づいて補間画像が生成される第１の領域と静止ベクトルに基づいて補間画像が生成される第２の領域との境界線を含む所定の範囲の領域である境界領域を示す境界判定信号を生成する境界判定信号生成ステップと、
   前記境界判定信号に基づいて、前記第１の補間フレームにおける前記境界領域に対して第２のフィルタ処理を施して第２の補間フレームとして出力する補間フレームフィルタ処理ステップと、
   を有し、
   前記境界判定信号生成ステップは、前記境界領域内で前記境界線からの距離に応じて複数のステップよりなる信号を生成し、
   前記補間フレームフィルタ処理ステップは、前記境界判定信号による前記複数のステップに応じて、前記境界領域内で前記境界線に近いほど前記第２のフィルタ処理におけるタップ数を多くする
   ことを特徴とする映像信号処理方法。
5. 前記第１のフィルタ処理は、ローパスフィルタによるフィルタ処理であることを特徴とする請求項４記載の映像信号処理方法。
6. 前記第２のフィルタ処理は、ローパスフィルタによるフィルタ処理であることを特徴とする請求項４または５に記載の映像信号処理方法。