JP5200788B2 - 映像信号処理装置、映像信号処理方法および映像信号処理プログラム - Google Patents

Description

本発明は、映像信号処理装置、映像信号処理方法および映像信号処理プログラムに関する。

近年テレビの市場は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）やプラズマディスプレイ（ＰＤＰ:Plasma Display Panel）に代表される大型の薄型テレビが主流となっている。前者の液晶表示装置を用いたテレビでは、１６．７ｍｓ（１／６０秒）の間同一の画像を表示し続けるホールド表示と呼ばれる方式に起因して、自発光式のプラズマディスプレイに比較して動画ボケが認識されるといわれている。このボケは、画面の動きに追従する眼球の動きが連続したものであるのに対して、画面上の映像が静止したままでいることのミスマッチが原因とされている。この動画特性を向上するにはホールド時間を短くすることが効果的である。このことから、液晶表示装置では倍速表示を採用するものが多くなってきている。

ここで、倍速表示には、実在の映像信号で形成される原画フレーム間に、黒画面のフレームを挿入する手法と、補間フレームを挿入する手法とがある。図１４は、従来の技術を説明するための図であるが、補間フレームを挿入する手法には、図１４に示すように、原画フレーム間に補間フレームを１フレームずつ挿入する２倍速表示や、３フレームずつ挿入する４倍速表示などがある。また、補間フレームを挿入する手法には、２４コマのシネマ映像を１２０ｆｐｓ（frame per second）に変換する５倍速表示などもある。もっとも、補間フレームは、原画フレーム間を補間する中間画像として生成されたフレームであるので、一般的に、ぼけた画像となってしまう。このため、挿入される補間フレームの数が増えるに従い、動画の精鋭感は失われる。

なお、従来、拡大したフレームに生じるぼけを軽減するために輪郭を強調する強調処理（エンハンサ）の手法が開示されている。強調処理は、フレームを形成する画素ごとに画像のエッジ検出を行い、エッジ検出された場合は、エッジの方向に輝度差を際立たせるように強調フィルタを適用するものである。また、例えば、時間軸方向の強調処理に用いられる強調フィルタの係数を動きベクトルの探索結果に基づいて制御する手法や、補間フレームの光度を画素群ごとの動きベクトルの信頼性に基づいて生成する手法が開示されている。

特開２００６−９１４１２号公報 特表２００４−５１８３３９号公報

ところで、上記した従来の技術では、補間フレームが挿入されたストリームに対して適切な強調処理を行うことができないという課題があった。例えば、従来の強調処理を補間フレームが挿入されたストリームに対して適用すると、強調する必要のない原画フレームまで強調されてしまい、適切な強調とならない。また、従来の強調処理は、フレームを形成する画素全てについて均一に強調フィルタを適用する。しかしながら、補間フレームのぼけは画素全てについて均一に生じるものではないので、例えば、停止している文字テロップが強調されすぎてしまうなど、適切な強調とならない。

そこで、本発明は、上記した従来の技術の課題を解決するためになされたものであり、補間フレームが挿入されたストリームに対して適切な強調処理を行うことが可能な映像信号処理装置、映像信号処理方法および映像信号処理プログラムを提供することを目的とする。

上記した課題を解決し、目的を達成するため、補間フレームを形成する画素を生成するために、原画フレーム間で探索された動きベクトルが補間フレーム上の画素座標を通過する場合であるか否かを示す情報を画素ごと生成する。また、生成した情報が、動きベクトルが補間フレーム上の画素座標を通過しない場合であることを示す場合に、当該情報によって示される画素に適用すべき強調の度合いを強めるべきであることを画素ごとに判定し、判定した度合いに応じて強調フィルタの係数を画素ごとに調整する。そして、補間フレームを形成する画素ごとに、画素ごとに係数が調整された強調フィルタを適用する。

補間フレームが挿入されたストリームに対して適切な強調処理を行うことが可能になる。

以下に添付図面を参照して、本発明に係る映像信号処理装置、映像信号処理方法および映像信号処理プログラムの実施例を詳細に説明する。なお、以下では、まず、実施例１に係る映像信号処理装置の概要を説明し、続いて、実施例１に係る映像信号処理装置の構成、処理手順、効果を順に説明する。その後、他の実施例について説明する。

まず、図１を用いて、実施例１に係る映像信号処理装置の概要を説明する。図１は、実施例１に係る映像信号処理装置の概要を説明するための図である。なお、実施例１においては、映像信号処理装置が、２倍速表示の補間フレームを生成することを想定するが、本発明はこれに限られるものではなく、４倍速、５倍速などにも同様に適用することができる。

実施例１に係る映像信号処理装置は、図１に示すように、補間フレーム生成部が、原画フレーム間を補間する補間フレームを生成する。この時、補間フレーム生成部は、補間フレームを形成する補間画素が生成された過程を補間画素ごとに示す補間画素生成情報を生成する。

例えば、補間フレーム生成部は、原画フレーム間で動きベクトルを探索し、探索した動きベクトルを用いて補間画素を生成する。この時、補間フレーム生成部は、補間画素が生成された過程を示す補間画素生成情報として、「動きベクトルは、補間フレーム上の画素座標を通過した」という情報や、「動きベクトルは補間フレーム上の画素座標を通過せず」という情報を生成する。

次に、実施例１に係る映像信号処理装置は、図１に示すように、強調フィルタ係数調整部が、補間画素生成情報を用いて、補間画素に適用すべき強調の度合いを補間画素ごとに判定し、判定した度合いに応じて強調フィルタの係数を補間画素ごとに調整する。

例えば、強調フィルタ係数調整部は、補間画素生成情報が、「動きベクトルは、補間フレーム上の画素座標を通過した」という情報である場合に、補間画素に適用すべき強調の度合いを強めないことを判定する。そして、強調フィルタ係数調整部は、強調フィルタの係数を『α＝１』に調整する。

また、例えば、強調フィルタ係数調整部は、補間画素生成情報が、「動きベクトルは補間フレーム上の画素座標を通過せず」という情報である場合に、補間画素に適用すべき強調の度合いを強めることを判定する。そして、強調フィルタ係数調整部は、強調フィルタの係数を『α＞１』に調整する。

そして、実施例１に係る映像信号処理装置は、図１に示すように、強調フィルタ適用部が、補間フレームを形成する補間画素ごとに、補間画素ごとに係数が調整された強調フィルタを適用する。

例えば、強調フィルタ適用部は、補間画素ごとに調整した係数『α＝１』を用いて強調フィルタの係数『Ｂ』を計算し、該当する補間画素に適用する。また、例えば、強調フィルタ適用部は、補間画素ごとに調整した係数『α＞１』を用いて強調フィルタの係数『Ｂ』を計算し、該当する補間画素に適用する。

このように、実施例１に係る映像信号処理装置は、生成過程を補間画素ごとに示す補間画素生成情報を用いて強調フィルタの係数を補間画素ごとに調整し、強調フィルタを補間画素ごとに適用するので、補間フレームが挿入されたストリームに対して適切な強調処理を行うことが可能になる。

例えば、補間画素の生成された過程において、動きベクトルが補間フレーム上の画素座標を通過しない場合には、生成された補間画素にぼけが生じると考えられる。一方、動きベクトルが補間フレーム上の画素座標を通過する場合には、生成された補間画素にぼけが生じないと考えられる。このように、補間フレームのぼけは補間画素全てについて均一に生じるものではない。この点、実施例１に係る映像信号処理装置は、補間画素の生成された過程から補間画素にぼけが生じるか否かを判別した上で強調フィルタの係数を補間画素ごとに調整する。すると、例えば、停止している文字テロップについては強調しないなど、適切に強調することが可能になる。

［実施例１に係る映像信号処理装置の構成］
次に、図２〜図５を用いて、実施例１に係る映像信号処理装置の構成を説明する。図２は、実施例１に係る映像信号処理装置の構成を示すブロック図である。

図２に示すように、実施例１に係る映像信号処理装置１０は、補間フレーム生成部１１と、強調フィルタ係数調整部１２と、強調フィルタ適用部１３とを備える。

補間フレーム生成部１１は、原画フレーム間を補間する補間フレームを生成するとともに、補間フレームを形成する補間画素が生成された過程を画素ごとに示す補間画素生成情報を生成する。具体的には、補間フレーム生成部１１は、ベクトル探索部１１ａと、補間画素生成部１１ｂとを備える。

ベクトル探索部１１ａは、補間画素生成部１１ｂと接続され、原画フレーム間で動きベクトルを探索する。具体的には、ベクトル探索部１１ａは、入力された原画ストリームの原画フレーム間で動きベクトルを探索し、探索した動きベクトルを補間画素生成部１１ｂに通知する。なお、実施例１においては、ベクトル探索部１１ａは、１フレーム分の動きベクトルを探索してから、１フレーム分の動きベクトルを補間画素生成部１１ｂに通知するものとする。

図３を用いて、ベクトル探索部１１ａによる動きベクトルの探索を説明する。図３は、動きベクトルの探索を説明するための図である。なお、図３における水平方向の実線の内、上および下の実線は動きベクトルの探索に用いられた原画フレームを示し、中の実線は補間フレームを示す。また、垂直方向の点線は、画素の存在する位置である画素座標を示す。

例えば、ベクトル探索部１１ａは、ＭＰＥＧ（Moving Picture Experts Group）で用いられるブロックマッチングによるベクトル探索を用いて、図３に示すように、原画フレーム間で動きベクトルを探索する。すなわち、ベクトル探索部１１ａは、原画フレームをブロック単位に区切り、ブロック単位で動きベクトルを探索する。なお、画素単位で探索してもよい。

ベクトル探索部１１ａによって探索された動きベクトルが左の動きベクトルであるとすると、ベクトル探索部１１ａは、左方向へ動き量３のベクトルを探索している。また、ベクトル探索部１１ａによって探索された動きベクトルが右の動きベクトルであるとすると、ベクトル探索部１１ａは、左方向へ動き量２のベクトルを探索している。ここで、左の動きベクトルは、図３に示すように、補間フレーム上の画素座標を通過しない。一方、右の動きベクトルは、図３に示すように、補間フレーム上の画素座標を通過している。

補間画素生成部１１ｂは、ベクトル探索部１１ａと強調フィルタ係数調整部１２と強調フィルタ適用部１３と接続され、補間フレームを生成するとともに補間画素生成情報を生成する。具体的には、補間画素生成部１１ｂは、ベクトル探索部１１ａから通知された動きベクトルを用いて補間画素を生成するとともに補間画素生成情報を生成する。また、補間画素生成部１１ｂは、１フレーム分の補間画素を生成することで補間フレームを生成すると、生成した補間フレームを強調フィルタ適用部１３に送信する。また、補間画素生成部１１ｂは、１フレーム分の補間画素を生成することで１フレーム分の補間画素生成情報を生成すると、生成した補間画素生成情報を強調フィルタ係数調整部１２に通知する。

まず、図４を用いて、補間画素生成部１１ｂによる補間画素の生成を説明する。図４は、補間画素の生成を説明するための図である。補間画素生成部１１ｂは、ベクトル探索部１１ａから通知された動きベクトルが、補間フレーム上の画素座標を通過する場合には（図３の右の動きベクトルを参照）、実画素を平行移動することで、補間画素を生成する。例えば、補間画素生成部１１ｂは、図４に示すように、動きベクトル『ｍｖ』の大きさを半分にした『ｍｖ／２』ベクトルの始点が画素座標上にある場合には、動きベクトル『ｍｖ』の始点の実画素を平行移動することで、補間画素を生成する。

一方、補間画素生成部１１ｂは、ベクトル探索部１１ａから通知された動きベクトルが、補間フレーム上の画素座標を通過しない場合には（図３の左の動きベクトルを参照）、近傍の実画素を用いて計算することで、補間画素を生成する。例えば、補間画素生成部１１ｂは、図４に示すように、『ｍｖ／２』ベクトルの始点が画素座標上にない場合には、動きベクトル『ｍｖ』の始点の近傍の実画素４画素を用いてバイリニアによる補間計算をすることで、補間画素を生成する。この過程において、補間画素は、ローパスフィルタをかけて生成されることになるので、生成された補間画素にぼけが生じる。

次に、補間画素生成部１１ｂによる補間画素生成情報の生成を説明する。実施例１における補間画素生成部１１ｂは、補間画素生成情報として、「動きベクトルは、補間フレーム上の画素座標を通過した」、もしくは、「動きベクトルは、補間フレーム上の画素座標を通過せず」といった情報を生成する。この情報は、例えば、ベクトル探索部１１ａから通知された動きベクトルを２で割った商が整数であるか否かを判定することで生成される。

なお、例えば、補間画素生成部１１ｂは、補間画素生成情報として、補間画素の生成に用いられた動きベクトルの情報のみを強調フィルタ係数調整部１２に通知してもよい。この場合には、強調フィルタ係数調整部１２側にて、動きベクトルを２で割った商が整数であるか否かを判定し、「動きベクトルは、補間フレーム上の画素座標を通過した」、もしくは、「動きベクトルは、補間フレーム上の画素座標を通過せず」を判定する。

強調フィルタ係数調整部１２は、補間画素生成部１１ｂと強調フィルタ適用部１３と接続され、補間画素生成情報を用いて補間画素に適用すべき強調の度合いを補間画素ごとに判定し、判定した度合いに応じて強調フィルタの係数を補間画素ごとに調整する。具体的には、強調フィルタ係数調整部１２は、補間画素生成部１１ｂから通知された補間画素生成情報を用いて強調の度合いを補間画素ごとに判定し、強調フィルタの係数を補間画素ごとに調整すると、調整した１フレーム分の係数を強調フィルタ適用部１３に通知する。

図５を用いて、強調フィルタ係数調整部１２による強調フィルタの係数の調整を説明する。図５は、強調フィルタの係数の調整を説明するための図である。実施例１においては、例えば、図５の（Ａ）に示す強調フィルタが、強調フィルタ適用部１３によって用いられ、図５の（Ｂ）に示す式によって、強調フィルタの係数『Ｂ』が計算される。『Ｂ』は正数であり、近傍４画素の差分値が強調係数として作用する。強調フィルタ係数調整部１２は、係数『α』を補間画素ごとに調整することで、強調フィルタの係数を補間画素ごとに調整する。

例えば、強調フィルタ係数調整部１２は、補間画素生成情報が、動きベクトルが補間フレーム上の画素座標を通過する場合であることを示す場合に、補間画素に適用すべき強調の度合いを変えないことを判定し、係数『α＝１』に調整する。すると、図５の（Ｂ）に示す式によって計算される強調フィルタの係数『Ｂ』は変わらないので、結果として、補間画素に適用すべき強調の度合いも変わらない。

一方、例えば、強調フィルタ係数調整部１２は、補間画素生成情報が、動きベクトルが補間フレーム上の画素座標を通過しない場合であることを示す場合に、補間画素に適用すべき強調の度合いを強めるべきであることを判定し、係数『α＞１』に調整する。すると、図５の（Ｂ）に示す式によって計算される強調フィルタの係数『Ｂ』は大きな値となるので、結果として、補間画素に適用すべき強調の度合いは強まる。

強調フィルタ適用部１３は、補間画素生成部１１ｂと強調フィルタ係数調整部１２と接続され、補間フレームを形成する補間画素ごとに、補間画素ごとに係数が調整された強調フィルタを適用する。具体的には、強調フィルタ適用部１３は、強調フィルタ係数調整部１２から通知された１フレーム分の係数を用いて、補間画素生成部１１ｂから送信された１フレーム分の補間フレームに対する強調フィルタを補間画素ごとに適用する。

例えば、強調フィルタ適用部１３は、１フレーム分の補間フレームに対して強調フィルタを適用する際に、強調フィルタ係数調整部１２から通知された１フレーム分の係数『α』を用いて１フレーム分の強調フィルタの係数『Ｂ』を補間画素ごとに計算する。そして、強調フィルタ適用部１３は、補間画素ごとに計算した１フレーム分の強調フィルタの係数『Ｂ』を１フレーム分の補間フレームに対して補間画素ごとに適用する。

［実施例１に係る映像信号処理装置による処理手順］
次に、図６および図７を用いて、実施例１に係る映像信号処理装置による処理手順を説明する。図６は、実施例１に係る映像信号処理装置による処理手順を示すシーケンス図であり、図７は、実施例１に係る映像信号処理装置による処理手順を示すフローチャートである。

図６に示すように、実施例１に係る映像信号処理装置１０においては、ベクトル探索部１１ａが、原画フレーム間で動きベクトルを探索し（ステップＳ１０１）、探索した動きベクトルを補間画素生成部１１ｂに通知する（ステップＳ１０２）。

すると、補間画素生成部１１ｂは、補間画素を生成するとともに補間画素生成情報を生成し（ステップＳ１０３）、１フレーム分の補間フレームを生成する（ステップＳ１０４）。そして、補間画素生成部１１ｂは、生成した補間フレームを強調フィルタ適用部１３に送信し（ステップＳ１０５）、生成した補間画素生成情報を強調フィルタ係数調整部１２に通知する（ステップＳ１０６）。

続いて、強調フィルタ係数調整部１２は、通知された補間画素生成情報を用いて補間画素に適用すべき強調の度合いを補間画素ごとに判定し（ステップＳ１０７）、判定した度合いに応じて強調フィルタの係数を補間画素ごとに調整する（ステップＳ１０８）。そして、強調フィルタ係数調整部１２は、調整した強調フィルタの係数を強調フィルタ適用部１３に通知する（ステップＳ１０９）。

一方、強調フィルタ適用部１３は、補間画素生成部１１ｂから送信された補間フレームを形成する補間画素ごとに、強調フィルタ係数調整部１２から通知された係数を用いて強調フィルタを適用する（ステップＳ１１０）。

次に、図７を用いて、実施例１に係る映像信号処理装置１０の処理手順を全体的に説明する。映像信号処理装置１０は、まず、動きベクトルを探索し（ステップＳ２０１）、補間画素生成情報を生成すると（ステップＳ２０２）、動きベクトルを２で割った商が整数であるか否かを判定する（ステップＳ２０３）。映像信号処理装置１０は、動きベクトルを２で割った商が整数であるか否かを判定することで、補間画素が生成された過程を判定し、強調の度合いを強めるべきであるか否かを判定するのである。

そして、動きベクトルを２で割った商が整数である場合（ステップＳ２０３肯定）、補間画素は、実画素を平行移動することで生成されているので、このような補間画素は強調の度合いを強めるべきでない。このため、映像信号処理装置１０は、強調フィルタの係数を『α＝１』に調整する（ステップＳ２０４）。一方、動きベクトルを２で割った商が整数でない場合（ステップＳ２０３否定）、補間画素は、ローパスフィルタをかけて生成されることになるので、このような補間画素は強調の度合いを強めるべきである。このため、映像信号処理装置１０は、強調フィルタの係数を『α＞１』に調整する（ステップＳ２０５）。

その後、映像信号処理装置１０は、強調フィルタの係数『Ｂ』を補間画素ごとに計算し（ステップＳ２０６）、強調フィルタを補間画素ごとに適用する（ステップＳ２０７）。

［実施例１の効果］
上記してきたように、実施例１に係る映像信号処理装置１０は、実在の映像信号で形成される原画フレーム間を補間する補間フレームを生成する。また、補間フレーム生成部１１が、補間フレームを形成する補間画素が生成された過程を補間画素ごとに示す補間画素生成情報を生成する。また、強調フィルタ係数調整部１２が、補間画素生成情報を用いて補間画素に適用すべき強調の度合いを補間画素ごとに判定し、判定した度合いに応じて強調フィルタの係数を補間画素ごとに調整する。そして、強調フィルタ適用部１３が、補間フレームを形成する補間画素ごとに、補間画素ごとに係数が調整された強調フィルタを適用する。

このように、実施例１に係る映像信号処理装置１０は、生成過程を補間画素ごとに示す補間画素生成情報を用いて強調フィルタの係数を補間画素ごとに調整し、強調フィルタを補間画素ごとに適用するので、補間フレームが挿入されたストリームに対して適切な強調処理を行うことが可能になる。

例えば、補間画素の生成された過程において、動きベクトルが補間フレーム上の画素座標を通過しない場合には、生成された補間画素にぼけが生じると考えられる。一方、動きベクトルが補間フレーム上の画素座標を通過する場合には、生成された補間画素にぼけが生じないと考えられる。このように、補間フレームのぼけは補間画素全てについて均一に生じるものではない。この点、実施例１に係る映像信号処理装置１０は、補間フレームにおける補間画素をどのように作ったかという情報を用いて、補間画素にぼけが生じるか否かを判別した上で強調フィルタの係数を補間画素ごとに調整する。すると、例えば、停止している文字テロップについては強調しないなど、適切に強調することが可能になる。

また、実施例１における補間フレーム生成部１１は、補間画素生成情報として、原画フレーム間で探索された動きベクトルが補間フレーム上の画素座標を通過する場合であるか否かを示す情報を生成する。また、強調フィルタ係数調整部１２は、補間画素生成情報が、動きベクトルが補間フレーム上の画素座標を通過しない場合であることを示す場合に、補間画素生成情報によって示される画素に適用すべき強調の度合いを強めるべきであることを判定する。そして、強調フィルタ係数調整部１２は、判定した度合いに応じて係数を調整する。

このように、実施例１に係る映像信号処理装置１０は、補間画素生成情報として、動きベクトルの情報を用いるので、補間画素の生成が動きベクトルの探索によって行われた場合に、補間フレームが挿入されたストリームに対して適切な強調処理を行うことが可能になる。

さて、これまで説明した実施例１に係る映像信号処理装置は、原画フレーム間で一方向に動きベクトルを探索して補間フレームを生成するものであったが、実施例２に係る映像信号処理装置は、双方向に動きベクトルを探索して補間フレームを生成する。このため、実施例２に係る映像信号処理装置は、補間画素が生成された過程に基づいて強調の度合いを判定する際に、探索された２つの動きベクトルの関係をさらに用いる。

実施例２における動きベクトルの探索について、図８を用いて説明する。図８は、実施例２における動きベクトルの探索を説明するための図である。ベクトル探索部１１ａによって探索された動きベクトルが左の動きベクトルであるとすると、二つの動きベクトルの一方が他方の動きベクトルの逆ベクトルの関係になった場合である。また、ベクトル探索部１１ａによって探索された動きベクトルが右の動きベクトルであるとすると、二つの動きベクトルの一方が他方の動きベクトルの逆ベクトルの関係にならなかった場合である。なお、逆ベクトルとは、図８の左に示すように、ベクトルの向きのみが異なる関係にある２つのベクトルのことをいう。

ここで、二つの動きベクトルの一方が他方の動きベクトルの逆ベクトルの関係になった場合には、動きベクトルの信頼性は高いと考えられるので、補間画素生成部１１ｂは、この動きベクトルに基づいて、補間画素を生成する。一方、逆ベクトルの関係にならなかった場合には、動きベクトルの信頼性は低いと考えられるので、補間画素生成部１１ｂは、二つの動きベクトルを用いて生成した補間画素をさらに混合するなどエラーを低減する手法で補間画素を生成する。言い換えると、逆ベクトルの関係にならなかった場合には、補間画素生成部１１ｂは、意図的に、補間画素にぼけを生じさせている。

このため、実施例２における強調フィルタ係数調整部１２は、動きベクトルが補間フレーム上の画素座標を通過する場合であるか否かを判定することに加え、二つの動きベクトルの一方が他方の逆ベクトルの関係になった場合であるか否かをさらに判定する。そして、強調フィルタ係数調整部１２は、補間画素生成情報が逆ベクトルの関係でない場合であることを示す場合には、動きベクトルが画素座標を通過する場合であるか否かに関わらず、補間画素に適用すべき強調の度合いを変えないことを判定する。そして、強調フィルタ係数調整部１２は、係数『α＝１』と調整する。なお、強調の度合いを変えないことを判定するのではなく、強調の度合いを弱めることを判定してもよい。この場合には、強調フィルタ係数調整部１２は、係数『α＜１』と調整する。

この点について、図９を用いて説明する。図９は、実施例２に係る映像信号処理装置による処理手順を示すフローチャートである。映像信号処理装置１０は、まず、動きベクトルを探索し（ステップＳ３０１）、補間画素生成情報を生成すると（ステップＳ３０２）、動きベクトルを２で割った商が整数であるか否かを判定する（ステップＳ３０３）。

そして、動きベクトルを２で割った商が整数である場合（ステップＳ３０３肯定）、補間画素は、実画素を平行移動することで生成されているので、このような補間画素は強調の度合いを強めるべきでない。このため、映像信号処理装置１０は、強調フィルタの係数を『α＝１』に調整する（ステップＳ３０４）。

一方、動きベクトルを２で割った商が整数でない場合（ステップＳ３０３否定）、実施例２に係る映像信号処理装置１０は、さらに、二つの動きベクトルの一方が他方の逆ベクトルの関係になった場合であるか否かをさらに判定する（ステップＳ３０５）。

逆ベクトルの関係になった場合（ステップＳ３０５肯定）、補間画素は強調の度合いを強めるべきであるので、映像信号処理装置１０は、強調フィルタの係数を『α＞１』に調整する（ステップＳ３０６）。一方、逆ベクトルの関係にならなかった場合（ステップＳ３０５否定）、意図的に補間画素にぼけを生じさせているはずであり、補間画素は強調の度合いを強めるべきでないので、映像信号処理装置１０は、『α＝１』に調整する（ステップＳ３０７）。

その後、映像信号処理装置１０は、強調フィルタの係数『Ｂ』を補間画素ごとに計算し（ステップＳ３０８）、強調フィルタを補間画素ごとに適用する（ステップＳ３０９）。

［実施例２の効果］
上記してきたように、実施例２における補間フレーム生成部１１は、動きベクトルが補間フレーム上の画素座標を通過する場合であるか否かを示すとともに、逆ベクトルの関係になった場合であるか否かを示す補間画素生成情報を生成する。また、強調フィルタ係数調整部１２は、補間画素生成情報が、逆ベクトルの関係にならない場合であることを示す場合には、強調の度合いを強めないことを判定し、判定した度合いに応じて係数を調整する。

このように、実施例２に係る映像信号処理装置１０は、補間画素生成情報として、二つの動きベクトルが逆ベクトルの関係になった場合であるか否かを示す情報を用いる。このため、補間画素の生成が双方向の動きベクトルの探索によって行われた場合に、補間フレームが挿入されたストリームに対して適切な強調処理を行うことが可能になる。

［他の実施例］
さて、これまで本発明の実施例１および実施例２について説明してきたが、本発明は上記した実施例以外にも、種々の異なる形態にて実施されてよいものである。

［強調フィルタ］
実施例１および実施例２では、図５の（Ｂ）に示すように、強調フィルタの係数『Ｂ』に固定的な値を用いることを想定していた。しかしながら、本発明はこれに限られるものではなく、強調フィルタの係数『Ｂ』を補間画素ごとに計算し、補間画素ごとに異なる値を用いてもよい。

図１０を用いて簡単に説明する。図１０は、実施例３に係る映像信号処理装置の構成を示すブロック図である。図１０に示すように、実施例３に係る映像信号処理装置２０は、強調フィルタ適用部２３の前段にエッジ検出部２４をさらに備える。なお、図１０に示す補間フレーム生成部２１、強調フィルタ係数調整部２２、強調フィルタ適用部２３は、図２に示す補間フレーム生成部１１、強調フィルタ係数調整部１２、強調フィルタ適用部１３にそれぞれ対応する。

エッジ検出部２４は、補間画素生成部２１ｂから送信された補間フレームに対して、補間フレームを形成する補間画素ごとにエッジ量を補間画素ごとに検出する。このエッジ量検出には、例えば、ラプラシアンオペレータを周辺３×３画素に適用して得ることが知られている。次に、エッジ検出部２４は、検出したエッジ量から強調フィルタの係数『Ｂ』を補間画素ごとに計算する。そして、エッジ検出部２４は、１フレーム分の強調フィルタの係数『Ｂ』を計算すると、補間フレームを強調フィルタ適用部２３に送信するとともに、計算した１フレーム分の強調フィルタの係数『Ｂ』を強調フィルタ適用部２３に通知する。

強調フィルタ適用部２３は、強調フィルタ係数調整部２２から通知された係数『α』を用いて、エッジ検出部２４から通知された強調フィルタの係数『Ｂ』を補間画素ごとに計算する。そして、強調フィルタ適用部２３は、１フレーム分の強調フィルタの係数『Ｂ』を計算すると、補間フレームを形成する補間画素ごとに、計算した強調フィルタの係数『Ｂ』を適用する。

［フレームレート変換装置］
また、上記してきた映像信号処理装置は、例えば、図１１および図１２に示すように、フレームレート変換装置の一部として実施されてもよい。すなわち、図１１に示すように、例えば、フレームレート変換装置１００は、補間フレーム生成部１１０、強調フィルタ係数調整部１２０、強調フィルタ適用部１３０の他に、原画フレーム入力受付部１０１や補間フレーム挿入部１０２、出力部１０３を備えている。なお、図１１に示す補間フレーム生成部１１０、強調フィルタ係数調整部１２０、強調フィルタ適用部１３０は、図２に示す補間フレーム生成部１１、強調フィルタ係数調整部１２、強調フィルタ適用部１３にそれぞれ対応する。

原画フレーム入力受付部１０１は、原画フレームの映像ストリームの入力を受け付け、入力を受け付けた原画フレームをベクトル探索部１１０ａに送信する。また、原画フレーム入力受付部１０１は、入力を受け付けた原画フレームを補間フレーム挿入部１０２にも送信する。補間フレーム挿入部１０２は、原画フレーム入力受付部１０１から送信された原画フレーム間に、強調フィルタ適用部１３０によって強調フィルタを適用された補間フレームを挿入し、出力部１０３に送信する。出力部１０３は、補間フレーム挿入部１０２によって補間フレームを挿入された映像ストリームを出力する。

なお、拡大などの目的でも強調フィルタを適用する必要がある場合には、フレームレート変換装置は、例えば、図１２に示すように実施されてもよい。すなわち、図１２に示すように、例えば、フレームレート変換装置２００は、強調フィルタ適用部２３０の前段に補間フレーム挿入部２０２を備えてもよい。なお、図１２に示す補間フレーム生成部２１０、強調フィルタ係数調整部２２０、強調フィルタ適用部２３０は、図２に示す補間フレーム生成部１１、強調フィルタ係数調整部１２、強調フィルタ適用部１３にそれぞれ対応する。

補間フレーム挿入部２０２は、原画フレーム入力受付部２０１から送信された原画フレーム間に、補間画素生成部２１０ｂによって生成された補間フレームを挿入し、強調フィルタ適用部２３０に送信する。強調フィルタ適用部２３０は、補間画素ごとに係数が調整された強調フィルタを適用するので、原画フレームに対しては、結果として、係数が調整されていない強調フィルタ（『α＝１』）を適用することになる。そして、強調フィルタ適用部２３０は、強調フィルタを適用した映像ストリームを出力部２０３に送信する。出力部２０３は、補間フレームを挿入された映像ストリームであって、強調フィルタを適用された映像ストリームを出力する。

このように、強調フィルタ適用部２３０は、拡大などの目的で強調フィルタを適用する従来の強調フィルタ適用部としての機能も共用するので、その分コストを抑えることも可能になる。

［強調の度合い］
また、上記の実施例１および実施例２では、強調を強めないべきであるか、強調を強めるべきであるかのいずれであるかを判定して係数を調整する事例を説明してきた。しかしながら、本発明はこれに限られるものではない。例えば、双方向の動きベクトルが逆ベクトルの関係にない場合には、強調を弱めるべきと判定して、『α＜１』に係数を調整してもよい。

［システム構成等］
上記文書中や図面中で示した処理手順（図６、図７、図９など）、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示（図２、図１０、図１１、図１２など）の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［映像信号処理プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１３を用いて、上記の実施例と同様の機能を有する映像信号処理プログラムを実行するコンピュータの一例を説明する。図１３は、映像信号処理プログラムを実行するコンピュータを示す図である。

図１３に示すように、映像信号処理プログラム（コンピュータ）３０は、キャッシュ３１、ＲＡＭ（Random Access Memory）３２、ＨＤＤ（Hard Disk Drive）３３、ＲＯＭ（Read Only Memory）３４およびＣＰＵ３５をバス３６で接続して構成される。ここで、ＲＯＭ３４には、上記の実施例と同様の機能を発揮する映像信号処理プログラム、つまり、図１３に示すように、ベクトル探索プログラム３４ａ、補間画素生成プログラム３４ｂ、強調フィルタ係数調整プログラム３４ｃ、強調フィルタ適用プログラム３４ｄが備えられる。

そして、ＣＰＵ３５は、これらのプログラム３４ａ〜３４ｄを読み出して実行することで、図１３に示すように、各プログラム３４ａ〜３４ｄは、ベクトル探索プロセス３５ａ、補間画素生成プロセス３５ｂ、強調フィルタ係数調整プロセス３５ｃ、強調フィルタ適用プロセス３５ｄとなる。なお、各プロセス３５ａ〜３５ｄは、図２に示した、ベクトル探索部１１ａ、補間画素生成部１１ｂ、強調フィルタ係数調整部１２、強調フィルタ適用部１３にそれぞれ対応する。

ところで、上記した各プログラム３４ａ〜３４ｄについては、必ずしもＲＯＭ３４に記憶させておく必要はなく、例えば、コンピュータ３０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータ３０の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などを介してコンピュータ３０に接続される「他のコンピュータ（またはサーバ）」に記憶させておき、コンピュータ３０がこれらからプログラムを読み出して実行するようにしてもよい。

実施例１に係る映像信号処理装置の概要を説明するための図である。 実施例１に係る映像信号処理装置の構成を示すブロック図である。 動きベクトルの探索を説明するための図である。 補間画素の生成を説明するための図である。 強調フィルタの係数の調整を説明するための図である。 実施例１に係る映像信号処理装置による処理手順を示すシーケンス図である。 実施例１に係る映像信号処理装置による処理手順を示すフローチャートである。 実施例２における動きベクトルの探索を説明するための図である。 実施例２に係る映像信号処理装置による処理手順を示すフローチャートである。 実施例３に係る映像信号処理装置の構成を示すブロック図である。 フレームレート変換装置を説明するための図である。 フレームレート変換装置を説明するための図である。 映像信号処理プログラムを実行するコンピュータを示す図である。 従来の技術を説明するための図である。

符号の説明

１０ 映像信号処理装置
１１ 補間フレーム生成部
１１ａ ベクトル探索部
１１ｂ 補間画素生成部
１２ 強調フィルタ係数調整部
１３ 強調フィルタ適用部
２０ 映像信号処理装置
２１ 補間フレーム生成部
２１ａ ベクトル探索部
２１ｂ 補間画素生成部
２２ 強調フィルタ係数調整部
２３ 強調フィルタ適用部
２４ エッジ検出部
３０ コンピュータ（映像信号処理プログラム）
３１ キャッシュ
３２ ＲＡＭ
３３ ＨＤＤ
３４ ＲＯＭ
３５ ＣＰＵ
３６ バス
１００ フレームレート変換装置
１０１ 原画フレーム入力受付部
１０２ 補間フレーム挿入部
１０３ 出力部
１１０ 補間フレーム生成部
１２０ 強調フィルタ係数調整部
１３０ 強調フィルタ適用部
２００ フレームレート変換装置
２０１ 原画フレーム入力受付部
２０２ 補間フレーム挿入部
２０３ 出力部
２１０ 補間フレーム生成部
２２０ 強調フィルタ係数調整部
２３０ 強調フィルタ適用部

Claims (5)

1. 実在の映像信号で形成される原画フレーム間を補間する補間フレームを生成する映像信号処理装置であって、
   補間フレームを形成する画素を生成するために、原画フレーム間で探索された動きベクトルが補間フレーム上の画素座標を通過する場合であるか否かを示す情報を画素ごとに生成する画素情報生成手段と、
   前記画素情報生成手段によって生成された情報が、動きベクトルが補間フレーム上の画素座標を通過しない場合であることを示す場合に、当該情報によって示される画素に適用すべき強調の度合いを強めるべきであることを画素ごとに判定し、判定した度合いに応じて強調フィルタの係数を画素ごとに調整する係数調整手段と、
   前記補間フレームを形成する画素ごとに、前記係数調整手段によって画素ごとに係数が調整された強調フィルタを適用する強調フィルタ適用手段と、
   を備えたことを特徴とする映像信号処理装置。
2. 前記映像信号処理装置は、原画フレーム間で双方向に動きベクトルを探索して補間フレームを生成するものであって、
   前記画素情報生成手段は、前記情報として、原画フレーム間で探索された動きベクトルが補間フレーム上の画素座標を通過する場合であるか否かを示すとともに、原画フレーム間で双方向に探索された二つの動きベクトルの一方が他方の動きベクトルの逆ベクトルの関係になった場合であるか否かを示す情報を生成し、
   前記係数調整手段は、前記情報が、逆ベクトルの関係にならない場合であることを示す場合には、当該情報が、動きベクトルが補間フレーム上の画素座標を通過しない場合であることを示す場合であっても、前記強調の度合いを強めないことを判定し、判定した度合いに応じて係数を調整することを特徴とする請求項１に記載の映像信号処理装置。
3. 実在の映像信号で形成される原画フレーム間を補間する補間フレームを生成する映像信号処理方法であって、
   コンピュータが、
   補間フレームを形成する画素を生成するために、原画フレーム間で探索された動きベクトルが補間フレーム上の画素座標を通過する場合であるか否かを示す情報を画素ごとに生成する画素情報生成工程と、
   前記画素情報生成工程によって生成された情報が、動きベクトルが補間フレーム上の画素座標を通過しない場合であることを示す場合に、当該情報によって示される画素に適用すべき強調の度合いを強めるべきであることを画素ごとに判定し、判定した度合いに応じて強調フィルタの係数を画素ごとに調整する係数調整工程と、
   前記補間フレームを形成する画素ごとに、前記係数調整工程によって画素ごとに係数が調整された強調フィルタを適用する強調フィルタ適用工程と、
   を含んだことを特徴とする映像信号処理方法。
4. 実在の映像信号で形成される原画フレーム間を補間する補間フレームを生成する映像信号処理方法をコンピュータに実行させる映像信号処理プログラムであって、
   補間フレームを形成する画素を生成するために、原画フレーム間で探索された動きベクトルが補間フレーム上の画素座標を通過する場合であるか否かを示す情報を画素ごとに生成する画素情報生成手順と、
   前記画素情報生成手順によって生成された情報が、動きベクトルが補間フレーム上の画素座標を通過しない場合であることを示す場合に、当該情報によって示される画素に適用すべき強調の度合いを強めるべきであることを画素ごとに判定し、判定した度合いに応じて強調フィルタの係数を画素ごとに調整する係数調整手順と、
   前記補間フレームを形成する画素ごとに、前記係数調整手順によって画素ごとに係数が調整された強調フィルタを適用する強調フィルタ適用手順と、
   をコンピュータに実行させることを特徴とする映像信号処理プログラム。
5. 原画フレームに補間フレームを挿入してフレームレートを変換するフレームレート変換装置であって、
   原画フレームを補間する補間フレームを生成する補間フレーム生成手段と、
   補間フレームを形成する画素を生成するために、原画フレーム間で探索された動きベクトルが補間フレーム上の画素座標を通過する場合であるか否かを示す情報を画素ごとに生成する画素情報生成手段と、
   前記画素情報生成手段によって生成された情報が、動きベクトルが補間フレーム上の画素座標を通過しない場合であることを示す場合に、当該情報によって示される画素に適用すべき強調の度合いを強めるべきであることを画素ごとに判定し、判定した度合いに応じて強調フィルタの係数を画素ごとに調整する係数調整手段と、
   前記補間フレーム生成手段によって生成された補間フレームを形成する画素ごとに、前記係数調整手段によって画素ごとに係数が調整された強調フィルタを適用する強調フィルタ適用手段と、
   前記強調フィルタ適用手段によって強調フィルタを適用された補間フレームを原画フレーム間に挿入する補間フレーム挿入手段と、
   を備えたことを特徴とするフレームレート変換装置。

Images