JP5880116B2 - 映像信号処理装置及び方法 - Google Patents

Description

本発明は、映像信号を処理する映像信号処理装置及び方法に係り、特に、動きベクトルに基づいて補間画素を生成する補間処理を改良した映像信号処理装置及び方法に関する。

液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させるため、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上の垂直周波数に変換して画像表示することが行われている。フレームレート変換を行う映像信号処理装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。フレームレート変換を行う映像信号処理装置は、一例として特許文献１に記載されている。

特開２００８−１４１５４６号公報

動きベクトルに基づいて補間画素を生成し、補間フレームを生成する映像信号処理装置において、補間精度を向上させて高画質のフレームレート変換画像を得るには、補間処理の範囲を広くすることが有効である。即ち、画像の動きが大きい場合でも適切な実フレームの画素を用いて補間画素を生成することが必要である。ところが、補間処理の範囲を広くするには、映像信号を垂直方向に遅延させるラインメモリや、映像信号を水平方向に遅延させる画素遅延器の数を増加させなければならない。ラインメモリや画素遅延器の数を増加させると、回路規模が大きくなり、コストが高くなってしまう。特にラインメモリの増加は回路規模の増大及びコストアップに大きく影響する。そこで、ラインメモリの増加を抑えつつ、補間処理の範囲を拡大することが望まれている。

本発明はこのような要望に対応するため、ラインメモリの増加を抑えつつ、補間処理の範囲を拡大することができ、画像の垂直方向の動きが大きい場合でも動きベクトルに基づいて適切な補間画素を生成することができる映像信号処理装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、入力映像信号を１フレーム期間または複数ライン期間遅延させて第１の遅延映像信号として出力する第１の遅延部（２）と、前記第１の遅延映像信号を１フレーム期間遅延させて第２の遅延映像信号として出力する第２の遅延部（３）と、前記入力映像信号のフレームを水平方向の複数の領域に分割した前記複数の領域それぞれにおいて、前記第１の遅延映像信号の画素データを水平及び垂直方向に順次遅延させて、補間画素データを生成する際に用いる第１の参照範囲に含まれる複数の画素データを生成して、前記複数の画素データからいずれかを選択する第１の遅延選択部（６２）と、前記複数の領域それぞれにおいて、前記第２の遅延映像信号の画素データを水平及び垂直方向に順次遅延させて、前記補間画素データを生成する際に用いる第２の参照範囲に含まれる複数の画素データを生成して、前記複数の画素データからいずれかを選択する第２の遅延選択部（６３）と、前記複数の領域それぞれにおいて、前記補間画素データを生成する際に用いる動きベクトルの垂直成分の大きさを複数のクラスに区切り、動きベクトルの垂直成分がそれぞれのクラスでどのような出現回数の度数で発生しているかを検出する度数分布モニタ部（４Ｌ，４Ｒ）と、前記複数の領域それぞれにおいて、前記度数分布モニタ部で検出した動きベクトルの垂直成分が、予め定めた特定のクラスで所定の閾値を越えている場合に、前記第１の遅延部から前記第１の遅延映像信号を読み出す際の垂直方向の読み出しアドレスをシフトさせる第１のオフセット信号を生成して前記第１の遅延部に供給し、前記第２の遅延部から前記第２の遅延映像信号を読み出す際の垂直方向の読み出しアドレスをシフトさせる第２のオフセット信号を生成して前記第２の遅延部に供給するオフセット制御部（５Ｌ，５Ｒ）と、前記複数の領域それぞれにおいて、前記第１のオフセット信号に基づいて前記第１の遅延選択部が選択する画素データを垂直方向にシフトさせ、前記第２のオフセット信号に基づいて前記第２の遅延選択部が選択する画素データを垂直方向にシフトさせるよう制御する選択制御部（６１）とを備えることを特徴とする映像信号処理装置を提供する。

上記の映像信号処理装置において、前記オフセット制御部は、前記第１のオフセット信号として、前記第１の遅延部における垂直方向の読み出しアドレスを第１の方向にシフトさせるオフセット信号を生成し、前記第２のオフセット信号として、前記第２の遅延部における垂直方向の読み出しアドレスを前記第１の方向とは反対側の第２の方向にシフトさせるオフセット信号を生成し、前記選択制御部は、前記第１の遅延選択部が選択する画素データを第１の垂直方向にシフトさせ、前記第２のオフセット信号に基づいて前記第２の遅延選択部が選択する画素データを前記第１の垂直方向とは反対側の第２の垂直方向にシフトさせるよう前記第１及び第２の遅延選択部を制御することが好ましい。
上記の映像信号処理装置において、前記オフセット制御部は、前記特定のクラスを、前記第１及び第２のオフセット信号によって前記第１及び第２の遅延部における読み出しアドレスをシフトさせず、前記選択制御部によって前記第１及び第２の遅延選択部が選択する画素データをシフトさせない状態としたときに、動きベクトルの垂直成分の大きさに応じた画素データが前記第１及び第２の参照範囲外となるクラスに設定していることが好ましい。

また、本発明は、上述した従来の技術の課題を解決するため、入力映像信号を第１の遅延部によって１フレーム期間または複数ライン期間遅延させて第１の遅延映像信号として出力し、前記第１の遅延映像信号を第２の遅延部によって１フレーム期間遅延させて第２の遅延映像信号として出力し、前記入力映像信号のフレームを水平方向の複数の領域に分割した前記複数の領域それぞれにおいて、前記第１の遅延映像信号の画素データを水平及び垂直方向に順次遅延させて、補間画素データを生成する際に用いる第１の参照範囲に含まれる複数の画素データを生成し、前記複数の領域それぞれにおいて、前記第２の遅延映像信号の画素データを水平及び垂直方向に順次遅延させて、前記補間画素データを生成する際に用いる第２の参照範囲に含まれる複数の画素データを生成し、前記複数の領域それぞれにおいて、前記補間画素データを生成する際に用いる動きベクトルの垂直成分の大きさを複数のクラスに区切り、動きベクトルの垂直成分がそれぞれのクラスでどのような出現回数の度数で発生しているかを検出し、前記複数の領域それぞれにおいて、動きベクトルの垂直成分が、予め定めた特定のクラスで所定の閾値を越えている場合に、第１のオフセット信号に基づいて前記第１の遅延部から前記第１の遅延映像信号を読み出す際の垂直方向の読み出しアドレスをシフトし、第２のオフセット信号に基づいて前記第２の遅延部から前記第２の遅延映像信号を読み出す際の垂直方向の読み出しアドレスをシフトし、前記複数の領域それぞれにおいて、前記第１のオフセット信号に基づいて、前記第１の参照範囲内の複数の画素データから第１の画素データを選択して読み出す際の垂直方向の位置をシフトし、前記第２のオフセット信号に基づいて、前記第２の参照範囲内の複数の画素データから第２の画素データを選択して読み出す際の垂直方向の位置をシフトし、前記複数の領域それぞれにおいて、前記第１の参照範囲から読み出した前記第１の画素データと、前記第２の参照範囲から読み出した前記第２の画素データとに基づいて補間画素データを生成することを特徴とする映像信号処理方法を提供する。

上記の映像信号処理方法において、前記第１のオフセット信号に基づいて、前記第１の遅延部における垂直方向の読み出しアドレスを第１の方向にシフトし、前記第２のオフセット信号に基づいて、前記第２の遅延部における垂直方向の読み出しアドレスを前記第１の方向とは反対側の第２の方向にシフトし、前記第１のオフセット信号に基づいて、前記第１の参照範囲内の複数の画素データから画素データを読み出す位置を第１の垂直方向にシフトして前記第１の画素データを読み出し、前記第２のオフセット信号に基づいて、前記第２の参照範囲内の複数の画素データから画素データを読み出す位置を前記第１の垂直方向とは反対側の第２の垂直方向にシフトして前記第２の画素データを読み出すことが好ましい。
上記の映像信号処理方法において、前記特定のクラスを、前記第１及び第２の遅延部における読み出しアドレスをシフトせず、前記第１及び第２の参照範囲内の複数の画素データから画素データを読み出す位置をシフトしない状態としたときに、動きベクトルの垂直成分の大きさに応じた画素データが前記第１及び第２の参照範囲外となるクラスに設定していることが好ましい。

本発明の映像信号処理装置及び方法によれば、ラインメモリの増加を抑えつつ、補間処理の範囲を拡大することができ、画像の垂直方向の動きが大きい場合でも動きベクトルに基づいて適切な補間画素を生成することができる。

第１実施形態を示すブロック図である。 動きベクトルを説明するための図である。 度数分布モニタ部４が検出する度数分布のヒストグラムの例を示す図である。 遅延選択部６２，６３の具体的構成例を示すブロック図である。 フレームメモリ２，３における垂直方向の読み出しアドレスをシフトしない場合の補間画素生成動作を説明するための概念図である。 フレームメモリ２，３における垂直方向の読み出しアドレスをシフトした場合の補間画素生成動作を説明するための概念図である。 フレームメモリ２，３における垂直方向の読み出しアドレスのシフトを説明するための図である。 図１の変形構成を示す部分ブロック図である。 第２実施形態を示すブロック図である。 第２実施形態における動きベクトルを説明するための図である。 第２実施形態における動作を説明するための図である。 第３実施形態を示すブロック図である。 ２−３プルダウンの映像信号及びデジャダ処理を説明するための図である。 デジャダ処理の画素補間を説明するための図である。 第４実施形態を示すブロック図である。 第５実施形態を示すブロック図である。 第５実施形態において、度数分布モニタ部４Ｌ，４Ｒが検出する度数分布のヒストグラムの例を示す図である。 左領域において、フレームメモリ２，３における垂直方向の読み出しアドレスをシフトした場合の補間画素生成動作を説明するための概念図である。 右領域において、フレームメモリ２，３における垂直方向の読み出しアドレスをシフトした場合の補間画素生成動作を説明するための概念図である。 左領域及び右領域において、フレームメモリ２，３における垂直方向の読み出しアドレスをシフトしない場合の補間画素生成動作を説明するための概念図である。

以下、本発明の映像信号処理装置及び方法の各実施形態について、添付図面を参照して説明する。以下詳述する第１，第２，第４，第５実施形態は、映像信号処理装置の一例として、垂直周波数６０Ｈｚのフレームレートを１２０Ｈｚに変換するフレームレート変換装置を示している。第３実施形態は、フレームレートを変換せず、フィルム画像に基づいて生成された映像信号の動きを滑らかにする、いわゆるデジャダ処理を行うデジャダ処理装置を例にしている。映像信号処理装置としては、動きベクトルに基づいて補間画素を生成するものであればよい。フレームレートを４倍またはそれ以上に変換するフレームレート変換装置であってもよい。

＜第１実施形態＞
図１〜図８を用いて第１実施形態の構成及び動作について説明する。図１において、動きベクトル検出部１及びフレームメモリ２には入力映像信号Ｓ０を構成する各画素データが順次入力される。入力映像信号Ｓ０の垂直周波数は６０Ｈｚである。フレームメモリ２は入力映像信号Ｓ０を１フレーム期間遅延させて映像信号（第１の遅延映像信号）Ｓ１として出力する。映像信号Ｓ１は動きベクトル検出部１，フレームメモリ３，補間画素生成部６内の遅延選択部６２に入力される。フレームメモリ３は、映像信号Ｓ１を１フレーム期間遅延させて映像信号（第２の遅延映像信号）Ｓ２として出力する。映像信号Ｓ２は補間画素生成部６内の遅延選択部６３に入力される。

動きベクトル検出部１は、入力映像信号Ｓ０及び映像信号Ｓ１それぞれの所定の水平方向及び垂直方向の複数画素よりなる探索範囲間の画素のレベルを比較して、差分が最も小さい方向を動きベクトルＭＶとして出力する。動きベクトル検出部１は、複数のラインメモリ及びフリップフロップ等の複数の画素遅延器を含む。動きベクトル検出部１としては公知の構成を採用すればよいので、動きベクトル検出部１の具体的構成は省略する。ここでは隣接する２フレームの複数画素を用いて動きベクトルＭＶを検出しているが、検出精度を向上させるため３フレーム以上の複数画素を用いて動きベクトルＭＶを検出してもよい。

動きベクトル検出部１より出力された動きベクトルＭＶは、度数分布モニタ部４及び補間画素生成部６内の選択制御部６１に入力される。図２において、映像信号Ｓ１が実フレームｆ１であり、映像信号Ｓ２が実フレームｆ２であるとする。実フレームｆ１，ｆ２間に、補間フレームｆ１２を内挿するとする。動きベクトル検出部１は、一例として、実フレームｆ２の画素を基準として動きベクトルＭＶを検出する。図２に示すように、実フレームｆ１上には画素Ｐf1(-2)，Ｐf1(-1)，Ｐf1(0)，Ｐf1(1)，Ｐf1(2)…が配列しており、実フレームｆ２上には画素Ｐf2(-2)，Ｐf2(-1)，Ｐf2(0)，Ｐf2(1)，Ｐf2(2)…が配列している。補間フレームｆ１２の補間画素Ｐf12(0)を生成する際の動きベクトルＭＶが図示のようなベクトルであったとする。

図２において、補間画素Ｐf12(0)を生成するには、実フレームｆ１上の画素Ｐf1(-2)と実フレームｆ２上の画素Ｐf2(2)との平均を取ればよい。後述する補間画素生成部６は、補間画素を生成する際に、実フレームｆ２の画素を基準とした動きベクトルＭＶをそのまま用いない。補間画素生成部６は、動きベクトルＭＶを、補間画素Ｐf12(0)を基準とした実フレームｆ１と補間フレームｆ１２との間の動きベクトルＭＶ／２と、補間画素Ｐf12(0)を基準とした実フレームｆ２と補間フレームｆ１２との間の動きベクトル−ＭＶ／２とに変換して、動きベクトルＭＶ／２，−ＭＶ／２を用いる。

度数分布モニタ部４は、動きベクトルＭＶを例えばフレーム単位でモニタして、動きベクトルＭＶの垂直成分がどのような大きさでどのように分布しているかを検出する。例えば、図３のヒストグラムに示すように、動きベクトルＭＶの垂直成分が取る範囲を一定範囲ずつ区切ってクラスとし、それぞれのクラスの１フレームにおける出現回数を度数とする。図３に示す例は、動きベクトルＭＶの垂直成分が８〜−８の範囲を取り、２ずつの範囲で区切ってクラスとしている。クラスの数字は、動きベクトルＭＶの垂直成分である画素数（ライン数）を示している。なお、動きベクトルＭＶの垂直成分は、映像信号Ｓ１の実フレームｆ１から映像信号Ｓ２の実フレームｆ２を見たときの垂直方向上側に向かう場合を正方向、下側に向かう場合を負方向としている。

１フレーム内で検出した全ての動きベクトルＭＶに基づいてそれぞれのクラスの出現回数をカウントしてもよいし、動きベクトルＭＶを間引いて出現回数をカウントしてもよい。なお、１フレーム内の全画素に対してそれぞれ動きベクトルＭＶを求めてもよいし、複数画素単位で動きベクトルＭＶを求めてもよい。

度数分布モニタ部４は、図３のようにして求めた度数分布を示すデータＳｆｄをオフセット制御部５に供給する。オフセット制御部５は、図３に示す度数分布の特定のクラスＣＬspで度数が閾値ｙを越えた場合に、絶対値が０を超える所定のオフセット量を示すオフセット信号Ｓos1，Ｓos2を生成する。オフセット制御部５は、閾値ｙを越えない場合には、オフセット量０を示すオフセット信号Ｓos1，Ｓos2を出力する。オフセット量については後に詳述する。

後述するように、補間画素生成部６内の遅延選択部６２，６３は、入力された画素データを水平方向に１〜４画素遅延させ、垂直方向に１〜４ライン遅延させるようになっている。即ち、遅延選択部６２，６３は、映像信号Ｓ１，Ｓ２における水平方向に５画素、垂直方向に５画素の範囲の画素データから所定の画素データを選択するようになっている。オフセット制御部５で設定する特定のクラスＣＬspは、動きベクトルＭＶ（ＭＶ／２，−ＭＶ／２）に基づいて補間画素データを生成するための所定の画素データを遅延選択部６２，６３によって選択する際に、選択できない範囲となってしまうクラスとすることが好ましい。

第１実施形態では、選択できない範囲となってしまうクラスは、５，６のクラス、７，８のクラス、−５，−６のクラス、−７，−８のクラスであり、ここでは特定のクラスＣＬspを７，８のクラスと−７，−８のクラスとしている。図３の例は、７，８のクラスで閾値ｙを越えている状態を示している。５，６のクラスと−５，−６のクラスを特定のクラスとしてもよいし、５，６のクラス、７，８のクラス、−５，−６のクラス、−７，−８のクラスの全てを特定のクラスとしてもよい。

５，６のクラス、７，８のクラス、−５，−６のクラス、−７，−８のクラスを特定のクラスＣＬspとする場合、５，６のクラスにおける度数と７，８のクラスにおける度数とを合わせた度数が閾値ｙを越えるか、−５，−６のクラスにおける度数と−７，−８のクラスにおける度数とを合わせた度数が閾値ｙを越えた場合に、所定のオフセット量を示すオフセット信号Ｓos1，Ｓos2を生成するようにしてもよい。

オフセット信号Ｓos1はフレームメモリ２に入力され、オフセット信号Ｓos2はフレームメモリ３に入力される。オフセット信号Ｓos1，Ｓos2は、選択制御部６１にも入力される。

ここで、図４を用いて遅延選択部６２，６３の具体的構成及び動作について説明する。遅延選択部６２，６３は、ラインメモリ６０１〜６０４，画素遅延器であるフリップフロップ６０５〜６２４，選択部６２５を備える。映像信号Ｓ１，Ｓ２の画素データはラインメモリ６０１〜６０４によって１ライン期間ずつ順次遅延される。入力された画素データは、フリップフロップ６０５〜６０８によって１画素期間ずつ順次遅延される。ラインメモリ６０１より出力された画素データは、フリップフロップ６０９〜６１２によって１画素期間ずつ順次遅延される。ラインメモリ６０２より出力された画素データは、フリップフロップ６１３〜６１６によって１画素期間ずつ順次遅延される。ラインメモリ６０３より出力された画素データは、フリップフロップ６１７〜６２０によって１画素期間ずつ順次遅延される。ラインメモリ６０４より出力された画素データは、フリップフロップ６２１〜６２４によって１画素期間ずつ順次遅延される。

入力された画素データと、ラインメモリ６０１〜６０４より出力された画素データと、フリップフロップ６０５〜６２４より出力された画素データは、選択部６２５に入力される。選択部６２５に入力される画素データは、映像信号Ｓ１，Ｓ２における水平方向に５画素、垂直方向に５画素の範囲に含まれる計２５画素の画素データである。フリップフロップ６１４より出力された画素データが２５画素の画素データにおける中央の画素データであり、フリップフロップ６１４より出力された画素データの位置が基準位置となる。

第１実施形態では、遅延選択部６２，６３は補間画素データを生成する際の参照範囲として２５画素の画素データからそれぞれ１つの画素データを選択するようにしているが、参照範囲は２５画素に限定されるものではない。さらに多くのラインメモリ及びフリップフロップを備えて２５画素より多いそれぞれの参照範囲内の画素より１つの画素データを選択してもよい。

まず、動きベクトルＭＶの垂直成分が例えば４画素（４ライン）の場合について説明する。前述のように、補間画素生成部６で補間画素データを生成する際に使用する動きベクトルは動きベクトルＭＶ／２，−ＭＶ／２であるから、動きベクトルＭＶの垂直成分が４画素の場合、補間画素生成部６で使用する動きベクトルの垂直成分は＋２画素，−２画素となる。図４より分かるように、遅延選択部６２，６３は、フリップフロップ６１４より出力された画素データの位置を基準位置とした場合、＋２画素，−２画素垂直方向にシフトした位置の画素データを選択することが可能である。即ち、動きベクトルＭＶの垂直成分が４画素以内であれば、フリップフロップ６１４より出力された画素データの位置を基準位置としたままで画素データを選択することができる。

次に、動きベクトルＭＶの垂直成分が例えば８画素（８ライン）の場合について説明する。動きベクトルＭＶの垂直成分が８画素の場合、補間画素生成部６で使用する動きベクトルの垂直成分は＋４画素，−４画素となる。図４より分かるように、遅延選択部６２，６３は、フリップフロップ６１４より出力された画素データの位置を基準位置とした場合、＋４画素，−４画素垂直方向にシフトした位置の画素データを選択することはできない。そこで、第１実施形態においては、特定のクラスＣＬspである７，８のクラスと−７，−８のクラスの少なくとも一方のクラスで度数が閾値ｙを越えた場合に、遅延選択部６２，６３によって動きベクトルＭＶの垂直成分に対応した画素データを選択して出力することができるよう次のように構成している。

オフセット制御部５がオフセット量を求める基準としての動きベクトルＭＶの垂直成分を８画素とする。遅延選択部６２，６３で＋４画素，−４画素垂直方向にシフトした位置の画素データを選択するためには、フリップフロップ６１４より出力された画素データの位置を基準位置とした場合の垂直方向の画素データの選択範囲が＋２画素，−２画素であるから、オフセット信号Ｓos1のオフセット量を２、オフセット信号Ｓos2のオフセット量を−２とすればよい。オフセット量２を示すオフセット信号Ｓos1はフレームメモリ２に入力され、オフセット量−２を示すオフセット信号Ｓos2はフレームメモリ３に入力される。フレームメモリ２，３は、入力されたオフセット量に応じて映像信号Ｓ１，Ｓ２を読み出す際の垂直方向の読み出しアドレスをシフトする。

選択制御部６１は、入力されたオフセット信号Ｓos1，Ｓos2のオフセット量に応じて選択制御信号Ｓsel1，Ｓsel2を生成して遅延選択部６２，６３に入力する。図４に示すように、選択制御信号Ｓsel1，Ｓsel2は選択部６２５に入力される。オフセット信号Ｓos1，Ｓos2のオフセット量が０であれば、選択制御部６１は、遅延選択部６２，６３の選択部６２５に対して、フリップフロップ６１４より出力された画素データの位置を基準位置として、動きベクトルＭＶ／２，−ＭＶ／２に基づいて画素データを選択させるような選択制御信号Ｓsel1，Ｓsel2を生成して供給する。

一方、オフセット信号Ｓos1のオフセット量が２であれば、選択制御部６１は、遅延選択部６２の選択部６２５に対して、フリップフロップ６２２より出力された画素データの位置を基準位置として、動きベクトルＭＶ／２に基づいて画素データを選択させるような選択制御信号Ｓsel1を生成して供給する。また、オフセット信号Ｓos2のオフセット量が−２であれば、選択制御部６１は、遅延選択部６３の選択部６２５に対して、フリップフロップ６０６より出力された画素データの位置を基準位置として、動きベクトル−ＭＶ／２に基づいて画素データを選択させるような選択制御信号Ｓsel2を生成して供給する。

選択制御部６１は、オフセット信号Ｓos1，Ｓos2のオフセット量に応じて、遅延選択部６２，６３における基準とする垂直方向の画素データの位置をシフトさせる。結果として、選択部６２５が動きベクトルＭＶ／２，−ＭＶ／２に応じて選択して出力する画素データは、垂直方向にシフトされることになる。

遅延選択部６２の選択部６２５からは選択した画素データＰsel1が出力され、遅延選択部６３の選択部６２５からは選択した画素データＰsel2が出力される。混合部６４は、画素データＰsel1，Ｐsel2を混合して補間画素データＰｉを生成する。混合部６４は、画素データＰsel1，Ｐsel2の平均を取るよう両者を混合すればよい。補間画素データＰｉは図２における補間画素Ｐf12(0)に相当する。

映像信号Ｓ１は実フレーム信号として時系列変換メモリ７に入力され、混合部６４より順次出力される補間画素データＰｉは補間フレーム信号として時系列変換メモリ７に入力される。時系列変換メモリ７は実フレーム信号の画素データと補間フレーム信号の補間画素データＰｉとを垂直周波数１２０Ｈｚで交互に読み出すことによって、フレームレート変換した映像信号を出力する。

図５，図６を用いて、フレームメモリ２，３における垂直方向の読み出しアドレスのシフトについて説明する。図５は、オフセット信号Ｓos1，Ｓos2のオフセット量が０の場合の補間画素生成を概念的に示している。補間フレームｆ１２内の画素として補間画素Ｐf12(0)を生成する場合、映像信号Ｓ１のフレームｆ１で参照する画素は参照範囲である領域Ａrf1内の画素であり、映像信号Ｓ２のフレームｆ２で参照する画素は参照範囲である領域Ａrf2内の画素である。第１実施形態では、領域Ａrf1，Ａrf2のライン数Ｌf1，Ｌf2は５ラインである。垂直成分が４画素である動きベクトルＭＶをＭＶ(v4)とし、垂直成分が８画素である動きベクトルＭＶをＭＶ(v8)とする。

図５に示すように、動きベクトル検出部１が検出した動きベクトルＭＶが動きベクトルＭＶ(v4)であれば、領域Ａrf1，Ａrf2内の画素を用いて補間画素Ｐf12(0)を生成することができる。動きベクトルＭＶが動きベクトルＭＶ(v8)の場合には、補間画素Ｐf12(0)を生成するためのフレームｆ１，ｆ２内の画素は領域Ａrf1，Ａrf2の範囲外となる。従って、補間画素生成部６は補間画素Ｐf12(0)を生成することができない。

そこで、第１実施形態においては、前述のように、所定のオフセット量のオフセット信号Ｓos1，Ｓos2をフレームメモリ２，３に供給して垂直方向の読み出しアドレスをシフトすると共に、遅延選択部６２，６３における垂直方向の基準位置をシフトする。その結果、図６に示すように、領域Ａrf1は図５と比較して垂直方向下方にシフトした領域Ａrf1’に示す位置となり、領域Ａrf2は図５と比較して垂直方向上方にシフトした領域Ａrf2’に示す位置となる。領域Ａrf1’，Ａrf2’のライン数Ｌf1’，Ｌf2’は５ラインである。図６に示すように、動きベクトルＭＶが動きベクトルＭＶ(v8)であっても、補間画素Ｐf12(0)を生成するためのフレームｆ１，ｆ２内の画素は領域Ａrf1’，Ａrf2’の範囲内となり、補間画素生成部６は補間画素Ｐf12(0)を生成することが可能となる。

図６では便宜上、領域Ａrf1が垂直方向下方にシフトして領域Ａrf1’となり、領域Ａrf2が垂直方向上方にシフトして領域Ａrf2’となるように図示している。実際には、図７（Ａ），（Ｂ）に示すように、フレームメモリ２，３からの画素データの垂直方向の読み出しアドレスがシフトされている。図７（Ａ）の一点鎖線で示すフレームｆ２は、読み出しアドレスをシフトしない状態を概念的に示しており、図７（Ｂ）の一点鎖線で示すフレームｆ１は、読み出しアドレスをシフトしない状態を概念的に示している。

オフセット信号Ｓos1，Ｓos2のオフセット量が０で、読み出しアドレスをシフトしない場合には、フレームメモリ２，３からの画素データは一点鎖線で示すタイミングで読み出されることになる。図７（Ａ）の実線で示すフレームｆ２は、読み出しアドレスをシフトした状態を概念的に示しており、図７（Ｂ）の実線で示すフレームｆ１は、読み出しアドレスをシフトした状態を概念的に示している。オフセット量が０を超える所定の値であれば、フレームメモリ２，３からの画素データは実線で示すフレームｆ１，ｆ２で示すタイミングで読み出されることになる。なお、図７（Ａ），（Ｂ）では理解を容易にするためシフト量を誇張して図示している。

前述の例では、オフセット信号Ｓos1によるオフセット量が２であるから、フレームメモリ２はオフセット量２に相当するライン数Ｌs1（即ち、２ライン）だけ上方に読み出しアドレスをシフトする。また、オフセット信号Ｓos2によるオフセット量が−２であるから、フレームメモリ３はオフセット量−２に相当するライン数Ｌs2（即ち、２ライン）だけ下方に読み出しアドレスをシフトする。

その結果、遅延選択部６２で参照する画素の範囲は、図５に示す領域Ａrf1から図６に示す領域Ａrf1’へと垂直方向下方にシフトし、遅延選択部６３で参照する画素の範囲は、図５に示す領域Ａrf2から図６に示す領域Ａrf2’へと垂直方向上方にシフトすることとなる。なお、読み出しアドレスの垂直方向下方または上方へのシフトは、映像信号Ｓ１，Ｓ２の読み出し開始位置と読み出し終了位置をブランキング期間にずらすことによって容易に実現することができる。

図１においては、フレームメモリ２によって入力映像信号Ｓ０を１フレーム期間遅延させて映像信号Ｓ１としたが、１フレーム未満の期間遅延させるようにしてもよい。図８は、フレームメモリ２の代わりに、１フレーム未満の期間遅延させる遅延部２０を用いた場合の構成を示している。遅延部２０は複数のラインメモリによって構成することができる。遅延部２０は、入力映像信号Ｓ０を１フレーム未満の期間遅延させて、映像信号Ｓ１’として出力する。映像信号Ｓ１’は遅延選択部６２へと供給される。

この場合、動きベクトル検出部１には、互いに１フレーム期間離れた２つのフレーム信号を入力する必要があるので、フレームメモリ２１を設けている。フレームメモリ２１は、入力映像信号Ｓ０を１フレーム期間遅延させて映像信号Ｓ１０として出力する。動きベクトル検出部１は、入力映像信号Ｓ０と映像信号Ｓ１０とに基づいて動きベクトルＭＶを検出する。このように、遅延選択部６２に供給する映像信号は、入力映像信号Ｓ０を１フレーム期間遅延させた映像信号Ｓ１に限定されない。

以上の説明では、動きベクトルＭＶの垂直成分が偶数の場合について説明したが、奇数の場合には次のようにすればよい。遅延選択部６２，６３における選択部６２５は、垂直方向に隣接する２つの画素データの平均を取り、平均した画素データを画素データＰsel1，Ｐsel2として出力すればよい。動きベクトルＭＶの水平成分が奇数の場合も同様であり、選択部６２５は、水平方向に隣接する２つの画素データの平均を取り、平均した画素データを画素データＰsel1，Ｐsel2として出力すればよい。

また、動きベクトルＭＶの垂直成分が奇数の場合には、オフセット制御部５は、正の場合には１つ大きい偶数の値に基づいてオフセット量を求め、負の場合には１つ小さい偶数の値に基づいてオフセット量を求めればよい。即ち、図３で、動きベクトルＭＶの垂直成分が１，３，５，７の場合にはそれぞれ垂直成分を２，４，６，８としてオフセット量を求め、動きベクトルＭＶの垂直成分が−１，−３，−５，−７の場合にはそれぞれ垂直成分を−２，−４，−６，−８としてオフセット量を求める。

このように、オフセット制御部５が、動きベクトルＭＶの垂直成分が奇数の場合に偶数に置き換えてオフセット量を求め、遅延選択部６２，６３が、動きベクトルＭＶの垂直成分が奇数の場合に対応した画素データＰsel1，Ｐsel2として出力することにより、動きベクトルＭＶの垂直成分が奇数の場合でも動きベクトルＭＶの垂直成分が偶数の場合と同様の処理を行うことができる。

ところで、第１実施形態において、特定のクラスＣＬspで度数が閾値ｙを越えず、オフセット信号Ｓos1，Ｓos2の値が０の状態から、特定のクラスＣＬspで度数が閾値ｙを越えて、オフセット信号Ｓos1，Ｓos2の値が所定の値となった場合、またはその逆の場合に、フレームメモリ２，３からの映像信号Ｓ１，Ｓ２の読み出しアドレスをシフトしない状態とシフトする状態とが急激に変化しないようにすることが好ましい。オフセット制御部５は、オフセット信号Ｓos1，Ｓos2の値を１または複数のフレーム毎に順次変化させることが好ましい。例えばオフセット量を０から２にする場合には、閾値ｙを越えたことを検出した次のフレームでオフセット量を１とし、さらにその次のフレームでオフセット量を２とすればよい。

＜第２実施形態＞
図９〜図１１を用いて第２実施形態の構成及び動作について説明する。図９において、図１と同一部分には同一符号を付し、その説明を省略する。図９においては、図１のオフセット制御部５の代わりにオフセット制御部５０が設けられている。オフセット制御部５０は、判別部５０１とオフセット量決定部５０２とを備える。

第２実施形態においては、図１０に示すように、オフセット制御部５０は、５，６のクラス、７，８のクラス、−５，−６のクラス、−７，−８のクラスを特定のクラスＣＬspとしている。図１０に示す例は、特定のクラスＣＬspである７，８のクラスで閾値ｙを越え、７，８のクラスとは垂直方向の動き方向が逆方向であり、特定のクラスＣＬspではない−１，−２のクラスでも閾値ｙを越えている状態を示している。判別部５０１は、特定のクラスＣＬspにおけるいずれかのクラスで閾値ｙを越えると共に、閾値ｙを越えているいずれかの特定のクラスＣＬspとは垂直方向の動き方向が逆方向の特定のクラスＣＬsp以外のクラスで閾値ｙを越えている状態を判別する。

判別部５０１は、上記の状態を判別した場合に、閾値ｙを越えている特定のクラスＣＬspの垂直成分の値と、特定のクラスＣＬsp以外で閾値ｙを越えているクラスの垂直成分の値とをオフセット量決定部５０２に入力する。オフセット量決定部５０２は、図１０の例では、閾値ｙを越えている特定のクラスＣＬspの垂直成分の値である８と、特定のクラスＣＬsp以外で閾値ｙを越えているクラスの垂直成分の値である−２とを加算して、垂直方向の画素数を６画素と算出する。従って、補間画素生成部６で使用する動きベクトルの垂直成分は＋３画素，−３画素となる。

なお、７，８のクラスと５，６のクラスで閾値ｙを越え、−１，−２のクラスでも閾値ｙを越えている場合には、垂直成分の大きさが最も大きいクラスである７，８のクラスを基準とする。即ち、この場合も、８と−２とを加算して、垂直方向の画素数を６画素と算出する。

そして、オフセット量決定部５０２は、第１実施形態と同様、フリップフロップ６１４より出力された画素データの位置を基準位置とした場合の垂直方向の画素データの選択範囲が＋２画素，−２画素であるから、オフセット信号Ｓos10のオフセット量を１、オフセット信号Ｓos20のオフセット量を−１とすればよい。

図１１を用いて、第２実施形態による効果について説明する。図１１（Ａ）は、遅延選択部６２，６３における垂直方向のメモリ領域を示している。メモリ領域は、図５で説明した領域Ａrf1，Ａrf2のライン数Ｌf1，Ｌf2に相当する。図１１（Ｂ）に示すように、７，８のクラスはａで示す位置であり、−１，−２のクラスのクラスはｂで示す位置である。図１１（Ｃ）は、第１実施形態で説明したシフトを行った状態を示している。

図１１（Ｃ）より分かるように、第１実施形態で説明したシフトを行うと、動きベクトルＭＶの垂直成分が７，８のクラスの補間画素データＰｉを生成することは可能になるが、−１，−２のクラスはメモリ領域から外れるので、−１，−２のクラスの補間画素データＰｉを生成することができなくなる。図１１（Ｄ）はシフトを行わなかった状態である。図１１（Ｄ）の場合には、−１，−２のクラスの補間画素データＰｉを生成することができるが、７，８のクラスの補間画素データＰｉを生成することはできない。

−１，−２のクラスの動きは、本来、補間画素生成部６で補間画素データＰｉを生成することができる範囲の動きであり、−１，−２のクラスの補間画素データＰｉを生成しないということは好ましくない。シフトを行わない状態で補間画素データＰｉを生成することができる範囲の動きについては、補間画素データＰｉを生成することが望ましい。そこで、第２実施形態においては、−１，−２のクラスの動きに対応することができ、メモリ領域を超えた部分の動きにも極力対応させるため、図１１（Ｅ）に示すように、オフセット量を１（及び−１）としている。

図１１（Ｅ）に示すシフトによれば、−１，−２のクラスの補間画素データＰｉを生成することができる。７，８のクラスの補間画素データＰｉを生成することはできないが、７，８のクラスに近く、図１１（Ｄ）では対応できない５，６のクラスの補間画素データＰｉを生成することができる。

第２実施形態においても、オフセット制御部５０は、オフセット信号Ｓos10，Ｓos20の値を１または複数のフレーム毎に順次変化させることが好ましい。

＜第３実施形態＞
図１２〜図１４を用いて第３実施形態の構成及び動作について説明する。図１２において、図１と同一部分には同一符号を付し、その説明を省略する。図１２に示す第３実施形態は、デジャダ処理装置を例にしている。

図１２において、フィルム信号検出部８には、映像信号Ｓ１，Ｓ２が入力される。フィルム信号検出部８は、映像信号Ｓ１，Ｓ２に基づいて、入力映像信号Ｓ０が、フィルム画像から２−２プルダウンまたは２−３プルダウンによって垂直周波数６０Ｈｚに変換された映像信号であるか否かを検出する。フィルム画像が３０コマ（３０フレーム）であれば、２−２プルダウンによって６０フレームのフレームレートに変換することができ、フィルム画像が２４コマ（２４フレーム）であれば、２−３プルダウンによって６０フレームのフレームレートに変換することができる。

入力映像信号Ｓ０が２−３プルダウンによって生成された映像信号である場合には、図１３（Ａ）より理解できるように、２フレームで同一の画像、次の３フレームで同一の画像、さらにその次の２フレームで同一の画像となる。図１３（Ａ）に示すフレームｆ１〜ｆ６では、フレームｆ１，ｆ２で同じ画像Ｉｍ１、フレームｆ３〜ｆ５で同じ画像Ｉｍ２、フレームｆ６及び図示していない次のフレームで同じ画像Ｉｍ３となる。フィルム信号検出部８は、２−２プルダウンまたは２−３プルダウンによって変換された映像信号であるか否か示す検出信号Ｓdetを生成してオフセット制御部５１に入力する。

例えば、フィルム信号検出部８は、プルダウン変換された映像信号でないと検出した場合には検出信号Ｓdetとして値“０”を、プルダウン変換された映像信号であると検出した場合には検出信号Ｓdetとして値“１”を出力する。フィルム信号検出部８は、プルダウン変換された映像信号である場合に、２−２プルダウンであるのか２−３プルダウンであるかを区別して検出することが好ましい。両者を区別する場合には、例えば、フィルム信号検出部８は、プルダウン変換された映像信号でないと検出した場合には検出信号Ｓdetとして値“００”を、２−２プルダウンであると検出した場合には検出信号Ｓdetとして値“０１”、２−３プルダウンであると検出した場合には検出信号Ｓdetとして値“１０”を出力すればよい。

図１３（Ａ）より分かるように、２−２プルダウンまたは２−３プルダウンによって変換された映像信号は画像の動きが滑らかでなく、画像の動きを滑らかにするために、図１３（Ｂ）に示すように、デジャダ処理が行われる場合がある。図１３（Ｂ）に示すフレームｆ１０はフレームｆ１と同じである。画像Ｉｍ10は画像Ｉｍ１と同じである。フレームｆ２０においては、画像Ｉｍ１と画像Ｉｍ２との間の、画像Ｉｍ１と画像Ｉｍ２とから等間隔の位置に画像Ｉｍ20を生成している。フレームｆ３０はフレームｆ３と同じであり、画像Ｉｍ30は画像Ｉｍ２と同じである。

フレームｆ４０においては、画像Ｉｍ２と画像Ｉｍ３との間の画像Ｉｍ２の位置から１／３の位置に画像Ｉｍ40を生成している。フレームｆ５０においては、画像Ｉｍ２と画像Ｉｍ３との間の、画像Ｉｍ２の位置から２／３の位置に画像Ｉｍ50を生成している。フレームｆ６０はフレームｆ６と同じであり、画像Ｉｍ60は画像Ｉｍ３と同じである。図１３（Ａ）の映像信号を図１３（Ｂ）のように変換することによって画像の動きを滑らかにすることができる。

図１４は、フレームｆ５０の画像Ｉｍ50を生成する場合の補間処理を概念的に示している。通常の画素補間においては、隣接する２つの画素の中央に補間画素を生成するのに対し、デジャダ処理においては、上記の説明でも分かるように、隣接する２つの画素の一方の偏った位置に補間画素を生成する場合がある。図１４では水平方向の補間を示しているが、垂直方向でも同様である。デジャダ処理を行う場合には、第１実施形態で説明したオフセット信号Ｓos1，Ｓos2のオフセット量ではオフセットが不足する場合が発生することになる。

そこで、第３実施形態においては、フィルム信号検出部８より出力された検出信号Ｓdetが２−２プルダウンまたは２−３プルダウンによって変換された映像信号であることを示す値の場合に、オフセット制御部５１は、オフセット信号Ｓos11，Ｓos21として、第１実施形態におけるオフセット量よりも増大したオフセット量を出力する。例えば、検出信号Ｓdetが値“１”または値“０１”，“１０”の場合に、オフセット量を５０％増大させる。プルダウンでない場合のオフセット量が２，−２であれば、プルダウンの場合のオフセット量は３，−３となる。

２−２プルダウンと２−３プルダウンとを区別する場合には、２−３プルダウンの場合のオフセット量の増大の程度を２−２プルダウンの場合のオフセット量の増大の程度よりも大きくすることが好ましい。例えば、２−２プルダウンの場合にはオフセット量を５０％増大させ、２−３プルダウンの場合にはオフセット量を６０％に増大させる。プルダウンでない場合のオフセット量が２，−２であれば、２−２プルダウンの場合のオフセット量は３，−３となり、２−３プルダウンの場合のオフセット量は小数を繰り上げて４，−４となる。２−３プルダウンの場合に、オフセット量を６０％を超える率で増大させてもよい。

オフセット信号Ｓos11，Ｓos21が第１実施形態の場合よりも増大することにより、遅延選択部６２，６３が選択制御信号Ｓsel1，Ｓsel2に基づいて選択して出力する画素データＰsel1，Ｐsel2も、第１実施形態の場合とは異なった垂直方向の位置へとシフトされることになる。

なお、オフセット量を増大させる前のオフセット量が、オフセット量の上限値またはそれに近い値の場合には、上記のようにオフセット量を５０％または６０％増大させると、計算上、上限値を超えることになる。この場合には、オフセット量はクリッピングされるので、プルダウンによって変換された映像信号であってもオフセット量は増大しない。また、計算上、小数点を切り捨てる場合にオフセット量を増大させない場合もある。

図１２において、デジャダ処理部９は、実フレーム信号の画素データと補間フレーム信号の補間画素データＰｉとを垂直周波数６０Ｈｚで交互に読み出すことによって、デジャダ処理を施した映像信号を出力する。デジャダ処理部９はメモリで構成することができる。第３実施形態では、デジャダ処理部９を備えるデジャダ処理装置を例としたが、第１，第２実施形態と同様、フレームレート変換装置としてもよい。

第３実施形態においても、オフセット制御部５１は、オフセット信号Ｓos11，Ｓos21の値を１または複数のフレーム毎に順次変化させることが好ましい。

＜第４実施形態＞
図１５を用いて第４実施形態の構成及び動作について説明する。図１５において、図１，図１２と同一部分には同一符号を付し、その説明を省略する。第４実施形態は、第２実施形態と第３実施形態とを合わせたものに相当する。図１５において、オフセット制御部５２は、判別部５２１と、制限部５２２と、オフセット量決定部５３３とを備える。判別部５２１は、図９の判別部５０１で説明したように、特定のクラスＣＬspで閾値ｙを越えると共に、閾値ｙを越えている特定のクラスＣＬspとは垂直方向の動き方向が逆方向の特定のクラスＣＬsp以外のクラスで閾値ｙを越えている状態を判別する。

制限部５２２は、判別部５２１が上記の状態を判別した場合に、第２実施形態と同様、閾値ｙを越えている特定のクラスＣＬspの垂直成分の値と、特定のクラスＣＬsp以外で閾値ｙを越えているクラスの垂直成分の値とを加算して、垂直方向の画素数を制限した画素数を算出する。制限部５２２によって算出された画素数は、オフセット量決定部５３３に入力される。オフセット量決定部５３３には、フィルム信号検出部８より出力された検出信号Ｓdetが入力される。

オフセット量決定部５３３は、検出信号Ｓdetがプルダウンを示す値でない場合には、制限部５２２から入力された制限した画素数に基づいたオフセット量であるオフセット信号Ｓos12，Ｓos22を出力する。オフセット量決定部５３３は、検出信号Ｓdetがプルダウンを示す値である場合には、制限部５２２から入力された制限した画素数に基づいたオフセット量を増大させたオフセット信号Ｓos12，Ｓos22を出力する。

また、判別部５２１が上記の状態を判別せず、制限部５２２が垂直方向の画素数を制限しないで第１実施形態と同様の画素数をオフセット量決定部５３３に入力した場合には、オフセット量決定部５３３は、制限しない画素数に基づいて、検出信号Ｓdetがプルダウンを示す値であるか否かによってオフセット量を決定してオフセット信号Ｓos12，Ｓos22を出力する。

第４実施形態においても、オフセット制御部５１は、オフセット信号Ｓos12，Ｓos22の値を１または複数のフレーム毎に順次変化させることが好ましい。

＜第５実施形態＞
図１６〜図２０を用いて第５実施形態の構成及び動作について説明する。図１６において、図１と同一部分には同一符号を付し、その説明を適宜省略する。第１〜第４実施形態においては、度数分布モニタ部４が、動きベクトルＭＶを例えばフレーム単位でモニタすることによって、動きベクトルＭＶの垂直成分がどのような大きさでどのように分布しているかを検出し、度数分布を示すデータＳｆｄを生成している。画像が１フレームの全体で同様に動いている場合には、度数分布を示すデータＳｆｄに基づいて特定のクラスＣＬspで度数が閾値ｙを越えたことが検出され、フレームメモリ２，３における垂直方向の読み出しアドレスがシフトされる。

例えば、画像表示装置の画面の左右に互いに異なる映像信号を表示させる、いわゆる２画面表示を行った場合には、画像の動きは左右で異なることから、１フレームの全体で動きベクトルＭＶをモニタして図３で説明したようにヒストグラムをとったとしても、特定のクラスＣＬspで閾値ｙを越えない場合が発生する。この場合には、フレームメモリ２，３における垂直方向の読み出しアドレスはシフトされず、補間処理の範囲が拡大するという効果を奏することはない。このようなことは２画面表示に限らず、１つの映像信号を表示する場合でも、１フレーム内の左右で異なる動きをする画像の場合には同様に発生する。

第５実施形態は、画像の動きが複数の領域で異なる場合にも、補間処理の範囲が拡大するという効果を奏するように、第１実施形態の構成を発展させたものである。ここでは、第１実施形態の構成を発展させた構成を第５実施形態として説明するが、第２〜第４実施形態も、第５実施形態と同様の構成を採用することが可能である。第５実施形態においては、一例として、１フレームを左右に均等に２分割したそれぞれの領域で映像信号を処理する。均等ではなく、それぞれの領域の面積が異なるように分割して処理してもよい。

図１６において、動きベクトル検出部１より出力された動きベクトルＭＶは、左領域度数分布モニタ部４Ｌ及び右領域度数分布モニタ部４Ｒ、左領域補間画素生成部６Ｌ及び右領域補間画素生成部６Ｒに入力される。左領域度数分布モニタ部４Ｌ及び右領域度数分布モニタ部４Ｒは、度数分布モニタ部４と同様、動きベクトルＭＶを例えばフレーム単位でモニタして、動きベクトルＭＶの垂直成分がどのような大きさでどのように分布しているかを検出する。但し、左領域補間画素生成部６Ｌは１フレームの左領域内のみの動きベクトルＭＶをモニタし、右領域補間画素生成部６Ｒは１フレームの右領域内のみの動きベクトルＭＶをモニタする。

図１７（Ａ）は、左領域度数分布モニタ部４Ｌが生成した動きベクトルＭＶの分布を示すヒストグラムの例であり、図１７（Ｂ）は、右領域度数分布モニタ部４Ｒが生成した動きベクトルＭＶの分布を示すヒストグラムの例である。動きベクトルＭＶのクラスの設定は図３と同じである。左領域度数分布モニタ部４Ｌは、左領域内の度数分布を示すデータＳfdLを左領域オフセット制御部５Ｌに供給し、右領域度数分布モニタ部４Ｒは、右領域内の度数分布を示すデータＳfdRを右領域オフセット制御部５Ｒに供給する。図１７（Ａ），（Ｂ）に示すように、ここでも特定のクラスＣＬspを７，８のクラスと−７，−８のクラスとしている。

図１７（Ｃ）は、図１７（Ａ），（Ｂ）との比較のため、１フレームを左右に２分割せず、第１実施形態と同様に１フレームの全体で動きベクトルＭＶをモニタして生成したヒストグラムを示している。

左領域オフセット制御部５Ｌは、図１７（Ａ）に示す度数分布の特定のクラスＣＬspで度数が閾値ｙ１を越えた場合に、絶対値が０を超える所定のオフセット量を示すオフセット信号Ｓos1L，Ｓos2Lを生成する。右領域オフセット制御部５Ｒは、図１７（Ｂ）に示す度数分布の特定のクラスＣＬspで度数が閾値ｙ１を越えた場合に、絶対値が０を超える所定のオフセット量を示すオフセット信号Ｓos1R，Ｓos2Rを生成する。第５実施形態においては、左領域オフセット制御部５Ｌ及び右領域オフセット制御部５Ｒは、図３，図１７（Ｃ）に示す閾値ｙよりも小さい値である閾値ｙ１を設定している。これは、１フレームを左右に２分割しているため、左右それぞれの領域における動きベクトルＭＶの垂直成分のそれぞれのクラスの出現回数は、１フレーム全体でモニタしたときの出現回数よりも少なくなるからである。

図１７（Ｃ）の場合には、特定のクラスＣＬspで度数が閾値ｙを越えない。図１７（Ａ），（Ｂ）の場合には、閾値ｙよりも小さい値の閾値ｙ１を設定しているので、特定のクラスＣＬspで度数が閾値ｙ１を越える。

オフセット信号Ｓos1L，Ｓos2Lは、フレームメモリ２，３及び左領域補間画素生成部６Ｌに入力され、オフセット信号Ｓos1R，Ｓos2Rは、フレームメモリ２，３及び右領域補間画素生成部６Ｒに入力される。オフセット信号Ｓos1L，Ｓos2Lは、オフセット量に応じて、フレームメモリ２，３における垂直方向の読み出しアドレスを互いに逆方向にシフトさせる。オフセット信号Ｓos1R，Ｓos2Rは、オフセット量に応じて、フレームメモリ２，３における垂直方向の読み出しアドレスを互いに逆方向にシフトさせる。

左領域補間画素生成部６Ｌ及び右領域補間画素生成部６Ｒの内部構成は補間画素生成部６と同じである。図１で説明したように、左領域補間画素生成部６Ｌ及び右領域補間画素生成部６Ｒは、選択制御部６１と、遅延選択部６２，６３と、混合部６４とを有する。遅延選択部６２，６３の具体的構成は図４で説明した通りである。

フレームメモリ２は、左領域補間画素生成部６Ｌが左領域内の補間画素を生成するための必要な映像信号Ｓ１Lを左領域補間画素生成部６Ｌに供給し、右領域補間画素生成部６Ｒが右領域内の補間画素を生成するための必要な映像信号Ｓ１Rを右領域補間画素生成部６Ｒに供給する。フレームメモリ３は、左領域補間画素生成部６Ｌが左領域内の補間画素を生成するための必要な映像信号Ｓ２Lを左領域補間画素生成部６Ｌに供給し、右領域補間画素生成部６Ｒが右領域内の補間画素を生成するための必要な映像信号Ｓ２Rを右領域補間画素生成部６Ｒに供給する。

映像信号Ｓ１Lは、映像信号Ｓ１としてフレームメモリ２より順次出力される画素データのうち、左領域内の画素データであり、オフセット信号Ｓos1Lが示すオフセット量に応じて、垂直方向にアドレスをシフトさせた画素データである。映像信号Ｓ２Lは、フレームメモリ３より順次出力される画素データのうち、左領域内の画素データであり、オフセット信号Ｓos2Lが示すオフセット量に応じて、垂直方向にアドレスをシフトさせた画素データである。オフセット量が０であれば、映像信号Ｓ１L，Ｓ２Lはシフトさせない画素データである。

映像信号Ｓ１Rは、映像信号Ｓ１としてフレームメモリ２より順次出力される画素データのうち、右領域内の画素データであり、オフセット信号Ｓos1Rが示すオフセット量に応じて、垂直方向にアドレスをシフトさせた画素データである。映像信号Ｓ２Rは、フレームメモリ３より順次出力される画素データのうち、右領域内の画素データであり、オフセット信号Ｓos2Rが示すオフセット量に応じて、垂直方向にアドレスをシフトさせた画素データである。オフセット量が０であれば、映像信号Ｓ１R，Ｓ２Rはシフトさせない画素データである。

左領域補間画素生成部６Ｌ内の選択制御部６１は、オフセット信号Ｓos1L，Ｓos2Lのオフセット量に応じて、遅延選択部６２，６３における基準とする垂直方向の画素データの位置をシフトさせる。右領域補間画素生成部６Ｒ内の選択制御部６１は、オフセット信号Ｓos1R，Ｓos2Rのオフセット量に応じて、遅延選択部６２，６３における基準とする垂直方向の画素データの位置をシフトさせる。図１の補間画素生成部６と同様の動作によって、左領域補間画素生成部６Ｌは左領域補間信号を生成し、右領域補間画素生成部６Ｒは右領域補間信号を生成する。左領域補間信号と右領域補間信号とを合わせたものが補間フレーム信号である。

時系列変換メモリ７には、映像信号Ｓ１が実フレーム信号として入力され、左領域補間信号と右領域補間信号とが補間フレーム信号として入力される。時系列変換メモリ７は、左領域補間信号と右領域補間信号とを合成することにより補間フレーム信号の補間画素データとする。時系列変換メモリ７は、実フレーム信号の画素データと補間フレーム信号の補間画素データとを垂直周波数１２０Ｈｚで交互に読み出すことによって、フレームレート変換した映像信号を出力する。

図１８〜図２０を用いて、第５実施形態による効果について説明する。図１８は、フレームｆ１，ｆ２の左領域において、垂直方向下方にシフトした領域Ａrf1’Lと垂直方向上方にシフトした領域Ａrf2’Lを示している。動きベクトルＭＶの垂直成分が８画素である動きベクトルＭＶ(v8)であっても、補間画素Ｐf12(0)Lを生成するためのフレームｆ１，ｆ２内の画素は領域Ａrf1’L，Ａrf2’Lの範囲内となり、左領域補間画素生成部６Ｌは補間画素Ｐf12(0)Lを生成することができる。

図１９は、フレームｆ１，ｆ２の右領域において、垂直方向上方にシフトした領域Ａrf1’Rと垂直方向下方にシフトした領域Ａrf2’Rを示している。図１９は、動きベクトルＭＶの垂直成分が図１８とは逆方向である−８画素であり、動きベクトルＭＶはＭＶ(-v8)である。動きベクトルＭＶの垂直成分が−８画素である動きベクトルＭＶ(-v8)であっても、補間画素Ｐf12(0)Rを生成するためのフレームｆ１，ｆ２内の画素は領域Ａrf1’R，Ａrf2’Rの範囲内となり、右領域補間画素生成部６Ｒは補間画素Ｐf12(0)Rを生成することができる。

図２０は、図１８，図１９との比較のため、１フレームを左右に２分割せず、第１実施形態と同様に１フレームの全体で動きベクトルＭＶをモニタしてオフセット信号Ｓos1，Ｓos2を生成した場合を示している。図１７（Ｃ）に示すように、特定のクラスＣＬspで度数が閾値ｙを越えないので、オフセット量は０となり、補間画素Ｐf12(0)L，Ｐf12(0)Rを生成するための領域Ａrf1L，Ａrf1R，Ａrf2L，Ａrf2Rはシフトされない。従って、左領域において動きベクトルＭＶが動きベクトルＭＶ(v8)であり、右領域において動きベクトルＭＶが動きベクトルＭＶ(-v8)である場合には、補間画素Ｐf12(0)L，Ｐf12(0)Rを生成することができない。

以上のように、第５実施形態によれば、フレーム内の複数の領域で互いに異なる動きをした場合でも、それぞれの領域ごとに適切に補間処理の範囲を拡大することが可能となる。よって、複数の領域それぞれで、画像の垂直方向の動きが大きい場合でも動きベクトルに基づいて適切な補間画素を生成することができる。

第５実施形態においては、フレームの領域を２分割したが、３分割以上に分割してもよく、領域を水平方向に分割する分割の仕方及び分割数は適宜設定すればよい。度数分布モニタ部４とオフセット制御部５と補間画素生成部６とをそれぞれ分割数に応じて設ければよい。

本発明は以上説明した第１〜第５実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。第１〜第５実施形態においては、動きベクトル検出部１を備える構成を示したが、他の装置で利用するために検出した動きベクトルＭＶを度数分布モニタ部４（４Ｌ，４Ｒ）及び補間画素生成部６（６Ｌ，６Ｒ）に供給するように構成してもよい。度数分布モニタ部４（４Ｌ，４Ｒ）は、それぞれのクラスの１フレームにおける出現回数を度数としたが、２フレームにおける出現回数を度数としてもよく、適宜設定すればよい。

１ 動きベクトル検出部
２，３，２１ フレームメモリ（遅延部）
４ 度数分布モニタ部
４Ｌ 左領域度数分布モニタ部
４Ｒ 右領域度数分布モニタ部
５，５０〜５２ オフセット制御部
５Ｌ 左領域オフセット制御部
５Ｒ 右領域オフセット制御部
６ 補間画素生成部
６Ｌ 左領域補間画素生成部
６Ｒ 右領域補間画素生成部
７ 時系列変換メモリ
８ フィルム信号検出部
９ デジャダ処理部
２０ 遅延部
６１ 選択制御部
６２，６３ 遅延選択部
６４ 混合部
５０１，５２１ 判別部
５０２，５３３ オフセット量決定部
５２２ 制限部

Claims (6)

1. 入力映像信号を１フレーム期間または複数ライン期間遅延させて第１の遅延映像信号として出力する第１の遅延部と、
   前記第１の遅延映像信号を１フレーム期間遅延させて第２の遅延映像信号として出力する第２の遅延部と、
   前記入力映像信号のフレームを水平方向の複数の領域に分割した前記複数の領域それぞれにおいて、前記第１の遅延映像信号の画素データを水平及び垂直方向に順次遅延させて、補間画素データを生成する際に用いる第１の参照範囲に含まれる複数の画素データを生成して、前記複数の画素データからいずれかを選択する第１の遅延選択部と、
   前記複数の領域それぞれにおいて、前記第２の遅延映像信号の画素データを水平及び垂直方向に順次遅延させて、前記補間画素データを生成する際に用いる第２の参照範囲に含まれる複数の画素データを生成して、前記複数の画素データからいずれかを選択する第２の遅延選択部と、
   前記複数の領域それぞれにおいて、前記補間画素データを生成する際に用いる動きベクトルの垂直成分の大きさを複数のクラスに区切り、動きベクトルの垂直成分がそれぞれのクラスでどのような出現回数の度数で発生しているかを検出する度数分布モニタ部と、
   前記複数の領域それぞれにおいて、前記度数分布モニタ部で検出した動きベクトルの垂直成分が、予め定めた特定のクラスで所定の閾値を越えている場合に、前記第１の遅延部から前記第１の遅延映像信号を読み出す際の垂直方向の読み出しアドレスをシフトさせる第１のオフセット信号を生成して前記第１の遅延部に供給し、前記第２の遅延部から前記第２の遅延映像信号を読み出す際の垂直方向の読み出しアドレスをシフトさせる第２のオフセット信号を生成して前記第２の遅延部に供給するオフセット制御部と、
   前記複数の領域それぞれにおいて、前記第１のオフセット信号に基づいて前記第１の遅延選択部が選択する画素データを垂直方向にシフトさせ、前記第２のオフセット信号に基づいて前記第２の遅延選択部が選択する画素データを垂直方向にシフトさせるよう制御する選択制御部と、
   を備えることを特徴とする映像信号処理装置。
2. 前記オフセット制御部は、前記第１のオフセット信号として、前記第１の遅延部における垂直方向の読み出しアドレスを第１の方向にシフトさせるオフセット信号を生成し、前記第２のオフセット信号として、前記第２の遅延部における垂直方向の読み出しアドレスを前記第１の方向とは反対側の第２の方向にシフトさせるオフセット信号を生成し、
   前記選択制御部は、前記第１の遅延選択部が選択する画素データを第１の垂直方向にシフトさせ、前記第２のオフセット信号に基づいて前記第２の遅延選択部が選択する画素データを前記第１の垂直方向とは反対側の第２の垂直方向にシフトさせるよう前記第１及び第２の遅延選択部を制御する
   ことを特徴とする請求項１記載の映像信号処理装置。
3. 前記オフセット制御部は、前記特定のクラスを、前記第１及び第２のオフセット信号によって前記第１及び第２の遅延部における読み出しアドレスをシフトさせず、前記選択制御部によって前記第１及び第２の遅延選択部が選択する画素データをシフトさせない状態としたときに、動きベクトルの垂直成分の大きさに応じた画素データが前記第１及び第２の参照範囲外となるクラスに設定していることを特徴とする請求項１または２に記載の映像信号処理装置。
4. 入力映像信号を第１の遅延部によって１フレーム期間または複数ライン期間遅延させて第１の遅延映像信号として出力し、
   前記第１の遅延映像信号を第２の遅延部によって１フレーム期間遅延させて第２の遅延映像信号として出力し、
   前記入力映像信号のフレームを水平方向の複数の領域に分割した前記複数の領域それぞれにおいて、前記第１の遅延映像信号の画素データを水平及び垂直方向に順次遅延させて、補間画素データを生成する際に用いる第１の参照範囲に含まれる複数の画素データを生成し、
   前記複数の領域それぞれにおいて、前記第２の遅延映像信号の画素データを水平及び垂直方向に順次遅延させて、前記補間画素データを生成する際に用いる第２の参照範囲に含まれる複数の画素データを生成し、
   前記複数の領域それぞれにおいて、前記補間画素データを生成する際に用いる動きベクトルの垂直成分の大きさを複数のクラスに区切り、動きベクトルの垂直成分がそれぞれのクラスでどのような出現回数の度数で発生しているかを検出し、
   前記複数の領域それぞれにおいて、動きベクトルの垂直成分が、予め定めた特定のクラスで所定の閾値を越えている場合に、第１のオフセット信号に基づいて前記第１の遅延部から前記第１の遅延映像信号を読み出す際の垂直方向の読み出しアドレスをシフトし、第２のオフセット信号に基づいて前記第２の遅延部から前記第２の遅延映像信号を読み出す際の垂直方向の読み出しアドレスをシフトし、
   前記複数の領域それぞれにおいて、前記第１のオフセット信号に基づいて、前記第１の参照範囲内の複数の画素データから第１の画素データを選択して読み出す際の垂直方向の位置をシフトし、前記第２のオフセット信号に基づいて、前記第２の参照範囲内の複数の画素データから第２の画素データを選択して読み出す際の垂直方向の位置をシフトし、
   前記複数の領域それぞれにおいて、前記第１の参照範囲から読み出した前記第１の画素データと、前記第２の参照範囲から読み出した前記第２の画素データとに基づいて補間画素データを生成する
   ことを特徴とする映像信号処理方法。
5. 前記第１のオフセット信号に基づいて、前記第１の遅延部における垂直方向の読み出しアドレスを第１の方向にシフトし、前記第２のオフセット信号に基づいて、前記第２の遅延部における垂直方向の読み出しアドレスを前記第１の方向とは反対側の第２の方向にシフトし、
   前記第１のオフセット信号に基づいて、前記第１の参照範囲内の複数の画素データから画素データを読み出す位置を第１の垂直方向にシフトして前記第１の画素データを読み出し、前記第２のオフセット信号に基づいて、前記第２の参照範囲内の複数の画素データから画素データを読み出す位置を前記第１の垂直方向とは反対側の第２の垂直方向にシフトして前記第２の画素データを読み出す
   ことを特徴とする請求項４記載の映像信号処理方法。
6. 前記特定のクラスを、前記第１及び第２の遅延部における読み出しアドレスをシフトせず、前記第１及び第２の参照範囲内の複数の画素データから画素データを読み出す位置をシフトしない状態としたときに、動きベクトルの垂直成分の大きさに応じた画素データが前記第１及び第２の参照範囲外となるクラスに設定していることを特徴とする請求項４または５に記載の映像信号処理方法。

Images