JP4712495B2

JP4712495B2 - 走査変換装置及びプログラム

Info

Publication number: JP4712495B2
Application number: JP2005255877A
Authority: JP
Inventors: 洋島本; 公二三谷; 澄男矢野; 康孝松尾
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2005-09-05
Filing date: 2005-09-05
Publication date: 2011-06-29
Anticipated expiration: 2025-09-05
Also published as: JP2007074051A

Description

本発明は、例えばハイビジョンテレビで利用され、テレビジョン用順次走査カメラなどによる順次走査（プログレッシブスキャン）信号を飛び越し走査（インターレーススキャン）信号に変換する走査変換装置及びプログラム並びに走査変換装置を有するシステムに関する。

ハイビジョンテレビでは、通常、飛び越し走査信号が用いられているが、鮮明な画像を得るためには、最初から飛び越し走査信号を用いるのではなく、順次走査信号から飛び越し走査信号に変換したものを用いるのが好ましい。

従来、順次走査信号を飛び越し走査信号に変換するに際し、時間周波数−垂直空間周波数領域における前置時空間フィルタによる帯域制限を行った後、飛び越し走査用サブサンプル処理を行って飛び越し走査信号と同形式の信号を取得している（例えば、非特許文献１参照）。

この場合、図１に示すように、飛び越し走査信号の時間周波数−垂直空間周波数領域を超える部分が折り返しとなるのを回避するために、順次走査信号の時間周波数−垂直空間周波数領域から飛び越し走査信号の順次走査信号の時間周波数−垂直空間周波数領域を超える部分を、前置時空間フィルタを用いて帯域制限し、飛び越し走査用サブサンプル処理を行って、飛び越し走査信号と同形式の信号を取得している。
吹抜敬彦著「ＴＶ画像の多次元信号処理」、pp.92、日刊工業新聞社

しかしながら、時間周波数−垂直空間周波数領域における前置時空間フィルタを用いた場合、時間領域での複数のフレーム画像からフィルタ処理を行うために、動きぼけが生じるという不都合がある。

また、送信機側で順次走査信号を飛び越し走査信号に変換し、受信機側で順次走査信号を再構築する場合、飛び越し走査信号による帯域以上の順次走査信号を再構築することが所望される。

本発明の目的は、動きぼけが生じることなく順次走査信号を飛び越し走査信号に変換することができる走査変換装置及びプログラムを提供することである。

本発明の他の目的は、送信機側で順次走査信号を飛び越し走査信号に変換し、受信機側で順次走査信号を再構築する際に、飛び越し走査信号による帯域以上の順次走査信号を再構築することができる走査変換装置を有するシステムを提供することである。

本発明による走査変換装置は、
順次走査信号を飛び越し走査信号に変換する走査変換装置であって、
前記順次走査信号のブロック領域を切り出すブロック領域切り出し手段と、
各ブロック領域の動きベクトルの垂直成分の大きさを検出する動きベクトル検出手段と、
各ブロック領域の垂直周波数成分の最大値又は強度を検出する垂直空間周波数検出手段と、
処理対象のブロック領域の前記垂直周波数成分の最大値又は強度が前記動きベクトルの垂直成分の大きさで定まる、飛び越し走査サブサンプリングのナイキスト限界点未満の値を有する場合には、帯域制限を行うローパスフィルタ（ＬＰＦ）処理を行うことなく当該処理対象のブロック領域の画像を出力し、前記処理対象のブロック領域の前記垂直周波数成分の最大値又は強度が前記動きベクトルの垂直成分の大きさで定まる前記ナイキスト限界点以上の値を有する場合には、前記垂直周波数成分の最大値又は強度に応じて強くなるよう当該ＬＰＦ処理の量を可変させて帯域制限を行った画像を出力する画素演算手段と、
前記画素演算手段から出力されるブロック領域の画像を、飛び越し走査サブサンプリングして、前記飛び越し走査信号を出力するサブサンプル手段とを具えることを特徴とする。

本発明による走査変換プログラムは、
順次走査信号を飛び越し走査信号に変換する走査変換装置として構成するコンピュータに、
前記順次走査信号のブロック領域を切り出すステップと、
各ブロック領域の動きベクトルの垂直成分の大きさを検出するステップと、
各ブロック領域の垂直周波数成分の最大値又は強度を検出するステップと、
処理対象のブロック領域の前記垂直周波数成分の最大値又は強度が前記動きベクトルの垂直成分の大きさで定まる、飛び越し走査サブサンプリングのナイキスト限界点未満の値を有する場合には、帯域制限を行うローパスフィルタ（ＬＰＦ）処理を行うことなく当該処理対象のブロック領域の画像を出力し、前記処理対象のブロック領域の前記垂直周波数成分の最大値又は強度が前記動きベクトルの垂直成分の大きさで定まる前記ナイキスト限界点以上の値を有する場合には、前記垂直周波数成分の最大値又は強度に応じて強くなるよう当該ＬＰＦ処理の量を可変させて帯域制限を行った画像を出力するステップと、
該ステップを経て出力されるブロック領域の画像を、飛び越し走査サブサンプリングして、前記飛び越し走査信号を出力するステップと、
を実行させるためのプログラムである。

本発明による走査変換装置及びプログラムによれば、切り出された各ブロック領域の時間周波数−垂直空間周波数領域における帯域制限を、動きベクトルの垂直成分の大きさ及び垂直周波数成分の最大値又は強度に基づいて行うので、動きぼけが生じることなく順次走査信号を飛び越し走査信号に変換することができる。

好適には、前記ブロック領域の前記動きベクトルの垂直成分の大きさ及び前記垂直周波数成分の最大値又は強度に関する情報を記憶し、前記ブロック領域の時間周波数−垂直空間周波数領域における帯域制限を行う際に、他のブロック領域の前記情報を参照する手段を更に具える。

好適には、前記ブロック領域の前記動きベクトルの垂直成分の大きさ及び前記垂直周波数成分の最大値又は強度に関する情報を、前記順次走査信号のブロック領域を切り出す手段にフィードバックする手段を更に具え、前記順次走査信号のブロック領域を切り出す手段が、前記情報に基づいて前記ブロック領域の分割又は連結を行い、更に好適には、前記順次走査信号のブロック領域を切り出す手段は、前記ブロック領域内の垂直周波数成分のピーク値が所定の値未満である場合、前記ブロック領域を更に分割し、前記ブロック領域の垂直周波数成分及び動きベクトルの垂直成分が、隣接するブロック領域の垂直周波数成分及び動きベクトルの垂直成分と等しい又は近い場合、前記ブロック領域を、隣接するブロック領域に連結する。

前記ブロック領域に水平方向の動きベクトルを含む場合、前記順次走査信号の時空間位置が前記順次走査信号のナイキスト限界線を超えるときには、前記ナイキスト限界線から一番離れた周波数を抑圧することもできる。

本発明による走査変換装置及びプログラム並びに走査変換装置を有するシステムの実施の形態を、図面を参照して詳細に説明する。
図２は、本発明による走査変換装置の第１の実施の形態を示す図である。この走査変換装置は、２フレーム以上の複数の画像を記録できるフレームメモリ１ａ，１ｂ，１ｃと、ブロック領域切り出し回路２ａ，２ｂと、動きベクトル検出回路３と、垂直空間周波数検出回路４と、画素演算パラメータ決定回路５と、画素演算回路６と、インターレース用サブサンプル回路７とを具える。

外部から入力される順次走査画像信号は、フレームメモリ１ａ，１ｂにそれぞれ取り込まれ、フレームメモリ１ａ，１ｂに取り込まれた順次走査画像信号はそれぞれ、ブロック領域切り出し回路２ａ，２ｂに入力され、ブロック領域切り出し回路２ａ，２ｂは、図３に例示するような２次元の任意の形状で任意の画素数のブロック領域を切り出す。

ブロック領域切り出し回路２ａ，２ｂは、切り出した二つのブロック領域を動きベクトル検出回路３に入力し、動きベクトル検出回路３は、ブロックマッチングや他の手法を用いて動きベクトルを求める。動きベクトル検出回路３は、求めた動きベクトルの垂直成分の大きさを画素演算パラメータ決定回路５に入力する。

ブロック領域切り出し回路２ｂは、垂直空間周波数検出回路４にもブロック領域を入力し、垂直空間周波数検出回路４は、垂直周波数成分の最大値又は最大強度を検出し、垂直周波数成分の最大値又は最大強度を画素演算パラメータ決定回路５に入力する。

画素演算パラメータ決定回路５は、入力された垂直周波数成分の最大値又は最大強度に基づいて、画素演算回路６で用いるパラメータを決定する。画素演算回路６では、決定されたパラメータに基づいて、ブロック領域の画素データを演算し、演算結果を出力用のフレームメモリ１ｃに入力する。

フレームメモリ１ｃは、ビデオ信号などのタイミングに応じて画像データを出力し、インターレース用サブサンプル回路７を経た後、インターレース走査信号が出力される。

なお、走査変換装置は、ＣＰＵ，ＲＡＭなどの揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、キーボード、ポインティングデバイス等の入力装置、画像やデータを表示するモニタ装置、及び外部の装置と通信するためのインタフェースを具えるコンピュータによって構成されるようにしてもよい。この場合、走査変換装置に備えたブロック領域切り出し回路２ａ，２ｂと、動きベクトル検出回路３と、垂直空間周波数検出回路４と、画素演算パラメータ決定回路５と、画素演算回路６と、インターレース用サブサンプル回路７の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ等）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

ここで、本発明で行う画素演算の内容について詳しく説明する。図４は、時空間領域の一例を示す図である。図４において、画像信号を、横軸を時間周波数ｆ［Ｈｚ］とするとともに縦軸を垂直空間周波数ν［ｃｐｈ］として時空間周波数軸で示す。なお、水平空間周波数成分の表示は省略している。

本例では、画像信号として、有効走査線数１０８０本及びフレーム周波数６０Ｈｚのハイビジョン順次走査信号を想定する。図４において、ｆ_Ｎ＝６０／２［Ｈｚ］は時間ナイキスト周波数を表し、ν_Ｎ＝１０８０／２［ｃｐｈ］は垂直ナイキスト周波数を表す。ｆ_Ｎとν_Ｎとを結ぶ直線は、ハイビジョンインターレース走査信号のナイキスト限界（ここでは、「インターレース走査ナイキスト限界線」と呼ぶ。）を示す。このナイキスト限界線は、図４から

と表せる。

任意のブロック領域Ｂ_ｋにおける動きベクトルは、局所的には平行移動とみなし、その垂直下方を正とする成分の大きさをｖ_ｋとする。同様に、ブロック領域Ｂ_ｋの垂直周波数成分の代表値（ピーク値、中央値、平均値等）をν_ｋとする。動きベクトルの水平成分が零の場合、ブロック領域Ｂ_ｋの垂直周波数成分ν_ｋは、直線

上に表せる。

式（１）と式（２）の交点ν_ｋＮ（ｆ_ｋ０，ν_ｋ０）をブロック領域Ｂ_ｋのインターレース走査ナイキスト限界点とすると、その座標は、計算により、

となる。同様に、式（２）とν_Ｎとの交点ν_ｋＰ１（ｆ_ｋ１，ν_ｋ１）及び式（２）とｆ_Ｎとの交点ν_ｋＰ２（ｆ_ｋ２，ν_ｋ２）を順次走査ナイキスト限界点とすると、その座標はそれぞれ、

となる。

ここで、インターレース走査ナイキスト限界を超えた順次走査信号は、そのままでインターレース用サブサンプリング処理を行うと、折り返ってモアレ画像となる。したがって、インターレース走査ナイキスト限界を超えた信号を抑圧する処理を行う。図５及び図６はそれぞれ、画素演算回路内で信号抑圧処理に用いるローパスフィルタ（ＬＰＦ）の係数例を示す図である。図５は、ブロック領域の垂直画素数を８とし、垂直方向に全画素加算平均するＬＰＦの例である。図６は、垂直方向で遮断周波数をナイキスト周波数の半分にするＬＦＰの例である。

次に、ＬＰＦの量の設定例を、図７を用いて説明する。任意のブロック領域Ｂ_ｋの垂直周波数ν_ｋがナイキスト限界点ν_ｋＮより低い場合、画素演算回路６では、ＬＰＦの量を０とし、ＬＰＦ処理することなく元の画像を出力する。それに対して、任意のブロック領域Ｂ_ｋの垂直周波数ν_ｋがナイキスト限界点ν_ｋＮより高い場合、画素演算回路６では、ＬＰＦの量を１とし、ＬＰＦ処理した画像を出力する。

ＬＰＦの量の他の設定例を、図８を用いて説明する。任意のブロック領域Ｂ_ｋの垂直周波数ν_ｋがナイキスト限界点ν_ｋＮより低い場合、図７の場合と同様に、画素演算回路６では、ＬＰＦの量を０とし、ＬＰＦ処理することなく元の画像を出力する。それに対して、任意のブロック領域Ｂ_ｋの垂直周波数ν_ｋがナイキスト限界点ν_ｋＮより高い場合、画素演算回路６では、垂直周波数ν_ｋに応じてＬＰＦの量を０から１に可変させてＬＰＦ処理をした画像を出力する。

次に、簡単な画素演算の設計例を説明する。図９は、図４の時空間周波数領域を複数の部分（ここでは、ａ_１〜ａ_１６の１６個の部分）に分けた例である。図９のａ_１〜ａ_１６に応じて図１０の表ｂ_１〜ｂ_１６の処理を行う。すなわち、任意のブロック領域Ｂ_ｋの時空間周波数成分がａ_１に存在する場合、画素演算回路６では、ＬＰＦ処理することなく元の画像を出力する。任意のブロック領域Ｂ_ｋがａ_２に存在する場合、ｂ_２の処理として、高域のみを抑圧するＬＰＦ処理を弱くかける。以下同様に、Ｂ_ｋがａ_３にある場合、ｂ_３の処理として、高域のみを抑圧するＬＰＦ処理を強くかける。これらの処理は、例えば図１１に示すように、予め係数やゲインがそれぞれ設定されたＬＰＦ回路を用意し、画素演算パラメータに応じてＬＰＦ回路を切り替えて処理を行う。このように垂直空間周波数成分及び動きベクトル量に応じてＬＰＦのゲインを加減する、すなわち、垂直空間周波数成分及び動きベクトル量が大きくなるに従ってＬＰＦ周波数を高くするとともにＬＰＦ量を強くすることによって、部分ごとに処理して動きが速く密度が細かい部分を排除しているので、動きぼけが生じなくなる。

次に、ブロック領域に水平方向の動きベクトルを含む場合について説明する。この場合、周波数スペクトルを時間−垂直空間周波数平面に投射すると、動きベクトルの垂直成分がｖ_ｋであるとともに垂直空間周波数成分がν_ｋであるとき、周波数スペクトルは、図１２に示すように幅を持って表される。このような場合も、垂直方向の動きベクトルのみを含む場合と同様に、順次走査画像信号の時空間位置がインターレース走査ナイキスト限界線を超える場合、適切な画素演算パラメータを選択、例えば、インターレース走査ナイキスト限界線から一番離れた周波数を抑圧するようなＬＰＦ特性を選択し、該当するブロック領域にＬＰＦ処理を施すことによって、走査変換時の折り返し成分を抑制することができる。

ブロック領域に水平方向の動きベクトルを含む場合と含まない場合のいずれにおいても、ＬＰＦの特性については、例えば折り返し成分が最も知覚的に検知されやすい周波数（例えば、ｆ＝６Ｈｚ，ν＝０ｃｐｈ等）となるような周波数成分を抑圧するように適切に決定してもよい。

図１３は、本発明による走査変換装置の第２の実施の形態を示す図である。この走査変換装置は、２フレーム以上の複数の画像を記録できるフレームメモリ１１ａ，１１ｂ，１１ｃと、ブロック領域切り出し回路１２ａ，１２ｂと、動きベクトル検出回路１３と、垂直空間周波数検出回路１４と、メモリ回路及び画素演算パラメータ決定回路１５と、画素演算回路１６と、インターレース用サブサンプル回路１７とを具える。

本実施の形態では、ブロック領域の動きベクトルの垂直成分の大きさ及び垂直周波数成分の最大値又は強度に関する情報としての動きベクトル決定結果、垂直空間周波数検出結果及びブロック領域ごとの画素演算パラメータ決定結果の一部又は全てを、メモリ回路及び画素演算パラメータ決定回路１５のメモリに保存し、演算画素パラメータ決定回路部で読み出せるようにすることによって、各ブロック領域の画素演算パラメータを決定する際に、他のブロック領域の動きベクトル決定結果、垂直空間周波数検出結果及びブロック領域ごとの画素演算パラメータ決定結果の一部又は全てを参照できるようにする。

例えば、隣接するブロック領域の動きベクトル決定結果、垂直空間周波数検出結果及びブロック領域ごとの画素演算パラメータ決定結果の一部又は全ても参照することによって、画素演算回路１６で用いるパラメータを、ブロック領域間の画素演算内容の違いを意図的に緩和するように決定することができる。

図１４は、本発明による走査変換装置の第３の実施の形態を示す図である。この走査変換装置は、２フレーム以上の複数の画像を記録できるフレームメモリ２１ａ，２１ｂ，２１ｃと、ブロック領域切り出し回路２２ａ，２２ｂと、動きベクトル検出回路２３と、垂直空間周波数検出回路２４と、画素演算パラメータ決定回路２５と、画素演算回路２６と、インターレース用サブサンプル回路２７と、ブロック領域切り出し位置形状決定回路２８とを具える。

本実施の形態では、動きベクトル決定結果、垂直空間周波数検出結果及びブロック領域ごとの画素演算パラメータ決定結果の一部又は全てを、ブロック領域切り出し位置形状決定回路２８によってブロック領域の切り出し位置及び形状の決定などの処理を行った後にブロック領域切り出し回路２２ａ，２２ｂにフィードバックする。

これによって、ブロック領域の切り出し方を適応的に変更することができる。例えば、最初に全画面のような大きなブロック領域で切り出し、動きベクトルや垂直空間周波数を検出し、これら検出結果に応じてブロック領域の切り出し位置及び形状を変更することによって、適切なブロック領域を取得することができる。

図１５は、ブロック領域の切り出し位置及び形状の変更のフローチャートであり、図１６は、ブロック領域の切り出し位置及び形状の変更を説明するための図である。本ルーチンでは、先ず、垂直空間周波数検出回路２４が垂直周波数成分の最大値又は最大強度を画素演算パラメータ決定回路２５に入力する際に実行されるステップＳ１において、ブロック領域内の垂直周波数成分のピーク値がしきい値以上であるか判断する。

ピーク値がしきい値以上の場合、ステップＳ２においてブロック領域の分割を行い、ステップＳ１に戻る。図１６に示す例では、ブロック領域Ｂがブロック領域Ｂ１〜Ｂ４に分割される。ピーク値がしきい値以上でない場合、画素演算パラメータ決定回路２５が動きベクトル決定結果、垂直空間周波数検出結果及びブロック領域ごとの画素演算パラメータ決定結果の一部又は全てをブロック領域切り出し位置形状決定回路２８に入力する際に実行されるステップＳ３において、ブロック領域が、隣接ブロック領域と垂直周波数成分及び動きベクトルの垂直成分に等しい又は近いか否か判断する。

垂直周波数成分及び動きベクトルの垂直成分に等しい又は近い場合、ステップＳ４においてブロック領域を連結して本ルーチンを終了し、それに対して、垂直周波数成分及び動きベクトルの垂直成分が異なる場合、本ルーチンを終了する。図１６に示す例では、ピーク値が比較的低いブロック領域Ｂ１〜Ｂ３が連結される。

図１７は、本発明による走査変換装置を有するシステムの実施の形態を示す図である。このシステムは、送信機側において、順次走査画像信号をインターレース走査画像信号に変換する走査変換装置１００を具え、受信機側において、インターレース走査信号を補間処理することによって順次走査信号を再構築する補間回路１０１を具える。

この走査変換装置は、２フレーム以上の複数の画像を記録できるフレームメモリ１０１ａ，１０１ｂ，１０１ｃと、ブロック領域切り出し回路１０２ａ，１０２ｂと、動きベクトル検出回路１０３と、垂直空間周波数検出回路１０４と、画素演算パラメータ決定回路１０５と、画素演算回路１０６と、インターレース用サブサンプル回路１０７とを具える。

本実施の形態では、動きベクトル決定結果、垂直空間周波数検出結果及びブロック領域ごとの画素演算パラメータ決定結果を、インターレース走査画像信号の伝送経路とは別の伝送経路によって受信機側まで伝送し、受信機側でインターレース走査信号から時空間における補間処理などによって順次走査画像信号を再構築する際に、動きベクトル決定結果、垂直空間周波数検出結果及びブロック領域ごとの画素演算パラメータ決定結果を用いて補間処理を行うことにより、インターレース走査画像信号による帯域以上の画像情報を再構築することができる。

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、画像信号として、有効走査線数１０８０本及びフレーム周波数６０Ｈｚのハイビジョン順次走査信号を用いた場合について説明したが、他のタイプの順次走査信号を用いることもできる。

また、本発明による走査変換装置の第３の実施の形態において、動きベクトル決定結果、垂直空間周波数検出結果及びブロック領域ごとの画素演算パラメータ決定結果の一部又は全てを、ブロック領域の切り出し位置及び形状の決定などの処理を行った後にフィードバックしたが、ブロック領域の切り出し位置及び形状の決定などの処理を行うことなくフィードバックを行うこともできる。

さらに、本発明による走査変換装置を有するシステムの実施の形態において、動きベクトル決定結果、垂直空間周波数検出結果及びブロック領域ごとの画素演算パラメータ決定結果を、インターレース走査画像信号の伝送経路とは別の伝送経路によって受信機側まで伝送したが、これらの結果をインターレース走査画像信号に重畳して受信機側まで伝送することもできる。

従来の走査変換を説明するための図である。本発明による走査変換装置の第１の実施の形態を示す図である。任意のブロック領域の切り出し例を示す図である。時空間領域の一例を示す図である。画素演算回路内で信号抑圧処理に用いるローパスフィルタ（ＬＰＦ）の係数例を示す図である。画素演算回路内で信号抑圧処理に用いるローパスフィルタ（ＬＰＦ）の係数例を示す図である。画素演算のゲイン設定の一例を説明するための図である。画素演算のゲイン設定の他の例を説明するための図である。簡単な画素演算の時空間周波数において説明するための図である。簡単な画素演算の設定例を示す図である。簡単な画素演算回路の一例を示す図である。動きベクトルが水平成分を有する場合の時空間領域の一例を示す図である。本発明による走査変換装置の第２の実施の形態を示す図である。本発明による走査変換装置の第３の実施の形態を示す図である。ブロック領域の切り出し位置及び形状の変更のフローチャートである。ブロック領域の切り出し位置及び形状の変更を説明するための図である。本発明による走査変換装置を有するシステムの実施の形態を示す図である。

符号の説明

１ａ，１ｂ，１ｃ，１１ａ，１１ｂ，１１ｃ，２１ａ，２１ｂ，２１ｃ，１０１ａ，１０１ｂ，１０１ｃフレームメモリ
２ａ，２ｂ，１２ａ，１２ｂ，２２ａ，２２ｂ，１０２ａ，１０２ｂ，１０２ｃブロック領域切り出し回路
３，１３，２３，１０３動きベクトル検出回路
４，１４，２４，１０４垂直空間周波数検出回路
５，２５，１０５画素演算パラメータ決定回路
６，１６，２６，１０６画素演算回路
７，１７，２６，１０７インターレース用サブサンプル回路
１５メモリ回路及び画素演算パラメータ決定回路
２８ブロック形状切り出し位置形状決定回路
１００走査変換装置
１０１補間回路

Claims

順次走査信号を飛び越し走査信号に変換する走査変換装置であって、
前記順次走査信号のブロック領域を切り出すブロック領域切り出し手段と、
各ブロック領域の動きベクトルの垂直成分の大きさを検出する動きベクトル検出手段と、
各ブロック領域の垂直周波数成分の最大値又は強度を検出する垂直空間周波数検出手段と、
処理対象のブロック領域の前記垂直周波数成分の最大値又は強度が前記動きベクトルの垂直成分の大きさで定まる、飛び越し走査サブサンプリングのナイキスト限界点未満の値を有する場合には、帯域制限を行うローパスフィルタ（ＬＰＦ）処理を行うことなく当該処理対象のブロック領域の画像を出力し、前記処理対象のブロック領域の前記垂直周波数成分の最大値又は強度が前記動きベクトルの垂直成分の大きさで定まる前記ナイキスト限界点以上の値を有する場合には、前記垂直周波数成分の最大値又は強度に応じて強くなるよう当該ＬＰＦ処理の量を可変させて帯域制限を行った画像を出力する画素演算手段と、
前記画素演算手段から出力されるブロック領域の画像を、飛び越し走査サブサンプリングして、前記飛び越し走査信号を出力するサブサンプル手段とを具えることを特徴とすることを特徴とする走査変換装置。
前記ブロック領域の前記動きベクトルの垂直成分の大きさ及び前記垂直周波数成分の最大値又は強度に関する情報を記憶し、前記ブロック領域の時間周波数−垂直空間周波数領域における帯域制限を行う際に、他のブロック領域の前記情報を参照する手段を更に具えることを特徴とする請求項１記載の走査変換装置。
前記ブロック領域の前記動きベクトルの垂直成分の大きさ及び前記垂直周波数成分の最大値又は強度に関する情報を、前記ブロック領域切り出し手段にフィードバックする手段を更に具え、
前記ブロック領域切り出し手段が、当該フィードバックされた前記情報に基づいて前記ブロック領域の分割又は連結を行う際に、前記ブロック領域内の垂直周波数成分の最大値又は強度が所定の値以上である場合、前記ブロック領域を更に分割し、前記ブロック領域の垂直周波数成分及び動きベクトルの垂直成分が、隣接するブロック領域の垂直周波数成分及び動きベクトルの垂直成分と比較して所定のしきい値内にある場合、前記ブロック領域を、隣接するブロック領域に連結する手段を有することを特徴とする請求項１記載の走査変換装置。
順次走査信号を飛び越し走査信号に変換する走査変換装置として構成するコンピュータに、
前記順次走査信号のブロック領域を切り出すステップと、
各ブロック領域の動きベクトルの垂直成分の大きさを検出するステップと、
各ブロック領域の垂直周波数成分の最大値又は強度を検出するステップと、
処理対象のブロック領域の前記垂直周波数成分の最大値又は強度が前記動きベクトルの垂直成分の大きさで定まる、飛び越し走査サブサンプリングのナイキスト限界点未満の値を有する場合には、帯域制限を行うローパスフィルタ（ＬＰＦ）処理を行うことなく当該処理対象のブロック領域の画像を出力し、前記処理対象のブロック領域の前記垂直周波数成分の最大値又は強度が前記動きベクトルの垂直成分の大きさで定まる前記ナイキスト限界点以上の値を有する場合には、前記垂直周波数成分の最大値又は強度に応じて強くなるよう当該ＬＰＦ処理の量を可変させて帯域制限を行った画像を出力するステップと、
該ステップを経て出力されるブロック領域の画像を、飛び越し走査サブサンプリングして、前記飛び越し走査信号を出力するステップと、
を実行させるための走査変換プログラム。