JP4431973B2 - 動画像処理装置および方法 - Google Patents

Description

本発明は、動画像処理装置および方法に関し、特に、符号化の前処理として、人の視覚特性を利用した動画像変換処理を行う動画像処理装置および方法に関するものである。

動画像のデータ量は非常に膨大であるため、動画像を保存、送信等する際には、動画像のデータ量を圧縮することが一般的に行われている。動画像のデータ量の圧縮方法としては、MPEG（ Moving Picture Experts Group）などのインターフレーム符号化とイントラフレーム符号化を組み合わせた動画像符号化が代表的である。

ところで、MPEGによる動画像符号化の符号化効率を向上するために、動画像に対して前処理を行う手法が数多く提案されている。

例えば、特開2000-32470号公報（特許文献１）では、順次走査方式の動画像の画素を半数に間引くことにより飛び越し走査方式の動画像へと変換した後に圧縮することで、画質の劣化を抑えつつ符号化効率の向上を可能としている。また、特開2001-352546号公報（特許文献２）では、前処理としてローパスフィルタを画像に適用することで、符号化後のブロック歪みの発生を抑制している。

特開2003-32470号公報 特開2001-352546号公報

しかしながら、上記における従来のデータ圧縮方法においては、以下のような問題があった。（１）特許文献１の方式では、前処理終了時点でデータ量を半分にすることが可能であり最終的な符号化効率の大幅な向上が期待できるが、動画の局所的な特性、すなわち、動きのある領域と無い領域の特徴を利用せずに一様な間引きを行っているため、画像全体に対して均一な劣化が生じる。（２）特許文献２の方式は、特に低ビットレートで符号化した場合に発生するブロック歪みの抑制を意図したものであり、高ビットレートの符号化時にこの手法を適用することで符号化効率の向上や画質の劣化の抑制が可能であるとは限らない。

本発明はこのような状況に鑑みてなされたものであり、主観的な画質劣化を最小限に抑えつつ、広範にわたる方法で取得された動画像に対して、符号化効率を向上させることができるようにするものである。

本発明の第１の動画像処理装置は、動画像を変換する動画像変換手段と、動画像変換手段の出力を符号化器に出力するための出力手段とを備え、動画像のフレームレートと画素数の間引き量により規定される超解像度効果が得られる最低の速度以上の値が、第１の閾値とされており、動画像変換手段は、動画像の移動速度の値が第１の閾値より大きい場合、画素数の間引き処理を行い、動画像の移動速度の値が第１の閾値より小さい場合、フレーム数の間引き処理を含む処理を行うことを特徴とする。

さらに、超解像度効果が得られる最低の速度以上の値であって、第１の閾値よりも小さい値が、第２の閾値とされており、動画像変換手段は、動画像の移動速度の値が第１の閾値と第２の閾値の間である場合、画素数の間引き処理と、フレーム数の間引き処理とを行い、動画像の移動速度の値が第２の閾値より小さい場合、フレーム数の間引き処理を行うことができる。

動画像変換手段は、画像をブロックに分割するブロック分割手段をさらに有し、各ブロックに対して異なる変換処理を施すことができる。

動画像は、高フレームレート動画であるようにすることができる。

符号化器は、MPEGによる圧縮を行うことができる。

出力手段は、動画像のフレームレートがRであった場合、動画像のフレームレートをR/M (Mは整数)にする処理を含む処理を行うことができる。

本発明の第２の動画像処理装置は、動画像を変換する動画像変換手段と、動画像変換手段の出力を符号化器に出力するための出力手段とを備え、動画像のフレームレートと画素数の間引き量により規定される超解像度効果が得られる最低の速度以上の値が、第１の閾値とされており、動画像変換手段は、動画像の移動速度の値が第１の閾値より大きい場合、画素数の間引き処理を行い、動画像の移動速度の値が第１の閾値より小さい場合、フレーム数の間引き処理を含む処理を行い、出力手段は、動画像のフレームレートがRであった場合、動画像のフレームレートをR/M (Mは整数)にする処理を含むことを特徴とする動画像処理装置の出力手段によってフレームレートが1/Mとなった動画像のフレームレートをM倍にすることを特徴とする。

本発明の第１の動画像処理方法は、動画像を変換する動画像変換ステップと、動画像変換ステップの出力を符号化器に出力するための出力ステップとを含み動画像のフレームレートと画素数の間引き量により規定される超解像度効果が得られる最低の速度以上の値が、第１の閾値とされており、動画像変換ステップの処理は、動画像の移動速度の値が第１の閾値より大きい場合、画素数の間引き処理を行い、動画像の移動速度の値が第１の閾値より小さい場合、フレーム数の間引き処理を含む処理を行うことを特徴とする。

本発明の第２の動画像処理方法は、動画像を変換する動画像変換ステップと、動画像変換ステップの出力を符号化器に出力するための出力ステップとを含み、動画像のフレームレートと画素数の間引き量により規定される超解像度効果が得られる最低の速度以上の値が、第１の閾値とされており、動画像変換ステップの処理は、動画像の移動速度の値が第１の閾値より大きい場合、画素数の間引き処理を行い、動画像の移動速度の値が第１の閾値より小さい場合、フレーム数の間引き処理を含む処理を行い、出力ステップは、動画像のフレームレートがRであった場合、動画像のフレームレートをR/M (Mは整数)にする処理を含むことを特徴とする動画像処理方法の出力ステップによってフレームレートが1/Mとなった動画像のフレームレートをM倍にすることを特徴とする。

本発明においては、動画像が変換されて符号化器に出力され、動画像に加えられた変換は、動画像が静止している場合は認識可能であるが、連続再生時は人の視覚特性上人が認識することが困難となる。

また本発明においては、動画像が変換されて符号化器に出力され、動画像に加えられた変換は、動画像が静止している場合は容易に認識可能であるが、連続再生時は人の視覚特性上人が認識することは困難となり、フレームレートが1/Mとなった動画像のフレームレートがM倍となる。

本発明によれば、主観的な画質劣化を最小限に抑えつつ、動画像のフレームレートを、MPEGなどの、対応できるフレームレートに上限がある符号化で処理することができるように、動画像のフレームレートを落とすことができる。

はじめにその視覚特性と超解像度効果について説明する。

人の視覚は、受けた光の刺激の総和がある閾値になったとき光を知覚するという機能（以下、時間的積分機能と称する）を有している。すなわち光の知覚は、呈示時間内の光の刺激の分布状態に関係なく、時間的に積分された光の総和に従う。また光を知覚できる刺激（閾値）は、刺激の呈示時間が長くなるにつれて小さくなり、呈示時間が短くなるにつれて大きくなる。

この関係は、ブロックの法則(Bloch's law)として知られ、以下の式が成り立つ。式中、Ｉは、閾値としての刺激の強度であり、Ｔは、刺激の呈示時間であり、ｋは定数である。
Ｉ×Ｔ＝ｋ

またこの関係は、横軸を刺激呈示時間Ｔとし、縦軸を閾値（強度I）とすると、図１に示すように表すことができる。この曲線は、閾値呈示時間曲線として知られている。図１の閾値呈示時間曲線によれば、強度Ｉａの光がインパルス的に時間Ｔａの間呈示された場合と、Ｉａの１／ｎの強度Ｉｂの光がＴａのｎ倍の時間Ｔｂだけ連続して呈示された場合とでは、人は、同じ明るさを感じることになる。

なお、刺激の呈示時間のある時間（図１の例では時間ＴL）までは、ブロックの法則が成り立つが（時間ＴLまでは右下がりの直線になるが）、時間ＴLを越えると閾値が刺激の強度のみに依存するようになる（呈示時間によって変化しなくなり、その結果閾値呈示時間曲線は折れ線のような特性を示す）。ブロックの法則が成り立つ最大の刺激呈示時間ＴLは、臨界呈示時間と呼ばれている。この時間ＴLは、背景光の強度などの刺激呈示条件によって変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。

ブロックの法則の詳細については、例えば、"視覚情報処理ハンドブック,日本視覚学会編,pp.219-220"などに記載されている。

人の視覚はまた、刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（以下、感覚記憶機能と称する）を有している。この時間については、１０ｍｓ乃至２００ｍｓであるという報告が多数されている。この機能は、アイコニックメモリーとか視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック,日本視覚学界編,pp.229-230"などに記載されている。

次に、視覚特性に基づいて実現される超解像度効果について説明する。なお本発明における超解像度効果は、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性を利用している。これは上記の時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられるが、以下の説明においては、これを便宜上、時間的積分機能によるものとする。

例えば、水平方向に平行移動する被写体を、所定のフレームレート（以下、入力画像フレームレートと称する）および所定のサンプリングレート（以下、入力画像サンプリングレートと称する）で撮影すると、図２Ａに示すような、被写体像Ｗaが、速度ｖ（ピクセル／フレーム）で、図面に向かって右方向（Ｘ軸方向）に移動する入力フレームＦａが得られる。図２Ａには、連続する４枚の入力フレームＦａ１乃至Ｆａ４が図示されている。

このように得られた入力フレームＦａを、Ｘ軸方向（被写体像Ｗaの移動方向）に、入力画像サンプリングレートの、１／ｍのサンプリングレート（以下、表示画像サンプリングレートと称する）でサンプリングするものとする（間引き量ｍで間引きするものとする）。図２Ａの場合、入力フレームＦａが間引き量４で間引きされているので、図２Ｂに示すような、Ｘ軸方向の画素数が１／４になった（Ｘ軸方向に粗くなった）（画質が劣化した）表示フレームＦｂが得られる。表示フレームＦｂには、入力フレームＦａの被写体像Ｗaが間引き量４で間引きされた画像（以下、表示被写体像Ｗbと称する）が含まれている。

そしてこのように得られた表示フレームＦｂを、所定のフレームレート（以下、表示画像フレームレート）で表示するものとする。その結果観測者は、上述した時間的積分機能における積分時間内に表示された複数の表示フレームＦｂの積分画像を知覚する。

ここで観測者は、視線が、このように表示された表示フレームＦｂ上の表示被写体像Ｗbを追従するように見るものとする。この場合観測者の視点は、常に表示被写体像Ｗbの中心に位置するので、観測者の網膜上の表示被写体像Ｗbはほぼ静止している。図２Ｂに示す座標軸Ｖｘ，Ｖｙは、網膜上の座標を示し、座標軸Ｘ，Ｙは、フレーム上の座標を示している（ともに、図中表示フレームＦｂ１上に示されているが、表示フレームＦｂ２乃至Ｆｂ４についてはその図示は省略されている）。座標軸Ｖｘ，Ｖｙは、網膜には実像の反転像が結像するため、座標系の向きは座標軸Ｘ，Ｙと逆になっている。

また表示フレームＦｂのサンプリングは、図３中の点線で示されているように、フレーム上一定の位置（この例の場合、４画素間隔の位置）がサンプルされる。したがって、移動量がサンプリング間隔の倍数と一致しない場合、サンプリングされる被写体像Ｗaの位置は、フレーム毎にｖずつずれるので、表示フレームＦｂの各表示被写体像Ｗbは、被写体像Ｗaの、サンプリング位置のずれ分だけ異なる部分で形成される。

被写体像Ｗaの移動速度ｖが、例えば１（ピクセル／フレーム）である場合、フレーム間の移動量（１ピクセル）がサンプリング間隔（４ピクセル）の倍数と一致しない。したがって、この場合、サンプリングされる被写体像Ｗaの位置は、１画素ずつＸ軸方向にずれるので、表示フレームＦｂの各表示被写体像Ｗbは、被写体像Ｗaの、その分だけ異なる部分から形成されることになる。

このように表示被写体像Ｗbが、被写体像Ｗaの、サンプリング位置のずれ分だけ異なる部分から形成されている場合、その表示被写体像Ｗbが視覚系で複数フレームにわたって積分されることにより、表示被写体像Ｗbより画素が密になった画像（表示被写体像像Ｗbの解像度より高解像度（以下、超解像度と称する）の画像）が知覚される。

例えば、視覚特性における積分時間が、図２Ｂにおける４枚分の表示フレームＦｂの表示時間に相当し、表示フレームＦａ１乃至Ｆａ４の４個の表示被写体像Ｗbが積分される場合、図２Ｃに示すような、表示被写体像Ｗbの解像度の約４倍、すなわち被写体像Ｗaと同程度の解像度の画像が知覚される（元の解像度で知覚される）。

超解像度効果はこの原理によって実現されるが、間引き処理を施すと折り返し成分が発生し、それが折り返し歪みとなり画質が劣化する。そこで本発明では、以下に説明するようにその折り返し成分を取り除く工夫がなされている。

式（１）は、１次元の原信号f(x)を間隔Ｘで離散化した信号f_s(ｘ)を表している。式（１）中、δ(ｘ)はデルタ関数である。式（２）は、離散化信号f_s(ｘ)のフーリエ変換F_s(ω)を表している。式（２）中、F(ω)は原信号f(ｘ)のフーリエ変換であり、ω_sはサンプリング角周波数を表している。

・・・（１）

・・・（２）

式（３）は、原信号f(ｘ)を、実空間においてφだけずらして間隔Ｘでの離散化を行った信号f_sφ(ｘ)のフーリエ変換F_sφ(ω)を表している。

・・・（３）

式（３）は、ｋ＝０の基本波は原信号と同じになり、ｋ＝ｎのｎ次高調波は2πnφだけ位相がずれていることを示している。上述のように、被写体像Ｗaがある移動速度vで平行移動しているとし、移動方向に１／ｍで間引きサンプリングする場合を考えると、原信号は表示フレームＦｂのナイキスト周波数のｍ倍の帯域を持っている。したがって、１／ｍで間引きサンプリングされたサンプリング信号f_sφ(x)は折り返し成分を持っており、式（３）において、ｋ＝０は原信号成分となり、ｋ＝１，２，・・・，(ｍ−１)は折り返し成分となる。

図４は、間引き量ｍ＝２としたときのフーリエ変換F_sφ(ω)を示している。このとき、原信号の帯域はナイキスト周波数の２倍となり、１／ｍで間引きサンプリングされたサンプリング信号f_sφ(x)には１次高調波の折り返し成分が存在している。この図からわかるように、サンプリング信号f_sφ(x)は原信号f(x)のフーリエ変換F(ω)成分をそのまま持っており、ｋ＝１における１次高調波F(ω-ω_s)およびF(ω+ω_s)が、それぞれ −2πφおよび 2πφだけ位相がずれて折り返している。

間引きサンプリング間隔が１／ｍの場合には、その１／ｍで間引きされたサンプリング信号f_sφ(x)には１乃至（ｍ−１）次の折り返し成分が存在し、それぞれの位相は2πkφだけずれていることになる。このサンプリング信号f_sφ(x)は、φだけずれた原信号f(x)を１／ｍに間引きサンプリングした信号であるので、図２Ｂにおける任意の１表示フレームＦｂに相当すると考えられる。

ここで図２Ｂにおける時間的に異なる各表示フレームＦｂの信号について考える。被写体（原信号ｆ(x)）が速度vで平行移動している場合、図３で示したように、フレーム毎にサンプル点の位相がずれる。このことから、式（３）におけるサンプリング点のずれ量φは時間tの関数となっており、速度v(ピクセル/フレーム)と間引き量ｍ(ピクセル)に依存して式（４）のようになる。式（４）中Ｔは、時間間隔を表しており、フレームレートの逆数である。

・・・（４）

式（４）は、ｔ＝０のときにずれ量φ₀が０となり、ｔ＝Ｔ，２Ｔ，３Ｔ・・・と変化するにつれてずれ量がｖ／ｍずつ増えていくことを表している。式（４）を式（３）に当てはめると、各時刻における折り返し成分の位相が求められる。図５は、１次の折り返し成分の時刻t＝０,Ｔ,２Ｔ,３Ｔ，・・・における位相を表している。図６は、２次の折り返し成分の、図７は、３次の折り返し成分の、そして図８は、４次の折り返し成分の時刻t＝０,Ｔ,２Ｔ,３Ｔ，・・・における位相をそれぞれ表している。

このようにｋ次の折り返し成分は、時間、すなわちフレームが進むに従って、等間隔（２πｋφT間隔）で回転し、時間ｔ＝（ｍ／ｖ）Ｔの時に位相０に戻る。また折り返し成分の次数が上がるに従って、位相の回転間隔が倍になっていく。

このように間引き量ｍでの間引き処理（間引きサンプリング）によって発生するｋ（＝１，２，・・・，（ｍ−１））次の折り返し成分の位相は、２πｋφTで回転するので、位相の方向と積分される画像の数（合成される折り返し成分の数）によっては、折り返し成分が互いに打ち消される場合がある。言い換えれば、φtは、式（４）に示すように移動速度ｖと間引き量ｍに依存するので、移動速度ｖと間引き量ｍ並びに積分される画像の数によって、折り返し成分が互いに打ち消される場合がある。

例えば、ｖ＝１である場合、ｍ＝４で間引きしたとき、表示フレームＦｂの画像には、図９に示すように、０（＝２π×１×［（１／４）×０／Ｔ］），π／２（＝２π×１×［（１／４）×（Ｔ／Ｔ）］，π（＝２π×１×［（１／４）×２Ｔ／Ｔ］、３／２π（＝２π×１×［（１／４）×３Ｔ／Ｔ］），・・・で位相が変化する（π／２間隔で位相が変化する）１次の折り返し成分が存在する。なお図９においてｔ＝４Ｔ以降の折り返し成分の図示は省略されている。後述する図１０および図１１においても同様である。

表示フレームＦｂの画像にはまた、図１０に示すように、０（＝２π×２×［１／４×０／Ｔ］），π（＝２π×２×［１／４×Ｔ／Ｔ］）、２π（＝２π×２×［（１／４）×（２Ｔ／Ｔ）］）、３π（＝２π×２×［（１／４）×３Ｔ／Ｔ］），・・・で位相が変化する（π間隔で位相が変化する）２次の折り返し成分と、図１１に示すように、０（＝２π×３×［（１／４）×（０／Ｔ）］、３π／２（＝２π×３×［（１／４）×（Ｔ／Ｔ）］、３π（＝２π×３×［（１／４）×（２Ｔ×Ｔ）］）,９π／２（＝２π×３×［（１／４）×（３Ｔ／Ｔ）］），・・・で位相が変化する（３π／２間隔で位相が変化する）３次の折り返し成分が存在する。

この場合、ｔ＝０，Ｔ，２Ｔ，３Ｔそれぞれにおける１次乃至３次の折り返し成分のベクトルは、図９乃至図１１に示したように、それぞれ互いに打ち消す方向を向いているので、視覚系で４枚分の表示フレームＦｂが積分される場合、それらはすべて打ち消される。

ｋ次の折り返し成分が打ち消される条件を式で表せば、式（５）のようになり、式（５）をオイラーの公式により展開すれば、式（６），（７）のようになる。

・・・（５）

・・・（６）

・・・（７）

すなわち本発明では、被写体像Ｗaの移動速度ｖに応じて、互いに打ち消される折り返し成分が発生するように間引き量ｍを決定することによって、折り返し成分を除去するようにしている。

ここで離散化信号f_sφ(ｘ)を帯域制限型のデジタルフィルタにより１／ｍに縮小する場合を考えると、φだけずれた原信号f(x)は折り返しが発生しないようにナイキスト周波数において帯域制限される。このため例えばｍ＝２のとき、フーリエ空間は、図１２に示すようになり、１／ｍに縮小された信号に対応する各フレーム画像は折り返し成分を含まない低解像度の画像となる。したがって、この場合には縮小信号の基本波は原信号とは異なる信号となっており、複数フレームの画像をどのように加算処理してもナイキスト周波数以上の周波数成分を表現することはできず、超解像度効果を得ることができない。したがってこのことから、超解像効果を得るためには、原信号を帯域制限しないことが重要であり、広帯域の空間周波数成分を持つ原画像を間引きサンプリングするのが最適である。

なお以上においては簡単のために、原信号が１次元信号の場合を例として説明したが、２次元画像においても同様である。また図２を参照して被写体像ＷaのＸ軸方向の移動を例として説明したが、Ｙ軸方向の移動についても同様である。

次に互いに打ち消される折り返し成分の条件（超解像度効果を得ることができる画像の折り返し成分の条件）について説明する。

超解像度効果を得ることができるための条件は、式（５）が成立する、つまり式（６）および式（７）が成立することである。これは、図１３に示すように、時刻ｔにおけるｋ次の折り返し成分をベクトルＺk(t)とすると、視覚系の積分範囲におけるベクトルＺk(t)和がゼロになることである。この条件の成立は、積分時間に依存するが、この積分時間は、観察環境によって変化することが知られている上に、それを正確に計測することが困難なため、この条件を満たす範囲を限定することは難しい。

一方、例えば、所定の移動速度ｖでＸ軸方向またはＹ軸方向に移動する被写体像Ｗaを、所定の間引き量ｍでサンプリングして所定のフレームレート毎に表示し、表示された表示被写体像Ｗbを、観測者が実際に見て超解像度で知覚できたかを確認する実験から、フレームレートが高い、つまり積分される画像数が多ければ、間引き量ｍが大きくなっても超解像度効果が得られることがわかっている。このとき超解像度効果が得られる条件は、移動速度ｖに依存しており、およそ式（８）のような関係にあると考えられる。
２πｎ＋α≦２πｋφT≦２π（ｎ＋１）−α・・・（８）

前述のように、各折り返し成分の位相は２πｋφT間隔で回転するが、式（８）は、その各次の折り返し成分の位相回転間隔が、２πの倍数に近いときには超解像度効果が得られないことを表している。図１４に示すように、位相回転間隔が２πの倍数に近いということは、時刻ｔが変化しても折り返し成分の位相がほとんど変わらないことを意味しており、折り返し成分は打ち消されずに残ってしまうためである。

例えば、ｍ＝４のときに発生する１次乃至３次の折り返し成分について、式（８）の成立条件を検討すると、図１５中、陰が付されている移動速度ｖ（ピクセル／フレーム）の範囲では、式（８）が成立せず、超解像度効果を得ることができない。

この１次の折り返し成分については、例えば、ｖ＝４のとき、折り返し成分の位相回転間隔＝２π×１×（４／４）（２πｋφT）となり、折り返し成分の位相回転間隔は２πの１倍となるので、速度ｖ＝４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、１次式の折り返し成分が打ち消されなくなる。すなわちｖ＝４ｎ（ｎ＝０，１，２，３，・・・）のとき、位相回転間隔は２πのｎ倍となるので、ｖ＝４ｎを中心とする一定範囲においては、１次式の折り返し成分は打ち消されない。

２次の折り返し成分については、例えば、ｖ＝２のとき、位相回転間隔＝２π×２×（２／４）（２πの１倍）となり、そしてｖ＝４のとき、位相回転間隔＝２π×２×（４／４）（２πの２倍）となるので、速度ｖ＝２，４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、２次式の折り返し成分が打ち消されなくなる。すなわちｖ＝２ｎのとき、位相回転間隔は２πのｎ倍となるので、ｖ＝２ｎを中心とする一定範囲においては、２次式の折り返し成分は打ち消されない。

３次の折り返し成分については、例えば、ｖ＝４／３のとき、位相回転間隔＝２π×３×（４／３）／４（２πの１倍）となり、ｖ＝８／３のとき、位相回転間隔＝２π×３×（８／３）／４（２πの２倍）となり、そしてｖ＝４のとき、位相回転間隔＝２π×３×４／４（２πの３倍）となるので、速度ｖ＝４／３，８／３，４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、３次式の折り返し成分が打ち消されなくなる。すなわちｖ＝（４／３）ｎのとき、位相回転間隔は２πのｎ倍となるので、ｖ＝（４／３）ｎを中心とする一定範囲においては、３次式の折り返し成分は打ち消されない。

なお速度ｖ＝０のとき、位相回転間隔２πｋφT＝０となるので、１次乃至３次の折り返し成分のそれぞれは、ｖ＝０付近の一定範囲（０乃至ｖ_α1，０乃至ｖ_α2，０乃至ｖ_α3）において打ち消されなくなる。

ｍ＝３のときに存在する１次，２次の折り返し成分（図１６）およびｍ＝２のときに存在する１次の折り返し成分（図１７）についても、ｍ＝４を例として上述したように、位相回転間隔が２πの倍数を中心とする２αの範囲内となる速度では、各次式の折り返し成分は打ち消されない。

また図１３に示すように、折り返し成分の次数が上がるに従い、各次数における位相回転間隔は２倍、３倍と大きくなる。位相回転間隔をθとすれば被写体像Ｗaの移動速度ｖが小さく、位相回転間隔θがαより小さいときには式（８）が成立せず超解像度効果は得られない。被写体像Ｗaの移動速度ｖが上がり、位相回転間隔がαに達すると超解像度が得られる。このことから、αは超解像度効果が得られる臨界点（位相回転間隔）であると考えられる。このαは、表示画像フレームレートによって変化し、表示画像フレームレートが高いと小さくなる傾向にある。臨界点における被写体像Ｗaの移動速度をｖ_αとすると、式（９）が得られ、それを変形すると式（１０）が得られる。したがって表示画像フレームレートが高くなってαが小さくなると、速度ｖ_α（図１５の例の場合、ｖ_α1、ｖ_α2、またはｖ_α3）が小さくなり、その結果、移動量が小さくても超解像度効果が得られる。

・・・（９）

・・・（１０）

また式（１０）から、臨界点におけるｖ_αは、間引き量ｍと折り返し成分の次数ｋに依存しており、間引き量ｍが大きくなると臨界点の速度ｖ_αも大きくなることがわかる。また次数ｋが大きくなると臨界点における速度ｖ_αは小さくなることから（図１５の例の場合、ｖ_α2はｖ_α1より小さく、ｖ_α3はｖ_α2より小さくなることから）、高次の折り返し成分における超解像度効果が得られない領域は狭くなることがわかる。

以上をまとめると、視覚系における超解像度効果について以下のことが言える。・超解像度効果が得られる臨界点αは、高フレームレート表示において小さくなる。・間引き量がｍのとき、１乃至ｍ−１次の折り返し成分が式（８）を満たす必要がある。・間引き量ｍが小さくなると、臨界点における被写体像Ｗaの速度ｖ_αは小さくなる（間引き量ｍが小さい場合には、移動量が小さくても超解像度効果が得られる）。

以上から、動画像の領域が高速で移動し、かつ動画像が高フレームレートであったときには、その領域の空間解像度を削減しても、超解像度効果により、観測者にその画質劣化を知覚させないようにすることができる。

なおこのように表示画像フレームレートを高くすることは超解像度効果を得るのに有利となるが、表示画像フレームレートを高くすれば、その他、動きぼけやジャーキネス等の画質劣化を改善することにも有利となる。

次に、本発明を適用した動画像処理装置の構成例を、図１８を参照して説明する。この動画像処理装置は、上述した超解像度効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないように動画像変換を行うことができる。

動画像変換処理部１１は、動画像変換処理部２１および出力部２２より構成されている。動画像変換処理部２１には、MPEGでは処理できない高フレームレート（例えば、２４０fps）の動画が入力される。動画像変換処理部２１は、入力された動画像をブロックに分割し、分割された個々のブロックに対して、上述した超解像度効果を利用した動画像変換処理を施し、入力された動画像を変換し、出力部２２に供給する。

出力部２２は、動画像変換処理部２１によって処理された動画像のフレームレートを１／Ｍ (Ｍは自然数)に変換してMPEGでの処理が可能なフレームレートにし、符号化部１２に供給する。

例えば入力のフレームレートが240fpsである場合、出力部２２は、MPEGを適用可能な60fpsにする。すなわち、フレームレートを１／４にする。なお入力動画像のフレームレートは240fpsに限らず、どのようなフレームレートであっても良い。

符号化部１２は、動画を圧縮可能であればどのようなものであっても構わないが、本実施例では、MPEG圧縮を行うことのできる既存の符号化器を備えており、入力された動画像をMPEG規格に準拠して符号化する。

復号部１３は、復号器を備え、符号化されたデータを復号し、拡張部１４に供給する。

拡張部１４は、復号部１３によって復号された動画像（フレームレートが１／Ｍにされた動画像）のフレームレートをＭ倍にし、元のフレームレートに戻して出力する。

次に、動画像変換処理部１１の動画像変換処理部２１および出力部２２の詳細を、図１９を説明する。

はじめに動画像変換処理部２１について説明する。

動画像変換処理部２１のブロック分割部３１は、入力された動画像の各フレームをブロックに分割し、移動量検出部３２に供給する。

移動量検出部３２は、ブロック分割部３１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部３３に送信する。

ブロック処理部３３は、移動量検出部３２から供給されたブロックに対して、その移動量に応じた動画像変換処理を施し、出力部２２で適切にフレームレートを削減できるようにする。ブロック処理部３３は、その処理が施されたブロックを、出力部２２に供給する。

ブロック分割部３１の詳細を説明する。

ブロック分割部３１の画像蓄積部４１には、動画像処理装置に供給された動画像のフレーム（例えば、フレームレートが２４０fpsのフレーム）が入力される。画像蓄積部４１は、入力されたフレームを蓄積し、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部４２に供給するとともに、Ｎ枚のフレームの中のＫ番目に記憶したフレーム（以下、Ｋ番目のフレームと称する）を、移動量検出部３２（移動量検出部５１）に供給する。なおこの例の場合Ｎ＝４とする。

ブロック分割部４２は、画像蓄積部４１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ(例えば８×８、１６×１６)のブロックに分割し、移動量検出部３２（ブロック分配部５２）に出力する。ブロック分割部４２はまた、Ｎ枚のフレームの中の、画像蓄積部４１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部３２（移動量検出部５１）に供給する。Ｐ番目のフレームは、Ｋ番目のフレームと異なるフレームである。

次に、移動量検出部３２について説明する。

移動量検出部３２の移動量検出部５１は、ブロック分割部３１のブロック分割部４２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部４１から供給されたＫ番目のフレームを参照して検出し、ブロック分配部５２に供給する。なおこの例の場合、Ｋ＝２で、Ｐ＝３とするので、動きベクトルは、１フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。

ここで移動量検出部５１の構成を図２０に示す。拡大処理部６１は、ブロック分割部４２から供給されたＰ番目のフレームの各ブロックの縦横を、それぞれ、例えば２倍に拡大する。拡大処理部６２は、画像蓄積部４１から供給されたＫ番目のフレームの縦横をそれぞれ２倍に拡大する。

なお拡大処理部６１および６２で画像を拡大するのは、移動量の検出精度を向上させるためである。したがってここではその倍率を２としたが、それをさらに大きな値にすることにより、移動量検出の精度をさらに向上させることができる。また拡大処理部６１および６２を設けずに、画像拡大を省略して移動量検出を行うこともできる。

ブロックマッチング部６３は、拡大処理部６１および６２でそれぞれ拡大された画像を利用して、Ｐ番目のフレームの各ブロックの動きベクトルを検出する。

具体的にはブロックマッチング部６３は、拡大処理部６１から供給されたＰ番目のフレームのブロック（検索対象ブロック）と拡大処理部６２から供給されたＫ番目のフレーム（参照フレーム）の探索領域内の任意ブロックを比較し、平均二乗誤差が最小になる、Ｋ番目のフレームのブロック位置を検出する。そしてブロックマッチング部６３は、Ｐ番目のフレームの検索対象ブロックと検出したＫ番目のフレームのブロックを結ぶベクトルを動きベクトルとし、それを、ブロック分配部５２に供給する。

なお、この例では、Ｎ個のフレーム中のＰ番目のフレームとＫ番目のフレームを用いて（連続する２フレームを用いて）移動量を算出したが、例えばＮ個のフレームの全フレームという選択を含むどのようなフレームの組み合わせで移動量を算出しても構わない。

図１９に戻り、移動量検出部３２のブロック分配部５２には、ブロック分割部４２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部５１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部５２は、供給されたＮ個のブロックと移動量を、ブロック処理部３３の、その移動量に対応する処理を行うブロック処理部７１−１乃至７１−３（以下、個々に区別する必要がない場合、単に、ブロック処理部７１と称する。他の部分についても同様である）の中のいずかに供給する。

具体的にはブロック分配部５２は、移動量検出部５１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル以上である場合、ブロック分割部４２から供給されたＮ個のブロックと移動量検出部５１から供給された移動量を、ブロック処理部７１−１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ1ピクセル以上の場合、ブロック分配部５２は、Ｎ個のブロックと移動量を、ブロック処理部７１−３に出力する。移動量がそのほかの場合には、ブロック分配部５２は、Ｎ個のブロックと移動量をブロック処理部７１−２に供給する。

すなわちブロック分配部５２は、移動量検出部５１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部７１に、ブロック画像を分配する。

ブロック分配部５２は、移動量検出部５１からの移動量に対応する情報、すなわちブロックがいずれのブロック処理部７１でのブロック処理がなされたかを示す情報（以下、ブロック処理情報と称する）を、符号化部５３に供給する。符号化部５３は、ブロック分配部５２から供給されたブロック処理情報を符号化して、符号化部１２に供給する。

ブロック分割部５２の分配先決定方法として、より時間方向に安定した、別の分配先決定方法を採用することも可能である。時間方向でブロックの分配先が安定していないということ、すなわち、空間上のある特定位置のブロックの分配先が時間の経過とともに頻繁に変わるということは、そのブロックに施される処理が頻繁に変化することを意味する。そのような状況においては画質の劣化が発生する可能性が考えられるが、ブロック分配部５２に対して図２１のように遅延器５４を追加し、分配先決定のための条件をより時間方向に安定したものへと変更することで、画質の劣化を抑制することができる。

図２１のブロック分配部５２は具体的には以下のようにブロックの分配先を決定する。まず、ブロック分配部５２に遅延器５４より過去のブロック処理情報が供給される。過去のブロック処理情報とは、現在処理中のフレームが仮にn、 n+1、 n+2、 …、n+N-1番目のフレームであるとした場合、既に処理を行ったn-N、 n-N+1、 n-N+2、 …、n-1番目のフレームに関するブロック処理情報である。つづいてブロック分配部５２は供給された過去のブロック処理情報を参照し、現在処理中のブロックと空間的に同一位置にあるブロックが過去いずれのブロック処理部７１に分配されたのかを確認する。

現在処理中のブロックが過去においてブロック処理部７１−１に分配されていた場合、移動量検出部５１から供給された、1フレーム間の水平方向または垂直方向の移動量がVsピクセル以上であれば、ブロック分割部４２から供給されたN個のブロックと移動量検出部５１から供給された移動量がブロック処理部７１−１に出力される。

現在処理中のブロックが過去においてブロック処理部７１−３に分配されていた場合、移動量検出部５１から供給された、1フレーム間の水平方向または垂直方向の移動量がVtピクセル未満であれば、ブロック分割部４２から供給されたN個のブロックと移動量検出部５１から供給された移動量がブロック処理部７１−３に出力される。

現在処理中のブロックが過去においてブロック処理部７１−２に分配されていた場合、移動量検出部５１から供給された、1フレーム間の水平方向または垂直方向の移動量がVts1ピクセル以上かつVts2ピクセル未満であれば、ブロック分割部４２から供給されたN個のブロックと移動量検出部５１から供給された移動量がブロック処理部７１−２に出力される。

また、上記の条件に当てはまらない場合には既述の条件、つまり、移動量検出部５１から供給された、1フレーム間の水平方向または垂直方向の移動量が2ピクセル以上の場合はブロック処理部７１−１へ、1ピクセル未満の場合はブロック処理部７１−３へ、それ以外の場合は７１−２へN個のブロックと移動量検出部５１から供給された移動量が供給される。過去のブロック処理情報が存在しない場合も同様である。

なお移動量Vt、 Vs、 Vts1、Vts2には以下のような関係がある。
Vts1 ≦ Vt
Vts1 ≦ Vts2
Vs ≦ Vts2

上記を満たすようなVt、 Vs、 Vts1、Vts2を設定することで、時間の経過とともにブロックに施される処理が頻繁に変わることを防ぐことができる。なお、分配先決定のためのこの条件あくまでも一例であり、他の条件で分配先を決定してもよい。

次にブロック処理部３３について説明する。ブロック処理部３３は、この例の場合、３個のブロック処理部７１−１乃至７１−３で構成されている。

ブロック処理部７１−１は、移動量検出部３２のブロック分配部５２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部５２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。

具体的には、１フレーム間の水平方向の移動量が２ピクセル以上である場合、ブロック処理部７１−１は、ブロックが８×８ピクセルで構成されているとき、図２２に示すように、各ブロック内の画素を、１×４ピクセル単位の集合に分割する。そしてブロック処理部７１−１は、図２３に示すように、各ブロックの１×４ピクセルの集合を、集合の画素値ｐ１乃至ｐ４の中のいずれかの画素値（例えば、ｐ１）に統一する画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。

１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部７１−１は、図２４に示すように、各ブロック内の画素を、４×１ピクセル単位の集合に分割し、その集合を、集合の画素値ｐ１乃至ｐ４の中のいずれかの画素値に統一する画素数の間引きを行う。

例えば、各フレームのブロックＢiの４×１ピクセルの集合は、図２５に示すように、例えば画素値ｐ１に統一される。

また１フレーム間の垂直および水平方向の移動量がともに２ピクセル以上である場合、ブロック処理部７１−１は、図２６に示すように、各ブロック内の画素を、２×２ピクセル単位の集合に分割し、その集合を、集合の画素値ｐ１乃至ｐ４の中のいずれかの画素値にそれぞれ統一する画素数の間引きを行う。

例えば、各フレームのブロックＢiの２×２ピクセルの集合は、図２７に示すように、例えば画素値ｐ１に統一される。

なおここでは、ブロックの移動量が２ピクセル以上である場合、動画像処理装置に入力された動画像のフレームレートとの関係において、間引き量４の間引きを行った場合に超解像度効果を得るができるものとする。したがって、移動量が２ピクセル以上である場合に、間引き量４の間引きを行っても、超解像度効果により、観測者は、間引きによる（データ削減による）画像劣化を知覚しない（間引き前の解像度で画像を認識する）。

またここでは、Ｎ＝４の場合を例として説明したが、Ｎが他の値であっても同様な処理が行われる。

また、各集合の画素値を、例えば図２３に示した場合の他、他の画素値に統一してもよい。またｐ１乃至ｐ４を用いた計算によって新たに得られる画素値に統一することもできる。

さらに、この例では、画素数の間引きによって空間方向の圧縮を行ったが、フィルタリングによる空間方向の帯域制限を行っても構わない。

図１９に戻りブロック処理部７１−２は、移動量検出部３２のブロック分配部５２から供給された、連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。

具体的にはブロック処理部７１−２は、図２８に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢiを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢi）に統一にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。

図２８の例では、４個のフレームＦ１乃至Ｆ４のそれぞれのブロックＢiが、フレームＦ１のブロックＢiに統一されたが、他のフレームのブロックに統一されるようにしてもよい。またフレームＦ１乃至Ｆ４のブロックＢiを用いた演算によって新たに得られたブロックに統一されるようにしてもよい。さらに、この例では、フレーム数の間引きによって時間方向の圧縮を行ったが、フィルタリングによる時間方向の帯域制限を行っても構わない。

ブロック処理部７１−３は、移動量検出部３２のブロック分配部５２から供給された、連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。

ブロック処理部７１−３の動作を、具体的に説明する。

この場合ブロック処理部７１−３に供給されるブロックの移動速度は、間引き量＝４における超解像度効果を得るための条件を満たさない。したがって画素数の間引き処理（水平方向および垂直方向の間引き処理）において、ブロック処理部７１−３は、ブロック処理部７１−１における間引き処理とは異なり、図２９および図３０に示すように、各ブロックの集合を、２個の画素値に統一する画素数の間引き（２画素間の画素数の間引き）（間引き量２の間引き）を行う。

次に、フレーム数の間引き処理においては、ブロック処理部７１−３は、ブロック処理部７１−２における間引き処理と異なり、図３１に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢiのそれぞれを、その中のいずれか２つ（いまの場合、フレームＦ１，Ｆ３の２個のブロック）に統一するフレーム数の間引きを行う（２フレーム間のフレーム数の間引き）を行う。

なおここでは空間方向間引きの後、時間方向間引きが行われる場合を示したが、その順序は、いずれが先に行われても同一の結果が得られるので、どちらを先に行ってもよい。

ここで動画像変換処理部２１の移動量検出部３２およびブロック処理部３３の動作を、図３２のフローチャートを参照して説明する。

ステップＳ１において、移動量検出部３２の移動量検出部５１は、ブロック分割部３１のブロック分割部４２から、この動画像処理装置に連続して入力された４枚のフレームの中のＰ番目のフレームの各ブロック（検索対象ブロック）の供給と、画像蓄積部２１から、Ｋ番目のフレーム（参照フレーム）の供給を受け、それを入力する。

次に、ステップＳ２において、移動量検出部５１は、Ｐ番目のフレームのブロックの中の１つを検索対象ブロックとするとともに、その検索対象ブロックの動きベクトルを、参照フレームを参照して検出する。移動量検出部５１は、検出した動きベクトルをブロック分配部５２に供給する。

ステップＳ３において、ブロック分配部５２は、移動量検出部５１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）が、２ピクセル以上であるか否かを判定し、少なくとも一方の移動量が２ピクセル以上であると判定した場合、ステップＳ４に進む。

ステップＳ４において、ブロック分配部５２は、移動量検出部５１からの移動量と、それに対応してブロック分割部４２から供給された、連続する４枚のフレームのそれぞれの同一位置にあるＮ個のブロックとを、ブロック処理部３３のブロック処理部７１−１に供給する。これによりブロック処理部７１−１は、ブロック分配部５２から供給された４個のブロックに対して、図２２乃至図２７に示したような、４画素間の画素数の間引き処理を施し、その結果得られた４個のブロックを、出力部２２に供給する。

ステップＳ３で、いずれの移動量も２ピクセル以上ではないと判定された場合、ステップＳ５に進み、ブロック分配部５２は、Ｘ軸方向とＹ軸方向の移動量がともに１ピクセル未満であるか否かを判定し、ともに１ピクセル未満であると判定した場合、ステップＳ６に進む。

ステップＳ６において、ブロック分配部５２は、ブロック分割部４２からのＮ個のブロックと移動量検出部５１からの移動量を、ブロック処理部７１−２に供給する。ブロック処理部７１−２は、ブロック分配部５２から供給されたＮ個のブロックに対して、図２８に示したような、４フレーム間のフレーム数の間引き処理を施し、その結果得られた４個のブロックを、出力部２２に供給する。

ステップＳ５で、Ｘ軸方向およびＹ軸方向の移動量がともに１ピクセル未満ではないと判定された場合（移動量が１ピクセル以上で、２ピクセル未満の場合）、ステップＳ７に進み、ブロック分配部５２は、ブロック分割部４２からの４個のブロックと移動量検出部５１からの移動量を、ブロック処理部７１−３に供給する。これによりブロック処理部７１−３は、ブロック分配部５２から供給された４個のブロックに対し、図２９乃至図３１に示したような、２画素間の画素数の間引き処理と２フレーム間のフレーム数の間引き処理を施し、その結果得られた４個のブロックを、出力部２２に供給する。

以上の処理が、ブロック分割部３１から４枚のフレームの各ブロックが供給される毎に行われる。

なお図１９の例においては、ブロック処理部７１が並列に接続されていたが、図３３に示すように直列に接続することも可能である。この場合、移動量検出部３２により検出された動きベクトルに基づき制御部１５１が、各ブロック処理部７１を制御する。すなわち制御部１５１より処理の実行の指令が入力されたブロック処理部７１は、ブロック分割部３１または前段のブロック処理部７１から供給されたブロックに対して上述した所定の処理を施し、その結果得られたデータを、後段のブロック処理部７１または出力部２２に供給する。また制御部１５１より処理実行の指令が入力されないブロック処理部７１は、ブロック分割部３１または前段のブロック処理部７１から供給されたデータを、後段のブロック処理部７１または出力部２２にそのまま出力する。

以上のように動画像変換処理部２１は構成されている。

次に、出力部２２の詳細を説明する。

３個のパック処理部８１−１乃至８１−３には、それぞれ対応する、動画像変換処理部２１のブロック処理部７１−１乃至７１−３から、所定の処理が施されたブロックが供給される。各パック処理部８１は、入力元となるブロック処理部７１によって異なる処理を行う。

パック処理部８１−１は、ブロック処理部７１−１から供給された４個のブロックから１個のブロックを生成する。その結果、フレーム数は、１／４に削減される。

具体的には、図３４に示すように、ブロック処理部７１−１から供給される、ブロック処理後のフレームＦ１のブロックＢiの１×４ピクセルの集合が、画素値ｐ１に、ブロック処理後のフレームＦ２のブロックの１×４ピクセルの集合が、画素値ｐ２に、ブロック処理後のフレームＦ３のブロックの１×４ピクセルの集合が、画素値ｐ３に、そしてブロック処理後のフレームＦ４のブロックの１×４ピクセルの集合が、画素値ｐ４にそれぞれ統一されているので、パック処理部８１−１は、出力するブロック（フレームＦoutのブロックＢi）の対応する１×４ピクセルの画素値を、ブロック処理後の各集合に設定された画素値ｐ１，ｐ２，ｐ３，ｐ４のそれぞれとする。

図３４では、ブロック処理部７１−１で水平方向の間引き処理、つまり、１×４ピクセルに対する間引き処理が行われたが、４×１ピクセル単位、２×２ピクセル単位の間引き処理がなされた場合も同様の処理が行われる。

なお、図３４においては画素値ｐ１乃至ｐ４を、左から順に並べて１個のブロックを生成したが、並べる順序については、どのようなものであっても構わない。

パック処理部８１−２は、ブロック処理部７１−２から供給された４個のブロックから１個のブロックを生成し、ブロック合成部８２に出力する。その結果、フレーム数は、１／４に削減される。

具体的には、ブロック処理部７１−２からは、ブロック処理前の４個のブロックの中の１個のブロックと同じ４個のブロックが供給されるので、パック処理部８１−３は、その４個のブロック（同じデータのブロック）の中の任意の１個を選択して出力する。

パック処理部８１−３は、ブロック処理部７１−３から供給された４個のブロックから１個のブロックを生成し、ブロック処理部８２に出力する。その結果、フレーム数は、１／４に削減される。

具体的には、図３５に示すように、ブロック処理部７１−３から供給される、ブロック処理後のフレームＦ１のブロックの１×２ピクセルの集合が、画素値ｐ１に統一され、ブロック処理後のフレームＦ２のブロックの１×２ピクセルの集合が、フレームＦ１のブロックＢiのそれと同一にされ、ブロック処理後のフレームＦ３のブロックの１×２ピクセルの集合が、画素値ｐ２に統一され、そしてブロック処理後のフレームＦ４のブロックＢiの１×２ピクセルの集合が、ブロック処理後のフレームＦ３のブロックＢiのそれと同じにされているので、パック処理部８１−１は、出力するブロック（フレームＦoutのブロックＢi）の対応する１×２ピクセルの画素値を、例えば、ブロック処理後のフレームＦ２のブロックＢiとフレームＦ３のブロックＢiの各集合に設定された画素値ｐ１，ｐ２のそれぞれとする。

なお、図３５では１×２ピクセル単位での間引き処理について示したが、２×１ピクセル単位で処理を行う場合も同様である。さらに、図３５の例では、ｐ１を左側にｐ２を右側に配置したがこれらは逆であっても構わない。

ブロック合成部８２は、各パック処理部８１の出力を統合して一つの動画像を構成し出力する。本実施例では、この出力はMPEG処理を行う符号化部１２に供給する。

以上のように出力部２２は構成されている。

次に、符号化部１２の詳細を説明する。

図３６は、符号化部１２の構成例を示している。

符号化器１０１は、MPEGのエンコーダである。符号化器１０１には、動画像変換処理部１１の出力部２２から、フレームレートが１／Ｍにされた（MPEGで処理できるフレームレートの）ブロックが供給されるので、符号化器１０１は、それをMPEG規格に準拠して符号化し、マルチプレクサ１０２に供給する。

マルチプレクサ１０２には、符号化器１０１からのブロックの符号化データと、動画像変換処理部２１からの、ブロック処理情報の符号化データがそれぞれ入力される。

マルチプレクサ１０２は、符号化器１０１から入力された動画像の符号化データと、移動量情報の符号化データを多重化し、復号部１３に出力する。多重化の方法としてはどのような方法を用いても良いが、例えば動画像の符号化データに、ブロック処理情報の符号化データをつなげる程度でも良い。

図３７は、符号化部１２の他の構成例を示している。

符号化部１２に供給された動画像とブロック処理情報の符号化データは、マルチプレクサ１０２に供給される。マルチプレクサ１０２は、それらを多重化して、符号化器１０１に供給する。符号化器１０１は、それらを符号化して、復号部１３に供給する。

すなわちこの例は動画像とブロック処理情報の多重化を先に行い、その後MPEGによる符号化を施す方式である。多重化の方法としては例えば電子透かしなどを用いた方法などがあるが、実際はどのような方法でも良い。

図３８は、符号化部１２の他の構成例を示している。

符号化部１２に供給された動画像は、符号化器１０１に供給されるが、ブロック処理情報の符号化データは、符号化部１２および復号部１３を通過して、そのまま拡張部１４に供給される。

すなわちこの例の場合、動画像とブロック処理情報は多重化されずに、それぞれ別個に取り扱われる。

復号部１３の詳細を説明する。その構成例は、図３６乃至図３８に示されている。

図３６の復号部１３のデマルチプレクサ１１１は、符号化部１２のマルチプレクサ１０２から出力された多重化データを分解し、動画像を復号器１１２に出力し、ブロック処理情報の符号化データを拡張部１４に出力する。

復号器１１２はMPEGのデコーダである。復号器１１２は、デマルチプレクサ１１１から入力された動画像の符号化データをデコードし、その結果得られた動画像を、拡張部１４に出力する。

図３７の復号部１３の復号器１１２は、符号化部１２の符号化器１０１から出力された多重化された動画像およびブロック処理情報の符号化データを復号し、その結果得られたデータをデマルチプレクサ１１１に出力する。

デマルチプレクサ１１１は、復号器１１２から入力された多重化データを分解し、その結果得られた動画像とブロック処理情報の符号化データを、拡張部１４に出力する。

図３８の復号部１３の復号器１１２は、符号化部１２の符号化器１０１から入力された動画像の符号化データをデコードし、その結果得られた動画像を拡張部１４に出力する。符号化部１２から入力されたブロック処理情報の符号化データは、そのまま拡張部１４に出力される。

次に、拡張部１４の詳細を、図３９を参照して説明する。拡張部１４は、動画像変換処理部１１の出力部２２によって１／Ｍとなった動画像のフレームレートをＭ倍するための処理を行う。

復号器１２１には、復号部１３から供給された、ブロック処理情報の符号化データが入力される。復号器１２１は、入力されたブロック処理情報の符号化データを復号し、ブロック分配部１２２に出力する。

ブロック分配部１２２には、復号部１３からの動画像のブロック画像と、復号器１２１からのブロック処理情報が入力される。ブロック分配部１２２は、ブロック処理情報に基づいて、動画像のブロックを、フレーム拡張部１２３−１乃至１２３−３のいずれか１個の分配する。

具体的には、ブロック分配部１２２は、ブロック処理情報が、パック処理部８１−１によって処理されたブロックである旨を表している場合、その情報と対応して、入力されたブロックを、フレーム拡張部１２３−１に供給する。ブロック処理情報が、パック処理部８１−２によって処理されたブロックである旨を表している場合、ブロック分配部１２２は、その情報と対応して、入力されたブロックを、フレーム拡張部１２３−２に供給する。ブロック処理情報が、パック処理部８１−３によって処理されたブロックである旨を表している場合、その情報と対応して、入力されたブロックを、フレーム拡張部１２３−３に供給する。

フレーム拡張処部１２３−１乃至１２３−３は、出力部２２のパック処理部８１−１乃至８１−３のそれぞれに対応する処理を行う。

フレーム拡張部１２３−１は、例えば、図３４に示すフレームＦout１のブロックＢiが入力されると、その１×４ピクセルの集合の各画素値ｐ１，ｐ２，ｐ３，ｐ４で統一された１×４ピクセルの集合を有する４個のブロック（フレームＦ１乃至Ｆ４のそれぞれのブロックＢiに相当するブロック）を生成し、ブロック合成部１２４に出力する。

フレーム拡張部１２３−２は、入力された1つのブロックを単純に4回出力することで４枚のフレームに対応する４個のブロックを生成し、ブロック合成部１２４に出力する。

フレーム拡張部１２３−３は、例えば、図３５示すフレームＦoutのブロックＢiが入力されると、その１×２ピクセルの集合の各画素値ｐ１，ｐ２で統一された１×２ピクセルの集合を有する２個のブロックを生成し、そしてそのブロックをそれぞれ２回出力することで４枚のフレームに対応する４個のブロック（フレームＦ１乃至Ｆ４のそれぞれのブロックＢiに相当するブロック）を生成し、ブロック合成部１２４に出力する。

ブロック合成部１２４は、フレーム拡張部１２３−１乃至１２３−４のそれぞれから入力される４枚のフレームのそれぞれに対応する４個のブロックを適宜合成し、４枚のフレームを生成し、それを出力する。

以上のようにして本実施例の動画像処理装置から得られた動画像は、そのフレームレートは60fpsとなっており、通常のMPEGを適用することが可能である。また，本動画像処理装置の行った変換処理によりデータ量は削減されており、かつ、その変換は人間の視覚特性上認識しづらいという特徴を持っているため、主観的な画質の劣化を抑制することができる。

なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

ブロックの法則を説明する図である。 解像度変換処理の原理を説明する図である。 サンプリング位置を説明する図である。 折り返し成分を説明する図である。 折り返し成分の位相の変化を説明する図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の回転間隔を説明する図である。 折り返し成分の位相の回転間隔を説明する他の図である。 折り返し成分を説明する他の図である。 折り返し成分の位相の回転間隔を説明する他の図である。 超解像度効果を得るための折り返し成分の位相を説明する図である。 超解像度効果を得ることができない速度範囲を示す図である。 超解像度効果を得ることができない速度範囲を示す他の図である。 超解像度効果を得ることができない速度範囲を示す他の図である。 本発明を適用した動画像処理装置の構成例を示すブロック図である。 図１８のブロック分割部、移動量検出部、ブロック処理部の構成例を示すブロック図である。 図１９の移動量検出部５１の構成例を示すブロック図である。 図１９の移動量検出部３２の他の構成例を示すブロック図である。 図１９のブロック処理部の動作を説明する図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９の移動量検出部とブロック処理部の動作を説明するフローチャートである。 図１９の動画像変換処理部の他の構成例を示すブロック図である。 図１９のパック処理部の動作を説明する図である。 図１９のパック処理部の動作を説明する他の図である。 図１８の符号化部および復号部の構成例を示すブロック図である。 図１８の符号化部および復号部の他の構成例を示すブロック図である。 図１８の符号化部および復号部の他の構成例を示すブロック図である。 図１８の拡張部の構成例を示すブロック図である。

符号の説明

１１ ブロック分割部， １２ 符号化部， １３ 復号部， １４ 拡張部， ２１
動画像変換処理部， ２２ 出力部， ３１ ブロック分割部， ３２ 移動量検出部
， ３３ ブロック処理部， ４１ 画像蓄積部， ４２ ブロック分割部， ５１ 移
動量検出部， ５２ ブロック分配部， ５３ 符号化器， ５４ 遅延器， ６１ 拡大処理部， ６２ 拡大処理部， ６３ ブロックマッチング部， ７１ ブロック処理部， ８１ パック処理部， ８２ ブロック合成部， １０１ 符号化器， １０２ マルチプレクサ， １１１ デマルチプレクサ， １１２ 復号器， １２１ 復号器， １２２ ブロック分配部， １２３ フレーム拡張部， １２４ ブロック合成部

Claims (9)

1. 動画像の空間解像度および時間解像度を変換する動画像変換手段と、
   前記動画像変換手段の出力を符号化器に出力するための出力手段と
   を備え、
   前記動画像のフレームレートと画素数の間引き量により規定される超解像度効果が得られる最低の速度以上の値が、第１の閾値とされており、
   前記動画像変換手段は、
   前記動画像の移動速度の値が前記第１の閾値より大きい場合、前記画素数の間引き処理を行い、
   前記動画像の移動速度の値が前記第１の閾値より小さい場合、フレーム数の間引き処理を含む処理を行う
   ことを特徴とする動画像処理装置。
2. さらに、前記超解像度効果が得られる最低の速度以上の値であって、前記第１の閾値よりも小さい値が、第２の閾値とされており、
   前記動画像変換手段は、
   前記動画像の移動速度の値が前記第１の閾値と前記第２の閾値の間である場合、前記画素数の間引き処理と、前記フレーム数の間引き処理とを行い、
   前記動画像の移動速度の値が前記第２の閾値より小さい場合、前記フレーム数の間引き処理を行う
   ことを特徴とする請求項１に記載の動画像処理装置。
3. 前記動画像変換手段は、
   画像をブロックに分割するブロック分割手段をさらに有し、
   前記ブロック分割手段により分割された各ブロックに対して異なる変換処理を施す
   ことを特徴とする請求項１に記載の動画像処理装置。
4. 前記動画像は、高フレームレート動画である
   ことを特徴とする請求項１に記載の動画像処理装置。
5. 前記符号化器は、MPEGによる圧縮を行う
   ことを特徴とする請求項１に記載の動画像処理装置。
6. 前記出力手段は、前記動画像のフレームレートがRであった場合、前記動画像のフレームレートをR/M (Mは整数)にする処理を含む処理を行う
   ことを特徴とする請求項1に記載の動画像処理装置。
7. 動画像の空間解像度および時間解像度を変換する動画像変換ステップと、
   前記動画像変換ステップの出力を符号化器に出力するための出力ステップと
   を含み、
   前記動画像のフレームレートと画素数の間引き量により規定される超解像度効果が得られる最低の速度以上の値が、第１の閾値とされており、
   前記動画像変換ステップの処理は、
   前記動画像の移動速度の値が前記第１の閾値より大きい場合、前記画素数の間引き処理を行い、
   前記動画像の移動速度の値が前記第１の閾値より小さい場合、フレーム数の間引き処理を含む処理を行う
   ことを特徴とする動画像処理方法。
8. 動画像の空間解像度および時間解像度を変換する動画像変換手段と、
   前記動画像変換手段の出力を符号化器に出力するための出力手段と
   を備え、
   前記動画像のフレームレートと画素数の間引き量により規定される超解像度効果が得られる最低の速度以上の値が、第１の閾値とされており、
   前記動画像変換手段は、
   前記動画像の移動速度の値が前記第１の閾値より大きい場合、前記画素数の間引き処理を行い、
   前記動画像の移動速度の値が前記第１の閾値より小さい場合、フレーム数の間引き処理を含む処理を行い、
   出力手段は、前記動画像のフレームレートがRであった場合、前記動画像のフレームレートをR/M (Mは整数)にする処理を含むことを特徴とする動画像処理装置の前記出力手段によってフレームレートが1/Mとなった前記動画像のフレームレートをM倍にする
   ことを特徴とする動画像処理装置。
9. 動画像の空間解像度および時間解像度を変換する動画像変換ステップと、
   前記動画像変換ステップの出力を符号化器に出力するための出力ステップと
   を含み、
   前記動画像のフレームレートと画素数の間引き量により規定される超解像度効果が得られる最低の速度以上の値が、第１の閾値とされており、
   前記動画像変換ステップの処理は、
   前記動画像の移動速度の値が前記第１の閾値より大きい場合、前記画素数の間引き処理を行い、
   前記動画像の移動速度の値が前記第１の閾値より小さい場合、フレーム数の間引き処理を含む処理を行い、
   出力ステップは、前記動画像のフレームレートがRであった場合、前記動画像のフレームレートをR/M (Mは整数)にする処理を含むことを特徴とする動画像処理方法の前記出力ステップの処理によってフレームレートが1/Mとなった前記動画像のフレームレートをM倍にする
   ことを特徴とする動画像処理方法。

Images