JP5173946B2

JP5173946B2 - 符号化前処理装置、符号化装置、復号装置及びプログラム

Info

Publication number: JP5173946B2
Application number: JP2009147860A
Authority: JP
Inventors: 康孝松尾
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2009-06-22
Filing date: 2009-06-22
Publication date: 2013-04-03
Anticipated expiration: 2029-06-22
Also published as: JP2011004342A

Description

本発明は、動きシーンにおける適応的符号化技術に関し、特に、高速動きシーンにおける符号化前処理装置、符号化装置、復号装置及びプログラムに関する。

いわゆる８Ｋと呼ばれるスーパーハイビジョン（ＳＨＶ）のようなハイビジョン１６倍の解像度を有する超高精細動画像は従来のハイビジョンよりも大画面を目的とした動画像システムであり、標準視距離における水平視野角が広視野となるため、まるで画像に包み込まれるような臨場感ある動画像を楽しむことができる。しかしながら、フレームレートが従来の標準画質やハイビジョン用の画面と異なるため、同様の画角で動画像を撮像した場合、フレーム間の動き速度に差が生じることになる。

例えば、図８（ａ）に示すように、ハイビジョン画面は１９２０画素×１０８０ラインであり、画面高さ（Ｈ）に対して３Ｈの距離に視点があるとすると、水平視野角が３０ｄｅｇであるのに対し、図８（ｂ）に示すように、スーパーハイビジョン画面は、７６８０画素×４３２０ラインであり、画面高さ（Ｈ）に対して０．７５Ｈの距離に視点があるとすると、水平視野角が１００ｄｅｇである。この場合、スーパーハイビジョン画面用の超高精細動画像信号とハイビジョン画面用の動画像信号とを比較すると、超高精細動画像信号は、水平・垂直解像度ともに４倍となるため、両者が同じフレームレートの場合はフレーム間の動き速度も４倍となる。

特開２００８−１３１３２１号公報

広視野の超高精細動画像は、従来の動画像に比べてフレーム間の動き速度が大きくなりがちであるばかりでなく、動領域における１画素あたりの動きボケ量も大きくなるため、Ｈ．２６４（ＭＰＥＧ−４ＡＶＣ）やＭＰＥＧ−２のようなブロックマッチングによる動き検出法において単純にブロックサイズを大きくするか、又は動き探索範囲を広げても、動きベクトル検出確度がそれほど高くならず、フレーム間符号化による画像の画質劣化が顕著になりやすい。これは、動きシーンの場合に特に顕著である。

そこで、本発明の目的は、動きシーンを適応的に符号化する符号化前処理装置、符号化装置、復号装置及びプログラムを提供することにある。

本発明は、広視野の超高精細動画像の高速動きシーンにおいて、Ｈ．２６４又はＭＰＥＧ−２方式のようなフレーム内符号化処理（Ｉフレーム／Ｉスライス）とフレーム間符号化処理（Ｐ，Ｂフレーム／Ｐ，Ｂスライス）を用いる符号化方式で符号化するために、比較的大きなブロックサイズで、且つ大きな動き探索範囲で動き検出を行い、この動きベクトルをクラスタリングし、動領域が支配的且つ動き速度が大きいか否かを判別し、動き速度が大きいと判断した場合には、フレーム内符号化を行う旨の補助情報を送出する符号化前処理装置を提供するとともに、符号化装置、復号装置及びプログラムを提供する。

即ち、本発明の符号化前処理装置は、動きシーンにおける動画像を適応的にフレーム内符号化処理とフレーム間符号化処理を用いる符号化方式で符号化するために前処理を行う符号化前処理装置であって、動画像フレーム列内の或るフレーム画像について所定のブロックサイズで複数の画素ブロックに分割するブロック分割部と、当該画像フレーム列内の前記フレーム画像とは異なる別フレーム画像を探索範囲として、前記画素ブロックの各々における動きベクトルを算出する動き探索処理部と、算出した全ての動きベクトルについて、所定数の動きベクトル候補クラスタとして識別可能に分類するクラスタリングを行うとともに、当該画像フレーム間の動き速度を算出する動きベクトルクラスタリング処理部と、前記所定数の動きベクトル候補クラスタの各動きベクトル及び前記動き速度から、広領域・高速動きのフレームであるか否かを判定し、広領域・高速動きのフレームであると判定した場合に、前記符号化方式に関わらず、前記フレーム画像を、強制的にフレーム内符号化を施すべきフレームとして決定する広領域・高速動き判定部とを備え、前記広領域・高速動き判定部は、前記所定数の動きベクトル候補クラスタの中で、割り付けられた動きベクトルの数が全動きベクトルに対する割合として規定される数よりも多く、且つ該動きベクトルの値が規定値よりも大きい場合、または前記動き速度規定値よりも大きい場合に、広領域で高速な動きを有するフレームであると判定することを特徴とする。

また、本発明の符号化前処理装置において、前記フレーム間の動き速度は、全動きベクトル量の平均値であることを特徴とする。

また、本発明の符号化前処理装置において、前記所定のブロックサイズは、前記符号化方式で規定される動き検出のブロックサイズよりも大きいことを特徴とする。

また、本発明の符号化前処理装置において、前記動き探索処理部によって探索される探索範囲は、前記符号化方式で規定される探索範囲よりも大きいことを特徴とする。

また、本発明の符号化前処理装置において、前記クラスタリングは、ｋ−ｍｅａｎｓ法に従って行われることを特徴とする。

更に、本発明の符号化装置は、本発明の符号化前処理装置と、前記動画像フレーム列について、該符号化前処理装置によって決定された広領域・高速動きのフレームであるか否かを示す補助情報に従って前記符号化方式の符号化を施す符号化器と、を備えることを特徴とする。

更に、本発明の復号装置は、本発明の符号化装置によって符号化された動画像フレーム列について、前記補助情報が広領域・高速動きのフレームであることを示すフレームにはフレーム内復号処理を施し、前記補助情報が広領域・高速動きのフレームでないことを示すフレームには前記符号化方式に従ってフレーム内復号処理又はフレーム間復号処理を施すことを特徴とする。

更に、本発明は、動きシーンにおける動画像を適応的にフレーム内符号化処理とフレーム間符号化処理を用いる符号化方式で符号化するために前処理を行う符号化前処理装置として構成するコンピュータに、動画像フレーム列内の或るフレーム画像について所定のブロックサイズで複数の画素ブロックに分割するステップと、当該画像フレーム列内の前記フレーム画像とは異なる別フレーム画像を探索範囲として、前記画素ブロックの各々における動きベクトルを算出するステップと、算出した全ての動きベクトルについて、所定数の動きベクトル候補クラスタとして識別可能に分類するクラスタリングを行うとともに、当該画像フレーム間の動き速度を算出するステップと、前記所定数の動きベクトル候補クラスタの各動きベクトル及び前記動き速度から、広領域・高速動きのフレームであるか否かを判定し、広領域・高速動きのフレームであると判定した場合に、前記符号化方式に関わらず、前記フレーム画像を、強制的にフレーム内符号化を施すべきフレームとして決定するステップと、を実行させ、前記決定するステップは、前記所定数の動きベクトル候補クラスタの中で、割り付けられた動きベクトルの数が全動きベクトルに対する割合として規定される数よりも多く、且つ該動きベクトルの値が規定値よりも大きい場合、または前記動き速度が規定値よりも大きい場合に、広領域で高速な動きを有するフレームであると判定する、プログラムとしても特徴付けられる。

更に、本発明は、本発明の復号装置として構成するコンピュータに、前記補助情報が広領域・高速動きのフレームであることを示すフレームにはフレーム内復号処理を実行させ、前記補助情報が広領域・高速動きのフレームでないことを示すフレームには前記符号化方式に従ってフレーム内復号処理又はフレーム間復号処理を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、広視野の超高精細動画像で問題を生じやすい高速動きシーンにおける画質劣化を防ぐことができ、簡便且つ効果が高い符号化技術を提供することができる。

本発明による一実施例の符号化装置を示す図である。本発明による一実施例の復号装置を示す図である。本発明による一実施例の符号化装置の動作を示すフローチャートである。本発明による一実施例の符号化装置におけるブロック分割を示す図である。本発明による一実施例の符号化装置における動き探索を示す図である。本発明による一実施例の符号化装置におけるユーグリット距離の説明図である。本発明による一実施例の符号化装置におけるクラスタリングを示す図である。（ａ）は、ハイビジョン画面の一例を示す図であり、（ｂ）は、スーパーハイビジョン画面の一例を示す図である。高速動きシーンにおける動きボケ領域のＤＣＴ時の高空間周波数成分の様子を示す図である。

以下、本発明による一実施例の符号化装置及び復号装置を説明する。

まず、本発明の理解を容易にするために、高速動きシーンについて説明する。高速動きシーンでは、フレーム内で動領域が支配的であり、且つフレーム間での動き速度が大きくなり、画面内の画像の大部分は動きボケを生じていると云える。そこで、本実施例の符号化装置では、動領域が支配的である高速動きシーンでは、強制的にフレーム内符号化（Ｉスライス・ピクチャ）処理を行うようにする。

高速動きシーンにおいては、フレーム内符号化（Ｉスライス・ピクチャ）処理を行ったほうがフレーム間符号化（Ｐ又はＢスライス・ピクチャ処理）を行うよりも画質劣化が少ない。更に、高速動きシーンでは画像の大部分に動きボケを生じているため、ビット量の小さなＩスライス・ピクチャ処理を行えば十分である。このとき、Ｉスライス・ピクチャ処理におけるＤＣＴ（Discrete Cosine Transform）及び量子化において高空間周波成分の大部分は失われるが、もともと動きボケにより高空間周波数成分の大部分は失われているため、これに起因する画像劣化は問題とする必要がない。例えば、図９に示すように、動きボケ領域のＤＣＴ時の高空間周波数成分の大部分が失われる。

図１に、本発明による一実施例の符号化装置を示す。本実施例の符号化装置１は、高速動きシーン判定器２と、符号化器３とを備える。高速動きシーン判定器２は、ブロック分割部２１と、動き探索処理部２２と、動きベクトルクラスタリング処理部２３と、広領域・高速動き判定部２４とを備える。本発明による一実施例の符号化装置１の各処理に用いるデータは、符号化装置１が備える記憶部（図示せず）に適宜格納することができる。

ブロック分割部２１は、動画像フレーム列内の任意時間位置ｔのフレーム画像Ｆ（ｔ）を当該記憶部に記憶するとともに、フレーム画像Ｆ（ｔ）について任意のブロックサイズで複数の画素ブロックに分割する。

動き探索処理部２２は、別フレーム画像（例えば、後続するフレーム画像Ｆ（ｔ＋１））の画面内全体を探索範囲として動き検出を行い、各々の画素ブロックにおける動きベクトルを算出し、算出した全ての動きベクトルを、動きベクトルクラスタリング処理部２３に送出する。

動きベクトルクラスタリング処理部２３は、動き探索処理部２２によって算出した全ての動きベクトルについて、クラスタリングを行うとともに、フレーム間の動き速度を算出する。クラスタリングは、各動きベクトルについて、動きベクトル候補クラスタとして識別可能に分類する処理である。フレーム間の動き速度は、例えば、全動きベクトル量の平均値とすることができる。

広領域・高速動き判定部２４は、所定数の動きベクトル候補クラスタの中で、割り付けられた動きベクトルの数が規定数よりも多く、且つその動きベクトルの値も規定値よりも大きい場合、または動き速度が規定値よりも大きい場合に、フレーム内の動領域が支配的であり、且つフレーム間の動き速度が大きいフレーム画像Ｆ（ｔ）であると判定する。換言すれば、広領域・高速動き判定部２４は、割り付けられた動きベクトルの数が規定数よりも多く、且つその動きベクトルの値も規定値よりも大きい、または動き速度が規定値よりも大きいか否かの判定が肯定的であれば広領域・高速動きのフレーム画像（例えば、高速動きシーンのフレーム画像）であると判定し、否定的であれば広領域・高速動きのフレーム画像ではないと判定する。広領域・高速動き判定部２４は、この判定結果を、スライスタイプを表す補助情報として符号化器３に送出する。

符号化器３は、フレーム画像Ｆ（ｔ）について、広領域・高速動きのフレーム画像であるか否かを表す補助情報を参照して任意の動画像の符号化方式（例えば、Ｈ．２６４，ＭＰＥＧ−２）に基づく符号化を施す。符号化器３は、補助情報を参照して広領域・高速動きのフレーム画像である旨を示す場合には、当該フレーム画像Ｆ（ｔ）について、当該符号化方式に関わらず、強制的にフレーム内符号化（Ｉスライス・ピクチャ）処理を施す。一方、補助情報が広領域・高速動きのフレーム画像でない旨を示す場合には、当該符号化方式に従う符号化、即ちフレーム内符号化（Ｉスライス・ピクチャ）処理又はフレーム間符号化（Ｐ又はＢスライス・ピクチャ処理）を施して、符号化画像を生成する。この符号化画像には、上記の補助情報が付与される。符号化画像は、当該記憶部に記憶されるか、又は外部装置に向けて伝送される。

図２には、本実施例の復号装置４が示されている。本実施例の復号装置４は、該復号装置４が備える記憶部に格納された当該符号化画像及び補助情報を読み出すか、又は伝送される当該符号化画像及び補助情報を受信して、所定の符号化方式に従う復号処理を実行する。尚、本実施例の復号装置４は、当該補助情報を参照してフレーム内復号（Ｉスライス・ピクチャ）処理又はフレーム間復号（Ｐ又はＢスライス・ピクチャ）処理を施し、復号されたフレーム画像Ｆ’（ｔ）を生成する。

以下、本発明による一実施例の符号化装置の動作について、図３を参照して更に詳細に説明する。

ステップＳ１にて、符号化装置１のブロック分割部２１は、処理対象のフレーム画像Ｆ（ｔ）及び後続するフレーム画像Ｆ（ｔ＋１）を入力し、ステップＳ２にて，ブロック分割部２１によりフレーム画像Ｆ（ｔ）を複数の画素ブロックに分割する。

尚、ハイビジョン画面をＭＰＥＧ−２で符号化する場合を考慮するに、通常１６×１６画素のブロックが用いられる。しかしながら、ブロック分割部２１によって分割されるブロックサイズは、例えば、スーパーハイビジョン画面でも適用可能とすべく、１６×１６画素のブロックを水平・垂直方向に各４倍、即ち６４×６４画素ブロック、或いはそれ以上の大きなサイズの画素ブロックを用いるのが好適である。即ち、好適には、ブロック分割部２１によって分割されるブロックサイズは、符号化器３の符号化方式で規定される動き検出のブロックサイズよりも大きい。

尚、実用上、画面全体がパンする場合や、極めて大面積な動物体が高速な動きを行うような高速動きシーンなどを想定するため、図４に示すように、比較的大きめの画素ブロックサイズとすることができ、或いは又、フレーム画像Ｆ（ｔ）の約１／４又は１／１６程度の大きなブロックを画面中央に用意し、フレーム画像Ｆ（ｔ＋１）の画面全体を探索範囲として１個の動きベクトルを検出するだけでも効果的である。即ち、好適には、動き探索処理部２２によって探索される探索範囲は、符号化器３の符号化方式で規定される探索範囲よりも大きい。

以下の説明では、図４に示すように、フレーム画像Ｆ（ｔ）内が複数個の画素ブロックＢ（Ｂｘ，Ｂｙ）で分割される場合について説明する。Ｂｘは水平方向のブロック位置番号、Ｂｙは垂直方向のブロック位置番号である。

ステップＳ３にて、符号化装置１の動き探索処理部２２は、複数個にブロック分割した画素ブロックＢ（Ｂｘ，Ｂｙ）の各々について、図５に示すように、例えばフレーム画像Ｆ（ｔ＋１）を参照して動き探索を実行する。

尚、動き探索の処理に時間がかかるため、全画素ブロック探索でなく数画素ブロックずつ飛ばしながら代表的な画素ブロック位置の探索とすることもできる。この動き探索処理部２２の処理により、各々の画素ブロックＢ（Ｂｘ，Ｂｙ）における動きベクトルＭｖ_Ｂ（Ｂｘ，Ｂｙ）が求められる。

ステップＳ４にて、符号化装置１の動きベクトルクラスタリング処理部２３は、動きベクトルＭｖ＿Ｂ（Ｂｘ，Ｂｙ）のクラスタリング及びフレーム間の動き速度を算出する。クラスタリングの方法としては、非階層的クラスタリングアルゴリズムとして有名なｋ−ｍｅａｎｓ法を用いる。

ｋ−ｍｅａｎｓ法のアルゴリズムを簡潔に説明する。

まず、初期値として予め定めたｋ個の動きベクトル候補クラスタ中心を設定する。動きベクトル候補クラスタ中心は、動きベクトルの３６０度方向に探索（例えば４５度毎の探索）して、且つ大きい値を持つ位置を動きベクトル候補クラスタのクラスタ中心の初期候補として設定する。

次に、各動きベクトルＭｖ＿Ｂ（Ｂｘ，Ｂｙ）を最もユーグリット距離が近い動きベクトル候補クラスタ中心に割り当てる。ユーグリット距離は、例えば、図６に示すように、動きベクトル候補クラスタ中心Ｏから各画素値（Ｂｘ,Ｂｙ）までのベクトル量ｕ^ｉの平均値として規定することができる。

次に、各動きベクトル候補クラスタごとに、各動きベクトル候補クラスタのクラスタ中心を計算し直す。全てのクラスタ中心の変化値が、或る閾値Ｔｈ以下であれば終了とし、それ以外は、再度、動きベクトル候補クラスタ中心として割り当てる。

動きベクトルのクラスタリングは、原点を中心として各各動きベクトルＭｖ＿Ｂ（Ｂｘ，Ｂｙ）の大きさ及び向きでクラスタリングを行う。例えば、図７（ａ）に示すように、フレーム画像Ｆ（ｔ）について、右方向に移動する「人」と、「人」よりも少し遅い速度で同じく右方向に移動する「背景」と、「人」及び「背景」以外の「その他」の３つのオブジェクトがあるとして３つのクラスタリングを計算する際には、各動きベクトルＭｖ＿Ｂ（Ｂｘ，Ｂｙ）の大きさ及び向きでクラスタリングを行うことにより、図７（ｂ）に示すように、「人」を表す動きベクトル候補クラスタはＭＶｓｅｔ１と、「背景」を表す動きベクトル候補クラスタはＭＶｓｅｔ２と、「その他」を表すベクトル候補クラスタＭＶｓｅｔ３のように分類することができる。

以上の処理によりｋ個の動きベクトル候補クラスタの決定処理を収束させることができるので、これにより、全ての動きベクトルＭｖ＿Ｂ（Ｂｘ，Ｂｙ）がｋ個の動きベクトル候補クラスタへと割り付けることができる。

ステップＳ５にて、符号化装置１の広領域・高速動き判定部２４は、フレーム画像Ｆ（ｔ）について、フレーム内の動領域が支配的であり、且つフレーム間の動き速度が大きいフレームであるか否かを判断し、肯定的であれば広領域・高速動きのフレーム画像（例えば、高速動きシーン）であると判定してステップＳ６に進み、否定的であれば広領域・高速動きのフレーム画像ではないと判定してステップＳ７に進む。

例えば、ｋ個の動きベクトル候補クラスタの中で、割り付けられた動きベクトルＭｖ＿Ｂ（Ｂｘ，Ｂｙ）の数が規定数よりも多く（全動きベクトルに対する割合として規定数よりも多く）、且つその動きベクトル値も規定値より大きい場合、または動き速度が規定値よりも大きい場合を、動領域が支配的且つその動き速度が大きいフレームであると判断する。具体例としては、全ての動きベクトルＭｖ＿Ｂ（Ｂｘ，Ｂｙ）の１／４以上の割り付けがあり、且つその動きベクトル値が［フレーム画像Ｆ（ｔ）の水平解像度／フレームレート］以上である場合、または動き速度が［フレーム画像Ｆ（ｔ）の水平解像度／フレームレート］以上であれば、該当するフレーム画像Ｆ（ｔ）は動領域が支配的且つフレーム間の動き速度が大きいフレームであると判断する。これは、例えば水平解像度７６８０画素でフレームレート６０Ｈｚのスーパーハイビジョン画面の動画像信号においては、１秒間で画面を横切る動き速度として１２８画素／フレームに相当する。広領域・高速動き判定部２４は、この判定結果を、スライスタイプを表す補助情報として符号化器３に送出する。

ステップＳ６にて、符号化装置１の広領域・高速動き判定部２４は、当該肯定的な判定結果を、スライスタイプを表す補助情報として、当該符号化方式に関わらず、スライスタイプとして強制的にＩスライス・ピクチャとして処理すべき旨を示すＩスライス・ピクチャフラグを有効に設定する。

一方、ステップＳ７にて、符号化装置１の広領域・高速動き判定部２４は、当該否定的な判定結果を、スライスタイプを表す補助情報として、当該符号化方式に従って処理すべく、スライスタイプとして強制的にＩスライス・ピクチャとして処理すべきではない旨を示すＩスライス・ピクチャフラグを無効に設定する。

尚、この強制するＩスライス・ピクチャ処理（以下、「ＩＦスライス・ピクチャ」と称する）について、通常であれば、符号化ビットレートが決まっているためレート制御を行う必要があるが、該当するフレーム画像Ｆ（ｔ）は動きボケを多く含むと判断されるため、ＩＦスライス・ピクチャのレートを低くしても画像劣化の問題は生じない。

例えば、ＣｌｏｓｅｄＧＯＰ＝１５の場合、ＧＯＰの最初に挿入されるＩスライス・ピクチャのｂｉｔ数に対して、Ｐ，Ｂスライス・ピクチャのｂｉｔ数は約１／１０程度である。ここで、ＩＦスライス・ピクチャを、Ｉスライス・ピクチャの１／５程度となるように設定してレート制御を行うと、いわゆるイントラフリッカ等が目立たずに良好な画像結果が得られる。もっとも、ＩＦスライス／ピクチャは連続する可能性が高い。

最終的に、ステップＳ８にて、符号化装置１の符号化器３は、フレーム画像Ｆ（ｔ）について、広領域・高速動きのフレーム画像であるか否かを表す補助情報を参照して所定の動画像の符号化方式（例えば、Ｈ．２６４，ＭＰＥＧ−２）に基づく符号化を施す。

このように、本実施例の符号化装置及び復号装置によれば、比較的大きなブロックサイズで、且つ大きな動き探索範囲で動き検出を行い、この動きベクトルをクラスタリングし、動領域が支配的であり、且つ動き速度が大きいか否かを判別し、動き速度が大きいと判断した場合には、フレーム内符号化を行う旨の制御指示を補助情報として送出するため、例えば広視野の超高精細動画像で問題を生じやすい高速動きシーンにおける画質劣化を防ぐことができ、簡便且つ効果が高い符号化技術を提供することができる。

尚、本発明は、フレーム内で動領域が支配的であり、且つフレーム間の動き速度が大きいフレームを探索するものであり、本探索は、Ｈ．２６４（ＭＰＥＧ−４ＡＶＣ）やＭＰＥＧ−２のブロックマッチング処理内で行ってもよい。ただし、これらの符号化方式で用いるものよりも大きなブロックサイズ且つ大きな動き探索範囲を採用することで、より確実に高速動きシーン又はパンフレームを判別することができるようになる。

尚、本実施例に係る符号化装置１及び復号装置４の各々は、コンピュータとして構成することができる。これらの装置の各機能を実現するためのプログラムはコンピュータの記憶部に記憶しておき、中央演算処理装置（ＣＰＵ）によって適宜プログラムを読み出して実行することにより、符号化装置１及び復号装置４の機能を実現させることができる。

同様に、本実施例に係る符号化前処理装置として機能する高速動きシーン判定器２も、コンピュータとして構成することができる。高速動きシーン判定器２の各機能を実現するためのプログラムはコンピュータの記憶部に記憶しておき、中央演算処理装置（ＣＰＵ）によって適宜プログラムを読み出して実行することにより、符号化前処理装置の機能を実現させることができる。

上記の実施例では、動画像の１フレーム画像を代表的に説明したが、本発明は、ＭｏｔｉｏｎＪＰＥＧのような圧縮にも適用できる。更に、符号化装置１が、それぞれ高速動きシーン判定器２を備えるとして説明したが、高速動きシーン判定器２を個別の装置として、並びに高速動きシーン判定器２及び符号化器３を別個の装置として構成することができる。従って、本発明は、上述の実施例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

本発明によれば、広視野の超高精細動画像であるスーパーハイビジョン画面用の超高精細動画像信号において従来の動画像システムより高確率で発生する高速動きシーンの動画像符号化における問題を比較的簡単な方法で解決することが可能であるので、将来のスーパーハイビジョンだけではなく、現在のハイビジョンでも同様の問題が発生しがちなサッカーやバスケットボール中継等の高速パンなどの符号化技術の用途に有用である。

１符号化装置
２高速動きシーン判定器
３符号化器
４復号装置
２１ブロック分割部
２２動き探索処理部
２３動きベクトルクラスタリング処理部
２４広領域・高速動き判定部

Claims

動きシーンにおける動画像を適応的にフレーム内符号化処理とフレーム間符号化処理を用いる符号化方式で符号化するために前処理を行う符号化前処理装置であって、
動画像フレーム列内の或るフレーム画像について所定のブロックサイズで複数の画素ブロックに分割するブロック分割部と、
当該画像フレーム列内の前記フレーム画像とは異なる別フレーム画像を探索範囲として、前記画素ブロックの各々における動きベクトルを算出する動き探索処理部と、
算出した全ての動きベクトルについて、所定数の動きベクトル候補クラスタとして識別可能に分類するクラスタリングを行うとともに、当該画像フレーム間の動き速度を算出する動きベクトルクラスタリング処理部と、
前記所定数の動きベクトル候補クラスタの各動きベクトル及び前記動き速度から、広領域・高速動きのフレームであるか否かを判定し、広領域・高速動きのフレームであると判定した場合に、前記符号化方式に関わらず、前記フレーム画像を、強制的にフレーム内符号化を施すべきフレームとして決定する広領域・高速動き判定部とを備え、
前記広領域・高速動き判定部は、前記所定数の動きベクトル候補クラスタの中で、割り付けられた動きベクトルの数が全動きベクトルに対する割合として規定される数よりも多く、且つ該動きベクトルの値が規定値よりも大きい場合、または前記動き速度が規定値よりも大きい場合に、広領域で高速な動きを有するフレームであると判定することを特徴とする符号化前処理装置。
前記フレーム間の動き速度は、全動きベクトル量の平均値であることを特徴とする、請求項１に記載の符号化前処理装置。
前記所定のブロックサイズは、前記符号化方式で規定される動き検出のブロックサイズよりも大きいことを特徴とする、請求項１又は２に記載の符号化前処理装置。
前記動き探索処理部によって探索される探索範囲は、前記符号化方式で規定される探索範囲よりも大きいことを特徴とする、請求項１〜３のいずれか一項に記載の符号化前処理装置。
前記クラスタリングは、ｋ−ｍｅａｎｓ法に従って行われることを特徴とする、請求項１〜４のいずれか一項に記載の符号化前処理装置。
請求項１〜５のいずれか一項に記載の符号化前処理装置と、
前記動画像フレーム列について、該符号化前処理装置によって決定された広領域・高速動きのフレームであるか否かを示す補助情報に従って前記符号化方式の符号化を施す符号化器と、
を備えることを特徴とする符号化装置。
請求項６に記載の符号化装置によって符号化された動画像フレーム列について、前記補助情報が広領域・高速動きのフレームであることを示すフレームにはフレーム内復号処理を施し、前記補助情報が広領域・高速動きのフレームでないことを示すフレームには前記符号化方式に従ってフレーム内復号処理又はフレーム間復号処理を施すことを特徴とする復号装置。
動きシーンにおける動画像を適応的にフレーム内符号化処理とフレーム間符号化処理を用いる符号化方式で符号化するために前処理を行う符号化前処理装置として構成するコンピュータに、
動画像フレーム列内の或るフレーム画像について所定のブロックサイズで複数の画素ブロックに分割するステップと、
当該画像フレーム列内の前記フレーム画像とは異なる別フレーム画像を探索範囲として、前記画素ブロックの各々における動きベクトルを算出するステップと、
算出した全ての動きベクトルについて、所定数の動きベクトル候補クラスタとして識別可能に分類するクラスタリングを行うとともに、当該画像フレーム間の動き速度を算出するステップと、
前記所定数の動きベクトル候補クラスタの各動きベクトル及び前記動き速度から、広領域・高速動きのフレームであるか否かを判定し、広領域・高速動きのフレームであると判定した場合に、前記符号化方式に関わらず、前記フレーム画像を、強制的にフレーム内符号化を施すべきフレームとして決定するステップと、
を実行させ、
前記決定するステップは、前記所定数の動きベクトル候補クラスタの中で、割り付けられた動きベクトルの数が全動きベクトルに対する割合として規定される数よりも多く、且つ該動きベクトルの値が規定値よりも大きい場合、または前記動き速度が規定値よりも大きい場合に、広領域で高速な動きを有するフレームであると判定する、プログラム。
請求項７に記載の復号装置として構成するコンピュータに、前記補助情報が広領域・高速動きのフレームであることを示すフレームにはフレーム内復号処理を実行させ、前記補助情報が広領域・高速動きのフレームでないことを示すフレームには前記符号化方式に従ってフレーム内復号処理又はフレーム間復号処理を実行させるためのプログラム。