JP4529270B2 - 画像処理装置および画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関する。さらに、詳細には、ベクトル量子化（ＶＱ：Vector Quantization）による画像符号化、復号処理において適用可能な画像処理装置および画像処理方法並びにプログラム提供媒体に関する。
【０００２】
【従来の技術】
静止画、動画等の画像をインターネット等の様々な通信媒体を介して伝送する場合、データの圧縮が行なわれる。その圧縮手法の１つとしてベクトル量子化（ＶＱ：Vector Quantization）がある。ベクトル量子化（ＶＱ）は、複数の画素または画素に対応するデータ（標本値）をまとめてベクトルとして量子化する。
【０００３】
例えば符号化対象となる入力波形を標本化した後、連続した複数の標本値を要素とするベクトル系列を生成し、これを入力ベクトルとする。データの送信側（符号化側）と受信側（復号側）では、複数の量子化代表ベクトルを記憶したコードブックを保有し、データの送信側において、入力ベクトルに近い量子化代表ベクトルを選択し、その識別値としてのインデックスを２進符号化して送信する。
【０００４】
データ受信側では、伝送されてきたインデックスに基づいて、コードブックを参照し、インデックスに対応してコードブックに格納された代表ベクトルを出力し、代表ベクトルに基づいてＶＱデコーダにおいて復号処理を実行する。
【０００５】
図１に一般的なベクトル量子化（ＶＱ）による画像符号化、復号処理を実行する構成ブロック図を示す。
【０００６】
データ送信側には、静止画コードブック、動画コードブックと２つの種類のコードブックを有する。入力データのベクトル生成処理においては、入力画像が静止画である場合と、動画であると判定した場合とで、異なる処理を適用して静ベクトルまたは動ベクトルを生成する。生成したベクトルが静ベクトルである場合は、静止ベクトルコードブックから、生成した静ベクトルに最も近い代表ベクトルを選択し、その代表ベクトルに対応づけられたインデックスを出力する。生成したベクトルが動ベクトルである場合は、動画ベクトルコードブックから生成した動ベクトルに最も近い代表ベクトルを選択し、その代表ベクトルに対応づけられたインデックスを出力する。
【０００７】
まず、入力データの連続フレームに基づいて、動き判定部１０１において、動画であるか静止画であるかを判定する。動き判定は、画像のブロック領域の連続フレームについて、下記の式によって求められる連続フレームの差分値：Ｅを予め定めた閾値と比較することによって実行される。
【０００８】
【数１】

【０００９】
上記式においてｆｏ（ｘ＋ｉ，ｙ＋ｊ）は、フレーム０における画素値を示し、ｆ１（ｘ＋ｉ，ｙ＋ｊ）は、フレーム０に続くフレーム１における画素値を示す。上記式によって求められた差分値：Ｅを閾値：ＴＨと比較し、Ｅ≧ＴＨである場合は動画であると判定し、Ｅ＜ＴＨである場合は静止画であると判定する。
【００１０】
動き判定部１０１の判定結果に基づいて選択手段１０２の切り替えが実行され、静止画コードブック１０３または動画コードブック１０４のいずれかが選択され、ＶＱエンコーダ１０５において生成したベクトルが静止画に基づく静ベクトルである場合は、静止画コードブック１０３の代表ベクトルからもっとも近い代表ベクトルが選択されて、その代表ベクトルに対応付けられたインデックスを出力する。さらに、ＶＱエンコーダ１０５において生成したベクトルが動画に基づく動ベクトルである場合は、動画コードブック１０４の代表ベクトルからもっとも近い代表ベクトルが選択されて、その代表ベクトルに対応付けられたインデックスを出力する。
【００１１】
さらに、ＶＱエンコーダ１０５は、出力インデックスが静止画コードブック、動画コードブックのいずれのインデックスであるかを受信側において区別可能とするための識別するためのフラグ、動きフラグを付加して出力する。
【００１２】
データ受信側では、ベクトル量子化インデックスと動きフラグを受信したＶＱデコーダ１０６において、受信データ中の動きフラグに基づいて静動判定を実行し、判定結果に基づいて選択部１０７を制御して、静止画コードブック１０８、または動画コードブック１０９を選択してＶＱデコーダ１０６において選択したコードブックを参照し、入力インデックスに対応する代表ベクトルを取得して復号処理を実行する。
【００１３】
【発明が解決しようとする課題】
上述のように、処理対象ブロックの静動判定に基づいて、異なるコードブックを適用して符号化、復号を実行する構成においては、データ受信側においていずれのコードブックを適用すべきかを判定するための動きフラグを必要とする。
【００１４】
動きフラグは符号化単位として設定されるブロック毎に付加することが必要となる。データ量の削減を目的として行われる圧縮伝送において、各ブロックに新たなビットとして動きフラグを付加するということは伝送データの増加をもたらし、データ量削減の目的に反することになる。また、データ送信側での動きフラグ付加処理、データ受信側でのフラグに基づく静動判定処理も、処理の効率化の点で妨げになる。
【００１５】
本発明は、上述の問題点に鑑みてなされたものであり、動き判定フラグの付加処理、伝送処理を不要とし、インデックスのみをデータ送信側およびデータ受信側間で送受信する構成とし、データ受信側において受信インデックスのみに基づいて受信インデックスが動画コードブックのインデックスであるか、静止画コードブックのインデックスであるかを判定し、判定結果に基づいていずれかのコードブックを選択して復号処理を実行する画像処理装置および画像処理方法、並びにプログラム提供媒体を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
ブロック単位での画像処理を実行する画像処理装置において、
復号処理対象ブロックが動画であるか静止画であるかを判定する静動判定手段と、
前記静動判定手段の判定結果を入力し、前記復号処理対象ブロックの復号処理を実行するデコーダを有し、
前記静動判定手段は、
サンプル画像データのブロック単位のベクトル量子化処理と静動判定処理を含む学習処理により生成した特定ブロックの周囲ブロックの符号化データパターンを示すベクトル量子化インデックスパターンと、特定ブロックの静動判定データを対応付けて格納した静動判定テーブルを有し、
前記復号処理対象ブロックの周囲ブロックのベクトル量子化インデックスパターンを時間軸において連続する２つのフレーム分抽出して、該抽出した周囲ブロックのベクトル量子化インデックスパターンと、
前記静動判定テーブルに格納されたベクトル量子化インデックスパターンを比較し、同一または最小誤差のベクトル量子化インデックスパターンを前記静動判定テーブルから選択し、
該選択したテーブル格納ベクトル量子化インデックスパターンに対応付けられた静動判定データに従って、前記処理対象ブロックが動画であるか静止画であるかを判定し、
前記デコーダは、
前記処理対象ブロックが動画であると判定された場合は、動画の代表ベクトルを格納した動画コードブックを選択し、
前記処理対象ブロックが静止画であると判定された場合は、静止画の代表ベクトルを格納した静止画コードブックを選択し、
前記処理対象ブロックに対応付けられたベクトル量子化インデックスに対応する代表ベクトルを選択コードブックから抽出して復号処理を実行する構成を有することを特徴とする画像処理装置にある。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、
前記画像処理装置は、さらに、
復号処理対象ブロックのベクトル量子化インデックスを修正するエラーリカバリ手段を有し、
前記エラーリカバリ手段は、
サンプル画像データのブロック単位のベクトル量子化処理を含む学習処理により生成した特定ブロックのベクトル量子化インデックスと、該特定ブロックの周囲ブロックのベクトル量子化インデックスパターンとを対応付けて格納したエラーリカバリ・テーブルを有し、
前記処理対象ブロックの周囲ブロックのベクトル量子化インデックスパターンと、
前記エラーリカバリ・テーブルに格納されたベクトル量子化インデックスパターンを比較し、同一または最小誤差のテーブル格納ベクトル量子化インデックスパターンを前記エラーリカバリ・テーブルから選択し、選択したベクトル量子化インデックスパターンに対応付けられた特定ブロックのインデックス・データを、前記復号処理対象ブロックのベクトル量子化インデックスとする構成を有することを特徴とする。
【００１８】
さらに、本発明の第２の側面は、
画像処理装置において、ブロック単位での画像処理を実行する画像処理方法であり、
静動判定手段が、復号処理対象ブロックが動画であるか静止画であるかを判定する静動判定ステップと、
デコーダが、前記静動判定手段の判定結果を入力し、前記復号処理対象ブロックの復号処理を実行する復号ステップを有し、
前記静動判定ステップは、
サンプル画像データのブロック単位のベクトル量子化処理と静動判定処理を含む学習処理により生成した特定ブロックの周囲ブロックの符号化データパターンを示すベクトル量子化インデックスパターンと、特定ブロックの静動判定データを対応付けて格納した静動判定テーブルを利用した処理を行うステップであり、
前記復号処理対象ブロックの周囲ブロックのベクトル量子化インデックスパターンを時間軸において連続する２つのフレーム分抽出して、該抽出した周囲ブロックのベクトル量子化インデックスパターンと、
前記静動判定テーブルに格納されたベクトル量子化インデックスパターンを比較し、同一または最小誤差のベクトル量子化インデックスパターンを前記静動判定テーブルから選択し、
該選択したテーブル格納ベクトル量子化インデックスパターンに対応付けられた静動判定データに従って、前記処理対象ブロックが動画であるか静止画であるかを判定するステップを有し、
前記復号ステップは、
前記処理対象ブロックが動画であると判定された場合は、動画の代表ベクトルを格納した動画コードブックを選択し、
前記処理対象ブロックが静止画であると判定された場合は、静止画の代表ベクトルを格納した静止画コードブックを選択し、
前記処理対象ブロックに対応付けられたベクトル量子化インデックスに対応する代表ベクトルを選択コードブックから抽出して復号処理を実行するステップであることを特徴とする画像処理方法にある。
【００１９】
さらに、本発明の画像処理方法の一実施態様において、
前記画像処理方法は、さらに、
エラーリカバリ手段が、復号処理対象ブロックのベクトル量子化インデックスを修正するエラーリカバリステップを有し、
前記エラーリカバリステップは、
サンプル画像データのブロック単位のベクトル量子化処理を含む学習処理により生成した特定ブロックのベクトル量子化インデックスと、該特定ブロックの周囲ブロックのベクトル量子化インデックスパターンとを対応付けて格納したエラーリカバリ・テーブルを利用した処理を実行するステップであり、
前記処理対象ブロックの周囲ブロックのベクトル量子化インデックスパターンと、
前記エラーリカバリ・テーブルに格納されたベクトル量子化インデックスパターンを比較し、同一または最小誤差のテーブル格納ベクトル量子化インデックスパターンを前記エラーリカバリ・テーブルから選択し、選択したベクトル量子化インデックスパターンに対応付けられた特定ブロックのインデックス・データを、前記復号処理対象ブロックのベクトル量子化インデックスとする処理を実行するステップを有することを特徴とする。
【００４１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４２】
【発明の実施の形態】
以下、本発明の画像処理装置および画像処理方法の実施例について、図面を参照して説明する。
【００４３】
［実施例１］
まず、図２に本発明の画像処理装置を適用した画像データ符号化処理構成、および復号処理構成を示すブロック図を示す。
【００４４】
圧縮画像を生成し送信する画像符号化部は、ベクトル量子化による符号化処理を実行するＶＱエンコーダ２０１、入力データの動き判定を実行する動き判定部２０２、静ベクトルに対応する代表ベクトルをインデックスに対応付けて格納した静止画コードブック２０３、動ベクトルに対応する代表ベクトルをインデックスに対応付けて格納した動画コードブック２０４、動き判定部２０２の判定結果に基づいて静止画コードブック２０３、動画コードブック２０４のいずれかをＶＱエンコーダ２０１において選択参照可能とする選択部２０５とを有する。
【００４５】
圧縮画像を受信し復号を実行する画像復号部は、ベクトル量子化による圧縮データについて、ベクトル量子化インデックスに基づいて選択される代表ベクトルに基づく復号処理を実行するＶＱデコーダ２０６、受信データとしてのベクトル量子化インデックスに基づいて受信インデックスが動画コードブックのインデックスであるか、静止画コードブックのインデックスであるかを判定する動画／静止画評価判定部２０７、静ベクトルに対応する代表ベクトルをインデックスに対応付けて格納した静止画コードブック２０８、動ベクトルに対応する代表ベクトルをインデックスに対応付けて格納した動画コードブック２０９、動画／静止画評価判定部２０７の判定結果に基づいて静止画コードブック２０８、動画コードブック２０９のいずれかをＶＱデコーダ２０６において選択参照可能とする選択部２１０とを有する。
【００４６】
送受信されるベクトル量子化インデックスは、符号化対象となる入力画像から得られる波形を標本化した後、連続した複数の標本値を要素とするベクトル系列を生成し、この入力ベクトルと、コードブックに格納された複数の量子化代表ベクトルとを比較して最も誤差の小さい量子化代表ベクトルを選択し、その選択された代表ベクトルに識別値として付加されているインデックスである。このインデックスが送信側から受信側に２進符号化して転送される。
【００４７】
データ送信側は、入力データのベクトル生成処理において、入力画像が静止画である場合と、動画であるかを動き判定部２０２において判定する。この判定処理は、前述したと同様、画像のブロック領域の連続フレームについて、下記の式によって求められる連続フレームの差分値：Ｅを予め定めた閾値と比較することによって実行される。
【００４８】
【数２】

【００４９】
上記式においてｆｏ（ｘ＋ｉ，ｙ＋ｊ）は、フレーム０における画素値を示し、ｆ１（ｘ＋ｉ，ｙ＋ｊ）は、フレーム０に続くフレーム１における画素値を示す。上記式によって求められた差分値：Ｅを閾値：ＴＨと比較し、Ｅ≧ＴＨである場合は動画であると判定し、Ｅ＜ＴＨである場合は静止画であると判定する。
【００５０】
動き判定部２０１の判定結果に基づいて選択手段２０２の切り替えが実行され、静止画コードブック２０３または動画コードブック２０４のいずれかが選択され、ＶＱエンコーダ２０５において生成したベクトルが静止画に基づく静ベクトルである場合は、静止画コードブック２０３の代表ベクトルからもっとも近い代表ベクトルが選択されて、その代表ベクトルに対応付けられたインデックスを出力する。また、ＶＱエンコーダ２０５において生成したベクトルが動画に基づく動ベクトルである場合は、動画コードブック２０４の代表ベクトルからもっとも近い代表ベクトルが選択されて、その代表ベクトルに対応付けられたインデックスを出力する。
【００５１】
ＶＱエンコーダ２０１は、入力画像が動画である場合と、静止画である場合とで異なる処理によりベクトルを生成する。静ベクトル生成処理および動ベクトル生成処理について図３および図４を用いて説明する。
【００５２】
図３は、静ベクトル生成処理を説明する図である。ブロック化した画像領域の時間軸方向の連続フレームとして、フレーム＃ｋ、フレーム＃ｋ＋１を示す。各フレームを構成する３×３の９個のブロックは、前述のベクトル量子化インデックスが各々対応付けられる領域として設定されるブロックである。
【００５３】
前述の（式１）の算出値と閾値との比較に基づいて、ブロックが静止画であることが判定されると、静止画に対する静ベクトルとして、フレームｋとフレームｋ＋１の対応ブロックの標本値に基づいて静ベクトルが生成される。例えば図３に示すように、フレーム＃ｋの中心ブロックＩ（０）の標本値ｄ０，ｄ１と連続フレーム＃ｋ＋１の対応ブロックＩ１の標本値ｄ２，ｄ３に基づいて静ベクトル：ｄ０，ｄ１，ｄ２，ｄ３が生成される。
【００５４】
一方、動ベクトルの生成処理について図４を用いて説明する。前述の式（１）の算出値と閾値との比較に基づいて、ブロックが動画であることが判定されると、動画に対する動ベクトルとして、単一のフレームのブロック例えばフレーム＃ｋのみの標本値から動ベクトルが生成される。
【００５５】
図４に示す例では、フレーム＃ｋの中心ブロックＩ０について、ブロックＩ０の持つ標本値ｄ０，ｄ１，ｄ２，ｄ３に基づいて動ベクトルｄ０，ｄ１，ｄ２，ｄ３が生成される。
【００５６】
このように生成するベクトルは、画像が静止画であるか動画であるかに応じて、処理が異なり、生成されたベクトルの持つ意味が異なってくる。従って、コードブックもまた、動画用コードブックと静止画用コードブックと別々に作成する。
【００５７】
コードブックの構成例を図５に示す。（ａ）動画コードブックには、前述した１つのフレームのブロックに基づく動ベクトルｄ０，ｄ１，ｄ２，ｄ３に対応する様々なパターンの代表値としての複数の異なる代表ベクトルが格納される。さらに、各代表ベクトルに対応して識別値としてインデックス：１〜Ｎ−１が付与される。また、（ｂ）静止画コードブックには、前述した連続する２つのフレームのブロックに基づく静ベクトルｄ０，ｄ１，ｄ２，ｄ３に対応する様々なパターンの代表値としての複数の異なる代表ベクトルが格納され、各代表ベクトルに対応して識別値としてのインデックス：１〜Ｎ−１が付与される。
【００５８】
図２に戻り符号化部の処理の説明を続ける。ＶＱエンコーダ２０１は、符号化対象となる画像データの静動判定に基づいて上述した動ベクトルまたは静ベクトルいずれかのベクトル生成処理を実行し、生成したベクトルが静ベクトルである場合は、静ベクトルコードブックの代表ベクトル中から、動ベクトルである場合は、動ベクトルコードブックの代表ベクトル中から、生成ベクトルにもっとも近い、すなわち誤差の最も小となる代表ベクトルを選択し、選択した代表ベクトルに対応して設定されているインデックスをそのブロックのベクトル量子化インデックスとする。
【００５９】
本発明の構成に係る符号化装置は、これらのインデックスのみを送信する。すなわち、従来のように、静動を判定する動きフラグを各ブロックに付加せずに送信する。従って、送信データ量が削減され、またＶＱエンコーダ部における処理も軽減される。
【００６０】
次に、データ受信側、すなわち復号処理を実行する画像復号部側の処理について説明する。画像復号部側は、受信データとしてのベクトル量子化インデックスに基づいて受信インデックスが動画コードブックのインデックスであるか、静止画コードブックのインデックスであるかを動画／静止画評価判定部２０７において判定する。
【００６１】
動画／静止画評価判定部２０７の詳細構成を図６に示す。動画／静止画評価判定部２０７は、データ送信側から画像圧縮データとしてのベクトル量子化インデックスを受信するデータ入力部６０１、比較判定部６０２、静動判定テーブル格納部６０３、判定結果出力部６０４を有する。
【００６２】
静動判定テーブル格納部６０３には、図７（ｂ）に示す静動判定テーブルを有する。静動判定テーブルは、あるインデックスが付与されたブロック（ｅｘ．フレーム＃ｋではＩ０、フレーム＃ｋ＋１ではＩ１）の周囲ブロックのインデックスについて時間軸における連続するフレーム分のインデックスを、複数の異なるパターンについて格納したテーブルであり、各インデックス・データ・パターンの各々に静、または動を示す静動データを対応付けた構成を有するテーブルである。
【００６３】
静動判定テーブルは、図７（ａ）に示すある注目ブロックとしての中心ブロックを囲む周囲ブロックの各々に対応するインデックスを、時間軸において連続する２つのフレーム（フレーム＃ｋ，＃ｋ＋１）分、格納し、格納した周囲ブロックのインデックスデータ列に対応させて、注目ブロックの静動データを対応付けた構成である。静動データは、復号処理対象ブロックとしての注目ブロックが動画、すなわち動ベクトル適用ブロックであるか、静止画、すなわち静止ベクトル適用ブロックであるかを示している。すなわち、フレーム＃ｋ，フレーム＃ｋ＋１のそれぞれの中心ブロックに設定されたインデックスＩ０，Ｉ１が動画ベクトルコードに基づいて設定されたベクトル量子化インデックスであるか、静止画ベクトルコードに基づいて設定されたベクトル量子化インデックスであるかを示す。このテーブルは、画像に基づく実際の処理、すなわち学習により生成される。
【００６４】
図７（ａ）に示すように、テーブルに格納される周囲ブロックのインデックスは、静止画、すなわち静止ベクトル適用ブロックと、動画、すなわち動ベクトル適用ブロックとでは異なる態様であるため、それぞれのブロックに応じてインデックスをテーブルに格納することが必要となる。図７（ａ）では、左側の２フレームはすべて動ベクトル適用ブロックによって構成され、右側の２フレームはすべて静ベクトル適用ブロックによって構成された例を示しているが、例えば図８に示すように、フレーム内に静ベクトル適用ブロックと動ベクトル適用ブロックが混在する場合であっても、各フレームからベクトル量子化インデックスを取得して静動判定テーブルを構成することができる。
【００６５】
図６に示す比較判定部６０２では、復号処理対象ブロックの周囲ブロックのベクトル量子化インデックスパターンと、静動判定テーブルに格納されたインデックスパターンとを比較し、同一または最小誤差のインデックスパターン列を静動判定テーブルから選択し、選択したテーブル格納インデックスパターンに対応付けられた静動判定結果データを判定結果出力部６０４を介して図２の選択部２１０に出力し、選択部２１０は、判定結果に従って、代表ベクトルを格納した動画コードブック、または静止画コードブックのいずれかを選択しＶＱデコーダ２０６に参照可能に設定する。ＶＱデコーダ２０６は、復号処理対象ブロックに対応付けられたベクトル量子化インデックスに基づいて、選択コードブックから代表ベクトルを選択して復号処理を実行する。
【００６６】
次に、図７に示した静動判定テーブルの生成処理について、図９のフローに基づいて説明する。静動判定テーブルは画像のブロック単位での静動判定処理と、ＶＱエンコーダで付与されるインデックスの抽出処理とを実行することによって生成可能である。まず、ステップＳ９０１で画像データを入力し、ステップＳ９０２において、時間軸において連続するフレームに基づいてフレーム間の対応するブロックに関して前述の（式１）を適用して差分値：Ｅを求め、予め定めた閾値：ＴＨと比較して、処理ブロックが動画、すなわち動ベクトルを生成するブロックであるか、静止画、すなわち静ベクトルを生成するブロックであるかを判定する。
【００６７】
動ベクトル生成ブロックであると判定した場合（ステップＳ９０３でＹｅｓ）は、ステップＳ９０４に進み、前述した動画コードブックから生成ベクトルに最も近い代表ベクトルを選択し、選択した代表ベクトルに設定されたインデックスを処理ブロックのインデックスとして設定する。
【００６８】
一方、動ベクトル生成ブロックでないと判定した場合（ステップＳ９０３でＮｏ）は、ステップＳ９０５に進み、前述した静止画コードブックから生成ベクトルに最も近い代表ベクトルを選択し、選択した代表ベクトルに設定されたインデックスを処理ブロックのインデックスとして設定する。
【００６９】
次に、ステップＳ９０６において、１フレームあたり、処理ブロックを囲む領域の８つのブロックについてインデックスを検出する。これらの周囲インデックスについては、動画コードブックのインデックスであるか、静止画コードブックのインデックスであるかについては検討を要しない。インデックスとして設定された値のみを取得する。周囲ブロックは、時間軸において連続するフレーム＃ｋ，＃ｋ＋１の２フレームを１つの処理単位として各フレームにおける周囲ブロックのインデックスを求める。そのため、ここでは１単位あたり１６ブロックのインデックスが求まる。なお、周囲ブロックのインデックスが未算出である場合は、ステップＳ９０２〜Ｓ９０５と同様の処理を周囲ブロックに対して実行して各ブロックのインデックスを求める。
【００７０】
ステップＳ９０７において、ステップＳ９０４またはステップＳ９０５で求めた周囲各ブロックのインデックスと、ステップＳ９０１の静動判定処理で求めた中心ブロックである処理ブロックの静動判定データをテーブルに格納して１つのテーブル・エントリデータとする。この処理を入力画像の各ブロックから得られるベクトルについて順次実行して、テーブル・エントリを順次増加させてテーブルを生成し、入力画像の処理が終了したら、テーブル生成を終了する。
【００７１】
なお、同一のインデックスパターンに対しても対象ブロックが動画である場合と、静止画である場合とが発生する可能性があり、各ブロックのインデックスパターン毎に、対象ブロックが静止である回数、動きである回数をカウントした度数分布を作成することで、テーブルを作成する。図１０に、テーブル作成過程における対象ブロックが静止画であると判定された回数と、動画であると判定された回数とを測定したテーブルを示す。例えば図１０（ｂ）に示す最下段のように、インデックスパターンに対して対象ブロックがすべて動画であると判定された場合は、そのインデックスパターンに対しての静動データは動として設定される。図１０（ｂ）に示す最上段のように、インデックスパターンに対して対象ブロックが静止画であると判定された回数が多い場合は、そのインデックスパターンに対しての静動データは静として設定される。図１０（ｂ）に示す第２列段のように、インデックスパターンに対して対象ブロックが静止画であると判定された回数と動画であると判定された回数が均衡した場合の処理については、後段の［静動判定テーブルの生成処理における精度向上手法］の欄において詳細に説明する。
【００７２】
なお、静動判定テーブルは、予め何らかのサンプル画像データを用いて図９に示すフローを実行して生成し、生成したテーブルを適用して様々な入力画像の静動判定に適用する。あるいは、画像の種類に応じたテーブルを複数生成し、入力画像に応じてテーブル選択を実行して最適なテーブルを用いた静動判定を実行するように構成してもよい。
【００７３】
また、図７（ｂ）に示す静動判定テーブルは注目ブロックのインデックス、すなわち、図７（ａ）のＩ０，Ｉ１をテーブル内データとして含まない構成であるが、これらのデータについても静動判定テーブル内に格納してテーブルデータを構成してもよい。
【００７４】
さらに、実際の処理画像の一部について図９のフローを実行して処理画像専用の静動判定テーブルを生成して、生成した専用テーブルに基づいて処理画像の静動判定を実行する構成とし、処理画像毎に判定テーブルを生成するようにしてもよい。
【００７５】
動画／静止画評価判定部２０７は、受信するインデックス・データ列に基づいて、上述した図９のフローに従って生成される図７に示す静動判定テーブルの格納データを参照し、受信インデックス・データ列に最も近い、すなわち誤差の最小のテーブル格納データ列を選択し、その選択されたデータ列に対応してテーブルに設定された静動データに基づいて、受信インデックス・データ列が動画コードブックのインデックスであるか静止画コードブックのインデックスであるかを判定する。
【００７６】
動画／静止画評価判定部２０７は、判定に基づいて選択部２１０を制御し、受信インデックスが静ベクトルに対応するインデックスであると判定した場合は、静ベクトルに対応する代表ベクトルを格納した静止画コードブック２０８、受信インデックスが動ベクトルに対応するインデックスであると判定した場合は、動ベクトルに対応する代表ベクトルを格納した動画コードブック２０９をＶＱデコーダ２０６において選択して参照可能とする。
【００７７】
ＶＱデコーダ２０６は、静動判定テーブルに基づく静動判定に基づいて選択された静止画コードブックまたは動画コードブックのいずれかを参照して入力インデックスに対応するインデックスの代表ベクトルを取得して、取得した代表ベクトルに基づく復号処理を実行する。
【００７８】
データ送信側からベクトル量子化インデックスのみを受信してコードブックを使用した動き適応ベクトル量子化データの復号処理を実行する復号部の処理について、図１２のフローを用いて説明する。
【００７９】
まず、ステップＳ１２０１において、動画／静止画評価判定部２０７が受信ベクトル量子化インデックス・データ列のパターンを検出する。検出するパターンは、復号対象となる注目ブロックの時間軸に連続するフレームにおける周囲のブロックのインデックスパターン（図７（ａ）参照）である。
【００８０】
次に、ステップＳ１２０２において、受信パターンに基づいて静動判定テーブルを参照して受信パターンと一致するインデックス・データ列を検索し、ステップＳ１２０３において、検索結果として、一致するインデックスデータ列がテーブル中にあったか否かを判定する。
【００８１】
静動判定テーブルに受信インデックスパターンと一致するデータ列があった場合は、一致するインデックスデータ列を選択（Ｓ１２０４）し、一致データがなかった場合は、受信インデックスパターンに最も近い、誤差の最小のインデックス・データ列を選択（Ｓ１２０５）する。
【００８２】
次に、ステップＳ１２０６において、選択インデックス・データ列に設定された静動データを取得し、ステップＳ１２０７において、取得された静動データが動であると判定した場合は、ステップＳ１２０８において、動画コードブックから、復号対象となる注目ブロックに対応付けられたインデックスに基づいて代表ベクトルを決定して復号処理を実行する。
【００８３】
一方、ステップＳ１２０７において、取得された静動データが静であると判定した場合は、ステップＳ１２０９において、静止画コードブックから、復号対象となる注目ブロックに対応付けられたインデックスに基づいて代表ベクトルを決定して復号処理を実行する。
【００８４】
全ての入力インデックスに基づく復号処理をＳ１２０１〜Ｓ１２０９において実行し、全ての受信データの復号が終了したことを確認（Ｓ１２１０）して処理を終了する。
【００８５】
上述したように、本発明の構成に係る復号処理部は、各ブロックについての静動判定を行なうための動きフラグを受信することなく、ベクトル量子化インデックスのみを受信し、受信したベクトル量子化インデックスのみに基づいて受信インデックスが動画コードブックのインデックスであるか、静止画コードブックのインデックスであるかを判定する。従って、各ブロック毎の動きフラグの受信が不要となり、送信データ量の削減が実現する。
【００８６】
なお、図３，図４を用いて説明したように、動ベクトルと静ベクトルでは、ベクトル生成のための要素配列が異なり、ベクトル生成処理では、ブロックが静止画、であるか動画であるかによって要素配列を並び替えてベクトルを生成することが必要となる。図２に示す構成においては、符号化部のＶＱエンコーダ２０１において、ブロックの静動に基づいて、ブロック化された画像信号に基づくベクトル生成のための要素並び替えを処理を実行し、並び替え処理による要素配列に基づいて動ベクトル、静ベクトルの生成を実行し、また、復号部のＶＱデコーダ２０６において、動ベクトル、静ベクトルに対応する代表ベクトルの復号を実行し、ベクトルの静動に基づいて、要素の並び替え（符号化時と逆の処理）を行なって出力する構成としたが、ＶＱエンコーダ、ＶＱデコーダ内で、これらの要素並び替え処理を実行するのではなく、図１１に示すように、符号化部のＶＱエンコーダ２０１の前段にブロック化された画像信号に基づくベクトル生成のための要素並び替えを処理を実行する要素変更部２５１を設け、要素変更部２５１において、動き判定部の判定したブロックの静動に基づいて要素並び替えを実行する構成としてもよい。また、復号化部においては、ＶＱデコーダ２０６の後段に要素逆変換部２５２を設け、要素逆変換部２５２において、動画／静止画評価判定部２０７の判定結果に基づいて、要素の並び替え（符号化時と逆の処理）を行なう構成としてもよい。
【００８７】
［実施例２］
次に、ベクトル量子化インデックスのデータ転送において、データ受信側において、一部のインデックスの受信に失敗し、インデックスエラーを発生させたときのエラーリカバリー処理を静動判定テーブルに基づいて実行する構成を実施例２として説明する。
【００８８】
実施例２の符号化装置、復号化装置のブロック図を図１３に示す。符号化部は実施例１と同様の構成であるので説明を省略する。データ受信側、すなわち復号処理を実行する画像復号部側には、動画／静止画評価判定およびエラーリカバリ部１１０１が設けられている点が実施例１と異なる。
【００８９】
動画／静止画評価判定およびエラーリカバリ部１１０１の詳細構成を図１４に示す。動画／静止画評価判定およびエラーリカバリ部１１０１は、データ送信側から画像圧縮データとしてのベクトル量子化インデックスを受信するデータ入力部１２０１、比較判定部１２０２、静動判定＆エラーリカバリテーブル格納部１２０３、インデックスエラーリカバリ部１２０４、判定結果出力部６０４を有する。
【００９０】
静動判定およびエラーリカバリテーブルを図１５に示す。図１５（ｂ）に示す静動判定およびエラーリカバリテーブルは、時間軸における連続する２つのフレームの注目ブロックの周囲ブロックに付与されたインデックスを、複数の異なるパターンについて格納したテーブルであり、周囲ブロックインデックスについては、先に説明した図７の静動判定テーブルの構成と同様である。
【００９１】
図１５の静動判定およびエラーリカバリテーブルは、静動判定を行なうための静動データのみではなく、インデックスデータの受信失敗、すなわちエラーインデックスを注目ブロックとして設定したときの注目ブロックのインデックスをテーブルに記録し、時間軸における連続する２つのフレームの注目ブロックの周囲ブロックに付与されたインデックスからエラーとなった注目ブロックのインデックスを求めることを可能とした構成である。
【００９２】
動画ブロック、すなわち動ベクトルを適用したブロックと、静止画ブロック、すなわち静ベクトルを適用したブロックとでは、先のベクトル生成処理の説明から理解されるように異なるベクトル生成処理が実行され、それぞれのインデックスの持つ意味が異なる。従って、静動判定およびエラーリカバリテーブルのエラーインデックスＩ０，Ｉ１は、注目ブロックが動ベクトルを適用したブロックである場合と静ベクトルを適用したブロックである場合とで異なる意味を持つ。
【００９３】
注目ブロックが動ベクトルを適用したブロックである場合、静動判定およびエラーリカバリテーブルに格納されたＩ０は、フレーム＃ｋの注目ブロックである中央ブロックのベクトル量子化インデックスとなり、Ｉ１は、フレーム＃ｋと時間軸において連続するフレーム＃ｋ＋１の中央ブロックのベクトル量子化インデックスとなる。
【００９４】
一方、注目ブロックが静ベクトルを適用したブロックである場合、静動判定およびエラーリカバリテーブルに格納されたＩ０は、フレーム＃ｋおよびフレーム＃ｋと時間軸において連続するフレーム＃ｋ＋１の注目ブロックである中央ブロックの分割領域に割り当てられたベクトル量子化インデックスとなり、Ｉ１は、フレーム＃ｋおよびフレーム＃ｋと時間軸において連続するフレーム＃ｋ＋１の中央ブロックの他の分割領域に割り当てられたベクトル量子化インデックスとなる。
【００９５】
なお、静動判定およびエラーリカバリテーブルは、予め何らかのサンプル画像データを用いて先に説明した図９に示すフローと同様の処理によって生成し格納し、格納テーブルを適用して様々な入力画像の静動判定およびエラーリカバリに適用する。あるいは、画像の種類に応じたテーブルを複数生成し、入力画像に応じて適宜テーブル選択を実行して最適なテーブルを用いて静動判定を実行するように構成してもよい。また、実際の処理画像の一部について図９のフローを実行して処理画像専用の静動判定およびエラーリカバリテーブルを生成して、生成した専用テーブルに基づいて処理画像の静動判定を実行する構成とし、処理画像毎に静動判定およびエラーリカバリテーブルを生成するようにしてもよい。
【００９６】
図１４に示す比較判定部１２０２では、復号処理対象ブロックの周囲ブロックのベクトル量子化インデックスパターンと、静動判定およびエラーリカバリテーブルに格納されたインデックスパターン列とを比較し、同一または最小誤差のインデックスパターン列を静動判定およびエラーリカバリテーブルから選択し、選択したインデックスパターン列に対応付けられた静動判定結果データを判定結果出力部１２０５を介して図１３の選択部２１０に出力し、選択部２１０は、判定結果に従って、代表ベクトルを格納した動画コードブック、または静止画コードブックのいずれかを選択し、ＶＱデコーダ２０６において参照可能に設定する。
【００９７】
また、インデックスエラーリカバリ部１２０４は、受信インデックスにエラーがある場合に、比較判定部１２０２における受信インデックスパターンとテーブル格納パターンとの比較の結果取得される同一または最小誤差のパターンデータを静動判定およびエラーリカバリテーブルから選択し、選択したインデックスパターン列に対応付けられたインデックス（図１５のＩ０またはＩ１）を取得し、これをＶＱデコーダ２０６に出力する。
【００９８】
ＶＱデコーダ２０６は、復号処理対象ブロックに対応付けられたベクトル量子化インデックスを受信データ中、あるいは、インデックスエラーリカバリ部１２０４から取得し、取得したインデックスに基づいて、選択コードブックから代表ベクトルを選択して復号処理を実行する。
【００９９】
コードブックを使用した動き適応ベクトル量子化データの復号処理において、静動判定およびエラーリカバリテーブルを用いたエラーリカバリ処理を含む処理について、図１６のフローを用いて説明する。
【０１００】
まず、ステップＳ１６０１において、動画／静止画評価判定部２０７が受信ベクトル量子化インデックス・データ列のパターンを検出する。検出するパターンは、復号対象となる注目ブロックの時間軸に連続するフレームにおける周囲のブロックのインデックスパターン（図１５（ａ）参照）である。
【０１０１】
次に、ステップＳ１６０２において、受信パターンに基づいて静動判定およびエラーリカバリテーブルを参照して受信パターンと一致するインデックス・データ列を検索し、ステップＳ１６０３において、検索結果として、一致するインデックスデータ列がテーブル中にあったか否かを判定する。
【０１０２】
静動判定およびエラーリカバリテーブルに受信インデックスパターンと一致するデータ列があった場合は、一致するインデックスデータ列を選択（Ｓ１６０４）し、一致データがなかった場合は、受信インデックスパターンに最も近い、誤差の最小のインデックス・データ列を選択（Ｓ１６０５）する。
【０１０３】
次にステップＳ１６０６において、注目ブロックのインデックスエラーが発生しているか否かを判定し、エラーがない場合は、ステップＳ１６０８において、選択インデックス・データ列に設定された静動データを取得する。エラーありの場合は、ステップＳ１６０７において、静動判定およびエラーリカバリテーブルの選択インデックス・データ列に設定された静動データに加えて、エラーとなった注目ブロックのインデックス（Ｉ０またはＩ１）を取得する。
【０１０４】
次にステップＳ１６０９において、取得された静動データが動であると判定した場合は、ステップＳ１６１０において、動画コードブックから、復号対象となる注目ブロックに対応付けられたインデックスに基づいて代表ベクトルを決定して復号処理を実行する。
【０１０５】
一方、ステップＳ１６０９において、取得された静動データが静であると判定した場合は、ステップＳ１６１１において、静止画コードブックから、復号対象となる注目ブロックに対応付けられたインデックスに基づいて代表ベクトルを決定して復号処理を実行する。
【０１０６】
全ての入力インデックスに基づく復号処理をＳ１６０１〜Ｓ１６１１において実行し、全ての受信データの復号が終了したことを確認（Ｓ１６１２）して処理を終了する。
【０１０７】
上述したように、本実施例の構成に係る復号処理部は、受信するベクトル量子化インデックスにエラーが発生した場合においても、周囲ブロックのインデックスパターンに基づいて、静動判定およびエラーリカバリテーブルを参照して欠落したエラーインデックスを求めることが可能となる。従って、高精度のデータ復号処理が可能となる。
【０１０８】
［静動判定テーブルの生成処理における精度向上手法］
先に注目ブロックの周囲ブロックのベクトル量子化インデックスに基づいて、注目ブロックのベクトル量子化インデックスの静動を判定するテーブルとして、図７に示すテーブルを示し、またそのテーブル生成処理フローを図９を用いて説明した。
【０１０９】
図９を用いて説明した静動判定テーブル生成処理は、先に述べたように、ある特定の画像を入力して、実際に各フレームに含まれる注目ブロックとしての中央のブロックの静動判定を実行し、さらに特定ブロックの周囲ブロックのインデックスを取得してテーブルデータとして構成するものである。このテーブル生成においては、処理データを多くして様々なインデックスパターンをテーブル登録することにより、テーブルのヒット率、すなわち、処理対象データとしての受信インデックスパターンと、テーブル格納インデックス・パターンの一致する率を高めることが可能となる。
【０１１０】
しかし、静動テーブル生成処理において、ある注目ブロックの周囲ブロックのインデックスパターンが同一であるにもかかわらず、注目ブロックが動画、すなわち動ベクトル適用ブロックである場合と、静止画、すなわち静ベクトル適用ブロックである場合が発生し得る。
【０１１１】
このような場合、同一のインデックスパターンについて、図７に示す静動判定テーブル中に重複して同じパターン列を登録することはできないので、何らかの手当てが必要となる。１つの手法は、同一インデックス・パターンの発生率を、注目ブロックが動ベクトル適用の場合と静ベクトル適用の場合とで出現度数をカウントして、多い方を静動判定テーブルにおける当該インデックスパターンの静動データとする方法である。
【０１１２】
しかし、注目ブロックが動ベクトル適用の場合と静ベクトル適用の場合とでほぼ同率で、同じ周囲ブロックのインデックスパターンが発生した場合の処理が問題となる。以下、この場合の処理について説明する。
【０１１３】
ここでは、静動判定テーブルは、図１７に示すように、時間軸において連続する２つのフレームの各フレーム３×３＝９のすべてのインデックス、合計１８個のインデックスを格納した静動判定テーブルとする。
【０１１４】
例えば、テーブル生成処理において、注目ブロックの周囲ブロックのインデックスパターン列が、１フレーム９個で連続２フレーム分として、１８個のインデックスパターン列［１，４，２，…３，Ｎ−１，７］として複数回出現し、その出現回数において注目ブロックが動ベクトル適用の場合と静ベクトル適用の場合とでほぼ同数であったとする。
【０１１５】
すなわち、インデックスパターン列［１，４，２，…３，Ｎ−１，７］に対して、フレーム中央の注目ブロックが動ベクトル適用ブロックであった回数が５回発生し、また注目ブロックが静ベクトル適用ブロックであった回数も５回であったような場合である。このように同一インデックスパターンについて静動データいずれかを対応付けることが困難な場合、動画コードブックまたは、静止画コードブックいずれかのインデックス入れ替え処理を実行する。
【０１１６】
動画コードブックまたは、静止画コードブックは、図５を用いて説明したように、インデックス１〜Ｎ−１に対してそれぞれ異なる代表ベクトルを対応付けている。上述のインデックスパターン列［１，４，２，…３，Ｎ−１，７］中の数値は、図５の動画コードブックまたは、静止画コードブックのインデックス１〜Ｎ−１のいずれかを示しているものである。
【０１１７】
ここで、静動判定テーブルの生成処理において同一のインデックスパターン列の出現回数が、注目ブロックが動ベクトル適用の場合と静ベクトル適用の場合とでほぼ同数であった場合、図１８に示すようにコードブックのインデックスの並び替えを実行する。図１８に示す例は、動画コードブックにおけるインデックス並び替えであるが、動画コードブックではなく、静止画コードブックにおいて並び替えを行なってもよい。
【０１１８】
例えば、図１８に示すように、オリジナル動画コードブックにおいてインデックス１の代表ベクトル（８０，４０，５０，７０）をインデックス２に変更する。すなわち、代表ベクトル（８０，４０，５０，７０）はオリジナルコードブックではインデックス［１］であるが、インデックス並び替えにより、同じ代表ベクトル（８０，４０，５０，７０）をインデックス［２］に対応する代表ベクトルとして設定する。
【０１１９】
図１８の例では、インデックス１→２、インデックス２→３、…インデックスＮ−１→１として、インデックスを１つづつ、ずらした並び替え処理を行なっている。並び替えのルールはこのような規則に限らず、他の規則に従って、あるいはランダムに並び替えを行なってもよい。
【０１２０】
このような並び替えにより設定されたコードブックに基づいて、再度、静動判定テーブルの生成を実行する。この場合、静止画コードブックのインデックスは変更されておらず、動画コードブックのインデックスのみが変更されているので、並び替え処理前のインデックスパターン列［１，４，２，…３，Ｎ−１，７］の発生率は変化する。
【０１２１】
注目ブロック、および周囲ブロックのインデックスとして受信するインデックスパターン列は、動画コードブックまたは静止画コードブックのインデックスの混在したインデックスパターンである。ここで、例えば、動画コードインデックスのみを（ｎ）として示すと、前述のインデックスパターン列［１，４，２，…３，Ｎ−１，７］は、［（１），４，（２），…３，Ｎ−１，（７）］と示すことができる。このインデックスパターンは、前述の動画コードブックの並び替え処理により、［２，４，３，…３，Ｎ−１，８］のインデクッスパターン列として出現する。
【０１２２】
この場合、テーブルに格納するインデックスパターンでは、動画ブロック、すなわち動ベクトル適用ブロックであれば、インデックスは、前述の並び替え処理により変更される。しかし、注目ブロックのインデックスが静止画ブロック、すなわち静ベクトル適用ブロックであれば、インデックスは変更されない。従って、注目ブロックの静動に応じて、前述のインデックスパターン列［１，４，２，…３，Ｎ−１，７］は、異なるパターン列として識別されることになる。その結果、並び替え処理前に、注目ブロックの動ベクトル適用の場合と静ベクトル適用の場合とでほぼ同率で発生したパターンの発生頻度の均衡が解消されることになる。
【０１２３】
このような処理を静動判定テーブル生成処理工程において実行することで、精度の高い静動判定テーブルを作り上げることが可能となる。上述のコードブック並び替え処理を含めた静動判定テーブル生成処理フローを図１９に示す。
【０１２４】
まず、ステップＳ１９０１において、静動判定テーブルの生成処理を開始する。この処理は、図９のフローを用いて説明した処理として実行される。ステップＳ１９０２において、注目ブロックが動ベクトル適用の場合と静ベクトル適用の場合とで発生頻度がほぼ均等な同一インデックスパターン列が存在するか否かを判定する。このようなパターン列がない場合は、ステップＳ１９０３に進み、静動判定テーブルに注目ブロックの静動データと、周囲ブロックのインデックスパターンとを対応づけて格納する。
【０１２５】
一方、ステップＳ１９０２において、注目ブロックが動ベクトル適用の場合と静ベクトル適用の場合とで発生頻度がほぼ均等な同一インデックスパターン列が存在すると判定された場合は、ステップＳ１９０５に進み、前述した動画コードブックまたは静止画コードブックいずれか一方のインデックス並び替え処理を実行し、再度静動判定テーブル生成処理を開始する。
【０１２６】
並び替えを実行したコードブックに対応させたインデックスを用いてテーブル生成処理を実行し、ステップＳ１９０２において、発生頻度の均衡したインデックスパターン列が解消し、すべての入力画像の処理としてのテーブル登録が完了（Ｓ１９０４）すると、静動判定テーブルの生成が終了する。
【０１２７】
以上、説明した静動判定テーブル生成処理に従えば、注目ブロックが動ベクトル適用の場合と静ベクトル適用の場合とで発生頻度がほぼ均等な同一インデックスパターン列が解消され、個々のインデックスパターン列について、より高精度な静動判定データを格納した静動判定テーブルを生成することが可能となる。
【０１２８】
なお、上述した実施例においては、ベクトル量子化（ＶＱ）による画像符号化処理の例における静動判定処理について説明したが、ベクトル量子化（ＶＱ）に限らず、ＤＣＴ、ＡＤＲＣなど、他の符号化処理においても同様の静動判定処理が可能である。
【０１２９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。また、上述の実施例を適宜組み合わせて構成したものも、本発明の範囲に含まれるものであり、本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１３０】
【発明の効果】
以上、詳記したように、本発明の画像処理装置および画像処理方法によれば、量子化ベクトル符号化を適用した各ブロックについての静動判定を行なうための動きフラグを受信することなく、ベクトル量子化インデックスのみを受信し、受信したベクトル量子化インデックスに基づいて静動判定テーブルを参照して受信インデックスが動画コードブックのインデックスであるか、静止画コードブックのインデックスであるかを判定することが可能となり、各ブロック毎の動きフラグの受信が不要となるので送信データ量の削減が可能となる。
【０１３１】
さらに、本発明の画像処理装置および画像処理方法によれば、量子化ベクトル符号化を適用した各ブロックについての復号処理において、受信するベクトル量子化インデックスにエラーが発生した場合においても、周囲ブロックのインデックスパターンに基づいて、静動判定およびエラーリカバリテーブルを参照して欠落したエラーインデックスを求めることが可能となり、高精度のデータ復号処理が実現される。
【０１３２】
さらに、本発明の画像処理装置および画像処理方法によれば、量子化ベクトル符号化を適用した各ブロックについての静動判定を行なうための静動判定テーブルの生成において、注目ブロックが動ベクトル適用の場合と静ベクトル適用の場合とで発生頻度がほぼ均等な同一インデックスパターン列が存在する場合においても、コードブックのインデックス並び替えにより高精度な静動判定データを格納したテーブルが生成でき、ベクトル量子化インデックスのみに基づく高精度な静動判定を実行して高精度な復号処理を実行することが可能となる。
【図面の簡単な説明】
【図１】一般的なベクトル量子化に基づく画像符号化および復号処理構成について説明するブロック図である。
【図２】本発明の画像処理装置を適用したベクトル量子化に基づく画像符号化および復号処理構成（実施例１）について説明するブロック図である。
【図３】ベクトル量子化に基づく静止画ブロックの静ベクトル生成処理について説明する図である。
【図４】ベクトル量子化に基づく動画ブロックの動ベクトル生成処理について説明する図である。
【図５】ベクトル量子化に基づく画像符号化および復号処理に適用されるコードブックの構成例について説明する図である。
【図６】本発明の画像処理装置における復号処理部の動画／静止画評価判定部の構成を示すブロック図である。
【図７】本発明の画像処理装置における復号処理部の動画／静止画評価判定部の有する静動判定テーブルの構成を説明する図（例１）である。
【図８】本発明の画像処理装置における復号処理部の動画／静止画評価判定部の有する静動判定テーブルの構成を説明する図（例２）である。
【図９】本発明の画像処理装置において適用される静動判定テーブルの生成処理フローを示す図である。
【図１０】本発明の画像処理装置における復号処理部の動画／静止画評価判定部の有する静動判定テーブルの作成における対象ブロックの静動カウント処理について説明する図である。
【図１１】本発明の画像処理装置を適用したベクトル量子化に基づく画像符号化および復号処理構成の要素並び替えを実行する処理部を有する構成について説明するブロック図である。
【図１２】本発明の画像処理装置における静動判定テーブルを適用した復号処理フローを示す図である。
【図１３】本発明の画像処理装置を適用したベクトル量子化に基づく画像符号化および復号処理構成（実施例２）について説明するブロック図である。
【図１４】本発明の画像処理装置における復号処理部（実施例２）の動画／静止画評価判定およびエラーリカバリ部の構成を示すブロック図である。
【図１５】本発明の画像処理装置における復号処理部の動画／静止画評価判定部の有する静動判定およびエラーリカバリテーブルの構成を説明する図である。
【図１６】本発明の画像処理装置における静動判定およびエラーリカバリテーブルを適用した復号処理フローを示す図である。
【図１７】本発明の画像処理装置における高精度な静動データ構成を持つ静動判定テーブルの構成例について説明する図である。
【図１８】本発明の画像処理装置における静動判定テーブルの生成処理の際に実行されるコードブック並び替え処理について説明する図である。
【図１９】本発明の画像処理装置において適用されるコードブック並び替え処理を含む静動判定テーブル生成処理フローを示す図である。
【符号の説明】
１０１ 動き判定部
１０２ 選択部
１０３ 静止画コードブック
１０４ 動画コードブック
１０５ ＶＱエンコーダ
１０６ ＶＱデコーダ
１０７ 選択部
１０８ 静止画コードブック
１０９ 動画コードブック
２０１ 動き判定部
２０２ 選択部
２０３ 静止画コードブック
２０４ 動画コードブック
２０５ ＶＱエンコーダ
２０６ ＶＱデコーダ
２０７ 動画／静止画評価判定部
２０８ 静止画コードブック
２０９ 動画コードブック
２１０ 選択部
２５１ 要素変更部
２５２ 要素逆変更部
６０１ 入力部
６０２ 比較判定部
６０３ 静動判定テーブル格納部
６０４ 判定結果出力部
１１０１ 動画／静止画評価判定およびエラーリカバリ部
１２０１ 入力部
１２０２ 比較判定部
１２０３ 静動判定テーブル格納部
１２０４ インデックスエラーリカバリ部
１２０５ 判定結果出力部

Claims (4)

1. ブロック単位での画像処理を実行する画像処理装置において、
   復号処理対象ブロックが動画であるか静止画であるかを判定する静動判定手段と、
   前記静動判定手段の判定結果を入力し、前記復号処理対象ブロックの復号処理を実行するデコーダを有し、
   前記静動判定手段は、
   サンプル画像データのブロック単位のベクトル量子化処理と静動判定処理を含む学習処理により生成した特定ブロックの周囲ブロックの符号化データパターンを示すベクトル量子化インデックスパターンと、特定ブロックの静動判定データを対応付けて格納した静動判定テーブルを有し、
   前記復号処理対象ブロックの周囲ブロックのベクトル量子化インデックスパターンを時間軸において連続する２つのフレーム分抽出して、該抽出した周囲ブロックのベクトル量子化インデックスパターンと、
   前記静動判定テーブルに格納されたベクトル量子化インデックスパターンを比較し、同一または最小誤差のベクトル量子化インデックスパターンを前記静動判定テーブルから選択し、
   該選択したテーブル格納ベクトル量子化インデックスパターンに対応付けられた静動判定データに従って、前記処理対象ブロックが動画であるか静止画であるかを判定し、
   前記デコーダは、
   前記処理対象ブロックが動画であると判定された場合は、動画の代表ベクトルを格納した動画コードブックを選択し、
   前記処理対象ブロックが静止画であると判定された場合は、静止画の代表ベクトルを格納した静止画コードブックを選択し、
   前記処理対象ブロックに対応付けられたベクトル量子化インデックスに対応する代表ベクトルを選択コードブックから抽出して復号処理を実行する構成を有することを特徴とする画像処理装置。
2. 前記画像処理装置は、さらに、
   復号処理対象ブロックのベクトル量子化インデックスを修正するエラーリカバリ手段を有し、
   前記エラーリカバリ手段は、
   サンプル画像データのブロック単位のベクトル量子化処理を含む学習処理により生成した特定ブロックのベクトル量子化インデックスと、該特定ブロックの周囲ブロックのベクトル量子化インデックスパターンとを対応付けて格納したエラーリカバリ・テーブルを有し、
   前記処理対象ブロックの周囲ブロックのベクトル量子化インデックスパターンと、
   前記エラーリカバリ・テーブルに格納されたベクトル量子化インデックスパターンを比較し、同一または最小誤差のテーブル格納ベクトル量子化インデックスパターンを前記エラーリカバリ・テーブルから選択し、選択したベクトル量子化インデックスパターンに対応付けられた特定ブロックのインデックス・データを、前記復号処理対象ブロックのベクトル量子化インデックスとする構成を有することを特徴とする請求項１に記載の画像処理装置。
3. 画像処理装置において、ブロック単位での画像処理を実行する画像処理方法であり、
   静動判定手段が、復号処理対象ブロックが動画であるか静止画であるかを判定する静動判定ステップと、
   デコーダが、前記静動判定手段の判定結果を入力し、前記復号処理対象ブロックの復号処理を実行する復号ステップを有し、
   前記静動判定ステップは、
   サンプル画像データのブロック単位のベクトル量子化処理と静動判定処理を含む学習処理により生成した特定ブロックの周囲ブロックの符号化データパターンを示すベクトル量子化インデックスパターンと、特定ブロックの静動判定データを対応付けて格納した静動判定テーブルを利用した処理を行うステップであり、
   前記復号処理対象ブロックの周囲ブロックのベクトル量子化インデックスパターンを時間軸において連続する２つのフレーム分抽出して、該抽出した周囲ブロックのベクトル量子化インデックスパターンと、
   前記静動判定テーブルに格納されたベクトル量子化インデックスパターンを比較し、同一または最小誤差のベクトル量子化インデックスパターンを前記静動判定テーブルから選択し、
   該選択したテーブル格納ベクトル量子化インデックスパターンに対応付けられた静動判定データに従って、前記処理対象ブロックが動画であるか静止画であるかを判定するステップを有し、
   前記復号ステップは、
   前記処理対象ブロックが動画であると判定された場合は、動画の代表ベクトルを格納した動画コードブックを選択し、
   前記処理対象ブロックが静止画であると判定された場合は、静止画の代表ベクトルを格納した静止画コードブックを選択し、
   前記処理対象ブロックに対応付けられたベクトル量子化インデックスに対応する代表ベクトルを選択コードブックから抽出して復号処理を実行するステップであることを特徴とする画像処理方法。
4. 前記画像処理方法は、さらに、
   エラーリカバリ手段が、復号処理対象ブロックのベクトル量子化インデックスを修正するエラーリカバリステップを有し、
   前記エラーリカバリステップは、
   サンプル画像データのブロック単位のベクトル量子化処理を含む学習処理により生成した特定ブロックのベクトル量子化インデックスと、該特定ブロックの周囲ブロックのベクトル量子化インデックスパターンとを対応付けて格納したエラーリカバリ・テーブルを利用した処理を実行するステップであり、
   前記処理対象ブロックの周囲ブロックのベクトル量子化インデックスパターンと、
   前記エラーリカバリ・テーブルに格納されたベクトル量子化インデックスパターンを比較し、同一または最小誤差のテーブル格納ベクトル量子化インデックスパターンを前記エラーリカバリ・テーブルから選択し、選択したベクトル量子化インデックスパターンに対応付けられた特定ブロックのインデックス・データを、前記復号処理対象ブロックのベクトル量子化インデックスとする処理を実行するステップを有することを特徴とする請求項３に記載の画像処理方法。

Images