JP4780646B2 - 画像処理システム、サーバ装置、クライアント装置、プログラム及び情報記録媒体 - Google Patents

Description

本発明は、動画像を対象とした画像処理システムに係り、特に、サーバ装置において時間方向を含む３次元の周波数変換を用いる符号化方式によって動画像を符号化し、その符号をクライアント装置側で受信して編集などの処理を行う画像処理システムと、それを構築するためのサーバ装置及びクライアント装置に関する。

特許文献１に、動画コンテンツを配信するサーバと、このサーバによる動画配信を制御するマネージャと、サーバより配信された動画を視聴するクライアントからなる動画配信システムが記載されている。この動画配信システムにおいては、クライアントからマネージャに番組の配信要求を送ると、その番組に関する構造情報がサーバからクライアントへ送信される。クライアント側で、その構造情報を基に編集した構造情報（再構成情報）をマネージャへ返すと、サーバから再構成情報に従って編集した番組の動画データがクライアントへ送信される。

特許文献２に、動画像を複数のシーンに分解して階層的な木構造で管理し、この木構造の変形操作によって動画像の編集を行う画像編集装置が記載されている。

画像をタイル分割し、タイル毎にウェーブレット変換を用いて圧縮するＪＰＥＧ２０００のような符号化方式では、符号から画像を復号すると、タイル境界に歪みが生ずることがある。特許文献３には、そのような符号の復号処理において、隣接したタイルのローパス係数とハイパス係数を利用してタイル境界付近のハイパス係数を補正することにより、タイル境界歪みを効果的に除去する方法が記載されている。

高精細の動画像の符号化方式として、各フレームをＪＰＥＧ２０００で符号化するＭｏｔｉｏｎ−ＪＰＥＧ２０００がある。この符号化方式は、個々のフレームを独立して処理できる等の利点があるが、符号化時にフレーム間差分を用いないため、フレーム間差分を用いるＭＰＥＧなどの圧縮方式に比べ、画質の面で必ずしも有利ではない場合があり得る。その対策として、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像のような各フレームが２次元周波数変換された動画像に対し、連続したフレームの集まり（ＧＯＦ；Group of Flames）毎に時間方向にウェーブレット変換のような周波数変換を行うことによって、動画像を３次元サブバンド符号化する試みがなされている。しかし、このようなＧＯＦ毎に符号化された動画像符号を復号した動画像には、ＧＯＦ境界に痙攣するように揺らぐ、いわゆるＧＯＦ境界歪み（ｊｅｒｋ）が発生するという問題が指摘されている（例えば非特許文献１参照）。

特開２０００−３５０１８２号公報 特開平７−３０３２３４号公報 特開２００１−２５７５９６号公報 C．Parisot，M．Antonini，M．Barlaud， "Motion-compensated scan based wavelet transform for video coding，" Proceedings of the International Workshop on Digital Communications, Capri，Italy， September 2002, pp.121-127

上述のように、時間方向を含む３次元の周波数変換を用いる符号化方式は、時間方向を含まない２次元の周波数変換を用いる符号化方式に比べ圧縮率の向上を期待できる。しかし、ＧＯＦ分割を行わないで動画像を符号化処理して生成される符号は、符号状態での編集などが困難である。一方、ＧＯＦ分割を行って動画像を符号化処理して生成される符号は、ＧＯＦ境界歪みによる画質劣化が起きやすい。

本発明は、このような時間方向を含む３次元の周波数変換を用いる符号化方式の特質に配慮した新規な画像処理システムと、それを構築するための新規なサーバ装置及び新規なクライアント装置を提供することを目的とするものである。

請求項１記載の発明は、サーバ装置とクライアント装置とが伝送路を通じて相互に接続された画像処理システムであって、
前記クライアント装置は、
動画像に関する用途指定などを利用者が入力するための入力手段と、
前記用途指定を前記サーバ装置へ通知する手段と、
動画像符号を前記サーバ装置より受信する手段と、
前記サーバ装置より受信した動画像符号に対し前記用途指定に対応した処理を行う ための処理手段と、
を有し、
前記サーバ装置は、
動画像に対し、連続した所定数フレーム（ＧＯＦ）毎に分割して又は分割せずに、 時間方向を含む３次元の周波数変換を用いる符号化処理を実行して動画像符号を生 成する符号化処理手段と、
前記符号化処理手段により生成された動画像符号を前記クライアント装置へ送信す る手段と、
前記クライアント装置から通知された前記用途指定に応じて前記符号化処理手段の 符号化処理において動画像をＧＯＦ毎に分割するか否かを制御する制御手段と、
を有する、
ことを特徴とする画像処理システムである。

請求項２記載の発明は、請求項１記載の発明に係る画像処理システムであって、前記用途指定が動画像の編集を指定するものである場合に、前記サーバ装置において前記符号化処理手段によってＧＯＦ毎に分割した符号化処理が実行され、前記クライアント装置において前記処理手段によって、前記サーバ装置より受信された動画像符号に対し、前記入力手段により入力される編集指示に従ってＧＯＦ単位の編集処理が実行されることを特徴とする画像処理システムである。

請求項３記載の発明は、請求項１記載の発明に係る画像処理システムであって、前記用途指定が動画像の鑑賞を指定するものである場合に、前記サーバ装置において前記符号化処理手段によってＧＯＦ毎に分割しない符号化処理が実行され、前記クライアント装置において前記処理手段によって、前記サーバ装置より受信された動画像符号に対し動画像の通常表示のための復号処理が実行され、該復号処理により生成された動画像の通常表示のためのフレームデータが表示手段に表示されることを特徴とする画像処理システムである。

請求項４記載の発明は、請求項２記載の画像処理システムであって、前記用途指定が動画像の編集を指定するものである場合に、前記クライアント装置において前記処理手段により、前記編集処理に先だって、前記サーバ装置より受信された動画像符号に対し動画像のサムネイル表示のための部分復号処理が実行され、該部分復号処理により生成された動画像のサムネイル表示のためのフレームデータが表示手段に表示されることを特徴とする画像処理システムである。

請求項５記載の発明は、請求項２又は４記載の発明に係る画像処理システムであって、前記用途指定が動画像の編集を指定するものである場合に、前記クライアント装置において前記処理手段により、前記編集処理の後に編集後の動画像符号に対し動画像の通常表示のための復号処理が実行され、該復号処理における時間方向の逆周波数変換の際に、ＧＯＦ境界付近の高周波係数に対しＧＯＦ境界歪み抑制のための係数補正が施され、該復号処理により生成された動画像の通常表示のためのフレームデータが表示手段に表示されることを特徴とする画像処理システムである。

請求項６記載の発明は、請求項５記載の発明に係る画像処理システムであって、前記クライアント装置において、前記入力手段によりＧＯＦ境界歪み抑制を行う指定が入力された場合にのみ、前記ＧＯＦ境界歪み抑制のための係数補正が行われることを特徴とする画像処理システムである。

請求項７記載の発明は、請求項５記載の発明に係る画像処理システムであって、前記クライアント装置において、前記ＧＯＦ境界歪み抑制のための係数補正は、ＧＯＦに付けられたシーン番号が連続しないＧＯＦ間では行われないことを特徴とする画像処理システムである。

請求項８記載の発明は、請求項５記載の発明に係る画像処理システムであって、前記クライアント装置において、前記ＧＯＦ境界歪み抑制のための係数補正は、所定階層より上位階層の周波数係数については行われないことを特徴とする画像処理システムである。

請求項９記載の発明は、請求項５記載の発明に係る画像処理システムであって、前記クライアント装置において、前記ＧＯＦ境界歪み抑制のための係数補正は、量子化ステップ数が所定値以下の周波数係数については行われないことを特徴とする画像処理システムである。

請求項１０記載の発明は、伝送路を通じてクライアント装置と接続されるサーバ装置であって、
動画像に対し、連続した所定数フレーム（ＧＯＦ）毎に分割して又は分割せずに、時間方向を含む３次元の周波数変換を用いる符号化処理を実行して動画像符号を生成する符号化処理手段と、
前記符号化処理手段により生成された動画像符号を前記クライアント装置へ送信する手段と、
前記クライアント装置から通知された動画像に関する用途指定に応じて、前記符号化処理手段の符号化処理において動画像をＧＯＦ毎に分割するか否かを制御する制御手段と、を有することを特徴とするサーバ装置である。

請求項１１記載の発明は、請求項１０記載の発明に係るサーバ装置であって、前記用途指定が動画像の編集を指定するものである場合に、前記符号化処理手段によってＧＯＦ毎に分割した符号化処理が実行されることを特徴とするサーバ装置である。

請求項１２記載の発明は、請求項１０記載の発明に係るサーバ装置であって、前記用途指定が動画像の鑑賞を指定するものである場合に、前記符号化処理手段によってＧＯＦ毎に分割しない符号化処理が実行されることを特徴とするサーバ装置である。

請求項１３記載の発明は、伝送路を通じてサーバ装置と接続されるクライアント装置であって、
動画像に関する用途指定などを利用者が入力するための入力手段と、
前記入力手段により入力された用途指定を前記サーバ装置へ通知する手段と、
前記サーバ装置より前記用途指定に応じて選択されて送信される、動画像に対し連続した所定数フレーム（ＧＯＦ）毎に分割して時間方向を含む３次元の周波数変換を用いる符号化処理を実行することにより生成された動画像符号、又は、動画像に対しＧＯＦ毎に分割をしないで時間方向を含む３次元の周波数変換を用いる符号化処理を実行することにより生成された動画像符号のいずれかを受信する手段と、
前記サーバ装置より受信した動画像符号に対し、前記用途指定に対応した処理を行うための処理手段と、
を有することを特徴とするクライアント装置である。

請求項１４記載の発明は、請求項１３記載の発明に係るクライアント装置であって、前記用途指定が動画像の編集を指定するものである場合に、前記サーバ装置より受信された、ＧＯＦ毎に分割した符号化処理により生成された動画像符号に対し、前記処理手段によって、前記入力手段により入力される編集指示に従ったＧＯＦ単位の編集処理が実行されることを特徴とするクライアント装置装置である。

請求項１５記載の発明は、請求項１３と記載の発明に係るクライアント装置であって、前記用途指定が動画像の鑑賞を指定するものである場合に、前記サーバ装置より受信された、ＧＯＦに分割しない符号化処理により生成された動画像符号に対し、前記処理手段によって動画像の通常表示のための復号処理が実行され、該復号処理により生成された動画像の通常表示のためのフレームデータが表示手段に表示されることを特徴とするクライアント装置である。

請求項１６記載の発明は、請求項１４記載の発明に係るクライアント装置であって、前記用途指定が動画像の編集を指定するものである場合に、前記処理手段により、前記編集処理に先だって、前記サーバ装置より受信された動画像符号に対し動画像のサムネイル表示のための部分復号処理が実行され、該部分復号処理により生成された動画像のサムネイル表示のためのフレームデータが表示手段に表示されることを特徴とするクライアント装置である。

請求項１７記載の発明は、請求項１４又は１６記載の発明に係るクライアント装置であって、前記用途指定が動画像の編集を指定するものである場合に、前記処理手段により、前記編集処理の後に編集後の動画像符号に対し動画像の通常表示のための復号処理が実行され、該復号処理における時間方向の逆周波数変換の際に、ＧＯＦ境界付近の高周波係数に対し、ＧＯＦ境界歪み抑制のための係数補正が施され、該復号処理により生成される動画像の通常表示のためのフレームデータが表示手段に表示されることを特徴とするクライアント装置である。

請求項１８記載の発明は、請求項１７記載のクライアント装置であって、前記入力手段によりＧＯＦ境界歪み抑制を行う指定が入力された場合にのみ、前記ＧＯＦ境界歪み抑制のための係数補正が行われることを特徴とするクライアント装置である。

請求項１９記載の発明は、請求項１７記載のクライアント装置であって、前記ＧＯＦ境界歪み抑制のための係数補正はＧＯＦに付けられたシーン番号が連続しないＧＯＦ間では行われないことを特徴とするクライアント装置である。

請求項２０記載の発明は、請求項１７記載の発明に係るクライアント装置であって、前記ＧＯＦ境界歪み抑制のための係数補正は、所定階層より上位階層の周波数係数については行われないことを特徴とするクライアント装置である。

請求項２１記載の発明は、請求項１７記載の発明に係るクライアント装置であって、前記ＧＯＦ境界歪み抑制のための係数補正は、量子化ステップ数が所定値以下の周波数係数については行われないことを特徴とするクライアント装置である。

請求項２２記載の発明は、請求項１０，１１又は１２記載の発明に係るサーバ装置の各手段としてコンピュータを機能させるプログラムである。

請求項２３記載の発明は、請求項１３乃至２１のいずれか１項記載の発明に係るクライアント装置の各手段としてコンピュータを機能させるプログラムである。

請求項２４記載の発明は、請求項２２又は２３記載の発明に係るプログラムが記録されたコンピュータが読み取り可能な情報記録媒体である。

（１）請求項１記載の発明に係る画像処理システムによれば、クライアント装置側で、その利用者により入力された動画像に関する用途指定に適した、ＧＯＦ分割した符号化処理により生成された動画像符号又はＧＯＦ分割しない符号処理により生成された動画像符号をサーバ装置より受信し、用途指定に対応した処理を行うことができる。
（２）請求項２記載の発明に係る画像処理システムによれば、クライアント装置側で動画像の編集を行いたい場合には、符号状態でのＧＯＦ単位の編集が容易なＧＯＦ分割した動画像符号を受信し、その編集を容易に実行することができる。
（３）請求項３記載の発明に係る画像処理システムによれば、クライアント装置側で動画像の鑑賞を行いたい場合には、ＧＯＦ境界歪みがなく画質的に優れたＧＯＦ分割しない動画像符号を受信して復号し、高画質の動画像を表示することができる。
（４）請求項４記載の発明に係る画像処理システムによれば、クライアント装置側で編集に先立って動画像がサムネイル表示されるため、動画像の内容を確認しつつ編集を容易かつ的確に行うことができる。また、動画像符号はＧＯＦ分割されたものであるため、サムネイル表示のための部分復号はＧＯＦ単位で高速に行うことができる。
（５）請求項５記載の発明に係る画像処理システムによれば、クライアント装置側で、ＧＯＦ分割された動画像符号よりＧＯＦ境界歪みを抑制した動画像を復号し表示させることができる。
（６）請求項６記載の発明に係る画像処理システムによれば、クライアント装置の利用者の選択により、ＧＯＦ境界歪み抑制のための係数補正を行わせて歪みの抑制した動画像を表示させることも、ＧＯＦ境界歪み抑制のための係数補正を行わせず、その分だけ処理を高速化させることもできる。
（７）請求項７記載の発明に係る画像処理システムによれば、編集によって入れ替えられたＧＯＦなどにおける、ＧＯＦ境界歪み抑制のための係数補正による副作用を避けることができる。
（８）請求項８，９記載の発明に係る画像処理システムによれば、ＧＯＦ境界歪みの抑制効果を損なうことなく、ＧＯＦ境界歪み抑制のための係数補正に係る処理量を削減し、また係数補正による副作用を避けることができる。
（１０）請求項１０乃至２１記載の発明に係るサーバ装置及びクライアント装置を利用することにより、請求項１乃至９記載の発明に係る画像処理システムを容易に実現することができる。
（１１）請求項２２，２３記載の発明に係るプログラムをコンピュータにロードし、又は、請求項２４記載の発明に係る情報記録媒体に記録されたプログラムをコンピュータに読み取らせることにより、コンピュータを利用して請求項１０乃至２１記載の発明に係るサーバ装置又はクライアント装置を容易に実現することができる。

＜予備的説明＞
ＪＰＥＧ２０００により画像をタイル分割して符号化した符号を復号すると、符号化による圧縮率が高い場合にタイル境界歪みが目立つことがある。前記特許文献３記載のタイル境界歪み除去（デタイル）方法は、復号処理においてウェーブレット係数の状態でタイル境界歪みを除去しようとするものであり、そのメカニズムを理解すると、本発明におけるＧＯＦ境界歪み抑制方法の理解が容易になるであろう。

そこで、まず、ＪＰＥＧ２０００のウェーブレット変換・逆変換、タイル境界歪みの発生要因などとともに、上記タイル境界歪み除去方法の具体例について説明する。

上記タイル境界歪み除去方法は、ウェーブレット係数空間での画像復元に類する手法である。画像復元では、失われた情報を復元するために、ある経験的な拘束条件を採用し、その条件に基づいて復元すべき解を算出する。前記特許文献３の方法においては、
（近似１）タイル境界が生じるのは圧縮率が高い場合であり、タイリングの有無にかかわ らず全てのハイパス係数は０に量子化される。
（近似２）タイリングした場合のローパス係数は、タイリングしない場合のローパス係数 に等しい。
という近似を採用し、
｛(０に量子化されたが)補正されたハイパス係数を用いて逆ウェーブレット変換をした 場合のタイル境界の画素値｝＝｛ハイパス係数が０の場合の、タイリングをせずに逆 ウェーブレット変換をした場合の同じ位置の画素値｝
という式から、ハイパス係数の補正値を算出している（０に量子化されたハイパス係数に対し、０でない補正値を算出する過程は画像復元である）。

以下、ＪＰＥＧ２０００に規定されている５×３ウェーブレット変換を例にとり、上記補正式の算出について説明する。

図１乃至図４は、16×16のモノクロの画像に対して、５x３変換と呼ばれるウェーブレット変換（順変換）を２次元(垂直方向および水平方向)で施す過程の例を示したものである。

図１の様にｘｙ座標をとり、あるｘについて、ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。JPEG2000では、まず垂直方向（Y座標方向）について、ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのｘ座標について行う)。

ここで、ハイパスフィルタは式（１）で表され、ローパスフィルタは式（２）で表される。式中の記号|_ｘ_|はｘのフロア関数（実数ｘを、ｘを越えず、かつ、ｘに最も近い整数に置換する関数）を示している。
式（１） C(2i+1)=P(2i+1)−|_(P(2i)+P(2i+2))/2_|
式（２） C(2i)=P(2i)+|_(C(2i-1)+C(2i+1)+2)/4_|

なお、画像の端部においては、中心となる画素に対して隣接画素群が存在しないことがあり、この場合は図６に示した「ミラリング」と呼ばれる手法によって不足する画素値を補うことになる。ミラリングは、文字通り境界を中心として画素値を線対称に折り返し、折り返した値を隣接画素群の値とみなす処理である。

簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬ、と表記すれば、前記垂直方向の変換によって図１の画像は図２のような係数の配列へと変換される。

続いて、図２の係数配列に対し、水平方向について、ｘ座標が奇数（y=2i+1）の係数を中心にハイパスフィルタを施し、次にｘ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う）。この場合、前記式（１），（２）中のP(2i)等は係数値を表すものと読み替える。簡単のため、
前記L係数を中心にローパスフィルタを施して得られる係数をLL、
前記L係数を中心にハイパスフィルタを施して得られる係数をHL、
前記H係数を中心にローパスフィルタを施して得られる係数をLH、
前記H係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すれば、図２の係数配列は、図３の様な係数配列へと変換される。ここで、同一の記号を付した係数群はサブバンドと呼ばれる。すなわち、図３は４つのサブバンドで構成される。

以上で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了し、LL係数だけを集めると（図４の様にサブバンド毎に係数を集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に分類することをデインターリーブと呼び、図３のような状態に配置することをインターリーブと呼ぶ）。

また、２回目のウェーブレット変換は、上記LLサブバンドを原画像と見なして、上記と同様の変換を行えばよい。この場合、デインターリーブすると模式的な図５が得られる。図４及び図５の係数の接頭の１や２は、その係数が何回のウェーブレット変換で得られたかを示しており、これはデコンポジションレベルと呼ばれる。なお、以上の議論において、１次元のみのウェーブレット変換をしたい場合には、いずれかの方向だけの処理を行えばよい。

一方、逆ウェーブレット変換は、図３の様なインターリーブされた係数の配列に対し、まず水平方向について、ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次に、ｘ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す(これを全てのｙについて行う)。ここで、逆ローパスフィルタは式（３）で表され、逆ハイパスフィルタは式（４）で表される。順変換の場合と同様に、画像の端部において中心となる係数に対して隣接係数群が存在しないことがあり、この場合も図６のミラリングによって係数値を適宜補うことになる。
式（３） P(2i)＝C(2i)−|_(C(2i-1)+C(2i+1)+2)/4_|
式（４） P(2i+1)＝C(2i+1)＋|_(P(2i)+P(2i+2))/2_|

これにより、図３の係数配列は図２のような係数配列に変換（逆変換）される。続いて、垂直方向について、ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次に、ｙ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば(これを全てのｘについて行う)、１回の逆ウェーブレット変換が終了し、図１の画像に戻る(再構成される)ことになる。順ウェーブレット変換が複数回施されている場合は、図１をLLサブバンドとみなし、HL等の他の係数を利用して同様の逆変換を繰り返せばよい。

以上のように、５x３の逆ウェーブレット変換ではL,H,L,Hの順にインターリーブした係数列に対し、偶数位置中心に逆ローパスフィルタをかけ、奇数位置中心に逆ハイパスフィルタをかける。

さて、前記フィルタの式（１）〜（４）をフロア関数を省略して展開すれば明らかなように、順変換と逆変換ではタップ数は逆転し、フィルタ係数もインターリーブされる。

このため、順変換のフィルタ係数が
ハイパス（HIGH）： -0.5，1，-0.5
ローパス（LOW）： -0.125，0.25，0.75，0.25，-0.125
の場合、逆変換のフィルタ係数は
逆ローパス（LOW）： -0.25，1，-0.25
逆ハイパス（HIGH）： -0.125，0.5，0.75，0.5，-0.125
となる（ここでは、フロア関数部分を考慮せずにフィルタ係数を表現している）。

「タイリングをしない場合で、かつハイパス係数が全て０のとき（近似１）」、インターリーブされた係数列
L1 H1 L2 H2 L3 H3
において、H2位置を中心に逆ハイパスフィルタをかけた値は、
-0.125H1＋0.5L2＋0.75H2＋0.5L3−0.125H3＝0.5L2＋0.5L3 ‥‥(i)
となる。

一方、上記係数が、２つのタイルに分割されてから算出されたもので、H2位置がタイル境界であるとする。この場合、L1，H1，L2，H2は左側のタイルの係数、L3，H3は右側のタイルの係数になる。ここで、H2は、順変換（３タップのハイパスフィルタ）時にミラリングの影響を受けており、補正の対象となる係数である。タイリングは、各タイル内の画素だけを用いてウェーブレット変換を行う処理、あるいは、各タイル内の係数だけを用いて逆ウェーブレット変換を行う処理であるため、ミラリングによって左タイルの係数
L1 H1 L2 H2
を右側に補った場合
L1 H1 L2 H2 L2 H1
となる。

よって、H2位置を中心に逆ハイパスフィルタをかけた値は、
-0.125H1＋0.5L2＋0.75H2＋0.5L2−0.125H1＝-0.25H1＋L2＋0.75H2‥‥(ii)
となる。

デタイルのためには、(i)＝(ii)を狙うため、
式（iii） H2＝1/3H1−2/3L2＋2/3L3
を得る。これが、タイル境界に隣接し、順変換時にミラリングの影響を受けたハイパス係数に対する「補正式」である。ただし、この補正値の算出時には、タイリングした係数しか存在しないため、L2は左タイルの係数、L3は右タイルの係数を使用する（近似２）。

タイル境界に隣接するローパス係数（L3）に関しても同様な立式が可能であり、その結果、H３の補正式として
式（iv） H3＝０
を得ることができる。ただし、デコンポジションレベル１の場合は、H3はミラリングの誤差を含まないため補正しない（デコンポジションレベル２以上の場合は、H3に隣接するL3自体が、デコンポジションレベル１でミラリングの影響を受けているため補正する）。

ＪＰＥＧ２０００に規定された非可逆の９×７ウェーブレット変換の場合についても、上記と同様な考え方で補正式を導出できる。すなわち、インターリーブされた係数列
H0 L1 H1 L2 H2 L3 H3 L4 H4
において、H2とL3の間がタイル境界である場合、次の補正式が得られる。
式（ｖ） H2=(-0.0535H0+0.15644H1+0.09127L1-0.59127L2
+0.59127L3-0.09127L4)/0.60295
式（iv） H3=(0.05754L2-0.05754L4+0.03372H4)/0.53372
ただし、９×７変換の場合、デコンポジションレベル１の場合も補正してよい。

次に、４タイル分割、デコンポジションレベル２のＪＰＥＧ２０００の符号の復号処理を例に、上に述べたデタイル処理の流れを具体的に説明する。図７乃至図１４は、デタイル処理の説明のための係数配列図である。なお、復号処理は、符号のエントロピー復号、復号された各サブバンド係数の逆量子化、２次元の逆ウェーブレット変換、逆色空間変換の順に処理が進むが、その２次元逆ウェーブレット変換の過程でデタイル処理が実行される。

図７は逆量子化後の４タイル分の係数配列を示しており、デコンポジションレベル２の係数２LL〜２HHはインターリーブされている。５ｘ３変換が用いられている場合、図８に示した列Ａの係数(H2対応）が式（iii）で補正され、列Ｂの係数（H3対応）が式（iv）で補正される。９ｘ７変換の場合は、列Ａの係数が式（v）で補正され、列Ｂの係数が式（vi）で補正される。このような補正後の係数に対し、水平方向の逆ウェーブレット変換が行われる（ＪＰＥＧ２０００では、順ウェーブレット変換は垂直方向、水平方向の順に行われるため、逆ウェーブレット変換は水平方向、垂直方向の順に行われる）。この水平方向の逆変換後の係数配列を図９に示す。

次に、デコンポジションレベル２の係数のうち、図１０に示す行Ｃの係数（H2対応）と行Ｄの係数（H3対応）を補正する。５ｘ３変換の場合、行Ｃの係数は式（iii）で補正され、行Ｄの係数は式（iv）で補正される。９ｘ７変換の場合、行Ｃの係数は式（v）で補正され、行Ｄの係数は式（vi）で補正される。このような補正後の係数に対し、垂直方向の逆ウェーブレット変換が行われ、図１１の様なデコンポジションレベル１の係数がデインターリーブされた状態になる。係数をインターリーブすると図１２のようになる。

図１２に示すデコンポジションレベル１の係数のうち、５ｘ３変換の場合は、図１３に示す列Ｅの係数を式（iii）で補正する。先に述べたように５×３変換の場合、デコンポジションレベル１では、列Ｆの係数はミラリングの誤差を含まないため補正不要である。。一方、９ｘ７変換の場合、列Ｅの係数が式（v）で補正され、列Ｆの係数が式（vi）で補正される。このような補正後に水平方向の逆ウェーブレット変換が行われ、図１４の状態になる。そして、５ｘ３変換の場合、図１４の行Ｇの係数が式（iii）で補正される。９ｘ７変換の場合、行Ｇの係数が式（v）で補正され、行Ｈの係数が式（vi）で補正される。補正後の係数に対し垂直方向の逆ウェーブレット変換が行われる。これでデタイル処理と２次元逆ウェーブレット変換処理が終了した。

＜本発明の実施の形態の説明＞
以下、本発明の実施の形態について説明する。図１５は、本発明の実施の形態を説明するためのブロック図である。図１５に示す画像処理システム１００は、クライアント装置１０１とサーバ装置１０２をＬＡＮ、イントラネット、インターネットなどのネットワークの伝送路１０３を介して接続した構成である。

クライアント装置１０１は送受信部１１１、復号処理部１１２、編集処理部１１３、記憶部１１４、利用者操作部１１５、表示部１１６及び制御部１１７から構成される。

利用者操作部１１５は、動画像に関する用途指定、ＧＯＦ境界歪み抑制を行うか否かの指定、編集処理部１１３に対する編集指示などを利用者が入力するための手段である。指定可能な用途として「鑑賞」と「編集」がある。後述のように、これ以外の用途も指定できるようにしてもよいが、ここではこの２つの用途のみを指定できるものとする。

記憶部１１４は、利用者操作部１１５を通じて利用者により入力された用途指定情報１１８やＧＯＦ境界歪み抑制指定情報１１９、サーバ装置１０２より受信した動画像符号、動画像符号を復号したフレームデータなどのための記憶域や、編集処理部１１３や復号処理部１１２などの作業用記憶域などを提供する手段である。送受信部１１１は伝送路１０３を介しサーバ装置１０２との間で各種情報や動画像符号の送受信を行うための手段である。復号処理部１１２は、サーバ装置１０２より受信した動画像符号や編集処理部１１３により編集後の動画像符号の復号処理を行う手段である。

表示部１１６は、復号処理部１１２により復号された画像データなどを画面表示するための手段である。好ましい態様としては、表示部１１６の画面表示を利用したグラフィカル・ユーザ・インターフェース（ＧＵＩ）を提供し、このＧＵＩを利用して対話的に利用者操作部１１５により各種の指定や指示の入力を行うように構成される。制御部１１７は各部の動作制御や上記ＧＵＩの制御などを行う手段である。

なお、復号処理部１１２と編集処理部１１３は、制御部１１７及び記憶部１１４とともに、動画像符号に対し用途指定に応じた処理を行うための処理手段を構成している。

サーバ装置１０２は送受信部１３１、符号化処理部１３２、画像入力部１３３、記憶部１３４及び制御部１３５から構成される。送受信部１３１は伝送路１０３を介しクライアント装置１０１との間で各種情報や動画像の符号の送受信を行うための手段である。画像入力部１３３は動画像の画像データ（フレームデータ）を例えば不図示のＣＣＤカメラや記憶媒体などから取り込む手段である。符号化処理部１３２は動画像のフレームデータの符号化処理を行うための手段である。記憶部１３４は、画像入力部１３３により入力された動画像のフレームデータ、符号化処理部１３２により符号化された動画像符号、送受信部１３１によりクライアント装置１３１から受信された用途指定情報１３６などの記憶域、符号化処理部１３２の作業域などを提供する手段である。制御部１３５は各部の動作制御などを行う手段である。

図１６及び図１８はクライアント装置１０１の動作を説明するためのフローチャートであり、また図１７はサーバ装置１０２の動作を説明するためのフローチャートである。

まず図１６を参照する。クライアント装置１０１において、利用者は利用者操作部１１５により、動画像に関する用途指定を入力する（ｓｔｅｐ１０１）。入力された用途指定の情報１１８は制御部１７の制御により記憶部１１４の所定の記憶域に書き込まれる（ｓｔｅｐ１０２）。利用者により入力された用途指定が「編集」の場合、利用者はＧＯＦ境界歪み抑制を行わせるか否かの指定を入力する（ｓｔｅｐ１０３）。このＧＯＦ境界歪み抑制指定の情報１１９は、制御部１１７の制御により記憶部１１４の所定の記憶域に書き込まれる（ｓｔｅｐ１０４）。最後に、制御部１１７の制御により、記憶部１１４に書き込まれた用途指定情報１１８を含むメッセージが作成され、これが送受信部１１１を通じてサーバ装置１０２へ送信される（ｓｔｅｐ１０５）。このメッセージはサーバ装置１０２の送受信部１３１によって受信され、当該メッセージ中の用途指定情報１３６（用途指定情報１１８と同内容）が制御部１３５の制御により記憶部１３４の所定の記憶域に書き込まれる。

次に図１７を参照し、サーバ装置１０２の符号生成・送信動作を説明する。まず画像入力部１３３によって動画像のフレームデータが入力され、記憶部１３４に記憶される（ｓｔｅｐ１１１）。制御部１３５は、用途指定情報１３６を参照し、クライアント装置側で指定された動画像の用途が何であるかを判定する（ｓｔｅｐ１１２）。ここでは指定される用途は「編集」又は「鑑賞」のいずれかであるとして説明する。

用途指定が「編集」であるならば、制御部１３５により符号処理部１３２に対しＧＯＦ毎に分割した符号化処理を実行するように指示され（ｓｔｅｐ１１３）、符号化処理部１３２において記憶部１３４に蓄積されている動画像のフレームデータに対しＧＯＦ毎に分割した符号化処理が実行される（ｓｔｅｐ１１４）。この符号化処理においては、フレームデータに対し３次元の周波数変換（ここではウェーブレット変換が用いられる）が施されるが、その奥行き方向が時間方向である。そして、ＧＯＦ分割を行う符号化処理においては、図１９に模式的に示すように、動画像のフレーム系列を連続した所定数フレーム（ここでは８フレーム）のＧＯＦに分割し、ＧＯＦ毎に時間方向のウェーブレット変換（順変換）が施される。ＧＯＦには、図１９に示すように０，１，．．．というように連続した番号（シーン番号）が付けられる。

このようなＧＯＦ毎に分割した符号化処理により生成される符号のフォーマットの一例を図２１に示す。すなわち、コードストリームの開始タグ（ＳＯＣ）１５０の後に符号全体のタグ情報であるメインヘッダ（ＭＨ）１５１が続き、その後に各ＧＯＦパート１５２がシーン順に並び、終了タグ（ＥＯＣ）１５２で終わる。各ＧＯＦパート１５２は、該ＧＯＦに関するタグ情報であるＧＯＦヘッダ１５５と、ＧＯＦの符号１５６からなる。シーン番号はＧＯＦヘッダ１５５に記述される。

一方、指定用途が「鑑賞」であるならば、制御部１３５により符号処理部１３２に対しＧＯＦ毎に分割しない符号化処理が指示され（ｓｔｅｐ１１５）、符号化処理部１３２において記憶部１３４に蓄積されている動画像のフレームデータに対しＧＯＦ毎に分割しない符号化処理が実行される（ｓｔｅｐ１１６）。この符号化処理においてもフレームデータに対し３次元の周波数変換（ここではウェーブレット変換が用いられる）が施され、その奥行き方向が時間方向である。ただし、図１９に模式的に示すように、フレーム系列はＧＯＦに分割されることなく、時間方向のウェーブレット変換（順変換）が施される。

なお、符号化処理における３次元ウェーブレット変換は、最初に時間方向のウェーブレット変換を行ってからフレーム内２次元ウェーブレット変換を行う形態と、フレーム内２次元ウェーブレット変換を行ってから時間方向のウェーブレット変換を行う形態とがある。前者の形態は後述の「実施例１」で採用され、後者の形態は後述の「実施例２」で採用される。

符号化処理部１３２により生成された符号は記憶部１３４に一旦記憶された後、制御部１３５の制御により送受信部１３１を介してクライアント装置１０１へ送信される（ｓｔｅｐ１１７）。

次に図１８を参照し、クライアント装置１０１において動画像符号を受信した場合の動作を説明する。サーバ装置１０２より送信された動画像符号は送受信部１１１によって受信され、記憶部１１４に記憶される（ｓｔｅｐ１２１）。制御部１１７によって記憶部１１４上の用途指定情報１１８が参照され、用途指定が「編集」であるか「鑑賞」であるかが判定される（ｓｔｅｐ１２２）。

用途指定が「鑑賞」の場合、制御部１１７からの指示に従って、復号処理部１１２において、受信された動画像符号は編集されることなく、その全体（全階層）について動画像の通常表示のための復号処理が実行され、動画像のフレームデータが記憶装置１１４上に生成される（ｓｔｅｐ１２３）。用途指定が「鑑賞」の場合に受信される動画像符号は、ＧＯＦ分割することなく符号化されたものでありＧＯＦ境界歪みは生じていないため、この復号処理においてはＧＯＦ境界歪み抑制のための係数補正は施されない。生成されたフレームデータはフレーム順に表示部１１６によって表示され（ｓｔｅｐ１３０）、利用者は高画質の動画像を鑑賞することができる。

一方、用途指定が「編集」の場合、受信された動画像符号はＧＯＦ分割して符号化されたものであり、符号構造もＧＯＦ単位に分割された形となっている（図２１参照）。このような動画像符号は、符号状態のままで、ＧＯＦ単位の編集を容易に行うことができる。また、時間方向の周波数変換（ここではウェーブレット変換）はＧＯＦ単位で施されているため、復号処理もＧＯＦ単位で容易に行うことができる。ただし、ＧＯＦ境界歪みが生じるため、画質はＧＯＦ分割を行わない符号に比べ劣る場合が多い。

さて、用途指定が「編集」の場合、制御部１１７によって復号処理部１２４に対しサムネイル表示のための部分復号処理が指示され、復号処理部１２４において、サムネイル表示に必要な各ＧＯＦ符号の上位階層部分のみ復号する部分復号処理が実行される（ｓｔｅｐ１２４）。この部分復号処理では、例えば、エントロピー復号と逆量子化は全階層について行われれるが、フレーム内２次元逆ウェーブレット変換は最上位階層についてのみ行われ、生成された係数に対し時間方向ウェーブレット変換は最終階層まで行われ、次に逆色変換が行われることによってサムネイル表示のためのフレームデータが生成される。ただし、この時間方向逆ウェーブレット変換の際にはＧＯＦ境界歪み抑制のための係数補正は行われない。

このような部分復号処理によって、符号全体を復号した場合に比べ小サイズの（低解像度の）サムネイル表示のためのフレームデータが記憶装置１１４上に生成され、これが表示部１１６に表示される（ｓｔｅｐ１２５）。

部分復号処理が全ＧＯＦについて終わった時点で（又は先頭から所定数以上のＧＯＦについて終わった時点で、あるいは利用者操作部１１５によって編集開始の指示が入力された時に）、制御部１１７により編集処理部１１３が起動され、利用者は表示部１１６に表示されている動画像のサムネイル画像を見ながら、利用者操作部１１５から編集指示を入力することにより、編集処理部１１３において動画像符号のＧＯＦ単位での編集処理を実行させることができる（ｓｔｅｐ１２６）。このように、利用者操作部１１５は、用途指定やＧＯＦ境界歪み抑制指定を入力するための手段であるとともに、編集指示などを入力するための手段である。

この編集処理においては、図２２に模式的に示すように、例えばＧＯＦ１の符号とＧＯＦ５の符号を入れ替えるような操作（ＧＯＦ入れ替え）や、図２３に模式的に示すように、例えばＧＯＦ１の符号を削除し、その前後のＧＯＦ０とＧＯＦ２の符号を連結する編集操作（ＧＯＦ削除、ＧＯＦ連結）、図示しないが、あるＧＯＦの符号のコピーを任意のＧＯＦの符号の前又は後に追加する操作（ＧＯＦ複写挿入）などが可能である。なお、ＧＯＦヘッダに記述されているシーン番号は編集によっては変化しない。したがって、例えば図２２に見られるようなＧＯＦの入れ替えや図２３に見られるようなＧＯＦが削除された箇所については、ＧＯＦとシーン番号が連続しなくなる。このようなシーン番号が連続しないＧＯＦ間については、後述のようにＧＯＦ境界歪み抑制のための係数補正は行われない。

上記のような編集処理の終了指示が利用者操作部１１５より入力されると、制御部１１７はＧＯＦ境界歪み抑制指定情報１１９を参照し、歪み抑制を行うように指定されているか又は歪み抑制を行わないように指定されているかを判定する（ｓｔｅｐ１２７）。

ＧＯＦ境界歪み抑制を行わない指定の場合（ｓｔｅｐ１２７，ＯＦＦ）、制御部１１７からの指示に従って、復号処理部１１２において記憶部１１４に記憶されている編集後の動画像符号について通常サイズ（解像度）で動画像を表示（通常表示）するための復号処理が実行されるが、この復号処理にはＧＯＦ境界歪み抑制のための係数補正処理は含まれない（ｓｔｅｐ１２９）。一方、ＧＯＦ境界歪み抑制を行う指定の場合（ｓｔｅｐ１２７，ＯＮ）、制御部１１７からの指示に従って、復号処理部１１２において編集後の動画像符号について通常表示のための復号処理が実行されるが、この復号処理にはＧＯＦ境界歪み抑制のための係数補正処理が含まれる（ｓｔｅｐ１２８）。部分復号処理（ｓｔｅｐ１２４）でエントロピー復号と逆量子化が全階層について行われている場合には、当該復号処理の内容は３次元逆ウェーブレット変換（及び係数補正）と逆色変換のみである。

なお、ｓｔｅｐ１２８又はｓｔｅｐ１２９の復号処理において、ｓｔｅｐ１２４で復号済みの上位階層部分をも処理の対象とする態様をとることも、ｓｔｅｐ１２４で復号されなかった下位階層部分のみを処理の対象とし、その結果と部分復号処理の結果から最終的なフレームデータを生成する態様をとることもできる。後者の態様が処理効率の面では一般に有利であるが、動画像の符号の構造によっては後者の態様をとることが困難なことがある。

このようにして編集後の動画像の通常表示のためのフレームデータが記憶部１１４上に生成され、これが表示部１１６に動画像として表示される（ｓｔｅｐ１３０）。ただし、ｓｔｅｐ１２６の段階で利用者操作部１１５より指示することにより、編集後の符号を記憶部１１４に保存させるのみで、その復号・表示を行わずせず一連の処理を終了させることもできる。

さて、符号化処理部１３２は、例えばＪＰＥＧ２０００のアルゴリズムに準拠してフレームデータを符号化するものであり、図２４に示すように色変換部２０１、３次元ウェーブレット変換部２０２、量子化部２０４、エントロピー符号化部２０５、符号形成・タグ処理部２０６６から構成される。

符号化処理動作の概略は次の通りである。動画像のフレームデータは色変換部２０１に入力され、フレームデータ（例えばＲＧＢデータ）はＹＣｂＣｒなどの輝度・色差データに変換される。変換後の各コンポーネントのデータは、３次元ウェーブレット変換部２０２によって、時間方向（フレーム並び方向）を含む３次元のウェーブレット変換（順変換）を適用されてウェーブレット係数データへ変換される。この３次元ウェーブレット変換は、ＧＯＦ単位で行うことも、ＧＯＦ分割をしないで行うことも可能である。各コンポーネントのウェーブレット係数データは量子化部２０３でサブバンド毎に量子化された後、エントロピー符号化部２０５でエントロピー符号化される。符号形成・タグ処理部２０６において、必要なエントロピー符号からパケットが生成され、それが所定の順番に並べられるとともに必要なタグやタグ情報を付加されることにより符号が形成され、外部に出力される。

また、復号処理部１１２はＪＰＥＧ２０００のアルゴリズムに準拠して動画像符号を復号するものであり、図３０に示すようにタグ処理部２２１、エントロピー復号部２２２、逆量子化部２２３、３次元逆ウェーブレット変換部２２４、逆色変換部２２５からなり、３次元逆ウェーブレット変換部２２４にＧＯＦ境界歪み抑制のための係数補正を行う係数補正手段２２６を含む構成である。

伸長処理動作の概略は次の通りである。動画像符号はタグ処理部２２１に入力され、コンポーネント毎の符号に分離される。各コンポーネントの符号はエントロピー復号部２２２によりエントロピー復号化され、ウェーブレット係数データに戻される。このウェーブレット係数データは逆量子化部２２３で逆量子化されてから３次元逆ウェーブレット変換２２４に入力され、時間方向を含む３次元の逆ウェーブレット変換を適用される。この時間方向の逆ウェーブレット変換の過程で、係数補正手段２２６によってＧＯＦ境界歪み抑制のための係数補正を行うことができる。３次元逆ウェーブレット変換により生成された各コンポーネントの画像データは、逆色変換部２２５により元の表色系のフレームデータに戻されて外部へ出力される。

以下、符号化処理、復号処理とＧＯＦ境界歪み抑制のための係数補正処理などについて、より具体的に説明する。

本実施例においては、符号化処理部１３２の３次元ウェーブレット変換部２０２において、最初に時間方向の順ウェーブレット変換が行われ、次にフレーム内２次元順ウェーブレット変換が行われる。したがって、３次元ウェーブレット変換部２０２の機能的構成は図２５のように表すことができる。図２５において、２１１は時間方向順ウェーブレット変換手段であり、２１２はフレーム内２次元順ウェーブレット変換手段である。

図２６は時間方向順ウェーブレット変換手段２１１による処理のフローチャートである。ここでは、この処理をＧＯＦ分割を行う場合を例にして説明する。図２７はその説明のための模式図である。

時間方向順ウェーブレット変換手段２１１によって、ＧＯＦ内の先頭フレームから最終フレームまでの全フレームの各対応位置の画素値列に対し一次元の順ウェーブレット変換が実行される（ｓｔｅｐ１４１）。これにより画素値列は１Ｌ係数と１Ｈ係数に分解される。次に、階層（デコンポジションレベル）を１つ上げて（ｓｔｅｐ１４３）、１Ｌ係数列に対し同様の順ウェーブレット変換が実行される（ｓｔｅｐ１４１）。これにより１Ｌ係数列は２Ｌ係数と２Ｈ係数に分解される。このような順ウェーブレット変換が最終階層まで実行されると（ｓｔｅｐ１４２，Ｙｅｓ）、時間方向の順ウェーブレット変換処理が終了する。なお、ＧＯＦ分割を行わない場合は、動画像の先頭フレームから最終フレームまでのフレームに対し同様の時間方向の順ウェーブレット変換処理が実行される。

以上の時間方向順ウェーブレット変換処理について、図２８によりさらに説明する。図２７に示す時刻ｔ０〜ｔ７の８フレームｆ０〜ｆ７の同じ位置の画素値がメモリ上に図２８（ａ）に示すようなマッピングで記憶されているとする。この画素値列は、１回目の順ウェーブレット変換によって１Ｌ，１Ｈ係数に分解され、それら係数は図２８（ｂ）に示すようなマッピングで記憶される。２回目の順ウェーブレット変換により、１Ｌ係数は２Ｌ，２Ｈ係数に分解され、それら係数は図２８（ｃ）に示すようなマッピングで記憶される。

なお、次に説明するフレーム内２次元ウェーブレット変換では、図２８（ｃ）のｆ０対応位置にマッピングされた２Ｌ係数群が先頭のフレームのデータとして、ｆ１対応位置にマッピングされた１Ｈ係数群が次のフレームのデータとして、同様に、ｆ７対応位置にマッピングされた１Ｈ係数群が最終フレームのデータとして、それぞれ扱われる。

図２９はフレーム内２次元順ウェーブレット変換手段２１２による処理のフローチャートである。ここではＧＯＦ分割される場合を想定して、フレーム内２次元順ウェーブレット変換処理について説明する。

ＧＯＦの先頭フレームのデータ（係数）に対しまず垂直方向の順ウェーブレット変換が実行され（ｓｔｅｐ１５１）、次に水平方向の順ウェーブレット変換が実行される（ｓｔｅｐ１５２）。階層（デコンポジションレベル）を１つ上げ（ｓｔｅｐ１５４）、直前の変換によるＬＬ係数に対し垂直方向と水平方向の順ウェーブレット変換が実行される（ｓｔｅｐ１５１，１５２）。同様の変換が最終階層まで終わると（ｓｔｅｐ１５３，Ｙｅｓ）、次のフレームを処理対象に選び（ｓｔｅｐ１５６）、そのフレームのデータ（係数）に対し同様の２次元順ウェーブレット変換が実行される。ＧＯＦ内の最終フレームまで同様の変換が繰り返されると（ｓｔｅｐ１５５，Ｙｅｓ）、当該ＧＯＦに対する３次元順ウェーブレット変換処理が終了する。他のＧＯＦについても同様の２次元ウェーブレット変換が行われる。なお、ＧＯＦ分割が行われない場合には、先頭フレームから最終フレームまで同様の変換が実行される。

本実施例においては、復号処理部１１２の３次元逆ウェーブレット変換部２２４で、エントロピー復号され、逆量子化された後の係数データに対し、まずフレーム内２次元逆ウェーブレット変換が適用され、次に時間方向逆ウェーブレット変換が適用されるため、その機能的構成は図３１のように表すことができる。図３１において、２３１はフレーム内２次元逆ウェーブレット変換手段であり、２３２は時間方向逆ウェーブレット変換手段である。２２５はＧＯＦ境界歪み抑制のための前記係数補正手段である。

図３２はフレーム内２次元逆ウェーブレット変換手段２３１による処理のフローチャートである。ここでは、対象とする符号がＧＯＦ分割されて符号化されたものであるとして処理を説明する。

ＧＯＦ内の先頭フレームの係数データに対し、水平方向逆ウェーブレット変換と垂直方向逆ウェーブレット変換が順に実行される（ｓｔｅｐ１６１，１６２）。符号化時のフレーム内順ウェーブレット変換が２階層以上で実行された符号を対象とする場合には、階層（デコンポジションレベル）を１つ下げ（ｓｔｅｐ１６４）、水平方向及び垂直方向の逆ウェーブレット変換が順次実行される（ｓｔｅｐ１６１，１６２）。最終階層まで水平方向及び垂直方向の逆ウェーブレット変換が実行されると（ｓｔｅｐ１６３，Ｙｅｓ）、次のフレームが処理対象に選ばれ（ｓｔｅｐ１６６）、このフレームについての水平方向及び垂直方向の逆ウェーブレット変換が最終階層まで実行される。ＧＯＦの各フレームに対し同様の処理が繰り返され、ＧＯＦの最終フレームまで処理が終わると（ｓｔｅｐ１６５，Ｙｅｓ）、１つのＧＯＦに対するフレーム内２次元逆ウェーブレット変換処理を終了する。

なお、図１８のｓｔｅｐ１２４の部分復号処理では、ｓｔｅｐ１６３で例えば最上位階層のフレーム内２次元逆ウェーブレット変換が済んだと判定したならばｓｔｅｐ１６５に進む制御の流れとなる。また、図１８のｓｔｅｐ１２８又は１２９の復号処理において、ｓｔｅｐ１２４の部分復号処理によるフレーム内２次元逆ウェーブレット変換の結果を利用する態様をとる場合には、部分復号処理で処理された階層の次の階層からｓｔｅｐ１６１，１６２の処理が開始される。

次に、係数補正手段２２５及び時間方向逆ウェーブレット変換手段２３２による処理について、図３３のフローチャートを参照して説明する。ここでは編集後の符号の復号処理を想定しており、図３３中のｓｔｅｐ１７２〜ｓｔｅｐ１７６は図１８中のｓｔｅｐ１２８又はｓｔｅｐ１２９におけるフレーム内２次元逆ウェーブレット変換処理の後の処理ステップに相当する。また、説明の便宜のため、図１８のｓｔｅｐ１２７に対応する判定ステップが図３３中にｓｔｅｐ１７１として示されている。また、図３３のフローチャートは全階層を処理対象とする場合を想定している。

なお、図１８中のｓｔｅｐ１２３におけるフレーム内２次元逆ウェーブレット変換処理後の処理フローは、図３３中のｓｔｅｐ１７１〜１７４を省いたものとなる。

ＧＯＦ境界歪み抑制を行う指定がされている場合（ｓｔｅｐ１７１，ＯＮ）、図１８中のｓｔｅｐ１２８に相当した処理内容となる。ここでは、図３４（ａ）に示されるように時間方向に２階層の順ウェーブレット変換がなされた符号を想定し、シーン番号が連続した図示の２つのＧＯＦを例に処理内容を説明する。

時間方向のデコンポジションレベル２の係数２Ｌ，２Ｈがインターリーブされて（図３４（ｂ）に示すように２Ｌ，２Ｈ，２Ｌ，２Ｈ，．．．の順に配置しなおされる）係数補正手段２２５に入力され、図３４（ｂ）に点線で示すＧＯＦ境界に隣接したハイパス係数(f62H(t6)）とＧＯＦ境界に隣接しない境界近傍のハイパス係数（f102H(t10)）が係数補正手段２２５によって補正される（ｓｔｅｐ１７３，１７４）。

ウェーブレット変換として５×３変換が用いられている場合の各ハイパス係数の補正式を図３６に示す。

ウェーブレット変換として９×７変換が用いられている場合の補正式は
f62H(t6)=(-0.0535xf22H(t2)+0.15644xf22H(t2)+0.09127xf02L(t0)
-0.59127xf42L(t4)+0.591272xf82L(t8)-0.09127xf102L(t10))/0.60295
f102H(t10)=(0.05754xf42L(t4)-0.05754xf82L(t8)+0.03372xf142H(t14))/0.53372
となる。

このような係数補正後のデコンポジションレベル２のウェーブレット係数に対し、時間方向逆ウェーブレット変換手段により時間方向の逆ウェーブレット変換が行われ（ｓｔｅｐ１７５）、図３４（ｃ）に示すようなデコンポジションレベル１の係数１Ｌが生成される。

階層（デコンポジションレベルがさげられ（ｓｔｅｐ１７７）、時間方向のデコンポジションレベル１のウェーブレット係数に対する係数補正（ｓｔｅｐ１７３，１７４）と逆ウェーブレット変換（ｓｔｅｐ１７５）が行われる。図３５はその説明のための図である。図３５（ｂ）に示すようにインターリーブされたデコンポジションレベル１の係数１Ｌ，１Ｈに対し、ＧＯＦ境界に隣接したハイパス係数（ｆ７１Ｈ(t7)）と、ＧＯＦ境界近傍の境界に隣接しないハイパス係数（ｆ９１Ｈ(t9)）が係数補正手段２２５により補正される。その係数補正式は図３７に示す通りである。５×３変換の場合、デコンポジションレベル１のＧＯＦ境界に隣接しないハイパス係数（ｆ９１Ｈ(t9)）はミラリングの影響を受けていないので補正しない。

ただし、９×７変換ではＧＯＦ境界に隣接しないハイパス係数（ｆ９１Ｈ(t9)）もミラリングの影響を受けているので補正する。９×７変換の場合の補正式は
f71H(t7)=(-0.0535xf31H(t3)+0.15644xf51H(t5)+0.09127xf41L(t4)
-0.59127xf61L(t6)+0.591272xf91L(t9)-0.09127xf111L(t11))/0.60295
f91H(t9)=(0.05754xf61L(t6)-0.05754xf81L(t8)+0.03372xf111H(t11))/0.53372
となる。

この例では、この段階で最終階層まで処理が済んだため（ｓｔｅｐ１７６，Ｙｅｓ）、処理は終了する。

なお、隣り合ったＧＯＦのシーン番号が連続しない場合、例えば、図２２に示した編集後のＧＯＦ０，ＧＯＦ５や、図２３に示した編集後のＧＯＦ０，ＧＯＦ２のような場合、ｓｔｅｐ１７２の判定結果はＮｏとなるので、係数補正のｓｔｅｐ１７３，１７４はスキップされる。このようなシーン番号が連続しないＧＯＦは、符号化時には隣接しなかったＧＯＦであるから、上に述べた係数補正を行っても歪み抑制効果は期待できず、むしろ副作用が心配されるため係数補正を行わないように制御されるである。

ＧＯＦ境界歪み抑制を行わない指定（ｓｔｅｐ１７１，ＯＦＦ）がされている場合、ｓｔｅｐ１７２，１７３，１７４はスキップされ、図１８中のｓｔｅｐ１２９に相当する処理内容となる。

本実施例の第１の変形例によれば、図３８に示すように、ｓｔｅｐ１７３，１７４により補正されたハイパス係数に対するクリッピング処理（ｓｔｅｐ１８１，１８２）が追加される。このクリッピング処理は係数補正手段２２５で行われる。

図４０はクリッピング処理の説明図である。このクリッピング処理では、ＧＯＦ境界歪み抑制によるハイパス係数の補正値が、その係数の量子化区間をはみ出た場合に、係数値を量子化区間の近い方の端の値に戻す。図４０の例の場合、量子化後の係数値（補正前）は量子化区間[Q,2Q]（Ｑは量子化ステップ数）の中にあり、そのクリップ値は量子区間の近い方の端のＱとなる。

本実施例の第２の変形例によれば、図３９に示すように、ｓｔｅｐ１７２とｓｔｅｐ１８３の間に、係数の量子化ステップ数と閾値thＱの比較判定ステップｓｔｅｐ１８３が追加され、量子化ステップ数＞閾値thＱと判定された場合にのみＧＯＦ境界歪みのための係数補正が行われるが、そうでない場合にはｓｔｅｐ１７３からｓｔｅｐ１８２までの処理がスキップされる。

量子化ステップ数＞閾値thＱ以下の場合に係数補正（したがって補正値のクリッピング処理も）を行わない理由は次の通りである。

図４１は圧縮率が小さい場合のクリッピング処理の説明図面である。一般に圧縮率が小さいときには量子化ステップ数Ｑが小さい。よって、図４１の例は量子化ステップ数が小さい例と考えることができる。

図４１のように量子化前の係数値（原信号）が2Qと3Qの間にあるとき、この係数は2Q+(3/8)Qの値に逆量子化される（リコンストラクションパラメータが3/8の場合）。ウェーブレット変換が５×３変換の場合を例にとると、前記のように2Q+(3/8)Qの位置に逆量子化された係数は０に補正され（ＧＯＦ境界に隣接しない係数の場合）、次にクリッピングにより2Qの位置に戻される。補正前の値とクリップ後の値の差は(3/8)Qである。よって、量子化ステップ数Ｑが十分小さければ補正前の値とクリップ後の値の差(3/8)Qは、さほど目立たないような微小な値になる。すなわち、量子化ステップ数Ｑが所定閾値thＱ以下の場合には、ＧＯＦ境界歪み抑制のための係数補正を行っても効果は小さいので、係数補正とクリッピング処理を行わない。このようにすることで、ＧＯＦ境界歪み抑制のための処理量が削減される。

図４２は圧縮率が大きい場合のクリッピング処理の説明図である。一般に圧縮率が大きいときには量子化ステップ数Ｑが大きい。よって、図の例は量子化ステップ数が大きい例と考えることができる。図のように量子化前の係数値（原信号）がQと2Qの間にあるとき、この係数はQ+(3/8)Q の位置に逆量子化される（リコンストラクションパラメータが3/8の場合）。ウェーブレット変換が５×３変換の場合を例にとると、前記のようにQ+(3/8)Qの位置に逆量子化された係数は０に補正され（ＧＯＦ境界に隣接しない係数の場合）、次にクリッピングによりＱの位置に戻される。補正前の値とクリップ後の値の差は(3/8)Qである。よって、量子化ステップ数Ｑが大きければ、補正前の値とクリップ後の値の差(3/8)Qはかなり大きな値になる。したがって、量子化ステップ数Ｑが所定の閾値thＱより大きい場合には、ＧＯＦ境界歪み抑制のための係数補正とその補正値のクリッピング処理を行うわけである。

本実施例の第３の変形例によれば、図４３に示すように、ｓｔｅｐ１７２とｓｔｅｐ１７３の間に、階層（デコンポジションレベル）と所定の閾値th_levの比較判定のためのｓｔｅｐ１８４が追加され、閾値th_levを超えるデコンポジションレベルの係数に対してはＧＯＦ境界歪み抑制のための係数補正とその補正値のクリッピング処理（ｓｔｅｐ１７３からｓｔｅｐ１８２）がスキップされる。

閾値th_levより高いデコンポジションレベルで係数補正を行わない理由は次の通りである。一つは、高いデコンポジションレベルの低周波係数はローパス処理を繰り返しかけられているので、もともと補正されているような状態であり、その係数をさらに補正してもＧＯＦ境界歪みを抑制する効果は少ないため、所定の閾値th_levより高いデコンポジションレベルを係数補正の対象外とすることにより、ＧＯＦ境界歪み抑制を効率的に実現しようとするものである。もう一つは、高いデコンポジションレベルの係数に対する補正の副作用は多くのフレームに及ぶため、所定の閾値より高いデコンポジションレベルを係数補正の対象から外すことにより、係数補正の副作用が及ぶ範囲を限定しようとするものである。もう一つは、高いデコンポジションレベルにおいては、画像によっては係数の数が足りなくなり、そもそも係数補正そのものが不可能である場合があるからである。

なお、閾値th_lev以下のデコンポジションレベルに関し、前記第２の変形例の場合と同様に量子化ステップ数に応じて係数補正を制御するようにしてもよい。

本実施例においては、符号化処理部１３２の３次元ウェーブレット変換部２０２において、最初にフレーム内２次元順ウェーブレット変換が行われ、次に時間方向順ウェーブレット変換が行われる。したがって、３次元ウェーブレット変換部２０２の機能的構成は図４４のように表すことができる。

図４５は、符号化時の３次元順ウェーブレット変換の説明のための模式図である。ここに示す例では、ＧＯＦ分割を行い、ＧＯＦ内の各フレームはフレーム内２次元順ウェーブレット変換手段２１２によって２階層の２次元順ウェーブレット変換が適用される。次に、ＧＯＦ内の先頭フレームから最終フレームまでの各対応位置の係数列に対し時間方向順ウェーブレット変換手段２１１によって２階層の順ウェーブレット変換が適用される。フレーム内２次元順ウェーブレット変換処理のフローは図２９の通りであり、時間方向順ウェーブレット変換処理のフローは図２６の通りである。

本実施例においては、復号処理部１１２の３次元逆ウェーブレット変換部２２４は、エントロピー復号され、逆量子化された後の係数データに対し、まず時間方向逆ウェーブレット変換を行い、次にフレーム内２次元逆ウェーブレット変換を行う。したがって、３次元逆ウェーブレット変換部２２４の機能的構成は図４６のように表すことができる。

フレーム内２次元逆ウェーブレット変換手段２３１による処理フローは図３２の通りであるので説明を繰り返さない。

係数補正手段２２５と時間方向逆ウェーブレット変換手段２３２による処理フローは図３３、図３８又は図４３により説明したと同様であるが、図４７乃至図５０を参照し説明を補足する。

図４７（ａ）に示すような、フレーム内２次元順ウェーブレット変換が２階層で施され、時間方向順ウェーブレット変換が２階層で施された符号を例に用いる。そして、フレーム内２ＬＬサブバンド係数に対応した時間方向ウェーブレット係数の補正及び逆ウェーブレット変換を例にして説明するが、フレーム内の他のサブバンド係数に対応した時間方向ウェーブレット係数についても同様に考えればよい。

まず、時間方向のデコンポジションレベル２の２Ｌ，２Ｈ係数をインターリーブし（２Ｌ同士、２Ｈ同士まとまっていたものを2L,2H,2L,2H…の順に配置しなおす）、インターリーブ後の係数２Ｌ，２Ｈに関し、図４７（ｂ）に点線で示すＧＯＦ境界に隣接するハイパス係数（2LL2H(t6)）と、ＧＯＦ境界近傍の境界に隣接しないハイパス係数（2LL2H(t10)）を補正する。ウェーブレット変換として５×３変換が用いられる場合の係数補正式は図４９に示す通りである。

なお、ウェーブレット変換として９×７変換が用いる場合の係数補正式は
2LL2H(t6)=(-0.0535x2LL2H(t2)+0.15644x2LL2H(t2)+0.09127x2LL2L(t0)
-0.59127x2LL2L(t4)+0.591272x2LL2L(t8)-0.09127x2LL2L(t10))/0.60295
2LL2H(t10)=(0.05754x2LL2L(t4)-0.05754x2LL2L(t8)+0.03372x2LL2H(t14))/0.53372
となる。

フレーム内の２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨサブバンド係数に対応した時間方向のデコンポジションレベル２のウェーブレット係数に対しても同様の係数補正がなされる。補正式も同様である。

このような係数補正後のデコンポジションレベル２のウェーブレット係数に対し、時間方向の逆ウェーブレット変換を行う。図４７（ｂ）のデコンポジションレベル２のウェーブレット係数の場合、その逆ウェーブレット変換により図４７（ｃ）に示すようなデコンポジションレベル１の係数（2LL1L）が生成される。

次に、時間方向のデコンポジションレベル１のウェーブレット係数に対する係数補正と逆ウェーブレット変換を行う。図４８はその説明のための図である。図４８（ａ）に示すのデコンポジションレベル１の１Ｌ，１Ｈ係数をインターリーブし、図４８（ｂ）に示すＧＯＦ境界に隣接したハイパス係数（2LL1H(t7)）と、ＧＯＦ境界近傍の境界に隣接しないハイパス係数（2LL1H(t9)）を補正する。５×３変換の場合の係数補正式は図５０に示す通りである。５×３変換の場合、デコンポジションレベル１のＧＯＦ境界に隣接しないハイパス係数（2LL1H(t9)）はミラリングの影響を受けていないので補正しない。

ただし、９×７変換の場合はＧＯＦ境界に隣接しないハイパス係数（２ＬＬ１Ｈ(t9)）もミラリングの影響を受けているので補正する。９×７変換の場合の係数補正式は
2LL1H(t7)=(-0.0535x2LL1H(t3)+0.15644x2LL1H(t5)+0.09127x2LL1L(t4)
-0.59127x2LL1L(t6)+0.591272x2LL1L(t9)-0.09127x2LL1L(t11))/0.60295
2LL1H(t9)=(0.05754x2LL1L(t6)-0.05754x2LL1L(t8)+0.03372x2LL1H(t11))/0.53372
となる。

フレーム内の２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨサブバンド係数に対応した時間方向のデコンポジションレベル１のウェーブレット係数に対しても同様の係数補正がなされる。補正式も同様である。

このような係数補正後のデコンポジションレベル１のウェーブレット係数に対し、時間方向の逆ウェーブレット変換を行う。図４８（ｂ）のデコンポジションレベル１のウェーブレット係数の場合、その逆ウェーブレット変換により、図４８（ｃ）に示すようなデコンポジションレベル０のデータ、つまり、フレーム内２次元ウェーブレット係数に戻ることになる。

＜コンピュータを利用した実現形態＞
以上のような画像処理システム１００のクライアント装置１０１は、例えば図５１に示すＣＰＵ３０１、メモリ３０２、ハードディスク装置３０３、キーボードやマウスなどのユーザ入力デバイス３０４、ディスプレイ装置３０５、ネットワーク・インターフェース３０６などをシステムバス３０７で相互接続したような構成のコンピュータを利用し、プログラムによって実現可能である。すなわち、クライアント装置１０１の各機能部１１１〜１１７に相当する手段としてコンピュータを機能させるプログラムをメモリ３０２にロードし、ＣＰＵ３０１に実行させることにより、コンピュータをクライアント装置１０１として動作させることができる。このようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶デバイスなどのコンピュータが読み取り可能な情報記録媒体も本発明に包含される。

サーバ装置１０２も、その各機能部１３１〜１３５としてコンピュータを機能させるプログラムを用いることにより実現可能である。このようなプログラム、及び、それが記録された各種情報記録媒体も本発明に包含される。

＜ＧＵＩの一例＞
図１５に関連した説明中で、ＧＵＩを利用して対話的に各種の指定や指示の入力を行うのが好ましいと述べた。そのようなＧＵＩの一例を図５２を用いて説明する。

この例では、図５２の上段に示す画面において、ファイル３１２を例えばマウスを用いてポイントすることにより「ファイル」のプルダウンメニュー３１３を表示させる。このプルダウンメニュー３１１中の「プロパティ」３１４をマウスでクリックすると、図５２の下段に示す用途指定のためのポップアップメニュー３１５が表示される。このポップアップメニュー３１５内の「編集」ボタンをマウスでクリックすることにより「編集」の用途指定を入力することができ、「鑑賞」ボタンをクリックすることにより「鑑賞」の用途指定を入力することができる。「編集」を指定すると、ＧＯＦ境界歪み抑制の指定のためのポップアップメニュー３１６が表示され、その「有り」ボタンをクリックすることによりＧＯＦ境界歪み抑制を行う指定を入力することができ、また「無し」ボタンをクリックすることによりＧＯＦ境界歪み抑制を行わない指定を入力することができる。３１１は動画像がサムネイル表示又は通常表示される画像表示領域である。

なお、ここに示す例では、用途指定のためのポップアップメニュー３１５に、これまで説明されていない「監視」、「保存」及び「自動」の各ボタンも含まれている。「監視」ボタンは、例えば室内や街路等を撮影した動画像の人物が移動しているシーン等の特徴のあるシーンを検索するような用途を指定するものである。「監視」ボタンがクリックされ、その指定がサーバ装置１０２へ通知された場合、サーバ装置１０２側では、例えば特徴が検出しやすい高周波帯域を重視した符号化を行うと良いであろう。「保存」ボタンは、動画像の符号を復号することなく保存する用途を指定するものである。「保存」ボタンがクリックされ、その指定がサーバ装置１０２へ通知された場合、サーバ装置１０２側では、符号処理によって、符号状態でのレートコントロールが容易なレイヤー構造の符号を生成すると良いであろう。「自動」ボタンは用途を指定するものではなく、サーバ装置１０２側でＧＯＦ分割を行う符号化処理とＧＯＦ分割を行わない符号化処理を自動的に選択させようとするものである。例えばサーバ装置１０２において、クライアント装置１０１に対してＧＯＦ分割符号化処理とＧＯＦ分割無しの符号化処理の利用履歴を記録しておき、クライアント装置１０１より「自動」ボタンがクリックされ、その指定が通知された場合にサーバ装置１０２側で該利用履歴を参照し、それまでに最も多く採用された符号化処理あるいは最近採用された符号化処理を選択するような制御を行う。

＜その他＞
以上の説明においては周波数変換としてウェーブレット変換が用いられたが、ウェーブレット変換以外の周波数変換が用いられる場合についても本発明に適用し得ることは明らかである。

ウェーブレット変換を説明するための原画像と座標系を示す図である。 垂直方向への順ウェーブレット変換後の係数配列を示す図である。 水平方向への順ウェーブレット変換後の係数配列を示す図である。 デコンポジションレベル１のデインターリーブした状態の係数配列を示す図である。 デコンポジションレベル２のデインターリーブした状態の係数配列を示す図である。 ミラリングの説明図である。 ４タイルについてデコンポジションレベル２のインターリーブした状態の係数を示す図である。 デコンポジションレベル２において水平方向のデタイルのために補正すべきハイパス係数を示す図である。 係数補正、水平方向逆ウェーブレット変換後の係数を示す図である。 デコンポジションレベル２において垂直方向のデタイルのために補正すべきハイパス係数を示す図である。 係数補正、垂直方向逆ウェーブレット変換後の係数（デインターリーブ状態を示す図である。 インターリーブしたデコンポジションレベル１の係数を示す図である。 デコンポジションレベル１において水平方向デタイルのために補正すべき係数を示す図である。 デコンポジションレベル１において垂直方向デタイルのために補正すべき係数を示す図である。 本発明に係る画像処理システム、クライアント装置及びサーバ装置の構成を説明するためのブロック図である。 クライアント装置における用途等の指定時の動作を説明するためのフローチャートである。 サーバ装置の動作を説明するためのフローチャートである。 クライアント装置の符号受信時の動作を説明するためのフローチャートである。 動画像のＢＯＦ分割を行う符号化処理の説明のための模式図である。 動画像のＢＯＦ分割を行わない符号化処理の説明のための模式図である。 ＧＯＦ分割を行い符号化された動画像符号のフォーマットの一例を示す図である。 ＧＯＦを入れ替える編集の説明図である。 ＧＯＦを削除する編集の説明図である。 サーバ装置内の符号化処理部の構成を示すブロック図である。 実施例１に係る３次元ウェーブレット変換部の機能的構成図である。 時間方向順ウェーブレット変換手段のフローチャートである。 ＧＯＦ単位の時間方向順ウェーブレット変換の説明図である。 時間方向順ウェーブレット変換を説明するためのメモリマップを示す図である。 フレーム内２次元順ウェーブレット変換手段のフローチャートである。 クライアント装置内の復号処理部の構成を示すブロック図である。 実施例１に係る３次元逆ウェーブレット変換部の機能的構成図である。 フレーム内２次元逆ウェーブレット変換手段のフローチャートである。 編集後の動画像符号に対する係数補正及び時間方向逆ウェーブレット変換の説明のためのフローチャートである。 実施例１におけるデコンポジションレベル２の係数補正と時間方向逆ウェーブレット変換の説明図である。 実施例１におけるデコンポジションレベル１の係数補正と時間方向逆ウェーブレット変換の説明図である。 デコンポジションレベル２における係数補正式を示す図である。 デコンポジションレベル１における係数補正式を示す図である。 第１の変形例を説明するためのフローチャートである。 第２の変形例を説明するためのフローチャートである。 クリッピングの説明図である。 クリッピングの説明図である。 クリッピングの説明図である。 第３の変形例を説明するためのフローチャートである。 実施例２に係る３次元ウェーブレット変換部の機能的構成図である。 フレーム内２次元順ウェーブレット変換とＢＯＦ単位の時間方向順ウェーブレット変換の説明図である。 実施例２に係る３次元逆ウェーブレット変換部の機能的構成図である。 実施例２におけるデコンポジションレベル２の係数補正と時間方向逆ウェーブレット変換の説明図である。 実施例２におけるデコンポジションレベル１の係数補正と時間方向逆ウェーブレット変換の説明図である。 デコンポジションレベル２における係数補正式を示す図である。 デコンポジションレベル１における係数補正式を示す図である。 本発明に係るクライアント装置の実現に利用し得るコンピュータの構成例を示すブロック図である。 クライアント装置において用途等を指定するためのグラフィカル・ユーザ。インターフェースの一例を説明するための模式図である。

符号の説明

１００ 画像処理システム
１０１ クライアント装置
１０２ サーバ装置
１０３ 伝送路
１１１ 送受信部
１１２ 復号処理部
１１３ 編集処理部
１１４ 記憶部
１１５ 利用者操作部
１１６ 表示部
１１７ 制御部
１１８ 用紙指定情報
１１９ ＧＯＦ境界歪み抑制指定情報
１３１ 送受信部
１３２ 符号化処理部
１３３ 画像入力部
１３４ 記憶部
１３５ 制御部
１３６ 用途指定情報
２０１ 色変換部
２０２ ３次元ウェーブレット変換部
２０３ 量子化部
２０４ エントロピー符号化部
２０５ 符号形成・タグ処理部
２１１ 時間方向順ウェーブレット変換手段
２１２ フレーム内２次元順ウェーブレット変換手段
２２１ タグ処理部
２２２ エントロピー復号部
２２３ 逆量子化部
２２４ ３次元逆ウェーブレット変換部
２２５ 逆色変換部
２２６ 係数補正手段
２３１ フレーム内２次元逆ウェーブレット変換手段
２３２ 時間方向逆ウェーブレット変換手段

Claims (24)

1. サーバ装置とクライアント装置とが伝送路を通じて相互に接続された画像処理システムであって、
   前記クライアント装置は、
   動画像に関する用途指定などを利用者が入力するための入力手段と、
   前記用途指定を前記サーバ装置へ通知する手段と、
   動画像符号を前記サーバ装置より受信する手段と、
   前記サーバ装置より受信した動画像符号に対し前記用途指定に対応した処理を行う ための処理手段と、
   を有し、
   前記サーバ装置は、
   動画像に対し、連続した所定数フレーム（ＧＯＦ）毎に分割して又は分割せずに、 時間方向を含む３次元の周波数変換を用いる符号化処理を実行して動画像符号を生 成する符号化処理手段と、
   前記符号化処理手段により生成された動画像符号を前記クライアント装置へ送信す る手段と、
   前記クライアント装置から通知された前記用途指定に応じて前記符号化処理手段の 符号化処理において動画像をＧＯＦ毎に分割するか否かを制御する制御手段と、
   を有する、
   ことを特徴とする画像処理システム。
2. 前記用途指定が動画像の編集を指定するものである場合に、前記サーバ装置において前記符号化処理手段によってＧＯＦ毎に分割した符号化処理が実行され、前記クライアント装置において前記処理手段によって、前記サーバ装置より受信された動画像符号に対し、前記入力手段により入力される編集指示に従ってＧＯＦ単位の編集処理が実行されることを特徴とする請求項１記載の画像処理システム。
3. 前記用途指定が動画像の鑑賞を指定するものである場合に、前記サーバ装置において前記符号化処理手段によってＧＯＦ毎に分割しない符号化処理が実行され、前記クライアント装置において前記処理手段によって、前記サーバ装置より受信された動画像符号に対し動画像の通常表示のための復号処理が実行され、該復号処理により生成された動画像の通常表示のためのフレームデータが表示手段に表示されることを特徴とする請求項１記載の画像処理システム。
4. 前記用途指定が動画像の編集を指定するものである場合に、前記クライアント装置において前記処理手段により、前記編集処理に先だって、前記サーバ装置より受信された動画像符号に対し動画像のサムネイル表示のための部分復号処理が実行され、該部分復号処理により生成された動画像のサムネイル表示のためのフレームデータが表示手段に表示されることを特徴とする請求項２記載の画像処理システム。
5. 前記用途指定が動画像の編集を指定するものである場合に、前記クライアント装置において前記処理手段により、前記編集処理の後に編集後の動画像符号に対し動画像の通常表示のための復号処理が実行され、該復号処理における時間方向の逆周波数変換の際に、ＧＯＦ境界付近の高周波係数に対しＧＯＦ境界歪み抑制のための係数補正が施され、該復号処理により生成された動画像の通常表示のためのフレームデータが表示手段に表示されることを特徴とする請求項２又は４記載の画像処理システム。
6. 前記クライアント装置において、前記入力手段によりＧＯＦ境界歪み抑制を行う指定が入力された場合にのみ、前記ＧＯＦ境界歪み抑制のための係数補正が行われることを特徴とする請求項５記載の画像処理システム。
7. 前記クライアント装置において、前記ＧＯＦ境界歪み抑制のための係数補正は、ＧＯＦに付けられたシーン番号が連続しないＧＯＦ間では行われないことを特徴とする請求項５記載の画像処理システム。
8. 前記クライアント装置において、前記ＧＯＦ境界歪み抑制のための係数補正は、所定階層より上位階層の周波数係数については行われないことを特徴とする請求項５記載の画像処理システム。
9. 前記クライアント装置において、前記ＧＯＦ境界歪み抑制のための係数補正は、量子化ステップ数が所定値以下の周波数係数については行われないことを特徴とする請求項５記載の画像処理システム。
10. 伝送路を通じてクライアント装置と接続されるサーバ装置であって、
    動画像に対し、連続した所定数フレーム（ＧＯＦ）毎に分割して又は分割せずに、時間方向を含む３次元の周波数変換を用いる符号化処理を実行して動画像符号を生成する符号化処理手段と、
    前記符号化処理手段により生成された動画像符号を前記クライアント装置へ送信する手段と、
    前記クライアント装置から通知された動画像に関する用途指定に応じて、前記符号化処理手段の符号化処理において動画像をＧＯＦ毎に分割するか否かを制御する制御手段と、を有することを特徴とするサーバ装置。
11. 前記用途指定が動画像の編集を指定するものである場合に、前記符号化処理手段によってＧＯＦ毎に分割した符号化処理が実行されることを特徴とする請求項１０記載のサーバ装置。
12. 前記用途指定が動画像の鑑賞を指定するものである場合に、前記符号化処理手段によってＧＯＦ毎に分割しない符号化処理が実行されることを特徴とする請求項１０記載のサーバ装置。
13. 伝送路を通じてサーバ装置と接続されるクライアント装置であって、
    動画像に関する用途指定などを利用者が入力するための入力手段と、
    前記入力手段により入力された用途指定を前記サーバ装置へ通知する手段と、
    前記サーバ装置より前記用途指定に応じて選択されて送信される、動画像に対し連続した所定数フレーム（ＧＯＦ）毎に分割して時間方向を含む３次元の周波数変換を用いる符号化処理を実行することにより生成された動画像符号、又は、動画像に対しＧＯＦ毎に分割をしないで時間方向を含む３次元の周波数変換を用いる符号化処理を実行することにより生成された動画像符号のいずれかを受信する手段と、
    前記サーバ装置より受信した動画像符号に対し、前記用途指定に対応した処理を行うための処理手段と、
    を有することを特徴とするクライアント装置。
14. 前記用途指定が動画像の編集を指定するものである場合に、前記サーバ装置より受信された、ＧＯＦ毎に分割した符号化処理により生成された動画像符号に対し、前記処理手段によって、前記入力手段により入力される編集指示に従ったＧＯＦ単位の編集処理が実行されることを特徴とする請求項１３記載のクライアント装置。
15. 前記用途指定が動画像の鑑賞を指定するものである場合に、前記サーバ装置より受信された、ＧＯＦに分割しない符号化処理により生成された動画像符号に対し前記処理手段によって動画像の通常表示のための復号処理が実行され、該復号処理により生成された動画像の通常表示のためのフレームデータが表示手段に表示されることを特徴とする請求項１３記載のクライアント装置。
16. 前記用途指定が動画像の編集を指定するものである場合に、前記処理手段により、前記編集処理に先だって、前記サーバ装置より受信された動画像符号に対し動画像のサムネイル表示のための部分復号処理が実行され、該部分復号処理により生成された動画像のサムネイル表示のためのフレームデータが表示手段に表示されることを特徴とする請求項１４記載のクライアント装置。
17. 前記用途指定が動画像の編集を指定するものである場合に、前記処理手段により、前記編集処理の後に編集後の動画像符号に対し動画像の通常表示のための復号処理が実行され、該復号処理における時間方向の逆周波数変換の際に、ＧＯＦ境界付近の高周波係数に対し、ＧＯＦ境界歪み抑制のための係数補正が施され、該復号処理により生成される動画像の通常表示のためのフレームデータが表示手段に表示されることを特徴とする請求項１４又は１６記載のクライアント装置。
18. 前記入力手段によりＧＯＦ境界歪み抑制を行う指定が入力された場合にのみ、前記ＧＯＦ境界歪み抑制のための係数補正が行われることを特徴とする請求項１７記載のクライアント装置。
19. 前記ＧＯＦ境界歪み抑制のための係数補正はＧＯＦに付けられたシーン番号が連続しないＧＯＦ間では行われないことを特徴とする請求項１７記載のクライアント装置。
20. 前記ＧＯＦ境界歪み抑制のための係数補正は、所定階層より上位階層の周波数係数については行われないことを特徴とする請求項１７記載のクライアント装置。
21. 前記ＧＯＦ境界歪み抑制のための係数補正は、量子化ステップ数が所定値以下の周波数係数については行われないことを特徴とする請求項１７記載のクライアント装置。
22. 請求項１０，１１又は１２記載のサーバ装置の各手段としてコンピュータを機能させるプログラム。
23. 請求項１３乃至２１のいずれか１項記載のクライアント装置の各手段としてコンピュータを機能させるプログラム。
24. 請求項２２又は２３記載のプログラムが記録されたコンピュータが読み取り可能な情報記録媒体。

Images