JP4326743B2 - 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ - Google Patents
予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ Download PDFInfo
- Publication number
- JP4326743B2 JP4326743B2 JP2001581542A JP2001581542A JP4326743B2 JP 4326743 B2 JP4326743 B2 JP 4326743B2 JP 2001581542 A JP2001581542 A JP 2001581542A JP 2001581542 A JP2001581542 A JP 2001581542A JP 4326743 B2 JP4326743 B2 JP 4326743B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- encoded
- image
- encoding
- current block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
(発明の分野)
本発明は、従来の画像信号よりも少ないビットを使用して画像グループを表す符号化信号に関し、特に、画像グループを表す予測符号化オブジェクトベース画像信号を、画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングして、従来のブロックベース画像信号デコーダが予測符号化オブジェクトベース画像信号を復号化することができるようにするトランスコーディング方法およびトランスコーダに関する。
【0002】
(発明の背景)
動画を電子的に表す画像信号を使用する通信が、信号符号化を使用してこのような信号を伝送し格納することができる効率の増大に伴い、広く普及しつつある。信号符号化は、伝送帯域および記憶容量に存在する多くの制限の克服に極めて重要である。MPEG−1、MPEG−2、ITU H.261、およびITU H.263等、普及し成功している画像信号符号化技術のほとんどは、元の画像信号にブロックベースの処理を施すことによって元の画像信号を符号化する。ブロックベースの処理では、動画の少なくとも一部をなす画像グループの各画像が、それぞれピクセル値を有する画素(ピクセル)のアレイ、たとえば640×480ピクセルのアレイとして表現される。画像のピクセル値は集合的に画像信号のフレームを構成する。各画像は、規則正しい大きさにされ配置される正方形または方形のピクセルブロックに区分けされる。次に、ブロック離散コサイン変換(ブロックDCT)等の処理が、画像を構成する各ピクセル値ブロックに対して個々に適用されて、画像を表す画像信号を符号化する。画像は、画像が表すオブジェクトのサイズおよび形状に関係なく、ブロックに区分けされる。
【0003】
動画を表す画像信号は、各画像を表す画像信号のフレームを構成する各ピクセル値ブロックにブロックDCTを適用することによって単純に符号化することができ、かつ符号化されるが、かかる画像信号に存在する相当な時間冗長性をなくすことで、符号化の効率は実質的に増大する。MPEG−1およびMPEG−2などの符号化方式では、時間冗長性が、動き補償を伴う予測符号化を利用することによって実質的になくなる。かかる符号化の結果、画像信号は、現画像と参照画像、すなわち現画像の予測符号化のベースをなす画像との間の差のみを表す。本開示において、動画を表し、動き補償を使用して予測符号化された画像信号は、さらに空間符号化が施されているという了解の下で、予測符号化画像信号と呼ばれる。MPEG−1およびMPEG−2等従来のブロックベースの符号化方式では、ブロックベースの動き予測およびブロックベースの動き補償が使用される。この様式で符号化される画像信号を、予測符号化ブロックベース画像信号と呼ぶことにする。
【0004】
最近、シーン中に配列された多数のオブジェクトとして画像を表すオブジェクトベース画像信号を生成する技術が開発された。オブジェクトベース画像信号では、単一の静止画像であっても、また動画を構成する連続している静止画像のグループの1つであってもよい画像が、現行のブロックベース表現の規則正しい大きさにされ配置されるブロックとは異なり、任意の形状を有するオブジェクトに分解される。各オブジェクトは、画像信号の一部によって表される。
【0005】
このようなオブジェクトベース画像信号を符号化する技術も提案されており、その最たる例は最近のMPEG−4規格で具現されるものである。符号化オブジェクトベース画像信号では、空間符号化が、オブジェクトを表す各信号部分に適用される。オブジェクトベース画像信号が動画を表す場合、オブジェクトを表す各信号部分はさらに、たとえばオブジェクトベースの動き予測およびオブジェクトベースの動き補償を使用して予測符号化されて、符号化の効率を増大する。
【0006】
任意の形状の可動オブジェクトを表す信号部分に画像を分解すると、ユーザの画像中のオブジェクトとのインタラクション、より大きなコンテンツ作成の柔軟性、および潜在的に向上した符号化効率および忠実度等、多数の新しいまたは強化された機能性を可能にする画像信号のより自然な分解が提供される。オブジェクトベース画像信号を使用して画像を表すことの利点は、特に、コンテンツ制作者にとって魅力のあるものと思われる。
【0007】
オブジェクトベース画像信号は、符号化、操作、および配信のために、MPEG−4等オブジェクトベースの符号化技術を必要とする。しかし、符号化されたオブジェクトベース画像信号を復号化する必要のある、MPEG−4デコーダ等オブジェクトベースのデコーダは、本質的に、従来のブロックベースのMPEG−1またはMPEG−2デコーダよりも複雑である。さらに、DVD、デジタルTV、およびHDTVの普及により、MPEG−2デコーダが広く使用されている。したがって、すでにMPEG−1またはMPEG−2デコーダをすでに有し、かつオブジェクトベース画像信号が提供する追加機能性を欲しない、または工面できないユーザの場合、MPEG−4オブジェクトベース画像信号をMPEG−1またはMPEG−2ブロックベース画像信号にトランスコーディングする必要性が生じる。さらに、番組コンテンツは、オブジェクトベース画像信号を使用して制作することができるが、オブジェクトベースのコンテンツを、DVD、衛星、および地上デジタルテレビにおいて使用されるMPEG−1またはMPEG−2デコーダ等従来のブロックベースのデコーダしか持たない人々に配信したいことがある。したがって、予測符号化オブジェクトベース画像信号を、MPEG−1、MPEG−2、H.261、およびH.263などの予測ブロックベース符号化技術の標準的なデコーダに準拠する予測符号化ブロックベース画像信号にトランスコーディングする必要性が存在する。
【0008】
図1は、MPEG−4または他の予測符号化オブジェクトベース画像信号をMPEG−2または他の予測符号化ブロックベース画像信号にトランスコーディングすることができる従来のトランスコーダ10のブロック図である。システムは、MPEG−4デコーダ12およびMPEG−2エンコーダ14で構成される。MPEG−4デコーダの出力18は、MPEG−2エンコーダの入力20に接続される。MPEG−2デコーダの出力22は、標準的なMPEG−2デコーダに準拠する予測符号化ブロックベース画像信号を提供する。
【0009】
MPEG−4デコーダの入力16は、MPEG−4規格デコーダに準拠する予測符号化オブジェクトベース画像信号を受信する。MPEG−4デコーダは、予測符号化オブジェクトベース画像信号を復号化して、従来の画像信号を生成し、この画像信号を出力18に供給する。従来の画像信号は、RGB信号セット、YIQもしくはYUV信号セット、または他の適したある形態の従来の画像信号でありうる。
【0010】
MPEG−2エンコーダは、入力20において従来の画像信号を受信し、従来のブロックベースの空間符号化および時間符号化を従来の画像信号に適用する。MPEG−2エンコーダは、MPEG−2規格のデコーダに準拠する予測符号化ブロックベース画像信号を出力22に送出する。
【0011】
従来のトランスコーダ10は、概念上は単純であるが、実行が複雑である。MPEG−2エンコーダが実行する空間符号化および時間符号化の処理は複雑であり、リアルタイムで実行するには相当な計算資源が必要である。計算資源に対する需要は、MPEG−2エンコーダが始めから動き予測を実行することから、特に深刻である。さらに、トランスコーダ10が実行する復号化および後続する符号化は、画像の質をしばしば劣化させる。
【0012】
代替の手法は、トランスコーディングを符号化領域で行うというものである。これにより、再符号化の少なくとも一部を実行する必要性がなくなる。符号化領域でのトランスコーディングには、処理の複雑性をかなり低減する潜在性、および従来のトランスコーディングで生じる生成損失(generation loss)を部分的にまたは完全になくす潜在性がある。
【0013】
符号化領域においてブロックベース画像信号をトランスコーディングするいくつかの手法が、以下に記載されている。S. F. ChangとD. Messerschmittによる「Manipulation and Compositing of MC-DCT Compressed Video」(13IEEE J.ON SELECTED AREAS IN COMMUNICATIONS(1995年1月))、B. NatarajanとB. Vasudevによる「A Fast Approximate Algorithm for Scaling Down Digital Images in the DCT Domain」(IEEE INTL.CONF.ON IMAGE PROCESSING議事録(ワシントンDC)(1995年10月))、N. MerhavとB. Vasudevによる「Fast Algorithms for DCT-Domain Image Down Sampling and for Inverse Motion Compensation」(7IEEE TRANS. ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 468-475(1997年6月))、B. ShenとI. Ishwarによる「Block-Based Manipulations on Transfrom-Compresed Images and Videos」(6 MULTIMEDIA SYSTEMS(1998年3月))、S. WeeとB. Vasudevによる「Splicing MPEG Video Streams in the Compressed Domain」(IEEE INTL.CONF.ON MULTIMEDIA SIGNAL PROCESSING議事録(プリンストン、NJ)(1997年6月))。
【0014】
しかし、上に引用した参考文献はいずれも、予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングし、かつ符号化領域で動作するトランスコーダについて記載していない。したがって、必要なのは、符号化領域で動作し、かつ予測符号化オブジェクトベース画像信号を対応する予測符号化ブロックベース画像信号にトランスコーディング可能なトランスコーダおよびトランスコーディング方法である。また、必要なのは、リアルタイムで、または数フレームの遅延を持ってのリアルタイムで動作するようなトランスコーダおよびトランスコーディング方法である。最後に、必要なのは、適度でかつ手頃な価格のハードウェア要件を有するようなトランスコーダおよびトランスコーディング方法である。
【0015】
(発明の概要)
本発明は、画像グループを表す予測符号化オブジェクトベース画像信号を、画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングする方法を提供する。本方法では、符号化シーン記述子および符号化オブジェクト記述子が、予測符号化オブジェクトベース画像信号から抽出され、符号化シーン記述子は復号化されてシーン記述子が生成される。符号化オブジェクト記述子は部分的に復号化されて、部分復号化オブジェクト記述子がそれぞれ生成される。部分的な復号化は、符号化オブジェクト記述子の符号化を記述する符号化情報を抽出する。シーン記述子に応答して、現画像として画像の1つを表す部分符号化ブロックベース画像信号のフレームが、部分復号化オブジェクト記述子から生成される。最後に、現画像を表す予測符号化ブロックベース画像信号のフレームが、符号化情報に応答して、部分符号化ブロックベース画像信号を均一の(一様な)符号化状態に予測符号化することによって生成される。
【0016】
本発明はまた、画像グループを表す予測符号化オブジェクトベース画像信号を、画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングするトランスコーダを提供する。トランスコーダは、パーシャルデコーダ(partial decoder)と、ブロックベース画像信号生成器と、パーシャルエンコーダ(partial encoder)と、を備える。パーシャルデコーダは、デマルチプレクサと、シーン記述子デコーダと、オブジェクト記述子デコーダと、を含む。デマルチプレクサは、符号化シーン記述子および符号化オブジェクト記述子を予測符号化オブジェクトベース画像信号から抽出する。シーン記述子デコーダは、符号化シーン記述子を復号化してシーン記述子を生成する。オブジェクト記述子デコーダは、符号化オブジェクト記述子を部分的に符号化して各部分復号化オブジェクト記述子を生成し、符号化オブジェクト記述子の符号化を記述する符号化情報を抽出する。ブロックベース画像信号生成器は、シーン記述子に応答して動作し、部分復号化オブジェクト記述子から、現画像として画像の1つを表す部分符号化ブロックベース画像信号のフレームを生成する。パーシャルエンコーダは、符号化情報の少なくとも一部に応答して、部分符号化ブロックベース画像信号を均一な符号化状態に予測符号化することにより、現画像を表す予測符号化ブロックベース画像信号のフレームを生成するように構成される。
【0017】
最後に、本発明は、コンピュータに上記トランスコーディング方法を実行するよう命令するコンピュータプログラムが中に固定(格納)されたコンピュータ読み取り可能媒体を提供する。
【0018】
本発明によるトランスコーダおよびトランスコーディング方法は、符号化領域で動作し、かつ予測符号化オブジェクトベース画像信号を対応する予測符号化ブロックベース画像信号にトランスコーディングする。符号化領域で動作することにより、相当量の復号化処理および符号化処理が従来の手法と比較して実行されないため、相当な処理資源が節約される。さらに、本発明によるトランスコーダおよびトランスコーディング方法は、予測符号化オブジェクトベース画像信号から抽出される符号化情報を使用して、予測符号化をブロックベース画像信号に適用する。これにより、資源集約的な動き予測を行う必要性が数個のブロック以外すべてについてなくなるため、さらなる処理が不要になる。したがって、本発明によるトランスコーダおよびトランスコーディング方法は、リアルタイムまたは略リアルタイムで動作することができ、また質素でかつ手頃なハードウェアを使用して実施することができる。
【0019】
(発明の詳細な説明)
本発明を詳細に説明する前に、予測符号化ブロックベース画像信号および予測符号化オブジェクトベース画像信号を使用して動画を表す方法について手短に述べる。説明するコーダは、動画のすべてまたは一部を構成する静止画像のグループを表すデジタル画像信号に対して動作する。各画像は、画素(ピクセル)の方形アレイに区分けされる。たとえば、従来のNTSCテレビ信号のフレームによって表される各画像は、640×480ピクセルのアレイに区分けされる。デジタル画像信号の各フレームは、各ピクセルについてピクセル値を含む。ピクセル値は、少なくともピクセルのグレースケール値を定義し、さらに、ピクセルの色を指定することができる。ピクセル値は、従来、画像の左上角から始まってラスタスキャン順に配列される。
【0020】
従来のブロックベースのコーダは、デジタル画像信号を受信し、ここから、より少ないビットを使用して画像グループを表す符号化画像信号を導出する。従来のブロックベースのコーダは、デジタル画像信号を、信号エネルギのほとんどがわずかな係数に集中する別の領域に変換する。最も一般的には、各画像は8×8ピクセルの二次元ブロックに区分けされ、対応する各ピクセル値ブロックの二次元離散コサイン変換(DCT)が算出される。この変換はしばしば、8×8ブロックDCTと呼ばれる。重複変換(lapped transform)およびウェーブレット変換等、他の普及している空間変換を代替として使用してもよい。
【0021】
従来のブロックベースのコーダは、画像のコンテンツに関係なく各画像を8×8ピクセルブロックに区分けする。図2Aは、人間の頭部32、人間の体34、窓36、および背景36を含む画像30を示す。例示的な8×8ピクセルブロックを40に示し、ブロック40中の例示的なピクセルを42に示す。その他のブロックのピクセルは、図面を簡明にするために示さない。ブロック40は、3つのオブジェクト32、34、および38の部分を含む。
【0022】
図3Aは、動画を表す画像信号用の従来のエンコーダ100を示す。エンコーダは、減算ノード101と、変換プロセッサ(DCT)102と、量子化器(Q)103と、エントロピーコーダ104および112と、逆量子化器(IQ)106、逆変換プロセッサ(IDCT)107、および加算ノード108から構成されるローカルデコーダ105と、フレーム記憶装置109と、動き補償器(MC)110と、動き予測器(ME)111と、マルチプレクサ(MUX)113と、出力バッファ(BUFF)114と、から構成される。
【0023】
動画を表す画像信号は、それぞれ静止画像を表すフレームで構成される。画像は、高速に連続して表示され、連続した動きという印象を与える。滑らかな動きという錯覚を達成するために必要な高画像レートにより、通常、連続画像の中に相当な時間冗長性が生じることになる。具体的には、連続画像は通常、隣接画像間で物理的に変位される同じ情報を含みうる。時間冗長性を低減するために、通常、予測符号化が、符号化中の画像、すなわち現画像と1つまたは複数の先に符号化された画像との間に適用される。1つまたは複数の先に符号化された画像は、現画像を符号化するためのベースとして使用される。次に、現画像は、現画像と先に符号化された画像に基づく予測との間の差を符号化することによって符号化される。
【0024】
現画像と先に符号化された画像との間の動きを考慮に入れることにより、予測符号化の正確性が大幅に向上すると共に、符号化が必要な差の大きさが大幅に低減される。コーダ100では、動き予測器111が、現画像と1つまたは複数の先に符号化された画像との間の動きを予測する。動き予測器が生成する動き予測に応答して、動き補償器110が、現画像符号化のベースを提供する参照画像を構築する。参照画像を構築する際、動き補償器は、現画像と先に符号化された画像との間の動きを考慮に入れるように、1つまたは複数の先に符号化した画像を変更する。先に符号化された2つ以上の画像が現画像符号化のベースとして使用される場合、通常、先に符号化された画像のうちの1つが、提示順において現画像の前にあり、先に符号化された画像のうちの他のものが現画像の後にある。しかし、提示順に関係なく、現画像は、先に符号化された画像が符号化された後でしか符号化することができない。
【0025】
動き予測は通常、各画像を正方形のピクセルブロックに区分けし、現ブロックと呼ばれる各ブロックと現ブロックに最も密接にマッチングする先に符号化された画像のブロック間の動きを予測することによって行われる。マクロブロックと呼ばれる、動き予測が行われる各ブロックは通常、DCTが適用されるブロックの2倍の長さ寸法を有する。動き予測は、現画像中の現ブロックと、1つまたは複数の先に符号化された画像中の対応位置のプラスマイナスnピクセル内にあるマクロブロックすべてとの間でマッチング演算を行うことを含むため、計算集約的なプロセスである。さらに、マッチング演算は、実際のマクロブロックからピクセル半分だけ変位した合成マクロブロックに拡張しうる。マッチング演算は、現ブロックに最も類似する1つまたは複数の先に符号化された画像中のマクロブロックのロケーションを決定する。n=1の場合、整数ピクセル精度の場合には9つのマッチング演算が必要であり、半ピクセル精度の場合には17のマッチング演算が必要である。マッチング演算の数は、nの二乗に比例して増大する。
【0026】
現ブロックとしての現画像の各ブロックごとに、動き予測器111は、現ブロックと、現ブロックに最も密接にマッチングする1つまたは複数の先に符号化された画像のブロックとの間の動きを表す動きベクトル(MV)を決定する。動き予測器は、現画像の動きベクトルを動き補償器110およびエントロピーコーダ112に供給するが、これらについてさらに詳細に以下に述べる。
【0027】
エンコーダ100は、通常、画像信号の最初のフレームを予測なしで符号化する。最初のフレームは、画像グループ中の最初の画像を表す画像信号のフレームである。ブロックベース画像信号の最初のフレームは、減算ノード101の一方の入力に供給される。最初のフレームが符号化される場合、減算ノード101の負の入力には信号が供給されないため、減算ノードが出力する信号は、ブロックベース画像信号の最初のフレームと同一である。変換プロセッサ102が、ブロック変換処理をフレーム中の8×8ピクセル値の各ブロックそれぞれに適用して、8×8変換係数の各ブロックを生成する。量子化器103は、人間の視覚系(HVS)の心理的視覚特性を考慮に入れるように適切なファクタで各係数をスケーリングすることによって変換係数ブロックを量子化する。スケーリング後、各変換係数は、符号化された状態での現画像を表すために利用可能なビットの数に依存する量子化ステップサイズを使用して量子化される。量子化により、変換係数のうちの多くの値がゼロに低減される。
【0028】
エントロピーコーダ104は、量子化器103によって生成された量子化変換係数のブロックにエントロピー符号化を施す。エントロピー符号化は、ランレングス符号化およびハフマン符号化を含む。ランレングス符号化は、ゼロではない量子化係数のロケーションおよび大きさ(amplitude)のみを符号化することで、変換係数の大部分がゼロに量子化されることを利用する。これにより、量子化変換係数のブロックを表すために必要なビットの数が低減される。量子化変換係数のブロックは通常、ジクザグ順に走査され、非ゼロレベルの係数の前の連続したゼロレベルの変換係数の数(すなわち、ランレングス)が符号化される。ランレングスの後には、非ゼロ係数のレベルを表すコードが続く。
【0029】
エントロピコーダ104はさらに、これら量の統計的特性を利用するために、ランレングス符号化によって生成されたランレングスレベル対にハフマン符号化を適用する。これらにより、量子化変換係数の各ブロックを表すために必要なビットの数がさらに低減される。
【0030】
今述べた処理により、通常、画像信号の最初のフレーム中のビット数よりもかなり少ないビットを使用して最初の画像を表す符号化画像信号のフレームが生成される。しかし、この処理は、2つ以上の非関連オブジェクトを含む、図2Aに示すブロック40等のブロックに適用される場合にはあまり有効ではない。
【0031】
エントロピーコーダ104によって生成されるエントロピ符号化量子化変換係数のブロックは、マルチプレクサ113に供給される。現画像が予測なしで符号化される場合、これらブロックは、エンコーダ100が実行する符号化のただ1つの出力を表す。したがって、これらブロックだけはバッファ114に渡され、バッファ114が予測符号化ブロックベース画像信号の最初のフレームをエンコーダの出力として生成する。バッファはさらに、量子化器103にフィードバックされる制御信号117を生成する。この制御信号は、バッファがアンダーフローおよびオーバーフローしないことを確実にするように、量子化のステップサイズを制御する。
【0032】
画像信号の最初のフレームから量子化器103によって生成される量子化変換係数のブロックはさらに、ローカルデコーダ105に供給される。ローカルデコーダにおいて、逆量子化器106が、量子化変換係数ブロックに量子化器103が適用したものとは逆の量子化を適用する。逆変換プロセッサ107は、逆量子化の結果得られる変換係数ブロックを逆変換し、ピクセル値ブロックを加算ノード108に供給する。最初のフレームは予測なしで符号化されるため、動き補償器110は参照ブロックを加算ノードの入力116に供給せず、加算ノードの出力は入力と同一である。加算ノードは、最初の画像を再生したものを表す再生画像信号のフレームを生成する。このフレームは、フレーム記憶装置109のページに格納される。フレーム記憶装置に格納される再生画像信号によって表される現画像を再生したものは、符号化プロセスによって導入される損失により、現画像とはわずかに異なる。
【0033】
画像信号の最初のフレームが符号化された後、画像信号の2番目のフレームが符号化される。画像信号の2番目のフレームは、符号化順での画像グループ中の2番目の画像を表す。画像グループ中の2番目および後続する画像を表す画像信号のフレームは通常、予測符号化される。2番目のフレームが符号化される場合、2番目の画像が現画像になり、最初の画像が現画像符号化用の参照画像になる。
【0034】
ブロックベース画像信号の各フレームは、動き予測器111に供給される。動き予測器は、現画像と参照画像との間で動き予測を行い、現画像を予測符号化するための動きベクトルを決定する。現ブロックとしての現画像の各ブロックごとに、動き予測器は、現ブロックと現ブロックに最も密接にマッチングする参照画像のブロックとの間の空間変位を示す動きベクトルを生成する。動き予測器は、現画像の動きベクトルを動き補償器110およびエントロピーコーダ112に供給する。エントロピーコーダは、上述したエントロピー符号化を動きベクトルに適用し、符号化動きベクトルをマルチプレクサ113に供給する。
【0035】
動き予測器111から受信する各動きベクトルに応答して、動き補償器110は、フレーム記憶装置109に動きベクトルにより示される再生された画像信号のブロックを供給させる。動き補償器は、再生された画像信号のブロックを使用して、現画像の参照画像を構築する。参照画像は、現画像の各ブロックごとに1つの参照ブロックから構成される。
【0036】
エンコーダ100が現画像の各ブロックを予測符号化すると、動き補償器110は、参照画像の対応するブロック、すなわち参照ブロックを減算ノード101に供給する。減算ノードは、現ブロックから参照ブロックを減算して、MC残余と呼ぶ動き補償誤差のブロックを生成する。
【0037】
次に、上述したように、変換モジュール102、量子化器103、およびエントロピ符号化104を使用してMC残余ブロックを符号化する。上述したものとは異なる量子化特徴を使用して、画像信号自体のブロックから導出される変換係数ブロックおよびMC残余ブロックから導出される変換係数ブロックにおける異なるスペクトル分布を考慮に入れるように、変換後MC残余ブロックを量子化する。
【0038】
MC残余ブロックからエントロピコーダ104によって生成されるエントロピー符号化量子化変換係数のブロックは、マルチプレクサ113に供給される。動きベクトルおよびMC残余を多重化することから得られる信号ブロックは、バッファ114に伝達され、バッファ114は、エンコーダ100の出力を構成する予測符号化ブロックベース画像信号のフレームを生成する。
【0039】
動き補償器110はさらに、現ブロックの参照ブロックをローカルデコーダ105中の加算ノード108の入力116に供給する。加算ノードは、参照ブロックを逆変換プロセッサ107によって出力される再現されたMC残余ブロックに加えて、現画像を再生したものを表す再生画像信号のフレームのブロックとしてピクセル値ブロックを生成する。再現画像信号は、最初の画像を表す再現画像信号が格納されるページとは異なるフレーム記憶装置109のページに格納される。
【0040】
画像グループの3番目および後続する画像を表す画像信号のフレームは、今述べた順方向動き補償(F−MC)に加えて双方向動き補償(Bi−MC)または逆方向動き補償(B−MC)を使用して、予測符号化することができる。双方向動き補償が適用される場合、動き補償器110は、画像グループ中で一方は現画像の前方にあり他方は後方(提示順で)にある2つの画像を表す再生画像信号から、現画像の参照画像を表す画像信号を生成する。逆方向動き補償が適用される場合、動き補償器は、画像グループ中で現画像の後(提示順で)にある単一画像を表す再生画像信号から、現画像の参照画像を表す画像信号を生成する。
【0041】
使用される動き補償が順方向か、逆方向か、それとも双方向かに関係なく、現ブロックの予測符号化に、現ブロックの非予測符号化よりも多くのビットが必要な場合、MC処理はオフにされ、現ブロックが非予測符号化される。あるいは、現画像全体の予測符号化に、予測なしでの現画像の符号化よりも多くのビットが必要な場合のみ、現画像全体の符号化に関してMC処理をオフにしてもよい。
【0042】
図3Bは、エンコーダ100が生成する予測符号化ブロックベース画像信号用の例示的なデコーダ120を示す。デコーダは、バッファ(BUFF)121と、デマルチプレクサ(DEMUX)122と、エントロピーデコーダ(ENT.DEC.)123および124と、逆量子化(IQ)125と、逆変換プロセッサ(IDCT)126と、加算ノード127と、動き補償(MC)128と、フレーム記憶装置129と、から構成される。
【0043】
バッファ121は、予測符号化ブロックベース画像信号をバッファリングする。デマルチプレクサ122は、予測符号化ブロックベース画像信号のフレームをバッファから除去し、予測符号化ブロックベース画像信号をその構成パーツに分ける。これらパーツは、エントロピー符号化量子化変換係数のブロックと、画像の殆どについてはエントロピー符号化動きベクトルのセットと、を含む。エントロピーデコーダ123は、エントロピー復号化をエントロピー符号化量子化変換係数のブロックに適用して、量子化変換係数のブロックを生成する。逆量子化器125は、逆量子化を量子化変換係数のブロックに適用して、変換係数のブロックを生成する。逆変換プロセッサ126は、現画像が予測符号化されている場合には、変換係数のブロックを逆変換して、MC残余ブロックを生成し、現画像が予測なしで符号化されている場合には、ピクセル値ブロックを生成する。
【0044】
従来、画像グループ中の最初の画像は、予測なしで符号化される。したがって、予測符号化ブロックベース画像信号の最初のフレームが復号化される場合、動き補償器128は、参照ブロックを加算ノード127の入力130に供給せず、加算ノードの出力は入力と同一である。加算ノードは、ピクセル値ブロックを、最初の画像を再生したものを表す再生画像信号ブロックとして出力する。再生画像信号は、フレーム記憶装置129のページに格納される。次に、最初の画像を再生したものを表す画像信号のフレームが、フレーム記憶装置のページから読み出される。
【0045】
予測符号化ブロックベース画像信号の2番目のフレームが復号化される場合、エントロピデコーダ124は、2番目の部分を形成する動きベクトルのセットを復号化し、動きベクトルのセットを動き補償器128に供給する。各動きベクトルは、フレーム記憶装置129に格納されている再生画像信号のブロックを示す。動き補償器128は、フレーム記憶装置129に、動きベクトルによって示される再生画像信号ブロックを供給させ、これらブロックを使用して、予測符号化ブロックベース画像信号の2番目のフレームを復号化するための参照画像を構築する。参照画像は、現画像の各ブロックごとに1つの参照ブロックで構成される。
【0046】
デコーダ120が予測符号化ブロックベース画像信号の2番目のフレームを復号化する場合、動き補償器128は、現画像の各ブロックごとに参照ブロックを加算ノード127に供給する。加算ノードは、参照ブロックを逆変換プロセッサ126が出力する再生MC残余のブロックに加算して、ピクセル値ブロックを、2番目の画像を表す再生画像信号ブロックとして生成する。再生画像信号は、最初の画像を表す再生画像信号が格納されるページとは異なるフレーム記憶装置129のページに格納される。次に、2番目の画像を再生したものを表す画像信号のフレームが、フレーム記憶装置のページから読み出される。
【0047】
今述べたものと同様の処理を使用して、画像グループ中の残りの画像を表す予測符号化ブロックベース画像信号のフレームを復号化する。予測符号化ブロックベース画像信号の3番目および後続するフレームを復号化するための参照画像は、フレーム記憶装置129の2つ以上のページに格納されている再生画像信号から生成することができる。
【0048】
より詳細な説明および分析が、いくつかのソース、たとえば、J.L.Mitchell、W.Pennebaker、C.Fogg、およびD.LeGallの著「MPEG VIDEO COMPENSATION STANDARD」、Chapman & Hall (1997年)において見つけることができる。上記技術は、動画を表す画像信号の符号化のためのいくつかの国際規格のベースをなす。これら規格は、MPEG−1、MPEG−2、CCITT H.261、およびITU H.263動画符号化規格を含む。
【0049】
動画を表す画像信号の符号化に関して上述した技術は、ブロックベースまたは重複ブロックベースの処理を含む。各画像は、重複しうるピクセルのブロックに区分けされ、対応するピクセル値ブロックが独立して処理される。動画を表す画像信号についての従来のブロックDCT、重複変換、およびウェーブレットベースの符号化技術は、ブロックベースまたは重複ブロックベースのものとみなすことができる。ブロックベースの符号化は、許容可能なパフォーマンスを提供し、また実施が構造的に単純であるという点において有利である。しかし、ブロックベースの符号化は、画像の実際のコンテンツを利用せず、実際には完全に無視する。実際、ブロックベースの符号化は、原画像が静止した、または動く正方形ブロックで構成されるものと暗に想定しているが、これは実際にはありそうもないことである。したがって、ブロックベースの符号化は、画像に人工的な構造を課してから、この構造を符号化しようとするものである。
【0050】
一方、オブジェクトベースの符号化は、画像に固有の構造を認識し、この構造を利用して、画像グループを表す画像信号が符号化される効率を増大させる。たとえば、画像は通常オブジェクトを含むため、画像は、静止していても、また動いていてもよい2次元または3次元のオブジェクトを用いて表すことができる。この手法は通常、上述したブロックベースの符号化方式よりも、画像の実際の構造を正確に表す。図2Bは、図2Aに示す画像のオブジェクトベースの表現の例を示す。この表現では、静止画像30が多数の二次元オブジェクトまたは領域に分解される。この例では、オブジェクトは、人間の頭部32、人間の体34、窓36、および背景38に相当する。
【0051】
三次元(3D)オブジェクトで構成される動画は、いろいろな方法で3Dオブジェクトまたは領域に分解することができる。1つの方法は、シーン中の3Dオブジェクトを識別し、時間について各3Dオブジェクトを追跡する。この手法は通常、実装が複雑である。代替の方法は、画像グループの冒頭にある単一画像中の2Dオブジェクトまたは領域を識別し、時間についての2Dオブジェクトの進化を追跡する。より実用的な方法は、2Dオブジェクトを表す信号の時間に伴っての進化を追跡し、特に、オブジェクトの大きさおよびオブジェクトの形状が時間とともにどのように変化するかを追跡する。
【0052】
包含するオブジェクトを用いて画像30を表すと、画像をより自然に表現する機能が提供される。さらに、かつより重要なことに、画像をこの方法で表現すると、新しい機能性を提供することができる。たとえば、動画がオブジェクトベース画像信号によって表現される場合、画像中の個々のオブジェクトを個々に抽出、操作することができ、異なる処理をそれぞれに適用することが可能である。これにより、ユーザと画像の間のインタラクションが促進される。
【0053】
画像のオブジェクトベースの表現はまた、向上した符号化効率でオブジェクトベース画像信号を符号化する機能も提供する。たとえば、オブジェクトベースの表現は、画像グループ中の各オブジェクトの形状および動きの高精度の定義を提供する。これは、MC予測のパフォーマンスにおける相当な利得を提供することができる。オブジェクトの内部が均質な特徴を有する場合、均質性を利用して、オブジェクトの内部を符号化する効率を増大させることができる。また、符号化オブジェクトベース画像信号の復号化に起因するアーチファクトは、符号化ブロックベース画像信号が復号化される場合に発生する高度に構造化され人工的なブロッキングおよびモスキート・ノイズ・アーチファクトよりも目に付きにくいであろう。
【0054】
オブジェクトベース画像信号の符号化の符号化方式は、現在、一般的な研究コミュニティおよびMPEG−4規格化プロセス双方における多くの研究の主題である。たとえば、第7回IEEE TRANS.ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY : SPECIAL ISSUE ON MPEG-4(1997年2月)、およびMPEG-4 OVERVIEW (http://drogo.stst.it/mpeg/standards-/mpeg-4/mpeg-4.htm(1999年3月)を参照のこと。
【0055】
オブジェクトベース画像信号用のいくつかの異なる符号化方式は今後共存しうるが、現在の規格化努力は、MPEG−4規格に焦点をあてている。MPEG−4は、静止画像および動画を表すオブジェクトベース画像信号を符号化する規格を定義する。MPEG−4規格の基本的な枠組みの属性は、以下のように要約することができる。MPEG−1およびMPEG−2と同様に、MPEG−4規格は、符号化画像信号のビットストリームシンタックスおよび規格デコーダの特徴を指定するだけで、エンコーダを指定していない。たとえば、規格は、エンコーダが画像信号を、個々のオブジェクトを表すオブジェクト記述子に細分する方法を定義していない。
【0056】
MPEG−4規格では、動画のすべてのまたは一部を構成する画像グループ中の各画像が、任意の、すなわち四角くない形状を有する多数の二次元オブジェクトとして表現される。オブジェクトはシーンに配列される。画像グループ中の任意の画像は、すべてのシーンを示すことができるが、しかし、画像が動画の一部を構成する場合、またはインタラクティブ性が提供される場合、画像は、シーンの一部のみを示す傾向がより高い。画像グループを表すオブジェクトベース画像信号は、2つの主な部分、すなわちシーン記述子および1つまたは複数のオブジェクト記述子で構成される。シーン記述子は、シーン中のオブジェクトを列挙し、オブジェクトが初めに、シーン中にどのように配列されるかを記述する。シーン中の各オブジェクトは、各オブジェクト記述子によって記述される。いくつかの画像グループは、シーン記述子を持たず、代わりに先行する画像グループと同じシーン記述子を使用しうる。
【0057】
静止画像では、オブジェクト記述子は、2つの主な構成要素、すなわちオブジェクトの形状を定義する形状記述子、およびオブジェクトの大きさ、すなわちオブジェクトの外観を記述する大きさ記述子を有する。たとえば、図2Bに示すオブジェクトベース画像30において、人間の頭部32は形状記述子および大きさ記述子によって表される。
【0058】
動画では、オブジェクト記述子はさらに、第3の構成要素、すなわち、オブジェクトの動きを記述する動き記述子も含む。オブジェクトの形状記述子および大きさ記述子は双方とも、動画中の連続している画像の間で異なることができる。すべての記述子は、画像の提示に必要なビット数を低減するように符号化することができる。
【0059】
オブジェクトベース画像信号の処理を簡明化するために、任意形状の各オブジェクトは、16ピクセルの整数倍である辺を有するバウンディング・レクタングルに配置される。図2Cは、図2Bに示す画像30中の人間の頭部(頭部)32のバウンディング・レクタングル54を示す。その他のオブジェクトは、図面を簡明化するために画像から省略されている。頭部32の形状記述子および大きさ記述子は、バウンディング・レクタングルの座標系を用いて表現される。バウンディング・レクタングルの座標系は、画像の座標系と同じであってもよいが、異なることの方が多い。画像中のバウンディング・レクタングルの位置は、画像の座標系で表現される並進によって定義される。バウンディングレクタングル54の原点の画像中の位置は、画像の座標系における横座標htおよび縦座標vtで示される。
【0060】
予測符号化オブジェクトベース画像信号から導出される予測符号化ブロックベース画像信号のブロックは、画像30の座標系において定義される。例示的なブロックを60で示す。ブロックの大部分は、図面を簡明化するために省略されている。
【0061】
オブジェクトの形状記述子は、オブジェクトのバウンディング・レクタングルをカバーするマスクを用いてオブジェクトの形状を表現する。たとえば、頭部32の形状記述子は、バウンディング・レクタングル54をカバーするマスクを用いて頭部の形状を表現する。マスクは、各オブジェクトピクセルごとにnビットワードで構成されるビットマップである。マスクのタイプは、オブジェクトが不透明であるかどうかに依存する。不透明なオブジェクトのマスクは、n=1であり、かつ各ビットの状態が、対応するオブジェクトピクセルがオブジェクトのサポート内にあるか、それとも外にあるかを定義する二値アルファマスクである。オブジェクトのサポートは、オブジェクトが定義される領域であり、一次元、二次元、または三次元を包含しうる。MPEG−4規格では、各オブジェクトが二次元で定義されるため、MPEG−4オブジェクトのサポートは二次元である。非不透明オブジェクトのマスクは、n>1であるグレースケールアルファマスクである。各オブジェクトピクセルのnビットワードの値は、ピクセルを通過する光の減衰を定義する乗数である。オブジェクトのサポート外では、各ワードはゼロに対応する値を有する。
【0062】
形状記述子は、多くの異なる方法で符号化することができる。たとえば、バウンディング・レクタングルは、16×16ピクセルの個別マクロブロックに区分けすることができる。各マクロブロックは、それぞれオブジェクトのサポートの完全に外側か、完全に内側か、部分的に内側にあり、かつ部分的に外側にある外部マクロブロック、内部マクロブロック、または境界マクロブロックに分類される。外部ブロックはすべて透明であり、オブジェクトが不透明である場合、内部ブロックはすべて不透明であり、そのように効率的に符号化することができる。境界ブロックは、コンテキストベース算術コーダを使用して符号化される。図2Cに示す例では、バウンディングレクタングル54内にある16ピクセルマクロブロック、たとえばマクロブロック55はすべて、境界ブロックである。
【0063】
動画では、ある画像から次の画像へのオブジェクトの形状記述子の進化を、形状動きベクトルのセットを使用して動き補償を形状記述子に適用し、かつコンテキストベース算術コーダを適宜選択されたコンテキストと共に使用して形状予測における誤差を符号化することによって、符号化することができる。
【0064】
サポートの内側のオブジェクトの大きさ記述子は、多くの異なる方法で符号化することができる。たとえば、頭部32のバウンディング・レクタングル54を、図2Dに示すように、8×8ピクセルのブロックおよびブロックDCTを使用して符号化されたピクセル値の対応するブロックに分割することができる。オブジェクトがオブジェクトベース画像信号中で分割されるブロックを、画像がブロックベースの符号化のために分割されるブロックと区別するために、オブジェクトが分割されるブロックをタイルと呼ぶことにする。例示的なタイルを56に示す。オブジェクトのサポートの完全に内側にあるタイル57等内部タイルは、従来通りブロックDCTを使用して符号化することができる。タイル58等境界タイルは、多くの方法で符号化することができる。たとえば、境界タイル内側にあるオブジェクトの大きさをまず、タイルを満たすように外挿することができる。次に、ブロックDCTを使用してタイルを符号化することができる。あるいは、いわゆる形状適応DCT(SADCT)を使用して境界タイルを符号化することもできる。さらなる代替として、オブジェクト全体の大きさを、ウェーブレット変換または形状適応ウェーブレット変換(SAWT)を使用して符号化することも可能である。タイル59等外部タイルは、オブジェクトのサポートの完全に外側にあり、符号化されない。
【0065】
MPEG−4規格では、オブジェクトの大きさ記述子をいくつかの異なる方法で符号化することができるが、ブロックDCT符号化を使用して内部タイルおよび境界タイルを符号化することが、実際に最も普及していると思われる。
【0066】
図2EのE、F、およびGはそれぞれ、画像30がブロックベース符号化のために分割される例示的なブロック61、62、および63を示し、さらに、各ブロック中に現れるタイルを示す。図2EのE中、内部タイル57は、ブロック61において専ら現れる。図2EのF中、内部タイル57の一部および境界タイル64の一部が、ブロック62中に現れる。図2EのG中、内部タイル57の一部と、境界タイル58、64、および65の一部と、背景38(図2B)の1つまたは複数のタイル(図示せず)と、がブロック63中に現れる。したがって、画像30を表す予測符号化オブジェクトベース画像信号は、この画像を表す予測符号化ブロックベース画像信号を生成するようにトランスコーディングされ、ブロック61は、中に現れるタイル57の一部から生成され、ブロック62は、中に現れるタイル57および64の一部から生成され、ブロック63は、中に現れるタイル57、58、64、65の一部および背景の1つまたは複数のタイルから生成される。上記タイルは、オブジェクトベース画像信号中で予測符号化することも、また非予測符号化することもできる。
【0067】
動画におけるオブジェクトの大きさの進化は、ブロックベース画像信号の符号化に使用するものと同様の動き補償予測を使用して符号化することができる。動き補償予測は、ブロックベースの動き予測、またはより洗練されたパラメトリック動き予測を使用して行うことができる。例示的なタイプのブロックベース動き予測では、バウンディング・レクタングルが16×16ピクセルのマクロブロックに分割され、動き予測が、現ブロックとしての各マクロブロックに対して実行される。動き予測は、先に符号化された画像に現れるオブジェクトのインスタンス中の現ブロックに最も密接にマッチングするマクロブロックを識別する。動き補償予測のパフォーマンスを向上させるために、先に符号化された画像中に現れるオブジェクトのインスタンスを外挿して、バウンディング・レクタングルを満たすことができる。さらなる特徴としては、16×16ピクセルのマクロブロックを使用する動き予測から8×8ピクセルのブロックを使用する動き予測に切り換える機能を挙げることができ、さらに、重複ブロック動き補償予測を使用する機能を挙げることができる。
【0068】
ブロックベースの動き予測モデルは、移動するオブジェクトを、各ブロックの動きがブロックを通して均一な平行移動である移動する正方形ブロックのアレイとして取り扱う。パラメトリック動き予測は、オブジェクトの見た目が、均一な並進よりも複雑に画像ごとに変化しうるものと認識する。このような変化としては、平行移動に加えて、回転、スケーリング、および遠近を挙げることができる。MPEG−4等オブジェクトベースの符号化のパラメトリック動き予測機能により、オブジェクトの動きを、アフィンまたは遠近等より洗練された動きモデルを使用して記述することが可能になる。この場合、前の画像中のオブジェクトが、適切な動きモデルを使用して変換され、サンプリング・グリッドへの内挿が行われ、次に、変換されたオブジェクトを参照として使用して予測を行う。パラメトリック動きモデルはオブジェクト全体に適用することができ、またオブジェクトを別個の領域に区分けし、適切な動きモデルを各領域に適用してもよい。
【0069】
パラメトリック動きモデルは、多くのケースで自然に生じる。たとえば、動画を、たとえばコンピュータグラフィックスを使用して合成する場合、画像から画像へのオブジェクトにおける変化は、ワーピング関数によって明示的に定義することができる。ワーピング関数およびそのパラメータは、エンコーダに直接通信しても、またエンコーダがワーピング関数を予測してもよい。別の例では、ある動画シーケンスにおいて、同じ背景が多くの画像にとって共通でありうる。しかし、背景の見た目は、カメラの動きおよびカメラと背景の間にあるオブジェクトによるオクルージョンに起因して変化しうる。こういった場合、スプライトとしばしば呼ばれる、背景全体を符号化し、シーケンスの開始時に一度だけ背景を表す画像信号部分を伝送することは有益である。次に、画像から画像への背景の変化が、カメラの動きを考慮に入れる動きモデルを使用して符号化される。適切な動きモデルを使用すると、動き補償予測の効率、ひいては符号化効率を大幅に増大することができる。
【0070】
図4Aは、オブジェクトベース画像信号を予測符号化するため、および符号化オブジェクトベース画像信号を復号化するためのシステムの構造を示すブロック図である。システムは、伝送/格納パス154でリンクされるオブジェクトベースエンコーダ150と、オブジェクトベースデコーダ152と、で構成される。オブジェクトベースエンコーダは、セグメント化モジュール155と、N個のオブジェクト記述子エンコーダ156−1〜156−Nと、シーン記述子エンコーダ157と、マルチプレクサ158と、で構成される。オブジェクトベースデコーダは、デマルチプレクサ168と、N個のオブジェクト記述子デコーダ166−1〜166−Nと、シーン記述子デコーダ167と、画像コンポーザ165と、で構成される。
【0071】
オブジェクトベースエンコーダ150では、セグメント化モジュール155がオブジェクトベース画像信号に対して動作してシーン記述子を抽出し、シーン記述子に応答して、シーン記述子により識別される各オブジェクトのオブジェクト記述子を抽出する。セグメント化モジュールは、各オブジェクトのオブジェクト記述子をオブジェクト記述子エンコーダ156−1〜156−Nのうちの1つに渡すとともに、シーン記述子をシーン記述子エンコーダ157に渡す。実際のエンコーダに設けられるオブジェクト記述子エンコーダの数は、複雑性と処理速度とのトレードオフによって決まる。シーン中のオブジェクトの数が、利用可能なオブジェクト記述子エンコーダの数を上回る場合、すべてのオブジェクトのオブジェクト記述子が符号化されるまで、オブジェクト記述子エンコーダのうちの少なくとも1つを2回以上使用する。例示的なオブジェクト記述子エンコーダについて、図4Bを参照して以下に述べる。
【0072】
シーン記述子エンコーダ157は、セグメント化モジュール155から受信するシーン記述子を符号化する。
【0073】
オブジェクト記述子エンコーダ156−1〜156−Nにより生成される符号化オブジェクト記述子CODおよびシーン記述子エンコーダ157により生成される符号化シーンン記述子は、マルチプレクサ158に渡され、ここで、多重化されて、予測符号化オブジェクトベース画像信号のフレームが生成される。マルチプレクサは、予測符号化オブジェクトベース画像信号を伝送/格納パス154に供給する。
【0074】
オブジェクトベースデコーダ152では、デマルチプレクサ168が、信号伝送/格納パス154から予測符号化オブジェクトベース画像信号の各フレームを受信し、予測符号化オブジェクトベース画像信号を各オブジェクトの符号化オブジェクト記述子および符号化シーン記述子に分離する。デマルチプレクサは、符号化シーン記述子をシーン記述子デコーダ167に供給し、シーン記述子デコーダ167は、符号化シーン記述子を復号化して再生シーン記述子を生成する。
【0075】
デマルチプレクサ168はさらに、各オブジェクトの符号化オブジェクト記述子をオブジェクト記述子デコーダ166−1〜166−Nのうちの1つに供給する。各オブジェクト記述子デコーダは、1つのオブジェクトまたは直列動作している場合には2つ以上のオブジェクトの符号化オブジェクト記述子を復号化し、各再生オブジェクト記述子を生成する。実際のデコーダに設けられるオブジェクト記述子デコーダの数は、複雑性と処理速度とのトレードオフによって決まる。シーン中のオブジェクトの数が、オブジェクト記述子デコーダの数を上回る場合、すべてのオブジェクトのオブジェクト記述子が復号化されるまで、オブジェクト記述子デコーダのうちの少なくとも1つを2回以上使用する。例示的なオブジェクト記述子デコーダについて、図4Cを参照して以下に述べる。
【0076】
オブジェクト記述子デコーダ166−1〜166−Nは、再生オブジェクト記述子を画像コンポーザ165に供給する。シーン記述子デコーダ167は、再生シーン記述子を画像コンポーザに供給する。画像コンポーザは、オブジェクトの再生オブジェクト記述子を、再生シーン記述子に従って配列して、現画像を再生したものを生成する。
【0077】
図4Bは、図4Aに示す例示的なオブジェクト記述子エンコーダ156−1の内部構造を示す。その他のオブジェクト記述子デコーダは、同様に構築される。オブジェクト記述子エンコーダは、図3Aに示す従来のブロックベースのエンコーダ100をベースとするが、さらに、形状エンコーダ217を備える。ブロックベースエンコーダ100の要素に対応するオブジェクト記述子エンコーダの要素は、同じ参照符号に100を付加したものを使用して示される。オブジェクト記述子エンコーダ156−1は、大きさ記述子、形状記述子、および動き記述子で構成されるオブジェクト記述子を受信する。オブジェクト記述子エンコーダは、動き補償予測を使用して、1つまたは複数の先に符号化されたオブジェクトのインスタンスの大きさ記述子から、現画像中のオブジェクトのインスタンスの大きさ記述子を予測する。先に符号化されたオブジェクトのインスタンスの大きさ記述子は、ローカルデコーダ205により復号化され、オブジェクト記憶装置209に格納されている。減算ノード201が、大きさ記述子の予測における誤差を決定し、変換コーダ215が予測誤差を符号化する。
【0078】
オブジェクト記述子エンコーダ156−1と図3Aに示す従来のブロックベースエンコーダ100との主な相違は、オブジェクトがあらゆる任意の非正方形形状を有することができることである。したがって、オブジェクトの形状記述子は、オブジェクトの大きさ記述子および動き記述子から分けられ、形状エンコーダ217によって符号化される。結果得られる符号化形状記述子CSDはマルチプレクサ213に供給され、ここで、オブジェクトの符号化された大きさ記述子CADおよび符号化された動き記述子CMDと多重化され、オブジェクトの符号化オブジェクト記述子CODを生成する。
【0079】
SDで示すオブジェクトの形状記述子もまた、大きさエンコーダ215、動き補償器210、および動き予測器211に供給され、これらモジュールによって行われる演算に使用される。図示のオブジェクト記述子エンコーダ156−1の例は、ブロックベースの符号化技術、すなわちブロックベースの動き予測および動き補償、ならびにブロックDCTを使用してオブジェクトの大きさ記述子を符号化する。あるいは、オブジェクト記述子エンコーダは、任意の非正方形形状用に特に設計された符号化技術を使用してもよい。
【0080】
図4Cは、図4Aに示す例示的なオブジェクト記述子デコーダ166−1の構造を示す。オブジェクト記述子デコーダは、図3Bに示す従来のブロックベースデコーダ120をベースとするが、さらに、形状デコーダ232およびマスクプロセッサ234を備える。ブロックベースデコーダ120に対応するオブジェクト記述子デコーダ166−1の要素は、同じ参照符号に100を付加したものを使用して示される。
【0081】
オブジェクト記述子デコーダ166−1において、デマルチプレクサ222が、オブジェクトの符号化オブジェクト記述子CODを受信し、オブジェクトの符号化オブジェクト記述子をオブジェクトについての符号化形状記述子CSD、符号化大きさ記述子CAD、および符号化動き記述子CMDに分離する。デマルチプレクサは、符号化形状記述子を形状デコーダ232に供給する。形状デコーダは、符号化形状記述子を復号化して再生した形状記述子SDを生成し、再生した形状記述子を大きさデコーダ233、動きデコーダ224、動き補償器228、およびマスクプロセッサ234に供給する。
【0082】
デマルチプレクサは、符号化動き記述子を動きデコーダ224に供給する。動きデコーダは、符号化動き記述子を復号化して再生した動き記述子を生成し、再生した動き記述子を動き補償器228に供給する。再生した動き記述子は、たとえば、オブジェクトが分割される各タイルの動きベクトルで構成することができる。再生動き記述子に応答して、動き補償器は、オブジェクト記憶装置229に格納されているオブジェクトの再生インスタンスのうちの1つまたは複数の部分を選択し、サンプリンググリッドにワーピング(warping:変形)、内挿し、加算ノード227に供給する。
【0083】
デマルチプレクサは、符号化大きさ記述子を大きさデコーダ233に供給する。ほとんどの画像中のオブジェクトのインスタンスについて、符号化大きさ記述子は、符号化動き補償予測誤差で構成される。大きさデコーダは、符号化大きさ記述子を復号化して、復号化大きさ記述子を生成する。ここでも、ほとんどの画像中のオブジェクトのインスタンスについて、復号化大きさ記述子は、大きさ記述子予測誤差で構成される。大きさ記述子は、復号化大きさ記述子を加算ノード227に供給する。加算ノードは、復号化大きさ記述子を、動き補償器により出力された、先に符号化された1つまたは複数のオブジェクトのインスタンスと加算し、結果得られるマスクされていない再生オブジェクト記述子をマスクプロセッサ234に供給する。
【0084】
マスクプロセッサ234は、再生した形状記述子SDを使用して、マスクされていない再現オブジェクト記述子に対してマスキング演算を行う。結果得られる再現オブジェクト記述子は、オブジェクト記憶装置229に格納される。再生した再現オブジェクト記述子ODが、オブジェクト記憶装置から読み出される。
【0085】
MPEG−2エンコーダ等のブロックベースエンコーダは、画像のほとんどを表す画像信号のフレームが、1つまたは複数の先に符号化された画像から導出される参照画像を使用して予測符号化される画像グループを表す予測符号化ブロックベース画像信号を生成する。MPEG−4エンコーダ等のオブジェクトベースエンコーダは、それぞれオブジェクトを表す多数のオブジェクト記述子を含む画像信号を生成する。各オブジェクトは、それ自体の1つまたは複数の先に符号化されたインスタンスから導出される参照を使用して予測符号化される。ブロックベースのエンコーダは、画像全体に適用される単一の予測ループを使用して動作するため、画像指向と考えることができる。さらに、ブロックベースエンコーダは、各画像に表示されるもののみを符号化する。一方、オブジェクトベースエンコーダは、オブジェクトベースである。エンコーダは、各オブジェクトを別個に符号化し、各オブジェクトについて1つの、複数の予測ループを使用して動作する。オブジェクトベースのデコーダが、シーンに表されるすべてのオブジェクトの符号化オブジェクト記述子を復号化した後、表示のために、オブジェクト記述子を構成して画像を形成する。しかし、オブジェクト記述子が復号化されるすべてのオブジェクトを、任意所与の画像に表示する必要はない。表示されるものとして実際に画像中に現れるものは、画像構成プロセスによって決定される。
【0086】
本開示の譲受人に譲渡され、参照により本明細書に組み込まれる米国特許出願第09/409,935号において、本発明者らのうちの1人(Apostolopoulos)が、符号化画像信号をオブジェクトベースの符号化からブロックベースの符号化にトランスコーディングするトランスコーディング方法およびトランスコーダを開示している。このトランスコーディング方法およびトランスコーダは、静止画像を表す符号化画像信号、またはすべての画像が予測なしで符号化される動画を表す符号化画像信号に対して動作する。
【0087】
本開示は、予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダを記載する。予測符号化オブジェクトベース画像信号は、オブジェクトのうちの少なくとも1つのオブジェクト記述子が予測符号化される画像グループを表す。予測符号化ブロックベース画像信号は、画像のほとんどが予測符号化される画像グループを表す。予測符号化オブジェクトベース画像信号を予測復号化ブロックベース画像信号にトランスコーディングすることは、静止画像または独立して符号化される動画を表す非予測符号化画像信号、をオブジェクトベースの符号化からブロックベースの符号化にトランスコーディングするよりもはるかに難しい。これは、動画を表すオブジェクトベース画像信号の時間特性、および予測符号化により導入される時間依存性によるものである。
【0088】
予測符号化に起因する時間依存性は、トランスコーディングの実行に必要な処理を低減するために、どんな対策をとることができるかの決定をより難しくする。たとえば、下半分が画像中に見えないオブジェクトを含む静止画像を表す画像信号をトランスコーディングする場合、オブジェクトの下半分を表す画像信号の部分をトランスコーディングする必要はない。これは、オブジェクトの下半分が画像中に見えないためである。オブジェクトの下の部分を表す信号部分をトランスコーディングしないことで、画像信号のトランスコーディングに必要な処理資源が低減される。今述べた画像が、動画の少なくとも一部を構成する画像グループ中の最初の画像であり、かつ画像グループ全体を表す画像信号をトランスコーディングする場合、オブジェクトの下半分が最初の画像で見えなくとも、上記オブジェクトの下半分を表す画像信号部分をトランスコーディングする必要がありうる。オブジェクトの下半分を表す画像信号部分は、オブジェクトの下半分が後の画像で見えるようになる場合にはトランスコーディングする必要があり、後の画像中のオブジェクトの下半分は、最初の画像に現れるオブジェクトの下半分を参照として使用して予測符号化される。より一般的に、オブジェクトの任意の非可視部分を表す画像信号部分は、オブジェクトの非可視部分が後に、別の画像を予測符号化するための参照として使用される場合、トランスコーディングする必要がある。
【0089】
多くの用途において、オブジェクトおよび現画像後に符号化される画像の部分を予測するために後で必要になるオブジェクトの部分は、現画像および現画像の前に符号化された画像を表す符号化画像信号の部分を検査することによって決定することができない。しかし、用途によっては、この決定を時にシーン記述子を使用して行うことができるものがある。このような決定を行うことができる場合、それを使用して、現画像を生成し、現画像後に符号化される画像を符号化するために必要な現画像の部分のみがトランスコーディングされるように、現画像を表す符号化画像信号部分のトランスコーディングを制御することができる。これにより、処理資源を節約することができる。
【0090】
アプリケーションによっては、現画像の先を読んで、現画像を表す符号化画像信号部分のどの部分が、現画像を生成するために、または現画像後に符号化される画像の符号化に使用するために、トランスコーディングする必要があるかを決定する機能を提供する。この機能は、符号化画像信号、または現画像グループを表す符号化画像信号部分を、トランスコーディング前に検査することができる場合に存在する。これは、たとえば、符号化画像信号が、トランスコーディング前に格納される場合に発生する。潜在的に先を読む能力により、処理の複雑性が大幅に低減される。
【0091】
本発明は、以下の技術の1つまたは複数を適用することにより、予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするために必要な処理資源を低減する。
【0092】
1.予測符号化オブジェクトベース画像信号の、実際に可視のオブジェクト、または後に符号化される画像中の可視のオブジェクトを予測するために使用されるオブジェクトを表す部分のみが復号化されるように、可視の部分を選択的に復号化する。
【0093】
2.予測符号化オブジェクトベース画像信号の一部を形成する動き情報を使用して、ブロックベース画像信号を予測符号化するための動きベクトルを効率的に予測することを助ける。
【0094】
3.RGB領域よりも高い符号化状態を有する、サブサンプリングされたYUV領域等符号化領域におけるトランスコーディング処理を実行する。
【0095】
4.スプライトまたは背景オブジェクト特徴を利用する。
【0096】
5.逆MC予測等、DCT領域処理を使用する。
【0097】
図5は、本発明によるトランスコーディング方法300を示すフローチャートである。方法300は、現画像が予測符号化される場合に実行される。現画像が独立して符号化される場合には、上述した米国特許出願第09/409,935号に記載のトランスコーディング方法が代わりに採用される。
【0098】
実行は、プロセス301で開始される。
【0099】
プロセス302において、画像グループを表す、MPEG−4画像信号等の予測符号化オブジェクトベース画像信号を受信する。
【0100】
プロセス303において、シーン記述子が、現画像を表すオブジェクトベース画像信号のフレームから抽出され、復号化される。次に、現画像をトランスコーディングするために、符号化オブジェクト記述子を部分的に復号化する必要のある復号化されたシーン記述子によって記述されるオブジェクトまたはオブジェクトの部分が、決定される。プロセス303は、好ましくは、オブジェクト可視性テーブルが、複合化されたシーン記述子に応答して生成されるプロセス304を含む。最も単純な形態において、オブジェクト可視性テーブルは、シーン記述子により記述される各オブジェクトについて、オブジェクトの符号化オブジェクト記述子を復号化する必要があるかどうかを示すエントリを含む。オブジェクトが現画像において全体的または部分的に可視である場合、またはオブジェクトの少なくとも一部が、画像グループ中の後の画像に現れるオブジェクトの1つまたは複数のオブジェクトのインスタンスを符号化するための参照としての役割を果たす場合、オブジェクトの符号化オブジェクト記述子を復号化する必要がある。より高いトランスコーディング効率を提供する形態では、オブジェクト可視性テーブルは、シーン記述子により記述される各オブジェクトの各タイルまたはマクロブロックについて、タイルまたはマクロブロックを表す符号化オブジェクト記述子の部分を復号化する必要があるかどうかを示すエントリを含む。タイルまたはマクロブロックが現画像において全体的または部分的に可視である場合、またはタイルまたはマクロブロックの少なくとも一部が、画像グループ中の後の画像に現れるオブジェクトの1つまたは複数のインスタンスのすべてまたは一部を符号化するための参照としての役割を果たす場合、オブジェクトのタイルまたはマクロブロックを表す符号化オブジェクト記述子の部分を復号化する必要がある。本発明によるトランスコーディング方法に関連して、符号化オブジェクト記述子の参照は、符号化オブジェクト記述子の部分を復号化する必要があると決定される場合、かかる符号化オブジェクト記述子のかかる部分を包含するものと理解されよう。
【0101】
次に、プロセス303において、復号化が必要であると決定された符号化オブジェクト記述子が、オブジェクトベース画像信号から抽出される。好ましくは、オブジェクト可視性テーブルを使用して、抽出すべき符号化オブジェクト記述子を示す。プロセス303は、シーン記述子および抽出された符号化オブジェクト記述子を次のプロセス305に渡す。あるいは、符号化オブジェクト記述子をすべてオブジェクトベース画像信号から抽出し、オブジェクト可視性テーブルと一緒に次のプロセスに渡してもよい。
【0102】
プロセス305において、オブジェクトベース画像信号から抽出された符号化オブジェクト記述子が部分的に復号化されて、部分復号化オブジェクト記述子をそれぞれ生成する。符号化オブジェクト記述子すべてがオブジェクトベース画像信号から抽出される場合、符号化オブジェクト記述子のうち、オブジェクト可視性テーブルに示されるもののみ、そうでなければ復号化が必要なもののみが部分的に復号化される。各符号化オブジェクト記述子に適用される部分復号化処理は、符号化オブジェクト記述子に適用される予測符号化を記述する符号化パラメータを抽出する。符号化パラメータは、各オブジェクト記述子に含まれる符号化動き記述子を復号化することにより得られる動き情報を含む。プロセス305は、シーン記述子、部分復号化オブジェクト記述子、およびそれぞれの符号化パラメータを次のプロセス306に渡す。
【0103】
プロセス306において、現画像がブロックベース符号化のためにブロックに分けられ、シーン記述子を使用して、各ブロックに現れる各タイルを識別する。1つまたは複数のオブジェクトの1つまたは複数のタイルが、任意所与のブロックに現れうる。シフト、マスク、およびマージ演算が、識別された各タイルをあらわす部分復号化オブジェクト記述子の部分に適用され、現画像を表す部分符号化ブロックベース画像信号の対応ブロックを生成する。部分符号化ブロックベース画像信号のブロックは、部分的に符号化された状態で生成される。プロセス306は、部分符号化ブロックベース画像信号のブロックと、可視性および符号化テーブルと、を次のプロセス308に渡す。
【0104】
プロセス306は、現画像について可視性および符号化テーブルを生成するプロセス307を含む。可視性および符号化テーブルは、ブロックベース符号化のために現画像が分割される各ブロックごとに、ブロックに現れる各オブジェクト、ブロックに現れる各オブジェクトのタイル、および各タイルの符号化パラメータを識別する。プロセス307は、現画像の可視性および符号化テーブルをプロセス306に戻す。
【0105】
プロセス306は、部分符号化ブロックベース画像信号のブロックと、可視性および符号化テーブルとを次のプロセス308に渡す。
【0106】
プロセス308において、可視性および符号化テーブルに含まれる情報を使用して、現画像を表す部分符号化ブロックベース画像信号のブロックを適応的にかつ高度な処理能力をもって符号化して、現画像を表し、かつ均一な符号化状態を有する、MPEG−2画像信号等の予測符号化ブロックベース画像信号のフレームを生成する。部分符号化演算は、予測符号化をブロックのうちのほとんどに適用する。パーシャルエンコーダが必要とする処理資源は、可能な限り多くのブロックの予測符号化のための動きベクトルを、可視性および符号化テーブルに含まれる動き記述子から導出することにより、大幅に低減される。
【0107】
プロセス309において、現画像を表す予測符号化ブロックベース画像信号のフレームが出力される。
【0108】
プロセス310において、画像グループ中のすべての画像がトランスコーディングされたかどうかを決定するためのテストが行われる。テスト結果がイエスである場合、実行がプロセス311に進み、プロセス311において終了する。テスト結果がノーである場合、実行はプロセス312を介してプロセス303に戻り、次の画像を処理する。
【0109】
図6Aは、本発明によるトランスコーダ320を示すブロック図である。トランスコーダ320は、現画像が予測符号化される場合に使用される。現画像が独立して符号化される(Iピクチャ)場合には、上記米国特許出願第09/409,935号に記載のトランスコーダが代わりに採用される。
【0110】
トランスコーダ320は、選択的パーシャルデコーダ322、ブロックベース画像生成器323、テーブル生成器324、可視性および符号化テーブル325、ならびにパーシャルエンコーダ326で構成される。
【0111】
選択的パーシャルデコーダ322は、図4Aに示すオブジェクトベースデコーダ152と同様の構造を有し、図6Bを参照してより詳細に後述する。しかし、選択的パーシャルデコーダは、(a)選択的パーシャルデコーダは、ブロックベース画像信号のブロックを生成することができる程度までのみ符号化オブジェクト記述子を復号化し、かつ(b)選択的パーシャルデコーダは、好ましくは、復号化が必要なオブジェクトまたはオブジェクトの部分のみの符号化オブジェクト記述子を復号化するという点において、オブジェクトベースデコーダ152と異なる。オブジェクトベースデコーダ152は、すべての符号化オブジェクト記述子を復号化して、RGBピクセル値のブロックを生成する。選択的パーシャルデコーダ322は、符号化オブジェクト記述子にこれよりも少ない復号化を施し、YUVピクセル値のブロック、DCT係数のブロック、またはランレングス符号化DCT係数のセットへの符号化オブジェクト記述子を復号化することができる。特定の環境下では、選択的パーシャルデコーダは、いくつかの符号化オブジェクト記述子に復号化を施さなくてもよい。
【0112】
選択的パーシャルデコーダ322は、画像グループを表す、MPEG−4画像信号等の予測符号化オブジェクトベース画像信号を受信する。選択的パーシャルデコーダは、符号化シーン記述子を抽出し、復号化する。復号化されたシーン記述子に応答して、選択的パーシャルデコーダは、シーン記述子により記述されるオブジェクトのうちどれが、復号化する必要のある符号化オブジェクト記述子を有するかを決定する。このようなオブジェクトは、現画像において可視であるものであるか、または画像グループ中の任意の後に符号化される画像に現れるオブジェクトまたはオブジェクトの一部を予測するために使用されるものである。あるいは、上述したように、符号化オブジェクト記述子の一部のみを抽出してもよい。本発明によるトランスコーダに関連して、符号化オブジェクト記述子の参照は、符号化オブジェクト記述子の部分を復号化する必要があると判定される場合、かかる符号化オブジェクト記述子のかかる部分を包含するものと理解されよう。次に、選択的パーシャルデコーダは、復号化する必要があると判定されたオブジェクトまたはオブジェクトの部分の符号化オブジェクト記述子を、オブジェクトベース画像信号の対応フレームから抽出する。
【0113】
選択的パーシャルデコーダ322はさらに、復号化する必要があると決定された符号化オブジェクト記述子を部分的に復号化する。各符号化オブジェクト記述子の復号化は、各部分復号化オブジェクト記述子を生成する。選択的パーシャルデコーダは、各画像についての復号化シーン記述子DSDおよび各部分復号化オブジェクト記述子PDODをブロックベース画像生成器323に送る。
【0114】
符号化オブジェクト記述子を復号化する過程において、選択的パーシャルデコーダは、各オブジェクトの符号化動き記述子を復号化することによって得られる動き情報と、オブジェクト記述子が復号化された符号化状態を示す情報と、を含む符号化パラメータを回復させる。選択的パーシャルデコーダは、符号化パラメータCPをテーブル生成器324に送る。
【0115】
ブロックベース画像生成器323は、ブロックベースの符号化のために現画像をブロックに分割し、復号化シーン記述子DSDに応答して動作して、各ブロックに現れる各タイルを識別する。部分復号化オブジェクト記述子PDODによって表されるオブジェクトのうちの1つまたは複数の1つまたは複数のタイルが、任意所与のブロックに現れうる。次に、ブロックベース画像生成器が、シフト、マスク、およびマージ演算を識別されたタイルに適用して、現画像を表すブロックベース画像信号の各ブロックを構築する。ブロックベース画像生成器は、現画像を表す部分符号化ブロックベース画像信号PCBBPSのブロックをパーシャルエンコーダ326に送る。ブロックベース画像生成器はさらに、テーブル生成器324に、現画像の構成の過程で生成するブロックコンテンツ情報BCを送る。ブロックコンテンツ情報は、現画像の各ブロックに現れる各オブジェクトの各タイルを示す。
【0116】
テーブル生成器324は、可視性および符号化テーブル325に格納されるエントリを生成する。可視性および符号化テーブルは、現画像について作成される。可視性および符号化テーブルは、現画像前に符号化される多数の画像について作成される可視性および符号化テーブルを格納する複数のページで構成してもよい。可視性および符号化テーブルは、好ましくは、ブロックベースの符号化のために現画像が分割された各ブロックについてエントリを含む。エントリは、ブロックに現れるオブジェクトを識別するブロックコンテンツ情報BCを含み、さらに、各オブジェクトの符号化パラメータも含む。ブロックコンテンツ情報は、好ましくは、ブロックに現れる各オブジェクトのタイルをさらに識別し、各タイルの符号化パラメータを含む。現画像の可視性および符号化テーブルは、パーシャルエンコーダ326に供給される。
【0117】
パーシャルエンコーダ326は、可視性および符号化テーブル325に含まれる情報を受信し、これを使用して、部分符号化ブロックベース画像信号のブロックを適応的かつ高度な処理能力をもって部分符号化し、現画像を表す予測符号化ブロックベース画像信号を集合的に構成するブロックを生成する。パーシャルエンコーダは、符号化後に、予測符号化ブロックベース画像信号のすべてのブロックが同じ符号化状態にあるように、部分符号化ブロックベース画像信号の各ブロックを符号化する。各ブロックは、好ましくは、ブロックに現れるオブジェクトのうちの少なくとも1つの動き記述子から導出される動きベクトルを使用する予測符号化を用いて符号化される。
【0118】
パーシャルエンコーダ326は、図3Aに示すブロックベースのエンコーダ100と同様の構造であり、図6Cを参照してより詳細に後述する。パーシャルエンコーダ326は、ブロックベースエンコーダ100よりもかなり少ない処理資源を使用する。これは2つの理由による。第1に、ブロックベース画像生成器323から受信する現画像のブロックが部分的に符号化されるため、ブロックを完全に符号化された状態に符号化するために、パーシャルエンコーダが実行する必要のある符号化処理がより少ないということ。第2に、画像グループ中の最初の画像以外については普通のように、現画像が予測符号化される場合、可能な限り多くの部分符号化ブロックベース画像信号のブロックが、可視性および符号化テーブル325中のブロックの各エントリに含まれる動き情報から導出される動きベクトルを使用して予測符号化されるということ。このため、パーシャルエンコーダは、現画像のブロックのほとんどについて計算集約的な動き予測演算を実行しない。
【0119】
パーシャルエンコーダ326によって符号化される部分符号化ブロックベース画像信号の各ブロックは、予測符号化ブロックベース画像信号のブロックとして出力される。予測符号化ブロックベース画像信号は、量子化されたDCT係数のブロックで構成される。トランスコーダ320は、エントロピ符号化を量子化されたDCT係数のブロックに適用するエントロピ符号化モジュール(図示せず)と、エントロピ符号化ブロックを、標準MPEG−2デコーダ等規格デコーダに準拠する予測符号化ブロックベース画像信号に編成する出力バッファ(図示せず)と、をさらに含む。出力バッファは、予測符号化ブロックベース画像信号のビットレートが、所定のビットレート要件または標準入力バッファ制約に準拠するように、パーシャルエンコーダによって適用される量子化を制御するための、フィードバック信号を生成することができる。
【0120】
次に、トランスコーディング方法300のプロセス303および304において、またトランスコーダ320の選択的パーシャルデコーダ322の一部をなすデマルチプレクサ268およびオブジェクト可視性テーブル265(図6B)によって実行される処理について、さらに詳細に説明する。この処理は、各画像の符号化シーン記述子を予測符号化オブジェクトベース画像信号から抽出し、符号化シーン記述子を復号化し、シーン記述子から、シーン記述子により記述される各オブジェクトが現画像において少なくとも部分的に可視であるかどうかを決定する。シーン記述子は、空間および時間におけるオブジェクトロケーション、ならびにオブジェクト可視性等の情報を含む。加えて、処理はまた、現画像では可視ではないが、画像グループ中の後に符号化される画像において可視であるオブジェクトのインスタンスは、現画像中のオブジェクトのインスタンスを参照として使用して少なくとも部分的に予測符号化されたため、符号化オブジェクト記述子をなお復号化しなければならないオブジェクトを識別する。この決定は、先読み動作を行ってどのオブジェクトおよびどのオブジェクト部分が画像グループ中の後に符号化される画像において可視であるか、およびかかるオブジェクトと現画像のシーン記述子によって識別されるオブジェクトの間の依存性を決定することによって、行うことができる。
【0121】
今述べた決定を行うことで、現画像において可視ではなく、かつ後に符号化される画像に現れるオブジェクトのインスタンスを復号化するために後に必要にならないオブジェクトまたはオブジェクト部分のオブジェクト記述子を復号化して処理資源を無駄にすることが回避される。シーン記述子は、画像グループ中のいずれの画像においても可視ではないオブジェクトを記述しうる。オブジェクトベース画像信号は、たとえば、インタラクティブ機能を介してのみアクセスされるオブジェクトのオブジェクト記述子を含むことができる。シーン記述子はまた、画像グループ中の画像のいずれかに表示されるシーンよりも大きなシーンを記述することもできる。たとえば、シーン記述子は、多くのオブジェクトで構成されるパノラマを記述することができるが、画像グループを構成する画像は、パノラマの選択された部分およびオブジェクトのサブセットしか集合的に示すことができない。
【0122】
トランスコーダ320がリアルタイムで動作する用途など、用途によっては、後に符号化される画像に現れるオブジェクトのインスタンスを復号化することができるように、現画像において可視ではないオブジェクトのオブジェクト記述子を復号化するかどうかを決定することが難しい、または実用的ではないことがある。この場合、保守的であるがより多くの資源が必要な手法は、あらゆるオブジェクトのオブジェクト記述子全体を抽出し復号化するというものである。
【0123】
オブジェクトベース画像信号または少なくとも画像の現グループを表す画像信号の部分が格納され利用可能である用途では、部分的な復号化が必要なオブジェクト記述子をいくつかの異なる方法で決定することができる。たとえば、先読み動作を行って、画像グループ中で後に符号化される画像に現れるオブジェクトのインスタンスを復号化するために必要になる非可視オブジェクトを識別することができる。全オブジェクトを識別することに対する代替として、(a)現画像において可視である、また(b)現画像では隠れているが、後に符号化される画像に現れるオブジェクトのインスタンスを復号化するために必要である、オブジェクトの部分のみを識別してもよい。
【0124】
別の技術は、現画像において可視のオブジェクトのみを復号化し、残りのオブジェクトの復号化されていない復号化オブジェクト記述子をキャッシュに入れるというものである。次に、現画像の復号化されていないオブジェクト記述子のキャッシュにバックトラッキングすることにより、復号化する必要があると後に識別されるあらゆるオブジェクトの符号化オブジェクト記述子を復号化することができる。さらなる代替は、現画像において可視のオブジェクトの部分のみを識別し、復号化されていないオブジェクト記述子およびオブジェクト記述子の部分をキャッシュに入れる。代替は、現画像にバックトラッキングして、復号化する必要があると後に見つけられる非可視のオブジェクト部分のオブジェクト記述子を復号化するというものである。
【0125】
好ましい実施形態では、シーン記述子を使用して、現画像のオブジェクト可視性テーブルを構築する。上述したように、オブジェクト可視性テーブルは、シーン記述子により記述される各オブジェクトが現画像において可視であるかどうかを示す。好ましくは、オブジェクト可視性テーブルは、シーン記述子により記述される各オブジェクトの各タイルまたはマクロブロックが、現画像において可視であるかどうかを示す。先読み性能が存在する場合、オブジェクト可視性テーブルは、好ましくは、上述したように、画像グループ中の後に符号化される画像に現れるオブジェクトのインスタンスを復号化するために復号化する必要がさらにあるオブジェクト、マクロブロック、またはタイルをさらに示す。
【0126】
次に、トランスコーディング方法300のプロセス305において、またトランスコーダ320の選択的パーシャルデコーダ322によって実行される処理について、さらに詳細に説明する。プロセス303において、現画像において可視であると決定された、またはオプションとして、後に符号化される画像に現れるオブジェクトのインスタンスを復号化するために必要であると決定された各オブジェクトの符号化オブジェクト記述子が、復号化オブジェクト記述子を使用してブロックベース画像信号の1つまたは複数のブロックを生成することができる程度までのみ復号化される。オブジェクト記述子は、通常RGBピクセル値までずっと復号化する必要がないため、一般に、部分的に復号化される。たとえば、オブジェクト記述子の略大部分は、DCT係数のブロックをもたらす程度、またはサブサンプリングされたYUVピクセル値のブロックをもたらす程度まで、部分的に復号化する必要があるだけである。
【0127】
加えて、各オブジェクト記述子は部分的に復号化されるため、符号化パラメータがオブジェクト記述子から抽出される。符号化パラメータは、オブジェクト記述子の一部をなす動き記述子を復号化することによって得られる動き情報を含む。後述するように、符号化パラメータを後に使用して、プロセス308において、およびパーシャルエンコーダ326によって実行される予測符号化の効率および精度を上げる。符号化パラメータは、各オブジェクトまたはそのタイルについてのイントラ/インター符号化決定、動きベクトルまたはパラメトリック動きフィールド記述等の動き情報、量子化パラメータ、符号化ビットレートおよびオブジェクト記述子が部分的に復号化された符号化状態のインジケータを含む。
【0128】
図6Bは、図6Aに示す選択的パーシャルデコーダ322の構造の例を示す。選択的パーシャルデコーダ322の構造は、図4Aに示すオブジェクトベースデコーダ152と同様である。デコーダ152の要素に対応する選択的パーシャルデコーダ322の要素は、同じ参照符号を用いて示され、さらに説明はしない。
【0129】
選択的パーシャルデコーダ322は、オブジェクト可視性テーブル265を含む。オブジェクト可視性テーブルは、シーン記述子デコーダ167によって生成される復号化シーン記述子DSDに応答して構築される。オブジェクト可視性テーブルは、別の状況で上述しており、ここでさらに説明はしない。
【0130】
デマルチプレクサ268は、オブジェクト可視性テーブル265に応答して、復号化する必要ありとオブジェクト可視性テーブルにおいて示される符号化オブジェクト記述子のみをオブジェクトベース画像信号の現フレームから抽出するように動作する。デマルチプレクサ268は、示された符号化オブジェクト記述子CODをオブジェクト記述子変数デコーダ266−1〜266−Nに供給する。オブジェクト可視性テーブルが、符号化オブジェクト記述子部分が復号化を必要とするオブジェクトのタイルまたはマクロブロックを示すような構造である場合、デマルチプレクサは、符号化オブジェクト記述子全体の代わりに符号化オブジェクト記述子部分CODをオブジェクト記述子変数デコーダに供給して、必要な復号化処理の量を低減する。選択的パーシャルデコーダ322の残りの説明において、符号化オブジェクト記述子の参照は、符号化オブジェクト記述子の部分を復号化する必要があると示される場合、かかる符号化オブジェクト記述子のかかる部分を包含するものと理解されよう。
【0131】
各オブジェクト記述子変数デコーダ266−1〜266−Nは、復号化状態決定モジュール269から受信する制御信号によって決定される復号化状態にオブジェクトの符号化オブジェクト記述子CODのすべてまたは一部を復号化する構造である。図4Aに示すオブジェクト記述子デコーダ166−1〜166−Nは、オブジェクトのオブジェクト記述子を、オブジェクトがRGBピクセル値のタイルで表される完全に復号化される状態に復号化する。選択的パーシャルデコーダ322の好ましい実施形態では、各オブジェクト記述子変数デコーダは、オブジェクトの符号化オブジェクト記述子を、オブジェクト記述子が部分的に符号化されたままである、多数の異なる部分復号化状態の1つに部分的に復号化する。部分復号化オブジェクト記述子は、復号化状態に応じて、たとえば、サブサンプリングされたYUVピクセル値のタイル、DCT係数のタイル、およびランレングス符号化DCT係数のセットで構成されうる。さらに、オブジェクトによっては、部分符号化オブジェクト記述子が、符号化オブジェクト記述子と同じ復号化状態を有しうる。
【0132】
予測符号化オブジェクトベース画像信号中の符号化オブジェクト記述子をサブサンプリングされるYUVピクセル値のタイルに部分的に復号化すると、符号化オブジェクト記述子をRGBピクセル値のタイルに完全に復号化することと比較してかなりの処理資源が節約される。これは、アップサンプリング/フィルタ動作およびYUVからRGBへのマトリックス変換動作を、符号化オブジェクト記述子を復号化する際に行う必要がなく、また、RGBからYUVへのマトリックス変換動作およびフィルタ/ダウンサンプリング動作を、部分符号化ブロックベース画像信号を符号化する際に行う必要がないためである。
【0133】
受信した符号化オブジェクト記述子を部分的に復号化することに加えて、各オブジェクト記述子変数デコーダ266−1〜266−Nは、上述した符号化パラメータを各符号化オブジェクト記述子から抽出し、符号化パラメータを選択的パーシャルデコーダ322の符号化パラメータ出力CPに供給するように構成される。
【0134】
復号化状態決定モジュール269は、選択的パーシャルデコーダ322中の各オブジェクト記述子変数デコーダ266−1〜266−Nが各符号化オブジェクト記述子を部分的に復号化する符号化状態を決定する。オブジェクト記述子変数デコーダに供給される符号化オブジェクト記述子はまた、復号化状態決定モジュールにも供給される。復号化状態決定モジュールは、符号化オブジェクト記述子が元々、ブロックベースのMC予測およびブロックDCT等ブロックベースの技術を使用して符号化されたかどうか、およびブロックが分割されるタイルが、現画像がブロックベースの符号化のために分割されるブロックと整列するかどうかを決定する。これら条件は、たとえば、背景オブジェクトまたはスプライトであるオブジェクトにおいて満たすことができる。符号化オブジェクト記述子がこれら条件を満たす場合、符号化状態決定モジュールは、各オブジェクト記述子変数デコーダに、符号化オブジェクト記述子をDCT係数のタイルまたはランレングス符号化DCT係数のセットに復号化するように、または符号化オブジェクト記述子を全く復号化しないように、命令する。そうでなければ、符号化状態決定モジュールは、各オブジェクト記述子変数デコーダに、符号化オブジェクト記述子をサブサンプリングされたYUVピクセル値のタイルに復号化するように命令する。
【0135】
オブジェクト記述子変数デコーダ266−1〜266−Nおよび復号化状態決定モジュール269は、符号化オブジェクト記述子を上述したものとは異なる符号化状態に復号化するように構成してもよい。加えて、または代替として、オブジェクト記述子変数デコーダおよび復号化状態決定モジュールは、符号化オブジェクト記述子を上述したものよりも多くの符号化状態に復号化するように構成してもよい。
【0136】
選択的パーシャルデコーダ322は、オブジェクト記述子変数デコーダ266−1〜266−Nによって生成される部分復号化オブジェクト記述子PDOD、およびシーン記述子デコーダ167によって生成される復号化シーン記述子DSDをブロックベース画像生成器323に供給する。選択的パーシャルデコーダはさらに、オブジェクト記述子変数デコーダ266−1〜266−Nにより符号化オブジェクト記述子から抽出された符号化パラメータCPをテーブル生成器324に供給する。
【0137】
次に、トランスコーディング方法300のプロセス306において、またトランスコーダ320のブロックベース画像生成器323によって実行される処理について、さらに詳細に説明する。現ブロックベース画像は、ブロックベース画像の各ブロックに現れる部分復号化オブジェクト記述子PDODの1つによって表される各オブジェクトの各タイルを決定することによって生成される。これは、オブジェクトの1つまたは複数のスケールおよび向きの一方または双方を変更すること、そうでなければオブジェクトをブロックベース画像にマッピングすることを含みうる。オブジェクトが重複する場合、マスクおよびマージ演算が行われる。別のオブジェクトに重複するあるオブジェクトのアルファマスクが二値である場合、一方のオブジェクトだけが画像の所与のピクセルにおいて可視である。あるいは、別のオブジェクトに重複するあるオブジェクトのアルファマスクがグレースケールである場合、オブジェクトおよび下のオブジェクトの一次結合が可視である。最後に、オブジェクトのピクセルがブロックベース画像のピクセルにマッピングされ、ブロックベース画像の各ブロックに現れる各オブジェクトの各タイルが識別される。
【0138】
プロセス306は、テーブル生成器324が実行しうるプロセス307を含む。プロセス307は、現画像の可視性および符号化テーブル325を生成する。可視性および符号化テーブルは、現画像の各ブロックに現れる各オブジェクトのオブジェクトベース符号化に関連する情報を格納する。可視性および符号化テーブルに格納される情報は、プロセス308において、またブロックベース画像信号を予測符号化する際にパーシャルエンコーダ326によって使用される。
【0139】
可視性および符号化テーブル325は、ブロックベースの符号化により現画像が分けられる各ブロックについてのエントリを含む。可視性および符号化テーブル中の各ブロックのエントリは、ブロックに現れる1つまたは複数のオブジェクトを識別し、かかるオブジェクトの符号化パラメータを含む。好ましい実施形態では、可視性および符号化テーブル中の各ブロックのエントリはさらに、ブロックに現れる各オブジェクトの1つまたは複数のタイルを識別し、かかるタイルの符号化情報を含む。
【0140】
可視性および符号化テーブル325を生成するプロセス307の詳細を図7に示す。プロセス307は、テーブル生成器324により、図6Aに示すトランスコーダ320において可視性および符号化テーブル325を生成するために行うことができる。実行はプロセス331において開始する。
【0141】
プロセス332において、現画像のブロックを追跡するブロックカウンタが、現画像がブロックベース符号化のために分けられるブロックの数に初期化される。
【0142】
プロセス333において、現画像の現ブロックに現れる1つまたは複数のオブジェクトが識別され、識別が可視性および符号化テーブル中の現ブロックのエントリに加えられる。現ブロックは、ブロックカウンタによって示される。
【0143】
プロセス334において、オブジェクトカウンタは、現ブロックに現れるものとプロセス333によって識別されたオブジェクトの数に初期化される。
【0144】
プロセス335において、オブジェクトカウンタによって示されるオブジェクトの符号化パラメータは、可視性および符号化テーブル中の現ブロックのエントリに入力される。テーブルに入力される符号化パラメータについて以下に述べる。好ましい実施形態では、符号化パラメータは、現ブロックに現れるオブジェクトのタイルに関連する符号化パラメータを含む。
【0145】
プロセス336において、オブジェクトカウンタがテストされ、現ブロックに現れると識別されたすべてのオブジェクトの符号化パラメータが、可視性および符号化テーブルに入力されたかどうかを決定する。テスト結果がノーである場合、実行はプロセス337に戻り、ここで、オブジェクトカウンタが1だけ減分されてから、プロセス335を戻り、現ブロックに現れるオブジェクトのうちの別のオブジェクトの符号化パラメータを可視性および符号化テーブル中の現ブロックのエントリに加えることができる。
【0146】
プロセス336によって生成されるテスト結果がイエスである場合、実行はプロセス338に進む。プロセス338において、ブロックカウンタがテストされ、現画像のすべてのブロックが処理されたかどうかを決定する。テスト結果がノーである場合、実行はプロセス339に進み、ここでブロックカウンタが1だけ減分されてから、プロセス333に進み、現画像のブロックのうちの別のブロックを処理することができる。テスト結果がイエスである場合、実行はメインルーチンに戻る。
【0147】
図7も、現画像の各ブロックに現れる各オブジェクトについて可視性および符号化テーブルにプロセス335において入力される符号化パラメータの例を示す。示す符号化パラメータ例は、以下である。
【0148】
1.ブロックに現れるオブジェクトの部分が予測的に符号化されたか(すなわち、インター)、非予測的に符号化されたか(すなわち、イントラ)、それとも部分的にインターで部分的にイントラかを示すデータ。
【0149】
2.オブジェクトの動き情報。
【0150】
3.オブジェクトとブロックとの間の重複の量。これは、たとえば、オブジェクトから生成されるブロックのピクセル数で示すことができる。
【0151】
4.量子化およびビットレートパラメータ。
【0152】
5.ブロックに現れるオブジェクトの部分が可視であるか、部分的に可視であるか、それとも隠れているかを示すビット。
【0153】
6.選択的パーシャルデコーダがオブジェクトの符号化オブジェクト記述子を復号化した符号化状態。
【0154】
可視性および符号化テーブルの各エントリが表す現画像のブロックは、MPEG−2マクロブロック、すなわち16×16ピクセルのブロックに対応することができる。あるいは、ブロックは、8×8ピクセル、4×4ピクセル、2×2ピクセル、またはさらにはおそらく1×1ピクセルのサイズを有するMPEG−2マクロブロックのサブブロックに対応することができる。サイズの小さなブロックほど、このようなブロックにおいて1つのオブジェクトしか現れない単一オブジェクトブロックである可能性が高いため、処理が単純である。しかし、サイズの小さなブロックほど、かなり増大したメモリおよび処理要件を課す。固定ブロックサイズが使用される場合、8×8ピクセルのブロックが、パフォーマンスとメモリ要件との妥当なトレードオフを提供する。
【0155】
可視性および符号化テーブルエントリは、固定のサイズおよび形状のブロックを要求しない。可視性および符号化テーブル中のエントリは、単一オブジェクトブロックであるブロックと一致して複雑性を最小に抑える目的で、サイズおよび形状が動的に決定されるブロックに対応することができる。たとえば、四分木(quadtree)または階層的表現を、32×32(またはこれよりも大きい)ピクセルから2×2ピクセルの範囲のブロックサイズを有する正方形または方形のブロックと共に使用することができる。ブロックのいくつかが次第により小さなブロックに分割される階層的表現の例を図8に示す。可視性および符号化テーブル中のエントリが関連するブロックのサイズおよび形状が変動する場合、フルサイズよりも小さなブロックに関連するエントリは、ブロックのサイズ、形状、およびロケーションを示す情報を含むべきである。この情報は、多数の技術を使用して提供することができる。たとえば、四分木表現を使用することができる。
【0156】
各オブジェクトの可視性および符号化テーブルに格納される動き情報は、MPEG−2で使用されるものと同様にブロックベースのモデルを使用して、またはパラメトリック動きモデルを使用して、オブジェクトの動きを記述することができる。オブジェクトの動きは、オブジェクトのインスタンスが現れる1つまたは複数の予測符号化画像から、オブジェクトが現れる現画像のブロックを予測する動きベクトルのベースとして使用される。
【0157】
上述したように、オブジェクトベースエンコーダでオブジェクト記述子を符号化するために使用することのできるブロックベースモデルは、従来のブロックベース符号化で使用されるブロックベースモデルと同様である。しかし、MC予測のためにオブジェクトの大きさ記述子が分割されるタイルのサイズは、固定サイズである必要はなく、16×16ピクセル、8×8ピクセル、または別のサイズであってもよい。さらに、オブジェクトのタイルが、ブロックベース符号化のために現画像が分割されるブロックと整列する可能性は低い。したがって、上述したように、オブジェクトの2つ以上のタイルが、現画像中のオブジェクトが重複するブロックの大部分に現れるであろう。可視性および符号化テーブル中の各ブロックのエントリは、ブロックに現れる各オブジェクトの各タイルの動きベクトルまたは他の動き情報を含む。エントリはさらに、ブロックに現れる各タイルの動きベクトルの重要度のある指標を提供する情報を含むことができる。たとえば、エントリは、ブロックの各タイルの占有率を示す情報を含むことができる。この情報を使用して、各タイルの動きベクトルの重要度を示すことができ、占有率が大きいほど、動きベクトルが重要である。
【0158】
ブロックに現れるオブジェクトの動きが、パラメトリック動きモデルを使用して記述される場合、動きモデルおよびモデルを使用して生成される代表的な動きベクトルの一方または双方を、可視性および符号化テーブル中のブロックのエントリに含めることができる。パラメトリック動きモデルは、アフィンまたは遠近等、ある形態のマッピングでオブジェクトの動きを記述する。パラメトリック動きモデルがエントリに含められる場合、あらゆるピクセルの動きの算出に使用される式およびパラメータセットが、テーブルに入力される。代表的な動きベクトルは、たとえば、ブロックの中央またはブロックの角の動きを表すベクトル、または中央または平均動きベクトルを含むことができる。
【0159】
可視性および符号化テーブルは、後続処理を簡単にするために、現画像の座標に相対して動きを表現することができる。オブジェクトベース画像信号では、オブジェクトの動き記述子が、オブジェクト自体の座標系に相対してオブジェクトの動きを表現する。さらに、シーン記述子は、画像におけるオブジェクトの位置を定義するだけではなく、画像から画像へのオブジェクト全体の動きを示すこともできる。したがって、現画像MVpictureの座標に相対するオブジェクトの動きは、シーン記述子MVsceneおよびオブジェクト自体の動き記述子MVobjectによって表現される動きの和に等しい。すなわち、以下のようになる。
【0160】
【数】
MVpicture=MVscene+MVobject
可視性および符号化テーブル325は、ブロックベース符号化のために現画像が分割される各ブロックを予測符号化するプロセスにおいて使用される。可視性および符号化テーブルはさらに、再量子化および部分再符号化等の他の処理ステップを助けるためにも使用される。可視性および符号化テーブルは、関連する画像が、他の画像を予測符号化するための参照画像を生成するために使用される限り、格納することができる。たとえば、従来のMPEG−2符号化は、3つの画像、すなわち現画像および2つの先に符号化された画像を含む。したがって、これら画像それぞれに1つで、3つの可視性および符号化テーブルを格納する必要がある。
【0161】
次に、図5に示すトランスコーディング方法300のプロセス308において、また図6Aに示すトランスコーダ320のパーシャルエンコーダ326によって実行される処理について、詳細に説明する。このプロセスでは、現画像を表す部分符号化ブロックベース画像信号のブロックが、部分的に符号化されて、均一な符号化状態にする。部分符号化ブロックベース画像信号の各ブロックの符号化は、ブロックを符号化する最良の方法を決定することを含む。これは、ブロックを予測的に、すなわちインター符号化ブロックとして符号化するか、それとも非予測的に、すなわちイントラ符号化ブロックとして符号化するかを決定することを含む。ブロックを予測符号化すべきである場合、MC予測の動きベクトルがさらに決定される。
【0162】
図6Cは、図6Aに示すトランスコーダ320の一部をなすパーシャルエンコーダ326の例を示す。パーシャルエンコーダ326の構造は、図3Aに示すブロックベースエンコーダ100と同様である。ブロックベースエンコーダ100の要素に対応するパーシャルエンコーダ326の要素は、同じ参照符号を使用して示され、さらに説明はしない。
【0163】
図示のパーシャルエンコーダ326の実施形態は、部分符号化ブロックベース画像信号PCBBPSを構成するサブサンプリングされたYUVピクセル値あるいはDCT係数のブロックを同じ符号化状態に符号化するように構築される。パーシャルエンコーダは、変数エンコーダ271を含む。パーシャルエンコーダは、部分符号化ブロックベース画像信号のすべてのブロックを同じ符号化状態に符号化する。パーシャルエンコーダはさらに、他の符号化状態にある部分符号化ブロックベース画像信号のブロックを上述した同じ符号化状態に符号化するようにも構築することができる。
【0164】
図示するトランスコーダ320の実施形態では、部分符号化ブロックベース画像信号のブロックは、サブサンプリングされたYUVピクセル値あるいはDCT係数のブロックのいずれかである。各ブロックの符号化状態は、可視性および符号化テーブルVCT中のブロックのエントリにおける符号化状態情報で示される。符号化コントローラ272は、可視性および符号化テーブルを受信し、可視性および符号化テーブルから現ブロックの符号化状態情報を抽出し、符号化状態制御信号DDを変数コーダ271に供給する。次に、変数エンコーダが、符号化状態情報により指定された符号化を現ブロックに対して適用する。
【0165】
可視性および符号化テーブルVCTはまた、符号化モードモジュール273にも供給される。符号化モードモジュールは、現ブロックに適用される符号化を決定するように動作する。好ましい符号化モードは、現ブロックに現れる1つまたは複数のオブジェクトの動き記述子に基づく動きベクトルを使用してのMC予測符号化である。符号化モードモジュールは、現ブロックの可視性および符号化テーブル中のエントリの一部として動き記述子を受信する。
【0166】
符号化モードモジュール273は、動き予測器211の要求する処理資源がかなり少ないため、動き予測器211を優先して動作する。しかし、符号化モードモジュールが、現ブロックに現れる1つまたは複数のオブジェクトの動き記述子に基づく動きベクトルを使用しての現ブロックの予測符号化が不可能である、または効率的ではないと決定する場合、動き予測器をアクティブ化して、現ブロックを予測符号化するための動きベクトルを決定することができる。
【0167】
動き予測器211が実行する動き予測は、現ブロックの可視性および符号化テーブル中のエントリに含められる動き記述子を、簡略化された動き予測演算を実行する開始ポイントとして使用することができる。あるいは、動き予測器は、完全な動き予測演算を実行して、始めから動きベクトルを生成してもよい。最後に、符号化モードモジュール273は、現ブロックが予測なしで、すなわちイントラ符号化ブロックとして最良に符号化されることを決定することができる。符号化モードモジュールの動作については、図12および図13A〜図13Dを参照してより詳細に後述する。
【0168】
現ブロックの符号化モードを決定する際、符号化モードモジュール273は、現ブロックを以下のカテゴリのうちの1つに分類する。
【0169】
1つのみのオブジェクトが現れる単一オブジェクト(SO)ブロック
2つ以上のオブジェクトが現れる複数オブジェクト(MO)ブロック
現ブロックが単一オブジェクトブロックである場合、可視性および符号化テーブル中の現ブロックのエントリ中の符号化パラメータはすべて、単一オブジェクトから来るものである。この場合、符号化モードモジュール273は、ブロックの符号化方法を決定するために、単一オブジェクトの符号化パラメータを解析する必要があるだけである。しかし、現ブロックが複数オブジェクトブロックである場合、符号化モードモジュールは、ブロックの符号化方法を決定するために、複数のオブジェクトの符号化パラメータを解析しなければならない。複数オブジェクトブロックに適用される解析は、各ブロックを一つのみの方法、すなわちインターまたはイントラで符号化することができる従来のブロックベース符号化とは対照的に、複数オブジェクトの現ブロックに現れるオブジェクトのいくつかまたはすべてを別様に符号化されているかもしれないため、はるかにより複雑である。符号化モードモジュールは、現ブロックを予測符号化するための単一の動きベクトルを決定しなければならない。符号化モードモジュールは、現ブロックが単一オブジェクトブロックである場合、現ブロックの動きベクトルをオブジェクトの動き記述子から効率的に予測することができることが多い。しかし、現ブロックが複数オブジェクトブロックである場合、それぞれ独立した動きを有する2つ以上のオブジェクトがブロックに現れ得る。2つ以上のオブジェクトの動きを表す動きベクトルは、オブジェクトベース符号化で独立して符号化された。しかし、符号化モードモジュールは、単一の動きベクトルを現ブロック全体に割り当てなければならない。
【0170】
ブロックベースの符号化のために現画像が割り当てられる現ブロックとしての各ブロックについて、トランスコーディング方法300のプロセス308および符号化モードモジュール273は、ブロックに現れるオブジェクト、オブジェクトどのように符号化されたか等を含め、現ブロックの特定の特徴を検査し、次に、可能な符号化方法のセットから現ブロックの符号化方法を適応的に選択する。選択される符号化方法は、現ブロックに最も適したものである。符号化方法を選択する際に考慮に入れる要因としては、所望の符号化目標(たとえば、ビットレート、可変ビットレート対一定のビットレート等)、利用可能な処理資源、ソフトウェア/ハードウェアアーキテクチャ等が挙げられる。
【0171】
現ブロックに現れる1つまたは複数のオブジェクトの動き記述子を、現ブロックを符号化するための動きベクトルのベースとして使用することは、最初の見かけよりも複雑である。オブジェクトベース符号化では、各オブジェクトが、1つまたは複数の先に符号化されたオブジェクトのインスタンスから導出される参照インスタンスを使用して予測符号化される。従来のブロックベース符号化では、各画像が、1つまたは複数の先に符号化された画像を参照画像として使用して符号化される。トランスコーディングは、現画像中のオブジェクトのインスタンスを元々符号化するための参照インスタンスが導出された1つまたは複数の先に符号化されたインスタンスが、現画像を符号化するための参照画像が導出される先に符号化される画像の1つまたは双方に現れないかもしれないため、複雑である。
【0172】
たとえば、図9Aは、オブジェクトベース符号化を使用しての単純な3オブジェクト3フレーム動画の符号化を示す。図9AのA〜Cは、フレーム0、フレーム1、およびフレーム2と連続して提示されるフレームおける人間オブジェクト291を示し、図9AのD〜Fは風船オブジェクト292を示し、図9AのG〜Iは背景オブジェクト293を示す。人間オブジェクト、風船オブジェクト、および背景オブジェクトのインスタンスは、フレーム0では独立して符号化される。図9AのB、E、およびHに示すフレーム1におけるオブジェクトのインスタンスは、図9AのA、D、およびGに示すフレーム0におけるオブジェクトのインスタンスをそれぞれの参照として使用して、順方向予測で符号化される。図9AのC、F、およびIに示すフレーム2におけるオブジェクトのインスタンスは、フレーム1におけるオブジェクトのインスタンスをそれぞれの参照として使用して順方向予測で符号化される。オブジェクトベース符号化では、各オブジェクトを、組み立てられた画像中のその他のオブジェクトによるオブジェクトのあらゆるオクルージョンに関係なく、他のオブジェクトから完全に独立して符号化することができる。したがって、フレーム1における風船オブジェクト292のインスタンスのタイルTは、フレーム1における風船オブジェクトのタイルTが体のオブジェクト291でオクルージョンされる場合であっても、フレーム2における風船オブジェクトのインスタンスのタイルTを予測符号化するための参照としての役割を果たすことができる。
【0173】
ブロックベース符号化では、個々のオブジェクトの概念がない。現画像に現れるオブジェクトのインスタンスが予測符号化されたものに関する参照インスタンスが、現画像を符号化するための参照画像の一方または双方においてオクルージョンされる場合、オブジェクトが現れるブロックベース画像のブロックの動きを予測するために、オブジェクトの動き記述子を使用することはできない。図9BのJ〜Lは、ブロックベース符号化を使用しての単純な3オブジェクト3フレーム動画の符号化を示す。風船オブジェクト292のタイルTが図9BのLに示すフレーム2に現れるブロックBの動きは、風船オブジェクトの動き記述子を使用して予測することができず、これは、タイルTが表す風船オブジェクトの部分が、図9BのJおよびKそれぞれに示されるフレーム0およびフレーム1における人間オブジェクト291でオクルージョンされ、したがってタイルTがこれらフレームのいずれのブロックにも現れないためである。
【0174】
したがって、ブロックベース符号化のために現画像が分割されるブロックと、ブロックに現れるオブジェクトとの間の関係は通常、複雑である。以下の説明では、オブジェクトベース符号化がブロックベースのMC予測を使用し、各オブジェクトが16×16ピクセルのタイルに分割されるものと想定する。しかし、説明する概念は、可変サイズのブロックおよび領域ベースのMC予測、たとえば真パラメトリック動きフィールド等を網羅するように一般化することができる。
【0175】
上述したように、現ブロックに現れる1つまたは複数のオブジェクトのタイルは概して、ブロックベース符号化のために現画像が分割されるブロックと一致しない。これは、4つのタイル351、352、353、および354が現ブロック355に現れる図10に示される。タイルは単一オブジェクトの一部をなし、残りは、図面を簡明にするために示さない。現ブロックは、ブロックベース符号化のために現画像が分割されるブロックの1つである。図面を簡明にするために、現画像全体は示さない。
【0176】
各タイル351〜354は、予測なしで、すなわちイントラ符号化タイルとして符号化することも、または予測して、すなわちインター符号化タイルとして符号化することもできる。予測符号化される各タイルの参照タイル、すなわち現画像中のオブジェクトのインスタンスにおけるタイルを予測するために使用されたオブジェクトの先に符号化されたインスタンスにおけるタイルは、完全にオブジェクトの先に符号化されたインスタンスの境界の内側にあることも(内部タイル)、またはオブジェクトの先に符号化されたインスタンスの境界に重なっている(境界タイル)こともある。さらに、参照タイルは、先に符号化される画像において可視であることも、部分的に可視であることも、または隠れていることもある。これらの可能性は、図11Aおよび図11Bに示す。
【0177】
図11Aは、現画像361中の現ブロック365を符号化するための参照タイルとして動作する参照画像360中のオブジェクトの内部タイルを示す。画像360は、現画像361を表すブロックベース画像信号のフレームを予測符号化するための参照画像である。参照画像360は、背景オブジェクト362、風船オブジェクト363、および人間オブジェクト364のオブジェクト記述子を含むオブジェクトベース画像信号のフレームと、人間オブジェクトの一部が風船オブジェクトの一部をオクルージョンした状態で風船オブジェクトおよび人間オブジェクトを背景オブジェクトの正面に配するシーン記述子をトランスコーディングすることによって得られた。
【0178】
現画像361において、タイル365は、画像361の単一オブジェクトブロック(図示せず)に現れる風船オブジェクト363のタイルの1つである。タイル365の3つの可能な参照タイルが、参照画像360に示される。これらの中で、タイル366は、完全に可視の内部タイルであり、タイル367は、部分的に可視の内部タイルであり、タイル368は、隠れた内部タイルである。
【0179】
図11Bは、現画像361における現ブロック365を符号化するための参照タイルとしての役割を果たす参照画像360中のオブジェクトの境界タイルを示す。参照画像360において、タイル369は、完全に可視の境界タイルであり、タイル370は、部分的に可視の境界タイルであり、タイル371は、隠れた境界タイルである。
【0180】
オブジェクトベース符号化では、オブジェクトのサポート内にある境界タイルのピクセルは、オブジェクトピクセルである。境界タイルの残りのピクセルは、オブジェクトベースの動き補償予測を行うためにより効率的な形状を形成するために使用される外挿ピクセルである。境界タイルのオブジェクトピクセルのみが、参照画像に現れることができ、外挿ピクセルは、オブジェクトベース符号化におけるツールとしてのみ使用され、画像構成プロセスにおいて破棄される。したがって、外挿ピクセルはあらゆる画像に決して現れない。加えて、境界タイルは、図11Bに示すように、先に符号化された画像において可視であることもあり、または部分的に可視であることも、または完全に隠れていることもある。したがって、単一オブジェクトブロックの場合であっても、各ブロックとブロックに現れるタイルとの間の関係は、かなり複雑になりうる。現ブロックと現ブロックに現れるタイルとの間の可能な関係は、現ブロックが単一オブジェクトブロックである場合、表1に要約される。
【0181】
【表1】
現ブロックが複数オブジェクト(MO)ブロックである場合、2つ以上のオブジェクトがブロックに現れる。現ブロックに現れる各オブジェクトは、上記単一ブロックに現れるオブジェクトの構造および複雑性を有しうる。これを表2に示す。
【0182】
【表2】
パーシャルエンコーダ326の符号化パフォーマンスおよび部分符号化処理308を最適化するために、現ブロックの構造が識別され、次に、現ブロックがその構造に基づいて処理される。可能な異なるすべてのシナリオにおいて良好な符号化パフォーマンスを提供するために、処理は、ブロックに現れるタイルに応答して適合される。
【0183】
図12は、パーシャルエンコーダ326における符号化モードモジュール273により、かつ部分符号化処理308の一環として実行されるプロセス380の例を示す。符号化処理は、上述したように、異なる特徴を有するブロックを処理するようにそれぞれ適合された多数の異なる符号化プロセスの1つを使用して、ブロックベース画像信号の各ブロックを現ブロックとして符号化する。例示的な符号化プロセスについて、図13A〜図13Dを参照して後述する。現ブロックを符号化する前に、プロセス380は、ブロックを解析して、符号化プロセスのうち、現ブロックの符号化に使用するために最適な1つを決定する。
【0184】
実行は、プロセス381で開始する。
【0185】
プロセス382において、テストが、可視性および符号化テーブル中の現ブロックのエントリに対して行われ、現ブロックが単一オブジェクトブロックであるかどうかを決定する。テスト結果がイエスである場合、実行は、次に述べるプロセス383に進む。テスト結果がノーである場合、実行は以下に述べるプロセス392に進む。
【0186】
プロセス383〜385において、一連のテストが、可視性および符号化テーブル中の現ブロックのエントリに対して実行され、現ブロックに現れるすべてのタイルがインター符号化されているかどうか、かかるタイルの参照タイルがすべて内部タイルであるかどうか、および参照タイルがすべて可視であるかどうかを判定する。すべてのプロセスにおけるテスト結果がイエスである場合、これは、現ブロックがSO/すべてインター/すべて内部/すべて可視のブロックであることを示し、実行は、次に述べるプロセス386に進む。プロセスのいずれかにおけるテスト結果がノーである場合、これは、現ブロックが、現ブロックに現れるタイルのいくつかがイントラ符号化されたブロック、またはタイルのいくつかが、境界タイルである、もしくは少なくとも部分的に隠れた参照タイルを使用してインター符号化されたブロックであることを示す。この場合、実行は、以下に述べるプロセス389に進む。
【0187】
プロセス383〜385のすべての結果がイエスであると、実行はプロセス386に進み、ここで、現ブロックが、図13Aを参照して後述する符号化プロセスを使用して符号化される。次に、実行はプロセス387に進み、テストを実行して、現画像のすべてのブロックが符号化されたかどうかを判定する。テスト結果がイエスである場合、実行はメインルーチンに戻る。テスト結果がノーである場合、実行はプロセス388を介してプロセス382に戻り、次のブロックを処理させる。
【0188】
プロセス383〜385のいずれかにおいて実行されるテストの結果がノーであると、実行はプロセス389に進み、テストを実行して、現画像がPピクチャとして符号化されているかどうかを判定する。Pピクチャは、順方向動き補償(F−MC)のみを使用して主に予測符号化される画像である。結果がイエスであると、実行はプロセス390に進み、現ブロックが、図13Cを参照して後述する符号化プロセスを使用して符号化される。次に、実行は上述したプロセス387に進む。
【0189】
プロセス389において実行されるテストの結果がノーであることは、現画像がBピクチャとして符号化されていることを示す。Bピクチャは、順方向、逆方向、および双方向の動き補償を使用して主に予測符号化される画像である。この場合、実行はプロセス391に進み、現ブロックが、図13Dを参照して後述する符号化処理を使用して符号化される。次に、実行は上述したプロセス387に進む。
【0190】
プロセス382における結果がノーであることは、現ブロックが複数オブジェクトブロックであることを示し、実行はプロセス392に進む。プロセス392〜394において、プロセス383〜385において実行したテストと同様の一連のテストが、可視性および符号化テーブル中の現ブロックのエントリに対して行われる。一連のテストは、可視性および符号化テーブルにおいて、現ブロックに現れると示される各オブジェクトのタイルに対して行われる。すべてのテストのテスト結果がイエスであることは、現ブロックがMO/すべてインター/すべて内部/すべて可視のブロックであることを示し、実行はプロセス395に進み、現ブロックが、図13Bを参照して後述する符号化プロセスを使用して符号化される。次に、実行は上述したプロセス387に進む。
【0191】
プロセス392〜394のいずれかのテスト結果がノーである場合、これは、現ブロックが、ブロックに現れるいくつかのタイルがイントラ符号化である複数オブジェクトブロック、またはタイルのいくつかが、境界タイルもしくは少なくとも部分的に隠れている参照タイルを使用してインター符号化される複数オブジェクトブロックであることを示す。この場合、実行はプロセス396に進み、テストを実行して、現画像がPピクチャとして符号化されているかどうかを判定する。結果がイエスであると、実行はプロセス397に進み、現ブロックが、図13Cを参照して後述する符号化プロセスが現ブロックに現れる各オブジェクトについて実行される符号化プロセスを使用して符号化される。次に、実行は上述したプロセス387に進む。
【0192】
プロセス396において実行されるテストの結果がノーであることは、現画像がBピクチャとして符号化されていることを示す。この場合、実行はプロセス396に進み、現ブロックが、図13Dを参照して後述する符号化処理が現ブロックに現れる各オブジェクトに対して実行される符号化プロセスを使用して符号化される。次に、実行は上述したプロセス387に進む。
【0193】
まず、符号化プロセス386について図13Aを参照して述べる。この符号化プロセスは、現ブロックがSO/すべてインター/すべて内部/すべて可視である、すなわち、
ブロックに現れるすべてのタイルが予測符号化(すなわちインター符号化)され、
ブロックに現れるタイルのすべての参照タイルが内部タイルであり、かつ
ブロックに現れるタイルのすべての参照タイルが参照画像において可視である、
場合に、現ブロックを符号化するためのものである。
【0194】
実行はプロセス401で開始する。まず、サブルーチン402が実行されて、可視性および符号化テーブル中の現ブロックのエントリに存在する動きベクトルのいずれかを使用して、現ブロックを予測符号化することができるか否かを判定する。サブルーチン402は、プロセス403〜406で構成される。サブルーチン402は、プロセス405において得られるテスト結果に応じて、すなわち、現ブロックが既存の動きベクトルの1つを使用して予測符号化することができるか否かに応じて、2つのパスのうちの一方に抜ける。
【0195】
プロセス403において、動きベクトルが、可視性および符号化テーブル中の現ブロックのエントリから読み出される。
【0196】
プロセス404において、既存の動きベクトルそれぞれを、現ブロックを予測符号化するための動きベクトルとして使用することのコストを判定する。コストは、平均二乗誤差(MSE)、平均絶対誤差(MAE)、MC残余の符号化に必要なビットの数、またはR+λD(レート歪み)式等、任意適切な測定を使用して判定することができる。
【0197】
プロセス405において、テストを実行して、既存の動きベクトルのいずれかが、現ブロックを予測符号化するための動きベクトルとして使用可能であるかどうかを決定する。これは、たとえば、プロセス404において判定される、既存の動きベクトルのいずれかを使用することのコストが、所定の閾値コストよりも低いかどうかを判定することにより、判定することができる。テスト結果がイエスである場合、サブルーチンの実行はプロセス412に抜け、現ブロックが、さらに詳細に後述するように、既存の動きベクトルの1つを使用して予測符号化される。
【0198】
プロセス405によって生成されるテスト結果がノーであり、既存の動きベクトルのいずれか1つを使用して現ブロックを予測符号化することのコストが高すぎることを示す場合、実行はプロセス406に進む。プロセス406において、既存の動きベクトルおよびそれぞれのコストが格納される。コストは、たとえば、可視性および符号化テーブル中の現ブロックのエントリにそれぞれ既存の動きベクトルと一緒に格納することができる。次に、サブルーチン402の実行はサブルーチン407に抜ける。
【0199】
サブルーチン407は、現ブロックを予測符号化する際に潜在的に使用しうる追加動きベクトルを生成し、追加動きベクトルのいずれか1つを使用して、現ブロックを予測符号化することができるか否かを決定する。サブルーチン407は、プロセス408〜411で構成される。サブルーチン407は、プロセス410のテスト結果に応じて、すなわち、追加動きベクトルの1つを使用して、現ブロックを予測符号化することができるか否かに応じて、2つのパスのうちの一方に抜ける。
【0200】
プロセス408において、追加動きベクトルが現ブロックについて生成される。初期動きベクトルを改良したものを、追加動きベクトルとして生成してもよい。加えて、または代替として、可視性および符号化テーブルに存在する動きベクトルを使用して、追加動きベクトルを予測してもよい。さらなる代替として、図13Cおよび図13Dを参照してより詳細に説明するように、新しい動きベクトルを生成してもよい。
【0201】
プロセス409において、追加動きベクトルそれぞれを、現ブロックを予測符号化するための動きベクトルとして使用することのコストが判定される。
【0202】
プロセス410において、テストを実行して、追加動きベクトルのいずれかが、現ブロックを符号化するための動きベクトルとして使用可能であるかどうかを決定する。これは、たとえば、プロセス409において決定される、追加動きベクトルのいずれかを使用することのコストが所定の閾値よりも低いかどうかを決定することにより、決定することができる。閾値は、プロセス405において使用される閾値と同じであってもよく、また異なってもよい。テスト結果がイエスである場合、サブルーチンの実行はプロセス412に抜け、現ブロックが、さらに詳細に後述するように、追加動きベクトルの1つを使用して予測符号化される。
【0203】
プロセス410において生成されるテスト結果がノーであり、追加動きベクトルのいずれかを使用して現ブロックを予測符号化することのコストが高すぎることを示す場合、実行はプロセス411に進む。プロセス411において、追加動きベクトルおよびそれぞれのコストが格納される。追加動きベクトルおよびそれぞれのコストは、可視性および符号化テーブル中の現ブロックのエントリに設けられる追加フィールドに格納することができる。次に、サブルーチン407の実行はサブルーチン413に抜ける。
【0204】
プロセス413において、現ブロックの既存および追加動きベクトルおよびそれぞれのコストが検査され、最も低いコストを有する動きベクトルが選択される。
【0205】
プロセス414において、プロセス413において選択された動きベクトルを使用して現ブロックを予測符号化することのコストが、予測なしで現ブロックを符号化することのコストと比較される。比較は、現ブロックを予測符号化するか否かを最終的に決定するためのベースとして使用される。
【0206】
プロセス415において、プロセス414において行われた決定に対してテストを行い、現ブロックを予測なしで、すなわちイントラ符号化ブロックとして符号化すべきかどうかを決定する。テスト結果がイエスである場合、実行はプロセス416に進み、現ブロックが予測なしで符号化される。次に、実行はメインルーチンに戻る。
【0207】
プロセス415におけるテスト結果がノーであり、現ブロックが、プロセス413において選択された動きベクトルを使用して予測符号化すべきであることを示す場合、実行はプロセス412に進む。
【0208】
プロセス412において、現ブロックが、(a)サブルーチン402において選択された既存の動きベクトル、(b)サブルーチン407において生成され選択される追加動きベクトル、および(c)プロセス413において最も低いコストを有するものとして選択された動きベクトルのうちの1つを使用して、予測符号化される。
【0209】
現ブロックが、プロセス412あるいはプロセス416において符号化された後、実行はプロセス417に進み、メインルーチンに戻る。
【0210】
現ブロックが、現ブロックに現れる各タイルがすべてインター/すべて内部/すべて可視である複数オブジェクト(MO)ブロックである場合、符号化プロセス395において、処理の一部が、現ブロックに現れる各オブジェクトに適用される、図13Aを参照して上述したものと同様の処理が適用される。この場合、可視性および符号化テーブル中の現ブロックのエントリに存在する動きベクトルのセットを、現ブロックに現れる各オブジェクトの可視性および符号化テーブルに存在する動きベクトルのセットを合併したものとして採用することができる。
【0211】
図13Bは、現ブロックが、現ブロックに現れるすべてのタイルがすべてインター/すべて内部/すべて可視であるMOブロックである場合に使用される、図12の符号化プロセス395の例を示す。符号化プロセス386に対応する符号化プロセス395の要素は、同じ参照符号で示され、さらに説明はしない。
【0212】
現ブロックがMOブロックである場合、符号化プロセス395の部分が、現ブロックに現れる各オブジェクトに対して実行される。符号化プロセスを適用するオブジェクトを現オブジェクトと呼ぶことにする。したがって、たとえば、符号化プロセス395において、サブルーチン432は、現ブロックに現れるすべてのオブジェクトの可視性および符号化テーブル中の現ブロックのエントリに存在する動きベクトルの1つが、現ブロックを予測符号化する際の動きベクトルとして使用することができるかどうかを決定する。
【0213】
サブルーチン432は、プロセス403〜406、433および434で構成される。プロセス403において、現オブジェクトの動きベクトルが、可視性および符号化テーブル中の現ブロックのエントリから読み出される。プロセス404において、現オブジェクトの既存の動きベクトルそれぞれを、現ブロックを予測符号化するための動きベクトルとして使用することのコストが決定される。プロセス405において、テストを実行して、現オブジェクトの既存の動きベクトルのいずれかが、現ブロックを予測符号化するための動きベクトルとして使用可能であるかどうかを決定する。プロセス405におけるテスト結果がノーである場合、実行はプロセス433に進み、テストを実行して、現ブロックに現れるすべてのオブジェクトの既存の動きベクトルをテストしたかどうかを決定する。テスト結果がノーである場合、実行はプロセス434を介してプロセス403に戻り、現ブロックに現れる次のオブジェクトが現オブジェクトとして採用される。テスト結果がイエスである場合、実行はプロセス411を介してサブルーチンに抜け、上述したように、プロセス413に進む。
【0214】
同様に、プロセス408〜411、435、および436で構成されるサブルーチン437は、現ブロックに現れる各オブジェクトについて追加動きベクトルを生成し、追加動きベクトルのいずれかを、現ブロックを予測符号化するための動きベクトルとして使用可能であるか否かを決定する。プロセス408および409において、現ブロックの追加動きベクトルが生成され、評価され、プロセス410において、テストを実行して、現ブロックに生成された追加動きベクトルのいずれかが、現ブロックを予測符号化するための動きベクトルとして使用可能であるかどうかを決定する。次に、プロセス435において、テストを実行して、追加動きベクトルが、現ブロックに現れるすべてのオブジェクトについて生成されたかどうかを決定する。プロセス435におけるテスト結果がノーである場合、実行はプロセス436を介してプロセス408に戻り、現ブロックに現れる次のオブジェクトが、現オブジェクトとして選択される。テスト結果がイエスである場合、実行はサブルーチンを抜け、プロセス412に進む。
【0215】
現ブロックに現れるオブジェクトが現ブロックとして選択される順序は、単純に、オブジェクトの索引番号の順序でありうる。しかし、現ブロックの最も広い部分を占有しているオブジェクトが最初に選択されるように、現ブロックの占有率順にオブジェクトを現ブロックとして選択することが好ましい。使用可能な動きベクトルをもたらす可能性が最も高いオブジェクトを最初の現オブジェクトとして選択することにより、潜在的に不要な処理が回避される。各オブジェクトの占有率情報は、可視性および符号化テーブル中の現ブロックのエントリに格納される。
【0216】
現画像がPピクチャとして符号化される場合、現ブロックは、順方向MC予測を使用して予測符号化するか、あるいは予測なしでイントラ符号化ブロックとして符号化することができる。現ブロックが予測符号化される場合、ブロックに現れるオブジェクトの動き記述子が、予測のためにどの参照を使用するかについての重要な情報を提供する。具体的には、各動き記述子が、オブジェクトベース画像信号においてオブジェクトを予測するために使用された動きを記述する。しかし、ブロックベース符号化は、個々のオブジェクトではなく一連の画像に対して適用される。任意形状オブジェクトの境界ブロックならびにオブジェクトのオクルージョンは、トランスコーディングを難しくする。
【0217】
図13Cは、現ブロックが、ブロックに現れるタイルのうちの1つまたは複数が予測なしで符号化される単一オブジェクトブロックであるか、またはブロックに現れるタイルのうちの1つまたは複数が、内部タイルもしくは境界タイルである参照タイルを使用して予測符号化され、完全に可視、部分的に可視、または完全に隠れている単一オブジェクトブロックである場合に使用される、図12の符号化プロセス390の例を示す。図13Aに示す符号化プロセス386に対応する符号化プロセス390の要素は、同じ参照符号で示され、さらに説明はしない。
【0218】
実行はプロセス401で開始する。プロセス441において、テストが可視性および符号化テーブル中の現ブロックのエントリに対して実行され、現ブロックに現れるすべてのタイルが非予測符号化されるかどうかを決定する。テスト結果がイエスであることは、可視性および符号化テーブル中の現ブロックのエントリに動き情報が存在しないことを示す。テスト結果がイエスである場合、実行は、後述するプロセス443に進む。テスト結果がノーであることは、現ブロックに現れるタイルの少なくとも1つが予測符号化され、かかるタイルの動き情報が可視性および符号化テーブル中の現ブロックのエントリに存在することを示す。テスト結果がノーである場合、実行はプロセス442に進む。
【0219】
プロセス442において、テストを実行して、現ブロックに現れるすべてのタイルの参照タイルが、参照画像において完全に隠れているかどうかを決定する。テスト結果がイエスであることは、参照タイルは参照画像において隠れているため、参照画像がいずれも現ブロックの参照タイルから生成されなかったことを示す。この場合、可視性および符号化テーブル中の現ブロックのエントリに存在する動き情報のいずれも、現ブロックを予測符号化する際に直接使用不可能であることを示す。テスト結果がイエスである場合、実行は、後述するプロセス443に進む。テスト結果がノーであることは、参照画像の一部が、現ブロックに現れるタイルの少なくとも1つの参照タイルから生成されたこと、ならびに可視性および符号化テーブル中の現ブロックのエントリにおけるかかるタイルの動き情報を、現ブロックを予測符号化する際の使用可能な動きベクトルを提供するためにおそらく使用することができることを示す。テスト結果がノーである場合、実行は、上述したサブルーチン402に進む。
【0220】
サブルーチン402がイエスの結果を生成し、現ブロックの予測符号化に使用可能な可視性および符号化テーブル中の現ブロックのエントリに、動きベクトルが存在することを示す場合、実行はプロセス412に進み、現ブロックが、上述したように、動きベクトルを使用して予測符号化される。次に、処理は、上述したプロセス417に進む。
【0221】
サブルーチン402がノーの結果を生成し、可視性および符号化テーブル中の現ブロックのエントリに存在する動きベクトルのいずれも、現ブロックの予測符号化に使用不可能であることを示す場合、実行はプロセス443に進む。
【0222】
プロセス443は、現ブロックに追加動きベクトルを生成するプロセスを選択する。潜在的な動きベクトル生成プロセスは、以下を含む。
【0223】
1.可視性および符号化テーブル中の現ブロックのエントリにおける動きベクトルの改良。この方法は、現ブロックに現れるすべてのタイルがイントラ符号化される場合、または現ブロックに現れるタイルのすべての参照タイルが隠れる場合には利用することができない。
【0224】
2.先に符号化した画像においてオブジェクトの可視の部分を探索する。
【0225】
3.時間的または空間的に隣接するブロックの動きベクトルから予測する。
【0226】
4.高速汎用探索動き予測、たとえばログ探索動き予測を実行する。
【0227】
5.完全探索動き予測を実行する。
【0228】
潜在的な動きベクトル生成プロセスは、実施複雑性および処理資源への要求が増大する大まかな順序で上述した。より複雑なオプションは、時間等十分な資源、計算ハードウェア、または計算サイクルが使用可能な場合のみ適用しうる。動きベクトル生成プロセスを選択する決定は、少なくとも部分的に、プロセス441、プロセス442、およびサブルーチン402で生成されるテスト結果に基づくことができる。
【0229】
プロセス444において、テストを実行して、選択された動きベクトル生成プロセスの実行に十分な資源が利用可能かどうかを決定する。テスト結果がイエスである場合、実行は上述したサブルーチン407に進み、追加動きベクトルが、選択された動きベクトル生成プロセスを使用して生成される。追加動きベクトルは、図6Cに示すパーシャルエンコーダ326における動き予測器211により、選択された動き生成方法を使用して生成することができる。
【0230】
プロセス444におけるテスト結果がノーである場合、実行はプロセス445に進み、現ブロックを予測なしで符号化するという決定がなされる。次に、実行はプロセス415および416に進み、上述したように、現ブロックが非予測符号化される。あるいは、プロセス444においてノーの結果が得られる場合、実行はプロセス443に戻ることができ、必要とする資源がより少ない動きベクトル生成プロセスを選択することができる。
【0231】
サブルーチン407において実行される処理は、少なくとも1つの追加動きベクトルを生成し、少なくとも1つの追加動きベクトルのいずれかが現ブロックの予測符号化に使用可能であるかどうかを決定する。サブルーチン407がプロセス412に抜け、追加動きベクトルの1つが使用可能であることを示す場合、上述したように、プロセス412において、現ブロックが予測符号化される。サブルーチン407がプロセス413に抜け、追加動きベクトルのいずれも使用不可能であることを示す場合、上述したように、プロセス414におけるイントラ/インター符号化決定、およびプロセス415におけるイントラ符号化テストに先だって、プロセス413において、既存、および追加動きベクトルのさらなる予測が行われる。
【0232】
現ブロックが複数オブジェクト(MO)ブロックであり、現画像がPピクチャとして符号化される場合、図12のプロセス397において、図13Cを参照して上述した符号化プロセス390の複数オブジェクト版により、現ブロックが符号化される。符号化プロセスの複数オブジェクト版では、図13Cに示すサブルーチン402および407が、図13Bにそれぞれ示すサブルーチン432および437と同様のサブルーチンで置換される。オブジェクトベースの動き情報は、概して、SOブロックよりもMOブロックを予測符号化するための動きベクトルを決定するためのベースとしての有用度が低い。MOブロックでは通常、より多数の探索、より洗練された探索手順(たとえば、1つだけのオブジェクトとは対照的に、複数オブジェクトのそれぞれの先に符号化した画像において可視の部分を探索する)、ならびに予測なしの符号化をより多く使用する必要がある。予測なしの符号化は、常に、代替として利用可能であり、上述した探索方法のいずれよりも実施に必要な処理資源が大幅に少ない。他方、予測なしの符号化では、予測符号化よりも大幅に多くの非ゼロ変換係数が生じる。より多数の非ゼロ変換係数を所与のビットレートで表すには、より粗い量子化が必要となりうる。これは、画像の質を許容不可能な程劣化させうる。あるいは、現画像の質をより高いビットレートを使用して保存してもよい。
【0233】
ブロックベースの現画像がBピクチャとして符号化される場合、現画像中の各ブロックは、4つのモード、すなわち予測なしですなわちイントラ符号化ブロックとして、順方向MC予測(F−MC)を使用しての予測、逆方向MC予測(B−MC)を使用しての予測、および双方向MC予測(Bi−MC)を使用しての予測のうちの1つで符号化することができる。同様に、予測符号化オブジェクトベース画像信号でも、オブジェクトのインスタンスを、同じ4つの可能な符号化モード、すなわちイントラ、F−MC、B−MC、またはBi−MCを使用してBオブジェクトとして符号化することができる。
【0234】
Bピクチャの動きトランスコーディングは、Pピクチャと同様の問題を有するが、Bピクチャのトランスコーディングはさらなる問題の対象となり、さらに可能な処理モードを有する。
【0235】
現画像の現ブロックに現れるオブジェクトが、双方向MC予測を使用して予測符号化されていた場合、現ブロックに現れるタイルの参照タイルは、現画像の参照画像が導出されるいずれかまたは双方の先に符号化された画像において部分的または完全に隠れていることがある。この場合、オブジェクトのBi−MC動き情報を、現ブロックを予測符号化するための動きベクトルの決定に直接使用することはできない。参照タイルが、一方の先に符号化された画像において隠れている場合、本発明による方法は、参照画像が他方の先に符号化された画像のみから導出されるように、双方向MC予測から順方向または逆方向MC予測に符号化モードを変更する。たとえば、先行する参照画像中のタイルが隠れているが、後続する参照画像におけるタイルは隠れていない場合、符号化プロセスは、時間依存性を変更し、逆方向MC予測を使用して現ブロックを予測符号化する。同様に、後続する参照画像における参照タイルが隠れているが、先行する参照画像における参照タイルは隠れていない場合、順方向MC予測を使用して現ブロックを予測符号化することができる。
【0236】
さらに、現ブロックに現れるタイルが、順方向MC予測を使用して予測符号化されたが、先行する参照画像における参照タイルが部分的にまたは完全に隠れている場合、符号化プロセスは、後続する参照画像を検査して、逆方向MC予測を使用して現ブロックを符号化することが可能かどうかを決定する。また、現ブロックに現れるタイルが、逆方向MC予測を使用して予測符号化されたが、後続する参照画像における参照画像が部分的にまたは完全に隠れている場合、符号化プロセスは、先行する参照画像を検査して、順方向MC予測を使用して現ブロックを符号化することが可能かどうかを決定する。こういった変更は、上述したように、前の画像から将来の画像に、またその逆に動きベクトルを外挿し、予測の質をチェックすることによって達成することができる。
【0237】
本開示における先行する参照画像および後続する参照画像への参照は、画像の提示順序への参照であり、参照画像が導出されるすべての画像は、現画像が符号化される前に符号化される。
【0238】
予測符号化オブジェクトベース画像信号では、I、P、およびB符号化モードパターンがオブジェクト間で異なりうる。さらに、オブジェクトベース画像信号におけるI、P、およびB符号化モードパターンは、所望のブロックベース画像信号の符号化モードとは異なりうる。その結果、1つまたは複数のオブジェクトの符号化モードを変更する必要がありうる。これは、S.J.Weeの著「Manipulating Temporal Dependencies in Compressed Video Data with Applications to Compressed Domain Processing of MPEG Video」(IEEE ICASSP、1999年3月)において本発明者らのうちの1人によって記載される技術を適用して、オブジェクト時間依存性を操作することによって達成することができる。
【0239】
図13Dは、現画像をBピクチャとして符号化すべき場合に使用される、図12の符号化プロセス391の例を示す。図13Cに示す符号化プロセス390の要素に対応する図13Dに示す符号化プロセス391の要素は、同じ参照符号を使用して示され、詳細に再説明はしない。
【0240】
プロセス442において実行されるテストがノーという結果を戻す場合、実行はプロセス451に進み、テストを可視性および符号化テーブル中の現ブロックのエントリに対して実行して、現ブロックに現れるタイルを予測符号化するための先行する参照画像における参照タイルが、完全に隠れているかどうかを決定する。テスト結果がイエスということは、先行する参照画像がいずれも現ブロックの参照タイルから生成されなかったこと、ならびに可視性および符号化テーブル中の現ブロックのエントリに存在する先行する参照画像の動き情報がいずれも、現ブロックを予測符号化する際に直接使用することはできないことを示す。テスト結果がノーである場合、実行は、後述するプロセス456に進む。テスト結果がイエスである場合、実行はプロセス452に進み、予測モードが双方向あるいは順方向から逆方向に変更される。
【0241】
次に、実行はプロセス453に進み、テストを可視性および符号化テーブル中の現ブロックのエントリに対して実行して、現ブロックに現れる各タイルの元の予測モードが順方向MC予測であったかどうかを決定する。テスト結果がイエスである場合、実行はプロセス454に進み、順方向MC予測を使用して符号化された各タイルの元の動きベクトルが、逆方向MC予測との併用に適した動きベクトルを生成するように変更される。可視性および符号化テーブルに格納される元の動きベクトルは、単純に、たとえば外挿によって変更することができる。次に、実行はサブルーチン402に進み、プロセス454が先に実行されていた場合、サブルーチン402は、元の動きベクトルの代わりに変更された動きベクトルを使用して実行される。
【0242】
プロセス453におけるテスト結果が、タイルが双方向MC予測を使用して予測符号化されたことを示すノーであるタイルの場合、実行はプロセス455に進み、タイルの使用不可能な動きベクトル、すなわち先行する参照画像に関連する動きベクトルが破棄される。次に、実行はサブルーチン402に進み、プロセス455が先に実行されていた場合、サブルーチン402は、後続する参照画像に関連する動きベクトルのみを使用して実行される。
【0243】
プロセス451におけるテスト結果がノーである場合、実行は、上述したプロセス456に進む。プロセス456において、テストを可視性および符号化テーブル中の現ブロックのエントリに対して実行して、現ブロックに現れるタイルを予測符号化するための後続する参照画像(もしあれば)におけるすべての参照タイルが隠れているかどうかを決定する。テスト結果がノーである場合、これは、可視性および符号化テーブルに存在する動き情報を使用する双方向MC予測を使用して、現ブロックを符号化することが可能でありうることを示し、実行は、上述したサブルーチン402に進む。
【0244】
プロセス456におけるテスト結果がイエスであることは、後続する参照画像がいずれも、現ブロックの参照タイルから生成されなかったこと、ならびに可視性およぶ符号化テーブル中の現ブロックのエントリに存在する後続する参照画像の動き情報がいずれも、現ブロックを予測符号化する際に直接使用不可能であることを示す。したがって、テスト結果がイエスである場合、実行はプロセス457に進み、予測モードが双方向あるいは逆方向から順方向に変更される。
【0245】
次に、実行はプロセス458に進み、テストを実行して、現ブロックに現れる各タイルの元の予測モードが逆方向MC予測であるかどうかを決定する。テスト結果がイエスである場合、実行がプロセス459に進み、逆方向MC予測を使用して符号化された各タイルの元の動きベクトルが、順方向MC予測との併用に適した動きベクトルを生成するように変更される。可視性および符号化テーブルに格納される元の動きベクトルは、単純に、たとえば外挿によって変更することができる。
【0246】
次に、実行はサブルーチン402に進み、プロセス459が先に実行されていた場合、サブルーチン402は、元の動きベクトルの代わりに変更された動きベクトルを使用して実行される。
【0247】
プロセス458におけるテスト結果が、タイルが双方向MC予測を使用して予測符号化されたことを示すノーであるタイルの場合、実行はプロセス455に進み、タイルの使用不可能な動きベクトル、すなわち後続する参照画像に関連する動きベクトルが破棄される。次に、実行はサブルーチン402に進み、プロセス455が先に実行されていた場合、サブルーチン402は、先行する参照画像に関連する動きベクトルのみを使用して実行される。
【0248】
符号化プロセス391の残りの部分は、符号化プロセス390と同じであり、さらに説明はしない。
【0249】
現ブロックが複数オブジェクト(MO)ブロックであり、現画像がBピクチャとして符号化される場合、現ブロックは、図12のプロセス396において、図13Dを参照して上述した符号化プロセス391の複数オブジェクト版により符号化される。符号化プロセスの複数オブジェクト版では、図13Dに示すサブルーチン402および407は、図13Bにそれぞれ示すサブルーチン432および437と同様のサブルーチンで置換される。
【0250】
ビデオ会議等の多数の重要な用途では、予測符号化オブジェクトベース画像信号は、多数の前景オブジェクトおよび背景オブジェクト、またはスプライトとして画像グループを表すことができる。背景オブジェクトまたはスプライトの属性は、オブジェクトベースからブロックベースへのトランスコーディングの複雑性を大幅に低減するために、利用することができる。たとえば、背景オブジェクトまたはスプライトのコンテンツは、静的のままであってもよく、背景オブジェクトまたはスプライト全体は、比較的単純で均一な動きで動いてもよい。たとえば、ビデオ会議では、背景オブジェクト全体を、単純な並進移動またはカメラパンとしての遠近感変換で移動しうる。並進移動または遠近感変換は、各タイルごとの表現を必要とするというよりはむしろ1つの表現を使用して背景オブジェクト全体の動きを表す。したがって、動きの単一表現を使用して、ブロックベース画像信号の各ブロックの符号化プロセスについて、動きベクトルを決定することができる。
【0251】
さらに、背景オブジェクトの一部を含むブロックベース画像のすべてのブロックは、SO/すべてインター/すべて内部/すべて可視のブロックであり、この処理は最も単純である。
【0252】
上述したように、背景オブジェクトまたはスプライトがブロックベースのMC予測およびブロックDCTを使用して符号化される場合、さらなる単純化が得られる。背景オブジェクトまたはスプライトのタイルが、ブロックベース画像が分割されるブロックと正確に位置合わせされる場合、MPEG−4ハフマン復号化および逆量子化を実行してDCT係数のブロックを回復することにより、背景オブジェクトのタイルをトランスコーディングすることができ、DCT係数のブロックに、ブロックベース符号化の量子化方式、続けてハフマン符号化を施すことができる。同様の技術を使用して、他の規則正しいオブジェクトをトランスコーディングすることもできる。
【0253】
背景が多数のフレームにわたって変化しない例は、たとえば、シーン記述子を使用して識別することができる。かかる例では、背景を繰り返し再符号化する必要がない。
【0254】
本開示に記載したトランスコーダおよびそのモジュールの実施形態は、離散したコンポーネント、小規模または大規模の集積回路、適宜構成されたASIC、および他の適したハードウェアから構築することができる。あるいは、トランスコーダおよびそのモジュールの実施形態は、デジタル信号プロセッサ、マイクロプロセッサ、マイクロコンピュータ、または本発明によるコンピュータ読み取り可能媒体に固定されるトランスコーディングプログラム等のプログラムに応答して動作する内部メモリまたは外部メモリを有するコンピュータを使用して構築することも可能である。コンピュータベースおよびDSPベースの実施形態では、本明細書に図示する各種モジュールは短命であっても、プログラムが実行するときに一時的に存在するだけであってもよい。かかる実施形態では、トランスコーディングプログラムを、フロッピーディスクのセット、CD−ROM、DVD−ROM、読み取り専用メモリ等の適切なコンピュータ読み取り可能媒体においてプログラムを具現することによって実行するハードウェアに搬送してもよく、また適切なデータリンクにより、かかるハードウェアに伝送してもよい。
【0255】
本開示は、本発明の例示的な実施形態を詳細に説明するが、本発明は記載した厳密な実施形態に限定されず、併記の特許請求の範囲によって定義される本発明の範囲内で様々な変更を実施しうることを理解されたい。
【図面の簡単な説明】
【図1】予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングする従来のトランスコーダのブロック図である。
【図2A】図2Aは、例示的な画像がブロックベースエンコーダにより符号化される方法を示す。
【図2B】図2Bは、例示的な画像がオブジェクトベースエンコーダにより符号化される方法を示す。
【図2C】図2Cは、例示的な画像がオブジェクトベースエンコーダにより符号化される方法を示す。
【図2D】図2Dは、例示的な画像がオブジェクトベースエンコーダにより符号化される方法を示す。
【図2E】図2Eは、例示的な画像がオブジェクトベースエンコーダにより符号化される方法を示す。
【図3A】図3Aは、予測符号化ブロックベース画像信号を生成する従来のエンコーダを示すブロック図である。
【図3B】図3Bは、予測符号化ブロックベース画像信号用の従来のデコーダを示すブロック図である。
【図4A】図4Aは、オブジェクトベース画像信号を符号化し復号化するシステムのブロック図である。
【図4B】図4Bは、図4Aに示すシステム中の例示的なオブジェクト記述子エンコーダの構造を示すブロック図である。
【図4C】図4Cは、図4Aに示すシステム中の例示的なオブジェクト記述子デコーダの構造を示すブロック図である。
【図5】本発明によるトランスコーディング方法を示すフローチャートである。
【図6A】図6Aは、本発明によるトランスコーダのブロック図である。
【図6B】図6Bは、図6Aに示すトランスコーダの選択的パーシャルデコーダの構造を示すブロック図である。
【図6C】図6Cは、図6Aに示すトランスコーダのパーシャルエンコーダの構造を示すブロック図である。
【図7】図5に示すトランスコーディング方法の可視性および符号化テーブル生成プロセスと、図6Aに示すトランスコーダのテーブル生成器とによって実行される処理を示すフローチャートである。
【図8】可視性および符号化テーブル中のエントリが属するブロックをどのように細分することができるかを示す。
【図9A】図9Aは、オブジェクトベースの符号化を使用しての単純な3オブジェクト、3フレームの動画の符号化を示す。
【図9B】図9Bは、ブロックベースの符号化を使用しての、図9Aに示す単純な3オブジェクト、3フレームの動画の符号化を示す。
【図10】オブジェクトの複数のタイルがどのようにブロックベース画像信号の単一ブロックに現れることができるかを示す。
【図11A】図11Aは、現画像のブロックに現れるオブジェクトのインスタンスのタイルをどのように、可視、参照画像に部分的に隠れる、または完全に隠れる内部タイルを参照タイルとして使用して予測することができるかを示す。
【図11B】図11Bは、現画像のブロックに現れるオブジェクトのインスタンスのタイルをどのように、可視、参照画像に部分的に隠れる、または完全に隠れる境界タイルを参照タイルとして使用して予測することができるかを示す。
【図12】図5に示すトランスコーディング方法の部分符号化プロセスにおいて、また図6Aに示すトランスコーダのパーシャルエンコーダによって実行される高位処理を示すフローチャートである。
【図13A】図13Aは、現ブロックが単一オブジェクト/すべてインター/すべて内部/すべて可視のブロックである場合、部分符号化プロセスにおいて、またパーシャルエンコーダによって実行される処理を示すフローチャートである。
【図13B】図13Bは、現ブロックが複数オブジェクト/すべてインター/すべて内部/すべて可視のブロックである場合、部分符号化プロセスにおいて、またパーシャルエンコーダによって実行される処理を示すフローチャートである。
【図13C】図13Cは、現ブロックが単一オブジェクトブロックであるが、すべてインター/すべて内部/すべて可視のブロックではなく、かつ現画像がP画像として予測符号化される場合、部分符号化プロセスにおいて、またパーシャルエンコーダによって実行される処理を示すフローチャートである。
【図13D】図13Dは、現ブロックが単一オブジェクトブロックであるが、すべてインター/すべて内部/すべて可視のブロックではなく、かつ現画像がB画像として予測符号化される場合、部分符号化プロセスにおいて、またパーシャルエンコーダによって実行される処理を示すフローチャートである。
Claims (44)
- 画像グループを表す予測符号化オブジェクトベース画像信号を、前記画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングする方法であって、
符号化シーン記述子および符号化オブジェクト記述子を前記予測符号化オブジェクトベース画像信号から抽出し、前記符号化シーン記述子を復号化してシーン記述子を生成するステップと、
前記予測符号化オブジェクトベース画像信号の、実際に可視のオブジェクト、または後に符号化される画像中の可視のオブジェクトを予測するために使用されるオブジェクトを表す部分のみが復号化されるように、符号化オブジェクト記述子を部分的に復号化して前記符号化オブジェクト記述子の符号化を記述する符号化情報を抽出し、それぞれの、部分的に復号化されたオブジェクト記述子を生成するステップと、
前記シーン記述子に応答して、前記部分的に復号化されたオブジェクト記述子から、前記画像の1つを現画像として表す、部分的に符号化されたブロックベース画像信号のフレームを生成するステップと、
符号化情報の少なくとも一部に応答して、前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化することにより、前記現画像を表す予測符号化ブロックベース画像信号のフレームを生成するステップと、を含む、方法。 - 前記部分的に符号化されたブロックベース画像信号のフレームを生成するステップは、符号化情報から、ブロックごとに、ブロックに現れる各オブジェクト、ブロックに現れる各オブジェクトのタイル、および各タイルの符号化パラメータを識別する、前記現画像の可視性および符号化テーブルを生成するステップを含み、 前記予測符号化ブロックベース画像信号のフレームを生成する際、前記部分的に符号化されたブロックベース画像信号は、前記可視性および符号化テーブルに含まれる符号化情報に応答して予測符号化される、請求項1記載の方法。
- 前記符号化情報は、前記オブジェクトが予測符号化されたか、それとも非予測符号化されたかを示す情報、前記オブジェクトの動き記述子、前記オブジェクトによる前記ブロックの占有率、前記オブジェクトの可視性を示す情報、および前記オブジェクトが部分的に復号化された復号化状態からなる群から選択される情報を含む、請求項2記載の方法。
- 前記可視性および符号化テーブルを生成するステップは、前記現画像がブロックベース符号化のために分割される各ブロックについてエントリを含む可視性および符号化テーブルを生成し、前記エントリは、前記ブロックに現れる前記オブジェクトそれぞれについての符号化情報を含む、請求項2記載の方法。
- 前記部分的に符号化されたブロックベース画像信号のフレームを生成するステップは、前記現画像がブロックベース符号化のために分割される各ブロックに現れる前記オブジェクトを識別するステップを含む、請求項1記載の方法。
- 前記部分的に符号化されたブロックベース画像信号を予測符号化するステップは、 動きベクトルを使用して、前記部分的に符号化されたブロックベース画像信号のブロックを予測符号化するステップと、前記動きベクトルを前記ブロックに現れるオブジェクトの動き記述子に基づかせるステップと、を含む、請求項1記載の方法。
- 前記現画像がブロックベース符号化のために分割される前記ブロックの1つを現ブロックとして採用し、該現ブロックがすべてインター/すべて内部/すべて可視のブロックであるかを判定するステップと、 前記現ブロックがすべてインター/すべて内部/すべて可視のブロックである場合、前記現ブロックに現れる前記オブジェクトそれぞれの前記動き記述子を前記現ブロックの前記動きベクトルとして使用して、前記現ブロックを符号化するコストを決定するステップと、 前記符号化コストが所定のコストよりも低い場合、前記動き記述子の1つを前記動きベクトルとして使用して前記現ブロックを符号化するステップと、をさらに含む、請求項6記載の方法。
- 前記符号化コストが前記所定のコストよりも高い場合、 前記現ブロックについて追加動きベクトルを生成するステップと、 前記追加動きベクトルそれぞれを前記動きベクトルとして使用して、前記現ブロックの符号化コストを決定するステップと、 前記符号化コストが所定のコストよりも低い場合、前記追加動きベクトルの1つを前記動きベクトルとして使用して前記現ブロックを符号化するステップと、 そうではない場合、前記現ブロックを非予測符号化するステップと、をさらに含む、請求項7記載の方法。
- オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、参照画像を使用して予測符号化される請求項1記載の方法であって、 前記現画像がブロックベース符号化のために分割されるブロックの1つのブロックであって、少なくとも1つのオブジェクトの少なくとも1つのタイルが現れるブロックを現ブロックとして採用するステップと、 前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが第1の条件として非予測符号化されているかどうかを判定するステップと、 前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが、前記参照画像に第2の条件として隠れている参照タイルを使用して予測符号化されるかどうかを判定するステップと、 前記第1の条件および前記第2の条件の少なくとも一方を満たす場合、前記現ブロックについて追加動きベクトルを生成し、前記追加動きベクトルが前現ブロックの符号化に使用可能であるかどうかをテストするステップと、 前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化する際、前記追加動きベクトルが使用可能である場合、前記現ブロックは前記追加動きベクトルを使用して予測符号化され、前記追加動きベクトルが使用不可能である場合、前記現ブロックは非予測符号化されるステップと、をさらに含む、方法。
- オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、提示順序において先行する参照画像および後続する参照画像を使用して、Bピクチャとして予測符号化され、前記現画像がブロックベース符号化のために分割されるブロックの1つのブロックであって、少なくとも1つのオブジェクトの少なくとも1つのタイルが現れるブロックを現ブロックとして採用するステップと、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記参照画像の1つのみに隠れている参照タイルを使用して予測符号化されるかを符号化情報から条件として決定するステップと、 前記条件が満たされる場合、前記現ブロックを符号化する予測モードを、前記現ブロックが、前記参照画像のその他において可視の参照タイルを使用して符号化される符号化モードに変更するステップと、をさらに含む、請求項1記載の方法。
- 前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記後続する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更するステップは、 前記現ブロックの前記符号化モードを逆方向および双方向の一方から順方向に変更するステップと、 前記オブジェクトが元々逆方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する前記動きベクトルを前記先行する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記新しい動きベクトルを使用する順方向予測を用いて前記現ブロックを符号化するステップと、を含み、 前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記先行する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更するステップは、前記現ブロックの前記符号化モードを順方向および双方向の一方から逆方向に変更するステップと、前記オブジェクトが元々順方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する前記動きベクトルを前記後続する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記新しい動きベクトルを使用する逆方向予測を用いて前記現ブロックを符号化するステップと、を含む、請求項10記載の方法。
- オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、提示順序において先行する参照画像を使用して、Pピクチャとして予測符号化され、 前記現画像がブロックベース符号化のために分割されるブロックの1つのブロックであって、少なくとも1つのオブジェクトの少なくとも1つのタイルが現れるブロックを現ブロックとして採用するステップと、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記先行する参照画像に隠れている参照タイルを使用して予測符号化されるかを符号化情報から条件として決定するステップと、前記条件が満たされる場合、 前記現ブロックの符号化を、前記現ブロックが、前記画像のうち別のものにおいて可視の新しい参照タイルを使用して符号化される予測モードに変更するステップと、前記新しい参照タイルに関して前記現ブロックを符号化するための動きベクトルを生成するステップと、をさらに含む、請求項1記載の方法。
- 前記現画像において可視の前記オブジェクトのみの前記符号化オブジェクト記述子を部分的に復号化するよう選択するステップをさらに含む、請求項1記載の方法。
- 前記現画像において可視ではないが、後に符号化される画像に現れる前記オブジェクトのインスタンスを復号化する必要があるオブジェクトの前記符号化オブジェクト記述子を部分的に復号化するよう選択するステップをさらに含む、請求項13記載の方法。
- 前記符号化オブジェクト記述子を選択するステップは、 前記シーン記述子に応答してオブジェクト可視性テーブルを生成するステップと、 前記オブジェクト可視性テーブルに応答して前記符号化オブジェクト記述子を選択するステップと、を含む、請求項13記載の方法。
- 前記オブジェクトのうちの1つの部分が前記画像において可視であり、 前記符号化オブジェクト記述子を選択する際、前記画像において可視の前記オブジェクトのうちの前記1つの前記部分に対応する前記符号化オブジェクト記述子の一部のみが、部分復号化のために選択される、請求項13記載の方法。
- 前記予測符号化オブジェクトベース画像信号は、I、P、およびB符号化オブジェクトのシーケンスで構成され、 前記予測符号化ブロックベース画像信号のフレームを生成する際、前記予測符号化ブロックベース画像信号は、前記予測符号化オブジェクトベース画像信号におけるI、P、およびB符号化オブジェクトのシーケンスとは異なるIピクチャ、Pピクチャ、およびBピクチャのシーケンスを使用して生成される、請求項1記載の方法。
- 前記予測符号化オブジェクトベース画像信号は、フレームレート、空間解像度、およびビットレートを含む符号化属性を有し、 前記予測符号化ブロックベース画像信号のフレームを生成する際、前記予測符号化ブロックベース画像信号は、前記予測符号化オブジェクトベース画像信号の符号化属性とは異なる符号化属性を使用して生成される、請求項1記載の方法。
- 画像グループを表す予測符号化オブジェクトベース画像信号を、前記画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングするトランスコーダであって、 パーシャルデコーダであって、 符号化シーン記述子および符号化オブジェクト記述子を、前記予測符号化オブジェクトベース画像信号から抽出するデマルチプレクサ、 前記符号化シーン記述子を復号化してシーン記述子を生成するシーン記述子デコーダ、および前記予測符号化オブジェクトベース画像信号の、実際に可視のオブジェクト、または後に符号化される画像中の可視のオブジェクトを予測するために使用されるオブジェクトを表す部分のみが復号化されるように、前記符号化オブジェクト記述子を部分的に復号化して、各部分復号化オブジェクト記述子を生成し、かつ前記符号化オブジェクト記述子の符号化を記述する符号化情報を抽出するオブジェクト記述子デコーダ、を含む、パーシャルデコーダと、 前記シーン記述子に応答して動作して、前記部分復号化オブジェクト記述子から、前記画像の1つを現画像として表す、部分的に符号化されたブロックベース画像信号のフレームを生成するブロックベース画像信号生成器と、 前記符号化情報の少なくとも一部に応答して、前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化することにより、前記現画像を表す前記予測符号化ブロックベース画像信号のフレームを生成するように構成されるパーシャルエンコーダと、を備える、トランスコーダ。
- 前記現画像からの前記符号化情報を格納する可視性および符号化テーブルをさらに備え、 前記パーシャルエンコーダは、前記可視性および符号化テーブルに格納される前記符号化情報に応答して、前記部分的に符号化されたブロックベース画像信号を符号化する、請求項19記載のトランスコーダ。
- 前記ブロックベース画像信号生成器は、前記現画像がブロックベース符号化のために分割される各ブロックに現れる前記オブジェクトを識別するように構成される、請求項19記載のトランスコーダ。
- 前記パーシャルエンコーダは、 動きベクトルを使用して前記部分的に符号化されたブロックベース画像信号のブロックを符号化する変数コーダと、 前記ブロックに現れるオブジェクトの動き記述子に基づいて、前記動きベクトルを生成する符号化モードモジュールと、を備える、請求項19記載のトランスコーダ。
- 前記デマルチプレクサは、前記現画像において可視の前記オブジェクトのみの前記符号化オブジェクト記述子を部分的に復号化するために、前記オブジェクト記述子をデコーダに供給するように選択するように構成される、請求項19記載のトランスコーダ。
- 前記デマルチプレクサは、さらに、前記現画像において不可視であるが、後に符号化される画像に現れる前記オブジェクトのインスタンスを復号化するために必要な前記符号化オブジェクト記述子を、前記オブジェクト記述子デコーダに供給するよう選択するように構成される、請求項23記載のトランスコーダ。
- 前記パーシャルデコーダは、オブジェクト可視性テーブルを含み、 前記デマルチプレクサは、前記オブジェクト可視性テーブルに応答して、前記オブジェクト記述子デコーダに供給する前記符号化オブジェクト記述子を選択するように構成される、請求項23記載のトランスコーダ。
- 前記オブジェクトの1つの部分は前記画像において可視であり、 前記デマルチプレクサは、前記オブジェクト記述子デコーダに供給するために、前記画像において可視である前記オブジェクトのうちの1つの部分に対応する前記符号化オブジェクト記述子の一部のみを選択するように構成される、請求項23記載のトランスコーダ。
- 画像グループを表す予測符号化オブジェクトベース画像信号を、前記画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法を実行するようにコンピュータに命令するコンピュータプログラムが格納されたコンピュータ読み取り可能媒体であって、前記トランスコーディング方法は、符号化シーン記述子および符号化オブジェクト記述子を前記予測符号化オブジェクトベース画像信号から抽出し、前記符号化シーン記述子を復号化してシーン記述子を生成するステップと、前記予測符号化オブジェクトベース画像信号の、実際に可視のオブジェクト、または後に符号化される画像中の可視のオブジェクトを予測するために使用されるオブジェクトを表す部分のみが復号化されるように、符号化オブジェクト記述子を部分的に復号化して前記符号化オブジェクト記述子の符号化を記述する符号化情報を抽出し、各部分復号化オブジェクト記述子を生成するステップと、 前記シーン記述子に応答して、前記部分復号化オブジェクト記述子から、前記画像の1つを現画像として表す、部分的に符号化されたブロックベース画像信号のフレームを生成するステップと、符号化情報の少なくとも一部に応答して、前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化することにより、前記現画像を表す予測符号化ブロックベース画像信号のフレームを生成するステップと、を含む、コンピュータ読み取り可能媒体。
- 前記トランスコーディング方法において、 前記部分的に符号化されたブロックベース画像信号のフレームを生成するステップは、符号化情報から、ブロックごとに、ブロックに現れる各オブジェクト、ブロックに現れる各オブジェクトのタイル、および各タイルの符号化パラメータを識別する、前記現画像の可視性および符号化テーブルを生成するステップを含み、前記予測符号化ブロックベース画像信号のフレームを生成する際、前記部分的に符号化されたブロックベース画像信号は、可視性および符号化テーブルに含まれる符号化情報に応答して予測符号化される、請求項27記載のコンピュータ読み取り可能媒体。
- 前記トランスコーディング方法において、前記部分的に符号化されたブロックベース画像信号のフレームを生成するステップは、前記現画像がブロックベース符号化のために分割される各ブロックに現れる前記オブジェクトを識別するステップを含む、請求項27記載のコンピュータ読み取り可能媒体。
- 前記トランスコーディング方法において、前記部分的に符号化されたブロックベース画像信号を予測符号化するステップは、 動きベクトルを使用して、前記部分的に符号化されたブロックベース画像信号のブロックを予測符号化するステップと、 前記ブロックに現れるオブジェクトの動き記述子に基づいて前記動きベクトルを作成するステップと、を含む、請求項27記載のコンピュータ読み取り可能媒体。
- 前記トランスコーディング方法は、前記現画像において可視の前記オブジェクトのみの前記符号化オブジェクト記述子を部分的に復号化するように選択するステップをさらに含む、請求項27記載のコンピュータ読み取り可能媒体。
- 前記トランスコーディング方法は、前記現画像において不可視であるが、後に符号化される画像に現れる前記オブジェクトのインスタンスを復号化するために必要なオブジェクトの前記符号化オブジェクト記述子を部分的に復号化するように選択するステップをさらに含む、請求項27記載のコンピュータ読み取り可能媒体。
- 前記パーシャルエンコーダにおいて、前記部分的に符号化されたブロックベース画像信号を予測符号化する際に、 動きベクトルを使用して、前記部分的に符号化されたブロックベース画像信号のブロックが予測符号化され、前記動きベクトルが前記ブロックに現れるオブジェクトの動き記述子に基づかされ、
前記現画像がブロックベース符号化のために分割される前記ブロックの1つが現ブロックとして採用され、該現ブロックがすべてインター/すべて内部/すべて可視のブロックであるかが判定され、前記現ブロックがすべてインター/すべて内部/すべて可視のブロックである場合、前記現ブロックに現れる前記オブジェクトそれぞれの前記動き記述子を前記現ブロックの前記動きベクトルとして使用して、前記現ブロックを符号化するコストが決定され、前記符号化コストが所定のコストよりも低い場合、前記動き記述子の1つを前記動きベクトルとして使用して前記現ブロックが符号化される、請求項19記載のトランスコーダ。 - 前記符号化コストが前記所定のコストよりも高い場合、 前記現ブロックについて追加動きベクトルが生成され、前記追加動きベクトルそれぞれを前記動きベクトルとして使用して、前記現ブロックの符号化コストが決定され、前記符号化コストが所定のコストよりも低い場合、前記追加動きベクトルの1つを前記動きベクトルとして使用して前記現ブロックを符号化され、 そうではない場合、前記現ブロックが非予測符号化される、請求項33記載のトランスコーダ。
- 前記パーシャルエンコーダにおいて、オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、参照画像を使用して予測符号化され、前記現画像がブロックベース符号化のために分割されるブロックの1つのブロックであって、少なくとも1つのオブジェクトの少なくとも1つのタイルが現れるブロックが現ブロックとして採用され、前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが第1の条件として非予測符号化されているかどうかが判定され、前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが、前記参照画像に第2の条件として隠れている参照タイルを使用して予測符号化されるかどうかが判定され、前記第1の条件および前記第2の条件の少なくとも一方を満たす場合、前記現ブロックについて追加動きベクトルが生成され、前記追加動きベクトルが前現ブロックの符号化に使用可能であるかどうかがテストされ、前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化する際、前記追加動きベクトルが使用可能である場合、前記現ブロックは前記追加動きベクトルを使用して予測符号化され、前記追加動きベクトルが使用不可能である場合、前記現ブロックは非予測符号化される、請求項19記載のトランスコーダ。
- 前記パーシャルエンコーダにおいて、オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、提示順序において先行する参照画像および後続する参照画像を使用して、Bピクチャとして予測符号化され、前記現画像がブロックベース符号化のために分割されるブロックの1つのブロックであって、少なくとも1つのオブジェクトの少なくとも1つのタイルが現れるブロックが現ブロックとして採用され、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記参照画像の1つのみに隠れている参照タイルを使用して予測符号化されるかが符号化情報から条件として決定され、前記条件が満たされる場合、前記現ブロックを符号化する予測モードが、前記現ブロックが、前記参照画像のその他において可視の参照タイルを使用して符号化される符号化モードに変更される、請求項19記載のトランスコーダ。
- 前記パーシャルエンコーダにおいて、前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記後続する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更することは、前記現ブロックの前記符号化モードを逆方向および双方向の一方から順方向に変更することと、 前記オブジェクトが元々逆方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する前記動きベクトルを前記先行する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成することと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成することと、前記新しい動きベクトルを使用する順方向予測を用いて前記現ブロックを符号化することと、を含み、前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記先行する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更することは、前記現ブロックの前記符号化モードを順方向および双方向の一方から逆方向に変更することと、 前記オブジェクトが元々順方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する前記動きベクトルを前記後続する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成することと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成することと、前記新しい動きベクトルを使用する逆方向予測を用いて前記現ブロックを符号化することと、を含む、請求項36記載のトランスコーダ。
- 前記パーシャルエンコーダにおいて、前記オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、前記現画像は、提示順序において先行する参照画像を使用して、Pピクチャとして予測符号化され、 前記現画像がブロックベース符号化のために分割されるブロックの1つのブロックであって、少なくとも1つのオブジェクトの少なくとも1つのタイルが現れるブロックが現ブロックとして採用され、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記先行する参照画像に隠れている参照タイルを使用して予測符号化されるかが符号化情報から条件として決定され、前記条件が満たされる場合、 前記現ブロックの符号化が、前記現ブロックが、前記画像のうち別のものにおいて可視の新しい参照タイルを使用して符号化される予測モードに変更され、前記新しい参照タイルに関して前記現ブロックを符号化するための動きベクトルが生成される、請求項19記載のトランスコーダ。
- 前記部分的に符号化されたブロックベース画像信号を予測符号化するステップは、動きベクトルを使用して、前記部分的に符号化されたブロックベース画像信号のブロックを予測符号化するステップと、前記動きベクトルを前記ブロックに現れるオブジェクトの動き記述子に基づかせるステップと、を含み、前記トランスコーディング方法は、
前記現画像がブロックベース符号化のために分割される前記ブロックの1つを現ブロックとして採用し、該現ブロックがすべてインター/すべて内部/すべて可視のブロックであるかを判定するステップと、 前記現ブロックがすべてインター/すべて内部/すべて可視のブロックである場合、前記現ブロックに現れる前記オブジェクトそれぞれの前記動き記述子を前記現ブロックの前記動きベクトルとして使用して、前記現ブロックを符号化するコストを決定するステップと、 前記符号化コストが所定のコストよりも低い場合、前記動き記述子の1つを前記動きベクトルとして使用して前記現ブロックを符号化するステップと、をさらに含む、請求項27記載のコンピュータ読み取り可能媒体。 - 前記トランスコーディング方法は、前記符号化コストが前記所定のコストよりも高い場合、 前記現ブロックについて追加動きベクトルを生成するステップと、 前記追加動きベクトルそれぞれを前記動きベクトルとして使用して、前記現ブロックの符号化コストを決定するステップと、 前記符号化コストが所定のコストよりも低い場合、前記追加動きベクトルの1つを前記動きベクトルとして使用して前記現ブロックを符号化するステップと、 そうではない場合、前記現ブロックを非予測符号化するステップと、をさらに含む、請求項39記載のコンピュータ読み取り可能媒体。
- 前記トランスコーディング方法において、オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、前記現画像は、参照画像を使用して予測符号化され、前記トランスコーディング方法は、前記現画像がブロックベース符号化のために分割されるブロックの1つのブロックであって、少なくとも1つのオブジェクトの少なくとも1つのタイルが現れるブロックを現ブロックとして採用するステップと、前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが第1の条件として非予測符号化されているかどうかを判定するステップと、前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが、前記参照画像に第2の条件として隠れている参照タイルを使用して予測符号化されるかどうかを判定するステップと、前記第1の条件および前記第2の条件の少なくとも一方を満たす場合、前記現ブロックについて追加動きベクトルを生成し、前記追加動きベクトルが前現ブロックの符号化に使用可能であるかどうかをテストするステップと、前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化する際、前記追加動きベクトルが使用可能である場合、前記現ブロックは前記追加動きベクトルを使用して予測符号化され、前記追加動きベクトルが使用不可能である場合、前記現ブロックは非予測符号化されるステップと、をさらに含む、請求項27記載のコンピュータ読み取り可能媒体。
- 前記トランスコーディング方法において、オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、前記現画像は、提示順序において先行する参照画像および後続する参照画像を使用して、Bピクチャとして予測符号化され、前記トランスコーディング方法は、前記現画像がブロックベース符号化のために分割されるブロックの1つのブロックであって、少なくとも1つのオブジェクトの少なくとも1つのタイルが現れるブロックを現ブロックとして採用するステップと、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記参照画像の1つのみに隠れている参照タイルを使用して予測符号化されるかを符号化情報から条件として決定するステップと、 前記条件が満たされる場合、前記現ブロックを符号化する予測モードを、前記現ブロックが、前記参照画像のその他において可視の参照タイルを使用して符号化される符号化モードに変更するステップと、をさらに含む、請求項27記載のコンピュータ読み取り可能媒体。
- 前記トランスコーディング方法において、前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記後続する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更するステップは、前記現ブロックの前記符号化モードを逆方向および双方向の一方から順方向に変更するステップと、前記オブジェクトが元々逆方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する前記動きベクトルを前記先行する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記新しい動きベクトルを使用する順方向予測を用いて前記現ブロックを符号化するステップと、を含み、 前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記先行する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更するステップは、前記現ブロックの前記符号化モードを順方向および双方向の一方から逆方向に変更するステップと、 前記オブジェクトが元々順方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する前記動きベクトルを前記後続する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記新しい動きベクトルを使用する逆方向予測を用いて前記現ブロックを符号化するステップと、を含む、請求項42記載のコンピュータ読み取り可能媒体。
- 前記トランスコーディング方法において、オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、提示順序において先行する参照画像を使用して、Pピクチャとして予測符号化され、前記トランスコーディング方法は、前記現画像がブロックベース符号化のために分割されるブロックの1つのブロックであって、少なくとも1つのオブジェクトの少なくとも1つのタイルが現れるブロックを現ブロックとして採用するステップと、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記先行する参照画像に隠れている参照タイルを使用して予測符号化されるかを符号化情報から条件として決定するステップと、前記条件が満たされる場合、 前記現ブロックの符号化を、前記現ブロックが、前記画像のうち別のものにおいて可視の新しい参照タイルを使用して符号化される予測モードに変更するステップと、前記新しい参照タイルに関して前記現ブロックを符号化するための動きベクトルを生成するステップと、をさらに含む、請求項27記載のコンピュータ読み取り可能媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/561,315 | 2000-04-28 | ||
US09/561,315 US6404814B1 (en) | 2000-04-28 | 2000-04-28 | Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal |
PCT/US2001/009585 WO2001084846A2 (en) | 2000-04-28 | 2001-03-23 | Method and apparatus for transcoding an object-based coded picture signal into a block-based coded picture signal |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003533101A JP2003533101A (ja) | 2003-11-05 |
JP2003533101A5 JP2003533101A5 (ja) | 2006-01-05 |
JP4326743B2 true JP4326743B2 (ja) | 2009-09-09 |
Family
ID=24241457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001581542A Expired - Fee Related JP4326743B2 (ja) | 2000-04-28 | 2001-03-23 | 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ |
Country Status (4)
Country | Link |
---|---|
US (1) | US6404814B1 (ja) |
EP (1) | EP1277344B1 (ja) |
JP (1) | JP4326743B2 (ja) |
WO (1) | WO2001084846A2 (ja) |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1083750A3 (en) * | 1999-09-10 | 2009-09-23 | NTT DoCoMo, Inc. | Method and apparatus for transcoding coded video image data |
JP4224748B2 (ja) * | 1999-09-13 | 2009-02-18 | ソニー株式会社 | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置 |
JP3701522B2 (ja) * | 1999-09-21 | 2005-09-28 | シャープ株式会社 | 画像符号化装置、画像符号化方法及びコンピュータ読み取り可能な記録媒体 |
US6577679B1 (en) * | 1999-09-30 | 2003-06-10 | Hewlett-Packard Development Company Lp | Method and apparatus for transcoding coded picture signals from object-based coding to block-based coding |
JP2001285876A (ja) * | 2000-03-30 | 2001-10-12 | Sony Corp | 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置 |
GB2366464A (en) * | 2000-08-14 | 2002-03-06 | Nokia Mobile Phones Ltd | Video coding using intra and inter coding on the same data |
US7020335B1 (en) * | 2000-11-21 | 2006-03-28 | General Dynamics Decision Systems, Inc. | Methods and apparatus for object recognition and compression |
JP2002209215A (ja) * | 2001-01-09 | 2002-07-26 | Sony Corp | 符号量制御装置及び方法、並びに画像情報変換装置及び方法 |
JP4457506B2 (ja) * | 2001-02-27 | 2010-04-28 | ソニー株式会社 | パケット化装置およびパケット化方法 |
US6671322B2 (en) * | 2001-05-11 | 2003-12-30 | Mitsubishi Electric Research Laboratories, Inc. | Video transcoder with spatial resolution reduction |
US6968006B1 (en) | 2001-06-05 | 2005-11-22 | At&T Corp. | Method of content adaptive video decoding |
US6909745B1 (en) * | 2001-06-05 | 2005-06-21 | At&T Corp. | Content adaptive video encoder |
US6810086B1 (en) | 2001-06-05 | 2004-10-26 | At&T Corp. | System and method of filtering noise |
US7773670B1 (en) * | 2001-06-05 | 2010-08-10 | At+T Intellectual Property Ii, L.P. | Method of content adaptive video encoding |
US6970513B1 (en) | 2001-06-05 | 2005-11-29 | At&T Corp. | System for content adaptive video decoding |
EP1461955A2 (en) * | 2001-12-28 | 2004-09-29 | Koninklijke Philips Electronics N.V. | Video encoding method |
KR100876280B1 (ko) * | 2001-12-31 | 2008-12-26 | 주식회사 케이티 | 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템 |
KR100865034B1 (ko) | 2002-07-18 | 2008-10-23 | 엘지전자 주식회사 | 모션 벡터 예측 방법 |
AU2003223169A1 (en) * | 2002-09-09 | 2004-03-29 | Metav, Inc. | System and method to transcode and playback digital versatile disc (dvd) content and other related applications |
FR2846506B1 (fr) * | 2002-10-28 | 2005-02-11 | Philippe Marie Alber Guenebaud | Dispositif de trans-compression d'un flux numerique audiovisuel pour l'adapter aux equipements de television existants |
AU2003261923C1 (en) | 2002-11-20 | 2009-07-16 | Godo Kaisha Ip Bridge 1 | Moving image predicting method, moving image encoding method and device, and moving image decoding method and device |
CN1723706B (zh) * | 2003-01-07 | 2010-09-22 | 汤姆森特许公司 | 用于宏块分割部分的混合块间/块内编码的装置和方法 |
US20070041447A1 (en) * | 2003-04-17 | 2007-02-22 | Dzevdet Burazerovic | Content analysis of coded video data |
US7424493B2 (en) * | 2003-04-21 | 2008-09-09 | Microsoft Corporation | Replication-based propagation mechanism for pipelines |
JP2005012527A (ja) * | 2003-06-19 | 2005-01-13 | Nippon Hoso Kyokai <Nhk> | 符号化装置、符号化プログラムおよび符号化方法 |
US9612965B2 (en) * | 2003-06-24 | 2017-04-04 | Hewlett-Packard Development Company, L.P. | Method and system for servicing streaming media |
US7362809B2 (en) * | 2003-12-10 | 2008-04-22 | Lsi Logic Corporation | Computational reduction in motion estimation based on lower bound of cost function |
JP2007522732A (ja) * | 2004-02-03 | 2007-08-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | スクリーンに表示される画像のアスペクト比の変更 |
US7839998B2 (en) * | 2004-02-09 | 2010-11-23 | Sony Corporation | Transcoding CableCARD |
US7627037B2 (en) * | 2004-02-27 | 2009-12-01 | Microsoft Corporation | Barbell lifting for multi-layer wavelet coding |
US7580461B2 (en) * | 2004-02-27 | 2009-08-25 | Microsoft Corporation | Barbell lifting for wavelet coding |
US8503542B2 (en) * | 2004-03-18 | 2013-08-06 | Sony Corporation | Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video |
ATE399429T1 (de) * | 2004-04-12 | 2008-07-15 | Ind Academic Coop | Verfahren, vorrichtungen und speichermedien zur bereitstellung von multimedia-diensten unter berücksichtung der endeinrichtungsfähigkeiten |
US20050232497A1 (en) * | 2004-04-15 | 2005-10-20 | Microsoft Corporation | High-fidelity transcoding |
US8140849B2 (en) * | 2004-07-02 | 2012-03-20 | Microsoft Corporation | Security for network coding file distribution |
US7756051B2 (en) * | 2004-07-02 | 2010-07-13 | Microsoft Corporation | Content distribution using network coding |
CN100593952C (zh) * | 2004-08-31 | 2010-03-10 | 松下电器产业株式会社 | 多路复用器及多路复用方法 |
EP1829027A1 (en) * | 2004-12-15 | 2007-09-05 | Telefonaktiebolaget LM Ericsson (publ) | Method and device for encoding mode changing of encoded data streams |
US20060245500A1 (en) * | 2004-12-15 | 2006-11-02 | David Yonovitz | Tunable wavelet target extraction preprocessor system |
KR100703776B1 (ko) * | 2005-04-19 | 2007-04-06 | 삼성전자주식회사 | 향상된 코딩 효율을 갖는 컨텍스트 기반 적응적 산술 코딩및 디코딩 방법과 이를 위한 장치, 이를 포함하는 비디오코딩 및 디코딩 방법과 이를 위한 장치 |
US20060256860A1 (en) * | 2005-05-16 | 2006-11-16 | Gordon Stephen E | Transcoding with look-ahead |
KR100771401B1 (ko) * | 2005-08-01 | 2007-10-30 | (주)펄서스 테크놀러지 | 프로그래머블 프로세서에서 mpeg-2 또는 mpeg-4aac 오디오 복호 알고리즘을 처리하기 위한 연산 회로및 연산 방법 |
US8031766B2 (en) * | 2005-08-02 | 2011-10-04 | Lsi Corporation | Performance adaptive video encoding with concurrent decoding |
US8457958B2 (en) * | 2007-11-09 | 2013-06-04 | Microsoft Corporation | Audio transcoder using encoder-generated side information to transcode to target bit-rate |
US8379995B2 (en) * | 2008-05-15 | 2013-02-19 | Motorola Mobility Llc | In-picture prediction for video coding |
US8638844B2 (en) * | 2008-07-01 | 2014-01-28 | Mediatek Inc. | Method and apparatus for storing decoded moving pictures with a reduced memory requirement |
US20100074336A1 (en) * | 2008-09-25 | 2010-03-25 | Mina Goor | Fractional motion estimation engine |
US8311115B2 (en) * | 2009-01-29 | 2012-11-13 | Microsoft Corporation | Video encoding using previously calculated motion information |
US8396114B2 (en) * | 2009-01-29 | 2013-03-12 | Microsoft Corporation | Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming |
KR20100095992A (ko) | 2009-02-23 | 2010-09-01 | 한국과학기술원 | 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체 |
US8270473B2 (en) * | 2009-06-12 | 2012-09-18 | Microsoft Corporation | Motion based dynamic resolution multiple bit rate video encoding |
KR101271461B1 (ko) * | 2009-10-09 | 2013-06-05 | 한국전자통신연구원 | 감시영상의 프라이버시 정보 보호 장치 및 방법 |
EP2553927B1 (fr) * | 2010-03-31 | 2018-11-28 | Orange | Procedes et dispositifs de codage et de decodage d'une sequence d'images mettant en oeuvre une prediction par compensation de mouvement avant, et programme d'ordinateur correspondant |
US8705616B2 (en) | 2010-06-11 | 2014-04-22 | Microsoft Corporation | Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures |
JP5281623B2 (ja) | 2010-09-29 | 2013-09-04 | 日本電信電話株式会社 | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム |
JP5281624B2 (ja) | 2010-09-29 | 2013-09-04 | 日本電信電話株式会社 | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム |
JP5357199B2 (ja) | 2011-03-14 | 2013-12-04 | 日本電信電話株式会社 | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラムおよび画像復号プログラム |
KR101894420B1 (ko) * | 2011-04-15 | 2018-09-03 | 에스케이플래닛 주식회사 | 적응적 비디오 트랜스코딩 방법 및 시스템 |
US9591318B2 (en) * | 2011-09-16 | 2017-03-07 | Microsoft Technology Licensing, Llc | Multi-layer encoding and decoding |
US11089343B2 (en) | 2012-01-11 | 2021-08-10 | Microsoft Technology Licensing, Llc | Capability advertisement, configuration and control for video coding and decoding |
US9066108B2 (en) * | 2012-04-20 | 2015-06-23 | Technische Universitat Berlin | System, components and method for parametric motion vector prediction for hybrid video coding |
US20130279882A1 (en) | 2012-04-23 | 2013-10-24 | Apple Inc. | Coding of Video and Audio with Initialization Fragments |
CA2871668A1 (en) * | 2012-04-24 | 2013-10-31 | Lyrical Labs Video Compression Technology, LLC | Macroblock partitioning and motion estimation using object analysis for video compression |
US9749627B2 (en) | 2013-04-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Control data for motion-constrained tile set |
JP2015095733A (ja) * | 2013-11-11 | 2015-05-18 | キヤノン株式会社 | 画像伝送装置、画像伝送方法、及びプログラム |
BR112017025820A2 (pt) * | 2015-06-23 | 2018-08-14 | Ericsson Telefon Ab L M | métodos para um codificador de video, um transcodificador de vídeo e um nó de processamento de vídeo, codificador de vídeo, transcodificador de vídeo, nó de processamento de vídeo, e, programa de computador |
US9619588B1 (en) * | 2016-03-31 | 2017-04-11 | Ca, Inc. | Detecting and displaying cumulative lossy transformation |
CN109348226B (zh) * | 2017-04-08 | 2022-11-11 | 腾讯科技(深圳)有限公司 | 一种图片文件处理方法及智能终端 |
US10542260B1 (en) * | 2018-07-02 | 2020-01-21 | Tencent America LLC | Method and apparatus for video coding |
US11256528B2 (en) * | 2018-10-26 | 2022-02-22 | Nvidia Corporation | Individual application window streaming suitable for remote desktop applications |
EP3968635A1 (en) * | 2020-09-11 | 2022-03-16 | Axis AB | A method for providing prunable video |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
EP0998827B1 (en) * | 1998-03-31 | 2007-04-25 | Koninklijke Philips Electronics N.V. | Modifying data which has been coded |
JPH11313317A (ja) * | 1998-04-28 | 1999-11-09 | Asahi Chem Ind Co Ltd | 画像圧縮データの加工方法および装置、動画像圧縮形式変換方法および装置、動画像データ圧縮装置、画像圧縮データ加工プログラムを記憶した記憶媒体、および画像圧縮データの加工データを記憶した記憶媒体 |
GB2339101B (en) * | 1998-06-25 | 2002-09-18 | Sony Uk Ltd | Processing of compressed video signals using picture motion vectors |
US6167084A (en) * | 1998-08-27 | 2000-12-26 | Motorola, Inc. | Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals |
US6275536B1 (en) * | 1999-06-23 | 2001-08-14 | General Instrument Corporation | Implementation architectures of a multi-channel MPEG video transcoder using multiple programmable processors |
US20010047517A1 (en) * | 2000-02-10 | 2001-11-29 | Charilaos Christopoulos | Method and apparatus for intelligent transcoding of multimedia data |
-
2000
- 2000-04-28 US US09/561,315 patent/US6404814B1/en not_active Expired - Lifetime
-
2001
- 2001-03-23 WO PCT/US2001/009585 patent/WO2001084846A2/en active Application Filing
- 2001-03-23 EP EP01922674.5A patent/EP1277344B1/en not_active Expired - Lifetime
- 2001-03-23 JP JP2001581542A patent/JP4326743B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2001084846A2 (en) | 2001-11-08 |
EP1277344B1 (en) | 2016-01-13 |
JP2003533101A (ja) | 2003-11-05 |
WO2001084846A3 (en) | 2002-01-31 |
US6404814B1 (en) | 2002-06-11 |
EP1277344A2 (en) | 2003-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4326743B2 (ja) | 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ | |
US6577679B1 (en) | Method and apparatus for transcoding coded picture signals from object-based coding to block-based coding | |
JP3263807B2 (ja) | 画像符号化装置および画像符号化方法 | |
US7496236B2 (en) | Video coding reconstruction apparatus and methods | |
US5748789A (en) | Transparent block skipping in object-based video coding systems | |
US6324215B1 (en) | Motion picture coding and decoding apparatus | |
US20060013308A1 (en) | Method and apparatus for scalably encoding and decoding color video | |
US20060133493A1 (en) | Method and apparatus for encoding and decoding stereoscopic video | |
JP4163006B2 (ja) | ドリフト補正を備えたビデオトランスコーダ | |
EP1933567B1 (en) | Apparatus for encoding interlaced macroblock texture information | |
JP2002532029A (ja) | ビデオ圧縮のための効率的マクロブロックヘッダ符号化 | |
JP2005253088A (ja) | グレイアルファチャンネルを含んだ映像の符号化/復号化装置および方法 | |
US8306119B2 (en) | Method for hierarchically coding video images | |
JP4209134B2 (ja) | 圧縮ビットストリームをアップサンプリングする方法および装置 | |
JP3576660B2 (ja) | 画像符号化装置および画像復号化装置 | |
JP3344577B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法 | |
Ostermann et al. | Natural and synthetic video in MPEG-4 | |
JP4133581B2 (ja) | テロップ合成装置、テロップ合成方法及びテロップ合成プログラム | |
Puri et al. | Performance evaluation of the MPEG-4 visual coding standard | |
Etoh et al. | Template-based video coding with opacity representation | |
JP3798432B2 (ja) | ディジタル画像を符号化および復号化する方法および装置 | |
JP3344576B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
EP1630744A1 (en) | Method and apparatus for improved encoding of video signals using additional encoder information items, and corresponding storage medium | |
Ferguson et al. | Fractal transform techniques for very low bit rate video coding | |
Shen et al. | Closed-loop MPEG video rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040929 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20040929 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080520 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |