JP4522585B2 - 符号化ユニットの位置特定装置と方法 - Google Patents
符号化ユニットの位置特定装置と方法 Download PDFInfo
- Publication number
- JP4522585B2 JP4522585B2 JP2000583263A JP2000583263A JP4522585B2 JP 4522585 B2 JP4522585 B2 JP 4522585B2 JP 2000583263 A JP2000583263 A JP 2000583263A JP 2000583263 A JP2000583263 A JP 2000583263A JP 4522585 B2 JP4522585 B2 JP 4522585B2
- Authority
- JP
- Japan
- Prior art keywords
- subband
- texture unit
- level
- color
- dcw
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Discrete Mathematics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
- Color Television Systems (AREA)
Description
本願は、1998年11月18日提出の米国仮出願第60/108,973号の利益を請求するとともに、この米国仮出願は参照によって本願に組み込まれている。
本発明は、ディジタルマルチメディア通信分野におけるデータの処理に関する。より詳細には、例えばテクスチャユニットのような符号化単位の位置を迅速に特定するデータ位置特定方法に関する。
【0002】
発明の背景
ディジタルマルチメディア通信分野において、動画、オーディオ、タイミング及び制御データを搬送するデータストリームは種々の“パケット”にパッケージされる。一般に、パケットはデータと制御要素を含む2進数字のグループであり、複合体として交換され伝送される。データ、制御要素及び他の情報は種々の特別なフォーマットに従い配列される。
【0003】
かようなフォーマットの諸例は種々の国際規格に開示されている。これらの規格には、限定するのではないが、Moving Picture Experts Group Standard(例えば、MPEG−1(11172−*),MPEG−2(13818−*)及びMPEG−4(14496−*))、H.261規格及びH.263規格が含まれる。例えば、MPEG規格では、パケットは、ヘッダとそのヘッダに後続する“基本データストリーム”からの多数の連続バイト(ペイロード)から構成されると定義している。“基本ストリーム”は、符号化動画、符号化オーディオ又は他の符号化ビットストリームのいずれかに用いられる極めて包括な用語である。より詳細には、MPEG−2規格の“トランスポートストリーム”パケットは、最長184バイトを有するペイロードと4バイト又はそれ以上のバイト長を持つヘッダを有する。このトランスポートストリームのパケットはトランスポートストリームに組み合わされる1つ又はそれ以上のプログラムの一部である。トランスポートストリームは、その後、特定のトランスファレート(伝送レート)のチャネルで伝送される。
【0004】
しかしながら、例えば無線通信のような雑音のある通信チャネルでパケットを伝送すると、受信器/復号器によって受信されたパケットには損失又は劣化が生じることがある。さらに、データストリーム又はビットストリームは、パケットに部分的な損失があれば受信器/復号器がパケット全体を壊すように相関付けられた圧縮データを搬送しているものもある。
【0005】
さらに、伝送チャネルは、“コネクションレスネットワーク”内においては、例えば、伝送制御プロトコール/インターネットプロトコール(TCP/IP)に従ってパケットを伝送するが、その際、関連パケットは連続する順番で伝送されない。パケットはコネクションレス伝送環境においては損失又は劣化しないが、符号化画像を表現するパケットは、その画像が符号化された符号化順序又は走査順序通りには到着しないことがある。
このランダムなパケットの受信又はパケットの損失の故に、復号器は受信データを迅速に復号し、次に復号画像内の相対空間位置に関してその復号データ位置を決定することが要求される。データ位置を特定する上で復号器の速度が重要なのは幾つかの理由による。
【0006】
第一に、例えばリアルタイムアプリケーションのような低ビットレートアプリケーションの場合、少ない待ち時間で復号画像を表示することが要求される。かように、復号器がデータをその空間位置に従って迅速にマッピングすることが重要である。
第二に、例えばエラーコンシールメント方法(エラー隠蔽法)の実施など、エラー回復が必要な場合、劣化していないデータを迅速に位置特定してマッピングできれば有利である。これにより、劣化していないデータを利用してコンシールメントデータを生成するエラーコンシールメント方法は、復号画像中の紛失データを直ちに補償することができる。
【0007】
さらに、圧縮技法は、階層サブバンド分割を用いて入力画像を変換係数に変換することを含んでもよい。例えば、1992年3月にカリフォルニア州サンフランシスコ市で開催された音響、音声及び信号の処理に関する国際会議の論文集第4卷の657〜660頁に1つの有効な圧縮方法が記述されており、階層順次近似エントロピー符号量子化器を伴う階層サブバンド分割又はウェーブレット変換を行う信号圧縮システムが開示されている。クリティカルにサンプリングされた直交ミラーフィルタ(QMF)を用いたサブバンド表現としても知られているウェーブレットピラミッドは、画像の多重解像度を階層サブバンドで表現する特殊な表現形式である。
【0008】
より詳細には、この階層サブバンドシステムにおいては、最高周波数サブバンドを除き、所与のスケールにおける全係数は、ウェーブレットツリーと呼ばれる構造にしたがって同じ方位のさらに細かいスケールにおける係数セットに関係づけることができる。最も粗いスケールにおける係数を親ノードと呼び、同じ方位の次に細かいスケールでの同一空間又は時間位置に対応する全係数は子ノードと呼ぶ。
【0009】
これらの変換係数の代表的な符号化方法は、図1に示すような“ツリー深さの走査”順序で画像を3つの解像度レベルに分割する。具体的には、ウェーブレット係数をツリーブロックとして符号化しており、各ツリーブロックは、異なる陰影を付けて示した3つの独立した“テクスチャユニット”で表現している。各テクスチャユニットは最低周波数即ち最も粗いAC帯域係数から始まり最高周波数即ち最も細かいAC帯域係数に至るツリー構造を表現している。
【0010】
実際の操作時において、テクスチャユニットを搬送するパケットは、ランダムに受信され、損失又は劣化が生じる。各パケットは、パケットが生成された順序通りには受信されないので、復号器は復号テクスチャユニットの相対的な空間位置を正しく特定しなければならない。かように、雑音の多い通信チャネルとコネクションレス方式でのパケットの伝送の場合、復号器は、パケットのペイロードに蓄積されたデータを直ちに逆パケット化して復号化し、必要に応じてエラー回復方法を実行することが要求される。
従って、復号画像中の符号化ユニット、例えばテクスチャユニットの空間位置を迅速に特定する装置とその方法が当技術分野において求められている。
【0011】
発明の要約
本発明の第1の実施形態において、復号画像内の符号化ユニット、例えばテクスチャユニット(TU)の空間位置を特定する装置と方法を開示する。詳細には、本発明はテクスチャユニットの“始点”、即ちテクスチャユニットの最初の係数位置を迅速に計算し特定する。種々異なるテクスチャ構造(例えば、TUがツリーブロック、TUがサブバンド中の1つのスライス、TUが分割レイヤ中の複数スライス又はTUが正方形ブロックで構成される等)があるが、k番目のテクスチャユニットの始点が判れば、復号器は1つ又はそれ以上のサブバンドにわたるk番目のテクスチャユニットを迅速に特定しマップすることができる。
【0012】
より詳細には、パケットから復号器はテクスチャユニット番号、即ち“k番目”のテクスチャユニットを特定する情報をまず得る。このテクスチャユニット番号はどの色成分にテクスチャユニットが位置しているのかを計算するのに用いられる。即ち、入力画像がカラー画像であれば、各入力画像は3つの独立した色成分、即ち輝度(Y)とCr(U)とCb(V)で表現できる。
さらに、各色成分内において、テクスチャユニット番号は、テクスチャユニットが位置する“サブバンド”を計算するのに使用される。即ち、階層分割された画像の各分割レベルは複数のサブバンド、例えばHHバンド、HLバンド及びLHバンドを有している。
【0013】
最後に、テクスチャユニットに対するサブバンドが特定されると、テクスチャユニット番号を“DC”バンドの幅と高さと共に使用して、特定されたサブバンド内のテクスチャユニットの始点を計算する。このようにして、テクスチャユニットを、除算、加算等の複雑でない複数の算術演算を実行することにより迅速に特定してマッピングすることができる。
【0014】
以下の添付図面を参照し、明細書の詳細説明を検討すれば、本発明の教示内容をよく理解できるであろう。
【0015】
理解をしやすくするために、図面に共通の同一要素には可能な限り同一の参照符号を付けて示してある。
【0016】
詳細な説明
図2は、本発明によるパケットストリームシステム200の簡素化した構成を示すブロック図である。MPEG規格に従って定義された“トランスポートストリーム”のようなデータストリームを、図2に示すパケットストリームシステムに使用して説明する。このトランスポートストリームを一例として用いて本発明につき記述するが、当業者ならば、任意のパケットストリーム、例えばMPEGの“プログラムストリーム”又は他のフォーマットによる任意の他のパケットストリームにも本発明を適用できることは理解できるであろう。さらに、用語“ストリーム”を用いて、本発明につき以下に説明するが、以下に記述する種々の操作はストリーム全体又はストリームの部分に対して実行できることを理解すべきである。
【0017】
システム200は、動画データ210を受信して基本動画ビットストリームに符号化する画像/動画符号化器220を含んでいる。画像/動画符号化器220は、有意度ベース(有意度に基づく)情報を有するか又は有しない、例えばウェーブレット係数のような階層サブバンド分割係数を生成することができる符号化器である。この画像/動画符号化器220は、例えば、Joint Photographic Experts Group (JPEG)符号化器、GIF、PICT等の単一画像符号化器であるか、又は、例えば、MPEG又はATSC規格に従って作動するブロックベース(ブロックに基づく)符号化器又はウェーブレットベース(ウェーブレットに基づく)符号化器のような画像列(動画)用の符号化器であってよい。この開示において、画像列、画像、動画の用語は互換性を持って使用されている。広義において、本発明はいかなるフォーマットの画像又は画像列符号化器/復号器と協働でき、本発明のデータ位置特定方法を用いることによる利点を提供できる。
【0018】
かような符号化器の1例として、Sarnoff Very Low BitRate(VLBR)の符号化器が挙げられるが、この符号化器は、米国特許第5,764,805号(1998年6月9日付けで発行)に開示されており、本願においてこの特許も参照によって組み込まれている。かような符号化器の他の例は、“ウェーブレットに基づく符号化技法により生成したゼロツリーを符号化する装置と方法(Apparatus And Method For Encoding Zerotrees Generated By A Wavelet Based Coding Technique)”の米国特許出願第08/736,114号(1996年10月24日に提出)に開示されており、この例も本願に参照によって組み込まれている。
【0019】
同様に、システムはオーディオデータ212を受信して基本オーディオビットストリームに符号化するオーディオ符号化器222を含んでいてもよい。しかしながら、当業者であれば、複数の画像/動画符号化器220nとオーディオ符号化器222nを使用して複数の基本ビットストリームを生成できることは理解できよう。実際は、複数の動画及びオーディオ符号化器をサーバ225により集合的に使用することができる。このサーバは、種々の符号化器を使用してもよいし、及び/又は種々の記憶媒体に蓄積した複数(又はライブラリ)の基本ストリームを単に保持するだけでもよい。一般に、かようなサーバの出力は、インターリーブされたプログラムストリームを含んでいる。
【0020】
次に、これらのビットストリームを、パケタイザ230に送り、そこで、基本ビットストリームをパケットに変換する。パケット形成時に、トランスポートストリームとは無関係に、パケットを使用するための情報を付加することができる。かように、非オーディオ/動画データも許容されるが、図2には図示していない。好適な実施形態において、本発明の符号化器及びパケタイザは単一モジュールで実装されているが、当業者ならば、符号化器及びパケタイザにより実行される機能は、特定用途の要求により連帯してもしくは個別に実装されることは理解されよう。
【0021】
パケットは、トランスポートストリームマルチプレクサ240により受信され多重化されて、トランスポートストリーム245が生成される。プログラム(動画及びオーディオデータに関連付けられた“パケット識別子”(PID)のグループである)を形成する基本ストリームから構成されたパケットは、通常共通のタイムベースを共用する。かように、トランスポートストリームは、1つ又はそれ以上の独立したタイムベースを持つ1つ又はそれ以上のプログラムを含み、これらのタイムベースを同期表示のために使用する。トランスポートストリーム内の異なるプログラムのタイムベースは異なってよい。
【0022】
トランスポートストリーム245を伝送チャネル250で伝送する。このチャネルは、個別のチャネル専用の符号化器及び復号器(図示せず)をさらに含むことができる。次に、トランスポートストリーム245をトランスポートストリームの逆マルチプレクサ260により逆多重化して復号する。ここで、基本ストリームは、画像/動画復号器270とオーディオ復号器290への入力として供給され、これらの復号器の出力は各々復号動画信号275と復号オーディオ信号295である。
【0023】
さらに、タイミング情報をトランスポートストリームの逆マルチプレクサ260で抽出し、クロック制御装置280に送り、動画及びオーディオ復号器を相互に及びチャネルと同期させるために用いる。復号器とチャネルの同期は、トランスポートストリーム内の“プログラムのクロック基準”(PCR)を用いて実現する。PCRは、ビットストリーム自身のタイミングを符号化するタイムスタンプであり復号器のタイミングを導出するために用いる。
【0024】
上述のように、パケタイザ230は、符号化器からのビットストリームを伝送用のパケットに編成する。伝送チャネル250が雑音のあるチャネルであれば、伝送パケットは劣化するか、部分的に失われる。本発明は、復号器270によりビットストリームを復号して空間位置に関するテクスチャユニットの始点位置を迅速に特定する方法を以下に記述するが、この操作はより大きい復号システム内の他のモジュール、例えば逆パケタイザ(図示せず)においても実行できる点に注目すべきである。本発明の実装自体は設計者の選択事項である。
【0025】
エラーレジリエンス(エラーに対する回復力)は、階層分割情報、即ち、階層サブバンド分割係数を搬送するパケットにとって特に重要である。階層サブバンド分割は、画像の多重解像度表現を提供する。例えば、画像を先ず4つのサブバンドLL,LH,HL及びHHに分割する。各サブバンドは、全体周波数帯域の約1/4帯域を表現している。次により粗いスケールの画像表現を得るために、LLバンドをさらに4つのサブバンドに分割する。上記のプロセスを繰り返して、階層サブバンドのピラミッドを形成することができる。尚、階層サブバンド分割は任意数のサブバンド分割に適用できることを理解すべきである。
【0026】
階層サブバンド分割係数をエラーレジリエンス用に“テクスチャパケット”と呼ばれるユニットにパケット化する。テクスチャパケットは、1個以上の“テクスチャユニット”と命名された符号化ユニットより成る。即ち、テクスチャユニットを単一のパケットにパケット化した場合、そのパケットをテクスチャパケットと呼ぶ。種々のテクスチャユニット構成例が、本願と同時に提出された“符号化単位の形成装置と方法(Apparatus And Method ForForming A Coding Unit)”の米国出願(弁理士事件整理番号attorney docket 13151)に開示されており、参照によって本願に組み込まれている。
【0027】
図3は、画像の3つの階層分割色成分、即ち、入力画像に対する輝度(Y)310,クロミナンス(U)320及びクロミナンス(V)330を示す概略図である。輝度成分は複数のnレベル、例えばL0−Ln-1に分割され、他方、クロミナンス(色)成分は複数のn−1レベル、例えばL1−Ln-1に分割されることに注意すべきである。即ち、各カラー入力画像毎に、3つの色成分を生成し、各クロミナンス成分は輝度成分と比較し1つ少ない分割レベルで生成することができる。しかしながら、本発明は、上記に限定されるのではなく、任意数の色成分又は分割レベルにも適用できることを理解すべきである。
【0028】
詳細には、図3は3つの色成分にわたるテクスチャユニットの走査順序を示しており、ここで、テクスチャユニットはツリーブロックにより、即ち、深さ優先走査順序で編成される。ツリーブロックはウェブレットツリーの分枝に沿った通過時に発見された係数のブロック、即ち、異なる分割レベルにわたる同一空間位置(ツリールートの空間位置のような)に対応する全係数のブロックより成ると定義される。かように、テクスチャユニットとしてのツリーブロックは図3に示す通りであり、いくつかの分割レベルにわたって共通に陰影を付けたブロックが単一のテクスチャユニットを構成し、例えば、テクスチャユニット“0”はレベル“0”の1個の係数とレベル“1”の4個の係数とレベル“2”の16個の係数等を含む。
【0029】
テクスチャユニットの順番(0〜17の順番をつけて示した)は、3つのテクスチャユニットを各色成分の1つから走査し次の色成分に移行する。例えば、Y成分の3つのテクスチャユニット0〜2(レベル0の各々314a〜314cからの3つのサブバンドLH,HL,HHの中のそれぞれから1つのテクスチャ)を走査し、続いて、U成分からの3つの対応テクスチャユニット3〜5(レベル1における各々324a〜324cの3つのサブバンドLH,HL,HH中のそれぞれから1つのテクスチャ)とV成分からの3つの対応テクスチャユニット6〜8(レベル1における各々334a〜334cの3つのサブバンドLH,HL,HHの中のそれぞれから1つのテクスチャ)等を走査する。各サブバンド内において、テクスチャユニットをラスタ走査順に符号化する。かように、図3中のテクスチャユニット番号はY,U,V成分中のテクスチャユニットの走査順序も示している。
【0030】
操作時、符号化テクスチャユニットを搬送するテクスチャパケットは、対応するテクスチャユニットのテクスチャユニット番号を含んでおり、例えばテクスチャパケットは“k番”“k+1番”及び/又は“k+n番”のテクスチャユニットを搬送している。テクスチャユニット番号情報は、通常パケットヘッダに蓄積される。
【0031】
本発明において、復号器はテクスチャユニット番号を用いて復号したテクスチャユニットの始点位置を迅速に特定ができ、即ち、復号器は図3に示すような順序でテクスチャユニットをマッピングすることができる。本発明の重要な形態は、復号器が、各復号テクスチャユニットに対する走査順序の始めから数え直す必要なしに復号テクスチャユニットの位置を特定してマッピングできることである。かような数え直し(recount)は、特に多数のテクスチャユニットを持つ入力画像の場合はおびただしい計算サイクルをもたらすことは理解されるであろう。
【0032】
図7はデータの位置特定法700のフローチャートである。詳細には、図7は図3乃至図6に示すような種々のテクスチャユニット構成と無関係に、本データ位置特定方法を実装するためのトップレベルの一般的な方法を記述する。しかしながら、テクスチャユニット構成は実装毎に変化するので、本開示は、図3乃至図6に示す4つの異なるテクスチャユニット構成を指定した以下の4実施形態を提示する。したがって、図7と図3乃至図6に示すテクスチャユニット構成の各々を同時に参照し、本発明を考察されたい。
【0033】
1)テクスチャユニットがツリーブロックである場合
方法700はステップ705で始まりステップ710に移行し、そこでテクスチャユニット番号、例えば“k”を得る。通常、テクスチャユニット番号はテクスチャパケットのヘッダから得る。
【0034】
ステップ720において、方法700はテクスチャユニット番号に従い色成分を特定する。ここで、色成分Y310を0,U320を1,V330を2で表わし、サブバンドLHを0、HLを1、HHを2で表わすこととする。k番目のテクスチャユニットに対する色成分は次式のように表現できる。
Color=b%3 (1)
式中、b=k/3であり、“/”は整数除算を意味し、即ち、商のみが保持され、%はmod演算を意味し剰余のみが保持される。この特定テクスチャユニット構成の場合、各テクスチャユニットは最低AC解像度レベルから最高AC解像度レベルに進行するので、特定分割レベルを決定する必要がないことに注目すべきである。しかしながら、テクスチャユニットが全分割レベルにわたって規定されない場合、特定分割レベルの特定は以下に示すように重要になる。
【0035】
ステップ730において、方法700は、k番目のテクスチャユニットのサブバンドを以下のように特定する。
Subband=(k%9)%3 (2)
式中の“%”はmod演算を意味する。
【0036】
ステップ740において方法700は、k番目のテクスチャユニットに対し特定されたサブバンド中のテクスチャユニットの始点(h,w)を以下のように特定する。
(Subband=0)ならば、h=a/dc_w,w=(a%dc_w)+dc_w;
(Subband=1)ならば、h=a/dc_w+dc_h,w=(a%dc_w);
(Subband=2)ならば、h=a/dc_w+dc_h,w=(a%dc_w)+dc_w. (3)
式中、“/”は整数除算を意味し、“%”はmod演算を意味する。“a”=k/9であり、dc_hとdc_wは、各々、DC帯域312の高さと幅を表わす。
【0037】
ステップ750において、方法700は現入力画像用の追加テクスチャユニットがあるかを問い合わせる。この問い合わせに対する答えが肯定であれば、方法700はステップ710に戻り、次の復号テクスチャユニットに対しステップ710からステップ740までを繰り返す。問い合わせに対する答えが否定であれば、方法700はステップ760で終了する。
【0038】
2)テクスチャユニットがサブバンド中のスライスである場合:
図4は、最低AC帯域の1行に対応するサブバンド中のスライスとして定義されたテクスチャユニットを示している。スライスは、サブバンド内の1つ以上の行に対応できることに注目すべきである。テクスチャユニットの走査順序は次の通りである。LH(0〜2),HL(3〜5),HH(6〜8)の順で分割レベル0(最低AC帯域)に対する色成分Y中のテクスチャユニットをスライス順で最初に走査し、LH(9〜11),HL(12〜14),HH(15〜17)の順で分割レベル1に対する色成分Y中のテクスチャユニットを次に走査し、LH(18〜20),HL(21〜23),HH(24〜26)の順で分割レベル1に対する色成分U中のテクスチャユニットを次に走査し、LH(27〜29),HL(30〜32),HH(33〜35)の順で分割レベル1に対する色成分V中のテクスチャユニットを次に走査し、LH,HL,HHの順で分割レベル2に対する色成分Y中のテクスチャユニットを次に走査し、LH,HL,HHの順で分割レベル2に対する色成分U中のテクスチャユニットを次に走査し、LH,HL,HHの順で分割レベル2に対する色成分V中のテクスチャユニットを次に走査し、以下同様に順次走査する。
【0039】
図7を参照する。方法700はステップ705で始まり、ステップ710に進み、テクスチャユニット番号、例えば、“k”を得る。
【0040】
ステップ720において、方法700はテクスチャユニット番号に従い色成分と分割レベルを特定する。ここで、色成分Y410を0、U420を1、V430を2で表わし、サブバンドLHを0、HLを1、HHを2で表わすこととする。k番目のテクスチャユニットに対する“色(color)”と分割“レベル(level)”は次のように表現できる。
【0041】
a<3であれば、テクスチャユニットは
level=0、color=0であり
それ以外は、
level=(a-3)/9+1でありcolor=((a-3)/3)%3 (4)
テクスチャユニットがY成分でない、即ち、color≠0であれば、
l=level-1
それ以外は、l=levelである。
式中、“/”は整数除算を意味し、“%”はmod演算を意味し、a=k/dc_hであり、dc_hはDC帯域412の高さを意味する。
【0042】
ステップ730において、方法700は、k番目のテクスチャユニットのサブバンドを以下のように特定する。
a<3であれば、Subband=a、
それ以外は、Subband=(a-3)%3 (5)
式中の“%”はmod演算を意味し、a=k/dc_hであり、dc_hはDC帯域412の高さを意味する。
【0043】
ステップ740において方法700は、k番目のテクスチャユニットに対して特定されたサブバンド中のテクスチャユニットの始点(h,w)を次のように特定する。
Subband=0ならば、h=b*TU_height,w=band_width;
Subband=1ならば、h=b*TU_height+band_height,w=0;
Subband=2ならば、h=b*TU_height+band_height,w=band_width(6)
式中、“%”はmod演算を意味し、band_height=dc_h*TU_height,band_width=dc_w*TU_height,b=k%dc_h,TU_height=2^lであり、dc_wは、DC帯域412の幅を表わす。
【0044】
ステップ750において、方法700は現入力画像用の追加テクスチャユニットがあるかを問い合わせる。この問い合わせに対する答えが肯定であれば、方法700はステップ710に戻り、次の復号テクスチャユニットに対しステップ710からステップ740までを繰り返す。問い合わせに対する答えが否定であれば、方法700はステップ760で終了する。
【0045】
3)テクスチャユニットが分割レイヤ中の複数スライスである場合:
図5は、所与の分割レベル内のサブバンド中の各1つに対する1スライスに対応する複数スライスとして定義されたテクスチャユニットを示しており、例えば、分割レベル0におけるサブバンドLH,HH及びHLの第1スライスは1つのテクスチャユニットを構成している。スライスはサブバンド中の1行以上に対応できることを再度注記しておく。テクスチャユニットの走査順序は次の通りである。分割レベル0(最低AC帯域)におけるY成分の全テクスチャユニットを最初に走査し;分割レベル1におけるY成分の全テクスチャユニットを次に走査し;分割レベル1におけるU成分の全テクスチャユニットを次に走査し;分割レベル1におけるV成分の全テクスチャユニットを次に走査し;分割レベル2におけるY成分の全テクスチャユニットを次に走査し;分割レベル2におけるU成分の全テクスチャユニットを次に走査し;分割レベル2におけるV成分の全テクスチャユニットを次に走査し;以下同様に順次走査する。
【0046】
図7を参照する。方法700はステップ705で始まり、ステップ710に進み、テクスチャユニット番号、例えば、“k”を得る。
【0047】
ステップ720において、方法700はテクスチャユニット番号に従い色成分と分割レベルを特定する。ここで、色成分Y510を0、U520を1、V530を2で表わし、サブバンドLHを0、HLを1、HHを2で表わすこととする。k番目のテクスチャユニットに対する“色(color)”と分割“レベル(level)”は次式のように表現できる。
【0048】
a=0であれば、level=0、color=0
それ以外は、level=(a-1)/3+1、color=(a-1)%3
color≠0であれば、l=level-1、
それ以外の場合はl=level (7)
【0049】
式中、“/”は整数除算を意味し、a=k/dc_hであり、dc_hはDC帯域512の高さを意味する。
【0050】
この実施形態の場合、k番目のテクスチャユニットに対する特別なサブバンドを決定する必要がないのでステップ730はスキップする。即ち、テクスチャユニットの構成によって規定される各テクスチャユニットは、同一レベルにおける全サブバンドからの1つ又はそれ以上のスライスを含む。
【0051】
ステップ740において、方法700は、k番目のテクスチャユニットに対して始点(h,w)を以下のように特定する。
h=b*TU_height, w=band_width (8)
【0052】
式中、“%”はmod演算を意味し、b=k%dc_h,band_height=dc_h*TU_height,band_width= dc_w*TU_height,TU_height=2^lであり、dc_wはDC帯域512の幅を意味する。
【0053】
ステップ750において、方法700は現入力画像用の追加テクスチャユニットがあるかを問い合わせる。この問い合わせに対する答えが肯定であれば、方法700はステップ710に戻り、次の復号テクスチャユニットに対してステップ710からステップ740までを繰り返す。問い合わせに対する答えが否定であれば、方法700はステップ760で終了する。
【0054】
4)テクスチャユニットが分割レイヤ中の複数の正方形ブロックである場合:
図6は、所与の分割レベルにおける各サブバンドにわたる係数の1つまたはそれ以上の正方形ブロックに対応する分割レベルの正方形ブロックとして定義されたテクスチャユニットを示しており、例えば、分割レベル0におけるサブバンドLH,HH及びHLの第1の正方形ブロックがテクスチャユニットを構成している。より詳細には、図6のテクスチャユニットの構造又は定義は、図5のテクスチャユニットの定義のサブセットであると理解することができる。走査順序はラスタ走査で符号化される同一ウェーブレット分割レイヤ中のテクスチャユニットに関する図5の走査順序と同じである。
【0055】
より詳細には、テクスチャユニットの走査順序は次の通りである。分割レベル0(最低AC帯域)におけるY成分の全テクスチャユニットを最初に走査し;分割レベル1におけるY成分の全テクスチャユニットを次に走査し;分割レベル1におけるU成分の全テクスチャユニットを次に走査し;分割レベル1におけるV成分の全テクスチャユニットを次に走査し;分割レベル2におけるY成分の全テクスチャユニットを次に走査し;分割レベル2におけるU成分の全テクスチャユニットを次に走査し;分割レベル2におけるV成分の全テクスチャユニットを次に走査し;以下同様に順次走査する。
【0056】
図7を参照する。方法700はステップ705で始まり、ステップ710に進み、テクスチャユニット番号、例えば、“k”を得る。
【0057】
ステップ720において、方法700はテクスチャユニット番号に従い色成分と分割レベルを特定する。ここで、色成分Y610を0、U620を1、V630を2で表わし、サブバンドLHを0、HLを1、HHを2で表わすこととする。k番目のテクスチャユニットに対する“色(color)”と分割“レベル(level)”は次式のように表現できる。
a=0であれば、level=0、color=0
それ以外は、level=(a-1)/3+1,color=(a-1)%3
color≠0であれば、l=level-1
それ以外の場合はl=level (9)
式中、“/”は整数除算を意味し、a=k/(dc_h*dc_w)であり、“dc_w”と“dc_h”は各々DC帯域612の幅と高さを意味する。
【0058】
この実施形態の場合、k番目のテクスチャユニットに対する特別なサブバンドを決定する必要がないのでステップ730はスキップする。即ち、テクスチャユニットの構成によって規定される各テクスチャユニットは、同一レベルにおける全サブバンドからの1つ又はそれ以上のスライスを含む。
【0059】
ステップ740において、方法700は、k番目のテクスチャユニットに対して始点(h,w)を以下のように特定する。
h=(k%(dc_h*dc_w))/dc_w*unit_size
w=(k%dc_w)*unit_size+band_width (10)
式中、“%”はmod演算を意味し、unit_size=2^l,band_width=dc_w*unit_sizeであり、“k”はテクスチャユニット番号である。
【0060】
ステップ750において、方法700は現入力画像用の追加テクスチャユニットがあるかを問い合わせる。この問い合わせに対する答えが肯定であれば、方法700はステップ710に戻り、次の復号テクスチャユニットに対しステップ710からステップ740までを繰り返す。問い合わせに対する答えが否定であれば、方法700はステップ760で終了する。
【0061】
要約すれば、本発明は幾つかの利点を提供する。第1に、復号器は受信する順序に係わり無くテクスチャユニットを直ちに復号しマッピングすることができる。例えば、k−1番目のテクスチャユニットを受信する前に、k番目のテクスチャユニットを復号しマッピングすることができる。例えば、この能力が有効なのは、幾つかのパケットが失われるか又は劣化した状況を指摘できることである。第2に、復号器は、受信テクスチャユニットのすべてにつき走査順序に従って計数操作をすることなく、簡単な算術演算を行ってテクスチャユニットの始点を迅速且つ効率よく位置決定できる。
【0062】
図8は、本発明による符号化システム800と復号システム860を示すブロック図である。符号化システム800は、汎用コンピュータ810と種々の入出力装置820より構成される。汎用コンピュータは、中央処理装置(CPU)812、メモリ814及び、画像、動画及び/又はオーディオ信号を符号化してパケット化する符号化器/パケタイザ816を含む。
【0063】
好適な実施形態において、符号化器/パケタイザ816は、図2を参照し前述したように単純に、画像/動画符号化器220、オーディオ符号化器222及び/又はパケタイザ230である。この符号化器とパケタイザは結合して又は個別に実装できると理解すべきである。符号化器/パケタイザ816は、CPU812に通信チャネルを介して接続する物理的な装置であり得る。これに代えて、符号化器/パケタイザ816をソフトウェアアプリケーション(又は、例えば、特定用途の集積回路(ASIC)を使用するハードウェアとソフトウェアの組合せ)とすることができ、記憶媒体(例えば、磁気又は光ドライブ又はディスケット)からソフトウェアをロードし、コンピュータのメモリ814内のCPUで実行する。かようにして、本発明の符号化器/パケタイザ816をコンピュータ可読媒体に蓄積させることができる。
【0064】
コンピュータ810は、キーボード,マウス,オーディオレコーダ,カメラ,カムコーダ,ビデオモニタ,及びテープドライブ,フロッピー(R)ドライブ,ハードディスクドライブ又はコンパクトディスクドライブを含むが、それらに限定されない、任意数の画像装置又は記憶装置のような複数の入出力装置820と結合することができる。
【0065】
符号化システムは、復号システムに通信チャネル850を通して結合できる。但し、本発明は、どの特定タイプの通信チャネルにも限定されない。
【0066】
復号システム860は、汎用コンピュータ870及び種々の入出力装置880を含む。この汎用コンピュータは中央処理装置(CPU)872と、記憶装置874と、符号化画像列を受信し復号する復号器/逆パケタイザ876を含む。
【0067】
好適な実施形態において、復号器/逆パケタイザ876は、符号化器/パケタイザ816と相補して前述のように同符号化器/パケタイザ816によって生成されたビットストリームを復号するための極めて任意の復号器である。この復号器/逆パケタイザ876は、CPU872に通信チャネルを介し結合する物理的な装置であり得る。これに代えて、復号器/逆パケタイザ876を例えば、磁気又は光ディスクのような記憶装置からロードするソフトウェアアプリケーションとして実装し、コンピュータのメモリ874内に常駐させることもできる。かように、本発明の符号化器/パケタイザ816に相補する復号器をコンピュータ可読媒体に蓄積させることができる。
【0068】
コンピュータ860は、キーボード,マウス,ビデオモニタ,又はテープドライブ,フロッピー(R)ドライブ,ハードディスクドライブ又はコンパクトディスクドライブを含むが、それらに限定されない、任意数の画像配信装置又は画像蓄積装置のような複数の入出力装置880と結合することができる。入力装置は、コンピュータが復号した動画の画像列を蓄積又は配信するのを可能にする。
【0069】
本発明の教示を含む種々の実施形態を図示し詳細に記述してきたが、当業者であれば、これらの教示を含む多くの他の変更態様を容易に工夫することができるであろう。
【図面の簡単な説明】
【図1】 図1は、先行技術において使用されている複数のテクスチャユニットを有するウェーブレットツリーにおける3つのレベルに分割した画像内のサブバンドの親子関係を示す概略図である。
【図2】 図2は、本発明の簡素化したパケットストリームシステムを示すブロック図である。
【図3】 図3は、各テクスチャユニットをツリーブロックに従って編成した3つの色成分にわたるテクスチャユニットの走査順序を示す概略図である。
【図4】 図4は、各テクスチャユニットをサブバンド内のスライスにより編成した3つの色成分にわたるテクスチャユニットの走査順序を示す概略図である。
【図5】 図5は、各テクスチャユニットを分割レベル内の複数のスライスにより編成した3つの色成分にまたがるテクスチャユニットの走査順序を示す概略図である。
【図6】 図6は、各テクスチャユニットを分割レベル内の複数の正方形ブロックにより編成した3つの色成分にわたるテクスチャユニットの走査順序を示す概略図である。
【図7】 図7は、本発明のデータ位置特定方法のフローチャートである。
【図8】 図8は、本発明による符号化システムと復号システムを示すブロック図である。
Claims (11)
- 階層分割された画像の各分割レベルが有するサブバンドの係数から構成された複数のテクスチャユニットをパケット化したテクスチャパケットを受信し、復号する際に、現テクスチャユニットの位置を特定し、復号したテクスチャユニットをマッピングするマッピング方法において、
前記現テクスチャユニットのテクスチャユニット番号を得る獲得ステップと、
前記入力画像がカラー画像であった場合に、前記テクスチャユニット番号から前記現テクスチャユニットに対する色成分あるいは分割レベルを特定する特定ステップと、
前記テクスチャユニット番号から特定した色成分あるいは分割レベル、前記入力画像のDCサブバンドの幅と高さに従って、前記現テクスチャユニットの位置を決定する決定ステップとを含んでなることを特徴とするマッピング方法。 - 前記現テクスチャユニットに対するサブバンドを特定するサブバンド特定ステップをさらに含み、
前記獲得ステップは、ツリーブロックとして定義された前記現テクスチャユニットに対するテクスチャユニット番号kを得るステップであり、
前記特定ステップは、k番目のテクスチャユニットに対する色成分を示す値Colorを、Color=b%3で計算することで該色成分を特定し、
前記サブバンド特定ステップは、k番目のテクスチャユニットに対するサブバンドを示す値Subbandを、Subband=(k%9)%3で計算することで該サブバンドを特定し、
前記決定ステップは、k番目のテクスチャユニットに対して前記サブバンド特定ステップで特定されたサブバンド内のマッピング開始点(h,w)を、
Subband=0の場合、h=a/dcw、 w=(a%dcw)+dcw
Subband=1の場合、h=a/dcw+dch、 w=(a%dcw)
Subband=2の場合、h=a/dcw+dch、 w=(a%dcw)+dcw
で算出することで、前記現テクスチャユニットのマッピング位置を決定し、
式中、/は整数除算を意味し、%はmod演算を意味し、b=k/3、a=k/9とし、dchはDCサブバンドの高さを表し、dcwはDCサブバンドの幅を表すことを特徴とする請求項1に記載のマッピング方法。 - 前記現テクスチャユニットに対するサブバンドを特定するサブバンド特定ステップをさらに含み、
前記獲得ステップは、サブバンド中のスライスとして定義された前記現テクスチャユニットに対するテクスチャユニット番号kを得るステップであり、
前記特定ステップは、k番目のテクスチャユニットに対する色成分を示す値Colorを、a<3であればColor=0、それ以外であればColor=((a−3)/3)%3で計算することで該色成分を特定し、k番目のテクスチャユニットに対する分割レベルを示す値Levelを、a<3であればLevel=0、それ以外であればLevel=(a−3)/9+1、Color≠0であればL=Level−1、それ以外であればL=Level、で計算することで該分割レベルを特定し、
前記サブバンド特定ステップは、k番目のテクスチャユニットに対するサブバンドを示す値Subbandを、a<3であればSubband=a、それ以外であればSubband=(a−3)%3で計算することで該サブバンドを特定し、
前記決定ステップは、k番目のテクスチャユニットに対して前記サブバンド特定ステップで特定されたサブバンド内のマッピング開始点(h,w)を、
Subband=0の場合、h=b*TUheight、 w=bandwidth
Subband=1の場合、h=b*TUheight+bandheight、 w=0
Subband=2の場合、h=b*TUheight+bandheight、 w=bandwidth
で算出することで、前記現テクスチャユニットのマッピング位置を決定し、
式中、/は整数除算を意味し、%はmod演算を意味し、a=k/dch、b=k%dch、bandheight=dch*TUheight、bandwidth=dcw*TUheight、TUheight=2^Lとし、dchはDCサブバンドの高さを表し、dcwはDCサブバンドの幅を表すことを特徴とする請求項1に記載のマッピング方法。 - 前記獲得ステップは、1つの分割レベルにおける複数スライスとして定義された前記現テクスチャユニットに対するテクスチャユニット番号kを得るステップであり、
前記特定ステップは、k番目のテクスチャユニットに対する色成分を示す値Colorを、a=0であればColor=0、それ以外であればColor=(a−1)%3で計算することで該色成分を特定し、k番目のテクスチャユニットに対する分割レベルを示す値Levelを、a=0であればLevel=0、それ以外であればLevel=(a−1)/3+1、Color≠0であればL=Level−1、それ以外であればL=Level、で計算することで該分割レベルを特定し、
前記決定ステップは、k番目のテクスチャユニットのマッピング開始点(h,w)を、h=b*TUheight、w=bandwidthを計算することで、前記現テクスチャユニットのマッピング位置を決定し、
式中、/は整数除算を意味し、%はmod演算を意味し、a=k/dch、b=k%dch、bandheight=dch*TUheight、bandwidth=dcw*TUheight、TUheight=2^Lとし、dchはDCサブバンドの高さを表し、dcwはDCサブバンドの幅を表すことを特徴とする請求項1に記載のマッピング方法。 - 前記獲得ステップは、1つの分割レベルにおける正方形ブロックとして定義された前記現テクスチャユニットに対するテクスチャユニット番号kを得るステップであり、
前記特定ステップは、k番目のテクスチャユニットに対する色成分を示す値Colorを、a=0であればColor=0、それ以外であればColor=(a−1)%3で計算することで該色成分を特定し、k番目のテクスチャユニットに対する分割レベルを示す値Levelを、a=0であればLevel=0、それ以外であればLevel=(a−1)/3+1、Color≠0であればL=Level−1、それ以外であればL=Level、で計算することで該分割レベルを特定し、
前記決定ステップは、k番目のテクスチャユニットのマッピング開始点(h,w)を、h=(k%(dch*dcw))/dcw*unitsize、w=(k%dcw)*unitsize+bandwidthを計算することで、前記現テクスチャユニットのマッピング位置を決定し、
式中、/は整数除算を意味し、%はmod演算を意味し、a=k/(dch*dcw)、unitsize=2^L、bandwidth=dcw*unitsizeとし、dchはDCサブバンドの高さを表し、dcwはDCサブバンドの幅を表すことを特徴とする請求項1に記載のマッピング方法。 - 階層分割された画像の各分割レベルが有するサブバンドの係数から構成された複数のテクスチャユニットをパケット化したテクスチャパケットを受信し、復号する際に、現テクスチャユニットの位置を特定し、復号したテクスチャユニットをマッピングするマッピング装置において、
前記現テクスチャユニットのテクスチャユニット番号を得る獲得手段と、
前記入力画像がカラー画像であった場合に、前記テクスチャユニット番号から前記現テクスチャユニットに対する色成分あるいは分割レベルを特定する特定手段と、
前記テクスチャユニット番号から特定した色成分あるいは分割レベル、前記入力画像のDCサブバンドの幅と高さに従って、前記現テクスチャユニットの位置を決定する決定手段とを有することを特徴とするマッピング装置。 - 前記現テクスチャユニットに対するサブバンドを特定するサブバンド特定手段をさらに有し、
前記獲得手段は、ツリーブロックとして定義された前記現テクスチャユニットに対するテクスチャユニット番号kを得る手段であり、
前記特定手段は、k番目のテクスチャユニットに対する色成分を示す値Colorを、Color=b%3で計算することで該色成分を特定し、
前記サブバンド特定手段は、k番目のテクスチャユニットに対するサブバンドを示す値Subbandを、Subband=(k%9)%3で計算することで該サブバンドを特定し、
前記決定手段は、k番目のテクスチャユニットに対して前記サブバンド特定手段で特定されたサブバンド内のマッピング開始点(h,w)を、
Subband=0の場合、h=a/dcw、 w=(a%dcw)+dcw
Subband=1の場合、h=a/dcw+dch、 w=(a%dcw)
Subband=2の場合、h=a/dcw+dch、 w=(a%dcw)+dcw
で算出することで、前記現テクスチャユニットのマッピング位置を決定し、
式中、/は整数除算を意味し、%はmod演算を意味し、b=k/3、a=k/9とし、dchはDCサブバンドの高さを表し、dcwはDCサブバンドの幅を表すことを特徴とする請求項6に記載のマッピング装置。 - 前記現テクスチャユニットに対するサブバンドを特定するサブバンド特定手段をさらに有し、
前記獲得手段は、サブバンド中のスライスとして定義された前記現テクスチャユニットに対するテクスチャユニット番号kを得る手段であり、
前記特定手段は、k番目のテクスチャユニットに対する色成分を示す値Colorを、a<3であればColor=0、それ以外であればColor=((a−3)/3)%3で計算することで該色成分を特定し、k番目のテクスチャユニットに対する分割レベルを示す値Levelを、a<3であればLevel=0、それ以外であればLevel=(a−3)/9+1、Color≠0であればL=Level−1、それ以外であればL=Level、で計算することで該分割レベルを特定し、
前記サブバンド特定手段は、k番目のテクスチャユニットに対するサブバンドを示す値Subbandを、a<3であればSubband=a、それ以外であればSubband=(a−3)%3で計算することで該サブバンドを特定し、
前記決定手段は、k番目のテクスチャユニットに対して前記サブバンド特定手段で特定されたサブバンド内のマッピング開始点(h,w)を、
Subband=0の場合、h=b*TUheight、 w=bandwidth
Subband=1の場合、h=b*TUheight+bandheight、 w=0
Subband=2の場合、h=b*TUheight+bandheight、 w=bandwidth
で算出することで、前記現テクスチャユニットのマッピング位置を決定し、
式中、/は整数除算を意味し、%はmod演算を意味し、a=k/dch、b=k%dch、bandheight=dch*TUheight、bandwidth=dcw*TUheight、TUheight=2^Lとし、dchはDCサブバンドの高さを表し、dcwはDCサブバンドの幅を表すことを特徴とする請求項6に記載のマッピング装置。 - 前記獲得手段は、1つの分割レベルにおける複数スライスとして定義された前記現テクスチャユニットに対するテクスチャユニット番号kを得る手段であり、
前記特定手段は、k番目のテクスチャユニットに対する色成分を示す値Colorを、a=0であればColor=0、それ以外であればColor=(a−1)%3で計算することで該色成分を特定し、k番目のテクスチャユニットに対する分割レベルを示す値Levelを、a=0であればLevel=0、それ以外であればLevel=(a−1)/3+1、Color≠0であればL=Level−1、それ以外であればL=Level、で計算することで該分割レベルを特定し、
前記決定手段は、k番目のテクスチャユニットのマッピング開始点(h,w)を、h=b*TUheight、w=bandwidthを計算することで、前記現テクスチャユニットのマッピング位置を決定し、
式中、/は整数除算を意味し、%はmod演算を意味し、a=k/dch、b=k%dch、bandheight=dch*TUheight、bandwidth=dcw*TUheight、TUheight=2^Lとし、dchはDCサブバンドの高さを表し、dcwはDCサブバンドの幅を表すことを特徴とする請求項6に記載のマッピング装置。 - 前記獲得手段は、1つの分割レベルにおける正方形ブロックとして定義された前記現テクスチャユニットに対するテクスチャユニット番号kを得る手段であり、
前記特定手段は、k番目のテクスチャユニットに対する色成分を示す値Colorを、a=0であればColor=0、それ以外であればColor=(a−1)%3で計算することで該色成分を特定し、k番目のテクスチャユニットに対する分割レベルを示す値Levelを、a=0であればLevel=0、それ以外であればLevel=(a−1)/3+1、Color≠0であればL=Level−1、それ以外であればL=Level、で計算することで該分割レベルを特定し、
前記決定手段は、k番目のテクスチャユニットのマッピング開始点(h,w)を、h=(k%(dch*dcw))/dcw*unitsize、w=(k%dcw)*unitsize+bandwidthを計算することで、前記現テクスチャユニットのマッピング位置を決定し、
式中、/は整数除算を意味し、%はmod演算を意味し、a=k/(dch*dcw)、unitsize=2^L、bandwidth=dcw*unitsizeとし、dchはDCサブバンドの高さを表し、dcwはDCサブバンドの幅を表すことを特徴とする請求項6に記載のマッピング装置。 - 複数の命令を蓄積しているコンピュータ読み取り可能な記録媒体であり、該複数の命令は、プロセッサにより実行される時に、
a)前記現テクスチャユニットのテクスチャユニット番号を得る獲得ステップと、
b)前記入力画像がカラー画像であった場合に、前記テクスチャユニット番号から前記現テクスチャユニットに対する色成分あるいは分割レベルを特定する特定ステップと、
c)前記テクスチャユニット番号から特定した色成分あるいは分割レベル、前記入力画像のDCサブバンドの幅と高さに従って、前記現テクスチャユニットのマッピング位置を決定する決定ステップとを前記プロセッサに実行させるための命令を含んでいることを特徴とするコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10897398P | 1998-11-18 | 1998-11-18 | |
US60/108,973 | 1998-11-18 | ||
US09/377,381 | 1999-08-19 | ||
US09/377,381 US6487319B1 (en) | 1998-11-18 | 1999-08-19 | Apparatus and method for identifying the location of a coding unit |
PCT/US1999/027387 WO2000030368A2 (en) | 1998-11-18 | 1999-11-18 | Identifying the location of a coding unit based on width and height of dc suband |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002530951A JP2002530951A (ja) | 2002-09-17 |
JP4522585B2 true JP4522585B2 (ja) | 2010-08-11 |
Family
ID=26806500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000583263A Expired - Lifetime JP4522585B2 (ja) | 1998-11-18 | 1999-11-18 | 符号化ユニットの位置特定装置と方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6487319B1 (ja) |
EP (1) | EP1131790B1 (ja) |
JP (1) | JP4522585B2 (ja) |
AU (1) | AU1736000A (ja) |
DE (1) | DE69937839T2 (ja) |
WO (1) | WO2000030368A2 (ja) |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6263503B1 (en) * | 1999-05-26 | 2001-07-17 | Neal Margulis | Method for effectively implementing a wireless television system |
US8266657B2 (en) | 2001-03-15 | 2012-09-11 | Sling Media Inc. | Method for effectively implementing a multi-room television system |
EP1320831A2 (en) * | 2000-09-12 | 2003-06-25 | Koninklijke Philips Electronics N.V. | Video coding method |
US8099755B2 (en) | 2004-06-07 | 2012-01-17 | Sling Media Pvt. Ltd. | Systems and methods for controlling the encoding of a media stream |
US7917932B2 (en) | 2005-06-07 | 2011-03-29 | Sling Media, Inc. | Personal video recorder functionality for placeshifting systems |
US9998802B2 (en) | 2004-06-07 | 2018-06-12 | Sling Media LLC | Systems and methods for creating variable length clips from a media stream |
US7769756B2 (en) | 2004-06-07 | 2010-08-03 | Sling Media, Inc. | Selection and presentation of context-relevant supplemental content and advertising |
CN103037254B (zh) * | 2004-06-07 | 2016-07-13 | 斯灵媒体公司 | 个人媒体广播系统 |
US8346605B2 (en) | 2004-06-07 | 2013-01-01 | Sling Media, Inc. | Management of shared media content |
US7975062B2 (en) | 2004-06-07 | 2011-07-05 | Sling Media, Inc. | Capturing and sharing media content |
EP1899814B1 (en) | 2005-06-30 | 2017-05-03 | Sling Media, Inc. | Firmware update for consumer electronic device |
JP4424522B2 (ja) * | 2006-07-13 | 2010-03-03 | 日本電気株式会社 | 符号化及び復号化装置ならびに符号化方法及び復号方法 |
US20080256485A1 (en) * | 2007-04-12 | 2008-10-16 | Jason Gary Krikorian | User Interface for Controlling Video Programs on Mobile Computing Devices |
US8477793B2 (en) | 2007-09-26 | 2013-07-02 | Sling Media, Inc. | Media streaming device with gateway functionality |
US8350971B2 (en) | 2007-10-23 | 2013-01-08 | Sling Media, Inc. | Systems and methods for controlling media devices |
US8060609B2 (en) | 2008-01-04 | 2011-11-15 | Sling Media Inc. | Systems and methods for determining attributes of media items accessed via a personal media broadcaster |
US8165393B2 (en) * | 2008-06-05 | 2012-04-24 | Microsoft Corp. | High dynamic range texture compression |
US8667279B2 (en) | 2008-07-01 | 2014-03-04 | Sling Media, Inc. | Systems and methods for securely place shifting media content |
US20100001960A1 (en) * | 2008-07-02 | 2010-01-07 | Sling Media, Inc. | Systems and methods for gestural interaction with user interface objects |
US8381310B2 (en) | 2009-08-13 | 2013-02-19 | Sling Media Pvt. Ltd. | Systems, methods, and program applications for selectively restricting the placeshifting of copy protected digital media content |
US8667163B2 (en) | 2008-09-08 | 2014-03-04 | Sling Media Inc. | Systems and methods for projecting images from a computer system |
US9191610B2 (en) | 2008-11-26 | 2015-11-17 | Sling Media Pvt Ltd. | Systems and methods for creating logical media streams for media storage and playback |
US8438602B2 (en) | 2009-01-26 | 2013-05-07 | Sling Media Inc. | Systems and methods for linking media content |
US8171148B2 (en) | 2009-04-17 | 2012-05-01 | Sling Media, Inc. | Systems and methods for establishing connections between devices communicating over a network |
US8406431B2 (en) | 2009-07-23 | 2013-03-26 | Sling Media Pvt. Ltd. | Adaptive gain control for digital audio samples in a media stream |
US9479737B2 (en) | 2009-08-06 | 2016-10-25 | Echostar Technologies L.L.C. | Systems and methods for event programming via a remote media player |
US8966101B2 (en) | 2009-08-10 | 2015-02-24 | Sling Media Pvt Ltd | Systems and methods for updating firmware over a network |
US8532472B2 (en) | 2009-08-10 | 2013-09-10 | Sling Media Pvt Ltd | Methods and apparatus for fast seeking within a media stream buffer |
US9525838B2 (en) | 2009-08-10 | 2016-12-20 | Sling Media Pvt. Ltd. | Systems and methods for virtual remote control of streamed media |
US9565479B2 (en) | 2009-08-10 | 2017-02-07 | Sling Media Pvt Ltd. | Methods and apparatus for seeking within a media stream using scene detection |
US8799408B2 (en) * | 2009-08-10 | 2014-08-05 | Sling Media Pvt Ltd | Localization systems and methods |
US9160974B2 (en) | 2009-08-26 | 2015-10-13 | Sling Media, Inc. | Systems and methods for transcoding and place shifting media content |
US8314893B2 (en) | 2009-08-28 | 2012-11-20 | Sling Media Pvt. Ltd. | Remote control and method for automatically adjusting the volume output of an audio device |
US9015225B2 (en) | 2009-11-16 | 2015-04-21 | Echostar Technologies L.L.C. | Systems and methods for delivering messages over a network |
US8971656B2 (en) * | 2009-12-10 | 2015-03-03 | Sk Telecom Co., Ltd. | Encoding/decoding method and apparatus using a tree structure |
US8799485B2 (en) | 2009-12-18 | 2014-08-05 | Sling Media, Inc. | Methods and apparatus for establishing network connections using an inter-mediating device |
US8626879B2 (en) | 2009-12-22 | 2014-01-07 | Sling Media, Inc. | Systems and methods for establishing network connections using local mediation services |
US9178923B2 (en) | 2009-12-23 | 2015-11-03 | Echostar Technologies L.L.C. | Systems and methods for remotely controlling a media server via a network |
US9275054B2 (en) | 2009-12-28 | 2016-03-01 | Sling Media, Inc. | Systems and methods for searching media content |
US8856349B2 (en) | 2010-02-05 | 2014-10-07 | Sling Media Inc. | Connection priority services for data communication between two devices |
EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
EP4300160A3 (en) | 2016-12-30 | 2024-05-29 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
KR20230152180A (ko) | 2017-12-10 | 2023-11-02 | 매직 립, 인코포레이티드 | 광학 도파관들 상의 반사―방지 코팅들 |
CA3086206A1 (en) | 2017-12-20 | 2019-06-27 | Magic Leap, Inc. | Insert for augmented reality viewing device |
US10755676B2 (en) | 2018-03-15 | 2020-08-25 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
US11885871B2 (en) | 2018-05-31 | 2024-01-30 | Magic Leap, Inc. | Radar head pose localization |
US11579441B2 (en) | 2018-07-02 | 2023-02-14 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
WO2020010226A1 (en) | 2018-07-03 | 2020-01-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
WO2020023543A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Viewing device with dust seal integration |
US11598651B2 (en) | 2018-07-24 | 2023-03-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
US11112862B2 (en) | 2018-08-02 | 2021-09-07 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
JP7472127B2 (ja) | 2018-11-16 | 2024-04-22 | マジック リープ, インコーポレイテッド | 画像鮮明度を維持するための画像サイズによってトリガされる明確化 |
JP2022523852A (ja) | 2019-03-12 | 2022-04-26 | マジック リープ, インコーポレイテッド | 第1および第2の拡張現実ビューア間でのローカルコンテンツの位置合わせ |
EP3963565A4 (en) | 2019-05-01 | 2022-10-12 | Magic Leap, Inc. | CONTENT DELIVERY SYSTEM AND PROCEDURES |
WO2021021670A1 (en) | 2019-07-26 | 2021-02-04 | Magic Leap, Inc. | Systems and methods for augmented reality |
EP4058979A4 (en) | 2019-11-15 | 2023-01-11 | Magic Leap, Inc. | VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2240015A (en) * | 1990-01-15 | 1991-07-17 | Philips Electronic Associated | Texture memory addressing |
GB2252001B (en) * | 1991-01-11 | 1995-01-04 | Sony Broadcast & Communication | Storage of video signals |
KR0167367B1 (ko) * | 1991-06-04 | 1999-03-20 | 하비 피. 화이트 | 적응블록크기 영상압축방법 및 시스템 |
US5521717A (en) * | 1992-02-03 | 1996-05-28 | Canon Kabushiki Kaisha | Image processing apparatus and method therefor |
US5764802A (en) | 1994-09-09 | 1998-06-09 | Intel Corporation | Encoding image signals using a blur image |
US5748786A (en) * | 1994-09-21 | 1998-05-05 | Ricoh Company, Ltd. | Apparatus for compression using reversible embedded wavelets |
US5867602A (en) | 1994-09-21 | 1999-02-02 | Ricoh Corporation | Reversible wavelet transform and embedded codestream manipulation |
US5604824A (en) | 1994-09-22 | 1997-02-18 | Houston Advanced Research Center | Method and apparatus for compression and decompression of documents and the like using splines and spline-wavelets |
US5754702A (en) * | 1994-12-02 | 1998-05-19 | Allied Signal Inc. | Scale oriented interband prediction method for image data compression and reconstruction |
JP3288898B2 (ja) * | 1995-05-31 | 2002-06-04 | 株式会社東芝 | ディジタルテレビジョン放送システム |
JP2000506686A (ja) * | 1995-10-25 | 2000-05-30 | サーノフ コーポレイション | オーバラップブロック動き補償及びゼロツリーウェーブレット符号化を用いる低ビットレートビデオ符号化器 |
US5760783A (en) * | 1995-11-06 | 1998-06-02 | Silicon Graphics, Inc. | Method and system for providing texture using a selected portion of a texture map |
US5831625A (en) * | 1996-01-02 | 1998-11-03 | Integrated Device Technology, Inc. | Wavelet texturing |
GB9611941D0 (en) * | 1996-06-07 | 1996-08-07 | Philips Electronics Nv | Three-dimensional image texture mapping |
WO1998028713A1 (en) * | 1996-12-20 | 1998-07-02 | Cirrus Logic, Inc. | Enhanced methods and systems for caching and pipelining of graphics texture data |
JP2927350B2 (ja) * | 1997-03-27 | 1999-07-28 | 株式会社モノリス | 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法 |
US6269192B1 (en) * | 1997-07-11 | 2001-07-31 | Sarnoff Corporation | Apparatus and method for multiscale zerotree entropy encoding |
US6301222B1 (en) * | 1997-10-24 | 2001-10-09 | Lucent Technologies Inc. | Signal data transmission over lossy packet networks |
US6137915A (en) * | 1998-08-20 | 2000-10-24 | Sarnoff Corporation | Apparatus and method for error concealment for hierarchical subband coding and decoding |
-
1999
- 1999-08-19 US US09/377,381 patent/US6487319B1/en not_active Expired - Lifetime
- 1999-11-18 EP EP99960481A patent/EP1131790B1/en not_active Expired - Lifetime
- 1999-11-18 JP JP2000583263A patent/JP4522585B2/ja not_active Expired - Lifetime
- 1999-11-18 DE DE69937839T patent/DE69937839T2/de not_active Expired - Lifetime
- 1999-11-18 AU AU17360/00A patent/AU1736000A/en not_active Abandoned
- 1999-11-18 WO PCT/US1999/027387 patent/WO2000030368A2/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
EP1131790B1 (en) | 2007-12-26 |
WO2000030368A9 (en) | 2002-08-29 |
JP2002530951A (ja) | 2002-09-17 |
AU1736000A (en) | 2000-06-05 |
WO2000030368A2 (en) | 2000-05-25 |
US6487319B1 (en) | 2002-11-26 |
DE69937839D1 (de) | 2008-02-07 |
EP1131790A4 (en) | 2005-06-08 |
EP1131790A2 (en) | 2001-09-12 |
WO2000030368A3 (en) | 2001-01-18 |
DE69937839T2 (de) | 2008-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4522585B2 (ja) | 符号化ユニットの位置特定装置と方法 | |
US6137915A (en) | Apparatus and method for error concealment for hierarchical subband coding and decoding | |
US7606434B2 (en) | Apparatus and method for forming a coding unit | |
US6553147B2 (en) | Apparatus and method for data partitioning to improving error resilience | |
US6526175B2 (en) | Apparatus and method for packetizing significance-based information | |
JP2007166625A (ja) | ビデオデータ符号化装置、ビデオデータ符号化方法、ビデオデータ復号化装置およびビデオデータ復号化方法 | |
WO2004077834A1 (en) | Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions | |
US20060159173A1 (en) | Video coding in an overcomplete wavelet domain | |
US9264736B2 (en) | Encoding method, decoding method, encoding device, and decoding device | |
US20030206557A1 (en) | Error-resilient video transmission system for wireless LAN utilizing data partitioning and unequal error protection | |
JP2004007266A (ja) | 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体 | |
EP1119977B1 (en) | Apparatus and method for data partitioning to improve error resilience | |
JP2002527956A (ja) | 符号化単位形成装置と方法 | |
JPH10215454A (ja) | 符号化装置及び符号化方法 | |
GB2425013A (en) | Encoding video data using operating parameters of the image capture device | |
Weinstein | Digital Coding of Audio and Video | |
JPH09107545A (ja) | データストリームを復号化するときエラーをマスキングする方法と装置 | |
WO2007116207A1 (en) | Encoding and decoding a signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20051206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060807 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100525 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100526 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4522585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130604 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |