JP4601716B2 - 光ディスクにデータストリームを符号化して記録する方法および記録された光ディスク - Google Patents

光ディスクにデータストリームを符号化して記録する方法および記録された光ディスク Download PDF

Info

Publication number
JP4601716B2
JP4601716B2 JP2010103637A JP2010103637A JP4601716B2 JP 4601716 B2 JP4601716 B2 JP 4601716B2 JP 2010103637 A JP2010103637 A JP 2010103637A JP 2010103637 A JP2010103637 A JP 2010103637A JP 4601716 B2 JP4601716 B2 JP 4601716B2
Authority
JP
Japan
Prior art keywords
byte
color
codeword
value
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2010103637A
Other languages
English (en)
Other versions
JP2010252343A (ja
Inventor
アドルフ ディルク
ヘーレントルップ ヨープスト
コッハーレ アクセル
オスターマン ラルフ
ペータース ハルトムート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010252343A publication Critical patent/JP2010252343A/ja
Application granted granted Critical
Publication of JP4601716B2 publication Critical patent/JP4601716B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93Run-length coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Description

本発明はデータストリームのランレングス符号化方法、特にビットマップ化された字幕スーパーデータの符号化方法に関する。
ビデオデータを含む放送または読み出し専用媒体はテキスト情報またはグラフィクス情報を含むサブピクチャデータストリームを有することがある。これらの情報は特定の目的(例えばメニューボタン)のための字幕スーパー、シンボルまたはアニメーションを形成するのに必要とされる。こうした情報はその表示をイネーブルまたはディスエーブルするため、関連するビデオ画像の上に付加的なレイヤとして重ねられる。このために構成された1つまたは複数の矩形のエリアをスーパーインポーズ領域と称する。この領域はエリアサイズ、エリア位置または背景色などの属性の集合を有している。この領域はビデオ画像に重ねられるため、ビデオ画像が可視となるように、また多重に重ねられる他のサブピクチャレイヤが可視となるようにするため、背景はしばしば透明に定められる。さらにスーパーインポーズ領域が関連する画像よりも大きくし、その一部のみを可視としたり、可視の部分を例えば右方から左方へ動かして字幕スーパーがあたかもディスプレイを横方向に流れていくような印象を形成したりすることもある。こうしたピクセルベースのスーパーインポーズ処理方法は欧州出願第02025474.4号明細書に記載されており、クロッピングと称されている。
字幕スーパーは本来ハンディキャップのある人々を支援したり、映画の内容を異なる言語へ翻訳する費用を抑えたりするために使用されてきたものであり、純粋なスーパーインポーズテキストとはそのデータストリームが例えばASCII符号化文字を含んでいれば充分である。ただしこんにちの字幕スーパーは高解像度画像に対応して、他の要素、すなわちシンボルまたはアニメーショングラフィクスなどのオブジェクトを含む。こうした要素の扱いは1つのエリア内のラインおよび1つのライン内のピクセルが連続的に符号化または復号化されるビットマップフォーマットでスーパーインポーズストリームを符号化することにより簡単となる。ただしこのフォーマットは連続するピクセルが同じ色値を有する場合、ひどく冗長的である。
この冗長性は種々の符号化法、例えばランレングス符号化法RLEにより低減することができる。ランレングス符号化法RLEはデータシーケンスが同じ値を有する場合にしばしば利用される。その基本的なアイデアはシーケンス長と値とを別個に符号化し、最も頻繁に現れる符号語をできるだけ短く符号化するということにある。
特に1920×1280ピクセルの高解像度ビデオHDTV用のスーパーインポーズレイヤを符号化する場合、必要なデータ量を低減するには、この目的のために最適化された符号化アルゴリズムが必要である。
本発明の課題は、ビットマップフォーマット化された領域として表される高解像度ビデオHDTV用のスーパーインポーズレイヤまたはサブピクチャレイヤを最適に符号化する手段を提供することである。ここでスーパーインポーズレイヤは可視のビデオフレームより広いこともある。
この課題は特許請求の範囲の記載の方法及び光ディスクにより解決される。つまり本発明によれば、4つのステップから成るランレングス符号化方法RLEが使用される。すなわち、透明ではない個別の色の単一のピクセルに最短の符号語が用いられ、透明なピクセルの短いシーケンスに2番目に短い符号語が用いられ、透明なピクセルの長いシーケンスおよび透明でない同じ色の短いシーケンスに3番目に短い符号語が用いられ、透明でない同じ色のピクセルの長いシーケンスに4番目に短い符号語が用いられる。
ふつうスーパーインポーズレイヤ内のほとんどのピクセルは透明である。最も頻繁に現れるデータに最短の符号語が用いられる従来のランレングス符号化方法RLEとは異なり、本発明の方法では最も頻繁に現れる色の短いシーケンスに対して2番目に短い符号語が用いられ、最も頻繁に現れる色の長いシーケンスおよび他の色の短いシーケンスに対して3番目に短い符号語が用いられる。最短の符号語は最も頻繁に現れる色ではない色の単一のピクセルに対して用いられる。このようにすれば、スーパーインポーズレイヤにおける透明なピクセルのように最も頻繁に現れる色のピクセルがシーケンスに常に存在し、そうでない色付きのピクセルは個々に存在するようなとき、特に有利である。
有利には、本発明の方法の符号は僅かな冗長符号語しか要さず、しかもこれらは長い符号語のなかで定義される。例えば透明でない色の単一のピクセルは理想的には最短の符号語により符号化されるが、一定のシーケンス長の3番目に短い符号語により符号化してもよい。後者の手段は通常は用いられないが、符号語のうち使用されない部分または符号語間のギャップを他の情報の伝送に用いることができる。その例として再同期のためのライン終了情報の伝送が挙げられる。本発明によれば最短の冗長符号語はこの情報を符号化するために用いられる。
また有利には、本発明の方法によれば要求されるデータの量が低減され、字幕スーパーのデータストリームがそのコンテンツに依存する圧縮係数で圧縮される。典型的なスーパーインポーズストリームに頻繁に現れるデータの組み合わせに対しては特に高い圧縮係数が得られる。例えば同じ色値を有する64ピクセルよりも短いシーケンス、透明な種々の長さのピクセルシーケンス、および個々の色値を有する単一のピクセルが存在するものとする。第1のグループはキャラクタまたはシンボルにしばしば用いられ、第2のグループはスーパーインポーズストリームの表示要素の前中後で用いられ、第3のグループはイメージまたはわずかに色の異なる領域に用いられる。透明なピクセルが例えば3ピクセル未満のきわめて短いシーケンスで現れることはほとんどないので、その符号化には最短の符号語で足りなくとも2番目に短い符号語を用いれば充分である。
また本発明の方法では1920ピクセルから16383ピクセルまでの長さのシーケンスを効率的に扱うことができ、これによりきわめて広い字幕スーパー領域を形成可能である。
さらに本発明の方法ではライン終了を表す特異な値が形成され、同期の損失が生じた場合にも各ラインの再同期を行うことができる。
有利には、本発明の方法は、スーパーインポーズストリームに典型的な複数の特性の組み合わせを符号化するために最適化されている。
したがってスーパーインポーズストリームに必要なデータ量は低減され、放送の伝送帯域幅が有効に活用される。また1つのピックアップにより複数のデータストリームが読み出されるブルーレイディスク技術などのような記憶媒体でのピックアップジャンプ周波数が低減される。また字幕スーパーのビットマップが良好に圧縮されればそれだけビットレートに関して大きな容量をオーディオおよびビデオのストリームに使用でき、画像品質または音声品質が向上する。
上述した課題を達成するため、データストリームがビットマップフォーマット化された字幕スーパーデータまたはメニューデータを有しており、該字幕スーパーデータまたはメニューデータはグラフィクス(G)またはテキスト(TEXT)またはその双方を含み、ここで符号語は符号語の長さの表示部によって開始される、ディスプレイでのビデオ表示用のデータストリームのランレングス符号化方法において、所定色(色0)を定義し、所定色のピクセルを2byteまたは3byteの第1の符号語へ符号化し、ここで第1の符号語はランレングス値を含み、3byteの第1の符号語に含まれるランレングス値はディスプレイ(BTV)の表示の幅を超過することがあり、所定色でない色のピクセルを1byteまたは3byteまたは4byteの第2の符号語へ符号化し、ここで第2の符号語は色値(C...C)を含み、3byteまたは4byteの第2の符号語はランレングス値を含み、4byteの第2の符号語に含まれるランレングス値はディスプレイ(BTV)の表示の幅を超過することがあるような、データストリームのランレングス符号化方法としている。
3byteの符号語は該符号語の長さの表示部内に該符号語が第1の符号語または第2の符号語のどちらに属するかを表す表示部を含むような方法としてもよい。
色値および所定色は色を表示するためのルックアップテーブルにマッピングされているような方法としてもよい。
最短の冗長符号語をラインの同期に用いるような方法としてもよい。
上述した課題を達成するため、ディスプレイでのビデオ表示のための符号化データストリームのランレングス復号化方法において、符号語の第1のbyteを求め、第1のbyteが定義された第1の値(00000000)を有していない場合には、該第1のbyteを第1の色(色0)でない該byteによって定められた個々の色(C...C)の単一のピクセルへ復号化し、第1のbyteが定義された第1の値(00000000)を有している場合には、次の第2のbyteの第1のbitおよび第2のbitを求め、第2のbyteの第1のbitおよび第2のbitが第1の値(00)を有する場合には、第2のbyteの残りのbitを第1の色のピクセルシーケンスへ復号化し、ここで該残りのbitはシーケンス長を定めており、第2のbyteの第1のbitおよび第2のbitが第2の値(01)を有する場合には、第2のbyteの残りのbitを次の第3のbyteとともに第1の色のピクセルシーケンスへ復号化し、ここで第2のbyteの残りのbitおよび第3のbyteはディスプレイ(BTV)の表示の幅を超過しうるシーケンス長を定めており、第2のbyteの第1のbitおよび第2のbitが第3の値(10)を有する場合には、第2のbyteの残りのbitを次の第3のbyteとともにピクセルシーケンスへ復号化し、ここで第2のbyteの残りのbitはシーケンス長を定めており、第3のbyteはピクセル色を定めており、第2のbyteの第1のbitおよび第2のbitが第4の値(11)を有する場合には、第2のbyteの残りのbitを次の第3のbyteおよび第4のbyteとともに復号化し、ここで第2のbyteの残りのbitおよび第3のbyteはディスプレイ(BTV)の表示の幅を超過しうるシーケンス長を定めており、第4のbyteはピクセル色を定めているランレングス復号化方法としている。
第1のbyte、第3のbyteまたは第4のbyteのピクセル色の定義および第1の値の定義はルックアップテーブルを用いて行うような方法としてもよい。
ビデオ表示用の符号化データストリームはビデオデータの上に重ねて表示される個別のレイヤであり、表示のために個別のレイヤの一部を選択するような方法としてもよい。
上述した課題を達成するため、データストリームがビットマップフォーマット化された字幕スーパーデータまたはメニューデータを有しており、該字幕スーパーデータまたはメニューデータはグラフィクス(G)またはテキスト(TEXT)またはその双方を含み、ここで符号語は符号語の長さの表示部によって開始される、ディスプレイでのビデオ表示用のデータストリームのランレングス符号化装置において、第1の色(色0)を定義する手段と、第1の色のピクセルを2byteまたは3byteの第1の符号語へ符号化する手段と、第1の色でない色のピクセルを1byteまたは3byteまたは4byteの第2の符号語へ符号化する手段とを有し、ここで第1の符号語はランレングス値を含み、3byteの第1の符号語に含まれるランレングス値はディスプレイ(BTV)の表示の幅を超過することがあり、第2の符号語は色値(C...C)を含み、3byteまたは4byteの第2の符号語はランレングス値を含み、4byteの第2の符号語に含まれるランレングス値はディスプレイ(BTV)の表示の幅を超過することがあるデータストリームのランレングス符号化装置としている。
上述した課題を達成するため、ビットマップフォーマット化された字幕スーパーデータまたはメニューデータを有している、ディスプレイでのビデオ表示用の符号化データストリームのランレングス復号化装置において、符号語の第1のbyteを評価して符号語の長さを求め、第1のbyteが定義された第1の値(00000000)を有さない場合には符号語の長さを1byte長とし、第1のbyteが定義された第1の値を有する場合には次の第2のbyteの第1のbitおよび第2のbitを評価し、該第2のbyteの第1のbitおよび第2のbitに依存して各符号語の長さを2byte長または3byte長または4byte長とする手段と、1byte長の符号語を、第1の色(色0)とは異なって定められた色かつ単一のピクセルへ復号化する手段と、2byte長の符号語を、第1の色かつ第2のbyteの残りのbitによって定められた長さのピクセルシーケンスへ復号化する手段と、3byte長の符号語を、第1の色かつディスプレイ(BTV)のビデオ表示の幅を超過しうる第2のbyteの残りのbitおよび第3のbyteによって定められた長さのピクセルシーケンス、または第1の色とは異なる同じ色かつ第2のbyteの残りのbitによって定められる長さのピクセルシーケンスへ復号化する手段と、4byte長の符号語を、第1の色とは異なる同じ色かつディスプレイ(BTV)のビデオ表示の幅を超過しうる長さのピクセルシーケンスへ復号化する手段とを有するランレングス復号化装置としている。
シーケンス長0の2byteの符号語を同期符号語として復号化する手段と、ライン終了を指示するように該同期符号語を復号化する手段とを有するような装置としてもよい。
第1の色および色値を表示色に対してマッピングしたルックアップテーブル手段を有するような装置としてもよい。
符号化データストリームは複数のトランスポートパケットに分配されるような装置としてもよい。
上述した課題を達成するため、ランレングス符号化データストリームを用いており、該ランレングス符号化データストリームはディスプレイでのビデオ表示のためにビットマップフォーマット化された字幕スーパーデータまたはメニューデータを有しており、該字幕スーパーデータまたはメニューデータはグラフィクス(G)またはテキスト(TEXT)またはその双方を含む、光ディスクにおいて、ランレングス符号化データストリームは所定色(色0)を定義する第1のデータと、所定色のピクセルを符号化した2byteまたは3byteの第1の符号語と、所定色でない色のピクセルを符号化した1byteまたは3byteまたは4byteの第2の符号語とを含み、ここで第1の符号語はランレングス値を含み、3byteの第1の符号語に含まれるランレングス値はディスプレイ(BTV)の表示の幅を超過することがあり、第2の符号語は色値(C...C)を含み、3byteまたは4byteの第2の符号語はランレングス値を含み、4byteの第2の符号語に含まれるランレングス値はディスプレイ(BTV)の表示の幅を超過することがある光ディスクとしている。
本発明の他の有利な実施形態は従属請求項に記載されており、また以下の説明や図にも示されている。
本発明の実施例は添付の図に示されている。図1にはビデオフレームでの字幕スーパー領域のクロッピングが示されている。図2には字幕スーパー領域のピクセルシーケンスが示されている。図3にはテキストおよびグラフィクスを含む字幕スーパー用の符号化テーブルが示されている。図4にはブルーレイディスクプリレコーデッド規格用の拡張オブジェクトデータセグメントのシンタクスの例が示されている。
ビデオフレームでの字幕スーパー領域のクロッピングを示す図である。 字幕スーパー領域のピクセルシーケンスを示す図である。 字幕スーパー用の符号化テーブルを示す図である。 ブルーレイディスクプリレコーデッド規格用の拡張オブジェクトデータセグメントのシンタクスの例を示す図である。
放送用または映画用の既製のオーディオヴィジュアル材料(AV材料)にかけられる字幕スーパーとしてまず単純なスタティックテキスト情報、例えばクローズドキャプション、テレテキストまたはDVBスーパーなどを表現するために最適化が行われてきたが、新たなHDTVフォーマットに適したテキスト情報およびグラフィクス情報の形成および動画化に対するマルチメディア技術の発展はより進んだビットマップ符号化法の適応化を要求している。図1にはビデオフレームTVとテキストおよびグラフィクス要素Gを含むスーパーインポーズ領域SUBとが示されており、スーパーインポーズ領域SUBはビットマップ符号化されている。スーパーインポーズ領域SUBの寸法は、例えばブルーレイディスクプリレコーデッド規格BDPでは1次元のみであればビデオフレームの寸法より大きくてもよいと定められているので、ビデオフレームの寸法を超えることがある。その場合ラインは表示の前にクロッピングされる。すなわち相応のフレーム寸法に対応する部分が仮想ラインからカットされ、ビデオ画像に重ねられて表示されるのである。図1では、幅BSUBのスーパーインポーズ領域SUBがクロッピングされ、幅BTVの部分のみが可視となっている。例えばブルーレイディスクプリレコーデッド規格BDPに使用される標準的なHDTVでは幅BTVは1920ピクセルであり、BSUBはそれよりはるかに大きい。
スーパーインポーズ領域SUBは矩形であるため、このエリアのピクセルはほとんどが透明である。その拡大図が図2に概略的に示されている。HDTVの画面上のラインSL1,SL2ははっきり可視となるように数ピクセルぶんの幅を有していなければならない。ここでのラインとは水平方向のデータストラクチャであると解されたい。スーパーインポーズデータの各ラインはふつう同じ色の1つまたは複数のピクセルシーケンスを含んでいる。図2ではスーパーインポーズ領域のラインSL1は透明なシーケンスPS1,PS5、可視の単一のピクセルPS4、可視の短いシーケンスPS2および可視の長いシーケンスPS3を含んでいる。ライン内のほとんどのピクセルが透明であり、透明な箇所はキャラクタ間およびラインの開始部および終了部である。いずれにしろラインの開始部および終了部は透明であるので、各ラインは色つき部分よりも透明部分のほうを多く含む。透明部分PS1,PS5は通常、キャラクタに用いられている透明でない色のシーケンスよりも長い。色付きのシーケンスは64ピクセル未満の長さであることが多い。これは少なくとも25個のキャラクタが同時に表示され、キャラクタ間のスペースが1キャラクタ幅の約1/4であると仮定して、粗い推定からライン内の1キャラクタは1920/24*(8/10)=62ピクセルより小さいと求められる。ラインSL2はきわめてわずかな可視のピクセルを含み、大きな長さの透明なシーケンスが幾つか取り出される。
本発明の有利な実施例の符号が図3に示されている。これは1byte当たり8bit,1〜4byte長の符号語を含むランレングス符号である。これにより異なる256色および1つの所定色を符号化することができる。所定色はこの実施例では‘透明’であるが、適切であれば他のどんな色であってもよい。色ルックアップテーブルCLUTは復号化された色値を実際の表示色へ変換する。さらに同じ色のピクセルシーケンスは2つの範囲、すなわち63ピクセルまでの短い範囲と16383ピクセルまでの長い範囲とへ分割される。
1byteの最短の符号語は所定色ではない色(ここでは透明ではない個々の色)の単一のピクセルの符号化に用いられる。色値CCCCCCCCは1〜255であり、直接または間接に色を表す。これは例えば実際のカラーコードを含む色ルックアップテーブルCLUTのエントリである。0のみを含む8bit値00000000はエスケープシーケンスとして用いられ、次のbitが同じ符号語の一部であると見なされることを示す。この場合、符号語のツリーは2つずつのbitでマークされる4つのブランチを有する。
第1のブランチではbit00により2byteの有効符号語が示され、所定色(透明)の63ピクセルまでの短いシーケンスが符号化される。このブランチの唯一無効な符号語は0しか含まない符号語である。なぜなら0は有効なシーケンス長が存在しないことを表すからである。この符号語“00000000 00000000”は他の目的に使用される。本発明によれば、これは最短の冗長語でありライン終了を示すために用いられる。
第2のブランチではbit01により付加的な1つのbyteを含むことが示され、2の14乗個のbitが所定色(ここでは透明)のピクセルシーケンスの長さを符号化するために用いられる。したがってシーケンス長は214−1=16383である。2のべき乗bitの値が64より小さい符号語は冗長符号語であり、他の目的に使用される。
第3のブランチではbit10により付加的な1つのbyteを含むことが示され、第2のbyteのうち2の6乗個のbitが所定色でない色の63ピクセルまでの短いシーケンスの長さを表す。実際の色は第3のbyteの値CCCCCCCCで直接または間接に表される。3より小さいシーケンス長LLLLLLの符号語は冗長語であり、当該の色の単一のピクセルまたは2つのピクセルのシーケンスは前述したようにピクセル当たり1byteを用いて容易に符号化され、シーケンス長0は無効である。この符号語は他の目的に使用される。
第4のブランチではbit11により付加的な2つのbyteを含むことが示される。ここで第2のbyteの残りの6bitおよび第3のbyteにより64〜16383ピクセルの長いシーケンス長が表され、第4のbyteの色値CCCCCCCCにより所定色ではない色が直接または間接に表される。64より小さいシーケンス長の符号語は冗長語であり、第3のブランチを用いて容易に符号化される。この符号語は他の目的に使用される。
前述の冗長語は例えば内部のチェックサムまたは他の情報を追加するために符号を拡張する際に用いられる。
図3に示されている拡張ランレングス符号化テーブルにより上述した2つの大きな利点が提供される。第1に、透明なエリア、小さなグラフィクスオブジェクトおよび通常のスーパーインポーズテキストを含む典型的なスーパーインポーズストリームがコンパクトに符号化される。小さいカラフルなグラフィクスに使用される色つきの単一のピクセルは1byteで符号化される。BDPのスーパーインポーズでの優勢色すなわち透明なピクセルはまとめてランレングス符号化される。ランレングス符号は2つのサイズ範囲または2つのピクセル量範囲で利用される。第1のステップでは63ピクセルまでのランレングスが優勢色に対する2byte符号語および他の色に対する3byte符号語として利用される。第2のステップでは16383ピクセルまでのランレングスが優勢色に対する3byte符号語および他の色に対する4byte符号語として利用される。ピクセルストリング終了符号またはライン終了符号は特異な2byte符号語であり、再同期に用いられる。第2に、スーパーインポーズ領域に対する1符号語当たり16383byteまでの長いシーケンスの利便性が増し、冗長性ひいてはデータ量が低減される。これは1つのチャネルを共有する個別のデータストリーム、例えば同じピックアップを共有する光記憶媒体のマルチデータストリームを用いるアプリケーションに対して、同じデータ量でスーパーインポーズストリームがより多くロードされ、スーパーインポーズストリームへのアクセス頻度を低減することができる。
本発明のさらなる特徴はトランスポートパケットを用いたデータストリームのトランスポート、例えばパケット化されたエレメンタリストリームPESの伝送をいっそう最適化することである。ビットマップのファイルサイズが大きいので、データのパケット化、例えばデータをオブジェクトデータセグメントODSにすることが問題となる。オブジェクトデータセグメントODSの最大サイズは他の要素、例えばPESパケットサイズによって制限されていることが多い。大きなビットマップをこのようなパケットに調整するには、ビットマップを符号化前に小さなビットマップピースへ切り分け、圧縮率を低減しなければならない。こうしたビットマップ分割を行うために、BDPまたはその他のアプリケーションに対する新たな拡張オブジェクトデータセグメントExODSが図4に示されているように提案される。ExODSは制限されたサイズのセグメントおよびPESパケットのシーケンスへ切り分けられる各フラグメントを表すデータストラクチャである。ODS全体は連続するExODSの個々のピースのシーケンスを連結することにより再構成される。
ExODSのシーケンスの開始部および終了部は個々のフラグfirst_in_sequence,last_in_sequenceにより表される。フラグfirst_in_sequenceが1であれば、新たなシーケンスが開始される。フラグfirst_in_sequenceが1へセットされたExODSは、寸法object_width,object_heightを表すことにより解凍後のビットマップサイズを示す。ビットマップサイズを示すことの利点は、解凍が開始される前にターゲットメモリの割り当てを支援できることである。他の利点として、示されたビットマップサイズを復号化中にビットマップサイズのクロスチェックにも使用できることが挙げられる。フラグlast_in_sequenceが1であれば、そのExODSがODS全体の最後のExODSであることが示される。またフラグfirst_in_sequence,last_in_sequenceのどちらもセットされていないExODSも存在する。これはシーケンス内部のExODSピースである。フラグfirst_in_sequence,last_in_sequenceの双方がセットされているのは、単一のExODS内にODSが含まれる場合である。スーパーインポーズのPESパケットサイズによる1ODSのサイズの制限を克服するため、前述のタイプのExODSはODSのピースに対するコンテナ、例えばHDTVアプリケーション用の大きなODSをパケット化するために導入される。ODSピースのほか、ExODSは最初のピース、最後のピース、内部のピースを含むか否か、またはExODSシーケンスの1つの完全なピースを含むか否かを示すフラグを含む。さらにExODSのシーケンスの最初のピースが伝送される場合、得られるODSのサイズすなわち符号化されたビットマップの高さおよび幅もセグメントに含まれる。示されるビットマップサイズはクロスチェックを復号化するために用いることもできる。
本発明の方法は、アニメーション、メニュー、ナビゲーション、ロゴ、広告、メッセージその他のためのテキストデータ、イメージデータまたはグラフィクスデータを含むビットマップデータストリームの圧縮に適している。本発明の方法はブルーレイディスクプリレコーデッド規格BDPまたは一般的な高解像度ビデオHDTVなどの記録再生または放送のアプリケーションに適している。

Claims (1)

  1. データストリームが記録された光ディスクであって、
    前記データストリームが、ディスプレイでのビデオ表示のためのビットマップフォーマット化された字幕スーパーデータまたはメニューデータを含み、当該字幕スーパーデータまたはメニューデータはグラフィクスまたはテキストまたはその双方を含み、
    前記データストリームは、
    所定色を定義するステップと、
    前記所定色のピクセルを2バイトまたは3バイトの第1の符号語へ符号化するステップであって、当該第1の符号語はランレングス値を含み、3バイトの第1の符号語に含まれるランレングス値はディスプレイの表示の幅を超過することがある、ステップと、
    前記所定色以外の色のピクセルを1バイトまたは3バイトまたは4バイトの第2の符号語へ符号化するステップであって、当該第2の符号語は色値を含み、3バイトまたは4バイトの第2の符号語はランレングス値を含み、4バイトの第2の符号語に含まれるランレングス値はディスプレイの表示の幅を超過することがある、ステップと、
    を含む方法で記録されており、
    前記記録されたデータストリームは、
    前記第1または第2の符号語である符号語の第1のバイトを特定するステップと、
    前記第1のバイトが定義された第1の値を有していない場合には、当該第1のバイトを、前記第1のバイトの値によって定義された個々の色を有する単一のピクセルに復号するステップであって、当該色は、前記所定色以外の色である、ステップと、
    前記第1のバイトが定義された第1の値を有している場合には、次の第2のバイトの第1のビットおよび第2のビットを特定するステップと、
    前記第2のバイトの第1のビットおよび第2のビットが第1の値を有する場合には、当該第2のバイトの残りのビットを前記所定色のピクセルシーケンスへ復号するステップであって、当該残りのビットはシーケンス長を定めている、ステップと、
    前記第2のバイトの第1のビットおよび第2のビットが第2の値を有する場合には、当該第2のバイトの残りのビットを次の第3のバイトとともに前記所定色のピクセルシーケンスへ復号するステップであって、当該第2のバイトの残りのビットおよび第3のバイトはディスプレイの表示の幅を超過しうるシーケンス長を定めている、ステップと、
    前記第2のバイトの第1のビットおよび第2のビットが第3の値を有する場合には、当該第2のバイトの残りのビットを次の第3のバイトとともにピクセルシーケンスへ復号化するステップであって、当該第2のバイトの残りのビットはシーケンス長を定めており、当該第3のバイトはピクセル色を定めている、ステップと、
    前記第2のバイトの第1のビットおよび第2のビットが第4の値を有する場合には、当該第2のバイトの残りのビットを次の第3のバイトおよび第4のバイトとともに復号するステップであって、当該第2のバイトの残りのビットおよび第3のバイトはディスプレイの表示の幅を超過しうるシーケンス長を定めており、当該第4のバイトはピクセル色を定めている、ステップと、
    を含む方法によって再生し得る、前記光ディスク。
JP2010103637A 2003-07-01 2010-04-28 光ディスクにデータストリームを符号化して記録する方法および記録された光ディスク Expired - Lifetime JP4601716B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03014970.2 2003-07-01
EP03014970A EP1494456A1 (en) 2003-07-01 2003-07-01 Method for run-length encoding of a bitmap data stream

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006517981A Division JP4535339B2 (ja) 2003-07-01 2004-05-06 データストリームのランレングス符号化方法および復号化方法

Publications (2)

Publication Number Publication Date
JP2010252343A JP2010252343A (ja) 2010-11-04
JP4601716B2 true JP4601716B2 (ja) 2010-12-22

Family

ID=33427093

Family Applications (15)

Application Number Title Priority Date Filing Date
JP2006517981A Expired - Lifetime JP4535339B2 (ja) 2003-07-01 2004-05-06 データストリームのランレングス符号化方法および復号化方法
JP2010095866A Expired - Lifetime JP4888980B2 (ja) 2003-07-01 2010-04-19 ビット・マップ・データのランレングス符号化方法
JP2010103637A Expired - Lifetime JP4601716B2 (ja) 2003-07-01 2010-04-28 光ディスクにデータストリームを符号化して記録する方法および記録された光ディスク
JP2010103636A Expired - Lifetime JP4540016B1 (ja) 2003-07-01 2010-04-28 ビットマップデータストリームのランレングス符号化方法
JP2010166113A Expired - Lifetime JP4587339B1 (ja) 2003-07-01 2010-07-23 ビット・マップ・データのランレングス符号化および復号化
JP2010215979A Expired - Lifetime JP4627807B1 (ja) 2003-07-01 2010-09-27 ビット・マップ・データのランレングス符号化
JP2010273722A Expired - Lifetime JP4688240B1 (ja) 2003-07-01 2010-12-08 ビット・マップ・データのランレングス符号化方法、復号方法、および記録媒体
JP2010273733A Expired - Lifetime JP4688242B1 (ja) 2003-07-01 2010-12-08 ビット・マップ・データのランレングス復号方法および光ディスク
JP2010273728A Expired - Lifetime JP4688241B1 (ja) 2003-07-01 2010-12-08 ビット・マップ・データの記録方法、再生方法、および光ディスク
JP2011099281A Expired - Lifetime JP4807811B2 (ja) 2003-07-01 2011-04-27 データ・ストリームのランレングス符号化方法および復号化方法
JP2011099280A Expired - Lifetime JP4807810B2 (ja) 2003-07-01 2011-04-27 データ・ストリームの符号化方法
JP2011145308A Expired - Lifetime JP5246816B2 (ja) 2003-07-01 2011-06-30 ビット・マップ・データのランレングス符号化方法、復号方法、およびディスク
JP2013026235A Expired - Lifetime JP5614904B2 (ja) 2003-07-01 2013-02-14 ビット・マップ・データのランレングス符号化方法、復号方法、およびディスク
JP2014139475A Expired - Fee Related JP5822318B2 (ja) 2003-07-01 2014-07-07 ビット・マップ・データのランレングス符号化方法
JP2015168599A Expired - Fee Related JP6072867B2 (ja) 2003-07-01 2015-08-28 ビット・マップ・データのランレングス符号化方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2006517981A Expired - Lifetime JP4535339B2 (ja) 2003-07-01 2004-05-06 データストリームのランレングス符号化方法および復号化方法
JP2010095866A Expired - Lifetime JP4888980B2 (ja) 2003-07-01 2010-04-19 ビット・マップ・データのランレングス符号化方法

Family Applications After (12)

Application Number Title Priority Date Filing Date
JP2010103636A Expired - Lifetime JP4540016B1 (ja) 2003-07-01 2010-04-28 ビットマップデータストリームのランレングス符号化方法
JP2010166113A Expired - Lifetime JP4587339B1 (ja) 2003-07-01 2010-07-23 ビット・マップ・データのランレングス符号化および復号化
JP2010215979A Expired - Lifetime JP4627807B1 (ja) 2003-07-01 2010-09-27 ビット・マップ・データのランレングス符号化
JP2010273722A Expired - Lifetime JP4688240B1 (ja) 2003-07-01 2010-12-08 ビット・マップ・データのランレングス符号化方法、復号方法、および記録媒体
JP2010273733A Expired - Lifetime JP4688242B1 (ja) 2003-07-01 2010-12-08 ビット・マップ・データのランレングス復号方法および光ディスク
JP2010273728A Expired - Lifetime JP4688241B1 (ja) 2003-07-01 2010-12-08 ビット・マップ・データの記録方法、再生方法、および光ディスク
JP2011099281A Expired - Lifetime JP4807811B2 (ja) 2003-07-01 2011-04-27 データ・ストリームのランレングス符号化方法および復号化方法
JP2011099280A Expired - Lifetime JP4807810B2 (ja) 2003-07-01 2011-04-27 データ・ストリームの符号化方法
JP2011145308A Expired - Lifetime JP5246816B2 (ja) 2003-07-01 2011-06-30 ビット・マップ・データのランレングス符号化方法、復号方法、およびディスク
JP2013026235A Expired - Lifetime JP5614904B2 (ja) 2003-07-01 2013-02-14 ビット・マップ・データのランレングス符号化方法、復号方法、およびディスク
JP2014139475A Expired - Fee Related JP5822318B2 (ja) 2003-07-01 2014-07-07 ビット・マップ・データのランレングス符号化方法
JP2015168599A Expired - Fee Related JP6072867B2 (ja) 2003-07-01 2015-08-28 ビット・マップ・データのランレングス符号化方法

Country Status (17)

Country Link
US (8) US7657109B2 (ja)
EP (2) EP1494456A1 (ja)
JP (15) JP4535339B2 (ja)
KR (2) KR101004246B1 (ja)
CN (2) CN100579168C (ja)
AT (1) ATE369010T1 (ja)
AU (1) AU2004300704B2 (ja)
BR (1) BRPI0412013B1 (ja)
CA (2) CA2529189C (ja)
DE (1) DE602004007928T2 (ja)
ES (1) ES2290706T3 (ja)
MX (1) MXPA05013996A (ja)
PL (1) PL1639805T3 (ja)
RU (1) RU2350035C2 (ja)
TW (1) TWI329456B (ja)
WO (1) WO2005006736A1 (ja)
ZA (1) ZA200600030B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1494456A1 (en) * 2003-07-01 2005-01-05 Deutsche Thomson-Brandt GmbH Method for run-length encoding of a bitmap data stream
TWI296481B (en) * 2005-07-25 2008-05-01 Alpha Imaging Technology Corp An image compressing/decompressing method and an image compressing/decompressing device using the same
US7327289B1 (en) 2006-09-20 2008-02-05 Intel Corporation Data-modifying run length encoder to avoid data expansion
CN101179669B (zh) * 2006-11-08 2011-03-16 中兴通讯股份有限公司 一种会议电视终端字幕生成叠加方法
CN101272442B (zh) * 2007-03-21 2010-05-26 杭州波导软件有限公司 数字图像无损压缩方法和装置、解析方法及图像译码器
JP5162939B2 (ja) * 2007-03-30 2013-03-13 ソニー株式会社 情報処理装置および方法、並びにプログラム
EP1988703A1 (en) 2007-05-02 2008-11-05 TTPCOM Limited Image transformation
US7978364B2 (en) * 2007-06-18 2011-07-12 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
KR101100829B1 (ko) 2010-03-09 2012-01-02 (주)네오위즈게임즈 이미지 데이터 무손실 압축 및 해제하는 시스템 및 방법.
CN101833774A (zh) * 2010-04-27 2010-09-15 无锡朗能科技有限公司 一种简单色彩图像的压缩方法
JP5851170B2 (ja) 2011-09-22 2016-02-03 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
KR20130126823A (ko) 2012-04-27 2013-11-21 한국전자통신연구원 Ami 네트워크의 데이터 관리 방법 및 그 장치
CN103346800B (zh) * 2013-07-08 2016-10-05 沈阳东软医疗系统有限公司 一种数据压缩方法及装置
US9633459B2 (en) 2013-08-23 2017-04-25 Disney Enterprises, Inc. Methods and systems for creating a hull that may have concavities
US9269174B2 (en) * 2013-08-23 2016-02-23 Disney Enterprises, Inc. Methods and systems for generating a polygon mesh
US9773331B2 (en) 2013-08-23 2017-09-26 Disney Enterprises, Inc. Methods and systems for efficient graphics rendering
US10448029B2 (en) * 2014-04-17 2019-10-15 Qualcomm Incorporated Signaling bit depth values for 3D color prediction for color gamut scalability
EP3314463A1 (en) * 2015-06-29 2018-05-02 British Telecommunications public limited company Real time index generation
US10230812B1 (en) * 2016-01-29 2019-03-12 Amazon Technologies, Inc. Dynamic allocation of subtitle packaging
US10341689B1 (en) * 2017-05-23 2019-07-02 Moddable Tech, Inc. Weighted runlength encoding
WO2022206973A1 (en) * 2021-04-02 2022-10-06 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242448A (ja) * 1994-12-28 1996-09-17 Toshiba Corp 画像情報のエンコード/デコードシステム
JPH08275111A (ja) * 1995-02-03 1996-10-18 Toshiba Corp 画像情報のエンコード/デコードシステム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62298280A (ja) 1986-06-18 1987-12-25 Ricoh Co Ltd 画像符号化方法
BR9105987A (pt) 1990-09-19 1993-02-02 Philips Nv Portador de registro no qual foram registrados um arquivo de dados principais e um arquivo de controle,processo e dispositivo para registrar um arquivo de dados principais e um arquivo de controle num portador de registro,e dispositivo para ter um portador de registro
EP0702878A4 (en) * 1993-06-07 1997-01-02 Scientific Atlanta DISPLAY SYSTEM FOR A SUBSCRIBER TERMINAL
US5684542A (en) 1993-12-21 1997-11-04 Sony Corporation Video subtitle processing system
US5721720A (en) 1994-12-28 1998-02-24 Kabushiki Kaisha Toshiba Optical recording medium recording pixel data as a compressed unit data block
HU228534B1 (en) * 1995-02-03 2013-03-28 Koninkl Philips Electronics Nv Method and apparatus for encoding pixel colour values of digital video images
JPH08265661A (ja) 1995-03-23 1996-10-11 Sony Corp 字幕データ符号化/復号化方法および装置、および符号化字幕データ記録媒体
US5684714A (en) * 1995-05-08 1997-11-04 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of a previously encoded video sequence
JPH0946630A (ja) * 1995-07-28 1997-02-14 Matsushita Electric Ind Co Ltd 画像情報記録装置及び画像情報再生装置及び光ディスク
JP3326670B2 (ja) 1995-08-02 2002-09-24 ソニー株式会社 データ符号化/復号化方法および装置、および符号化データ記録媒体
US5740278A (en) * 1996-02-16 1998-04-14 Cornell Research Foundation, Inc. Facsimile-based video compression method and system
JPH10215379A (ja) * 1997-01-30 1998-08-11 Fuji Xerox Co Ltd 画像符号化装置および画像復号化装置
US6038347A (en) 1997-11-03 2000-03-14 Victor Company Of Japan, Ltd. Method and apparatus for compressing picture-representing data
JP3676078B2 (ja) * 1998-05-07 2005-07-27 株式会社リコー ランレングス符号化方法及び圧縮装置
US6570626B1 (en) * 1998-06-26 2003-05-27 Lsi Logic Corporation On-screen display format reduces memory bandwidth for on-screen display systems
US7212250B1 (en) * 1999-07-15 2007-05-01 Thomson Licensing Method and apparatus for providing on-screen displays for a multi-colorimetry receiver
DE19950490A1 (de) 1999-10-20 2001-04-26 Thomson Brandt Gmbh Verfahren zur Kodierung einer Bildsequenz sowie Teilbilddateneinheit zur Verwendung in einem elektronischen Gerät und Datenträger
KR100716956B1 (ko) * 2000-10-11 2007-05-10 삼성전자주식회사 데이터 변조 방법 및 그 검출 방법
US7164431B1 (en) 2001-05-08 2007-01-16 Pixelworks, Inc. System and method for mixing graphics and text in an on-screen display application
JP4000844B2 (ja) * 2001-12-11 2007-10-31 日本電気株式会社 コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
EP1494456A1 (en) * 2003-07-01 2005-01-05 Deutsche Thomson-Brandt GmbH Method for run-length encoding of a bitmap data stream

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242448A (ja) * 1994-12-28 1996-09-17 Toshiba Corp 画像情報のエンコード/デコードシステム
JPH08275111A (ja) * 1995-02-03 1996-10-18 Toshiba Corp 画像情報のエンコード/デコードシステム

Also Published As

Publication number Publication date
CA2725141A1 (en) 2005-01-20
JP2010252343A (ja) 2010-11-04
JP2011250436A (ja) 2011-12-08
JP4688242B1 (ja) 2011-05-25
MXPA05013996A (es) 2007-03-21
JP4688240B1 (ja) 2011-05-25
DE602004007928T2 (de) 2007-11-22
EP1639805A1 (en) 2006-03-29
US7929792B2 (en) 2011-04-19
JP4888980B2 (ja) 2012-02-29
ATE369010T1 (de) 2007-08-15
CA2529189A1 (en) 2005-01-20
US20110002394A1 (en) 2011-01-06
ZA200600030B (en) 2007-03-28
US20100329353A1 (en) 2010-12-30
US20110064145A1 (en) 2011-03-17
US7929791B2 (en) 2011-04-19
US20110064144A1 (en) 2011-03-17
JP5614904B2 (ja) 2014-10-29
JP4587339B1 (ja) 2010-11-24
JP2011139445A (ja) 2011-07-14
EP1494456A1 (en) 2005-01-05
KR20060069796A (ko) 2006-06-22
JP2011024219A (ja) 2011-02-03
JP2011193501A (ja) 2011-09-29
US7848585B1 (en) 2010-12-07
JP2016026432A (ja) 2016-02-12
CN100579168C (zh) 2010-01-06
JP5822318B2 (ja) 2015-11-24
CN101478682A (zh) 2009-07-08
JP6072867B2 (ja) 2017-02-01
AU2004300704B2 (en) 2009-04-02
JP2011066898A (ja) 2011-03-31
JP5246816B2 (ja) 2013-07-24
US20060140496A1 (en) 2006-06-29
AU2004300704A1 (en) 2005-01-20
BRPI0412013A (pt) 2006-08-15
WO2005006736A1 (en) 2005-01-20
US7657109B2 (en) 2010-02-02
PL1639805T3 (pl) 2007-12-31
KR20100116238A (ko) 2010-10-29
BRPI0412013B1 (pt) 2018-04-03
JP2007507126A (ja) 2007-03-22
US20110069764A1 (en) 2011-03-24
KR101004246B1 (ko) 2010-12-24
JP4627807B1 (ja) 2011-02-09
JP2010252341A (ja) 2010-11-04
JP4688241B1 (ja) 2011-05-25
JP4540016B1 (ja) 2010-09-08
TWI329456B (en) 2010-08-21
JP2015008464A (ja) 2015-01-15
TW200509703A (en) 2005-03-01
RU2350035C2 (ru) 2009-03-20
DE602004007928D1 (de) 2007-09-13
RU2006102848A (ru) 2007-08-10
US20100040149A1 (en) 2010-02-18
JP2011193502A (ja) 2011-09-29
JP2011139446A (ja) 2011-07-14
US20110064130A1 (en) 2011-03-17
JP2011139447A (ja) 2011-07-14
CA2529189C (en) 2011-03-15
JP2013146079A (ja) 2013-07-25
ES2290706T3 (es) 2008-02-16
JP4807810B2 (ja) 2011-11-02
JP4807811B2 (ja) 2011-11-02
US7912305B1 (en) 2011-03-22
US7929790B2 (en) 2011-04-19
CN1813470A (zh) 2006-08-02
JP4535339B2 (ja) 2010-09-01
KR101023569B1 (ko) 2011-03-21
JP2010226738A (ja) 2010-10-07
CN101478682B (zh) 2011-05-25
EP1639805B1 (en) 2007-08-01
CA2725141C (en) 2011-08-09

Similar Documents

Publication Publication Date Title
JP4601716B2 (ja) 光ディスクにデータストリームを符号化して記録する方法および記録された光ディスク

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100922

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4601716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term