JP4535339B2 - データストリームのランレングス符号化方法および復号化方法 - Google Patents

Description

本発明はデータストリームのランレングス符号化方法、特にビットマップ化された字幕スーパーデータの符号化方法に関する。

発明の背景
ビデオデータを含む放送または読み出し専用媒体はテキスト情報またはグラフィクス情報を含むサブピクチャデータストリームを有することがある。これらの情報は特定の目的（例えばメニューボタン）のための字幕スーパー、シンボルまたはアニメーションを形成するのに必要とされる。こうした情報はその表示をイネーブルまたはディスエーブルするため、関連するビデオ画像の上に付加的なレイヤとして重ねられる。このために構成された１つまたは複数の矩形のエリアをスーパーインポーズ領域と称する。この領域はエリアサイズ、エリア位置または背景色などの属性の集合を有している。この領域はビデオ画像に重ねられるため、ビデオ画像が可視となるように、また多重に重ねられる他のサブピクチャレイヤが可視となるようにするため、背景はしばしば透明に定められる。さらにスーパーインポーズ領域が関連する画像よりも大きくし、その一部のみを可視としたり、可視の部分を例えば右方から左方へ動かして字幕スーパーがあたかもディスプレイを横方向に流れていくような印象を形成したりすることもある。こうしたピクセルベースのスーパーインポーズ処理方法は欧州出願第０２０２５４７４．４号明細書に記載されており、クロッピングと称されている。

字幕スーパーは本来ハンディキャップのある人々を支援したり、映画の内容を異なる言語へ翻訳する費用を抑えたりするために使用されてきたものであり、純粋なスーパーインポーズテキストとはそのデータストリームが例えばＡＳＣＩＩ符号化文字を含んでいれば充分である。ただしこんにちの字幕スーパーは高解像度画像に対応して、他の要素、すなわちシンボルまたはアニメーショングラフィクスなどのオブジェクトを含む。こうした要素の扱いは１つのエリア内のラインおよび１つのライン内のピクセルが連続的に符号化または復号化されるビットマップフォーマットでスーパーインポーズストリームを符号化することにより簡単となる。ただしこのフォーマットは連続するピクセルが同じ色値を有する場合、ひどく冗長的である。

この冗長性は種々の符号化法、例えばランレングス符号化法ＲＬＥにより低減することができる。ランレングス符号化法ＲＬＥはデータシーケンスが同じ値を有する場合にしばしば利用される。その基本的なアイデアはシーケンス長と値とを別個に符号化し、最も頻繁に現れる符号語をできるだけ短く符号化するということにある。

特に１９２０×１２８０ピクセルの高解像度ビデオＨＤＴＶ用のスーパーインポーズレイヤを符号化する場合、必要なデータ量を低減するには、この目的のために最適化された符号化アルゴリズムが必要である。

発明の概要
本発明の課題は、ビットマップフォーマット化された領域として表される高解像度ビデオＨＤＴＶ用のスーパーインポーズレイヤまたはサブピクチャレイヤを最適に符号化する手段を提供することである。ここでスーパーインポーズレイヤは可視のビデオフレームより広いこともある。

この課題は特許請求の範囲の記載の方法により解決される。つまり本発明によれば、４つのステップから成るランレングス符号化方法ＲＬＥが使用される。すなわち、透明ではない個別の色の単一のピクセルに最短の符号語が用いられ、透明なピクセルの短いシーケンスに２番目に短い符号語が用いられ、透明なピクセルの長いシーケンスおよび透明でない同じ色の短いシーケンスに３番目に短い符号語が用いられ、透明でない同じ色のピクセルの長いシーケンスに４番目に短い符号語が用いられる。

ふつうスーパーインポーズレイヤ内のほとんどのピクセルは透明である。最も頻繁に現れるデータに最短の符号語が用いられる従来のランレングス符号化方法ＲＬＥとは異なり、本発明の方法では最も頻繁に現れる色の短いシーケンスに対して２番目に短い符号語が用いられ、最も頻繁に現れる色の長いシーケンスおよび他の色の短いシーケンスに対して３番目に短い符号語が用いられる。最短の符号語は最も頻繁に現れる色ではない色の単一のピクセルに対して用いられる。このようにすれば、スーパーインポーズレイヤにおける透明なピクセルのように最も頻繁に現れる色のピクセルがシーケンスに常に存在し、そうでない色付きのピクセルは個々に存在するようなとき、特に有利である。

有利には、本発明の方法の符号は僅かな冗長符号語しか要さず、しかもこれらは長い符号語のなかで定義される。例えば透明でない色の単一のピクセルは理想的には最短の符号語により符号化されるが、一定のシーケンス長の３番目に短い符号語により符号化してもよい。後者の手段は通常は用いられないが、符号語のうち使用されない部分または符号語間のギャップを他の情報の伝送に用いることができる。その例として再同期のためのライン終了情報の伝送が挙げられる。本発明によれば最短の冗長符号語はこの情報を符号化するために用いられる。

また有利には、本発明の方法によれば要求されるデータの量が低減され、字幕スーパーのデータストリームがそのコンテンツに依存する圧縮係数で圧縮される。典型的なスーパーインポーズストリームに頻繁に現れるデータの組み合わせに対しては特に高い圧縮係数が得られる。例えば同じ色値を有する６４ピクセルよりも短いシーケンス、透明な種々の長さのピクセルシーケンス、および個々の色値を有する単一のピクセルが存在するものとする。第１のグループはキャラクタまたはシンボルにしばしば用いられ、第２のグループはスーパーインポーズストリームの表示要素の前中後で用いられ、第３のグループはイメージまたはわずかに色の異なる領域に用いられる。透明なピクセルが例えば３ピクセル未満のきわめて短いシーケンスで現れることはほとんどないので、その符号化には最短の符号語で足りなくとも２番目に短い符号語を用いれば充分である。

また本発明の方法では１９２０ピクセルから１６３８３ピクセルまでの長さのシーケンスを効率的に扱うことができ、これによりきわめて広い字幕スーパー領域を形成可能である。

さらに本発明の方法ではライン終了を表す特異な値が形成され、同期の損失が生じた場合にも各ラインの再同期を行うことができる。

有利には、本発明の方法は、スーパーインポーズストリームに典型的な複数の特性の組み合わせを符号化するために最適化されている。

したがってスーパーインポーズストリームに必要なデータ量は低減され、放送の伝送帯域幅が有効に活用される。また１つのピックアップにより複数のデータストリームが読み出されるブルーレイディスク技術などのような記憶媒体でのピックアップジャンプ周波数が低減される。また字幕スーパーのビットマップが良好に圧縮されればそれだけビットレートに関して大きな容量をオーディオおよびビデオのストリームに使用でき、画像品質または音声品質が向上する。

本発明の他の有利な実施形態は従属請求項に記載されており、また以下の説明や図にも示されている。

図面の簡単な説明
本発明の実施例は添付の図に示されている。図１にはビデオフレームでの字幕スーパー領域のクロッピングが示されている。図２には字幕スーパー領域のピクセルシーケンスが示されている。図３にはテキストおよびグラフィクスを含む字幕スーパー用の符号化テーブルが示されている。図４にはブルーレイディスクプリレコーデッド規格用の拡張オブジェクトデータセグメントのシンタクスの例が示されている。

本発明の実施例の詳細な説明
放送用または映画用の既製のオーディオヴィジュアル材料（ＡＶ材料）にかけられる字幕スーパーとしてまず単純なスタティックテキスト情報、例えばクローズドキャプション、テレテキストまたはＤＶＢスーパーなどを表現するために最適化が行われてきたが、新たなＨＤＴＶフォーマットに適したテキスト情報およびグラフィクス情報の形成および動画化に対するマルチメディア技術の発展はより進んだビットマップ符号化法の適応化を要求している。図１にはビデオフレームＴＶとテキストおよびグラフィクス要素Ｇを含むスーパーインポーズ領域ＳＵＢとが示されており、スーパーインポーズ領域ＳＵＢはビットマップ符号化されている。スーパーインポーズ領域ＳＵＢの寸法は、例えばブルーレイディスクプリレコーデッド規格ＢＤＰでは１次元のみであればビデオフレームの寸法より大きくてもよいと定められているので、ビデオフレームの寸法を超えることがある。その場合ラインは表示の前にクロッピングされる。すなわち相応のフレーム寸法に対応する部分が仮想ラインからカットされ、ビデオ画像に重ねられて表示されるのである。図１では、幅Ｂ_ＳＵＢのスーパーインポーズ領域ＳＵＢがクロッピングされ、幅Ｂ_ＴＶの部分のみが可視となっている。例えばブルーレイディスクプリレコーデッド規格ＢＤＰに使用される標準的なＨＤＴＶでは幅Ｂ_ＴＶは１９２０ピクセルであり、Ｂ_ＳＵＢはそれよりはるかに大きい。

スーパーインポーズ領域ＳＵＢは矩形であるため、このエリアのピクセルはほとんどが透明である。その拡大図が図２に概略的に示されている。ＨＤＴＶの画面上のラインＳＬ１，ＳＬ２ははっきり可視となるように数ピクセルぶんの幅を有していなければならない。ここでのラインとは水平方向のデータストラクチャであると解されたい。スーパーインポーズデータの各ラインはふつう同じ色の１つまたは複数のピクセルシーケンスを含んでいる。図２ではスーパーインポーズ領域のラインＳＬ１は透明なシーケンスＰＳ１，ＰＳ５、可視の単一のピクセルＰＳ４、可視の短いシーケンスＰＳ２および可視の長いシーケンスＰＳ３を含んでいる。ライン内のほとんどのピクセルが透明であり、透明な箇所はキャラクタ間およびラインの開始部および終了部である。いずれにしろラインの開始部および終了部は透明であるので、各ラインは色つき部分よりも透明部分のほうを多く含む。透明部分ＰＳ１，ＰＳ５は通常、キャラクタに用いられている透明でない色のシーケンスよりも長い。色付きのシーケンスは６４ピクセル未満の長さであることが多い。これは少なくとも２５個のキャラクタが同時に表示され、キャラクタ間のスペースが１キャラクタ幅の約１／４であると仮定して、粗い推定からライン内の１キャラクタは１９２０／２４＊（８／１０）＝６２ピクセルより小さいと求められる。ラインＳＬ２はきわめてわずかな可視のピクセルを含み、大きな長さの透明なシーケンスが幾つか取り出される。

本発明の有利な実施例の符号が図３に示されている。これは１ｂｙｔｅ当たり８ｂｉｔ，１〜４ｂｙｔｅ長の符号語を含むランレングス符号である。これにより異なる２５６色および１つの所定色を符号化することができる。所定色はこの実施例では‘透明’であるが、適切であれば他のどんな色であってもよい。色ルックアップテーブルＣＬＵＴは復号化された色値を実際の表示色へ変換する。さらに同じ色のピクセルシーケンスは２つの範囲、すなわち６３ピクセルまでの短い範囲と１６３８３ピクセルまでの長い範囲とへ分割される。

１ｂｙｔｅの最短の符号語は所定色ではない色（ここでは透明ではない個々の色）の単一のピクセルの符号化に用いられる。色値ＣＣＣＣＣＣＣＣは１〜２５５であり、直接または間接に色を表す。これは例えば実際のカラーコードを含む色ルックアップテーブルＣＬＵＴのエントリである。０のみを含む８ｂｉｔ値００００００００はエスケープシーケンスとして用いられ、次のｂｉｔが同じ符号語の一部であると見なされることを示す。この場合、符号語のツリーは２つずつのｂｉｔでマークされる４つのブランチを有する。

第１のブランチではｂｉｔ００により２ｂｙｔｅの有効符号語が示され、所定色（透明）の６３ピクセルまでの短いシーケンスが符号化される。このブランチの唯一無効な符号語は０しか含まない符号語である。なぜなら０は有効なシーケンス長が存在しないことを表すからである。この符号語“００００００００ ００００００００”は他の目的に使用される。本発明によれば、これは最短の冗長語でありライン終了を示すために用いられる。

第２のブランチではｂｉｔ０１_ｂにより付加的な１つのｂｙｔｅを含むことが示され、２の１４乗個のｂｉｔが所定色（ここでは透明）のピクセルシーケンスの長さを符号化するために用いられる。したがってシーケンス長は２^１４−１＝１６３８３である。２のべき乗ｂｉｔの値が６４より小さい符号語は冗長符号語であり、他の目的に使用される。

第３のブランチではｂｉｔ１０_ｂにより付加的な１つのｂｙｔｅを含むことが示され、第２のｂｙｔｅのうち２の６乗個のｂｉｔが所定色でない色の６３ピクセルまでの短いシーケンスの長さを表す。実際の色は第３のｂｙｔｅの値ＣＣＣＣＣＣＣＣで直接または間接に表される。３より小さいシーケンス長ＬＬＬＬＬＬの符号語は冗長語であり、当該の色の単一のピクセルまたは２つのピクセルのシーケンスは前述したようにピクセル当たり１ｂｙｔｅを用いて容易に符号化され、シーケンス長０は無効である。この符号語は他の目的に使用される。

第４のブランチではｂｉｔ１１_ｂにより付加的な２つのｂｙｔｅを含むことが示される。ここで第２のｂｙｔｅの残りの６ｂｉｔおよび第３のｂｙｔｅにより６４〜１６３８３ピクセルの長いシーケンス長が表され、第４のｂｙｔｅの色値ＣＣＣＣＣＣＣＣにより所定色ではない色が直接または間接に表される。６４より小さいシーケンス長の符号語は冗長語であり、第３のブランチを用いて容易に符号化される。この符号語は他の目的に使用される。

前述の冗長語は例えば内部のチェックサムまたは他の情報を追加するために符号を拡張する際に用いられる。

図３に示されている拡張ランレングス符号化テーブルにより上述した２つの大きな利点が提供される。第１に、透明なエリア、小さなグラフィクスオブジェクトおよび通常のスーパーインポーズテキストを含む典型的なスーパーインポーズストリームがコンパクトに符号化される。小さいカラフルなグラフィクスに使用される色つきの単一のピクセルは１ｂｙｔｅで符号化される。ＢＤＰのスーパーインポーズでの優勢色すなわち透明なピクセルはまとめてランレングス符号化される。ランレングス符号は２つのサイズ範囲または２つのピクセル量範囲で利用される。第１のステップでは６３ピクセルまでのランレングスが優勢色に対する２ｂｙｔｅ符号語および他の色に対する３ｂｙｔｅ符号語として利用される。第２のステップでは１６３８３ピクセルまでのランレングスが優勢色に対する３ｂｙｔｅ符号語および他の色に対する４ｂｙｔｅ符号語として利用される。ピクセルストリング終了符号またはライン終了符号は特異な２ｂｙｔｅ符号語であり、再同期に用いられる。第２に、スーパーインポーズ領域に対する１符号語当たり１６３８３ｂｙｔｅまでの長いシーケンスの利便性が増し、冗長性ひいてはデータ量が低減される。これは１つのチャネルを共有する個別のデータストリーム、例えば同じピックアップを共有する光記憶媒体のマルチデータストリームを用いるアプリケーションに対して、同じデータ量でスーパーインポーズストリームがより多くロードされ、スーパーインポーズストリームへのアクセス頻度を低減することができる。

本発明のさらなる特徴はトランスポートパケットを用いたデータストリームのトランスポート、例えばパケット化されたエレメンタリストリームＰＥＳの伝送をいっそう最適化することである。ビットマップのファイルサイズが大きいので、データのパケット化、例えばデータをオブジェクトデータセグメントＯＤＳにすることが問題となる。オブジェクトデータセグメントＯＤＳの最大サイズは他の要素、例えばＰＥＳパケットサイズによって制限されていることが多い。大きなビットマップをこのようなパケットに調整するには、ビットマップを符号化前に小さなビットマップピースへ切り分け、圧縮率を低減しなければならない。こうしたビットマップ分割を行うために、ＢＤＰまたはその他のアプリケーションに対する新たな拡張オブジェクトデータセグメントＥｘＯＤＳが図４に示されているように提案される。ＥｘＯＤＳは制限されたサイズのセグメントおよびＰＥＳパケットのシーケンスへ切り分けられる各フラグメントを表すデータストラクチャである。ＯＤＳ全体は連続するＥｘＯＤＳの個々のピースのシーケンスを連結することにより再構成される。

ＥｘＯＤＳのシーケンスの開始部および終了部は個々のフラグfirst_in_sequence，last_in_sequenceにより表される。フラグfirst_in_sequenceが１であれば、新たなシーケンスが開始される。フラグfirst_in_sequenceが１へセットされたＥｘＯＤＳは、寸法object_width，object_heightを表すことにより解凍後のビットマップサイズを示す。ビットマップサイズを示すことの利点は、解凍が開始される前にターゲットメモリの割り当てを支援できることである。他の利点として、示されたビットマップサイズを復号化中にビットマップサイズのクロスチェックにも使用できることが挙げられる。フラグlast_in_sequenceが１であれば、そのＥｘＯＤＳがＯＤＳ全体の最後のＥｘＯＤＳであることが示される。またフラグfirst_in_sequence，last_in_sequenceのどちらもセットされていないＥｘＯＤＳも存在する。これはシーケンス内部のＥｘＯＤＳピースである。フラグfirst_in_sequence，last_in_sequenceの双方がセットされているのは、単一のＥｘＯＤＳ内にＯＤＳが含まれる場合である。スーパーインポーズのＰＥＳパケットサイズによる１ＯＤＳのサイズの制限を克服するため、前述のタイプのＥｘＯＤＳはＯＤＳのピースに対するコンテナ、例えばＨＤＴＶアプリケーション用の大きなＯＤＳをパケット化するために導入される。ＯＤＳピースのほか、ＥｘＯＤＳは最初のピース、最後のピース、内部のピースを含むか否か、またはＥｘＯＤＳシーケンスの１つの完全なピースを含むか否かを示すフラグを含む。さらにＥｘＯＤＳのシーケンスの最初のピースが伝送される場合、得られるＯＤＳのサイズすなわち符号化されたビットマップの高さおよび幅もセグメントに含まれる。示されるビットマップサイズはクロスチェックを復号化するために用いることもできる。

本発明の方法は、アニメーション、メニュー、ナビゲーション、ロゴ、広告、メッセージその他のためのテキストデータ、イメージデータまたはグラフィクスデータを含むビットマップデータストリームの圧縮に適している。本発明の方法はブルーレイディスクプリレコーデッド規格ＢＤＰまたは一般的な高解像度ビデオＨＤＴＶなどの記録再生または放送のアプリケーションに適している。

ビデオフレームでの字幕スーパー領域のクロッピングを示す図である。 字幕スーパー領域のピクセルシーケンスを示す図である。 字幕スーパー用の符号化テーブルを示す図である。 ブルーレイディスクプリレコーデッド規格用の拡張オブジェクトデータセグメントのシンタクスの例を示す図である。

Claims (2)

1. データストリームのランレングス符号化方法であって、
   前記データストリームが、ディスプレイでのビデオ表示のためのビットマップフォーマット化された字幕スーパーデータまたはメニューデータを含み、当該字幕スーパーデータまたはメニューデータはグラフィクスまたはテキストまたはその双方を含み、符号語の先頭のビットは当該符号語の長さを規定し、当該方法は、
   所定色を定義するステップと、
   前記所定色のピクセルを２バイトまたは３バイトの第１の符号語へ符号化するステップであって、当該第１の符号語はランレングス値を含み、３バイトの第１の符号語に含まれるランレングス値はディスプレイの表示の幅を超過することがある、ステップと、
   前記所定色以外の色のピクセルを１バイトまたは３バイトまたは４バイトの第２の符号語へ符号化するステップであって、当該第２の符号語は色値を含み、３バイトまたは４バイトの第２の符号語はランレングス値を含み、４バイトの第２の符号語に含まれるランレングス値はディスプレイの表示の幅を超過することがある、ステップと、
   を含む、前記方法。
2. ディスプレイでのビデオ表示のための符号化データストリームのランレングス復号化方法であって、
   符号語の第１のバイトを特定するステップと、
   前記第１のバイトが定義された第１の値を有していない場合には、当該第１のバイトを、前記第１のバイトの値によって定義された個々の色を有する単一のピクセルに復号するステップであって、当該色は、定義された第１の色以外の色である、ステップと、
   前記第１のバイトが定義された第１の値を有している場合には、次の第２のバイトの第１のビットおよび第２のビットを特定するステップと、
   前記第２のバイトの第１のビットおよび第２のビットが第１の値を有する場合には、当該第２のバイトの残りのビットを第１の色のピクセルシーケンスへ復号化するステップであって、当該残りのビットはシーケンス長を定めている、ステップと、
   前記第２のバイトの第１のビットおよび第２のビットが第２の値を有する場合には、当該第２のバイトの残りのビットを次の第３のバイトとともに第１の色のピクセルシーケンスへ復号化するステップであって、当該第２のバイトの残りのビットおよび第３のバイトはディスプレイの表示の幅を超過しうるシーケンス長を定めている、ステップと、
   前記第２のバイトの第１のビットおよび第２のビットが第３の値を有する場合には、当該第２のバイトの残りのビットを次の第３のバイトとともにピクセルシーケンスへ復号化するステップであって、当該第２のバイトの残りのビットはシーケンス長を定めており、当該第３のバイトはピクセル色を定めている、ステップと、
   前記第２のバイトの第１のビットおよび第２のビットが第４の値を有する場合には、当該第２のバイトの残りのビットを次の第３のバイトおよび第４のバイトとともに復号化するステップであって、当該第２のバイトの残りのビットおよび第３のバイトはディスプレイの表示の幅を超過しうるシーケンス長を定めており、当該第４のバイトはピクセル色を定めている、ステップと、
   を含む、前記方法。

Images