JP4981927B2 - Ｓｖｃｃｇｓ拡張層コーディングに関するｃａｖｌｃ拡張 - Google Patents

Description

関連出願の相互参照
本特許出願は、参照されることによってその全体がここに組み入れられている、米国特許出願番号６０／８８３，９６１（出願日：２００７年１月８日）に対する優先権を主張するものである。

ここにおける主題は、一般的には、画像処理に関するものである。

通信技術の発展は、テキスト及び音声の通信に加えて映像通信の増大に結び付いている。映像データは、通常は非常に大量であり、送信中に大量の帯域幅を利用する。帯域幅消費量を低減させるために圧縮コーディング方式を用いることで、デジタルテレビ、デジタル直接放送システム、無線通信デバイス、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、ビデオゲームコンソール、デジタルカメラ、デジタル記録デバイス、携帯電話、衛星無線電話、等を含む広範なデバイスに映像シーケンスを通信することができる。

デジタル映像シーケンスを符号化するために異なる映像符号化基準が確立されている。例えば、ムービング・ピクチャ・エキスパーツ・グループ（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む幾つかの基準を開発している。その他の例は、国際電気通信連合（ＩＴＵ）−Ｔ Ｈ．２６３基準と、ＩＴＵ−Ｔ Ｈ．２６４基準及びその同等基準であるＩＳＯ／ＩＥＣ ＭＰＥＧ−４、Ｐａｒｔ−１０、すなわちアドバンストビデオコーディング（ＡＶＣ）及びスケーラブルビデオコーディング（ＳＶＣ）とを含む。これらの映像符号化基準は、データを圧縮された形で符号化することによって映像シーケンスの向上された送信効率をサポートする。

コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）は、Ｈ．２６４／ＡＶＣ及びＳＶＣに関するジクザグ走査された４×４及び２×２残差（ｒｅｓｉｄｕａｌ）ブロックを符号化するために用いられる方法であることができる。ＳＶＣ粗粒度スケーラビリティ（ＣＧＳ）においては、全層がＨ．２６４／ＡＶＣに関するＣＡＶＬＣを使用し、基本層コーディング及び拡張層コーディングの両方に関して同じＣＡＶＬＣ法が適用される。しかしながら、異なる予測構造に起因して、ＣＧＳ拡張層残差の統計は基本層の統計と異なる統計になり、その結果、ＣＧＳ拡張層ＣＡＶＬＣ残差コーディングが非効率的になる。

スケーラブルビデオコーディング（ＳＶＣ）粗粒度スケーラビリティ（ＣＧＳ）拡張層コーディングに関するコンテキスト適応型可変長コーディング（ＣＡＶＬＣ）は、１（ＮＬｒｇ１）よりも大きい量子化された入力画像データ係数の数を構文要素として利用することによって実行することができる。ｃｏｅｆｆ＿ｔｏｋｅｎのコーディングは、ＴｏｔａｌＣｏｅｆｆ及びＮＬｒｇ１に基づくことができる。レベルコーディングは、残りの係数において１よりも大きい係数の数に基づいて選択されたＶＬＣテーブルを用いて行うことができる。Ｔｏｔａｌ＿ｚｅｒｏｓコーディングは、現在のブロックの上方及び左のブロック内のｔｏｔａｌ＿ｚｅｒｏｓ数を用いて決定されたｔｏｔａｌ＿ｚｅｒｏｓ推定値に基づいて適応的にＶＬＣテーブルを選択することによって行うことができる。

この発明の概要は、以下の発明を実施するための形態においてさらに詳しく説明される概念の集まりを単純化された形で紹介することを目的として提供されている。この発明の概要は、請求される主題の重要な特徴又は本質的な特徴を特定することを意図するものではなく、及び請求される主題の適用範囲を制限することを意図するものでもない。

映像スケーラビリティをサポートするデジタルマルチメディア放送システムを示すブロック図である。 スケーラブル映像ビットストリームの基本層及び拡張層内の映像フレームを示した図である。 図１のデジタルマルチメディア放送システムにおける放送サーバー及び加入者デバイスの典型的構成要素を示すブロック図である。 走査順を説明するための図である。 走査順を説明するための図である。 Ｈ．２６４符号化方式に基づく可変長符号化装置のブロック図である。 Ｈ．２６４における構文要素の順序を示した図である。 修正されたＨ．２６４符号化方式に基づく可変長符号化装置の実装である。 スケーラブル映像コーディング（ＳＶＣ）粗粒度スケーラビリティ（ＣＧＳ）拡張層コーディングに関するＣＡＶＬＣに関するプロセスの段階を示した図である。 構文要素の決定及び符号化されたストリームの出力のためのプロセスの段階を示した図である。

スケーラブルビデオコーディングは、映像コンテンツを１回コーディングすることができ及び様々な品質を有するストリームをコンテンツプロバイダによって提供できるように映像の時間的及び空間的スケーラビリティを提供するために用いることができる。一例として、符号化された映像は、基本層と拡張層とを含むことができる。基本層は、映像復号のために必要な最低量のデータを搬送し、基本レベルの品質を提供する。拡張層は、復号された映像の品質を高める追加データを搬送する。

一般的には、基本層は、第１のレベルの空間−時間−ＳＮＲスケーラビリティを表す符号化された映像データを含むビットストリームを指すことができる。拡張層は、第２のレベルの空間−時間−ＳＮＲスケーラビリティを表す符号化された映像データを含むビットストリームを指すことができる。拡張層ビットストリームは、基本層と連携して復号することができ、すなわち、最終的な復号された映像データを生成するために用いられる復号された基本層映像データへの参照（ｒｅｆｅｒｅｎｃｅ）を含む。

物理層における階層的変調を用いることで、基本層及び拡張層を同じ搬送波又は副搬送波で送信することができるが、送信特性が異なるため異なったパケット誤り率（ＰＥＲ）になる。基本層は、カバレッジエリア全体を通じて信頼性がより高い受信をするためにより低いＰＥＲを有する。復号器は、基本層のみを又は拡張層が信頼できる形で受信される場合及び／又はその他の判定基準の対象となる場合は基本層と拡張層を復号することができる。

幾つかの実装においては、ここにおいて開示される技法は、Ｈ．２６４基準に準拠することができるデバイスに関して複雑さが低い映像スケーラビリティ拡張を実装するために適用することができる。例えば、拡張は、Ｈ．２６４、又はその他の基準の将来のバージョン又は拡張のための潜在的な修正を表すことができる。Ｈ．２６４基準は、ＩＴＵ−Ｔビデオ・コーディング・エキスパーツ・グループ及びＩＳＯ／ＩＥＣムービング・ピクチャ・エキスパーツ・グループ（ＭＰＥＧ）によって、ジョイントビデオチーム（ＪＶＴ）と呼ばれるパートナーシップの産物として開発されたものである。コーディングされた映像データ及びスケーラブル拡張は、ネットワーク抽象化層（ＮＡＬ）単位で搬送することができる。各ＮＡＬ単位は、整数のバイト数を含むパケットの形をとることができるネットワーク送信単位である。ＮＡＬ単位は、基本層データ又は拡張層データのいずれも搬送することができる。ＮＡＬ単位の基本層ビットストリーム構文及び意味論は、一般的には、Ｈ．２６４基準等の適用基準に準拠することができ、幾つかの制約及び／又は修正が必要になることがある。

この開示において説明される技法は、様々な予測映像符号化基準、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、又はＭＰＥＧ−４基準、ＩＴＵ Ｈ．２６３又はＨ．２６４基準、又はＨ．２６４と実質的に同一であるＩＳＯ／ＩＥＣ ＭＰＥＧ−４、Ｐａｒｔ１０基準、すなわちアドバンストビデオコーディング（ＡＶＣ）、のうちのいずれかと組み合わせて用いることができる。Ｈ．２６４基準と関連づけられた映像スケーラビリティに関する複雑さが低い拡張をサポートするために該技法を適用することは、ここにおいては例示目的で説明される。

クライアントデバイス、例えばモバイルハンドセット、又はその他の小型の携帯デバイス、において復号が実行される場合は、計算上の複雑さ及びメモリ要求に起因する制限が存在する可能性がある。従って、スケーラブル符号化は、基本層＋拡張層の復号が単一層の復号と比較して計算上の複雑さ及びメモリ要求を有意に増大させることがないように設計することができる。適切な構文要素及び関連する意味論が、基本層データ及び拡張層データの効率的な復号をサポートすることができる。

図１は、映像スケーラビリティをサポートするデジタルマルチメディア放送システム１０を示すブロック図である。図１の例においては、システム１０は、放送サーバー１２と、送信塔１４と、複数の加入者デバイス１６Ａ、１６Ｂと、を含む。放送サーバー１２は、１つ以上のソースからデジタルマルチメディアコンテンツを入手し、例えばここにおいて説明される映像符号化基準、例えばＨ．２６４又はその修正、のうちのいずれかに従ってマルチメディアコンテンツを符号化する。放送サーバー１２によって符号化されたマルチメディアコンテンツは、加入者デバイス１６と関連づけられたユーザーによる選択のために異なるチャネルをサポートするために別個のビットストリームにおいて配置することができる。放送サーバー１２は、デジタルマルチメディアコンテンツを異なるコンテンツプロバイダフィードからライブの又はアーカイブされたマルチメディアとして入手することができる。

放送サーバー１２は、無線チャネルを通じて放送サーバー１２から入手された符号化されたマルチメディアを引き渡すための送信塔１４と関連する１つ以上のアンテナを駆動するための該当する無線周波数（ＲＦ）変調構成要素と、フィルタリング構成要素と、増幅器構成要素とを含む変調器／送信機を含むこと又は該変調器／送信機に結合することができる。幾つかの側面においては、放送サーバー１２は、一般的には、様々な無線通信技法、例えば、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交周波数分割多重（ＯＦＤＭ）、又は該技法の組み合わせ、のうちのいずれかに従ってリアルタイム映像サービスを引き渡すように構成することができる。

各加入者デバイス１６は、デジタルマルチメディアデータを復号して提示する能力を備えたあらゆるデバイス、デジタル直接放送システム、無線通信デバイス、例えば携帯電話又は衛星無線電話、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、ビデオゲームコンソール、等、の中に常駐することができる。加入者デバイス１６は、マルチメディアデータの有線及び／又は無線受信をサポートすることができる。さらに、幾つかの加入者デバイス１６は、マルチメディアデータを符号化及び送信するための、及びビデオテレフォニー、映像ストリーミング、等を含む音声及びデータ用途をサポートするための装備をすることができる。

幾つかの実装においては、スケーラブル映像をサポートするために、放送サーバー１２は、複数の映像データチャネルに関する別個の基本層及び拡張層ビットストリームを生成するためにソース映像を符号化することができる。これらのチャネルは、一般的には、加入者デバイス１６Ａ、１６Ｂがいずれの時点においても観るために異なるチャネルを選択できるように同時に送信することができる。従って、ユーザーの制御下にある加入者デバイス１６Ａ、１６Ｂは、テレビを観る経験とほぼ同じように、スポーツを観るために１つのチャネルを選択し、ニュース又はその他の定時の番組を観るために他のチャネルを選択することができる。一般的には、各チャネルは、異なるＰＥＲレベルで送信される基本層と拡張層とを含む。

図１の例においては、２つの加入者デバイス１６Ａ、１６Ｂが示される。しかしながら、システム１０は、所定のカバレッジエリア内におけるあらゆる数の加入者デバイス１６Ａ、１６Ｂを含むことができる。特に、複数の加入者デバイス１６Ａ、１６Ｂが、同じコンテンツを同時に観るために同じチャネルにアクセスすることができる。図１は、送信塔１４に対する加入者デバイス１６Ａ及び１６Ｂの配置を示し、一方の加入者デバイス１６Ａは、送信塔により近く、他方の加入者デバイス１６Ｂは、送信塔からより遠い。基本層はより低いＰＥＲにおいて符号化されるため、該当するカバレッジエリア内のあらゆる加入者デバイス１６によって信頼できる形で受信及び復号されるべきである。図１に示されるように、加入者デバイス１６Ａ、１６Ｂの両方が基本層を受信する。しかしながら、加入者１６Ｂは、送信塔１４からより遠くに位置しており、拡張層を信頼できる形で受信できないことがある。

より近い加入者デバイス１６Ａは、基本層データ及び拡張層データの両方を入手可能であるためより高い品質の映像が可能であり、他方、より遠い加入者デバイス１６Ｂは、基本層データによって提供された最低品質レベルのみを提示することができる。従って、加入者デバイス１６によって入手された映像は、拡張層を復号して基本層に加えて復号された映像の信号対雑音比を向上させることができるという意味でスケーラブルである。

図２は、スケーラブル映像ビットストリームの基本層１７及び拡張層１８内の典型的映像フレームを示す概略図である。基本層１７は、第１のレベルの空間−時間−ＳＮＲスケーラビリティを表す符号化された映像データを含むビットストリームである。拡張層１８は、第２のレベルの空間−時間−ＳＮＲスケーラビリティを表す符号化された映像データを含むビットストリームである。一般的には、拡張層ビットストリームは、基本層と連携してしか復号することができず、独立して復号することはできない。拡張層１８は、基本層１７内の復号された映像データへの参照を含む。該参照は、最終的な復号された映像データを生成するために変換領域又は画素領域のいずれかにおいて用いることができる。

基本層１７及び拡張層１８は、イントラ（Ｉ）、インター（Ｐ）、及び双方向（Ｂ）フレームを含むことができる。拡張層１８内のＰフレームは、基本層１７内のＰフレームへの参照に依存する。拡張層１８及び基本層１７内のフレームを復号することによって、映像復号器は、復号された映像の映像品質を向上させることができる。例えば、基本層１７は、１秒当たり１５フレームの最低フレームレートで符号化された映像を含むことができ、拡張層１８は、１秒当たり３０フレームのより高いフレームレートで符号化された映像を含むことができる。異なる品質レベルでの符号化をサポートするために、基本層１７及び拡張層１８は、より高い量子化パラメータ（ＱＰ）及びより低いＱＰをそれぞれ用いて符号化することができる。

図３は、図１のデジタルマルチメディア放送システム１０における放送サーバー１２及び加入者デバイス１６の典型的構成要素を示すブロック図である。図３に示されるように、放送サーバー１２は、１つ以上の映像ソース２０、又は様々な映像ソースへのインタフェースを含む。放送サーバー１２は、映像符号器２２と、ＮＡＬ単位モジュール２３と、変調器／送信機２４と、も含む。加入者デバイス１６は、受信機／復調器２６と、ＮＡＬ単位モジュール２７と、映像復号器２８と、映像表示デバイス３０と、を含む。受信機／復調器２６は、通信チャネル１５を介して変調器／送信機２４から映像データを受信する。映像符号器２２は、基本層符号器モジュール３２と、拡張層符号器モジュール３４と、を含む。映像復号器２８は、基本層／拡張（ｂａｓｅ／ｅｎｈ）層結合器モジュール３８と、基本層／拡張層エントロピー復号器３９と、を含む。

基本層符号器３２及び拡張層符号器３４は、共通する映像データを受け取る。基本層符号器３２は、映像データを第１の品質レベルで符号化する。拡張層符号器３４は、基本層に加えられたときに第２のより高い品質レベルに映像の品質を向上させるリファィンメントを符号化する。ＮＡＬ単位モジュール２３は、映像符号器２２からの符号化されたビットストリームを処理し、基本層及び拡張層からの符号化された映像データを含むＮＡＬ単位を生成する。ＮＡＬ単位モジュール２３は、図３に示されるような別個の構成要素であること又は映像符号器２２内に埋め込むか又は映像符号器２２と統合することができる。幾つかのＮＡＬ単位は基本層データを搬送し、その他のＮＡＬ単位は、拡張層データを搬送する。

幾つかの実装においては、ＮＡＬ単位の一部は、複雑さが実質的に増すことなしに基本層データ及び拡張層データを復号する際に映像復号器２８を援助するための構文要素と意味論とを含むことができる。例えば、ＮＡＬ単位における拡張層映像データの存在を示す１つ以上の構文要素を、拡張層映像データを含むＮＡＬ単位において、基本層映像データを含むＮＡＬ単位において、又は両方において提供することができる。

変調器／送信機２４は、ＮＡＬ単位モジュール２３によって生成されたＮＡＬ単位の変調及び無線送信をサポートするための適切なモデムと、増幅器と、フィルタと、周波数変換構成要素とを含むことができる。受信機／復調器２６は、放送サーバー１２によって送信されたＮＡＬ単位の無線受信をサポートするための適切なモデムと、増幅器と、フィルタと、周波数変換構成要素とを含むことができる。幾つかの側面においては、放送サーバー１２及び加入者デバイス１６は、２方向通信用に装備し、それにより、放送サーバー１２、加入者デバイス１６、又は両方が送信構成要素及び受信構成要素の両方を含み、両方が映像を符号化及び復号できるようにすることができる。その他の側面においては、放送サーバー１２は、基本層及び拡張層の符号化を用いて映像データを符号化、復号、送信及び受信するように装備される加入者デバイス１６であることができる。従って、２つ以上の加入者デバイス間で送信された映像に関するスケーラブル映像処理も企図される。

ＮＡＬ単位モジュール２７は、受信されたＮＡＬ単位から構文要素を抽出し、基本層及び拡張層映像データを復号する際に用いるために関連情報を映像復号器２８に提供する。ＮＡＬ単位モジュール２７は、図３に示されるような別個の構成要素であることができ、又は映像復号器２８内に埋め込むか又は映像復号器２８と統合することができる。基本層／拡張層エントロピー復号器３９は、受信された映像データにエントロピー復号を適用する。拡張層データを入手可能である場合は、基本層／拡張層結合器モジュール３８は、ＮＡＬ単位モジュール２７によって提供された指示を用いて、基本層及び拡張層からの係数を結合し、結合された情報の単一層復号をサポートする。映像復号器２８は、結合された映像データを復号し、ドライブ表示デバイス３０への出力映像を生成する。各ＮＡＬ単位内に存在する構文要素、及びそれらの構文要素の意味論は、映像復号器２８による受信された基本層及び拡張層映像データの結合及び復号を導く。

放送サーバー１２及び加入者デバイス１６内の様々な構成要素は、ハードウェア、ソフトウェア、及びファームウェアの適切な組み合わせによって実現することができる。例えば、映像符号器２２及びＮＡＬ単位モジュール２３、及びＮＡＬ単位モジュール２７と映像復号器２８は、１つ以上の汎用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ハードウェアコア、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はその組み合わせによって実現することができる。さらに、様々な構成要素は、映像符号器−復号器（ＣＯＤＥＣ）内に実装することができる。幾つかの場合においては、開示される技法の幾つかの側面は、符号化プロセスを加速させるためにハードウェアコア内の様々なハードウェア構成要素を呼び出すＤＳＰによって実行することができる。

機能、例えばプロセッサ又はＤＳＰによって実行される機能、がソフトウェア内に実装される側面に関しては、開示は、コンピュータプログラム製品内における符号を備えるコンピュータによって読み取り可能な媒体も企図する。符号は、機械内において実行されるときには、この開示において説明される技法の１つ以上の側面を実行することをその機械に行わせる。機械によって読み取り可能な媒体は、ランダムアクセスメモリ（ＲＡＭ）、例えば同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、等を備えることができる。

図４Ａに関して、Ｈ．２６４によるエントロピー符号化においては、情報係数は、直交変換後に４×４ブロックに基づいて処理される。Ｈ．２６４符号化方式においては、５つの構文要素（後述）が、４×４ブロックに関して図４Ａに示されるジグザグ走査順と逆の順序（すなわち、逆走査順）で処理を行うことによって生成され及び可変長符号化される。ブロック内の各変換係数は、レベル［Ｉ］で表され、“Ｉ”は、ジグザグ走査番号を表す。

Ｈ．２６４符号化方式に基づいたコンテキスト適応型可変長コーディングＣＡＶＬＣ方式による図４Ｂの変換係数を含む４×４ブロックのエントロピー符号化処理が次に説明される。図５は、Ｈ．２６４符号化方式に基づく可変長符号化装置（例えば、映像符号器２２）のブロック図である。図６は、４×４ブロックに基づく５つの構文要素に対応する可変長符号が結合されて符号化されたストリームが形成される順序を示す。

ＴｏｔａｌＣｏｅｆｆｓ決定ユニット４４は、値＝０を有さない４×４ブロック内の変換係数の数を計算する。例えば、図４Ｂを参照した場合は、ＴｏｔａｌＣｏｅｆｆｓ＝６である。ｔｏｔａｌ＿ｚｅｒｏｓ決定ユニット４６は、レベル［９］とレベル［０］との間においてレベル［Ｉ］値が０である変換係数の数を最終的有意係数として計算する。この場合は、ｔｏｔａｌ＿ｚｅｒｏｓ＝４である。ｔｒａｉｌｉｎｇ＿ｏｎｅｓ決定ユニット４５は、絶対値がレベル［９］からの１である最高３つの変換係数の数を最終的な有意係数として計算する。この場合は、レベル［９］及びレベル［７］は絶対値１に対応するため、ｔｒａｉｌｉｎｇ＿ｏｎｅｓ＝２である。ｃｏｅｆｆ＿ｔｏｋｅｎ可変長符号生成ユニット４９は、ＴｏｔａｌＣｏｅｆｆｓ決定ユニット４４によって計算されたＴｏｔａｌＣｏｅｆｆｓの値及びｔｒａｉｌｉｎｇ＿ｏｎｅｓ決定ユニット４５によって計算されたｔｒａｉｌｉｎｇ＿ｏｎｅｓの値から二次元イベントにおける構文要素としてｃｏｅｆｆ＿ｔｏｋｅｎを計算する。

構文要素としての“レベル”の値は、逆走査順において順次生成されるため、“レベル”の値は、最終的な有意係数としてレベル［９］から順次生成される。しかしながら、“レベル”の値は、ｔｒａｉｌｉｎｇ＿ｏｎｅｓ決定ユニット４５によって計算されたｔｒａｉｌｉｎｇ＿ｏｎｅｓの値に従って訂正する必要がある。レベル選択ユニット４１がこのプロセスを実行する。レベル選択ユニット４１は、レベル［Ｉ］の値が０でない変換係数をしきい値決定ユニット４２及びレベル可変長符号生成ユニッ４３に順次出力する。ｔｒａｉｌｉｎｇ＿ｏｎｅｓの値が３よりも小さい場合は、絶対値が１でない第１のレベル［Ｉ］の絶対値から１が減じられる。この場合は、ｔｒａｉｌｉｎｇ＿ｏｎｅｓ＝２であるため、レベル［６］の絶対値“６”から１を減じることによって得られた値“５”が出力される。さらに、しきい値決定ユニット４２は、ｓｕｆｆｉｘＬｅｎｇｔｈを決定し、レベル可変長符号生成ユニット４３にそれを出力する。

ＳｕｆｆｉｘＬｅｎｇｔｈは、Ｈ．２６４仕様に従って予め決定されたしきい値テーブルをレベル［Ｉ］の入力値と比較することによって決定される。レベル可変長符号生成ユニット４３は、ＳｕｆｆｉｘＬｅｎｇｔｈの値による可変長符号化に関して用いられる可変長テーブル（示されていない）を選択する。

ｒｕｎ＿ｂｅｆｏｒｅ決定ユニット４７は、ゼロラン（ｚｅｒｏ ｒｕｎ）を逆走査順で順次計算する。例えば、レベル［９］とレベル［７］との間ではｒｕｎ＿ｂｅｆｏｒｅ＝１、及びレベル［７］とレベル［６］との間ではｒｕｎ＿ｂｅｆｏｒｅ＝０である。ｚｅｒｏｓ＿ｌｅｆｔ管理ユニットは、順次計算されたｒｕｎ＿ｂｅｆｏｒｅの値をｔｏｔａｌ＿ｚｅｒｏｓの値から減じることによって得られた値を、ｚｅｒｏｓ＿ｌｅｆｔとして、ｒｕｎ＿ｂｅｆｏｒｅ可変長符号生成ユニット５１に出力することに注目すること。ｒｕｎ＿ｂｅｆｏｒｅ可変長符号生成ユニット５１は、ｒｕｎ＿ｂｅｆｏｒｅ及びｚｅｒｏｓ＿ｌｅｆｔの値から可変長符号を生成する。

可変長符号結合ユニット５２は、図６に示される順序に従い、ｃｏｅｆｆ＿ｔｏｋｅｎ可変長符号生成ユニット４９から入力された可変長符号、ｔｒａｉｌｉｎｇ＿ｏｎｅｓ決定ユニット４５から入力されたｔｒａｉｌｉｎｇ＿ｏｎｅｓ＿ｓｉｇｎ、レベル可変長符号生成ユニット４３から入力された可変長符号、ｔｏｔａｌ＿ｚｅｒｏｓ可変長符号生成ユニット５０から入力された可変長符号、及びｒｕｎ＿ｂｅｆｏｒｅ可変長符号生成ユニット５１から入力された可変長符号を順次結合する。

拡張層コーディングにおける異なるシーンの特徴に起因して、ＳＶＣ ＣＧＳ拡張層コーディングに関するＣＡＶＬＣコーディングは非効率的になる可能性がある。例えば、多くの場合において、ＣＧＳ拡張層コーディングに関しては、量子化後の残差変換係数はゼロ又は１である。従って、係数が１よりも大きい確率は極端に低い。これに基づき、一実装においては、ＣＡＶＬＣ構文要素は、図７に示されるように修正することができ、これは、修正されたＨ．２６４符号化方式に基づく可変長符号化装置４０の実装である。図７において、図５の符号化装置と共通する要素は、参照数字が付されており、以下においては再説明されない。

直交変換された４×４画像データにおいて、１よりも大きい絶対値を有する量子化された変換係数の数がＮＬｒｇ１決定ユニット５３によって決定される。図５と比較して、ｃｏｅｆｆ＿ｔｏｋｅｎ生成ユニット５５がＴｏｔａｌＣｏｅｆｆ決定ユニット４４及びＮＬｒｇ１決定ユニット５３の出力を符号化するようにｃｏｅｆｆ＿ｔｏｋｅｎの定義が修正される。幾つかの実装においては、以下の表１乃至３において示されるＶＬＣテーブルを、４×４画像データの左側ブロック（ｎＡ）のゼロでない係数（ｎｎｚ）及び上方ブロック（ｎＢ）のｎｎｚから決定されるｎｎｚ数の推定値又は予測子（ｎＣ）に基づいてｃｏｅｆｆ＿ｔｏｋｅｎをコーディングするために用いることができる。推定値（ｎＣ）は、ＩＳＯ／ＩＥＣ １４４９６−１０において定義されており、以下のように決定することができる。

上方ブロックのみが入手可能な場合は、ｎＣ＝ｎＢ
左側ブロックのみが入手可能な場合は、ｎＣ＝ｎＡ
いずれのブロックも入手可能でない場合は、ｎＣ＝０
両方のブロックが入手可能な場合は、ｎＣ＝ｒｏｕｎｄ （（ｎＡ＋ｎＢ）／２）

ｎＣ＞８の場合は、固定長符号語を以下のように書くことができる。

ＴｏｔａｌＣｏｅｆｆ＝０の場合は、００をコーディングする。

その他の場合は、６ビット固定長符号を用いることができ、ｍｉｎ（ＮＬｒｇ１＋１，３）の２ビットとＴｏｔａｌＣｏｅｆｆ−１の４ビットとを含む。

幾つかの実装においては、ＮＬｒｇ１決定ユニット５３の出力が２よりも大きいときには、（ＮＬｒｇ１−２）のｕｎａｒｙ符号が添付される。

レベルコーディング決定ユニット５４は、コーディング対象となる残りの係数において１よりも大きい係数の数に基づいてレベルコーディングに関するＶＬＣテーブルを選択することができる。幾つかの実装においては、コーディング対象となるすべての残りの係数の大きさが１以下であるときには、符号ビットがコーディングされる。１よりも大きい絶対値を有する係数の数が１であるときには、レベルをコーディングするためにＶＬＣテーブル０が用いられ、その他の場合は、ＶＬＣテーブル１が用いられる。

ｔｏｔａｌ＿ｚｅｒｏｓ生成ユニット５６は、ｎＣと同じ方法で（すなわち、現在のブロックの上方及び左のブロック内のｔｏｔａｌ＿ｚｅｒｏｓ数を用いて）決定することができるｔｏｔａｌ＿ｚｅｒｏｓ推定値に基づいて適応的にＶＬＣテーブルを選択する。ＶＬＣテーブルインデックスは、以下の表４において示されるように割り当てられる。該実装は、基本層と異なるだけでなく層ごとに異なることができる拡張層に関するｔｏｔａｌ＿ｚｅｒｏｓ統計を考慮する。ｔｏｔａｌ＿ｚｅｒｏｓ割り当てに関するＶＬＣは、ＴｏｔａｌＣｏｅｆｆ値を条件にすることができる。表５及び表６は、ｔｏｔａｌ＿ｚｅｒｏｓに関するＶＬＣテーブルである。

可変長符号結合ユニット５２は、ｃｏｅｆｆ＿ｔｏｋｅｎ可変長符号生成ユニット５５から入力された可変長符号、レベル可変長符号生成ユニット５４から入力された可変長符号、Ｔｏｔａｌ＿ｚｅｒｏｓ可変長符号生成ユニット５６から入力された可変長符号、及びｒｕｎ＿ｂｅｆｏｒｅ可変長符号生成ユニット５１から入力された可変長符号を順次結合し及び出力する。

図８は、スケーラブル映像コーディング（ＳＶＣ）粗粒度スケーラビリティ（ＣＧＳ）拡張層コーディングに関するＣＡＶＬＣに関するプロセス１００の段階を示す。１０２において、画像データが受け取られる。例えば、直交変換されたブロック画像データを符号器２２によって受け取ることができる。１０４において、構文要素が決定される。例えば、構文要素は、ブロック画像データ内の係数に従ってコーディングを規定することができる。１０６において、コーディングが行われる。例えば、コーディングは、ＶＬＣテーブルを適応的に適用して画像データをコーディングすることによって行うことができる。１０８において、符号化されたストリームが出力される。例えば、符号化されたストリームは、処理及び送信のために映像符号器から出力することができる。

図９は、構文要素を決定する及び符号化されたストリームを出力するためのプロセス１２０の段階を示す。１２２において、１よりも大きい絶対値を有する量子化された変換係数の数が決定される（ＮＬｒｇ１）。例えば、ＮＬｒｇ１決定ユニット５１は、入力されたブロック画像データからこの値を決定することができる。１２４において、ＴｏｔａｌＣｏｅｆｆｓが決定される。例えば、ＴｏｔａｌＣｏｅｆｆｓ決定ユニット４４は、値＝０を有さない画像データブロック内の変換係数の数を計算することができる。

１２６において、ｃｏｅｆｆ＿ｔｏｋｅｎ符号化がＮＬｒｇ１及びＴｏｔａｌＣｏｅｆｆｓに従って行われる。例えば、ｃｏｅｆｆ＿ｔｏｋｅｎ可変長符号生成ユニット４９は、ＴｏｔａｌＣｏｅｆｆｓ決定ユニット５５によって計算されたＴｏｔａｌＣｏｅｆｆｓの値及びＮＬｒｇ１決定ユニット５３の出力からｃｏｅｆｆ＿ｔｏｋｅｎを構文要素として計算する。１２８において、残りの係数において１よりも大きい係数の数に基づいてレベルコーディングが行われる。例えば、レベル符号生成ユニット５４は、コーディング対象となる残りの係数において１よりも大きい係数の数に基づいてレベルコーディングに関するＶＬＣテーブルを選択することができる。１３０において、推定値に従ってｔｏｔａｌ＿ｚｅｒｏｓコーディングが行われる。例えば、ｔｏｔａｌ＿ｚｅｒｏｓ生成ユニット５６は、現在のブロックの上方及び左のブロック内のｔｏｔａｌ＿ｚｅｒｏｓ数を用いて決定されたｔｏｔａｌ＿ｚｅｒｏｓ推定値に基づいて適応的にＶＬＣテーブルを選択することができる。

１３２において、ｒｕｎ＿ｂｅｆｏｒｅコーディングが行われる。例えば、ｒｕｎ＿ｂｅｆｏｒｅ決定ユニット４７は、ゼロランを逆走査順で順次計算することができる。１３４において、１２６、１２８、１３０及び１３２において決定された可変長符号が結合される。１３６において、結合された符号が符号化されたストリームとして出力される。例えば、符号化されたストリームは、符号器２２から出力することができる。

ここにおいて説明される実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、又はそのいずれかの組み合わせによって実装することができる。システム及び／又は方法がソフトウェア、ファームウェア、ミドルウェア、マイクロコード、プログラムコード又はコードセグメントに実装されるときには、機械によって読み取り可能な媒体、例えば格納構成要素、に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は、命令、データ構造又はプログラム文の組み合わせを表すことができる。コードセグメントは、情報、データ、引数、パラメータ、又はメモリ内容を渡す及び／又は受け取ることによって他のコードセグメント又はハードウェア回路に結合することができる。情報、引数、パラメータ、データ、等は、メモリシェアリング、メッセージ渡し、トーン渡し、ネットワーク送信、等を含むいずれかの適切な手段を用いて渡す、転送する、又は送信することができる。

ソフトウェアに実装する場合は、ここにおいて説明される技法は、ここにおいて説明される機能を果たすモジュール（例えば、手順、関数、等）によって実装することができる。ソフトウェアコードは、メモリユニット内に格納してプロセッサによって実行することができる。メモリユニットは、プロセッサ内に又はプロセッサの外部に実装することができ、プロセッサの外部に実装する場合は、当業において知られる様々な手段を通じて通信可能な形でプロセッサに結合することができる。

ここにおいて開示される実施形態と関係させて説明される方法又はアルゴリズムの段階は、ハードウェア内において直接具現化すること、プロセッサによって実行されるソフトウェアモジュール内において具現化すること、又はこれらの２つの組み合わせ内において具現化することができる。ソフトウェアモジュールは、ランダムアクセスメモリ（“ＲＡＭ”）、フラッシュメモリ、読み取り専用メモリ（“ＲＯＭ”）、消去可能プログラマブル読み取り専用メモリ（“ＥＰＲＯＭ”）、電気的消去可能プログラマブル読み取り専用メモリ（“ＥＥＰＲＯＭ”）、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ−ＲＯＭ、又は当業において知られるその他の何らかの形態の記憶媒体に常駐することができる。記憶媒体例は、プロセッサに結合させ、プロセッサが記憶媒体から情報を読み出すようにすること及び記憶媒体に情報を書き込むようにすることができる。代替においては、記憶媒体は、プロセッサと一体化させることができる。プロセッサ及び記憶媒体は、特定用途向けユーザー回路（“ＡＳＩＣ”）内に常駐することができる。ＡＳＩＣは、ユーザー端末内に常駐することができる。代替においては、プロセッサ及び記憶媒体は、ユーザー端末内において個別構成要素として常駐することができる。

ここにおいて説明される方法は、当業者によって知られる様々なハードウェア、プロセッサ及びシステムにおいて実装できることが注目されるべきである。例えば、実装において用いられる機械は、コンテンツ及び情報を表示するためのディスプレイと、クライアントの動作を制御するためのプロセッサと、機械の動作と関連するデータ及びプログラムを格納するためのメモリと、を有することができる。幾つかの実装においては、機械は、携帯電話である。幾つかの実装においては、機械は、通信能力を有するハンドヘルドコンピュータ又はハンドセットである。他の実装においては、機械は、通信能力を有するパーソナルコンピュータである。

ここにおいて開示される実装と関係させて説明される様々な例示的な論理、論理ブロック、モジュール、及び回路は、ここにおいて説明される機能を果たすように設計された汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他のプログラミング可能な論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェア構成要素、又はそのあらゆる組合せ、とともに実装又は実行することができる。汎用プロセッサはマイクロプロセッサであることができるが、代替においては、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。さらに、プロセッサは、計算装置の組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、ＤＳＰコアと関連する1つ以上のマイクロプロセッサとの組合せ、又はその他のあらゆる該コンフィギュレーションとの組合せ、として実装することもできる。

主題は、構造上の特徴及び／又は方法上の行為に特有の言葉で説明されているが、添付される請求項において定義される主題は、上述される特定の特徴又は行為に必ずしも限定されるものではないことが理解されるべきである。むしろ、上述される特定の特徴及び行為は、請求項の実装形態例として開示される。

Claims (25)

1. コンテキスト適応型可変長コーディングに関する方法であって、
   変換されたブロック画像データを受信することと、
   前記変換されたブロック画像データから構文要素を決定することであって、前記構文要素は、ＴｏｔａｌＣｏｅｆｆｓ値と、１よりも大きい絶対値（ＮＬｒｇ１値）を有する量子化された変換係数の数と、ｔｏｔａｌ＿ｚｅｒｏｓ値と、ｒｕｎ＿ｂｅｆｏｒｅ値と、レベル値と、を含むことと、
   前記決定された構文要素をコーディングすることであって、前記構文要素の少なくとも一部は少なくとも前記ＮＬｒｇ１値に従ってコーディングされることと、
   を備える、方法。
2. 前記ＮＬｒｇ１値及び前記ＴｏｔａｌＣｏｅｆｆｓ値に従ってｃｏｅｆｆ＿ｔｏｋｅｎを符号化することであって、前記決定された構文要素は前記ｃｏｅｆｆ＿ｔｏｋｅｎを含む請求項１に記載の方法。
3. 以前にコーディングされた左側のブロックｎＡ及び以前にコーディングされた上方ブロックｎＢのゼロでない係数の数に基づいて予測子ｎＣを決定することと、
   前記予測子ｎＣに基づいて前記ｃｏｅｆｆ＿ｔｏｋｅｎの符号化を行うためのＶＬＣテーブルを選択することと、をさらに備える請求項２に記載の方法。
4. ｎＣが予め決定された整数値よりも大きい場合は固定された符号語を用いることと、
   ｎＣが前記予め決定された整数値よりも小さい場合はｍｉｎ（ＮＬｒｇ１＋１，３）とＴｏｔａｌＣｏｅｆｆ−１とを含む固定長符号を用いること、とをさらに備える請求項３に記載の方法。
5. 前記ＮＬｒｇ１値が２よりも大きい場合はＮＬｒｇ１−２のｕｎａｒｙ符号を添付することをさらに備える請求項３に記載の方法。
6. 前記変換係数のうちコーディング対象となる残りの係数において１よりも大きい係数の数に従ってレベルコーディングを決定することをさらに備える請求項１に記載の方法。
7. 前記変換係数のうちコーディング対象となる残りの係数の大きさが１以下である場合は符号ビットをコーディングすることをさらに備える請求項６に記載の方法。
8. １よりも大きい係数の数が１である場合はＶＬＣテーブル０を用いてレベルをコーディングすることと、
   １よりも大きい係数の数が１でない場合はＶＬＣテーブル１を用いてレベルをコーディングすること、とをさらに備える請求項６に記載の方法。
9. 隣接ブロックのｔｏｔａｌ＿ｚｅｒｏｓから決定された推定されたｔｏｔａｌ＿ｚｅｒｏｓ値に基づいてｔｏｔａｌ＿ｚｅｒｏｓ符号化を決定することをさらに備える請求項１に記載の方法。
10. コンテキスト適応型可変長コーディング（ＶＬＣ）装置であって、
    ＴｏｔａｌＣｏｅｆｆｓ値、１よりも大きい絶対値（ＮＬｒｇ１値）を有する量子化された変換係数の数、ｔｏｔａｌ＿ｚｅｒｏｓ値、ｒｕｎ＿ｂｅｆｏｒｅ値、及びレベル値を決定する構文要素決定ユニットと、
    前記ＮＬｒｇ１値及び前記ＴｏｔａｌＣｏｅｆｆｓ値に従って、構文要素としてのｃｏｅｆｆ＿ｔｏｋｅｎを符号化するｃｏｅｆｆ＿ｔｏｋｅｎ生成ユニットと、
    前記変換係数のうちコーディング対象となる残りの係数において１よりも大きい係数の数に従ってレベルコーディングを決定するレベル符号生成ユニットと、
    隣接ブロックのｔｏｔａｌ＿ｚｅｒｏｓから決定された推定されたｔｏｔａｌ＿ｚｅｒｏｓ値に基づいてｔｏｔａｌ＿ｚｅｒｏｓ符号化を決定したｔｏｔａｌ＿ｚｅｒｏｓ生成ユニットと、
    ｒｕｎ＿ｂｅｆｏｒｅ及びｚｅｒｏｓ＿ｌｅｆｔの値から可変長符号を生成するｒｕｎ＿ｂｅｆｏｒｅ生成ユニットと、
    前記ｃｏｅｆｆ＿ｔｏｋｅｎ生成ユニット、前記レベル符号生成ユニット、前記ｔｏｔａｌ＿ｚｅｒｏｓ生成ユニット及び前記ｒｕｎ＿ｂｅｆｏｒｅ生成ユニットの出力を結合する可変長結合ユニットと、を備える、コンテキスト適応型可変長コーディング（ＶＬＣ）装置。
11. 前記ｔｏｔａｌ＿ｚｅｒｏｓ生成ユニット及び前記ｃｏｅｆｆ＿ｔｏｋｅｎ生成ユニットは、以前にコーディングされた左側のブロックｎＡ及び以前にコーディングされた上方ブロックｎＢのゼロでない係数の数に基づいて予測子ｎＣを決定し、前記予測子ｎＣに基づいてｃｏｅｆｆ＿ｔｏｋｅｎ符号化を行うためのＶＬＣテーブルを選択する請求項１０に記載の装置。
12. ｎＣが予め決定された整数値よりも大きい場合は固定された符号語が用いられ、ｎＣが前記予め決定された整数値よりも小さい場合はｍｉｎ（ＮＬｒｇ１＋１，３）とＴｏｔａｌＣｏｅｆｆ−１とを含む固定長符号が用いられる請求項１１に記載の装置。
13. ＮＬｒｇ１値が２よりも大きい場合はＮＬｒｇ１−２のｕｎａｒｙ符号が添付される請求項１０に記載の装置。
14. 前記レベル符号生成ユニットは、前記変換係数のうちコーディング対象となる残りの係数の大きさが１以下である場合は符号ビットをコーディングし、前記レベル符号生成ユニットは、１よりも大きい係数の数が１である場合はＶＬＣテーブル０を用いてレベルをコーディングし、１よりも大きい係数の数が１でない場合はＶＬＣテーブル１を用いてレベルをコーディングする請求項１０に記載の装置。
15. 映像符号器であって、
    変換されたブロック画像データを受信するための手段と、
    前記変換されたブロック画像データから構文要素を決定するための手段であって、前記構文要素は、ＴｏｔａｌＣｏｅｆｆｓ値と、１よりも大きい絶対値（ＮＬｒｇ１値）を有する量子化された変換係数の数と、ｔｏｔａｌ＿ｚｅｒｏｓ値と、ｒｕｎ＿ｂｅｆｏｒｅ値と、レベル値と、を含む手段と、
    前記決定された構文要素をコーディングすることであって、前記構文要素の少なくとも一部は少なくとも前記ＮＬｒｇ１値に従ってコーディングされる手段と、を備える、映像符号器。
16. 前記ＮＬｒｇ１値及び前記ＴｏｔａｌＣｏｅｆｆｓ値に従ってｃｏｅｆｆ＿ｔｏｋｅｎを符号化することであって、前記決定された構文要素は前記ｃｏｅｆｆ＿ｔｏｋｅｎを含む請求項１５に記載の映像符号器。
17. 前記ｃｏｅｆｆ＿ｔｏｋｅｎを符号化するための前記手段は、以前にコーディングされた左側のブロックｎＡ及び以前にコーディングされた上方ブロックｎＢのゼロでない係数の数に基づいて予測子ｎＣを決定し、前記予測子ｎＣに基づいてｃｏｅｆｆ＿ｔｏｋｅｎ符号化を行うためのＶＬＣテーブルを選択する請求項１６に記載の映像符号器。
18. 前記変換係数のうちコーディング対象となる残りの係数において１よりも大きい係数の数に従ってレベルコーディングを決定するための手段をさらに備える請求項１５に記載の映像符号器。
19. 前記変換係数のうちコーディング対象となる残りの係数の大きさが１以下である場合は符号ビットをコーディングするための手段と、
    １よりも大きい係数の数が１である場合はＶＬＣテーブル０を使用し、１よりも大きい係数の数が１でない場合はＶＬＣテーブル１を用いてレベルをコーディングするための手段と、をさらに備える請求項１８に記載の映像符号器。
20. 隣接ブロックのｔｏｔａｌ＿ｚｅｒｏｓから決定された推定されたｔｏｔａｌ＿ｚｅｒｏｓ値に基づいてｔｏｔａｌ＿ｚｅｒｏｓ符号化を決定するための手段をさらに備える請求項１５に記載の映像符号器。
21. コンテキスト適応型可変長コーディングの方法を実行するための実行可能命令を備えるコンピュータによって読み取り可能な媒体であって、前記方法は、
    変換されたブロック画像データを受信することと、
    前記変換されたブロック画像データから構文要素を決定することであって、前記構文要素は、ＴｏｔａｌＣｏｅｆｆｓ値と、１よりも大きい絶対値（ＮＬｒｇ１値）を有する量子化された変換係数の数と、ｔｏｔａｌ＿ｚｅｒｏｓ値と、ｒｕｎ＿ｂｅｆｏｒｅ値と、レベル値と、を含むことと、
    前記決定された構文要素をコーディングすることであって、前記構文要素の少なくとも一部は少なくとも前記ＮＬｒｇ１値に従ってコーディングされることと、を備える、コンピュータによって読み取り可能な媒体。
22. ＮＬｒｇ１値及び前記ＴｏｔａｌＣｏｅｆｆｓ値に従ってｃｏｅｆｆ＿ｔｏｋｅｎを符号化することであって、前記決定された構文要素は前記ｃｏｅｆｆ＿ｔｏｋｅｎを含むことを行うための命令をさらに備える請求項２１に記載のコンピュータによって読み取り可能な媒体。
23. 以前にコーディングされた左側のブロックｎＡ及び以前にコーディングされた上方ブロックｎＢのゼロでない係数の数に基づいて予測子ｎＣを決定すること、
    前記予測子ｎＣに基づいて、ｃｏｅｆｆ＿ｔｏｋｅｎ符号化を行うためのＶＬＣテーブルを選択することを行うための命令をさらに備える請求項２１に記載のコンピュータによって読み取り可能な媒体。
24. 前記変換係数のうちコーディング対象となる残りの係数において１よりも大きい係数の数に従ってレベルコーディングを決定することを行うための命令をさらに備える請求項２１に記載のコンピュータによって読み取り可能な媒体。
25. 隣接ブロックのｔｏｔａｌ＿ｚｅｒｏｓから決定された推定されたｔｏｔａｌ＿ｚｅｒｏｓ値に基づいてｔｏｔａｌ＿ｚｅｒｏｓ符号化を決定することを行うための命令をさらに備える請求項２１に記載のコンピュータによって読み取り可能な媒体。

Images