JP7063925B2 - エンコーダ、エンコーディングシステム、およびエンコーディング方法 - Google Patents

Description

本出願は画像のデコード分野に係わり、より具体的には、エンコーダ、エンコーディングシステム及びエンコーディング方法に係わる。本特許書類に開示された内容には、著作権により保護された材料が含まれる。この著作権は著作権者に帰属する。著作権所有者は、特許・商標局の公式記録及びファイルに存在する当該特許文書又は当該特許開示を複製することに何人も反対しない。

ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ ｇｒｏｕｐ） ２０００は、一般的な画像符号化規格である。ＪＰＥＧ ２０００はウェーブレット変換を採用しており、最適化されたインターセプトＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ ｂｌｏｃｋ ｃｏｄｉｎｇ ｗｉｔｈ ｏｐｔｉｍｉｚｅｄ ｔｒｕｎｃａｔｉｏｎ）に基づいてエントロピーをエンコードし、ＪＰＥＧよりも圧縮率が高く、プログレッシブダウンロードと表示をサポートしている。

従来のＪＰＥＧ ２０００のエンコーダの符号レート制御アルゴリズムは、フレーム画像全体に対して大域的な最適化アルゴリズムを行い、システム帯域幅に対する要求が高い。

このリクエストでは、システム帯域幅に対するコーディング・プロセスの要件を緩和するために、エンコーダ・システムとエンコード方式を提供している。

第一に、外部ストレージから事前に生成された符号化される画像の統計情報を読み取るための第一インターフェース回路を含むエンコーダを提供する。符号レート制御回路は、前記符号化される画像の統計情報に基づいて、前記符号化される画像中の画像ブロックの目標符号レートを確定するために使用する。第一符号化回路は、前記画像ブロックの符号化ブロックをｔｉｅｒ-１符号化し、前記画像ブロックの符号ストリームを得るために使用される。第二符号化回路は、前記目標符号レートに基づいて、前記画像ブロックの符号ストリームをｔｉｅｒ－２符号化し、前記画像ブロックの符号ストリームを切り捨てるために使用される。

第二に、符号化される画像の統計情報を計算するための前処理回路を含む、エンコーディングシステムを提供する。符号化される画像と統計情報を格納するためのストレージにおけるメモリから、前記符号化される画像および前記統計情報を読み取るために使用される。

第三に、あらかじめ生成された符号化される画像の統計情報を外部のメモリから読み込むなどのエンコード方式を提供する。前記符号化される画像の統計情報に基づいて、前記符号化される画像内の画像ブロックの目標符号レートを確定する。前記画像ブロックの符号化ブロックをｔｉｅｒ-１符号化し、前記画像ブロックの符号ストリームを得る。前記画像ブロックの符号ストリームを、前記目標符号レートに基づいてｔｉｅｒ－２符号化し、前記画像ブロックの符号ストリームを切り捨てる。

第四に、コンピュータで読み取り可能なストレージメディアを提供する。このメディアには、コンピュータが読み取り可能なストレージメディアに保存されているディレクティブがあり、コンピュータ上で実行されているときに、コンピュータが第三の方法を実行できるようにする。

第五に、命令を含むコンピュータプログラム製品を提供し、それがコンピュータ上で実行されているときに、コンピュータに第三に述べた方法を実行させる。符号化される画像内の画像ブロックの統計情報をあらかじめ計算しておき、その統計情報に基づいて画像ブロックの符号ストリームを切り捨てることで、各画像ブロックに対して相対的に独立した符号レート制御を行うことで、エンコーダのシステム帯域幅に対する要求を軽減する。

ＪＰＥＧ ２０００の符号化フレームワーク図である。 本出願実施例で提供されたエンコーディングシステムの構成図である。 本出願実施例で提供された前処理回路の構成図である。 本出願実施例で提供されたエンコーダの構成図である。 画像ブロックのウェーブレット変換の原理図を示す。 本出願実施例で提供されたデコーダの構成図である。 本出願実施例で提供されたエンコーディング方法のスケマティック・フローチャートである。

本出願は、画像符号化復号領域、動画符号化復号領域、ハードウェア動画符号化復号領域、専用回路動画符号化復号領域、及びリアルタイム動画符号化復号領域に適用することができる。

本出願で提供されているエンコーダは、画像を不可逆圧縮（ｌｏｓｓｙ ｃｏｍｐｒｅｓｓｉｏｎ）するためにも、可逆圧縮（ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）するためにも使用できる。可逆圧縮は、視覚的可逆圧縮（ｖｉｓｕａｌｌｙ ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）または数学的可逆圧縮（ｍａｔｈｅｍａｔｉｃａｌｌｙ ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）のいずれかである。

分かりやすくするために、ＪＰＥＧ ２０００の符号化フレームワークについて簡単に説明する。図１に示すように、ＪＰＥＧ ２０００の符号化フレームワークには、前処理モジュール１２、変換モジュール１４、量子化モジュール１６、及びＥＢＣＯＴモジュール１８を含めることができる。

前処理モジュール１２には、コンポーネント変換（ｃｏｍｐｏｎｅｎｔ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）モジュール１２２と直流レベル移動（ｄｉｒｅｃｔ ｃｕｒｒｅｎｔ ｌｅｖｅｌ ｓｈｉｆｔ）モジュール１２４を含めることができる。

コンポーネント変換モジュール１２２では、イメージのコンポーネントに何らかの変換を行うことで、コンポーネント間の依存性を低減できる。例えば、Ｃｏｍｐｏｎｅｎｔ Ｔｒａｎｓｆｏｒｍ Ｍｏｄｕｌｅ １２２では、画像の個々のコンポーネントを現在のカラーフィールドから別のカラーフィールドに変換できる。

コンポーネント変換モジュール１２２は複数のカラー変換モードをサポートできるため、コンポーネント変換モジュール１２２はＭＣＴ（Ｍｕｌｔｉ－ｍｏｄｅ（登録商標） Ｃｏｌｏｒ ｔｒａｎｓｆｏｒｍ）モジュールとも呼ばれる。たとえば、コンポーネント変換モジュール１２２は、不可逆色変換（ＩＣＴ）または可逆色変換（ＲＣＴ）をサポートする。なお、重み変換モジュール１２２はオプションであり、実際の符号化においても、画像を重み変換せずにそのまま後続処理を行うことができる。

直流レベル移動モジュール１２４を使用すると、後続の変換操作を容易にするために、成分値を中心に移動して、０を中心に対称に分布させることができる。

変換モジュール１４は、画像中の各画像ブロック（ｔｉｌｅ）を、ウェーブレット変換を用いて変換し、サブバンドのウェーブレット係数を得る。本出願実施例では、画像ブロックのサイズについて具体的な制限を設けず、例えば５１２×５１２（単位はピクセル）であってもよい。

量子化モジュール１６は、サブバンドのウェーブレット係数を量子化し、量子化後のサブバンドのウェーブレット係数を得るために利用できる。ＥＢＣＯＴモジュール１８はＪＥＰＧ ２０００のエントロピー符号化モジュールであり、ＪＥＰＧ ２０００の中核モジュールである。

ＥＢＣＯＴモジュール１８には、ｔｉｅｒ－１符号化モジュール１８２、ｔｉｅｒ－２符号化モジュール１８４、および符号レート制御モジュール１８６を含めることができる。ｔｉｅｒ－１符号化モジュール１８２を使用すると、符号化ブロック（サブバンドをさらに独立した複数の符号化ブロック（ｃｏｄｅ ｂｌｏｃｋ）に分割できる）をｔｉｅｒ－１で符号化できる。ｔｉｅｒ－１符号化には、ビットプレーン・エンコードと算術エンコードを含めることができる。ｔｉｅｒ－２符号化モジュール１８４は主に符号ストリームの編成を担当しており、符号化ブロックの符号ストリームを符号レート制御モジュール１８６が提供する目標符号レートに基づいて切り捨てるなどの処理を行うことができる。

ＪＰＥＧ ２０００では、主に圧縮レート歪み最適化アルゴリズム（ＰＣＲＤ）を使用して、符号レートを制御する。従来のＪＰＥＧ ２０００技術では、符号レートの制御を行う際に、フレーム画像中のすべての符号化ブロックの符号ストリームの最適なトランケーションポイントの集合を走査的に計算する。つまり、従来のＪＰＥＧ ２０００テクノロジーでは、フレーム画像全体の符号レートを制御する。ハードウェア・エンコーダの場合、フレーム画像全体の符号レート制御を行うと、大量の中間データが生成され、スライス上のキャッシュが限られている場合には、エンコーダと外部のメモリとの間で大量のデータのやりとりが必要となり、システム帯域幅に対する要求が高くなる。

以下では、図２から図６と合わせて、本出願における技術方案について述べる。本申請実施例は、エンコーディング・システムを提供する。図２に示すように、このエンコーディングシステム２には、前処理回路４、信号処理装置６およびエンコーダ７が含まれる。

図３に示すように、前処理回路４には計算回路４２を含めることができる。計算回路４２を使用すると、符号化される画像の統計情報を計算できる。この符号化される画像は、センサ３によって収集された画像であっても、他のデバイスから入力された画像であってもよい。符号化される画像の形式は、ＲＡＷ、またはＲＧＢなどの他の形式にすることができる。前処理回路４の機能は、図２の左側の仮想枠で表されるＩＳＰ（画像信号処理）サブシステムによって実行可能である。

符号化される画像の統計情報は、符号化される画像中の画像ブロック（ｔｉｌｅ）に対する符号レート制御に利用できる情報であることから、一部の実装例では、符号化されていない画像の統計情報を符号化される画像ブロックの符号レート制御情報と呼ぶこともできる。符号化される画像の統計には、符号化される画像内の画像ブロックの複雑さ、アクティブさ、テクスチャの１つまたは複数の情報を含めることができる。

符号化される画像の統計情報は、さまざまな方法で計算できる。符号化される画像の統計情報を符号化される画像中の画像ブロックの複雑さの例として、画像ブロック内の画素点の高周波成分の大きさに基づいて画像ブロックの複雑さを定義または計算することができる。例えば、画像ブロックの複雑さは、画像ブロック領域内の各画素点における高周波成分の大きさの累積和である。画像ブロックのテクスチャが複雑な場合は、対応する高周波成分の大きさの合計も大きくなり、この画像ブロックの複雑さは高いと考えられる。画像の符号化理論によれば、複雑度の高い画像ブロック領域に対応する符号化後の符号ストリーム（または符号化に要するビット数）もそれなりに大きくなる。具体的には、画像ブロック領域内の画素点の画素値に基づいてフィルタリング操作により高周波成分を得て、画像ブロックの複雑度を計算することができる。

また、画像ブロック中の画素値の二乗誤差（ＭＳＥ）に基づいて画像ブロックの複雑さを定義または計算することも可能であり、画像ブロックの画素値のＭＳＥが大きいほど、その画像ブロックの複雑さは高くなると考えられる。

もちろん、画像ブロックの複雑さは、他の定義方式や、上記の定義方式の組合せを用いてもよいが、本出願実施例はこれを限定しない。

オプションで、一部の実装例では、前処理回路４にコンポーネント変換回路４４を含めることもできる。コンポーネント変換回路４４は、前に説明したコンポーネント変換操作を実行するために使用できる。符号化される画像の統計情報を計算する過程で符号化される画像に対して重み変換を行うことは、もともとエンコーダ７で行う必要があった操作を切り離して前処理回路４で行うことに相当し、エンコーダ７の複雑さを軽減することができる。もちろん、もう１つの実装例では、前処理回路４はコンポーネント変換操作を行わずにエンコーダ７によって実行されることもある。

さらに図２を参照して、前処理回路４の処理結果（前処理後の符号化される画像およびその符号化される画像の統計情報を含むことができる）を外部のメモリ５に格納することができる。メモリ５には、ＤＤＲ（ダブルデータレート）メモリを使用できる。

エンコーダ７には、ＪＰＥＧ ２０００標準をサポートするハードウェア・エンコーダを使用できる。図４に示すように、エンコーダ７は、第一インターフェース回路７１、変換回路７２、量子化回路７３、第一符号化回路７４、符号レート制御回路７５、第二符号化回路７６および符号ストリーム書き込み回路７７を含むことができる。

第一インターフェース回路７１は、外部のメモリ５からあらかじめ生成された符号化される画像の統計情報を読み込むために利用できる。第一インターフェース回路７１は、符号化される画像の画像ブロックの読み取りにも使用できる（この画像ブロック（ｔｉｌｅ）は符号化される画像のいずれかの画像ブロックにすることができる）。第一インターフェース回路７１は、特定のアドレッシングモードでメモリ５に格納されている符号化される画像の画像ブロックを直接読み取ることができ、符号化される画像を分割する必要がない。たとえば、符号化される画像をメモリ５に行順に格納することが可能であり、第一インターフェース回路７１は符号化される画像をメモリ５に格納する位置に基づいて、各画像ブロックの格納位置を算出し、ジャンパ方式で該当する画像ブロックを読み込むことができる。あるいは、符号化される画像はメモリ５に画像ブロックごとに格納でき、第一インターフェース回路７１は画像ブロックの格納順に画像ブロックを読み込めばよい。第一インターフェース回路７１は、メモリ５から直接メモリアクセス（ＤＭＡ）方式で画像ブロックを読み込むことができる。

第一インターフェース回路７１は、符号化される画像の統計情報を符号レート制御情報として符号レート制御回路７５に転送することができ、符号レート制御回路７５は符号化過程に対して符号レートの制御を行う。オプションで、一部の実装例では、最初のインターフェース回路７１を使用して画像ブロックの直流レベル移動を行うこともできる。これは、前述の直流レベル移動モジュール１２４の機能である。変換回路７２は、前節の変換モジュール１４で行った操作、すなわち画像ブロックのウェーブレット変換を行うために利用できる。画像ブロックはウェーブレット変換後に多くのサブバンドを得ることができる。ウェーブレット変換により、画像ブロックのウェーブレット係数が得られるのは、これらのサブバンド（ｓｕｂ－ｂａｎｄ）のウェーブレット係数である。

量子化回路７３は、ウェーブレット係数を量子化し、量子化した小数係数または量子化したサブバンドのウェーブレット係数を得るために利用できる。

注目すべき点は、エンコーダ７の複雑さを軽減するために、変換、量子化などの操作の一部またはすべてを図２に示す信号処理装置６に任せて実行できることである。本出願実施例では、信号処理装置６のタイプを具体的に規定していないが、たとえばデジタル信号処理装置（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）であっても、グラフィックス処理装置（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ ＧＰＵ）であってもよい。一例として、変換操作の一部を信号処理装置６に任せて実行することができ、エンコーダ７における量子化回路７３は、変換回路７２の出力の変換係数（ウェーブレット係数）と信号処理装置６の出力の変換係数（ウェーブレット係数）の両方を受け取ることができ、エンコーダ７の構造を簡略化するだけでなく、符号化過程の並列度を向上させることができる。もう１つの例として、信号処理装置６ではすべての変換操作を実行でき、エンコーダ７では量子化操作を実行すればよい。もう１つの例として、信号処理装置６がすべての変換と量子化操作を担当することも可能であり、エンコーダ７は量子化後の結果をそのまま利用して符号化すればよい。信号処理装置６の演算参加の実施例では、信号処理装置６は特定のアドレッシングモードを用いてメモリ５に格納されている符号化される画像の画像ブロックを直接読み出すことができ、符号化される画像を分割する必要がない。たとえば、符号化される画像はメモリ５に行順に格納され、信号処理装置６は符号化される画像のメモリ５にある位置に基づいて、各画像ブロックのメモリ位置を算出し、ジャンパ方式で該当する画像ブロックを読み込むことができる。あるいは、符号化される画像はメモリ５に画像ブロックごとに格納でき、信号処理装置６は画像ブロックの格納順に画像ブロックを読み込めばよい。信号処理装置６はＤＭＡ方式でメモリ５から画像ブロックを読み込むことができる。

信号処理装置６が画像ブロックの符号化に関与する場合、信号処理装置６とエンコーダ７はスライス上のシステム（ＳＯＣ）全体の符号化サブシステムとみなすことができる（符号化サブシステムは図２の右側の仮想枠で表される）。

第一符号化回路７４は、画像ブロックのブロックをｔｉｅｒ-１符号化し、画像ブロックの符号ストリームを得るために利用できる。前述の記述を参照すると、変換と量子化によって得られるのはサブバンドのウェーブレット係数であり、サブバンドは独立に符号化可能な１つ以上のブロックに分割されるため、画像ブロックのブロックとは画像ブロックのサブバンドのブロックである。

第一符号化回路７４では、符号化ブロックのビットプレーン符号化や算術符号化など、図１のｔｉｅｒ－１符号化モジュール１８２で実行される処理を実行できる。オプションで、第一符号化回路７４で符号化ブロックを符号化する前に、たとえばウェーブレット係数の符号ビットと絶対値を分離する前に符号化ブロックを前処理することもできる。また、一部の実装例では、第一符号化回路７４で符号化ブロックを符号ストリームに符号化した後、符号化ブロックを後処理することもできる。たとえば、符号ストリームを連結して第二符号化回路７６で使用することができる。

符号レート制御回路７５を使用すると、符号化される画像の統計に基づいて、符号化される画像内の画像ブロックの目標符号レート（ｔａｒｇｅｔ ｓｉｚｅ）を決定できる。

例えば、符号化される画像の統計情報を、符号化される画像中の画像ブロックの複雑さとすると、符号レート制御回路７５は、各画像ブロックの複雑さに応じて、各画像ブロックに重みを割り当てることができる。画像ブロックの複雑度が高いほど重みが大きくなる。符号レート制御回路７５は、各画像ブロックの重みと現在のネットワーク状況（ネットワーク帯域幅など）に基づいて画像ブロックの目標符号レートを計算し、画像ブロックの重みが大きいほど目標符号レートが高くなるようにする。オプションで、前処理回路４から出力される符号化されていない画像の統計情報には、各画像ブロックの重みを含めることができ、符号レート制御回路７５は、画像ブロックの重みを直接利用して目標符号レートを計算すればよい。

第二符号化回路７６は、前述のｔｉｅｒ－２符号化モジュール１８４の機能を実装するために使用できる。たとえば、第二符号化回路７６を使用して、目標符号レートに基づいて画像ブロックの符号ストリームをｔｉｅｒ－２符号化し、画像ブロックの符号ストリームを切り捨てることができる。

第二符号化回路７６には、レート歪み勾配計算回路７６２（またはｓｌｏｐｅ ｍａｋｅｒ）と遮断回路７６４（またはｔｒｕｎｃａｔｏｒ）を含めることができる。

レート歪み勾配計算回路７６２は、第一符号化回路７４から出力される符号ストリームのレート歪み勾配を計算するために利用できる。たとえば、レート歪み勾配計算回路７６２では、第一符号化回路７４で出力された符号ストリーム（つまり、ブロックあたりの符号ストリーム（ｐａｓｓ））ごとに、符号レート（ｒａｔｅ）と歪み度（ｄｉｓｔｏｒｔｉｏｎ）に基づいて歪み勾配（ｓｌｏｐｅ）を計算できる。歪みレートは、現在のブロックの符号ストリームが画像ブロック全体でどの程度貢献しているかを評価するために使用できる。このレート歪み勾配は、符号ストリームの階層化、切断など、後続の符号ストリームの構成に使用できる。

遮断回路７６４は、目標符号レートおよびレート歪み勾配に基づいて画像ブロックの符号ストリームを処理するために利用できる。例えば、遮断回路７６４を使用して、目標符号レートおよびレート歪み勾配に基づいて画像ブロックの符号ストリームを遮断できる。さらに、遮断回路７６４は符号ストリームの再構成、符号ストリームの階層化などにも利用できる。また、一部の実装例では、遮断回路７６４を使用して符号ストリームのｈｅａｄｅｒ情報を生成し、ｈｅａｄｅｒ情報を符号ストリームとともに下位レベルの符号ストリームに書き込み、回路７７に渡すこともできる。

符号ストリーム書き込み回路７７は、回路７６４の出力を遮断するように構成された符号ストリームを受信し、外部のメモリに符号ストリームを書き込むために利用できる。たとえば、バスを介して外部のストレージに書き込むことができる。バスには、たとえばＡＸＩ（Ａｄｖａｎｃｅｄ Ｅｘｔｅｎｓｉｂｌｅ Ｉｎｔｅｒｆａｃｅ）バスを使用できる。符号ストリーム書き込み回路７７は、符号ストリームに画像ブロックヘッダ（ｔｉｌｅ ｈｅａｄｅｒ）などの情報を追加することも可能である。

オプションで、一部の実装例では、符号レート制御回路７５を使用して、画像ブロックの統計に基づいて符号レート制御バッファの状態情報（バッファーサイズ、バッファーサイズ）を生成することもできる。第一符号化回路７４は、符号レート制御バッファの状態情報に基づいてｔｉｅｒ-１符号化を制御するためにも利用できる。バッファの状態情報は、第一符号化回路７４で符号ストリームを事前に遮断するために使用できる。たとえば、第一符号化回路７４では、バッファの状態情報に基づいて、スケジュールされたサイズを超える符号ストリームを削除したり、要件を満たさない符号ストリームを削除したりできる。したがって、バッファの状態情報は、プリトランケート情報とも呼ばれる。さらに、一部の実装例では、符号レート制御回路７５は、第一符号化回路７４で実際に符号化された符号ストリームのサイズに関するフィードバックを受け取り、解像度ごとに画像ブロックのプリトランケート情報を更新することもできる。

オプションで、一部の実装例では、エンコーダ７にソフトウェア構成用のインターフェース回路（不図示）を含めることができる。このインターフェース回路を使用すると、エンコーダ７内部のレジスタの情報を構成または変更して、エンコーダ７のエンコード方法を制御できる。

本出願実施例では、符号化される画像中の画像ブロックの統計情報を事前に計算しておく。また、この統計情報に基づいて画像ブロックの符号ストリームを遮断することで、個々の画像ブロックに対して相対的に独立した符号レート制御を行い、符号化される画像中のすべての符号化ブロックを全体的に最適化することなく、大量の中間データを生成することができるため、本申請実施例ではエンコーダのシステム帯域幅に対する要求を軽減することができる。符号化される画像全体の符号化処理は、スライス上で実行することもできる。

従来のＪＰＥＧ ２０００エンコーディングシステムは、１つのオンラインエンコーディングシステムと考えることができる。オンラインコーディングシステムは、符号化される画像（図２のセンサ３で収集した画像など）を直接エンコーダに入力し、エンコードが完了してからメモリ５に格納する。従来のＪＰＥＧ ２０００エンコーディングシステムとは異なり、本出願実施例で提供されているエンコーディングシステムは符号化される画像に対して前処理を行い、符号化される画像の統計情報（符号レート制御に利用可能）を取得し、前処理後の符号化されていない画像をメモリ５に格納する。次に、エンコーダ７は、符号化される画像の各画像ブロックを画像ブロック単位で読み取り、相対的に独立して処理できる。符号化される画像はエンコードされる前にメモリ５に格納されているため、エンコードの後続のエンコード操作はリアルタイムにオンラインでは行われないため、本出願実施例で提供されるエンコードシステムは一種のオフライン・エンコード・システムと呼ぶことができる。

オプションで、一部の実装例では、変換回路７２の内部または出力側に、変換回路７２の出力の中間結果をキャッシュするためのキャッシュ（スライス上のキャッシュ）を設定できる。

オプションで、一部の実装例では、遮断回路７６４の内部または出力側に、遮断回路７６４出力の中間結果をキャッシュするキャッシュ（スライス上のキャッシュ）を設定できる。

本出願実施例における画像ブロックは相対的に独立して符号化できるため、大量の中間データを生成することはなく、上記のキャッシュはキャッシュスライス上に生成された中間結果の一部に使用することができる。

エンコーダ７のエンコード効率を向上させるために、一部の実装例では、エンコーダ７の隣接する２つのレベルの回路の速度マッチングを行うことができる。たとえば、隣接する２つのレベルの回路のうち、処理速度の遅い回路をマルチプレクシング構造に設定できる。その後、一定のメカニズムを使用して２つのレベルの回路間のデータ転送を制御し、２つのレベルの回路を十分に流れさせることができる。

１つの例として、量子化回路７３と第一符号化回路７４の速度を一致させることができる。具体的には、図４に示すように、第一符号化回路７４には複数の符号化ユニット７４２を含めることができる。この複数の符号化ユニット７４２は、量子化回路７３から出力される各ブロックをｔｉｅｒ-１で並列に符号化するために利用可能であり、第一符号化回路７４は、多重並列構造を用いてｔｉｅｒ-１で符号化することが可能である。

量子化回路７３と複数の符号化ユニット７４２との間で、量子化回路７３の出力の中間結果に対応する符号化ユニット７４２をブロックアービトレーションまたはフリーアービトレーションを使用して決定できる。ブロックアービトレーションとは、量子化回路７３から出力される周波数成分のあるブロックを、常に固定された符号化ユニットのセットに割り当てること（各符号化ユニットは複数の符号化ユニットから構成される場合がある）を指す。一方、フリーアービトレーションとは、量子化回路７３から出力される個々の符号化ブロックが、マルチプレクシング並列符号化ユニットで一貫して受信される可能性があることを指す。ブロックアービトレーション方式の利点は、ハードウェア実現時の回路接続が容易であるのに対し、フリーアービトレーション方式の利点は、場合によっては符号化ユニットの利用効率が向上することである。

もう１つの例として、第一符号化回路７４とレート歪み勾配計算回路７６２のレートをマッチングすることが考えられる。たとえば、レート歪み勾配計算回路７６２には、複数のレート歪み勾配計算モジュールを含めることができる。この複数のレート歪み勾配計算モジュールは、第一符号化回路７４から出力される符号ストリームのレート歪み勾配を並列に計算するために利用できる。第一符号化回路７４とレート歪み勾配計算回路７６２の間では、ブロックアービトレーションまたはフリーアービトレーションを使用して、第一符号化回路７４の出力の中間結果に対応するレート歪み計算モジュールを決定することもできる。ブロックアービトレーションの例では、１つのレート歪み計算モジュールが第一符号化回路７４における１つの符号化ユニットに対応できる。１つのレート歪み計算モジュールが１つの符号化ユニットに対応することで、回路全体の設計を容易にすることができる。

図５に示す５１２×５１２の大きさの画像ブロックを例にとると、変換回路７２は通常、この画像ブロックを６４ｘ６４のブロックに分割して変換し、変換ごとに４つの３２ｘ３２の中間結果、すなわち４つのブロックを生成する。このうち最後の変換であれば４つのブロックが同時に出力され、それ以外の場合は３つのブロック（すなわち周波数成分がＨＬ、ＬＨ、ＨＨに対応するブロック）が出力される。

変換回路７２が出力する３つまたは４つのブロックは量子化回路７３を経て多重並列の第一符号化回路７４に接続されている場合、ブロックごとに対応する符号化ユニット７４２をブロックアービトレーション方式で決定することができる。

第一符号化回路７４には３つの符号化ユニットｇｒｏｕｐ０、ｇｒｏｕｐ１、ｇｒｏｕｐ２が含まれていると仮定する。ｇｒｏｕｐ０には、符号化ユニットｕ０－ｕ３が含まれる。ｇｒｏｕｐ１には符号化ユニットｕ４－ｕ７を含まれる。ｇｒｏｕｐ２には、符号化ユニットｕ８－ｕ１１が含まれる。各画像ブロックには、４つのコンポーネント（Ｒ、Ｇｒ、Ｇｂ、Ｂなど）を含めることができる。これらの各コンポーネントの符号化ブロックと上記３つのコード単位のマッピングは、次の表に示すマッピング方法を使用できる。

上の表では、ｔ５時刻においてｇｒｏｕｐ０中の符号化ユニットｕ２とｕ３がアイドル状態になっているが、その場合には、ｔ６時刻に符号化しようとする符号化ユニットｕ２とｕ３にｔ６時刻前に送ることができる。ｔ５時点でｇｒｏｕｐ１の符号化ユニットｕ５-ｕ７がアイドル状態になっている場合、ｔ６時点で符号化するブロックをｇｒｏｕｐ１の符号化ユニットｕ５-ｕ７に繰り上げて送ることができる。ｔ５時点でｇｒｏｕｐ２の符号化ユニットｕ９-ｕ１１がアイドル状態になっている場合、ｔ６時点で符号化するブロックをｇｒｏｕｐ２の符号化ユニットｕ９-ｕ１１に繰り上げて送ることができる。これにより、成分０、２と成分１、３の間のブロックをピンポン式に効率良く符号化することができる。

また、レート歪み勾配計算回路７６２に３つのレート歪み計算モジュールを設置することができ、１２個の符号化ユニットと３個のレート歪み計算モジュールの間にグループアービトレーション機構を用いることができる。ｕ０-ｕ３は１番目のレート歪み計算モジュールと相互接続可能であり、ｕ４-ｕ７は２番目のレート歪み計算モジュールと相互接続可能であり、ｕ８-ｕ１１は３番目のレート歪み計算モジュールと相互接続可能である。

前文では、図４とあわせて、本申請の実施例で提供されたエンコーダ７の構成例を示した。以下、図６とあわせて、本申請実施例が提供するデコーダ８の構成例を示す。

図６に示すように、デコーダ８には、符号ストリーム読み取り回路８１、符号ストリーム解析回路８２、復号回路８３、逆量子化回路８４、逆変換回路８５、及び出力回路８６のうち１つまたは複数の回路を含めることができる。

符号ストリーム読み取り回路８１は、デコードする符号ストリームの読み取りに使用できる。この符号ストリーム読み取り回路８１は、たとえばＡＸＩ（Ａｄｖａｎｃｅｄ ｅＸｔｅｎｓｉｂｌｅ Ｉｎｔｅｒｆａｃｅ）を使用して、メモリなどの外部ストレージからこのデコードされた符号ストリームを読み取ることができる。

符号ストリーム解析回路８２は符号ストリームヘッダ解析回路（ｈｅａｄｅｒ ｐａｒｓｅｒ）とも呼ばれる。符号ストリーム解析回路８２は、符号ストリーム中の様々なタイプのヘッダ情報を解析し、そこからデコードに関連するパラメータと符号ストリームデータを分離して後段の復号回路８３で使用することができる。

復号回路８３には、デコードユニットを含めることも、並行した多重デコードユニットを含めることもできる（具体的な数は、８ウェイのデコードユニットを並行して構成できるなど、必要に応じて設定できる）。復号回路８３の各デコードユニットは、１つのブロックを独立してデコードすることができる。

オプションで、一部の実装例では、回路８３をデコードする前にプリプロセッサ回路を設定することもできる。前処理回路は、符号ストリーム解析回路８２で出力されるデコードパラメータ、符号ストリームデータなどを並列なマルチプレクシングユニットに割り当てるために利用できる。

オプションで、一部の実装例では、回路８３をデコードした後で後処理回路を設定することもできる。後処理回路は、復号回路８３から出力される復号データを再構成し、編成されたデータを後処理回路に出力するために利用できる。

逆量子化回路８４は、復号回路８３がデコードしたデータを逆量子化するために利用できる。逆変換回路８５は、逆量子化回路８４から出力されるデータの逆変換に利用できる。逆変換の方式としては離散ウェーブレット逆変換が考えられる。

出力回路８６は、逆変換回路８５で出力されたデータを外部のメモリに書き込むために利用できる。たとえば、逆変換回路８５で出力されたデータを、ＡＸＩを介して外部のメモリに書き込むことができる。

オプションで、一部の実装例では、デコーダ８にソフトウェア構成インターフェースを含めることもできる。このソフトウェア構成インターフェースにより、デコーダ８内部のレジスタの情報を配置または変更し、デコーダ８のデコード方式を制御することができる。

本出願実施例で提供されているデコーダ８は画像ブロック（ｔｉｌｅ）単位でデコードすることができる。デコーダ８は外部のメモリから符号ストリームを読み込んだ後、全体のデコードをスライス上で行うことが可能であり（本申請実施例では画像ブロック単位でデコードしているため、中間データはあまり大きくなく、スライスキャッシュによる一時蓄積が可能である）、外部メモリとのインタラクションを行わず、システム帯域幅を節約している。また、デコーダ８の各レベルの回路はパイプライン方式で動作し、デコード効率を向上させることができる。

本申請実施例では、エンコーディング方法も提供している。このエンコーディング方法は、前述のエンコーダ７またはエンコーディングシステムで実行できる。図７に示すように、このエンコーディング方法には手順Ｓ７２-Ｓ７８が含まれる。

手順Ｓ７２では、あらかじめ生成された符号化される画像の統計情報を外部のメモリから読み込む。

手順Ｓ７４では、符号化される画像の統計情報に基づいて、符号化される画像中の画像ブロックの目標符号レートを決定する。

手順Ｓ７６では、画像ブロックのブロックをｔｉｅｒ-１符号化し、画像ブロックの符号ストリームを得る。

手順Ｓ７８では、画像ブロックの符号ストリームを目標符号レートに基づいてｔｉｅｒ－２符号化し、画像ブロックの符号ストリームを切り捨てる。

オプションで、図７の方法には、画像ブロックの統計情報に基づいて、符号レート制御バッファの状態情報を生成する方法も含まれる。ｔｉｅｒ-１符号化は、符号レート制御バッファの状態情報に基づいて制御される。

オプションで、図７の方法には、メモリから画像ブロックを読み込む方法もある。オプションで、図７の方法には、画像ブロックの直流レベル移動を含めることもできる。オプションで、図７の方法には、画像ブロックのウェーブレット係数を定量化する方法も含まれる。

前記複数の符号化ユニットには複数の符号化ユニットのセットが含まれ、その中の異なる符号化ユニットのセットが、前記画像ブロックの異なる周波数成分の符号化ブロックに対してｔｉｅｒ-１符号化を行うために使用される。オプションで、手順Ｓ７６には、複数の符号化ユニットを使用して、画像ブロックの符号化ブロックをｔｉｅｒ－１で並行して符号化する。オプションで、複数の符号化ユニットには、複数の符号化ユニットのセットが含まれ、その中の異なる符号化ユニットのセットが、画像ブロックの異なる周波数成分の符号化ブロックをｔｉｅｒ-１で符号化するために使用される。オプションで、図７の方法には、画像ブロックのウェーブレット変換を含めることもできる。

オプションで、手順Ｓ７８には、ｔｉｅｒ－１符号化後の符号ストリームの歪みレート傾斜を計算する機能が含まれる。画像ブロックの符号ストリームは、目標符号レートおよびレート歪み勾配に基づいて切り捨てられる。オプションで、ｔｉｅｒ-１符号化された符号ストリームのレート歪勾配を計算するには、複数のレート歪勾配計算モジュールを使用して、ｔｉｅｒ-１符号化された符号ストリームのレート歪勾配を並列に計算する。

オプションとして、符号化される画像の少なくとも一部の変換係数または量子化係数は外部の信号処理装置に基づいて生成され、図７の方法として受信信号処理装置が生成する変換係数または量子化係数を含めることができる。オプションで、符号化される画像の統計には、符号化される画像内の画像ブロックの複雑さが含まれる。

オプションで、あらかじめ生成された符号化される画像の統計情報を外部のメモリから読み込む前に、図７の方法は符号化されていない画像の統計情報を計算することも可能である。オプションで、符号化される画像の統計情報をメモリに格納し、符号化される画像の統計情報をメモリに格納する前に、符号化される画像の分量変換を行うこともできる。

上記の実装例では、ソフトウェア、ハードウェア、ファームウェア、またはその他の任意の組み合わせを使用して、全体または一部を実装できる。ソフトウェアを使用して実装する場合は、コンピュータプログラム製品の全体または一部を使用して実装することができる。記載されているコンピュータプログラム製品には、１つ以上のコンピュータ命令が含まれている。前記コンピュータプログラム指令をコンピュータ上でロードし、実行する際には、本発明の実施例に記載された流れ又は機能の全部又は一部が発生する。当該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、その他のプログラム可能な装置であってもよい。記載されているコンピュータ命令は、コンピュータの読み取り可能なストレージメディアに保存することができる。または、コンピュータの読み取り可能なストレージメディアを別のコンピュータの読み取り可能なストレージメディアに転送する。例えば、コンピュータ命令は、あるＷｅｂサイト、コンピュータ、サーバ、またはデータセンターから、別のＷｅｂサイト、コンピュータ、サーバ、またはデータセンターに、有線（同軸ケーブル、光ファイバー、ＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ）など）またはワイヤレス（赤外、ワイヤレス、マイクロ波など）で送信できる。このコンピュータの読み取り可能なストレージメディアは、コンピュータがアクセスできる任意のメディア、または１つ以上のメディアが統合されたサーバ、データセンターなどのデータストレージデバイスにすることができる。使用可能なメディアには、磁気メディア（フロッピーディスク、ハードディスク、テープなど）、光学メディア（デジタルビデオディスク（ＨＤＤ）など）、半導体メディア（ソリッドステートディスク（ＳＳＤ）など）などがある。

本分野の一般技術者は、本稿で公開した実施例に記述されている各例を組み合わせたユニットおよびアルゴリズムの手順が、電子ハードウェア、あるいは計算機ソフトウェアと電子ハードウェアの組合せによって実現可能であることを認識している。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術的な用途と設計上の制約によって異なる。専門技術者は、それぞれの特定のアプリケーションについて、記載されている機能を実現するために異なる方法を使用することができる。ただし、そのような実装は、本出願の範囲外とはみなされない。

本出願で提供されるいくつかの実施例において、明らかにされたシステム、装置及び方法は、他の方法で実現できることを理解すべきである。たとえば、上記の応用実装例は単なる概略的なものである。たとえば、ユニットの分割は、１つの論理機能に分割されており、複数のユニットやコンポーネントを別のシステムに結合したり、統合したりできる。また、いくつかの機能を無視したり、実行したりしないようにしたりすることもできる。また、表示または検討されている相互結合、直接結合、または通信接続は、電気的、機械的、またはその他の形式のインターフェース、装置またはユニットを介した間接結合または通信接続のいずれかである。

分離された部品として説明されているユニットは、物理的に分離されている場合もあれば、物理的に分離されていない場合もあり、ユニットとして表示されているユニットは物理的なユニットではなく、１つの場所にある場合もあれば、複数のネットワークユニットに分散されている場合もある。本実施例案の目的は、実際の必要に応じてその一部またはすべてのユニットを選択して達成することである。

また、本出願の各実施例における各機能ユニットは、１つの処理ユニットに統合することも、各ユニットが単独で物理的に存在することも、２つ以上のユニットを１つのユニットに統合することも可能である。

以上に述べたのは、本出願の具体的な実施方式に過ぎないが、本出願の保護範囲はこれに限定されておらず、本技術分野に熟知している技術者は、本出願で明らかになった技術範囲内において、容易に変化又は代替を思いつくことができ、本出願の保護範囲に含まれるものとする。したがって、本出願の保護範囲は前記請求項の保護範囲に準じなければならない。

２ エンコーディングシステム
４ 前処理回路
５ メモリ
６ 信号処理装置
７ エンコーダ
８ デコーダ
１２ 前処理モジュール
１４ 変換モジュール
１６ 量子化モジュール
１８ モジュール
４２ 計算回路
４４ コンポーネント変換回路
７１ 第一インターフェース回路
７２ 変換回路
７３ 量子化回路
７４ 第一符号化回路
７５ 符号レート制御回路
７６ 第二符号化回路
８１ 符号ストリーム読み取り回路
８２ 符号ストリーム解析回路
８３ 復号回路
８４ 逆量子化回路
８５ 逆変換回路
８６ 出力回路
１２２ コンポーネント変換モジュール
１２４ 直流レベル移動モジュール
１８２ 符号化モジュール
１８４ 符号化モジュール
１８６ 符号レート制御モジュール
７４２ 符号化ユニット
７６２ 勾配計算回路
７６４ 遮断回路

Claims (27)

1. あらかじめ生成されて格納されている画像の統計情報を外部のメモリから読み込むための第一インターフェース回路と、
   前記外部のメモリから読み込まれた画像の統計情報に基づいて、前記画像中の画像ブロックの目標符号レートを確定し、かつ、前記外部のメモリから読み込まれた画像の統計情報に基づいて、符号レート制御バッファの状態情報を生成するために使用する符号レート制御回路と、
   前記符号レート制御バッファの状態情報に基づいて、前記画像ブロックの符号化ブロックを符号化し、前記画像ブロックの符号ストリームを得るための第一符号化回路と、
   前記目標符号レートに基づいて、前記画像ブロックの符号ストリームを符号化し、前記画像ブロックの符号ストリームを切り捨てるために使用される第二符号化回路と、
   を具備し、
   前記符号レート制御回路は、前記外部のメモリから読み込まれた画像の統計情報に基づいて、符号レート制御バッファの状態情報を生成して、前記符号レート制御バッファの状態情報を前記第一符号化回路に出力し、かつ、前記外部のメモリから読み込まれた画像の統計情報に基づいて、前記画像中の画像ブロックの目標符号レートを確定して、前記目標符号レートを前記第二符号化回路に出力し、
   前記第一符号化回路は、得られた前記画像ブロックの符号ストリームを前記第二符号化回路に出力し、
   前記第二符号化回路は、
   前記第一符号化回路が出力する符号ストリームのレート歪み勾配を計算するために使用するレート歪み勾配計算回路と、
   前記画像ブロックの符号ストリームを、前記目標符号レートおよび前記レート歪み勾配に基づいて切り捨てる切り捨て回路と、を具備するエンコーダ。
2. 前記第一インターフェース回路は、前記メモリから前記画像ブロックを読み込むためにも使用される
   請求項１に記載のエンコーダ。
3. 前記第一インターフェース回路は、前記画像ブロックの直流レベル移動にも用いられる
   請求項１又は２に記載のエンコーダ。
4. 前記画像ブロックのウェーブレット係数を量子化する量子化回路
   を具備することを特徴とする請求項１から３のいずれか一項に記載のエンコーダ。
5. 前記第一符号化回路は、前記画像ブロックの符号化ブロックを並行して符号化するための複数の符号化ユニット
   を具備し、
   前記量子化回路の速度と前記第一符号化回路の速度とが一致することを特徴とする請求項４に記載のエンコーダ。
6. 前記複数の符号化ユニットには、複数の符号化ユニットのセットが含まれ、その中の異なる符号化ユニットのセットが、前記画像ブロックの異なる周波数成分の符号化ブロックに対して符号化を行うために使用される
   請求項５に記載のエンコーダ。
7. 画像ブロックをウェーブレット変換するために使用される変換回路
   を具備する請求項１から３のいずれか一項に記載のエンコーダ。
8. 前記変換回路の出力の中間結果をキャッシュする第一キャッシュ
   を具備する請求項７に記載のエンコーダ。
9. 前記レート歪み勾配計算回路は、
   前記第一符号化回路から出力される符号ストリームのレート歪み勾配を並列に計算するための複数のレート歪み勾配計算モジュール
   を具備する請求項１に記載のエンコーダ。
10. 前記複数のレート歪み勾配計算モジュールは、前記第一符号化回路における複数の符号化ユニットと１対１に対応し、そのうち１つの前記レート歪み勾配計算モジュールは、前記符号化ユニットの出力する符号ストリームのレート歪み勾配を計算するために使用される
    請求項９に記載のエンコーダ。
11. 前記切り捨て回路の出力の中間結果をキャッシュする第二キャッシュ
    を具備する請求項１から１０のいずれか一項に記載のエンコーダ。
12. 符号化される前記画像の少なくとも一部の変換係数又は量子化係数は外部の信号処理装置に基づいて生成され、
    前記信号処理装置によって生成された変換係数または量子化係数を受信する第二インターフェース回路
    を具備する請求項１から１１のいずれか一項に記載のエンコーダ。
13. 符号化される前記画像の統計情報には、前記画像中の画像ブロックの複雑さが含まれる
    請求項１から１２のいずれか一項に記載のエンコーダ。
14. 符号化されていない画像の統計を計算するための前処理回路と、
    符号化される前記画像と前記前処理回路によって計算された統計情報を格納するためのメモリと、
    前記メモリから前記符号化される前記画像と前記統計情報を読み取るために使用される、請求項１から１３のいずれか一項に記載のエンコーダと、
    を具備するエンコーディングシステム。
15. 前記前処理回路には、符号化される前記画像の分量変換を行う分量変換回路も含まれており、前記メモリに格納される符号化される前記画像は、前記分量変換回路による変換後の画像であることを特徴とする
    請求項１４に記載のエンコーディングシステム。
16. あらかじめ生成されて格納されている画像の統計情報を外部のメモリから読み込む行程と、
    前記外部のメモリから読み込まれた画像の統計情報に基づいて、前記画像内の画像ブロックの目標符号レートを確定し、かつ、前記外部のメモリから読み込まれた画像の統計情報に基づいて、符号レート制御バッファの状態情報を生成する行程と、
    前記符号レート制御バッファの状態情報に基づいて、前記画像ブロックの符号化ブロックを符号化し、前記画像ブロックの符号ストリームを得る行程と、
    前記目標符号レートに基づいて、前記画像ブロックの符号ストリームを符号化し、前記画像ブロックの符号ストリームを切り捨てる行程と
    を有し、
    前記目標符号レートに基づいて、前記画像ブロックの符号ストリームを符号化し、前記画像ブロックの符号ストリームを切り捨てる行程は、
    前記符号レート制御バッファの状態情報に基づいて、前記画像ブロックの符号化ブロックを符号化し、前記画像ブロックの符号ストリームを得る行程で得られた符号ストリームのレート歪み勾配を計算する行程と、
    前記画像ブロックの符号ストリームを、前記目標符号レートおよび前記レート歪み勾配に基づいて切り捨てる行程と
    を含む請求項１から１５のいずれか一項に記載のエンコーディングシステムを用いたエンコーディング方法。
17. 前記メモリから、前記画像ブロックを読み込む行程
    を有する請求項１６に記載のエンコーディング方法。
18. 前記画像ブロックを直流レベルで移動する行程
    を有する請求項１６又は１７に記載のエンコーディング方法。
19. 前記画像ブロックのウェーブレット係数を量子化する行程
    を有する請求項１６から１８のいずれか一項に記載のエンコーディング方法。
20. 前記画像ブロックのブロックを、複数の符号化ユニットを用いて並行して符号化する行程
    を有する請求項１９に記載のエンコーディング方法。
21. 前記複数の符号化ユニットには複数の符号化ユニットのセットが含まれ、その中の異なる符号化ユニットのセットが、前記画像ブロックの異なる周波数成分の符号化ブロックに対して符号化を行うために使用される
    請求項２０に記載のエンコーディング方法。
22. 前記画像ブロックをウェーブレット変換する行程
    を有する請求項１６から２１のいずれか一項に記載のエンコーディング方法。
23. 前記符号レート制御バッファの状態情報に基づいて、前記画像ブロックの符号化ブロックを符号化し、前記画像ブロックの符号ストリームを得る行程で得られた符号ストリームのレート歪み勾配を計算する行程は、
    複数のレート歪み勾配計算モジュールを用いて、前記符号ストリームのレート歪み勾配を並行して計算する行程
    を含む請求項１６に記載のエンコーディング方法。
24. 前記メモリに格納された符号化される前記画像の少なくとも一部の変換係数又は量子化係数は、外部の信号処理装置に基づいて生成されるものであり、
    前記信号処理装置によって生成された変換係数または量子化係数を受け取る行程
    を含む請求項１６から２３のいずれか一項に記載のエンコーディング方法。
25. 符号化される前記画像の統計情報には、前記画像中の画像ブロックの複雑さが含まれる
    請求項１６から２４のいずれか一項に記載のエンコーディング方法。
26. 前記外部のメモリから予め生成された符号化される前記画像の統計情報を読み取る前に、符号化される前記画像の統計情報を計算するとともに、符号化される前記画像の統計情報を前記メモリに格納する行程
    を有する請求項１６から２５のいずれか一項に記載のエンコーディング方法。
27. 符号化される前記画像の統計情報を前記メモリに保存する前に、前記符号化される前記画像に対して、分量変換を行う行程
    を有する請求項１６から２６のいずれか一項に記載のエンコーディング方法。

Images