JP5871906B2 - 復号方法、プログラムおよび復号装置 - Google Patents

Description

本発明は、ピクチャ符号化方法、ならびに、これらの方法をソフトウェアで実行するために用いられる装置およびプログラムに関し、特に、イントラ予測中にフィルタリングを適用することに関する。

空間的予測は多くの用途に使用されている。具体的には、空間的予測は多くの画像・映像符号化および処理において不可欠である。ハイブリッド画像または映像符号化アルゴリズムにおいて、空間的予測は通常、既に符号化／復号されたブロックの画素に基づいて画像ブロックを予測するために使用される。空間的予測は、復号された画像または映像信号の後処理の一部として、特に誤り補正のために用いられる場合もある。

標準化された映像符号化アルゴリズムの大多数はハイブリッド映像符号化に基づくものである。通常、ハイブリッド映像符号化方法は、所望の圧縮ゲインを達成するために、いくつかの異なる可逆圧縮方式と不可逆圧縮方式とを組み合わせたものである。ハイブリッド映像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ‐１、ＭＰＥＧ‐２、ＭＰＥＧ‐４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ‐Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。現時点で最新かつ最も進んだ映像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ‐４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と称される標準規格であり、これは、ＩＴＵ‐ＴとＩＳＯ／ＩＥＣ ＭＰＥＧグループとの共同チームであるＪＶＴ（ｊｏｉｎｔ ｖｉｄｅｏ ｔｅａｍ）による標準化努力の結果である。現在、新しい映像符号化標準規格が、特に高解像度の映像符号化の効率改善を目的として、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）により、ＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）という名称で開発中である。

エンコーダへ入力される映像信号は、フレームと呼ばれる画像のシーケンスであり、各フレームは２次元マトリクス状の複数の画素である。ハイブリッド映像符号化に基づく上述の標準規格は全て、個々の映像フレームをそれぞれ、複数の画素からなるより小さなブロックに再分割することを含む。典型的に、マクロブロック（通常１６×１６画素のブロック）は、符号化実行の基本となる画像要素である。しかし、例えばサイズが８×８、４×４、１６×８等の、サブブロックまたは単にブロックと称される、より小さな画像要素に対して様々な特定の符号化ステップが実行されてもよい。例えばＨＥＶＣにおいて、そのようなブロックにおいて想定される最大サイズは６４×６４画素である。そしてそれは最大符号化単位（ＬＣＵ）と称される。ＨＥＶＣでは、ＬＣＵをより小さなブロックに再分割することができる。そのようなブロックは符号化単位（ＣＵ）と称される。ＣＵは、符号化実行の基本となる画像要素である。

図１は、Ｈ．２６４／ＭＰＥＧ‐４ ＡＶＣ標準規格に準拠した、典型的な映像エンコーダ１００の一例である。減算器１０５がまず、入力映像（入力信号）の符号化対象ブロックと、対応する予測ブロックとの差分を求める。その差分は、符号化対象ブロックの予測に用いられる。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおける予測信号は、時間的予測または空間的予測の何れかによって得られる。予測のタイプは、フレーム毎、スライス毎、またはマクロブロック毎に異なる可能性がある。

時間的予測で予測されたマクロブロックまたはＣＵは、インター符号化されたと称され、空間的予測で予測されたマクロブロックまたはＣＵは、イントラ符号化されたと称される。可能な限り高い圧縮ゲインを達成するために、映像フレームの予測タイプは、ユーザが設定することも、映像エンコーダに選択させることもできる。選択された予測タイプにしたがって、イントラ／インター切替器１７５が、対応する予測信号を減算器１０５に入力する。時間的予測を用いる予測信号は、メモリ１４０に格納された、符号化済み画像から導出される。空間的予測を用いる予測信号は、先行して符号化され、復号され、かつメモリ１４０に格納された同一フレームの近隣ブロックの境界画素値から導出される。メモリ部１４０は、よって、符号化対象信号値と、先行する信号値から生成された予測信号値との比較を可能にする遅延部として動作する。メモリ１４０は、複数の符号化済み映像フレームを格納できる。入力信号と予測信号との差分は、予測誤差信号または残差信号と呼ばれ、変換されて係数となり、量子化される（１１０）。データ量をさらに可逆的に削減するために、量子化係数にエントロピー符号化（１９０）を適用する。これは主に、可変長の符号語を有する符号を適用することによって達成される。この符号語の長さは、発生確率に基づいて選択される。

イントラ符号化画像（Ｉタイプ画像またはＩフレームとも呼ばれる）は、イントラ符号化されたマクロブロックまたはＣＵのみからなる。つまり、イントラ符号化された画像は、他の復号済み画像を参照することなく復号可能である。イントラ符号化画像は、時間的予測によって映像シーケンス内でフレームからフレームへ伝播する可能性があるエラーを取り除く（リフレッシュする）ので、符号化映像シーケンスに対しエラー耐性を与える。さらに、Ｉフレームは、符号化映像シーケンス内でランダムアクセスを可能にする。フレーム内予測は、予め定義されたイントラ予測モードのセットを用いる。イントラ予測モードには、符号化済み隣接ブロックの境界画素を用いて対象ブロックを予測するものがある。その他のイントラ予測モードは、例えば、テンプレートマッチングとして、同一フレームに属する符号化済み画素からなるサーチエリアを用いる。予め定義されたイントラ予測モードのセットは、いくつかの方向性空間的イントラ予測モードを含む。方向性空間的イントラ予測のモードが異なるとは、適用された２次元予測の方向が異なることを指す。これにより、エッジの方向が様々である場合に空間的イントラ予測を効率化できる。そのようなイントラ予測によって得られた予測信号は、その後、上述のように減算器１０５によって、入力信号から減算される。また、予測モードを示す空間的イントラ予測モード情報がエントロピーエンコーダ１９０（図１に図示せず）に入力され、エントロピー符号化され、符号化映像信号と共に出力される。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣイントラ符号化方式では、空間的冗長性を削減するために、サイズが４×４、８×８、または１６×１６画素のサブブロックに対して空間的予測を行う。イントラフレーム予測では、基本的に、符号化済み隣接ブロックの境界画素を用いて対象ブロックを予測する、予め定義されたイントラ予測モードのセットが用いられる。方向性空間予測のタイプが異なるということは、エッジの方向、つまり適用された２次元補間の方向が異なるということである。８つの異なる方向性予測モードがあり、サイズが４×４および８×８のサブブロックに対するＤＣ予測モードが１つと、１６×１６画素のマクロブロックに対して、異なる方向性予測モードが３つとＤＣ予測モードが１つある。ＨＥＶＣでは、サイズが４×４、８×８、１６×１６、または３２×３２のＣＵに対して空間的予測を実行でき、全てのＣＵサイズに対して３４の異なる方向性予測モードがある。

復号映像信号を得るために、映像エンコーダ１００に、復号部が組み入れられる。符号化ステップに合わせて、復号ステップは、逆量子化および逆変換（１２０）を含む。復号予測誤差信号は、量子化ノイズとも称される量子化誤差が原因で、元の予測誤差信号とは異なる。その後、復号予測誤差信号を予測信号に加える（１２５）ことで、再構築信号を得る。エンコーダ側とデコーダ側の互換性を維持するため、エンコーダ側とデコーダ側の両方で、符号化および復号済みの同じ映像信号に基づいて、予測信号が得られる。量子化の結果、再構築映像信号に量子化ノイズが重畳される。ブロック単位での符号化により、重畳されたノイズはしばしば、ブロッキング特性を有し、特に強い量子化がおこなわれた場合は、復号画像のブロック境界が目立つ結果になる。これらのアーチファクトを減らすために、デブロッキングフィルタ１３０を全ての再構築画像ブロックに適用する。

インター符号化画像を復号するには、先行して符号化および復号済みの（再構築された）画像が必要である。時間的予測は、単方向つまり符号化対象フレームより順序が先行する映像フレームのみを用いておこなってもよく、後続映像フレームも用いて、双方向におこなってもよい。単方向の時間的予測をおこなえば、Ｐフレームと称されるインター符号化画像が得られ、双方向の時間的予測をおこなえば、Ｂフレームと呼ばれるインター符号化画像が得られる。一般的に、インター符号化画像は、Ｐタイプ、Ｂタイプ、またはＩタイプのマクロブロックのいずれかで構成される。インター符号化マクロブロック（ＰまたはＢマクロブロック）またはインター符号化ＣＵは、動き補償予測１６０を使用することにより予測される。まず、動き検出器１６５により、先行して符号化され復号された映像フレーム内で対象ブロックに最適なブロックを見つける。当該最適ブロックはその後予測信号になり、対象ブロックとその最適ブロックの間の相対的なずれが、符号化映像データも含むビットストリームにおいて、３次元の動き（時間的動きが１つ、空間的動きが２つ）として、動きデータとして信号で伝えられる。予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの空間的小数画素解像度で動きベクトルを求めてもよい。これは補間フィルタ１５０によって実現されてもよい。

イントラ符号化モードおよびインター符号化モードの両方において、対象入力信号と予測信号との差分は、変換量子化部１１０によって変換および量子化され、量子化係数となる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数版のような直交変換が使用される。なぜなら、これにより自然映像の相関を効率的に削減できるからである。変換後に、高周波数よりも低周波数に多くのビットが費やされるように符号化が実行される。これは、低周波数成分は高周波成分よりも、通常、画質にとって重要であるためである。エントロピーコーダにおいて、２次元配列の量子化係数が１次元配列に変換される。典型的には、いわゆるジグザグ走査によって変換される。ジグザグ走査においては、２次元マトリクスの左上隅にあるＤＣ係数から右下隅にあるＡＣ係数まで予め定められた順序で走査される。通常、エネルギーは低周波に相当する２次元マトリクスの係数の左上部分に集中するため、ジグザク走査をおこなうと、最後にゼロ値が続く配列になる。これにより、実際のエントロピー符号化の一部として、またはその前処理として、ランレングス符号を用いた効率的な符号化をおこなうことが可能になる。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣは、量子化パラメータ（ＱＰ）およびカスタマイズ可能な量子化マトリクス（ＱＭ）によって制御可能なスカラ量子化１１０を採用している。量子化パラメータにより、５２の量子化器のうちの１つが各マクロブロックに対し選択される。加えて、量子化マトリクスは、画質の損失を避けるため、特に、ソース内で特定の周波数を保つように設計される。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおける量子化マトリクスは、映像シーケンスに適応可能であり、映像データと共に信号で伝えられる。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣは、ビデオ符号化層（ＶＣＬ）およびネットワーク抽象化層（ＮＡＬ）の２つの機能層を有する。ビデオ符号化層は、簡潔に上述したように、符号化の機能性を提供する。ネットワーク抽象化層は、チャネルを越える送信や記憶装置への格納といったさらなる用途に合わせて、情報要素を、ＮＡＬユニットと称される標準単位にカプセル化する。情報要素は、例えば、符号化予測誤差信号や、または、予測タイプ、量子化パラメータ、動きベクトル等といった映像信号の復号に必要な他の情報である。圧縮された映像データと関連情報を含むＶＣＬ ＮＡＬユニットがあり、映像シーケンス全体に関連するパラメータセットのような追加データをカプセル化しているｎｏｎ−ＶＣＬユニットもあり、また、復号精度の改善に用いられる追加情報を提供する補足的な付加情報（ＳＥＩ）もある。

画質向上を目的として、いわゆるポストフィルタ２８０をデコーダ側２００に適用してもよい。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格では、そのようなポストフィルタに対するポストフィルタ情報をＳＥＩメッセージを介して送信することが可能である。ポストフィルタ情報は、ローカルで復号された信号と元の入力信号とを比較するポストフィルタ設計部１８０によってエンコーダ側で決定される。概して、ポストフィルタ情報は、デコーダが適切なフィルタを設定できるようにする情報である。当該情報はフィルタ係数を直接的に含んでもよく、フィルタ設定を可能にする他の情報を含んでもよい。ポストフィルタ設計部１８０によって出力されるフィルタ情報はまた、符号化し符号化信号に挿入する目的で、エントロピー符号化部１９０に入力される。そのような適応的フィルタは、例えばＨＥＶＣ標準規格におけるように、第２のポストフィルタとして用いられてもよい。

図２は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ映像符号化規格に準拠した例示的なデコーダ２００を示す。符号化映像信号（デコーダへの入力信号）ビットストリームは、まず、エントロピーデコーダ２９０に送られる。エントロピーデコーダ２９０は、量子化係数、動きデータや予測モード等の復号に必要な他の情報要素、およびポストフィルタ情報を復号する。エントロピーデコーダ２９０において、復号対象ブロックに適用される空間的予測のタイプ／モードを示す空間的イントラ予測モード情報がビットストリームから抽出される。抽出された情報は、空間的予測部２７０（図２に図示せず）に入力される。量子化係数は、２次元マトリクスを得る目的で逆走査され、その後、逆量子化・逆変換部２２０に入力される。逆量子化および逆変換の後に、復号（量子化）予測誤差信号が得られる。復号（量子化）予測誤差信号は、量子化ノイズがない場合にエンコーダに入力された信号から予測信号を減算して、得られた差分に対応する。

予測信号は、時間的予測２６０または空間的予測２７０の何れかから得られる。これらは、エンコーダにおいて適用された予測を信号で伝える受信情報要素にしたがって切り換えられる（２７５）。復号された情報要素は、さらに、イントラ予測の場合の予測タイプのような予測に必要な情報（空間的イントラ予測モード情報）や、動き補償予測の場合の動きデータを含む。動きベクトルの現在の値によっては、動き補償予測を行うために画素値の補間が必要になることもある。この補間は、補間フィルタ２５０によって実行される。空間ドメインにおける量子化予測誤差信号は、その後、加算器２２５により、動き補償予測２６０またはフレーム内予測２７０の何れかから得られた予測信号に加算される。再構築画像は、デブロッキングフィルタ２３０を通り、その結果得られる復号信号は、メモリ２４０に格納され、後続ブロックの時間的または空間的予測に使用されてもよい。ポストフィルタ情報は、ポストフィルタ２８０に入力され、ポストフィルタ２８０がそれにしたがってポストフィルタを設定する。その後、ポストフィルタが、さらに画質を向上させるために復号信号に適用される。

方向性イントラ予測モードは、鋭いエッジの予測には非常に効果的だが、平滑な領域または焦点外の領域の予測には適応していない。そのような領域に対しては、参照対象をローパスフィルタで平滑化することが特に適切であり、符号化効率の面で有益である。よって、特に予測対象の画像領域がぼやけているか、または焦点外である場合に、イントラ予測のために参照画素にローパスフィルタを適用することは、再構築画素に付加された量子化ノイズを除去し、イントラ予測を向上させる技術として周知である。

本発明の基となる課題は、ローパスフィルタが参照対象に適用された場合に、鋭いエッジを効率的に予測することができない点である。

本発明の目的は、画像の符号化および復号に用いられるイントラ予測を改善し、効率を高めることである。

これは、独立クレームの特徴によって達成される。

本発明のさらなる実施の形態は、従属クレームの主題である。

本発明の特徴的な手法は、ローパスフィルタを参照画素または符号化対象画像の予測信号に適用するか否かを判別することである。この判別は、対象画像領域に空間的に隣接する画像信号の特徴に基づく。

本発明の一態様によれば、複数のブロックに分割された符号化画像データをブロック単位で復号する方法であって、対象ブロックと空間的に隣接した復号済みデータの統計を導出するステップと、前記導出された統計に基づいて、イントラ予測中にフィルタリングを適用するか否かを決定するステップと、複数の復号済みブロックの画像データから対象ブロックを予測するステップとを含む方法が提供される。

本発明の別の態様によれば、複数のブロックに分割された画像データをブロック単位で符号化する方法であって、対象ブロックと空間的に隣接した復号済みデータの統計を導出するステップと、前記導出された統計に基づいて、イントラ予測中にフィルタリングを適用するか否かを決定するステップと、複数の復号済みブロックの画像データから対象ブロックを予測するステップとを含む方法が提供される。

本発明の別の態様によれば、複数のブロックに分割された符号化画像データをブロック単位で復号する装置であって、対象ブロックと空間的に隣接した、復号済みデータの統計を導出する算出部と、前記導出された統計に基づいて、イントラ予測中にフィルタリングを適用するか否かを決定する判断部と、複数の復号済みブロックの画像データから対象ブロックを予測する方向性予測部とを備える装置が提供される。

本発明の別の態様によれば、複数のブロックに分割された画像データをブロック単位で符号化する装置であって、対象ブロックと空間的に隣接した、復号済みデータの統計を導出する算出部と、前記導出された統計に基づいて、イントラ予測中にフィルタリングを適用するか否かを決定する判断部と、複数の復号済みブロックの画像データから対象ブロックを予測する方向性予測部とを備える装置が提供される。

本発明の別の態様によれば、上記方法を実行するように構成された、コンピュータ読み取り可能なプログラムコードを実装したコンピュータ読み取り可能媒体を備えるコンピュータプログラム製品が提供される。

本発明の上記ならびにその他の目的および特徴は、以下の図面を参照して説明される実施の形態から明確になる。
図１は、従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣ映像エンコーダの一例を示すブロック図である。 図２は、従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣ映像デコーダの一例を示すブロック図である。 図３は、本発明の実施の形態に係るイントラ予測部を示すブロック図である。 図４は、本発明の実施の形態１に係る、エッジ検知を用いたイントラ予測フィルタリング方法を示すフローチャートである。 図５は、本発明の実施の形態１に係る、分散算出を用いたイントラ予測フィルタリング方法を示すフローチャートである。 図６は、本発明の実施の形態２に係る、空間的予測モードを使用したイントラ予測フィルタリング方法を示すフローチャートである。 図７は、本発明の実施の形態３に係るフィルタリングの適用例を示す概略図である。 図８は、本発明の実施の形態４に係るフィルタリングの適用例を示す概略図である。 図９は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１０は、デジタル放送用システムの全体構成図である。 図１１は、テレビの構成例を示すブロック図である。 図１２は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図１３は、光ディスクである記録メディアの構造例を示す図である。 図１４Ａは、携帯電話の一例を示す図である。 図１４Ｂは、携帯電話の構成例を示すブロック図である。 図１５は、多重化データの構成を示す図である。 図１６は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図１７は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図１８は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図１９は、ＰＭＴのデータ構成を示す図である。 図２０は、多重化データ情報の内部構成を示す図である。 図２１は、ストリーム属性情報の内部構成を示す図である。 図２２は、映像データを識別するステップを示す図である。 図２３は、各実施の形態の映像符号化方法および映像復号化方法を実現する集積回路の構成例を示すブロック図である。 図２４は、駆動周波数を切り替える構成を示す図である。 図２５は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図２６は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図２７Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図２７Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

本発明の基となる課題は、ローパスフィルタが参照画素または予測信号に適用された場合に、鋭いエッジが効率的に予測できないことである。したがって、ローパスフィルタが参照画素または予測信号に適用されるべきか否かを判別する必要がある。

その解決法として、平滑化（ローパスフィルタ）を実行するか否かを、各ブロックに対して、フラグを送信することで伝えることが考えられる。しかしながら、この手法はビットレートを増加させて、全体的な符号化効率を制限すると思われる。

本発明によれば、複数のブロックに分割された符号化画像データをブロック単位で復号する方法であって、複数の復号済みブロックの画像データから対象ブロックを予測するステップと、たとえばエッジが存在するか否か、または信号の分散のような、対象ブロックに隣接した復号済みデータの統計を導出するステップと、前記導出された統計に基づいて、イントラ予測中にフィルタリングを適用するか否かを決定するステップとを含む方法が提供される。

本発明の効果の一つは、画像信号の内容に適応してイントラ予測にフィルタリングを適用できるため、より高い予測品質が達成される可能性があることである。

好ましくは、フィルタリングは予測に用いられる画素に適用される。しかしながら、本発明はこれに限定されない。別の実施の形態によれば、フィルタリングは予測信号に適用される。

有利には、周辺ブロックの信号の分散を算出することにより、復号済み信号の統計が導出される。または、Ｓｏｂｅｌ演算子、または２次元信号における勾配の算出に適した他のマトリクスを用いて勾配を算出し、これらの勾配のノルムと閾値とを比較するような、エッジ検出方法を適用することによって、復号済み信号の統計が導出される。

具体的には、周辺ブロックの信号の分散が予め定義された閾値よりも小さければフィルタリングを適用し、周辺ブロックの信号の分散が予め定義された閾値よりも大きければフィルタリングを適用しないとしてもよい。

または、エッジが検出されなければフィルタリングを適用し、エッジが検出されればフィルタリングを適用しないとしてもよい。

本発明の実施の形態によれば、検出されたエッジを延長することで算出されたラインと交差しない領域に位置する画素にのみフィルタリングを適用する。具体的には、検出されたエッジと参照画素のラインとが交差する位置からの距離が予め定義された数の画素からの距離よりも近い当該ラインにある画素には、このフィルタは適用されない。画素のラインとは、画素の行および／または列であってもよい。

画素には、検出されたエッジを延長することで算出されたラインに対するそれらの位置に応じて、異なるフィルタを適用してもよい。

具体的には、検出されたエッジと参照画素のラインとが交差する位置からの距離が予め定義された数の画素からの距離よりも近い当該ラインにある画素に第１のフィルタを適用し、残りの画素に第２のフィルタを適用する。しかしながら、本発明はこれに限定されず、検出されたエッジを延長した位置に対する、フィルタリング対象の参照画素の位置に応じて、さらに別のフィルタを適用してもよい。有利には、エッジ近傍の画素はエッジ方向にフィルタリングされる。有利には、エッジ近傍にない画素は、ローパスフィルタを用いてフィルタリングされる。

本発明の利点の一つは、鋭いエッジと平滑な領域との両方が、ビットレートを余分に増加させることなく効率的に予測および符号化できることである。

本発明の実施の形態１によれば、参照近隣画素に基づいて方向性予測を算出するＨ．２６４／ＡＶＣイントラ予測部の代わりに、（例えばエッジ予測または分散算出を行うことで）近隣信号の統計を分析し、方向性予測の前または後にフィルタリングを適用する、新たなイントラ予測部を備える画像符号化装置を提供する。

図３は、本発明の実施の形態１に係るイントラ予測部３００の具体的な構成を示すブロック図である。このイントラ予測部３００は、再構築された近隣信号にエッジが存在するか否かを判定し、エッジが存在する場合はその方向および／または位置を判定する算出部（この場合はエッジ検出部）３１０と、（例えば、２０１０年７月２１〜２８日、スイスジュネーブで行われたＪＣＴ−ＶＣミーティングでの文書ＪＣＴＶＣ−Ｂ２０５＿ｄｒａｆｔ００７に記載のＨＥＶＣ標準規格第１版に定義されているようなフィルタか、８×８イントラ予測に関するＨ．２６４／ＭＰＥＧ−４ＡＶＣにおいて適用されるローパスフィルタのようなフィルタを用いて）方向性予測に用いられる参照画素を、当該エッジ検出部３１０の出力にしたがってフィルタリングする第１フィルタリング部３２０と、エンコーダ１７０および／またはデコーダ２７０におけるＨ．２６４／ＭＰＥＧ−４ＡＶＣイントラ予測部、またはＥＰ ２ ０８１ ３８６ Ａ１に記載のイントラ予測に類似の、ある一つの方向性予測にしたがってブロックを予測する方向性予測部３３０と、エッジ検出部３１０の出力にしたがって方向性予測部３３０の出力をフィルタリングする第２フィルタリング部３４０とを備える。

符号化効率を高めるために、ＥＰ ２ ０８１ ３８６ Ａ１は、ブロックの画素を予測する方向の数が８に限定されない、改良された空間的予測を記載しているが、エッジ検出は復号済み近隣ブロック内で行われる。主エッジであると判定されたエッジの方向に基づいて、ブロックの画素が、可能であれば近隣ブロックに属する画素のライン内の小数画素位置から予測される。

または、算出部３１０は、近隣信号の分散を算出する分散算出部でもよい。その場合、２つのフィルタリング部が、分散算出部の出力にしたがって、参照画素または方向性予測部の出力をフィルタリングする。

ここで、再構築された近隣信号とは、対象ブロックを囲むブロック内の復号画素（サンプル）のことを指す。

図４は、イントラ予測部によって実行される可能性のある例示的な方法を説明するフローチャートである。当該方法を実行するため、このイントラ予測部は、再構築された近隣信号にエッジが存在するか否かを判定する（４１０、４３０）ことができるエッジ検出部と、当該エッジ検出部においてエッジが検出されなかった場合（ステップ４１０、およびステップ４３０で“Ｎｏ”）に、方向性予測に用いられる参照画素をフィルタリングする（４４０）フィルタリング部と、ある一つの方向性予測にしたがってブロックを予測する（４５０）方向性予測部とを備える。これらは、上述のＨ．２６４／ＭＰＥＧ−４ＡＶＣ方向性イントラ予測方法、またはＥＰ ２ ０８１ ３８６ Ａ１に記載のイントラ予測に類似していてもよい。

図５は、本発明を実行するためのイントラ予測部の具体的な構造および方法のもう一つの例を説明するブロック図である。このイントラ予測部は、再構築された近隣信号の分散が予め定義された閾値よりも小さいかどうかを判定する（５１０、５３０）算出部（分散算出部）と、再構築された近隣信号の分散が予め定義された閾値よりも小さい場合に、方向性予測に用いられる参照画素をフィルタリングする（５４０）フィルタリング部と、ある一つの方向性予測にしたがってブロックを予測する（５５０）方向性予測部とを備える。

上述のように、実施の形態１は、再構築された近隣信号から必要な情報を導出することで、ビットレートを余分に増加させることなく、鋭いエッジと平滑な領域との両方を効率的に符号化する方法および装置を含む。これは、エンコーダおよびデコーダによって同じように実行されてもよい。

なお、図４および５を参照して説明した上記方法ステップは、上記の例とは異なる構造を有する他のいかなる装置で実行されてもよい。具体的には、フローチャートのステップは、いかなる種類のプロセッサまたは装置によって実行されてもよい。

上記実施の形態において起こりえる課題の一つは、近隣信号の特徴の分析を、選択された方向性イントラ予測モードとは独立して、エンコーダ１００およびデコーダ２００側で各ブロックに対して実行しなければならないことである。これにより、デコーダにおいて、または最適化されたエンコーダにおいて、イントラ予測が複雑化する。このような各ブロックに対する分析を避けるため、本発明の実施の形態２では、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ方向性イントラ予測モードに加えて、ＥＰ ２ ０８１ ３８６ Ａ１に記載のイントラ予測方法のような、新たなイントラ予測モードを導入する。近隣信号の分析は、新たなイントラ予測モードが選択された場合のみ実行する。図３を参照して説明したイントラ予測部は、新たなイントラ予測モードが選択された場合にのみ用いられる。他の全てのモードでは、エンコーダおよびデコーダにおいて、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣイントラ予測部１７０および／または２７０がそれぞれ用いられる。

この新たなイントラ予測モードは、近隣信号のエッジ検出に依存する。エッジが検出されなければフィルタリングを適用し、エッジが検出されればフィルタリングを適用しない。

図６は、この新たなイントラ予測モードに係る予測算出プロセスを説明するフローチャートである。第１のステップは、再構築済み近隣信号においてエッジ検出（６１０）を行うことである。エッジ検出として、以下のように近隣信号の３×３画素のブロックにＳｏｂｅｌ演算子を適用することが考えられる。

２次元信号における勾配の算出に適した他のマトリクスを用いてもよい。

３×３画素の各ブロックに対して、勾配ベクトルに対して垂直なエッジベクトルを定義することができる。主要なエッジ方向を決定するために、最大ノルムを有するエッジベクトル、または最も大きなノルムを有する複数のエッジベクトルの組み合わせを考慮することができる。

概して、画像のエッジは、当該画像の勾配ベクトル領域を決定することで検出してもよい。勾配ベクトルはエッジ上でより大きく、エッジに対して垂直である。勾配領域を検出するのに最も一般的な手法の一つは、上記マスクＳｘおよびＳｙによって得られる、Ｓｏｂｅｌ演算子等の垂直方向と水平方向のマトリクスを用いた画像の畳み込みである。

具体的には、垂直ＳｏｂｅｌマスクＳｘと水平ＳｏｂｅｌマスクＳｙで画素ｐ（ｘ、ｙ）をフィルタリングすることにより、ある特定の画素ｐ（ｘ、ｙ）における垂直勾配ベクトル軸Ｇｘと水平勾配ベクトル軸Ｇｙとが得られる。

多くの適用例に、勾配領域を得るためにＳｏｂｅｌ演算子が採用されている。しかしながら、本発明はＳｏｂｅｌ演算子を用いて勾配領域を検出することに限定されない。概して、勾配領域を提供するいかなるエッジ検出手法も使用することができる。例えば、２×２や４×４等の、Ｓｏｂｅｌ演算子以外の大きさのマスクや、より大きなマスクを用いてもよい。具体的なマスクの選択は、所望する結果によって異なる。より大きなマスクを使用すると、エッジ検出が正確になり、小さな局所的エッジの検知を抑制することができる可能性があるが、その一方で、計算が複雑になる。または、Ｓｃｈａｒｒ演算子またはより高次の導関数に基づく演算子等の、Ｓｏｂｅｌ演算子以外のマスクが、エッジ検出に用いられてもよい。

勾配Ｇの垂直軸Ｇｘおよび水平軸Ｇｙを得た後に、予測対象ブロックを囲むブロックの複数の画素に対する主勾配を決定してもよい。水平軸Ｅｘおよび垂直軸Ｅｙを有する主エッジベクトルＥは、勾配ベクトルＧに対して垂直である。それに対応して、主エッジベクトルＥの水平成分Ｅｘおよび垂直成分Ｅｙの大きさはそれぞれ、水平勾配Ｇｙおよび垂直勾配Ｇｘの大きさに対応する（例えば、反時計回りにＥｘ＝−Ｇｙ、Ｅｙ＝Ｇｘ）。

通常、対象ブロックに対する主エッジが、当該対象ブロックと交差する複数のエッジのうちで最大のノルムを有するエッジに決定される。しかしながら、他の方法を用いてもよく、例えば、複数のエッジの重み付け平均、または大多数の画素に対して検出されたエッジ方向等を用いてもよい。勾配の算出は、必ずしも隣接ブロック全体に対して実行されなくてもよい。概して、予測対象ブロックの境界近くの画素のサブセットを選択し、これらの画素に対してのみ勾配の算出を行うと有益である。この手法により、エッジ検出マスクを有する近隣ブロックの畳み込みに必要な動作数を削減できる。さらに、予測のため、予測対象ブロック内の実際のエッジに類似していると思われるエッジのみが重要であるので、境界近くのエッジを検出することで、役に立たないエッジを検出するリスクも削減できる。

最終的なエッジベクトルのノルム、またはそれぞれ算出されたエッジベクトルのノルムは、予め定義された閾値と比較することができる。閾値よりも高いノルムが一つあれば、エッジが検出される。その場合、当該エッジベクトルはエッジの方向を示し、最も強いエッジベクトルが算出された画素の３×３ブロックの位置は、エッジの位置を示す。閾値よりも高いノルムがなければ、エッジは検出されない。

そして検出結果が評価される（６３０）。エッジが検出されれば（ステップ６３０で“ｙｅｓ”）、ＥＰ ２ ０８１ ３８６ Ａ１に記載されているようにエッジの方向に応じて、小数画素参照画素の補間（６２０）によって予測が実行される。具体的には、参照画素のラインと、検出されたエッジ方向の予測対象画素を通るラインとの交点を線形補間することによって、予測信号が算出される。エッジが検出されない場合（ステップ６３０で“ｎｏ”）、その次のステップは、予測に用いられる信号を平滑化する目的で、参照画素にローパスフィルタを適用する（６４０）ことである。ここで、参照画素は、一番上の近隣ブロックの画素の中で、対象ブロックとの境界に最も近い行の画素であってもよい。または、参照画素は、左に位置する近隣ブロックの画素の中で、対象ブロックとの境界に最も近い列の画素であってもよい。参照画素はまた、一番上の行および左の列にある画素のセットであってもよい。次のステップは、ある予め定義された方向を一つ、例えば、最も大きなノルムを有するエッジベクトルの方向に最も近い方向を選択すること（６５０）である。具体的には、それはエッジ検出ステップ（６１０）において決定された近隣画素の全体的な方向に対応する方向であってもよい。そして選択された予め定義された方向に対して定義された予測方法を用いて予測が実行される（６６０）。

または、最も強いノルムを有するエッジベクトルの方向が、予め定義された方向のうちの一つの代わりに選択されてもよい。その場合は、予測ステップにおいてＥＰ ２ ０８１ ３８６ Ａ１に記載の方法を用いてもよい。

本発明の実施の形態３によると、いくつかの参照画素にローパスフィルタが適用され、他の参照画素にはフィルタが適用されないので、各ブロックに対し、画素毎に平滑化フィルタの使用を切り替えることになる。

本実施の形態は、図７に概略的に示される。エッジ検出が用いられる場合は、エッジ７５０に示されるように、参照画素のラインおよび予測対象ブロックを通ってエッジを延長することができる。その場合は、エッジ周辺に位置するｎ画素に対してフィルタリングをオフにすると有益である。ここでｎは、たとえば１または２である。その一方で、他の画素に対してフィルタリングを適用してもよい。図７は、対象ブロック７００のイントラ予測に用いられる参照画素の行７３０を示す。本実施の形態によると、参照画素の行７３０にありエッジ７５０に近い参照画素はフィルタリングされない。フィルタリングされないｎ個の画素は、フィルタリングに用いられる画素がエッジと交差しないように、適用されたローパスフィルタの長さに応じて定められてもよい。

本発明の実施の形態４によると、エッジ周辺のｎ個の画素と、平坦な領域に属する他の画素とに、異なる種類のフィルタリングを適用してもよい。本実施の形態は、図８に示される。その場合、ＦＩＬＴＥＲ１は先行技術（Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格またはＨＥＶＣ ｗｏｒｋｉｎｇ ｄｒａｆｔ ＪＣＴＶＣ−Ｂ２０５＿ｄｒａｆｔ００７）における参照画素のフィルタリングに用いられるローパスフィルタに類似のローパスフィルタである。ＦＩＬＴＥＲ２は、有利には、エッジ方向のみの平滑化フィルタである。ＦＩＬＴＥＲ２は、好ましくは、エッジに垂直な方向には平滑でない。ＦＩＬＴＥＲ２の効果は、エッジを鋭くすることである。

本発明の実施の形態５において、デコーダに、実施の形態１に記載された技術と同じ技術を適用する。図３における差異は、選択された方向性予測モードが方向性予測部に入力として送信されることのみである。

概して、デコーダに、実施の形態１〜４に記載された技術と同じイントラ予測技術を適用してもよい。

以下、各実施の形態において説明した映像符号化方法および映像復号方法の応用例と、それらを用いたシステムについて説明する。

図９は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図９のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または映像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、映像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した画像データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図１０に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも映像符号化装置または映像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した映像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した映像復号化装置または映像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に映像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に映像復号化装置を組み込んでもよい。

図１１は、上記各実施の形態で説明した映像復号化方法および映像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図１２に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図１３に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１０に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。

図１４（ａ）は、上記実施の形態で説明した映像復号化方法および映像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。

さらに、携帯電話ｅｘ１１４の構成例について、図１４（ｂ）を用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。

電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５６から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した映像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。

多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた映像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した映像符号化方法に対応した映像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた映像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。

また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した映像符号化方法あるいは映像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

上記各実施の形態で示した映像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した映像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す映像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図１５は、多重化データの構成を示す図である。図１５に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した映像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した映像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副映像に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図１６は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図１７は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図１７における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図１７の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図１８は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図１８下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図１９はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図２０に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データは図２０に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図２１に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した映像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した映像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した映像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、映像復号化方法のステップを図２２に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した映像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した映像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した映像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した映像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した映像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、映像符号化方法または装置、または、映像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

上記各実施の形態で示した映像符号化方法および装置、映像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２３に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ｅｘ５１０が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５１０の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

上記各実施の形態で示した映像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの映像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図２４は、構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した映像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した映像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した映像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ｅｘ８０３は、図２３のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した映像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図２３の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、識別情報を利用することが考えられる。識別情報に関しては、上述のものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図２６のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図２５は、方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した映像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した映像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した映像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した映像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した映像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図２７（ａ）のｅｘ９００に示す。例えば、上記各実施の形態で示した映像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像復号方法とは、エントロピー符号化、逆量子化、デブロッキングフィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。本発明は、空間的予測に特徴を有していることから、例えば、本発明に係る空間的予測については専用の復号処理部ｅｘ９０１を用い、それ以外のエントロピー符号化、逆変換、逆量子化、および動き補償予測のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した映像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図２７（ｂ）のｅｘ１０００に示す。この例では、本発明に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の映像復号方法と他の従来規格の映像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、構成を、ＬＳＩｅｘ５００で実装することも可能である。

このように、本発明の映像復号方法と、従来の規格の映像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

要するに、本発明は、画像信号の符号化および／または復号中に実行される可能性のあるイントラ予測に関し、特に、予測信号および／または予測に用いられる信号にフィルタリングが適用される、対象ブロックのイントラ予測に関する。フィルタリングは、対象ブロックに空間的に隣接するブロックに含まれる画像信号の特徴に基づく決定にしたがって適用される。

Claims (9)

1. 複数のブロックに分割された符号化画像データをブロック単位で復号する方法であって、
   対象ブロックと空間的に隣接したブロックであって、前記対象ブロックのイントラ予測に用いる複数の復号済みブロックに含まれる画素におけるエッジ検出を行うステップと、
   前記エッジ検出の結果に基づいて、前記複数の復号済みブロックに含まれる画素に対して第１フィルタリングを適用するか否かを決定するステップと、
   前記複数の復号済みブロックの画像データから前記対象ブロックをイントラ予測するステップと、を含み、
   前記第１フィルタリングを適用すると決定した場合、前記第１フィルタリングした前記複数の復号済みブロックの画像データを用いて前記対象ブロックをイントラ予測し、
   前記第１フィルタリングを適用しないと決定した場合、第２フィルタリングした複数の復号済みブロックの画像データを用いて前記対象ブロックをイントラ予測する
   方法。
2. 前記エッジ検出は、前記複数の復号済みブロックの分散を算出することによって実行される
   請求項１に記載の方法。
3. 前記第１フィルタリングは、前記分散が予め定義された閾値よりも小さい場合に適用され、
   前記分散が前記予め定義された閾値よりも大きい場合は適用されない
   請求項２に記載の方法。
4. 前記決定するステップでは、前記エッジ検出の結果に応じて、前記第１フィルタリングと前記第２フィルタリングの何れを前記複数の復号済みブロックに対して適用するかを決
   定し、
   前記対象ブロックの予測では、前記決定するステップで決定されたフィルタリングをした前記複数の復号済みブロックの画像データを用いてイントラ予測を行う
   請求項１に記載の方法。
5. 請求項１〜４のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
6. 複数のブロックに分割された符号化画像データをブロック単位で復号する装置であって、
   対象ブロックと空間的に隣接したブロックであって、前記対象ブロックのイントラ予測に用いる複数の復号済みブロックに含まれる画素におけるエッジ検出を行うエッジ検出部と、
   前記エッジ検出の結果に基づいて、前記複数の復号済みブロックに含まれる画素に対して第１フィルタリングを適用するか否かを決定する判断部と、
   前記複数の復号済みブロックの画像データから前記対象ブロックをイントラ予測するイントラ予測部と、を備え、
   前記イントラ予測部は、前記判断部が前記第１フィルタリングを適用すると決定した場合、前記第１フィルタリングした前記複数の復号済みブロックの画像データを用いて前記対象ブロックをイントラ予測し、
   前記判断部が前記第１フィルタリングを適用しないと決定した場合、前記イントラ予測部は第２フィルタリングした複数の復号済みブロックの画像データを用いて前記対象ブロックをイントラ予測する
   装置。
7. 前記エッジ検出部は、前記複数の復号済みブロックの分散を算出することによって、前記エッジを検出する
   請求項６に記載の装置。
8. 前記第１フィルタリングは、前記エッジ検出部によって算出された前記分散が予め定義された閾値よりも小さい場合に適用され、
   前記分散が前記予め定義された閾値よりも大きい場合は、適用されない
   請求項７に記載の装置。
9. 前記判断部は、前記エッジ検出の結果に応じて、前記第１フィルタリングと前記第２フィルタリングの何れを前記複数の復号済みブロックに対して適用するかを決定し、
   前記イントラ予測部は、決定されたフィルタリングをした前記複数の復号済みブロックの画像データを用いてイントラ予測を行う
   請求項８に記載の装置。

Images