JP6580632B2 - 符号化方法及び復号化方法、並びにそれを利用する装置 - Google Patents

Description

本発明は、映像符号化及び復号化技術に関し、より具体的には、色差(ｃｈｒｏｍａ)信号に対する周波数変換方式及び/又はスキャン方式を決定する方法、並びにそれを利用する装置に関する。

最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度を有する放送サービスが韓国内だけでなく、世界的に拡大されている。これによって、多くのユーザが高解像度、高画質の映像に慣れており、多くの機関が次世代映像機器に対する開発に拍車を掛けている。

ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有するＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)に対する関心が増大するにつれて、より高い解像度、高画質の映像に対する圧縮機術が要求されている。

映像圧縮のために、現在ピクチャのピクセル情報を予測により符号化することができる。例えば、時間的に以前及び/又は以後のピクチャから現在ピクチャに含まれているピクセル値を予測する画面間(ｉｎｔｅｒ)予測技術が適用され、現在ピクチャ内のピクセル情報を利用して現在ピクチャに含まれているピクセル値を予測する画面内(ｉｎｔｒａ)予測技術が適用されることができる。

ピクセル情報は、輝度（ｌｕｍａ）に対する輝度信号と色差（ｃｈｒｏｍａ）に対する色差信号があり、人間の視覚が輝度に敏感であるという点を利用して輝度信号と色差信号を異なるように扱うこともでき、同じに扱うこともできる。

したがって、色差信号と輝度信号を区分して効果的に扱う方法が問題になる。

本発明は、ビデオ符号化/復号化において、符号化/復号化効率を上げる方法及び装置を提供することを目的とする。

本発明は、色差信号に対する効率的な周波数変換方法及び装置と、色差信号に対する効率的なスキャン方法及び装置とを提供することを目的とする。

本発明の一実施形態において、色差信号に対する周波数変換方式及びスキャン方式を選択するにあたって、色差信号の画面内予測モードによって周波数変換方式を異なるように適用することができ、画面内予測モードによってスキャン方式を異なるように決定することもできる。

本発明の他の実施形態において、前記現在ブロックの輝度サンプルに対する画面内予測モードによって前記現在ブロックの輝度信号及び色差信号に対するスキャニングタイプを決定することができる。

このとき、色差信号に対するスキャニングタイプは、輝度信号に対するスキャニングタイプとして同一に適用することができる。または、色差信号に対するスキャニングタイプは、輝度信号に対するスキャニングタイプを決定する方法と同じ方法で決定されることもできる。

本発明によると、ビデオ符号化/復号化において、符号化/復号化効率を上げることができる。具体的に、本発明によると、色差信号に対する周波数変換及び/又はスキャンを効率的に実行することができる。

また、本発明によると、色差信号に対して周波数変換方式とスキャニング方法を選択するにあたって、色差信号の画面内予測方向モードによって色差信号に対する周波数変換方式を適用し、また、色差信号に対するスキャニング方向を誘導する方法及び装置を利用することで、色差信号の残余信号に対する符号化効率を上げることができる。

本発明が適用される映像符号化装置の一実施例に係る構成を示すブロック図である。 本発明が適用される映像復号化装置の一実施例に係る構成を示すブロック図である。 映像を符号化する時、ＬＣＵ内でＣＵを分割する方法の一例を簡単に示す図面である。 ＰＵの分割構造に対する例を概略的に説明する図面である。 ＣＵ内ＴＵの分割構造の一例を簡単に示す図面である。 画面内予測のモードを概略的に説明する図面である。 数式１の関係を概略的に説明する図面である。 重要グループフラグ及び変換係数に対する上段右側方向スキャニングの一例を説明する図面である。 画面予測方向によってスキャニング方向を決定する方法の一例を説明するフローチャートである。 画面予測方向によってスキャニング方向を決定する方法の他の例を簡単に説明するフローチャートである。 残余映像に対する周波数変換方式を選択する方法の一例を説明するフローチャートである。 本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一例を説明するフローチャートである。 本実施例によって、色差信号に対するスキャニング方向を誘導する方法の他の例を説明するフローチャートである。 本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一実施例を示すフローチャートである。 本実施例によって、色差信号に対するスキャニング方向を誘導する方法の他の例を説明するフローチャートである。 本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャートである。 本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。 本実施例によって、色差信号のＬＭモードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法を説明するフローチャートである。 本実施例によって、色差信号のＩｎｔｒａ_ＦｒｏｍＬｕｍａ(ＬＭ)符号化モードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。 本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャートである。 本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。 輝度ブロックと色差ブロックとの間の解像度差の一例を示す図面である。 輝度ブロックと色差ブロックとの間の解像度差を説明する他の例を示す図面である。 本発明による符号化装置の他の例を示す図面である。 本発明による復号化装置の他の例を示す図面である。

以下、図面を参照して本発明の実施例に対して具体的に説明する。本明細書の実施例を説明するにあたって、関連した公知構成又は機能に対する具体的な説明が本明細書の要旨を不要に不明りょうにすると判断される場合にはその詳細な説明は省略する。

本明細書において、一構成要素が他の構成要素に“連結されている”又は“接続されている”と言及された場合、当該他の構成要素に直接的に連結されている、又は接続されていることを意味し、又は中間に他の構成要素が存在することを意味する。また、本明細書において、特定構成を“含む”と記述する内容は、当該構成以外の構成を排除するものではなく、追加的な構成が本発明の実施又は本発明の技術的思想の範囲に含まれることができることを意味する。

第１、第２などの用語は、多様な構成の説明に使われることができるが、前記構成は、前記用語により限定されるものではない。前記用語は、一つの構成要素を他の構成要素から区別する目的として使われる。例えば、本発明の権利範囲を外れない限り、第１の構成は第２の構成と命名することができ、同様に、第２の構成も第１の構成と命名することができる。

また、本発明の実施例に開示する構成部は、互いに異なる特徴的な機能を示すために独立的に図示されるものであり、各構成部が分離されたハードウェアや一つのソフトウェア構成単位に構成されることを意味しない。即ち、各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうち少なくとも２個の構成部が統合されて一つの構成部からなり、又は一つの構成部が複数個の構成部に分けられて機能を遂行することができる。各構成部の統合された実施例及び分離された実施例も本発明の本質から外れない限り本発明の権利範囲に含まれる。

また、一部の構成要素は、本発明で本質的な機能を遂行する必須的構成要素ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除いた本発明の本質具現に必須的な構成部のみを含んで具現されることができ、単に性能向上のために使われる選択的な構成要素を除いた必須的な構成要素のみを含む構造も本発明の権利範囲に含まれる。

図１は、本発明が適用される映像符号化装置の一実施例に係る構成を示すブロック図である。

図１を参照すると、前記映像符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０、及び参照映像バッファ１９０を含む。

映像符号化装置１００は、入力映像に対してイントラ(ｉｎｔｒａ)モード又はインター(ｉｎｔｅｒ)モードに符号化を実行することで、ビットストリームを出力することができる。イントラ予測は、画面内予測を意味し、インター予測は、画面間予測を意味する。イントラモードである場合、スイッチ１１５がイントラに切り替えられ、インターモードである場合、スイッチ１１５がインターに切り替えられることができる。映像符号化装置１００は、入力映像の入力ブロックに対する予測ブロックを生成した後、入力ブロックと予測ブロックとの差分を符号化することができる。このとき、入力映像は、元映像(ｏｒｉｇｉｎａｌ ｐｉｃｔｕｒｅ)を意味する。

イントラモードである場合、イントラ予測部１２０は、現在ブロック周辺の既に符号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生成することができる。

インターモードである場合、動き予測部１１１は、動き予測過程で参照映像バッファ１９０に格納されている参照映像で入力ブロックと最もよくマッチされる領域を探して動きベクトルを求めることができる。動き補償部１１２は、動きベクトルを利用して動き補償を実行することによって予測ブロックを生成することができる。ここで、動きベクトルは、インター予測に使われる２次元ベクトルであり、現在ブロックと参照映像内のブロックとの間のオフセットを示すことができる。

減算器１２５は、入力ブロックと生成された予測ブロックとの差分により残差ブロックを生成することができる。変換部１３０は、残差ブロックに対して変換(ｔｒａｎｓｆｏｒｍ)を実行することで、変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)を出力することができる。そして、量子化部１４０は、入力された変換係数を量子化媒介変数と量子化行列のうち少なくとも一つを利用して量子化することで、量子化された係数(ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ)を出力することができる。このとき、量子化行列は、符号化器に入力され、入力された量子化行列が符号化器で使われると決定されることができる。

エントロピー符号化部１５０は、量子化部１４０で算出された値又は符号化過程で算出された符号化パラメータ値などに基づいてエントロピー符号化を実行することで、ビットストリーム(ｂｉｔ ｓｔｒｅａｍ)を出力することができる。エントロピー符号化が適用される場合、高い発生確率を有するシンボル(ｓｙｍｂｏｌ)に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、符号化対象シンボルに対するビット列の大きさが減少されることができる。したがって、エントロピー符号化を介して映像符号化の圧縮性能が高まることができる。エントロピー符号化部１５０は、エントロピー符号化のために、指数−ゴロムコード(Ｅｘｐｏｎｅｎｔｉａｌ−Ｇｏｌｏｍｂ Ｃｏｄｅ)、ＣＡＶＬＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)のような符号化方法を使用することができる。

図１の実施例に係る映像符号化装置は、インター予測符号化、即ち、画面間予測符号化を実行するため、現在符号化された映像は、参照映像として使われるために復号化されて格納される必要がある。したがって、量子化された係数は、逆量子化部１６０で逆量子化され、逆変換部１７０で逆変換される。逆量子化及び逆変換された係数は、復元された残差ブロックになって加算器１７５を介して予測ブロックと加えられて復元ブロックが生成される。

復元ブロックは、フィルタ部１８０を経て、フィルタ部１８０は、デブロッキングフィルタ(ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ)、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)のうち少なくとも一つ以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部１８０は、インループ(ｉｎ−ｌｏｏｐ)フィルタとも呼ばれる。デブロッキングフィルタは、ブロック間の境界に発生したブロック歪曲を除去することができる。ＳＡＯは、コーディングエラーを補償するためにピクセル値に適正オフセット(ｏｆｆｓｅｔ)値を加えることができる。ＡＬＦは、復元された映像と元来の映像を比較した値に基づいてフィルタリングを実行することができる。フィルタ部１８０を経た復元ブロックは、参照映像バッファ１９０に格納されることができる。

図２は、本発明が適用される映像復号化装置の一実施例に係る構成を示すブロック図である。

図２を参照すると、前記映像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、加算器２５５、フィルタ部２６０、及び参照映像バッファ２７０を含む。

映像復号化装置２００は、符号化器で出力されたビットストリームの入力を受けてイントラモード又はインターモードに復号化を実行することで、再構成された映像、即ち、復元映像を出力することができる。イントラモードである場合、スイッチがイントラに切り替えられ、インターモードである場合、スイッチがインターに切り替えられることができる。映像復号化装置２００は、入力されたビットストリームから復元された残差ブロック(ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ)を得、予測ブロックを生成した後、復元された残差ブロックと予測ブロックを加えて再構成されたブロック、即ち、復元ブロックを生成することができる。

エントロピー復号化部２１０は、入力されたビットストリームを確率分布によってエントロピー復号化し、量子化された係数(ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ)形態のシンボルを含むシンボルを生成することができる。エントロピー復号化方法は、前述したエントロピー符号化方法と同様である。

エントロピー復号化方法が適用される場合、高い発生確率を有するシンボルに少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、各シンボルに対するビット列の大きさが減少されることができる。

量子化された係数は、逆量子化部２２０で量子化媒介変数を利用して逆量子化され、逆変換部２３０で逆変換され、量子化された係数が逆量子化/逆変換された結果、復元された残差ブロックが生成されることができる。

逆量子化に使われる量子化行列は、スケーリングリストとも呼ばれる。逆量子化部２２０は、量子化された係数に量子化行列を適用して逆量子化された係数を生成することができる。

このとき、逆量子化部２２０は、符号化器で適用された量子化に対応して逆量子化を実行することができる。例えば、逆量子化部２２０は、符号化器で適用された量子化行列を量子化された係数に逆に適用して逆量子化を実行することができる。

映像復号化装置２００で逆量子化に使われる量子化行列は、ビットストリームから受信されることもでき、符号化器及び/又は復号化器が既に保有した基本行列が使われることもできる。送信される量子化行列の情報は、シーケンスパラメータセット又はピクチャパラメータセットを介して量子化行列大きさ又は量子化行列が適用される変換ブロック大きさ別に受信されることができる。例えば、４×４変換ブロックのための４×４量子化行列が受信され、８×８変換ブロックのための８×８行列が受信され、１６×１６変換ブロックのための１６×１６行列が受信され、３２×３２変換ブロックのための３２×３２行列が受信されることができる。

イントラモードである場合、イントラ予測部２４０は、現在ブロック周辺の既に復号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生成することができる。インターモードである場合、動き補償部２５０は、動きベクトル及び参照映像バッファ２７０に格納されている参照映像を利用して動き補償を実行することによって予測ブロックを生成することができる。

復元された残差ブロックと予測ブロックは、加算器２５５を介して加えられ、加えられたブロックは、フィルタ部２６０を経ることができる。フィルタ部２６０は、デブロッキングフィルタ、ＳＡＯ、ＡＬＦのうち少なくとも一つ以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部２６０は、再構成された映像、即ち、復元映像を出力することができる。復元映像は、参照映像バッファ２７０に格納されてインター予測に使われることができる。

ＨＥＶＣでは、映像を効率的に符号化するために、符号化単位(Ｃｏｄｉｎｇ Ｕｎｉｔ、以下‘ＣＵ’という)別に符号化を実行することができる。

図３は、映像を符号化する時、最大大きさＣＵ(Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、以下‘ＬＣＵ’という)内でＣＵを分割する方法の一例を簡単に示す。

符号化装置に入力された映像は、図３のように、ＬＣＵ単位に順次分割された後、ＬＣＵ単位で分割構造が決定されることができる。

分割構造は、ＬＣＵ内で映像を効率的に符号化するためのＣＵの分布を意味する。ＣＵの分布は、ＣＵの大きさを縦横に半分減少した４個のＣＵに分割するかどうかを決定することによって特定されることができる。分割されたＣＵは、同じ方式により縦横に半分減少した４個のＣＵに再帰的に分割することができる。

このとき、ＣＵの分割は、予め定義された深さまで実行されることもできる。深さ情報は、ＣＵの大きさを示す情報であり、全てのＣＵに格納されている。基本になるＬＣＵの深さは０であり、最小大きさＣＵ(Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、以下‘ＳＣＵ’という)の深さは、予め定義された最大深さである。

ＬＣＵから縦横に半分に分割を実行する時毎にＣＵの深さが１ずつ増加する。それぞれの深さで、分割が実行されないＣＵの場合には、２Ｎ×２Ｎの大きさを有し、分割が実行される場合、分割前２Ｎ×２ＮのＣＵは、Ｎ×Ｎ大きさのＣＵ４個に分割される。

ＣＵの大きさは、深さが１ずつ増加する時毎に半分に減少する。図３では、最小深さが０であるＬＣＵの大きさが６４×６４画素であり、最大深さが３であるＳＣＵの大きさが８×８画素である場合を例として説明する。

図３の例において、６４×６４画素のＣＵ(ＬＣＵ)は、深さが０であり、３２×３２画素のＣＵは、深さが１であり、１６×１６画素のＣＵは、深さが２であり、８×８画素のＣＵ(ＳＣＵ)は、深さが３である。

また、ＣＵを分割するかどうかに対する情報は、ＣＵ毎に１ビットの分割情報を介して表現する。この分割情報は、ＳＣＵを除外した全てのＣＵに含まれており、ＣＵを分割しない場合には分割情報の値を０に設定し、分割する場合には分割情報の値を１に設定することができる。

予測単位(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、以下‘ＰＵ’という)は、予測の単位である。

図４は、ＰＵの分割構造に対する例を概略的に説明する図面である。

図４の例のように、一つのＣＵは、複数個のＰＵに分割されて予測が実行されることができる。

変換単位(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、以下‘ＴＵ’という)は、ＣＵ内で空間変換と量子化過程に使われる基本単位である。ＴＵは、正四角形状又は直四角形状を有することができる。

各ＣＵは、一つ又はそれ以上のＴＵブロックを有することができ、これはクワッドツリー(ｑｕａｄ−ｔｒｅｅ)の構造を有する。

図５は、ＣＵ内ＴＵの分割構造の一例を簡単に示す。図示されているように、ＣＵ５１０内ＴＵは、クワッドツリー構造によって多様な大きさを有することができる。

画面内予測(ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ)符号化/復号化では、現在ブロックの周辺ブロックから方向性による予測符号化を実行することができる。

画面内予測では、３３個の方向性予測モードと３個の非方向性予測モードを加えて総３６個の予測モードを有して符号化/復号化を実行する。

図６は、画面内予測のモードを概略的に説明する図面である。

３６個の画面内予測方向モードのうち、方向性がない３個のモードとして、平面モード(Ｐｌａｎａｒ；Ｉｎｔｒａ_Ｐｌａｎａｒ)、平均モード(ＤＣ；Ｉｎｔｒａ_ＤＣ)、及び復元された輝度信号から色差信号を予測するモード(ＬＭ；Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ)が存在する。画面内予測では、この３個の非方向性モードを全部使用することができ、このうち一部のみを利用することもできる。例えば、平面モードと平均モードのみを使用し、ＬＭモードを使用しない。

３６個の画面内予測方向モードに対する符号化は、輝度信号及び色差信号に各々適用されることができる。輝度信号の場合、ＬＭモードは除外されることができ、色差信号の場合、画面内予測方向モードに対する符号化は、表１のように三つの方法により実行されることができる。

表１において、１番目に輝度信号の画面内予測方向モードを色差信号の画面内予測方向モードにそのまま適用する誘導されたモード(ＤＭ：Ｄｅｒｉｖｅｄ Ｍｏｄｅ)が存在し、２番目に実際画面内予測方向モードを適用する符号化モード(ＥＭ：Ｅｘｐｌｉｃｉｔ Ｍｏｄｅ)が存在する。ＥＭモードに符号化される色差信号の画面内予測方向モードは、平面モード(Ｐｌａｎａｒ)、平均モード(ＤＣ)、水平モード(Ｈｏｒ)、垂直モード(Ｖｅｒ)、垂直方向で８番目位置したモード(Ｖｅｒ＋８又は３４番モード)が存在する。最後に復元された輝度信号から色差信号を予測するＬＭモードが存在する。

この三つのモードの符号化/復号化方法の中から最も効率が良いものが選択されることができる。

色差信号を予測して符号化/復号化する方法により復元された輝度信号サンプルから色差信号を予測する方法(Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ)を利用することもできる。この技術は、色差信号と輝度信号の線形的相関関係を利用する。このとき、利用される線形的相関関係の一例は、数式１の通りである。

図７は、数式１の関係を概略的に説明する図面である。

数式１のＰｒｅｄ_ｃ[ｘ,ｙ]は、図７(ａ)の色差(ｃｈｒｏｍａ)信号の予測値を意味し、Ｒｅｃ_Ｌ[ｘ,ｙ]は、色差信号の４：２：０サンプリング比率を合わせるために輝度(ｌｕｍａ)信号を数式２を介して計算した値を意味する。

数式２において、α値とβ値は、ダウンサンプリングされた輝度信号と色差信号との間の加重値(α)及び補償値(β)を示す。

数式１及び数式２を介して取得された色差信号に対する予測映像を利用することで、原本映像との差である差分映像が生成されることができる。

差分映像は、周波数領域変換と量子化を経てエントロピー符号化される。併せて、周波数領域変換には、整数変換、整数離散余弦変換(ＤＣＴ)、整数離散正弦変換(ＤＳＴ)、又は画面内予測モード従属的なＤＣＴ/ＤＳＴなどがある。

前述したように、原本映像と予測映像との差分映像は、周波数領域変換と量子化を経た後、エントロピー符号化されることができる。このとき、エントロピー符号化の効率を上げるために、２次元形態の量子化された映像の係数を１次元形態に再整列することができる。

既存には、ジグザグスキャニング方法を使用した。これと異なり、本明細書では、量子化係数に対するスキャニング方法として、ジグザグスキャニング方法でない上段右側方向(Ｕｐ−ｒｉｇｈｔ)を使用することができる。併せて、周波数領域変換には、整数変換、整数離散余弦変換(ＤＣＴ)、整数離散正弦変換(ＤＳＴ)、又は画面内予測モード従属的なＤＣＴ/ＤＳＴなどがある。

任意のブロックに対する量子化係数は、４×４大きさのサブブロックのグループに分けられて符号化/復号化されることができる。

図８は、重要グループフラグ及び変換係数に対する上段右側方向スキャニングの一例を説明する図面である。

図８は、１６×１６大きさのブロックを４×４大きさのサブブロック１６個に分けて符号化する例を示す。

図８(ａ)は、スキャニングの基本的な方法を示し、図８(ｂ)は、実際量子化係数をスキャニングする場合の例とその結果を簡単に示す。

復号化過程で各サブブロックに変換係数が存在するかどうかは、ビットストリームからパーシングされたｓｉｇｎｉｆｉｃａｎｔ_ｃｏｅｆｆ_ｇｒｏｕｐ_ｆｌａｇ(ｓｉｇＧｒｐＦｌａｇ)を介して確認することができる。ｓｉｇｎｉｆｉｃａｎｔ_ｃｏｅｆｆ_ｇｒｏｕｐ_ｆｌａｇ値が‘１’の場合、当該４×４サブブロックに量子化された変換係数が一つでも存在することを意味し、それに対し、ｓｉｇｎｉｆｉｃａｎｔ_ｃｏｅｆｆ_ｇｒｏｕｐ_ｆｌａｇ値が‘０’の場合、当該４×４サブブロックに量子化された変換係数が存在しないことを意味する。図８における４×４サブブロックに対するスキャニング方向及びｓｉｇｎｉｆｉｃａｎｔ_ｃｏｅｆｆ_ｇｒｏｕｐ_ｆｌａｇに対するスキャニング方向には、両方とも基本的に上段右側(Ｕｐ−ｒｉｇｈｔ)スキャニング方向が適用された。

図８では、上段右側方向のスキャニング方法が適用されることを説明したが、量子化係数に対するスキャニング方法には、上段右側方向(Ｕｐ−ｒｉｇｈｔ)、水平方向(Ｈｏｒｉｚｏｎｔａｌ)、垂直方向(Ｖｅｒｔｉｃａｌ)がある。

画面間予測では、上段右側方向(Ｕｐ−ｒｉｇｈｔ)スキャニング方法を基本的に使用することができ、画面内予測では、上段右側方向(Ｕｐ−ｒｉｇｈｔ)、水平方向(Ｈｏｒｉｚｏｎｔａｌ)、垂直方向(Ｖｅｒｔｉｃａｌ)を選択的に使用することができる。

画面内予測において、スキャニング方向は、画面内予測方向によって異なるように選択されることができる。輝度信号及び色差信号の両方ともに適用されることもできる。

表２は、画面予測方向によってスキャニング方向を決定する方法の一例を説明するものである。

表２において、“ＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅ”は、画面内予測方向を意味し、輝度信号の場合はＩｎｔｒａＰｒｅｄＭｏｄｅ値に該当し、色差信号の場合はＩｎｔｒａＰｒｅｄＭｏｄｅＣ値に該当する。また、“ｌｏｇ２ＴｒａｆｏＳｉｚｅ”は、現在変換ブロックの大きさを‘ｌｏｇ’を使用して表示したものを意味する。

例えば、ＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅが‘１’というのは、“Ｉｎｔｒａ_ＤＣ”モードを意味し、“ｌｏｇ２ＴｒａｆｏＳｉｚｅ−２”が‘１’というのは、８×８ブロックを意味する。

また、表２において、ＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅとｌｏｇ２ＴｒａｆｏＳｉｚｅにより決定される数０、１、２は、スキャン方向を特定する。例えば、表２において、２は上段右側スキャン方向(Ｕｐ−ｒｉｇｈｔ)を示し、１は水平スキャン方向(Ｈｏｒｉｚｏｎｔａｌ)を示し、２は垂直スキャン方向(Ｖｅｒｔｉｃａｌ)を示す。

図９は、画面予測方向によってスキャニング方向を決定する方法の一例を説明するフローチャートである。

図９において、ＩｎｔｒａＰｒｅｄＭｏｄｅは、輝度信号に対する画面内予測方向モードを意味し、ＩｎｔｒａＰｒｅｄＭｏｄｅＣは、色差信号に対する画面内予測方向モードを意味する。ＩｎｔｒａＰｒｅｄＭｏｄｅ(Ｃ)は、信号の成分によって輝度信号であってもよく、色差信号であってもよい。ＳｃａｎＴｙｐｅは、残差信号スキャニング方向を意味し、上段右側方向(ＤＩＡＧ；Ｕｐ−ｒｉｇｈｔ＝０)、水平方向(ＨＯＲ；Ｈｏｒｉｚｏｎｔａｌ＝１)、垂直方向(ＶＥＲ；Ｖｅｒｔｉｃａｌ＝２)がある。

図９の例は、エンコーダ装置とデコーダ装置で実行されることができる。また、エンコーダ装置とデコーダ装置内の所定のモジュールで実行されることもできる。

図１０は、画面予測方向によってスキャニング方向を決定する方法の他の例を簡単に説明するフローチャートである。

図１０の例では、輝度信号に対するスキャニング方法と色差信号に対するスキャニング方法が異なるように表現されている。前記図面において、インデックス(Ｉｎｄｅｘ)は、変換の大きさを示す指示子であり、各変換大きさによるＩｎｄｅｘ値は、下記のように求めることができる。

変換大きさが６４×６４の場合にはＩｎｄｅｘ＝１、変換大きさが３２×３２の場合にはＩｎｄｅｘ＝２、変換大きさが１６×１６の場合にはＩｎｄｅｘ＝３、変換大きさが８×８の場合にはＩｎｄｅｘ＝４、変換大きさが４×４の場合にはＩｎｄｅｘ＝５、変換大きさが２×２の場合にはＩｎｄｅｘ＝６になる。

したがって、前記図面を介して画面内予測方向によるスキャニングは、輝度信号の場合、８×８変換大きさと４×４変換大きさに適用しており、色差信号の場合、最も小さい大きさである４×４変換大きさにのみ適用していることが分かる。また、画面内予測方向によるスキャニングを適用しない場合、全部上段右側方向(ＤＩＡＧ；Ｕｐ−ｒｉｇｈｔ＝０)スキャニングを適用することができる。

画面内予測において、量子化係数を符号化するために表２から求められたスキャニング方向は、８のように、４×４サブブロックに対するスキャニング方向及びｓｉｇｎｉｆｉｃａｎｔ_ｃｏｅｆｆ_ｇｒｏｕｐ_ｆｌａｇに対するスキャニング方向として使われることができる。

前述したように、エンコーディング過程で原本映像と予測映像との差分映像(残余映像)は、周波数領域変換と量子化を経た後、エントロピー符号化される。このとき、周波数領域変換による符号化の効率を上げるために、整数変換、整数離散余弦変換(ＤＣＴ)、整数離散正弦変換(ＤＳＴ)、又は画面内予測モード従属的なＤＣＴ/ＤＳＴなどをブロックの大きさによって選択的又は適応的に適用することができる。

また、デコーディング過程では、エントロピー復号化、逆量子化、周波数領域の逆変換を経て差分映像が復号化される。このとき、整数逆変換、整数離散余弦役変換、整数離散正弦役変換又は画面内予測モード従属的なＤＣＴ/ＤＳＴなどをブロック大きさによって選択的又は適応的に利用することができる。

図１１は、残余映像に対する周波数変換方式を選択する方法の一例を説明するフローチャートである。

まず、現在ブロックが画面内符号化(Ｉｎｔｒａ)で符号化され、且つ輝度信号(Ｌｕｍａ)のブロックでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換方式は、整数変換又は整数離散余弦変換(ＤＣＴ)を適用する。

そうでない場合(現在ブロックが画面内符号化(Ｉｎｔｒａ)で符号化され、且つ輝度信号(Ｌｕｍａ)のブロックである場合)、現在ブロックの輝度信号に対する画面内予測方向モード(ＩｎｔｒａＰｒｅｄＭｏｄｅ)を取得する。

次に、現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックであるかどうかを確認する。もし、現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換方式は、整数変換又は整数離散余弦変換(ＤＣＴ)を適用する。

そうでない場合(現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックである場合)、現在ブロックの画面内予測方向モードを検査する。

もし、現在ブロックの画面内予測方向モードが‘２’より大きく且つ‘１０’より小さい場合、現在ブロックの輝度信号に対する周波数変換方式として、水平方向には整数離散正弦変換(ＤＳＴ)を適用し、垂直方向には整数離散余弦変換(ＤＣＴ)を適用する。

現在ブロックの色差信号に対する周波数変換方式は、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を実行する。

一方、もし、現在ブロックの画面内予測方向モードが‘０’であり、又は‘１１’より大きく且つ‘２５’より小さい場合、現在ブロックの輝度信号に対する周波数変換方式として、水平垂直方向の両方ともに整数離散正弦変換(ＤＳＴ)を適用する。

現在ブロックの色差信号に対する周波数変換方式では、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を実行する。

一方、もし、現在ブロックの画面内予測方向モードが‘２６’より大きく且つ‘３４’より小さい場合、現在ブロックの輝度信号に対する周波数変換方式として、水平方向には整数離散余弦変換(ＤＣＴ)を適用し、垂直方向には整数離散正弦変換(ＤＳＴ)を適用する。

現在ブロックの色差信号に対する周波数変換方式では、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を実行する。

そうでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換方式として、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を適用する。

図１１で、ｉＷｉｄｔｈは、変換の大きさを示す指示子であり、各変換大きさによるｉＷｉｄｔｈ値は、下記のように求めることができる。

変換大きさが６４×６４の場合にはｉＷｉｄｔｈ＝６４、変換大きさが３２×３２の場合にはｉＷｉｄｔｈ＝３２、変換大きさが１６×１６の場合にはｉＷｉｄｔｈ＝１６、変換大きさが８×８の場合にはｉＷｉｄｔｈ＝８、変換大きさが４×４の場合にはｉＷｉｄｔｈ＝４、変換大きさが２×２の場合にはｉＷｉｄｔｈ＝２になる。

図１１と関連して、スケールされた変換係数のための変換過程(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｓｃａｌｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ)は、下記の通りである。

<スケールされた変換係数のための変換過程>

ここでの入力は、下記の通りである。

−現在変換ブロックの幅Ｗｉｄｔｈ：ｎＷ

−現在変換ブロックの高さＨｅｉｇｈｔ：ｎＨ

−要素(ｅｌｅｍｅｎｔ)ｄ_ｉｊを有するスケールされた変換係数の配列：(ｎＷ×ｎＨ)配列(ａｒｒａｙ)ｄ

−現在ブロックの輝度信号及び色差信号に対するインデックス：ｃＩｄｘ

−もし、ｃＩｄｘが‘０’の場合、輝度信号を意味し、ｃＩｄｘが‘１’であり、又はｃＩｄｘが‘２’の場合、色差信号を意味する。また、ｃＩｄｘが‘１’の場合、色差信号でＣｂを意味し、ｃＩｄｘが‘２’の場合、色差信号でＣｒを意味する。

ここでの出力は、下記の通りである。

−スケールされた変換係数を逆変換して求められた残余信号に対する配列：(ｎＷ×ｎＨ)配列(ａｒｒａｙ)ｒ

現在ブロックに対する符号化モード(ＰｒｅｄＭｏｄｅ)が画面内予測モード(Ｉｎｔｒａ)であり、且つＬｏｇ２(ｎＷ＊ｎＨ)値が‘４’であり、ｃＩｄｘ値が‘０’の場合、輝度信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、以下の表３を介して求められる。もし、そうでない場合、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは‘０’に設定する。

変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅ値を有してスケールされた変換係数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(ｎＷ,ｎＨ)とスケールされた変換係数配列(ｎＷ×ｎＨ ａｒｒａｙ ｄ)、変数ｈｏｒｉｚＴｒＴｙｐｅの入力を受け、水平方向に１次元逆変換を実行することで、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)を出力する。

次に、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)の入力を受けて配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)を数式３のように誘導する。

ｇ_ｉｊ＝Ｃｌｉｐ３(−３２７６８,３２７６７,(ｅ_ｉｊ＋６４)>>７)

次に、現在ブロックの大きさ(ｎＷ,ｎＨ)と配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)、変数ｖｅｒｔＴｒＴｙｐｅの入力を受けて垂直方向に１次元逆変換を実行する。

次に、ｃＩｄｘによって残余信号に対する配列(ｎＷ×ｎＨ ａｒｒａｙ ｒ)を数式４のように設定する。

ここで、‘ｓｈｉｆｔ’は、ｃＩｄｘが‘０’の場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｙであり、そうでない場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｃ値を有し、ＢｉｔＤｅｐｔｈは、現在映像に対するサンプルのビット数(例えば、８ビット)を意味する。

前述したように、色差信号を予測する方法により復元された輝度信号サンプルから色差信号を予測する方法(Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ)を利用することもできる。

Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ方法を利用して符号化された色差成分に対する残余信号(誤差信号：ｒｅｓｉｄｕａｌ)は、画面内方向モードが存在しないため、基本的に上段右側方向(Ｕｐ−ｒｉｇｈｔ＝０)にスキャニングされて符号化が実行される。

しかし、Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ方法は、輝度信号と色差信号との類似性を利用するため、Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ方法により得られた色差信号に対する残余信号は、輝度信号の残余信号と類似する特性を有する可能性が高い。このような特性を利用して色差信号の残余信号に対する符号化効率を上げることができる。

また、４×４輝度信号ブロックに対しては、輝度信号の画面内予測方向モードによって整数離散余弦変換(ＤＣＴ)及び整数離散正弦変換(ＤＳＴ)を水平垂直方向に異なるように適用して符号化効率を上げた。これに対し、従来４×４色差信号ブロックに対しては整数離散余弦変化(ＤＣＴ)のみを使用している。

色差信号の残余映像に対する特性は、輝度信号の残余映像に対する特性と類似する可能性がある。したがって、輝度信号の残余映像に適用された画面内予測方向モードによる選択的周波数変換方式を色差信号の残余映像にも適用して符号化効率を上げることができる。

また、色差信号を予測する方法により復元された輝度信号サンプルから色差信号を予測する方法(Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ)は、輝度信号と色差信号との類似性を利用するため、Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ方法により得られた色差信号に対する残余信号が輝度信号の残余信号と類似する特性を有する可能性が高い。このような特性を利用して色差信号の残余信号に対する選択的周波数変換方式を利用することで、符号化効率を上げることができる。

このように、Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ方法は、輝度信号と色差信号との類似性を利用した画面内予測方法である。輝度信号と色差信号が類似するという特性を利用することで、色差信号の残余信号に対するスキャニング方向を輝度信号の画面内予測方向から誘導することができる。

本明細書では、以下、色差信号に対するスキャニング方向を誘導する方法及び装置に対して具体的に説明する。

［実施例１］色差信号に対するスキャニング方向を輝度信号の画面内予測方向モードに誘導する方法及び装置

図１２は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一例を説明するフローチャートである。

図１２の例において、色差信号に対するスキャニング方向の誘導は、輝度信号の画面内予測方向モードに決定されることができる。即ち、輝度信号に対するスキャニング方向が色差信号にそのまま適用されることができる。したがって、色差信号のスキャニング方向を誘導するための計算が必要ないため、複雑度減少効果が存在する。

図１２の動作は、図１のエンコーディング装置及び図２のデコーディング装置で実行されることができる。

図１２を参照すると、現在ブロックの輝度成分が画面内予測されたかどうかが判断される(Ｓ１２１０)。現在ブロックが画面内予測されない場合(画面間予測された場合)現在ブロックの色差成分と輝度成分に対しては上段右側方向のスキャニングが実行される(Ｓ１２６０)。即ち、現在ブロックの輝度成分に対するスキャンタイプと色差成分に対するスキャンタイプが両方とも上段右側方向のスキャンになる。

現在ブロックの輝度成分が画面内予測され、現在ブロックの輝度成分に対する画面内予測モードが６以上１４以下であるかどうかが判断される(Ｓ１２２０)。即ち、現在ブロックの輝度成分に対する画面内予測モードが水平方向の画面内予測モード又は水平に近い方向の画面内予測モードであるかどうかが判断される(Ｓ１２２０)。

現在ブロックの輝度成分に対する画面内予測モードが６以上１４以下である場合、現在ブロックに対する輝度成分と色差成分に対しては垂直方向のスキャニングが実行される(Ｓ１２４０)。即ち、現在ブロックの輝度成分に対するスキャンタイプと色差成分に対するスキャンタイプが両方とも垂直方向のスキャンになる。

現在ブロックの輝度成分が画面内予測されたが、現在ブロックの輝度成分に対する画面内予測モードが６以上１４以下でない場合、現在ブロックの輝度成分に対する画面内予測モードが２２以上３０以下であるかどうかが判断される(Ｓ１２３０)。即ち、現在ブロックの輝度成分に対する画面内予測モードが垂直方向の画面内予測モード及び垂直に近い方向の画面内予測モードであるかどうかが判断される。

現在ブロックの輝度成分に対する画面内予測モードが２２以上３０以下である場合、現在ブロックに対する輝度成分と色差成分に対しては水平方向のスキャニングが実行される(Ｓ１２５０)。即ち、現在ブロックの輝度成分に対するスキャンタイプと色差成分に対するスキャンタイプが両方とも水平方向のスキャンになる。

現在ブロックの輝度成分が画面内予測されたが、現在ブロックの輝度成分に対する画面内予測モードが６以上１４以下でも２２以上３０以下でもない場合には、現在ブロックの輝度成分と色差成分に対して上段右側方向のスキャンが適用される(Ｓ１２６０)。

図１３は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の他の例を説明するフローチャートである。図１３の例によると、輝度信号に対するスキャニング方法と色差信号に対するスキャニング方法が統一される効果を得ることができる。

図１３の動作は、図１の符号化装置及び図２の復号化装置で実行されることができる。

図１３を参照すると、まず、現在ブロックが画面内予測されたかどうかが判断される(Ｓ１３１０)。

画面内予測されない場合、現在ブロックの輝度信号及び色差信号に対しては上段右側方向のスキャンが適用される(Ｓ１３９０)。

現在ブロックが画面内予測された場合、現在ブロックの大きさがインデックスに転換される(Ｓ１３２０)。例えば、現在ブロックの大きさを特定するインデックスが設定されることができる。

次に、現在ブロックの画面内予測モードに対する情報、ＩｎｔｒａＰｒｅｄＭｏｄｅが取得されることができる(Ｓ１３３０)。現在ブロックに対する画面内予測モードを指示する情報ＩｎｔｒａＰｒｅｄＭｏｄｅは、図６に基づいて取得されることができる。

現在ブロックに対してＳ１３２０ステップで設定されたインデックスが３より大きく且つ６より小さいかどうかが判断される(Ｓ１３４０)。現在ブロックに対するインデックスが３より大きく且つ６より小さい場合でないと、現在ブロックの輝度信号及び色差信号に対しては上段右側方向のスキャンが適用される(Ｓ１３９０)。

現在ブロックに対するインデックスが３より大きく且つ６より小さい場合、現在ブロックの色差信号に対する画面内予測モードが６以上１４以下であるかどうかが判断される(Ｓ１３５０)。現在ブロックの色差信号に対する画面内予測モードが６以上１４以下である場合、現在ブロックの色差信号に対して垂直方向のスキャンが適用される(Ｓ１３７０)。

現在ブロックの色差信号に対する画面内予測モードが６以上１４以下でない場合、現在ブロックの色差信号に対する画面内予測モードが２２以上３０以下であるかどうかが判断される(Ｓ１３６０)。現在ブロックの色差信号に対する画面内予測モードが２２以上３０以下である場合、現在ブロックの色差信号に対して水平方向のスキャンが適用される(Ｓ１３８０)。

現在ブロックの色差信号に対する画面内予測モードが６以上１４以下でも２２以上３０以下でもない場合、現在ブロックの色差信号に対して上段右側方向のスキャンが適用される(Ｓ１３９０)。

図１３の例は、図１２の例と異なり、現在ブロックの色差信号に対する画面内予測モードを判断してスキャンタイプを決定するが、図１２の場合と同様に、色差信号と輝度信号のスキャニング方法が同じ方法により決定される。

即ち、図１３のフローチャートは、輝度信号のスキャニングにも同一に適用されることができる。Ｓ１３５０ステップとＳ１３６０において、括弧を使用してＩｎｔｒａＰｒｅｄＭｏｄｅ(Ｃ)と表示した理由は、輝度信号に対してはＩｎｔｒａＰｒｅｄＭｏｄｅを介して輝度信号に対する画面内予測モードを特定して適用し、色差信号に対してはＩｎｔｒａＰｒｅｄＭｏｄｅＣを介して色差信号に対する画面内予測モードを特定して適用することができるということを意味する。

したがって、図１３のフローチャートは、輝度信号と色差信号に同一に適用することができ、輝度信号に対するスキャニングタイプと色差信号に対するスキャニングタイプは同じ方法により各々決定されることができる。このとき、スキャニングタイプは、垂直方向のスキャン、水平方向のスキャン、上段右側方向のスキャンのうちいずれか一つになる。

前述した図１２及び図１３の例を変換単位(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、以下‘ＴＵ’という)に対するシンタックス構造に反映すると、表４の通りである。

表４は、本実施例１によるＴＵシンタックスの一例を示す。

ここで、Ｔｒａｎｓｆｏｒｍ_ｕｎｉｔは、一つのＴＵブロックに対するビットストリームの順序を意味する。ｌｏｇ２ＴｒａｆｏＳｉｚｅは、入力されたｌｏｇ２ＴｒａｆｏＷｉｄｔｈとｌｏｇ２ＴｒａｆｏＨｅｉｇｈｔとの間の和を右側シフト(Ｓｈｉｆｔ)演算した結果を意味し、輝度信号に対するＴＵブロック大きさを意味する。ｌｏｇ２ＴｒａｆｏＳｉｚｅＣは、色差信号に対するＴＵブロック大きさを意味する。

ＰｒｅｄＭｏｄｅは、現在ブロックに対する符号化モードを意味し、画面内符号化の場合‘Ｉｎｔｒａ’であり、画面間符号化の場合‘Ｉｎｔｅｒ’である。ｓｃａｎＩｄｘは、現在ＴＵブロックの輝度信号に対するスキャニング方向情報を示し、上段右側方向(ＤＩＡＧ；Ｕｐ−ｒｉｇｈｔ＝０)、水平方向(ＨＯＲ；Ｈｏｒｉｚｏｎｔａｌ＝１)、垂直方向(ＶＥＲ；Ｖｅｒｔｉｃａｌ＝２)がある。

ｓｃａｎＩｄｘＣは、現在ＴＵブロックの色差信号に対するスキャニング方向情報を示し、上段右側方向(ＤＩＡＧ；Ｕｐ−ｒｉｇｈｔ＝０)、水平方向(ＨＯＲ；Ｈｏｒｉｚｏｎｔａｌ＝１)、垂直方向(ＶＥＲ；Ｖｅｒｔｉｃａｌ＝２)がある。

ＳｃａｎＴｙｐｅ（スキャンタイプ）は、表２の画面予測方向によるスキャニング方向を決定する方法のテーブルに基づいて決定される。

ＩｎｔｒａＰｒｅｄＭｏｄｅは、輝度信号に対する画面内予測方向情報を意味し、ＩｎｔｒａＰｒｅｄＭｏｄｅＣは、色差信号に対する画面内予測方向情報を意味する。

表４と関連して、変換係数レベルは、ｔｒａｎｓＣｏｅｆｆＬｅｖｅｌ配列にパーシングされることができる。このとき、ＰｒｅｄＭｏｄｅがＩｎｔｒａである場合、画面内予測方向モードによって各々異なるスキャニング方向が適用される。このようなスキャニング方向は、表２のＳｃａｎＴｙｐｅ配列から得られることができる。

色差信号のスキャニング方向は、輝度信号のスキャニング方向をそのまま使用することができる。

［実施例２−１］色差信号の画面内予測方向モードが“Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ”の場合、輝度信号のスキャニング方向を色差信号にそのまま使用する方法及び装置

図１４は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一実施例を示すフローチャートである。

図１４を参照すると、現在ブロックの色差信号の画面内予測方向モードが画面内予測モードであるかどうかを判断する(Ｓ１４１０)。画面内予測モードが適用されない場合、現在ブロックに対しては上段右側方向のスキャンが適用される。

現在ブロックがイントラ予測された場合、現在ブロックの色差信号に対する画面内予測モードがＩｎｔｒａ_ＦｒｏｍＬｕｍａであるかどうかが判断される(Ｓ１４２０)。現在ブロックの色差信号に対する画面内予測モードがＩｎｔｒａ_ＦｒｏｍＬｕｍａの場合、現在ブロックの輝度信号に対する画面内予測モードを現在ブロックの色差信号に対する画面内予測モードに設定する(Ｓ１４４０)。

即ち、現在ブロックの色差信号に対する画面内予測モードが“Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ”の場合、色差信号の画面内予測方向モードに輝度信号の画面内予測方向モードを入力して色差信号に対するスキャニング方向を誘導することができる。即ち、色差信号の画面内予測方向モードが“Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ”の場合には、輝度信号のスキャニング方向をそのまま使用することができる。

次に、現在ブロックの色差信号に対する画面内予測モードが６以上１４以下であるかどうかが判断される(Ｓ１４３０)。現在ブロックの色差信号に対する画面内予測モードが６以上１４以下である場合、現在ブロックの色差信号に対して垂直方向のスキャンが適用される(Ｓ１４６０)。

現在ブロックの色差信号に対する画面内予測モードが６以上１４以下でない場合、現在ブロックの色差信号に対する画面内予測モードが２２以上３０以下であるかどうかが判断される(Ｓ１４５０)。現在ブロックの色差信号に対する画面内予測モードが２２以上３０以下である場合、現在ブロックの色差信号に対して水平方向のスキャンが適用される(Ｓ１４７０)。

現在ブロックの色差信号に対する画面内予測モードが６以上１４以下でも２２以上３０以下でもない場合、現在ブロックの色差信号に対して上段右側方向のスキャンが適用される(Ｓ１４８０)。

［実施例２−２］色差信号の画面内予測方向が輝度信号の画面内予測方向と同じ、又は色差信号の画面内予測モードが“Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ”モードの場合、輝度信号のスキャニング方向を色差信号にそのまま使用する方法及び装置

図１５は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一実施例を説明するフローチャートである。

図１５を参照すると、ＤＭ(輝度信号の画面内予測方向モードを色差信号の画面内予測方向モードとして使用する方法又は色差信号の画面内予測方向が輝度信号の画面内予測方向と同じになる場合を意味)とＬＭ(Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ)方法が一つで統一されることを確認することができる。

まず、現在ブロックが画面内予測されたかどうかが判断される(Ｓ１５０５)。画面内予測でない場合、現在ブロックに対して上段右側方向のスキャンが適用される(Ｓ１５７５)。

現在ブロックが画面内予測された場合、現在ブロックの幅がインデックスに転換される(Ｓ１５１０)。

判断対象サンプルが輝度信号であるかどうかが判断される(Ｓ１５１５)。輝度信号でない場合、現在ブロックにＤＭ又はＬＭが適用されるかどうかを判断し(Ｓ１５３０)、判断対象が輝度信号の場合、画面内予測モードを指示する情報を取得する(Ｓ１５２０)。

応用分野によるプロファイリングのためにＬＭモードを使用せずにＤＭモードのみを使用して色差信号の画面内符号化又は復号化を進行するように制限された場合に本発明を適用すると、図１５の例において、Ｓ１５３０ステップを適用する時、ＬＭが適用されるかに対する判断をせずにＤＮが適用されるかどうかに対してのみ判断することもできる。

対象が輝度信号の時、Ｓ１５２５でインデックスが３より大きく且つ６より小さい場合(即ち、変換大きさが８×８又は４×４の場合)、現在ブロックの輝度信号に対する画面内予測モードが６以上１４以下であるかどうかを判断する(Ｓ１５５５)。現在ブロックの輝度信号に対する画面内予測モードが６以上１４以下である場合、現在ブロックの輝度信号に対して垂直方向のスキャンが適用される(Ｓ１５６５)。

また、現在ブロックの輝度信号に対する画面内予測モードが２２以上３０以下であるかどうかを判断(Ｓ１５６０)し、水平方向のスキャンが適用され(Ｓ１５７０)、又は上段右側方向のスキャンが適用される(Ｓ１５７５)。

一方、対象が色差信号である場合、現在ブロックのモードがＤＭ又はＬＭであるかどうかが判断される(Ｓ１５３０)。現在ブロックの色差信号に対するモードがＤＭ又はＬＭでない場合、色差信号に対する画面内予測モードを指示する情報を取得し(Ｓ１５４５)、ＤＭ又はＬＭである場合、輝度信号に対する画面内予測モードを指示する情報を取得した後(Ｓ１５３５)、色差信号のスキャン方向決定のために色差信号に対する画面内予測モードを輝度信号に対する画面内予測モードに設定する(Ｓ１５４０)。

次に、インデックスが４より大きく且つ７より小さいかどうか(即ち、変換大きさが４×４又は２×２であるかどうか)が判断される(Ｓ１５５０)。インデックスが４より大きく且つ７より小さい場合でないと、現在ブロックの色差信号に上段右側方向のスキャンが適用される(Ｓ１５７５)。

インデックスが４より大きく且つ７より小さい場合には、現在ブロックの色差信号に対する画面内予測モードが６以上１４以下であるかどうかを判断する(Ｓ１５５５)。現在ブロックの色差信号に対する画面内予測モードが６以上１４以下である場合、現在ブロックの色差信号に対して垂直方向のスキャンが適用される(Ｓ１５６５)。

また、現在ブロックの色差信号に対する画面内予測モードが２２以上３０以下であるかどうかを判断(Ｓ１５６０)し、水平方向のスキャンが適用され(Ｓ１５７０)、又は上段右側方向のスキャンが適用される(Ｓ１５７５)。

前述した図１４及び図１５の例を変換単位(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、以下‘ＴＵ’という)に対するシンタックス構造に反映すると、表５の通りである。

表５は、本実施例１によるＴＵシンタックスの一例を示す。

ここで、Ｔｒａｎｓｆｏｒｍ_ｕｎｉｔは、一つのＴＵブロックに対するビットストリームの順序を意味する。ｌｏｇ２ＴｒａｆｏＳｉｚｅは、入力されたｌｏｇ２ＴｒａｆｏＷｉｄｔｈとｌｏｇ２ＴｒａｆｏＨｅｉｇｈｔとの間の和を右側シフト(Ｓｈｉｆｔ)演算した結果を意味し、輝度信号に対するＴＵブロック大きさを意味する。

ｌｏｇ２ＴｒａｆｏＳｉｚｅＣは、色差信号に対するＴＵブロック大きさを意味する。
ＰｒｅｄＭｏｄｅは、現在ブロックに対する符号化モードを意味し、画面内符号化の場合‘Ｉｎｔｒａ’であり、画面間符号化の場合‘Ｉｎｔｅｒ’である。

ｓｃａｎＩｄｘは、現在ＴＵブロックの輝度信号に対するスキャニング方向情報を示し、上段右側方向(ＤＩＡＧ；Ｕｐ−ｒｉｇｈｔ＝０)、水平方向(ＨＯＲ；Ｈｏｒｉｚｏｎｔａｌ＝１)、垂直方向(ＶＥＲ；Ｖｅｒｔｉｃａｌ＝２)がある。

ｓｃａｎＩｄｘＣは、現在ＴＵブロックの色差信号に対するスキャニング方向情報を示し、上段右側方向(ＤＩＡＧ；Ｕｐ−ｒｉｇｈｔ＝０)、水平方向(ＨＯＲ；Ｈｏｒｉｚｏｎｔａｌ＝１)、垂直方向(ＶＥＲ；Ｖｅｒｔｉｃａｌ＝２)がある。

ＳｃａｎＴｙｐｅは、表２の予測方向によるスキャニング方向を決定する方法に基づいて決定されることができる。

ＩｎｔｒａＰｒｅｄＭｏｄｅは、輝度信号に対する画面内予測方向情報を意味し、ＩｎｔｒａＰｒｅｄＭｏｄｅＣは、色差信号に対する画面内予測方向情報を意味する。前記シンタックス表に示すように、もし、ＩｎｔｒａＰｒｅｄＭｏｄｅＣ値がＩｎｔｒａ_ＦｒｏｍＬｕｍａの場合には、輝度信号で使用したスキャニング方向を色差信号にそのまま適用する。

表５と関連して、変換係数レベルは、ｔｒａｎｓＣｏｅｆｆＬｅｖｅｌ配列にパーシングされる。このとき、ＰｒｅｄＭｏｄｅがＩｎｔｒａである場合、画面内予測方向モードによって各々異なるスキャニング方向が適用される。このようなスキャニング方向は、以下の表のＳｃａｎＴｙｐｅ配列から得られることができる。明るさ信号に対するスキャニング方向指示子であるｓｃａｎＩｄｘを得ようとする時は、以下の表のＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅ値として明るさ信号画面内予測モードを示すＩｎｔｒａＰｒｅｄＭｏｄｅ値を使用し、色差信号に対するスキャニング方向指示子であるｓｃａｎＩｄｘＣを得ようとする時は、表６のＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅ値として色差信号画面内予測モードを示すＩｎｔｒａＰｒｅｄＭｏｄｅＣ値を使用する。

表６は、スキャンタイプを決定する方法の一例を示す。

表６において、スキャンタイプＳｃａｎＴｙｐｅは、ｌｏｇ２ＴｒａｆｏＳｉｚｅとＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅにより次のように決定されることができる：ＳｃａｎＴｙｐｅ[ｌｏｇ２ＴｒａｆｏＳｉｚｅ−２][ＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅ]

前述したように、変換係数レベルは、ｔｒａｎｓＣｏｅｆｆＬｅｖｅｌ配列にパーシングされる。このとき、ＰｒｅｄＭｏｄｅが‘Ｉｎｔｒａ’である場合、画面内予測方向モードによって各々異なるスキャニング方向が適用される。

このとき、ＳｃａｎＴｙｐｅ[ｌｏｇ２ＴｒａｆｏＳｉｚｅ−２][ＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅ]は、輝度信号変換ブロックの大きさ(ｌｏｇ２ＴｒａｆｏＳｉｚｅ)と画面内予測方向モード(ＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅ)によって表７のシンタックスによって設定されることができる。

輝度信号に対するスキャニング方向指示子であるｓｃａｎＩｄｘを得ようとする時は、表２のＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅ値として輝度信号の画面内予測モードを示すＩｎｔｒａＰｒｅｄＭｏｄｅ値を使用し、色差信号に対するスキャニング方向指示子であるｓｃａｎＩｄｘＣを得ようとする時は、表２のＩｎｔｒａＰｒｅｄＭｏｄｅＶａｌｕｅ値として色差信号画面内予測モードを示すＩｎｔｒａＰｒｅｄＭｏｄｅＣ値を使用する。

本実施例では、現在色差ブロックが“Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ”モードに符号化された時だけでなく、下記のような場合にも適用することができる。

１．色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけた後、オフセットを加える全ての方式に対して本実施例を適用することができる。

２．色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロックに対するテンプレートシフト(ｔｅｍｐｌａｔｅ ｓｈｉｆｔ)を利用することで、色差ブロックを予測する全ての方式に対して本実施例を適用することができる。ここで、テンプレートシフトは、輝度信号と色差信号との間の相関性を類推するために使用する。

その他、本実施例は、多様に適用することができる。

例えば、本実施例は、ブロック大きさ又はＣＵ深さ又はＴＵ深さ等によって適用範囲を異なるようにすることができる。このように適用範囲を決定する変数(即ち、大きさ又は深さ情報)は、符号化器及び復号化器が予め決められた値を使用するように設定することもでき、プロファイル又はレベルによって決められた値を使用するようにすることもでき、符号化器が変数値をビットストリームで記載すると、復号化器は、ビットストリームからこの値を求めて使用することもできる。

ＣＵ深さによって適用範囲を異なるようにする時は、表８に例示したように、次の三つの方式のうちいずれか一つを適用することができる：方式Ａ)与えられた深さ以上の深さにのみ適用する方式、方式Ｂ)与えられた深さ以下にのみ適用する方式、方式Ｃ)与えられた深さにのみ適用する方式。

表８は、与えられたＣＵ(又は、ＴＵ)深さが２の場合、本実施例の各方法を適用する範囲を決定する方式の例を示す。表８において、Ｏは、当該深さに適用するということを示し、Ｘは、当該深さに適用しないということを示す。

全ての深さに対して本発明の方法を適用しない場合は、任意の指示子(ｆｌａｇ)を使用して示すこともでき、適用範囲を示すＣＵ深さ値としてＣＵ深さの最大値より一つ大きい値をシグナリングすることで表現することもできる。

また、前述した本発明の方法を適用する範囲を決定する方式を、前述した実施例１と後述する実施例に各々又は組合せて適用することもできることに留意する。

［実施例３］色差信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法及び装置

本実施例では、輝度信号の残余映像に適用された画面内予測方向モードによる選択的周波数変換方式を色差信号の残余映像にも適用することによって符号化効率を上げることができる。

また、本実施例では、Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ方法により得られた色差信号に対する残余信号は、輝度信号の残余信号と類似する特性を有するという性質を利用して選択的に周波数変換をすることができる。

図１６は、本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャートである。

図１６を参照すると、まず、現在ブロックが画面内符号化(Ｉｎｔｒａ)で符号化され、且つ現在ブロックが４×４大きさ(ｔｒａｆｏＳｉｚｅ(又は、ｉＷｉｄｔｈ)＝＝４)のブロックの場合(Ｓ１６０５)、現在ブロックに対する周波数変換方式は、整数離散正弦変換(ＤＳＴ)又は整数離散余弦変換(ＤＣＴ)を適用する。そうでない場合(Ｓ１６０５)、現在ブロックの周波数変換方式は、ＤＣＴを適用することができる(Ｓ１６６０)。

次に、現在ブロックが輝度ブロックの場合(Ｓ１６１０)、輝度信号に対する画面内予測方向モード(ＩｎｔｒａＰｒｅｄＭｏｄｅ)を取得する(Ｓ１６２０)。ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。

もし、色差ブロックの場合(Ｓ１６１０)、ＤＭモードであるかどうかを判断する(Ｓ１６１５)。

もし、現在ブロックが色差ブロックであり、且つＤＭブロックの場合、ＤＣＴを適用することができる(Ｓ１６６０)。一方、もし、現在ブロックが色差ブロックであり、且つＤＭブロックでない場合、色差信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる(Ｓ１６２５)。

ここで、色差ブロックがＤＭモードに符号化された場合、ＤＭモードのうち、ＥＭモード(平面モード(Ｐｌａｎａｒ)、平均モード(ＤＣ)、水平モード(Ｈｏｒ)、垂直モード(Ｖｅｒ)、垂直方向で８番目位置したモード(Ｖｅｒ＋８又は３４番モード))に該当する画面内予測方向モードは、ＤＳＴ又はＤＣＴ又はそれ以外の周波数変換方法を適用することができる。

次に、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘２’より大きく且つ‘１０’より小さい場合(Ｓ１６２０)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平方向には整数離散正弦変換(ＤＳＴ)を適用し、垂直方向には整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ１６４５)。

一方、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘０’(Ｐｌａｎａｒ)であり、又は‘１１’より大きく且つ‘２５’より小さい場合(Ｓ１６３５)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平垂直方向の両方ともに整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ１６５０)。

また、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘２６’より大きく且つ‘３４’より小さい場合(Ｓ１６４０)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平方向には整数離散余弦変換(ＤＣＴ)を適用し、垂直方向には整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ１６５５)。

そうでない場合、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ１６６０)。

前述した図１６の方法を、スケールされた変換係数のための変換過程(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｓｃａｌｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ)に下記のように反映することができる。

図１６の例を反映したスケールされた変換係数のための変換過程

ここでの入力は、下記の通りである。

−現在変換ブロックの幅Ｗｉｄｔｈ：ｎＷ

−現在変換ブロックの高さＨｅｉｇｈｔ：ｎＨ

−要素(ｅｌｅｍｅｎｔ)ｄ_ｉｊを有するスケールされた変換係数の配列：(ｎＷ×ｎＨ)配列ｄ

現在ブロックの輝度信号及び色差信号に対するインデックス：ｃＩｄｘ

−もし、ｃＩｄｘが‘０’の場合、輝度信号を意味し、ｃＩｄｘが‘１’であり、又はｃＩｄｘが‘２’の場合、色差信号を意味する。また、ｃＩｄｘが‘１’の場合、色差信号でＣｂを意味し、ｃＩｄｘが‘２’の場合、色差信号でＣｒを意味する。

ここでの出力は、下記の通りである。

−スケールされた変換係数を逆変換して求められた残余信号に対する配列：(ｎＷ×ｎＨ)配列ｒ

現在ブロックに対する符号化モード(ＰｒｅｄＭｏｄｅ)が画面内予測モード(Ｉｎｔｒａ)であり、且つＬｏｇ２(ｎＷ＊ｎＨ)値が‘４’であり、輝度信号の場合には、輝度信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表９を介して求められる。

色差信号の場合には、色差信号の画面内予測符号化モードが‘４’より小さい場合、色差信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表９を介して求められる。もし、そうでない場合、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは‘０’に設定される。

色差信号の画面内予測方向モードが‘３５’の場合には、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは‘０’に設定される。

変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅ値を有してスケールされた変換係数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(ｎＷ,ｎＨ)とスケールされた変換係数配列(ｎＷ×ｎＨ ａｒｒａｙ ｄ)、変数ｈｏｒｉｚＴｒＴｙｐｅの入力を受け、水平方向に１次元逆変換を実行することで、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)を出力する。

次に、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)の入力を受けて配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)を数式５のように誘導する。

次に、現在ブロックの大きさ(ｎＷ,ｎＨ)と配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)、変数ｖｅｒｔＴｒＴｙｐｅの入力を受けて垂直方向に１次元逆変換を実行する。

次に、ｃＩｄｘによって残余信号に対する配列(ｎＷ×ｎＨ ａｒｒａｙ ｒ)を数式６のように設定する。

ここで、シフト(ｓｈｉｆｔ)は、ｃＩｄｘが‘０’の場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｙであり、そうでない場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｃ値を有し、ＢｉｔＤｅｐｔｈは、現在映像に対するサンプルのビット数(例えば、８ビット)を意味する。

図１７は、本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。

図１７を参照すると、まず、現在ブロックが画面内符号化(Ｉｎｔｒａ)で符号化されたかどうかを判断(Ｓ１７１０)し、画面内符号化された場合、現在ブロックに対する周波数変換方式は、整数離散正弦変換(ＤＳＴ)又は整数離散余弦変換(ＤＣＴ)を適用する(Ｓ１７５５)。

そうでない場合(現在ブロックが画面内符号化(Ｉｎｔｒａ)で符号化されない場合)、現在ブロックの輝度又は色差信号に対する画面内予測方向モード(ＩｎｔｒａＰｒｅｄＭｏｄｅ(Ｃ))を取得する(Ｓ１７１５)。ここで、輝度信号に対する周波数変換方式を誘導する時は、ＩｎｔｒａＰｒｅｄＭｏｄｅ(Ｃ)がＩｎｔｒａＰｒｅｄＭｏｄｅ(輝度信号に対する画面内予測方向モード)に変更され、色差信号に対する周波数変換方式を誘導する時は、ＩｎｔｒａＰｒｅｄＭｏｄｅ(Ｃ)がＩｎｔｒａＰｒｅｄＭｏｄｅＣ(色差信号に対する画面内予測方向モード)に変更される。ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。そして、現在ブロックの色差信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。

このとき、周波数変換方式を選択するための画面内予測方向モードは、下記の１〜３のうちいずれか一つのように多様な方法により取得することができる。

１．現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号及び色差信号に対する残余映像に全部適用して周波数変換方式を誘導するのに使用することができる。

２．現在ブロックの色差信号に対する画面内予測方向モードを、輝度信号及び色差信号に対する残余映像に全部適用して周波数変換方式を誘導するのに使用することができる。

３．現在ブロックの輝度信号に対しては整数離散余弦変換(ＤＣＴ)又は整数離散正弦変換(ＤＳＴ)のみを使用することができる。そして、現在ブロックの色差信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。

その他、多様な方法により周波数変換方式が誘導されることができる。

次に、現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックであるかどうかが判断される(Ｓ１７２０)。もし、現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックでない場合、現在ブロックに対する周波数変換方式は、整数変換又は整数離散余弦変換(ＤＣＴ)を適用する(Ｓ１７５５)。

そうでない場合(現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックである場合)、現在ブロックの画面内予測方向モードを検査する。

もし、現在ブロックの画面内予測方向モードが‘２’より大きく且つ‘１０’より小さい場合(Ｓ１７２５)、現在ブロックに対する周波数変換方式として、水平方向には整数離散正弦変換(ＤＳＴ)を適用し、垂直方向には整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ１７４０)。

一方、もし、現在ブロックの画面内予測方向モードが‘０’であり、又は‘１１’より大きく且つ‘２５’より小さい場合(Ｓ１７３０)、現在ブロックに対する周波数変換方式として、水平垂直方向の両方ともに整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ１７４５)。

一方、もし、現在ブロックの画面内予測方向モードが‘２６’より大きく且つ‘３４’より小さい場合(Ｓ１７３５)、現在ブロックに対する周波数変換方式として、水平方向には整数離散余弦変換(ＤＣＴ)を適用し、垂直方向には整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ１７５０)。

そうでない場合、現在ブロックに対する周波数変換方式として、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ１７５５)。

このとき、画面内予測方向モードによる周波数変換方式は、多様に使われることができる。例えば、現在ブロックの画面内予測方向モードが‘２’より大きく且つ‘１０’より小さい場合、前記例のように、周波数変換方式を適用することもできる。他の方法として、現在ブロックに対する周波数変換方式として、水平方向には整数離散余弦変換(ＤＣＴ)を適用し、垂直方向には整数離散正弦変換(ＤＳＴ)を適用することができる。また、他の方法として、現在ブロックに対する周波数変換方式として、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を適用することもでき、又は水平垂直方向の両方ともに整数離散正弦変換(ＤＳＴ)を適用することもできる。また、ＤＣ(平均値予測、方向性モードでないモード)モードのみを除いて他の全ての水平垂直方向に整数離散正弦変換(ＤＳＴ)を適用することもできる。

このように多様な周波数変換方式を多様に適用する方法は、現在ブロックの画面内予測方向モードが‘２’より大きく且つ‘１０’より小さい場合だけでなく、それ以外の画面内予測方向モード範囲でも適用することができる。このような内容は、下記の実施例でも同一に適用されることができる。

前述した方法を、スケールされた変換係数のための変換過程(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｓｃａｌｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ)に下記のように反映することができる。

図１７の例を反映したスケールされた変換係数のための変換過程

ここでの入力は、下記の通りである。

−現在変換ブロックの幅Ｗｉｄｔｈ：ｎＷ

−現在変換ブロックの高さＨｅｉｇｈｔ：ｎＨ

−要素(ｅｌｅｍｅｎｔ)ｄ_ｉｊを有するスケールされた変換係数の配列；(ｎＷ×ｎＨ)配列ｄ

−現在ブロックの輝度信号及び色差信号に対するインデックス：ｃＩｄｘ

もし、ｃＩｄｘが‘０’の場合、輝度信号を意味し、ｃＩｄｘが‘１’であり、又はｃＩｄｘが‘２’の場合、色差信号を意味する。また、ｃＩｄｘが‘１’の場合、色差信号でＣｂを意味し、ｃＩｄｘが‘２’の場合、色差信号でＣｒを意味する。

ここでの出力は、下記の通りである。

スケールされた変換係数を逆変換して求められた残余信号に対する配列：(ｎＷ×ｎＨ)配列ｒ

現在ブロックに対する符号化モード(ＰｒｅｄＭｏｄｅ)が画面内予測モード(Ｉｎｔｒａ)であり、且つＬｏｇ２(ｎＷ＊ｎＨ)値が‘４’であり、(１)輝度信号の場合には、輝度信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表１０を介して求められ、(２)色差信号の場合には、色差信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表１０を介して求められる。もし、そうでない場合、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは‘０’に設定する。

変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅ値を有してスケールされた変換係数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(ｎＷ,ｎＨ)とスケールされた変換係数配列(ｎＷ×ｎＨ ａｒｒａｙ ｄ)、変数ｈｏｒｉｚＴｒＴｙｐｅの入力を受け、水平方向に１次元逆変換を実行することで、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)を出力する。

次に、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)の入力を受けて配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)を数式７のように誘導する。

次に、現在ブロックの大きさ(ｎＷ,ｎＨ)と配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)、変数ｖｅｒｔＴｒＴｙｐｅの入力を受けて垂直方向に１次元逆変換を実行する。

ｃＩｄｘによって残余信号に対する配列(ｎＷ×ｎＨ ａｒｒａｙ ｒ)を数式８のように設定する。

ここで、シフト(ｓｈｉｆｔ)は、ｃＩｄｘが‘０’の場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｙであり、そうでない場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｃ値を有し、ＢｉｔＤｅｐｔｈは、現在映像に対するサンプルのビット数(例えば、８ビット)を意味する。

［実施例４］色差信号のＩｎｔｒａ_ＦｒｏｍＬｕｍａ(ＬＭ)符号化モードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法及び装置

図１８は、本実施例によって、色差信号のＩｎｔｒａ_ＦｒｏｍＬｕｍａ(ＬＭ)符号化モードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法を説明するフローチャートである。

図１８によると、まず、現在ブロックが画面内符号化(Ｉｎｔｒａ)で符号化され、且つ現在ブロックが４×４大きさ(ｔｒａｆｏＳｉｚｅ(又は、ｉＷｉｄｔｈ)＝＝４)のブロックの場合(Ｓ１８１０)、現在ブロックに対する周波数変換方式は、整数離散正弦変換(ＤＳＴ)又は整数離散余弦変換(ＤＣＴ)を適用する(Ｓ１８５５)。そうでない場合、現在ブロックの周波数変換方式は、ＤＣＴを適用することができる。

次に、現在ブロックが輝度ブロック又は色差ブロックであり、且つ色差ブロックの画面内予測方向モードがＬＭモードの場合(Ｓ１８１５)、輝度信号に対する画面内予測方向モード(ＩｎｔｒａＰｒｅｄＭｏｄｅ)を取得する(Ｓ１８２０)。

ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号及び色差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。

もし、ブロック(ＬＭモードでない色差ブロック)の場合、ＤＣＴを適用することができる(Ｓ１８５５)。

次に、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘２’より大きく且つ‘１０’より小さい場合(Ｓ１８２５)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平方向には整数離散正弦変換(ＤＳＴ)を適用し、垂直方向には整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ１８４０)。

一方、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘０’(Ｐｌａｎａｒ)であり、又は‘１１’より大きく且つ‘２５’より小さい場合(Ｓ１８３０)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平垂直方向の両方ともに整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ１８４５)。

また、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘２６’より大きく且つ‘３４’より小さい場合(Ｓ１８３５)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平方向には整数離散余弦変換(ＤＣＴ)を適用し、垂直方向には整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ１８５０)。そうでない場合、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ１８５５)。

一方、前述した図１８の例に係るスケールされた変換係数のための変換過程(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｓｃａｌｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ)は、下記の通りである。

図１８の例に係るスケールされた変換係数のための変換過程

ここでの入力は、下記の通りである。

−現在変換ブロックの幅Ｗｉｄｔｈ：ｎＷ

−現在変換ブロックの高さＨｅｉｇｈｔ：ｎＨ

−要素(ｅｌｅｍｅｎｔ)ｄ_ｉｊを有するスケールされた変換係数の配列：(ｎＷ×ｎＨ)配列ｄ

−現在ブロックの輝度信号及び色差信号に対するインデックス：ｃＩｄｘ

−もし、ｃＩｄｘが‘０’の場合、輝度信号を意味し、ｃＩｄｘが‘１’であり、又はｃＩｄｘが‘２’の場合、色差信号を意味する。また、ｃＩｄｘが‘１’の場合、色差信号でＣｂを意味し、ｃＩｄｘが‘２’の場合、色差信号でＣｒを意味する。

ここでの出力は、下記の通りである。

−スケールされた変換係数を逆変換して求められた残余信号に対する配列；(ｎＷ×ｎＨ)配列ｒ

現在ブロックに対する符号化モード(ＰｒｅｄＭｏｄｅ)が画面内予測モード(Ｉｎｔｒａ)であり、且つＬｏｇ２(ｎＷ＊ｎＨ)値が‘４’であり、輝度信号の場合には、輝度信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表１１を介して求められ、色差信号の符号化モードがＩｎｔｒａ_ＦｒｏｍＬｕｍａ(ＬＭ)の場合には、輝度信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表１１を介して求められる。もし、そうでない場合、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは‘０’に設定する。

変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅ値を有してスケールされた変換係数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(ｎＷ,ｎＨ)とスケールされた変換係数配列(ｎＷ×ｎＨ ａｒｒａｙ ｄ)、変数ｈｏｒｉｚＴｒＴｙｐｅの入力を受け、水平方向に１次元逆変換を実行することで、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)を出力する。

次に、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)の入力を受けて配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)を数式９のように誘導する。

次に、現在ブロックの大きさ(ｎＷ,ｎＨ)と配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)、変数ｖｅｒｔＴｒＴｙｐｅの入力を受けて垂直方向に１次元逆変換を実行する。

ｃＩｄｘによって残余信号に対する配列(ｎＷ×ｎＨ ａｒｒａｙ ｒ)を数式１０のように設定する。

ここで、シフト(ｓｈｉｆｔ)は、ｃＩｄｘが‘０’の場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｙであり、そうでない場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｃ値を有し、ＢｉｔＤｅｐｔｈは、現在映像に対するサンプルのビット数(例えば、８ビット)を意味する。

図１９は、本実施例によって、色差信号のＩｎｔｒａ_ＦｒｏｍＬｕｍａ(ＬＭ)符号化モードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。

図１９を参照すると、現在ブロックが条件１(画面内符号化(Ｉｎｔｒａ)で符号化され、且つ輝度信号(Ｌｕｍａ)のブロック)又は条件２(現在ブロックがＬＭモードであり、且つ色差(Ｃｈｒｏｍａ)信号のブロック)であるかどうかが判断される(Ｓ１９１０)。

条件１又は条件２を満たさない場合、現在ブロックの輝度信号及び色差信号に対する周波数変換方式は、整数変換又は整数離散余弦変換(ＤＣＴ)を適用する(Ｓ１９５５)。

そうでない場合(条件１又は条件２を満たす場合)、現在ブロックの輝度信号に対する画面内予測方向モード(ＩｎｔｒａＰｒｅｄＭｏｄｅ)を取得する(Ｓ１９１５)。

ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。そして、現在ブロックの色差信号がＬＭモードに符号化された場合、現在ブロックの輝度信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。

次に、現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックであるかどうかを判断する(Ｓ１９２０)。もし、現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックでない場合、現在ブロックの輝度信号及び色差信号に対する周波数変換方式は、整数変換又は整数離散余弦変換(ＤＣＴ)を適用する(Ｓ１９５５)。そうでない場合(現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックである場合)、現在ブロックの画面内予測方向モードを検査する。

もし、現在ブロックの画面内予測方向モードが‘２’より大きく且つ‘１０’より小さい場合(Ｓ１９２５)、現在ブロックの輝度信号に対する周波数変換方式として、水平方向には整数離散正弦変換(ＤＳＴ)を適用し、垂直方向には整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ１９４０)。現在ブロックの色差信号がＬＭモードに符号化された場合、現在ブロックの輝度信号に対する周波数変換方式を、色差信号の残余映像を周波数変換するのに使用することができる。

しかし、現在ブロックの色差信号がＬＭモードに符号化されない場合、現在ブロックの色差信号に対して水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を実行することができる(Ｓ１９５５)。

もし、現在ブロックの画面内予測方向モードが‘０’であり、又は‘１１’より大きく且つ‘２５’より小さい場合(Ｓ１９３０)、現在ブロックの輝度信号に対する周波数変換方式として、水平垂直方向の両方ともに整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ１９４５)。現在ブロックの色差信号がＬＭモードに符号化された場合、現在ブロックの輝度信号に対する周波数変換方式を、色差信号の残余映像を周波数変換するのに使用することができる。一方、現在ブロックの色差信号がＬＭモードに符号化されない場合、現在ブロックの色差信号に対して水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を実行することができる(Ｓ１９５５)。

一方、もし、現在ブロックの画面内予測方向モードが‘２６’より大きく且つ‘３４’より小さい場合(Ｓ１９３５)、現在ブロックの輝度信号に対する周波数変換方式として、水平方向には整数離散余弦変換(ＤＣＴ)を適用し、垂直方向には整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ１９５０)。現在ブロックの色差信号がＬＭモードに符号化された場合、現在ブロックの輝度信号に対する周波数変換方式を、色差信号の残余映像を周波数変換するのに使用することができる。そうでない場合、現在ブロックの色差信号がＬＭモードに符号化されない場合、現在ブロックの色差信号に対して水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を実行することができる(Ｓ１９５５)。

そうでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換方式として、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を適用する(Ｓ１９５５)。

前述した例を反映したスケールされた変換係数のための変換過程(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｓｃａｌｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ)は、下記の通りである。

図１９の例を反映したスケールされた変換係数のための変換過程

ここでの入力は、下記の通りである。

−現在変換ブロックの幅Ｗｉｄｔｈ：ｎＷ

−現在変換ブロックの高さＨｅｉｇｈｔ：ｎＨ

−要素(ｅｌｅｍｅｎｔ)ｄ_ｉｊを有するスケールされた変換係数の配列：(ｎＷ×ｎＨ)配列ｄ

−現在ブロックの輝度信号及び色差信号に対するインデックス：ｃＩｄｘ

−もし、ｃＩｄｘが‘０’の場合、輝度信号を意味し、ｃＩｄｘが‘１’であり、又はｃＩｄｘが‘２’の場合、色差信号を意味する。また、ｃＩｄｘが‘１’の場合、色差信号でＣｂを意味し、ｃＩｄｘが‘２’の場合、色差信号でＣｒを意味する。

ここでの出力は、下記の通りである。

−スケールされた変換係数を逆変換して求められた残余信号に対する配列：(ｎＷ×ｎＨ)配列ｒ

現在ブロックに対する符号化モード(ＰｒｅｄＭｏｄｅ)が画面内予測モード(Ｉｎｔｒａ)であり、且つＬｏｇ２(ｎＷ＊ｎＨ)値が‘４’であり、輝度信号の場合には、輝度信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表１２を介して求められ、色差信号の符号化モードがＩｎｔｒａ_ＦｒｏｍＬｕｍａ(ＬＭ)の場合には、輝度信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表１２を介して求められる。もし、そうでない場合、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは‘０’に設定する。

変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅ値を有してスケールされた変換係数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(ｎＷ,ｎＨ)とスケールされた変換係数配列(ｎＷ×ｎＨ ａｒｒａｙ ｄ)、変数ｈｏｒｉｚＴｒＴｙｐｅの入力を受け、水平方向に１次元逆変換を実行することで、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)を出力する。

次に、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)の入力を受けて配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)を数式１１のように誘導する。

次に、現在ブロックの大きさ(ｎＷ,ｎＨ)と配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)、変数ｖｅｒｔＴｒＴｙｐｅの入力を受けて垂直方向に１次元逆変換を実行する。

ｃＩｄｘによって残余信号に対する配列(ｎＷ×ｎＨ ａｒｒａｙ ｒ)を数式１２のように設定する。

ここで、シフト(ｓｈｉｆｔ)は、ｃＩｄｘが‘０’の場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｙであり、そうでない場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｃ値を有し、ＢｉｔＤｅｐｔｈは、現在映像に対するサンプルのビット数(例えば、８ビット)を意味する。

ここで、本実施例は、現在色差ブロックが“Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ”モードに符号化された時だけでなく、下記の１又は２のような多様な場合にも適用されることができる。

１．色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけた後、オフセットを加える全ての方式に対して適用することができる。

２．色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロックに対するテンプレートシフト(ｔｅｍｐｌａｔｅ ｓｈｉｆｔ)を利用することで、色差ブロックを予測する全ての方式に対して適用することができる。ここで、テンプレートシフトは、輝度信号と色差信号との間の相関性を類推するために使用する。

その他、本実施例は、多様に適用されることができる。

［実施例５］画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法及び装置

図２０は、本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャートである。

図２０を参照すると、まず、現在ブロックが画面内符号化(Ｉｎｔｒａ)で符号化され、且つ現在ブロックが４×４大きさ(ｔｒａｆｏＳｉｚｅ(又は、ｉＷｉｄｔｈ)＝＝４)のブロックであるかどうかを判断する(Ｓ２０１０)。まず、現在ブロックが画面内符号化(Ｉｎｔｒａ)で符号化され、且つ現在ブロックが４×４大きさ(ｔｒａｆｏＳｉｚｅ(又は、ｉＷｉｄｔｈ)＝＝４)のブロックの場合、現在ブロックに対する周波数変換方式は、整数離散正弦変換(ＤＳＴ)又は整数離散余弦変換(ＤＣＴ)を適用する。そうでない場合、現在ブロックの周波数変換方式は、ＤＣＴを適用することができる(Ｓ２０６５)。

次に、現在ブロックが輝度ブロック又は色差ブロックであり、且つ色差ブロックの画面内予測方向モードがＬＭモードの場合(Ｓ２０１５)、輝度信号に対する画面内予測方向モード(ＩｎｔｒａＰｒｅｄＭｏｄｅ)を取得する(Ｓ２０２０)。ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号及び色差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。

もし、そうでない場合、色差ブロックがＤＭモードであるかどうかを判断する(Ｓ２０２５)。

もし、現在ブロックが色差ブロックであり、且つＤＭブロックの場合、ＤＣＴを適用することができる(Ｓ２０６５)。一方、もし、現在ブロックが色差ブロックであり、且つＤＭブロックでない場合、色差信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる(Ｓ２０３０)。

ここで、色差ブロックがＤＭモードに符号化された場合、ＤＭモードのうち、ＥＭモード(平面モード(Ｐｌａｎａｒ)、平均モード(ＤＣ)、水平モード(Ｈｏｒ)、垂直モード(Ｖｅｒ)、垂直方向で８番目位置したモード(Ｖｅｒ＋８又は３４番モード))に該当する画面内予測方向モードは、ＤＳＴ又はＤＣＴ又はそれ以外の周波数変換方法を適用することができる。

次に、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘２’より大きく且つ‘１０’より小さい場合(Ｓ２０３５)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平方向には整数離散正弦変換(ＤＳＴ)を適用し、垂直方向には整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ２０５０)。

一方、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘０’(Ｐｌａｎａｒ)であり、又は‘１１’より大きく且つ‘２５’より小さい場合(Ｓ２０４０)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平垂直方向の両方ともに整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ２０５５)。

また、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘２６’より大きく且つ‘３４’より小さい場合(Ｓ２０４５)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平方向には整数離散余弦変換(ＤＣＴ)を適用し、垂直方向には整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ２０６０)。

そうでない場合、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ２０６５)。

ここで、周波数変換方法を選択的に適用する方法は、下記１〜３のうちいずれか一つのように多様に適用することができる。

１．色差ブロックがＤＭモードに符号化された場合、ＤＭモードのうち、ＥＭモード(平面モード(Ｐｌａｎａｒ)、平均モード(ＤＣ)、水平モード(Ｈｏｒ)、垂直モード(Ｖｅｒ)、垂直方向で８番目位置したモード(Ｖｅｒ＋８又は３４番モード))に該当する画面内予測方向モードに対してのみＤＳＴ又はＤＣＴ又はそれ以外の周波数変換方法を適用することができる。

２．色差ブロックがＬＭモードに符号化された場合、輝度信号から誘導された画面内予測方向モードのうち、ＥＭモード(平面モード(Ｐｌａｎａｒ)、平均モード(ＤＣ)、水平モード(Ｈｏｒ)、垂直モード(Ｖｅｒ)、垂直方向で８番目位置したモード(Ｖｅｒ＋８又は３４番モード))に該当する画面内予測方向モードに対してのみＤＳＴ又はＤＣＴ又はそれ以外の周波数変換方法を適用することができる。

３．画面内予測方向モードがＰｌａｎａｒであり、又はＤＣの場合にのみ、ＤＳＴ又はＤＣＴ又はそれ以外の周波数変換方法を選択的に適用することができ、その他のモードに対してはＤＳＴ又はＤＣＴ又はそれ以外の周波数変換方法を固定的に適用することができる。または、その反対も可能である。

その他、多様な方法により周波数変換方法を誘導することができる。

前述した図２０の方法を反映してスケールされた変換係数のための変換(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｓｃａｌｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ)を実行する方法は、下記の通りである。

図２０の例を反映したスケールされた変換係数のための変換過程

ここでの入力は、下記の通りである。

−現在変換ブロックの幅Ｗｉｄｔｈ：ｎＷ

−現在変換ブロックの高さＨｅｉｇｈｔ：ｎＨ

−要素(ｅｌｅｍｅｎｔ)ｄ_ｉｊを有するスケールされた変換係数の配列：(ｎＷ×ｎＨ)配列ｄ

−現在ブロックの輝度信号及び色差信号に対するインデックス：ｃＩｄｘ

−もし、ｃＩｄｘが‘０’の場合、輝度信号を意味し、ｃＩｄｘが‘１’であり、又はｃＩｄｘが‘２’の場合、色差信号を意味する。また、ｃＩｄｘが‘１’の場合、色差信号でＣｂを意味し、ｃＩｄｘが‘２’の場合、色差信号でＣｒを意味する。

ここでの出力は、下記の通りである。

−スケールされた変換係数を逆変換して求められた残余信号に対する配列：(ｎＷ×ｎＨ)配列ｒ

現在ブロックに対する符号化モード(ＰｒｅｄＭｏｄｅ)が画面内予測モード(Ｉｎｔｒａ)であり、且つＬｏｇ２(ｎＷ＊ｎＨ)値が‘４’であり、輝度信号である場合には、輝度信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、以下の表１３を介して求められ、色差信号である場合には、色差信号の画面内予測符号化モードが‘４’より小さい場合、色差信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表１３を介して求められる。一方、色差信号の符号化モードがＩｎｔｒａ_ＦｒｏｍＬｕｍａ(ＬＭ)の場合には、輝度信号の画面内予測方向モードによって、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、以下の表を介して求められる。もし、そうでない場合、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは‘０’に設定する。

変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅ値を有してスケールされた変換係数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(ｎＷ,ｎＨ)とスケールされた変換係数配列(ｎＷ×ｎＨ ａｒｒａｙ ｄ)、変数ｈｏｒｉｚＴｒＴｙｐｅの入力を受け、水平方向に１次元逆変換を実行することで、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)を出力する。

次に、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)の入力を受けて配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)を数式１３のように誘導する。

次に、現在ブロックの大きさ(ｎＷ,ｎＨ)と配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)、変数ｖｅｒｔＴｒＴｙｐｅの入力を受けて垂直方向に１次元逆変換を実行する。

ｃＩｄｘによって残余信号に対する配列(ｎＷ×ｎＨ ａｒｒａｙ ｒ)を数式１４のように設定する。

ここで、シフト(Ｓｈｉｆｔ)は、ｃＩｄｘが‘０’の場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｙであり、そうでない場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｃ値を有し、ＢｉｔＤｅｐｔｈは、現在映像に対するサンプルのビット数(例えば、８ビット)を意味する。

図２１は、本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。

図２１によると、まず、現在ブロックが画面内符号化(Ｉｎｔｒａ)で符号化されない場合(Ｓ２１０５)、現在ブロックの輝度信号及び色差信号に対する周波数変換方式として整数変換又は整数離散余弦変換(ＤＣＴ)を適用する(Ｓ２１６０)。

そうでない場合(現在ブロックが画面内符号化(Ｉｎｔｒａ)で符号化された場合)、現在ブロックが輝度信号(Ｌｕｍａ)のブロックであるか、現在ブロックの符号化モードがＬＭであるかどうかを判断する(Ｓ２１１０)。

もし、現在ブロックが輝度信号でもなく、且つ現在ブロックの符号化モードがＬＭでもない場合には、色差信号に対する画面内予測方向モードを取得する(Ｓ２１１５)。そうでない場合、輝度信号に対する画面内予測方向モードを取得する(Ｓ２１２０)。

ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。ここで、現在ブロックの色差信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。

そして、現在ブロックの色差信号がＬＭモードに符号化された場合、現在ブロックの輝度信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。

次に、現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックであるかどうかを判断する(Ｓ２１２５)。もし、現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックでない場合、現在ブロックの輝度信号及び色差信号に対する周波数変換方式は、整数変換又は整数離散余弦変換(ＤＣＴ)を適用する(Ｓ２１６０)。そうでない場合(現在ブロックが４×４大きさ(ｉＷｉｄｔｈ＝＝４)のブロックである場合)、現在ブロックの画面内予測方向モードを検査する。

ここで、輝度信号に対する周波数変換方式を誘導する時は、ＩｎｔｒａＰｒｅｄＭｏｄｅ(Ｃ)がＩｎｔｒａＰｒｅｄＭｏｄｅ(輝度信号に対する画面内予測方向モード)に変更され、色差信号に対する周波数変換方式を誘導する時は、ＩｎｔｒａＰｒｅｄＭｏｄｅ(Ｃ)がＩｎｔｒａＰｒｅｄＭｏｄｅＣ(色差信号に対する画面内予測方向モード)に変更される。

もし、現在ブロックの画面内予測方向モードが‘２’より大きく且つ‘１０’より小さい場合(Ｓ２１３０)、現在ブロックに対する周波数変換方式として、水平方向には整数離散正弦変換(ＤＳＴ)を適用し、垂直方向には整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ２１４５)。

一方、もし、現在ブロックの画面内予測方向モードが‘０’であり、又は‘１１’より大きく且つ‘２５’より小さい場合(Ｓ２１３５)、現在ブロックに対する周波数変換方式として、水平垂直方向の両方ともに整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ２１５０)。

一方、もし、現在ブロックの画面内予測方向モードが‘２６’より大きく且つ‘３４’より小さい場合(Ｓ２１４０)、現在ブロックに対する周波数変換方式として、水平方向には整数離散余弦変換(ＤＣＴ)を適用し、垂直方向には整数離散正弦変換(ＤＳＴ)を適用することができる(Ｓ２１５５)。

そうでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換方式として、水平垂直方向の両方ともに整数離散余弦変換(ＤＣＴ)を適用することができる(Ｓ２１６０)。

前述した例に係る方法をスケールされた変換係数のための変換(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｓｃａｌｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ)に反映した方法は、下記の通りである。

図２１の例を反映したスケールされた変換係数のための変換過程

ここでの入力は、下記の通りである。

−現在変換ブロックの幅Ｗｉｄｔｈ：ｎＷ

−現在変換ブロックの高さＨｅｉｇｈｔ：ｎＨ

−要素(ｅｌｅｍｅｎｔ)ｄ_ｉｊを有するスケールされた変換係数の配列：(ｎＷ×ｎＨ)配列ｄ

−現在ブロックの輝度信号及び色差信号に対するインデックス：ｃＩｄｘ

−もし、ｃＩｄｘが‘０’の場合、輝度信号を意味し、ｃＩｄｘが‘１’であり、又はｃＩｄｘが‘２’の場合、色差信号を意味する。また、ｃＩｄｘが‘１’の場合、色差信号でＣｂを意味し、ｃＩｄｘが‘２’の場合、色差信号でＣｒを意味する。

ここでの出力は、下記の通りである。

−スケールされた変換係数を逆変換して求められた残余信号に対する配列：(ｎＷ×ｎＨ)配列ｒ

現在ブロックに対する符号化モード(ＰｒｅｄＭｏｄｅ)が画面内予測モード(Ｉｎｔｒａ)であり、且つＬｏｇ２(ｎＷ＊ｎＨ)値が‘４’であり、輝度信号である場合には、輝度信号の画面内予測方向モードによって変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表１４を介して求められ、色差信号である場合には、色差信号の画面内予測方向モードによって、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表１４を介して求められ、色差信号の符号化モードがＩｎｔｒａ_ＦｒｏｍＬｕｍａ(ＬＭ)の場合には、輝度信号の画面内予測方向モードによって、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは、表１４を介して求められる。もし、そうでない場合、変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅは‘０’に設定する。

変数ｈｏｒｉｚＴｒＴｙｐｅとｖｅｒｔＴｒＴｙｐｅ値を有してスケールされた変換係数に対する逆変換過程が実行される。まず、現在ブロックの大きさ(ｎＷ,ｎＨ)とスケールされた変換係数配列(ｎＷ×ｎＨ ａｒｒａｙ ｄ)、変数ｈｏｒｉｚＴｒＴｙｐｅの入力を受け、水平方向に１次元逆変換を実行することで、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)を出力する。

次に、配列(ｎＷ×ｎＨ ａｒｒａｙ ｅ)の入力を受けて配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)を数式１５のように誘導する。

次に、現在ブロックの大きさ(ｎＷ,ｎＨ)と配列(ｎＷ×ｎＨ ａｒｒａｙ ｇ)、変数ｖｅｒｔＴｒＴｙｐｅの入力を受けて垂直方向に１次元逆変換を実行する。

次に、ｃＩｄｘによって残余信号に対する配列(ｎＷ×ｎＨ ａｒｒａｙ ｒ)を数式１６のように設定する。

ここで、シフト(ｓｈｉｆｔ)は、ｃＩｄｘが‘０’の場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｙであり、そうでない場合、ｓｈｉｆｔ＝２０−ＢｉｔＤｅｐｔｈ_Ｃ値を有し、ＢｉｔＤｅｐｔｈは、現在映像に対するサンプルのビット数(例えば、８ビット)を意味する。

前述した方法は、ブロック大きさ又はＣＵ深さ又はＴＵ深さ等によって適用範囲を異なるようにすることができる。

このように適用範囲を決定する変数(即ち、大きさ又は深さ情報)は、符号化器及び復号化器が予め決められた値を使用するように設定することもでき、プロファイル又はレベルによって決められた値を使用するようにすることもでき、符号化器が変数値をビットストリームで記載すると、復号化器は、ビットストリームからこの値を求めて使用することもできる。

ＣＵ深さによって適用範囲を異なるようにする時は、表１５に例示したように、次の三つの方式が適用されることができる：方式Ａ)与えられた深さ以上の深さにのみ適用する方式、方式Ｂ)与えられた深さ以下にのみ適用する方式、方式Ｃ)与えられた深さにのみ適用する方式

表１５は、与えられたＣＵ(又はＴＵ)深さが２の場合、本発明の方法を適用する範囲決定方式の例を示す。表１５において、Ｏは、与えられたＣＵ(又は、ＴＵ)深さが２の場合、本発明の方法を適用する範囲決定方式の例を示す。表１５において、Ｏは、当該深さに適用可能であるということを示し、Ｘは、当該深さに適用しないということを示す。

全ての深さに対して本発明の方法を適用しない場合は、任意の指示子(ｆｌａｇ)を使用して示すこともでき、適用範囲を示すＣＵ深さ値としてＣＵ深さの最大値より一つ大きい値をシグナリングすることで表現することもできる。

また、前述した方法は、輝度信号と色差信号との間の解像度が異なる場合にも適用することができる。

例えば、色差信号が輝度信号の１/４大きさと仮定した時(一例として、輝度信号４１６×２４０大きさ、色差信号２０８×１２０大きさ)、輝度信号８×８ブロックは、色差信号４×４ブロックと同じである。

図２２は、輝度ブロックと色差ブロックとの間の解像度差の一例を示す。図２２の例では、輝度信号が８×８ブロック２２１０であり、色差信号が４×４ブロック２２２０である場合を例示している。

図２２の例において、輝度信号２２１０には４個の４×４ブロックがあり、４×４ブロック毎に各々画面内予測方向モードを有することができる。反面、色差信号２２２０は、２×２ブロックに分けられない。

この場合、色差信号は、４×４ブロックに対して一つの画面内予測方向モードを有することができる。このとき、色差信号がＩｎｔｒａ_ＦｒｏｍＬｕｍａ(ＬＭ)モードに符号化された場合(又は、色差信号がＤＭ(輝度信号の画面内予測方向モードを色差信号の画面内予測方向モードにそのまま使用するモード)モードに符号化された場合)、色差信号の残余映像に対する周波数変換方式を誘導するための輝度信号の画面内予測方向モードは、４個の４×４ブロックのうち一つが使われることができる。

色差信号の残余映像に対して選択的に周波数変換方式を適用するために、画面内予測方向を誘導する方法は、下記１〜４のうちいずれか一つのように多様に適用されることができる。

１．輝度信号ブロックの左上段に位置したブロックの画面内予測方向モードを使用することができる。

２．輝度信号ブロックの右上段又は左下段又は右下段に位置したブロックの画面内予測方向モードを使用することができる。

３．４個の輝度信号ブロックの平均値又は中間値を使用することができる。

４．現在ブロックの４個の輝度信号ブロックと現在ブロックの周辺ブロックの色差信号ブロックの画面内予測方向モードを利用した平均値又は中間値などを使用することができる。

その他、多様な方法により色差信号に対する画面内予測方向モードを誘導することができる。

図２３は、輝度ブロックと色差ブロックとの間の解像度差を説明する他の例である。

図２３の例のように、輝度信号２３１０には１個の１６×１６ブロックがあり、１個の画面内予測モードを有することができる。反面、色差信号２３２０は、４個の４×４ブロックに分けられることができ、このとき、４×４ブロックの各々に対して画面内予測方向モードを有することができる。

このとき、色差信号がＩｎｔｒａ_ＦｒｏｍＬｕｍａ(ＬＭ)モードに符号化された場合(又は、色差信号がＤＭ(輝度信号の画面内予測方向モードを色差信号の画面内予測方向モードにそのまま使用するモード)モードに符号化された場合)、１個の輝度信号の画面内予測方向モードが各色差信号の残余映像ブロックに対する周波数変換方式を誘導するために使われることができる。または、色差信号の残余映像ブロックに対する周波数変換方式を誘導するために、現在ブロックの周辺ブロック(輝度ブロック又は色差ブロック)から画面内予測方向モードを誘導して使用することもできる。

また、前述した方法は、輝度ブロックの大きさによって色差ブロックに異なるように適用することができ、また、輝度信号映像及び色差映像に異なるように適用することができ、また、周波数変換方式を水平方向及び垂直方向に異なるように適用することができる。

表１６は、この方法の組合せを概略的に説明するものである。

表１６の変形された方法のうち、方法“ト１”を見ると、輝度ブロックの大きさが８(８×８、８×４、２×８等)であり、色差ブロックの大きさが４(４×４、４×２、２×４)である場合、明細書の実施例１(ト１−実施例１)と、実施例２−１又は実施例２−２(ト１−実施例２−１又は実施例２−２)と、実施例３(ト１−実施例３)とを輝度信号及び色差信号及び水平信号及び垂直信号に適用することができる。

前記変形された方法のうち、方法“ヲ２”を見ると、輝度ブロックの大きさが１６(１６×１６、８×１６、４×１６等)であり、色差ブロックの大きさが４(４×４、４×２、２×４)である場合、明細書の実施例１(ヲ２−実施例１)と、実施例２−１又は実施例２−２(ヲ２−実施例２−１又は実施例２−２)と、実施例３(ヲ２−実施例３)とを輝度信号及び色差信号及び水平信号に適用して垂直信号には適用しない。

ここで、前述した方法は、現在色差ブロックが“Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ”モードに符号化された時だけでなく、下記の１又は２のような多様な場合にも適用することができる。

１．色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけた後、オフセットを加える全ての方式に対して適用することができる。

２．色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロックに対するテンプレートシフト(ｔｅｍｐｌａｔｅ ｓｈｉｆｔ)を利用することで、色差ブロックを予測する全ての方式に対して適用することができる。ここで、テンプレートシフトは、輝度信号と色差信号との間の相関性を類推するために使用する。

その他、多様に適用することができる。

［実施例６］色差信号の変換方式及びスキャン方式を統合的に決定する方法及び装置

前述したように、色差信号の残余信号(差分映像)に対するスキャニング方法は、色差信号の画面内予測方向モードによって変わることができる。

また、色差信号の残余信号(差分映像)に対する周波数変換方式は、色差信号の画面内予測方向モードによって変わることができる。

色差信号の残余信号(差分映像)に対するスキャニング方法は、色差信号の残余信号に対する周波数変換方式によって符号化効率が異なることができる。しかし、色差信号の残余信号(差分映像)に対するスキャニング方法と周波数変換方法は、両方とも色差信号の画面内予測方向モードによって変わることができるため、二つの方法は、所定の相関関係を有するということができる。

即ち、色差信号の残余信号に対するスキャニング方式と周波数変換方式は、相関関係を有することができ、二つの方式が統合されて最適の組合せで決定されることができる。したがって、実施例１及び実施例２−１/実施例２−２での色差信号に対するスキャニング方法、実施例３及び実施例４、実施例５の周波数変換方式は、表１７のように統合的に決定されることができる。

表１７は、本実施例によって色差信号の残余信号に対するスキャニング方法と周波数変換方式を統合して決定する方法の一例を示す。

表１７は、色差信号の残余信号に対するスキャニング方法と周波数変換方式を統合して決定する方法の組合せを示す。ここで、ＥＭ、ＤＭ、及びＬＭモードは、色差信号に対する画面内予測方向モードの符号化方法を示す。

輝度信号の画面内予測方向モードを色差信号の画面内予測方向モードとしてそのまま適用して誘導される色差信号に対するモードがＤＭ(Ｄｅｒｉｖｅｄ Ｍｏｄｅ)である。実際画面内予測方向モードを符号化する色差信号に対するモードがＥＭ(Ｅｘｐｌｉｃｉｔ Ｍｏｄｅ)である。ＥＭモードに符号化される色差信号の画面内予測方向モードとして、平面モード(Ｐｌａｎａｒ)、平均モード(ＤＣ)、水平モード(Ｈｏｒ)、垂直モード(Ｖｅｒ)、垂直方向で８番目位置したモード(Ｖｅｒ＋８又は３４番モード)が存在する。

最後に、復元された輝度信号から色差信号を予測するモードがＬＭ(Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ)モードである。

表１７において、組合せの一例として、‘Ａ’をみると、色差信号に対する周波数変換方式を決定するために、色差信号の画面内予測方向モードのうち、ＥＭとＬＭのみが利用され、ＤＭが利用されない。ＥＭとＬＭを利用して周波数変換方式が決定(実施例３、４、５)され、その後に変換された係数に対するスキャニング方法を決定するために、色差信号の画面内予測方向モードのうち、ＥＭとＤＭを利用してスキャニング方式(実施例１、２)が決定される。

ここでは符号化効率を考慮して、色差信号の画面内予測方向モードの中からＤＭモードを利用して周波数変換方式を誘導する場合を除外することもできる。例えば、ＤＭモードに符号化される場合、もし、色差信号の画面内予測方向モードが輝度信号の画面内予測方向モードと異なり、色差信号の画面内予測方向モードがＥＭモード(平面モード(Ｐｌａｎａｒ)、平均モード(ＤＣ)、水平モード(Ｈｏｒ)、垂直モード(Ｖｅｒ)、垂直方向で８番目位置したモード(Ｖｅｒ＋８又は３４番モード))には存在しないモードの場合、ＤＭモードに符号化されるよりほかないため、ＤＭモードに符号化された色差信号の画面内予測方向モードは、正確度という側面において劣化することがあり得る。したがって、ＤＭモードが周波数変換方式の決定に使われないこともある。

表１７において、組合せの他の例として、‘Ｄ’をみると、色差信号に対する周波数変換方式を決定するために、色差信号の画面内予測方向モードのうち、ＥＭとＬＭのみが利用され、ＤＭが利用されない。ＥＭとＬＭを利用して周波数変換方式が決定(実施例３、４、５)され、その後に変換された係数に対するスキャニング方法を決定するために、色差信号の画面内予測方向モードのうち、ＥＭ、ＤＭ、及びＬＭを全部利用してスキャニング方式(実施例１、２)が決定される。

ここでは符号化効率を考慮して、色差信号の画面内予測方向モードの中からＬＭモードを利用してスキャニング方式を誘導する場合が含まれることもできる。実施例１及び２で説明したように、ＬＭモードに符号化された色差信号は、輝度信号と相関関係を有することができる。したがって、ＬＭモードに符号化された色差信号の画面内予測方向モードは、輝度信号の画面内予測方向モードと略同じである。したがって、ＬＭモードに符号化された色差信号の画面内予測方向モードは、輝度信号と類似する特性を有するため、スキャニング方式の決定に使われることができる。

表１７において、組合せの他の例として、‘Ｔ’をみると、色差信号に対する周波数変換方式を決定するために、色差信号の画面内予測方向モードのうち、ＥＭ、ＤＭ、及びＬＭが全部利用される。ＥＭ、ＤＭ、及びＬＭを利用して周波数変換方式が決定(実施例３、４、５)され、その後に変換された係数に対するスキャニング方法を決定するために、色差信号の画面内予測方向モードのうちＥＭ、ＤＭ、及びＬＭを全部利用してスキャニング方式(実施例１、２)が決定される。

表１７において、組合の他の例として、‘Ｔ’方法を変形すると、色差信号に対する周波数変換方式を決定するために、色差信号の画面内予測方向モードのうち、ＥＭ、ＤＭ、及びＬＭモードが利用されることができる。このとき、ＥＭ、ＤＭ、及びＬＭモードのうち、実際復元された色差信号に対する画面内予測方向モードがＥＭモード(平面モード(Ｐｌａｎａｒ)、平均モード(ＤＣ)、水平モード(Ｈｏｒ)、垂直モード(Ｖｅｒ)、垂直方向で８番目位置したモード(Ｖｅｒ＋８又は３４番モード))の場合に対してのみ周波数変換方式が決定(実施例３、４、５)されることができる。また、変換された係数に対するスキャニング方法を決定するためにも、ＥＭ、ＤＭ、及びＬＭが全部利用されることができる。このとき、ＥＭ、ＤＭ、及びＬＭモードのうち、実際復元された色差信号に対する画面内予測方向モードがＥＭモード(平面モード(Ｐｌａｎａｒ)、平均モード(ＤＣ)、水平モード(Ｈｏｒ)、垂直モード(Ｖｅｒ)、垂直方向で８番目位置したモード(Ｖｅｒ＋８又は３４番モード))の場合に対してのみスキャニング方式(実施例１、２)が使われることができる。

［実施例７］色差信号の変換方式及びスキャン方式を決定するためのテーブルを統合する方法及び装置

色差信号の残余信号(差分映像)に対するスキャニング方法と周波数変換方法は、両方とも色差信号の画面内予測方向モードによって変わることができるため、二つの方法は、密接な相関関係を有するということができる。

したがって、本実施例では画面内予測方向モードによって二つの方法を決定するために使われるテーブルを統合して使用することができる。

表１８は、本実施例によって画面内予測方向モードに基づいて誘導される周波数変換方式及びスキャニング方式の一例を示す。

また、表１９は、本実施例によって画面内予測方向モードに基づいて誘導される周波数変換方式及びスキャニング方式の他の例を示す。

表２０は、本実施例によって画面内予測方向モードに基づいて誘導される周波数変換方式及びスキャニング方式の他の例を示す。

表２１は、本実施例によって画面内予測方向モードに基づいて誘導される周波数変換方式及びスキャニング方式の他の例を示す。

表１８〜表２１は、画面内予測方向モードによって誘導される周波数変換方式及びスキャニング方式のテーブルを統合した例を示す。

例えば、表１９を見ると、画面内予測方向モードが２〜５の場合には、垂直水平周波数変換方式としてＤＳＴが使われ、スキャニング方法として上段右側方向スキャン(ＤＩＡＧ(ｕｐ−ｒｉｇｈｔ))が使われる。画面内予測方向モードが６〜１４の場合には、垂直周波数変換方式としてＤＣＴが使われ、水平周波数変換方式としてＤＳＴが使われ、スキャニング方法としてＶＥＲ(垂直)が使われる。

画面内予測方向モードが１５〜２１の場合には、垂直水平周波数変換方式としてＤＳＴが使われ、スキャニング方法としてＤＩＡＧ(ｕｐ−ｒｉｇｈｔ)が使われる。画面内予測方向モードが２２〜３０の場合には、垂直周波数変換方式としてＤＳＴが使われ、水平周波数変換方式としてＤＣＴが使われ、スキャニング方法としてＨＯＲ(水平)が使われる。

画面内予測方向モードが３１〜３４の場合には、垂直水平周波数変換方式としてＤＳＴが使われ、スキャニング方法としてＤＩＡＧ(ｕｐ−ｒｉｇｈｔ)が使われる。

このように表１９のように、画面内予測方向モードによって周波数変換方式とスキャニング方法が考慮される場合、表１８とは異なって、ＶＥＲとＨＯＲによって統一性あるように具現されることができるという長所がある。

ここで、前記方法は、現在色差ブロックが“Ｉｎｔｒａ_ＦｒｏｍＬｕｍａ”モードに符号化された時だけでなく、下記の１又は２の場合にも適用することができる。

１．色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけた後、オフセットを加える全ての方式に対して適用することができる。

２．色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロックに対するテンプレートシフト(ｔｅｍｐｌａｔｅ ｓｈｉｆｔ)を利用することで、色差ブロックを予測する全ての方式に対して適用することができる。ここで、テンプレートシフトは、輝度信号と色差信号との間の相関性を類推するために使用する。

その他、前述した方法は、多様に適用することができる。

図２４は、本発明によるエンコーディング装置を概略的に説明するブロック図である。

図２４を参照すると、エンコーディング装置２４００は、予測モード特定部２４１０及びスキャニング部２４２０を含む。

予測モード特定部２４１０は、現在ブロックに適用された予測モードを特定する。例えば、予測モード特定部２４１０は、現在ブロックの輝度サンプル及び/又は色差サンプルに適用された画面内予測モードを特定することができる。

このとき、予測モード特定部２４１０は、図１の画面内予測部より以前に位置して現在ブロックに適用する画面内予測モードを特定することもでき、画面内予測部より上位に位置して現在ブロックに適用された画面内予測モードを特定する情報を出力することもできる。

画面内予測モードは、図６に対する説明などで前述した通りである。

スキャニング部２４２０は、現在ブロックの色差信号及び/又は輝度信号をスキャニングすることができる。このとき、スキャニング部２４２０は、現在ブロックの画面内予測モードに対応して現在ブロックに適用するスキャニングタイプを決定することができる。

現在ブロックに適用するスキャニングタイプ(方法)を決定する具体的な方法は、本明細書の実施例で詳細に説明した通りである。

図２５は、本発明によるデコーディング装置を概略的に説明するブロック図である。

図２５を参照すると、デコーディング装置２５００は、予測モード特定部２５１０及びスキャニング部２５２０を含む。

予測モード特定部２５１０は、現在ブロックに適用された予測モードを特定する。例えば、予測モード特定部２４１０は、現在ブロックの輝度サンプル及び/又は色差サンプルに適用された画面内予測モードを特定することができる。

画面内予測モードは、図６に対する説明などで前述した通りである。

スキャニング部２５２０は、現在ブロックの色差信号及び/又は輝度信号をスキャニングすることができる。このとき、スキャニング部２５２０は、現在ブロックの画面内予測モードに対応して現在ブロックに適用するスキャニングタイプを決定することができる。

現在ブロックに適用するスキャニングタイプ(方法)を決定する具体的な方法は、本明細書の実施例で詳細に説明した通りである。

前述した例示的なシステムにおいて、方法は一連のステップ又はブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序に又は同時に発生することができる。また、前述した実施例は、多様な態様の例示を含む。例えば、各実施例の組合せも、本発明の一実施例として理解しなければならない。

Claims (4)

1. ビデオ信号から現在ブロックの輝度成分に関連する第１の画面内予測モードを取得するステップと、
   前記第１の画面内予測モードに基づいて、前記現在ブロックの色差成分に関連する第２の画面内予測モードを取得するステップと、
   前記現在ブロックの前記第１の画面内予測モードの方向に基づいて、前記現在ブロックの第１のスキャニングタイプを決定するステップと、
   前記現在ブロックの前記第２の画面内予測モードの方向に基づいて、前記現在ブロックの第２のスキャニングタイプを決定するステップと、
   前記現在ブロックの前記輝度成分及び前記色差成分の残差係数を取得するステップと、前記輝度成分の前記残差係数は、前記第１のスキャニングタイプに基づいて取得され、前記色差成分の前記残差係数は、前記第２のスキャニングタイプに基づいて取得される、ステップと、
   前記輝度要素に対する第１の変換のタイプ及び前記色差要素に対する第２の変換のタイプを決定するステップと、
   前記第１の変換のタイプ及び前記第２の変換のタイプに基づいて、前記残差係数に対して逆変換を実行するステップと、
   を備え、
   前記逆変換は、整数離散余弦変換（ＤＣＴ）及び整数離散正弦変換（ＤＳＴ）の一つを用いることにより実行され、
   前記現在ブロックのサイズが、４×４であるとき、前記第１の画面内予測モードにかかわらず、前記第１の変換のタイプは整数離散正弦変換（ＤＳＴ）が用いられることが決定され、前記現在ブロックのサイズが、４×４でないとき、前記第１の画面内予測モードにかかわらず、前記現在ブロックの前記第１の変換のタイプは整数離散余弦変換（ＤＣＴ）のみが用いられることが決定され、
   前記現在ブロックの前記第１の画面内予測モードが６から１４、及び２２から３０以外の範囲であるとき、前記第１のスキャニングタイプは、斜め（ｄｉａｇｏｎａｌ）方向のスキャニングタイプに決定されることを特徴とするビデオ復号化方法。
2. 前記現在ブロックの前記サイズ及び前記第２の画面内予測モードにかかわらず、前記第２の変換のタイプは、整数離散余弦変換（ＤＣＴ）のみが用いられることが決定されることを特徴とする請求項１に記載のビデオ復号化方法。
3. 現在ブロックの輝度成分に関連する第１の画面内予測モードを決定するステップと、
   前記第１の画面内予測モードに基づいて、前記現在ブロックの色差成分に関連する第２の画面内予測モードを決定するステップと、
   前記現在ブロックの前記第１の画面内予測モードの方向に基づいて、前記現在ブロックの第１のスキャニングタイプを決定するステップと、
   前記現在ブロックの前記第２の画面内予測モードの方向に基づいて、前記現在ブロックの第２のスキャニングタイプを決定するステップと、
   前記現在ブロックの前記輝度成分及び前記色差成分の残差係数を取得するステップと、前記輝度成分の前記残差係数は、前記第１のスキャニングタイプに基づいて取得され、前記色差成分の前記残差係数は、前記第２のスキャニングタイプに基づいて取得される、ステップと、
   前記輝度要素に対する第１の変換のタイプ及び前記色差要素に対する第２の変換のタイプを決定するステップと、
   前記第１の変換のタイプ及び前記第２の変換のタイプに基づいて、前記残差係数に対して逆変換を実行するステップと、
   を備え、
   前記逆変換は、整数離散余弦変換(ＤＣＴ)、整数離散正弦変換(ＤＳＴ)の一つを用いることによって実行され、
   前記現在ブロックのサイズが、４×４であるとき、前記第１の画面内予測モードにかかわらず、前記第１の変換のタイプは整数離散正弦変換（ＤＳＴ）が用いられることが決定され、前記現在ブロックのサイズが、４×４でないとき、前記第１の画面内予測モードにかかわらず、前記現在ブロックの前記第１の変換のタイプは整数離散余弦変換（ＤＣＴ）のみが用いられることが決定され、
   前記現在ブロックの前記第１の画面内予測モードが６から１４、及び２２から３０以外の範囲であるとき、前記第１のスキャニングタイプは、斜め（ｄｉａｇｏｎａｌ）方向のスキャニングタイプに決定されることを特徴とするビデオ符号化方法。
4. 前記現在ブロックの前記サイズ及び前記第２の画面内予測モードにかかわらず、前記第２の変換のタイプは、整数離散余弦変換（ＤＣＴ）のみが用いられることが決定されることを特徴とする請求項３に記載のビデオ符号化方法。

Images