JP6890428B2 - 符号化装置、復号装置及びプログラム - Google Patents

符号化装置、復号装置及びプログラム Download PDF

Info

Publication number
JP6890428B2
JP6890428B2 JP2017012086A JP2017012086A JP6890428B2 JP 6890428 B2 JP6890428 B2 JP 6890428B2 JP 2017012086 A JP2017012086 A JP 2017012086A JP 2017012086 A JP2017012086 A JP 2017012086A JP 6890428 B2 JP6890428 B2 JP 6890428B2
Authority
JP
Japan
Prior art keywords
coding
intra prediction
decoded
decoding
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017012086A
Other languages
English (en)
Other versions
JP2017139758A (ja
Inventor
俊輔 岩村
俊輔 岩村
慎平 根本
慎平 根本
市ヶ谷 敦郎
敦郎 市ヶ谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Publication of JP2017139758A publication Critical patent/JP2017139758A/ja
Application granted granted Critical
Publication of JP6890428B2 publication Critical patent/JP6890428B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、符号化装置、復号装置及びプログラムに関する。
H.265/HEVC(High Efficiency Video Coding)
に代表される動画像(映像)符号化方式では、フレーム間の時間的相関を利用したインタ
ー予測及びフレーム内の空間的相関を利用したイントラ予測の2種類の予測を切り替えな
がら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロ
ピー符号化処理を行い得られたストリームを出力するように構成されている。
HEVCにおけるイントラ予測では、Planer予測やDC予測や方向予測の計35
種類のモードが用意されており、エンコーダで決定されたモードに従って、隣接する復号
済み参照画素を用いてイントラ予測を行うように構成されている。
図12は、従来のHEVCにおけるイントラ予測の一例について示す。具体的には、図
12では、左下から右上に向かう方向(図12における破線矢印が示す方向の逆方向)に
おいて方向予測を行うように構成されており、左下の参照画素を用いて、破線矢印上の画
素を予測する。なお、本明細書の図において、イントラ予測モードの方向(予測方向)を
示す矢印は、HEVC規格書における記載と同様に、イントラ予測の対象の画素から参照
画素に向かうものとする(以下同様)。
ここで、従来のHEVCでは、符号化対象ブロック(以下、「CU:Coding U
nit」と呼ぶ)を複数の変換ブロック(以下、「TU:Transform Unit
」と呼ぶ)に分割し、TUのそれぞれに対して予測や直交変換処理や量子化処理を行うと
いうTU分割を行うモードが用意されている。
TU分割が行われるイントラ予測では、全てのTUで共通のモードが用いられるが、次
に符号化処理を行うTUで用いられる復号済み参照画素として、かかるTUの左側や上側
に隣接するTUの局部復号画像を再利用することができる。
なお、実際の方向予測では、図12に示すように、CU#Aの左側に隣接する復号済み
参照画素(フィルタリング等の処理の後の画素)を、図12における破線矢印の始点が示
す位置に外挿することにより予測画像を生成するように構成されている。図12の例では
、CU#Aの上側及び左側に隣接する参照画素は、全て復号済みであるものとする。
ここで、イントラ予測では、フレーム内で最も左上に位置するCU等、隣接する復号済
み参照画素が存在しないCUでは、規定した値(10ビットの動画像であれば「512」
)を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成さ
れている。
また、従来のHEVCでは、符号化処理が、左上からラスタースキャン順に行われるた
めに、参照画素が復号済みでない場合がある。このような場合には、最も近い復号済み参
照画素を0次外挿した値を用いて予測画像を生成するように構成されている。
とりわけ、TU分割が行われるイントラ予測では、ラスタースキャン順による符号化処
理により、TUの分割形状によりフレームの端以外でも、CUの左下や右上に位置する参
照画素が復号済みでない場合が多く、このような場合に、復号済みでない参照画素が存在
する方向からの方向予測を行うと予測精度が低下し、符号化効率が低減してしまうという
問題点があった。
以下、図13を用いて、かかる問題点について具体的に説明する。図13は、従来のH
EVCにおいてTU分割が行われる場合のイントラ予測の一例について示す。
かかる例では、図13(a)に示すように、図12の例の場合と同様に、TU#A1(
CU#A内の左上のTU)の参照画素については、全てが復号済みである。同様に、図1
3(c)に示すように、TU#A3(CU#A内の左下のTU)のイントラ予測を行う際
には、既にTU#A1が復号済みであるため、全ての参照画素が復号済みである。
これに対して、図13(b)に示すように、TU#A1内に位置する参照画素(例えば
、図13(b)における白丸)は復号済みであるが、TU#A3(CU#A内の左下のT
U)内に位置する参照画素(例えば、図13(b)における黒丸)は復号されていないの
で、そのままTU#A2(CU#A内の右上のTU)の予測画像を生成する際の参照画素
とすることはできない。
このため、従来のHEVCでは、TU#A1内に位置する復号済み参照画素の一番下に
位置する参照画素(例えば、図13(b)における「X」)の値を、TU#A3(CU#
A内の左下のTU)内の同じ列に位置する未復号参照画素(例えば、図13(b)におけ
る黒丸)にコピーするように規定されている。
したがって、図13の例のように、左下から右上に向かって方向予測が行われる場合、
生成された予測画像の多くはコピーで埋められた未復号参照画素により構成されているた
め、予測精度が低下し、符号化効率が低減してしまうという問題点があった。
かかる問題点を解決するために、TU分割が行われるイントラ予測において、CU内に
存在する複数のTUに対する符号化処理順として、ラスタースキャン順(例えば、Z型)
の他、U型やX型等の符号化順に自由度を持たせることによって予測精度の向上を図る技
術が知られている(非特許文献1参照)。
望月等、「平均値座標に基づいた適用イントラ予測方式」、情報処理学会研究報告、vol、2012-AVM-77、No.12
しかしながら、上述の非特許文献1に規定されている技術では、CU単位でどのような
符号化処理順を用いるのかについてのフラグを伝送する必要があるため、伝送する情報量
が増大してしまう他、全ての符号化処理順の中からどの符号化処理順が良いかを選択する
ために、符号化装置側では全ての組み合わせを試す必要があり、符号化装置側の計算時間
が増大してしまうという問題点があった。
そこで、本発明は、上述した課題を解決するためになされたものであり、符号化装置に
よって伝送する情報量を増大させることなく、また、符号化装置側の計算時間を増大させ
ることなく、予測精度や符号化効率を向上させることができる符号化装置、復号装置及び
プログラムを提供することを目的とする。
本発明の第1の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロック
に分割して符号化するように構成されている符号化装置であって、イントラ予測モードに
基づいて前記符号化対象ブロック内の変換ブロックの符号化順を決定するように構成され
ている符号化順制御部と、前記符号化順及び前記符号化対象ブロックの前記変換ブロック
への分割方法に基づいて復号画像を生成するように構成されている復号画像生成部を具備
することを要旨とする。
本発明の第2の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロック
に分割して復号するように構成されている復号装置であって、イントラ予測モードに基づ
いて前記符号化対象ブロック内の変換ブロックの復号順を決定するように構成されている
復号順制御部と、前記復号順及び前記符号化対象ブロックの前記変換ブロックへの分割方
法に基づいて復号画像を生成するように構成されている復号画像生成部を具備することを
要旨とする。
本発明の第3の特徴は、コンピュータを、上述の第1の特徴に係る符号化装置として機
能させるためのプログラムであることを要旨とする。
本発明の第4の特徴は、コンピュータを、上述の第2の特徴に係る復号装置として機能
させるためのプログラムであることを要旨とする。
本発明によれば、符号化装置によって伝送する情報量を増大させることなく、また、符
号化装置側の計算時間を増大させることなく、予測精度や符号化効率を向上させることが
できる符号化装置、復号装置及びプログラムを提供することができる。
図1は、第1の実施形態に係る符号化装置1の機能ブロック図である。 図2は、第1の実施形態においてTU分割が行われる場合のイントラ予測の一例を示す図である。 図3は、第1の実施形態に係る符号化装置1の動作を示すフローチャートである。 図4は、第1の実施形態に係る復号装置3の機能ブロック図である。 図5は、第1の実施形態に係る復号装置3の動作を示すフローチャートである。 図6は、第2の実施形態においてTU分割が行われる場合のイントラ予測の一例を示す図である。 図7は、第2の実施形態に係る符号化装置1の動作を示すフローチャートである。 図8は、第2の実施形態に係る復号装置3の動作を示すフローチャートである。 図9は、第3の実施形態に係る符号化装置1の動作を示すフローチャートである。 図10は、第3の実施形態に係る復号装置3の動作を示すフローチャートである。 図11は、左側のTUから順に処理していく際の処理順インデックス及び分割形状に対応する処理順の一例を示す図である。 図12は、従来のHEVCにおけるイントラ予測の一例について示す図である。 図13は、従来のHEVCにおいてTU分割が行われる場合のイントラ予測の一例を示す図である。
(第1の実施形態)
以下、図1〜図5を参照して、本発明の第1の実施形態に係る符号化装置1及び復号装
置3について説明する。ここで、本実施形態に係る符号化装置1及び復号装置3は、HE
VC等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお
、本実施形態に係る符号化装置1及び復号装置3は、イントラ予測を行う動画像符号化方
式であれば、任意の動画像符号化方式に対応することができるように構成されている。
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像をCUに分
割して符号化するように構成されている。また、本実施形態に係る符号化装置1は、CU
を複数のTUに分割することができるように構成されている。
なお、本実施形態では、フレーム内で最も左上に位置するCU等、隣接する復号済み参
照画素が存在しない符号化対象のCUでは、規定した値(10ビットの動画像であれば「
512」)を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すよう
に構成されているため、符号化対象のCUの左側に隣接する画素について全て参照画素と
することができるものとする。
図1に示すように、本実施形態に係る符号化装置1は、イントラ予測モード決定部11
と、TU分割決定部12と、符号化順制御部13と、逐次局部復号画像生成部14と、メ
モリ15と、エントロピー符号化部16とを具備している。
イントラ予測モード決定部11は、CUに適用する最適なイントラ予測モードを決定す
るように構成されている。
TU分割決定部12は、CUを複数のTUに分割するか否かについて決定するように構
成されている。なお、本実施形態では、CUを複数のTUに分割する方法として、4分割
のケースを例に挙げて説明しているが、CUを複数のTUに分割する際の分割数や分割形
状については、かかるケースに制限されるものではない。
符号化順制御部13は、イントラ予測モード(例えば、イントラ予測モードの方向)に
基づいてCU内のTUの符号化順を決定するように構成されている。
具体的には、符号化順制御部13は、TU分割決定部12によってCUを複数のTUに
分割することが決定された場合に、図2(a)及び図2(b)に示すように、イントラ予
測モード決定部11によって決定されたイントラ予測モードの方向が左下から右上に向か
う方向である場合(すなわち、左下から右上に向かって方向予測が行われる場合)に、C
U内のTUの符号化順として、従来のラスタースキャン順(図13に示すようなZ型)で
なく、予め規定したTU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の
左下のTU)→TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下
のTU)という符号化順を採用するように構成されていてもよい。
一方、符号化順制御部13は、TU分割決定部12によってCUを複数のTUに分割す
ることが決定された場合で、かつ、イントラ予測モード決定部11によって決定されたイ
ントラ予測モードの方向が左下から右上に向かう方向でない場合(すなわち、右上から左
下に向かって方向予測が行われる場合やPlanerが行われる場合やDC予測が行われ
る場合等)には、CU内のTUの符号化順として、従来のラスタースキャン順(図13に
示すようなZ型)を採用するように構成されていてもよい。
かかる構成によれば、符号化順制御部13によって決定された符号化順についてイント
ラ予測モードの方向により一意に決定できるため、符号化装置1によって新たに符号化順
を示すフラグを伝送する必要がない。
逐次局部復号画像生成部14は、符号化順制御部13によって決定された符号化順及び
CUのTUへの分割方法に基づいて局部復号画像(TUごとの復号画像)を生成するよう
に構成されている。
具体的には、逐次局部復号画像生成部14は、TU分割決定部12によってCUを複数
のTUに分割することが決定された場合に、符号化順制御部13により決定された符号化
順に従って、逐次、局部復号画像を生成するように構成されている。
図1に示すように、逐次局部復号画像生成部14は、イントラ予測部14aと、残差信
号生成部14bと、直交変換・量子化部14cと、逆量子化部・逆直交変換部14dと、
局部復号画像生成部14eとを具備している。
イントラ予測部14aは、イントラ予測モード決定部11により決定されたイントラ予
測モードを用いて予測画像を生成するように構成されている。
ここで、図2(a)に示すように、TU#A3(CU#A内の左下のTU)のイントラ
予測が行われる際、TU#A2(CU#A内の右上のTU)内に位置する参照画素は復号
されていない。しかしながら、イントラ予測モードの方向(予測方向)が左下から右上に
向かう方向であるため、予測画像を生成する際にTU#A2(CU#A内の右上のTU)
内に位置する参照画素を用いなくてよい。よって、イントラ予測部14aは、TU#A1
(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)→TU#A2(C
U#A内の右上のTU)→TU#A4(CU#A内の右下のTU)という符号化順を採用
しても、TU#A3における予測精度の低下は見られない。
同様に、図2(b)に示すように、TU#A2(CU#A内の右上のTU)のイントラ
予測が行われる際には、TU#A3(CU#A内の左下のTU)内に位置する参照画素に
ついて復号済みであるため、イントラ予測部14aは、予測画像を生成する際にTU#A
3(CU#A内の左下のTU)内に位置する参照画素を用いることができ、TU#A2に
おける予測精度が向上する。
なお、イントラ予測部14aは、図2(a)に示すように、未復号参照画素(例えば、
図2(a)における黒丸)に最も近くに位置する復号済み参照画素(例えば、図2(a)
における「Y」)の値を、TU#A2(CU#A内の右上のTU)内の同じ列に位置する
未復号参照画素にコピーするように規定されている。
しかしながら、本実施形態では、TU分割決定部12によってCUを複数のTUに分割
することが決定された場合で、かつ、イントラ予測モードの方向が左下から右上に向かう
方向である場合、イントラ予測部14aは、図2(b)に示すように、TU#A4(CU
#A内の右下のTU)の予測画像を生成する際に、図2(a)における黒丸に該当するコ
ピーで埋められた未復号参照画素を使用しないため、予測精度の低下及び符号化効率の低
減を回避することができる。
一方、TU分割決定部12によってCUを複数のTUに分割することが決定された場合
で、かつ、イントラ予測モード決定部11によって決定されたイントラ予測モードの方向
が右上から左下に向かう方向である場合(すなわち、右上から左下に向かって方向予測が
行われる場合)には、イントラ予測部14aは、従来のラスタースキャン順(図13に示
すようなZ型)によって予測画像を生成する。
残差信号生成部14bは、イントラ予測部14aによって生成された予測画像と原画像
との差分により残差信号を生成するように構成されている。
直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対
して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成さ
れている。
逆量子化部・逆直交変換部14dは、直交変換・量子化部14cによって生成された量
子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施し、量子化され
た残差信号を生成するように構成されている。
局部復号画像生成部14eは、逆量子化部・逆直交変換部14dによって生成された量
子化された残差信号に対してイントラ予測部14aによって生成された予測画像を加える
ことで局部復号画像を生成するように構成されている。
メモリ15は、逐次局部復号画像生成部14によって生成された局部復号画像を参照画
像として利用可能に保持するように構成されている。
エントロピー符号化部16は、イントラ予測モード決定部11によって決定されたイン
トラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化
処理を施してストリーム出力するように構成されている。
図3に、本実施形態に係る符号化装置1によって、上述の符号化順を決定する動作の一
例について説明するためのフローチャートについて示す。
図3に示すように、ステップS101において、符号化装置1は、CUに適用する最適
なイントラ予測モードを決定する。
ステップS102において、符号化装置1は、CUを複数のTUに分割するか否かにつ
いて決定する。ステップS102において、CUを複数のTUに分割すると決定された場
合には、本動作は、ステップS103に進む。一方、ステップS102において、CUを
複数のTUに分割しないと決定された場合には、本動作は、終了する。
ステップS103において、イントラ予測モードの方向が左下から右上に向かう方向で
あると決定された場合(例えば、HEVCにおいては、イントラ予測モードが「2」〜「
9」であると決定された場合)には、本動作は、ステップS105に進む。一方、ステッ
プS103において、イントラ予測モードの方向が左下から右上に向かう方向ではないと
決定された場合には、本動作は、ステップS104に進む。
ステップS104において、符号化装置1は、従来のHEVCで用いられているラスタ
ースキャン順(図13に示すようなZ型)で、符号化処理を行う。
ステップS105において、符号化装置1は、TU#A1(CU#A内の左上のTU)
→TU#A3(CU#A内の左下のTU)→TU#A2(CU#A内の右上のTU)→T
U#A4(CU#A内の右下のTU)という符号化順で、符号化処理を行う。
また、本実施形態に係る復号装置3は、動画像を構成するフレーム単位の原画像をCU
に分割して復号するように構成されている。また、本実施形態に係る復号装置3は、本実
施形態に係る符号化装置1と同様に、CUを複数のTUに分割することができるように構
成されている。
図4に示すように、本実施形態に係る復号装置3は、エントロピー復号部31と、復号
順制御部32と、逐次局部復号画像生成部33と、メモリ34とを具備している。
エントロピー復号部31は、符号化装置1から出力されたストリームから、変換係数や
フラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置1によ
って、フレーム単位の原画像をCUに分割して符号化された信号として得られた量子化さ
れた変換係数である。また、フラグ情報は、予測モード等の付随する情報を含む。
復号順制御部32は、イントラ予測モードに基づいてCU内のTUの復号順を決定する
ように構成されている。
具体的には、復号順制御部32は、エントロピー復号部31によって出力されたTU分
割が行われた否か(CUが複数のTUに分割されているか否か)について示すフラグ及び
イントラ予測モードの方向に応じて、CU内のTUの復号順を決定するように構成されて
いる。
より具体的には、復号順制御部32は、符号化順制御部13と同様に、CUが複数のT
Uに分割されている場合に、図2(a)及び図2(b)に示すように、エントロピー復号
部31によって出力されたイントラ予測モードの方向が左下から右上に向かう方向である
場合(すなわち、左下から右上に向かって方向予測が行われる場合)に、CU内のTUの
復号順として、従来のラスタースキャン順(図13に示すようなZ型)でなく、予め規定
したTU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)→
TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)という
符号化順を採用するように構成されていてもよい。
一方、復号順制御部32は、CUが複数のTUに分割されている場合で、かつ、エント
ロピー復号部31によって出力されたイントラ予測モードの方向が左下から右上に向かう
方向でない場合(すなわち、右上から左下に向かって方向予測が行われる場合やPlan
erが行われる場合やDC予測が行われる場合等)には、CU内のTUの復号順として、
従来のラスタースキャン順(図13に示すようなZ型)を採用するように構成されていて
もよい。
かかる構成によれば、復号順制御部32によって決定された復号順についてイントラ予
測モードの方向により一意に決定できるため、復号装置3において新たに復号順を示すフ
ラグを受信する必要がない。
逐次局部復号画像生成部33は、復号順制御部32によって決定された復号順及びCU
のTUへの分割方法に基づいて局部復号画像(TUごとの復号画像)を生成するように構
成されている。
具体的には、逐次局部復号画像生成部33は、CUが複数のTUに分割されている場合
に、復号順制御部32によって決定された復号順に従って、エントロピー復号部31によ
って出力された量子化された変換係数に対して、逐次、イントラ予測や逆量子化処理や逆
直交変換処理を行うことによって、局部復号画像を生成するように構成されている。
図4に示すように、逐次局部復号画像生成部33は、イントラ予測部33aと、逆量子
化・逆変換部33bと、復号画像生成部33cとを具備している。
イントラ予測部33aは、復号順制御部32によって決定した復号順に従って、エント
ロピー復号部31によって出力されたイントラ予測モードを用いて、予測画像を生成する
ように構成されていてもよい。
具体的には、イントラ予測部33aは、イントラ予測部14aと同様に、CUが複数の
TUに分割されている場合に、図2(a)及び図2(b)に示すように、イントラ予測モ
ードの方向(予測方向)が左下から右上に向かう方向である場合、TU#A1(CU#A
内の左上のTU)→TU#A3(CU#A内の左下のTU)→TU#A2(CU#A内の
右上のTU)→TU#A4(CU#A内の右下のTU)という復号順を採用するように構
成されている。
また、イントラ予測部33aは、イントラ予測部14aと同様に、CUが複数のTUに
分割されている場合で、かつ、イントラ予測モード決定部11によって決定されたイント
ラ予測モードの方向が左下から右上に向かう方向でない場合(すなわち、右上から左下に
向かって方向予測が行われる場合やPlanerが行われる場合やDC予測が行われる場
合等)には、従来のラスタースキャン順(図13に示すようなZ型)によって予測画像を
生成するように構成されていてもよい。
逆量子化・逆変換部33bは、エントロピー復号部31によって出力された量子化され
た変換係数に対して逆量子化処理及び逆変換処理(例えば、逆直交変換処理)を施すこと
によって、残差信号を生成するように構成されている。
復号画像生成部33cは、イントラ予測部33aによって生成された予測画像と逆量子
化・逆変換部33bによって生成された残差信号とを加えることで局部復号画像を生成す
るように構成されている。
メモリ34は、逐次局部復号画像生成部33によって生成された局部復号画像を、イン
トラ予測及びインター予測のための参照画像として利用可能に保持するように構成されて
いる。
図5に、本実施形態に係る復号装置3によって、上述の復号順を決定する動作の一例に
ついて説明するためのフローチャートについて示す。
図5に示すように、ステップS201において、復号装置3は、符号化装置1から出力
されたストリームから、イントラ予測モードを取得する。
ステップS202において、復号装置3は、符号化装置1から出力されたストリームに
含まれているフラグ情報に基づいて、CUが複数のTUに分割されているか否かについて
判定する。ステップS202において、CUが複数のTUに分割されていると判定された
場合には、本動作は、ステップS203に進む。一方、ステップS202において、CU
が複数のTUに分割されていないと判定された場合には、本動作は、終了する。
ステップS203において、復号装置3は、イントラ予測モードの方向が左下から右上
に向かう方向であるか否か(例えば、HEVCにおいては、イントラ予測モードが「2」
〜「9」であるか否か)について判定する。ステップS203において、イントラ予測モ
ードの方向が左下から右上に向かう方向でないと判定された場合には、本動作は、ステッ
プS205に進む。一方、ステップS203において、イントラ予測モードの方向が左下
から右上に向かう方向であると判定された場合には、本動作は、ステップS204に進む
ステップS204において、復号装置3は、TU#A1(CU#A内の左上のTU)→
TU#A3(CU#A内の左下のTU)→TU#A2(CU#A内の右上のTU)→TU
#A4(CU#A内の右下のTU)という復号順で、復号処理を行う。
ステップS205において、復号装置3は、HEVCで用いられている従来のラスター
スキャン順(図13に示すようなZ型)で、復号処理を行う。
本実施形態に係る符号化装置1及び復号装置3によれば、CUが複数のTUに分割され
る場合に、イントラ予測モードの方向(予測方向)に応じて一意にTUの符号化順及び復
号順を決定することができるので、未復号参照画素に基づく予測による予測精度低下を低
減することができる。
また、本実施形態に係る符号化装置1及び復号装置3によれば、既存のHEVCにおけ
るイントラ予測の処理手順そのものについて変更しないため、既存のHEVCとの間でイ
ントラ予測の処理手順を共通化することができる。
(第2の実施形態)
以下、図6〜図8を参照して、本発明の第2の実施形態に係る符号化装置1及び復号装
置3について、上述の第1の実施形態に係る符号化装置1及び復号装置3との相違点に着
目して説明する。
本実施形態に係る符号化装置1では、符号化順制御部13は、TU分割決定部12によ
ってCUを複数のTUに分割することが決定された場合に、図6(a)〜図6(d)に示
すように、イントラ予測モード決定部11によって決定されたイントラ予測モードの方向
が左下から右上に向かう方向である場合(すなわち、左下から右上に向かって方向予測が
行われる場合)に、CU内のTUの符号化順として、従来のラスタースキャン順(図13
に示すようなZ型)でなく、TU#A3(CU#A内の左下のTU)→TU#A4(CU
#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A
内の右上のTU)という符号化順、或いは、TU#A3(CU#A内の左下のTU)→T
U#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#
A2(CU#A内の右上のTU)という符号化順のうち、予め規定した符号化順を採用す
るように構成されていてもよい。
また、本実施形態に係る符号化装置1では、符号化順制御部13は、TU分割決定部1
2によってCUを複数のTUに分割することが決定された場合で、かつ、イントラ予測モ
ード決定部11によって決定されたイントラ予測モードの方向が右上から左下に向かう方
向である場合(すなわち、右上から左下に向かって方向予測が行われる場合)に、従来の
ラスタースキャン順(図13に示すようなZ型)でなく、TU#A2(CU#A内の右上
のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のT
U)→TU#A3(CU#A内の左下のTU)という符号化順、或いは、TU#A2(C
U#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#
A内の右下のTU)→TU#A3(CU#A内の左下のTU)という符号化順のうち、予
め規定した符号化順を採用するように構成されていてもよい。
また、本実施形態に係る符号化装置1では、イントラ予測部14aは、TU分割決定部
12によってCUを複数のTUに分割することが決定された場合で、図6(a)〜図6(
d)に示すように、イントラ予測モードの方向(予測方向)が左下から右上に向かう方向
である場合、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下の
TU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU
)という符号化順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU
#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A
内の右上のTU)という符号化順のうち、予め規定した符号化順で、予測画像を生成する
ように構成されていてもよい。
かかる場合、TU#A3(CU#A内の左下のTU)の参照画素(TU#A3の左側の
TU内に位置する参照画素)は、全て復号されているため、TU#A3(CU#A内の左
下のTU)の予測画像は、TU#A1(CU#A内の左上のTU)内に位置する画素の復
号結果に依存しない。
一方、TU#A1(CU#A内の左上のTU)より先にTU#A3(CU#A内の左下
のTU)の復号画像が生成されるため、TU#A1(CU#A内の左上のTU)の予測画
像を生成する際に、従来のラスタースキャン順の符号化処理が行われる場合と比べて、よ
り近い位置の復号済み参照画素を用いることができ、より予測精度が向上する。
同様に、TU#A2(CU#A内の右上のTU)より先にTU#A4(CU#A内の右
下のTU)の復号画像が生成されるため、従来のラスタースキャン順の符号化処理が行わ
れる場合と比べて、より近い位置の復号済み参照画素を用いることができ、より予測精度
が向上する。
ここで、イントラ予測部14aは、図6(c)及び図6(d)に示すように、隣接する
下側の参照画素が復号されているTU#A1(CU#A内の左上のTU)及びTU#A2
(CU#A内の右上のTU)に対して、予測画像を生成する際に用いる参照画素として、
左側及び下側に隣接する復号済み参照画素とするように構成されていてもよい。
また、本実施形態に係る符号化装置1では、イントラ予測部14aは、TU分割決定部
12によってCUを複数のTUに分割することが決定された場合で、かつ、イントラ予測
モードの方向(予測方向)が右上から左下に向かう方向である場合、TU#A2(CU#
A内の右上のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内
の左上のTU)→TU#A3(CU#A内の左下のTU)という符号化順、或いは、TU
#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→TU#A
4(CU#A内の右下のTU)→TU#A3(CU#A内の左下のTU)という符号化順
のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。
かかる場合、TU#A3(CU#A内の左下のTU)の参照画素(TU#A3の左側の
TU内に位置する参照画素)は、全て復号されているため、TU#A3(CU#A内の左
下のTU)の予測画像は、TU#A1(CU#A内の左上のTU)内に位置する画素の復
号結果に依存しない。
ここで、イントラ予測部14aは、隣接する右側の参照画素が復号されているTU#A
1(CU#A内の左上のTU)及びTU#A3(CU#A内の左下のTU)に対して、予
測画像を生成する際に用いる参照画素として、上側及び右側に隣接する復号済み参照画素
とするように構成されていてもよい。
図7に、本実施形態に係る符号化装置1によって、上述の符号化順を決定する動作の一
例について説明するためのフローチャートについて示す。
図7に示すように、ステップS301において、符号化装置1は、CUに適用する最適
なイントラ予測モードを決定する。
ステップS302において、符号化装置1は、CUを複数のTUに分割するか否かにつ
いて決定する。ステップS102において、CUを複数のTUに分割すると決定された場
合には、本動作は、ステップS303に進む。一方、ステップS302において、CUを
複数のTUに分割しないと決定された場合には、本動作は、終了する。
ステップS303において、イントラ予測モードの方向が左下から右上に向かう方向或
いは右上から左下に向かう方向であると決定された場合には、本動作は、ステップS30
5に進む。一方、ステップS303において、イントラ予測モードの方向が左下から右上
に向かう方向及び右上から左下に向かう方向以外であると決定された場合には、本動作は
、ステップS304に進む。
ステップS304において、符号化装置1は、従来のHEVCで用いられているラスタ
ースキャン順(図13に示すようなZ型)で、符号化処理を行う。
イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合(ステ
ップS305)には、ステップS306において、符号化装置1は、TU#A3(CU#
A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内
の左上のTU)→TU#A2(CU#A内の右上のTU)という符号化順、或いは、TU
#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A
4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という符号化順
のうち、予め規定した符号化順で、符号化処理を行う。
一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合
(ステップS305)には、ステップS307において、符号化装置1は、TU#A2(
CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU
#A内の左上のTU)→TU#A3(CU#A内の左下のTU)という符号化順、或いは
、TU#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→T
U#A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下のTU)という符
号化順のうち、予め規定した符号化順で、符号化処理を行う。
また、本実施形態に係る復号装置3では、復号順制御部32は、符号化順制御部13と
同様に、CUが複数のTUに分割されている場合で、かつ、イントラ予測モードの方向が
左下から右上に向かう方向である場合、TU#A3(CU#A内の左下のTU)→TU#
A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2
(CU#A内の右上のTU)という復号順、或いは、TU#A3(CU#A内の左下のT
U)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)
→TU#A2(CU#A内の右上のTU)という復号順のうち、予め規定した復号順で、
復号処理を行うように構成されていてもよい。
また、本実施形態に係る復号装置3では、復号順制御部32は、符号化順制御部13と
同様に、CUが複数のTUに分割されている場合で、かつ、イントラ予測モードの方向が
右上から左下に向かう方向である場合、TU#A2(CU#A内の右上のTU)→TU#
A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A3
(CU#A内の左下のTU)という復号順、或いは、TU#A2(CU#A内の右上のT
U)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)
→TU#A3(CU#A内の左下のTU)というという復号順のうち、予め規定した復号
順で、復号処理を行うように構成されていてもよい。
また、本実施形態に係る復号装置3では、イントラ予測部33aは、CUが複数のTU
に分割されている場合で、かつ、イントラ予測モードの方向が左下から右上に向かう方向
である場合、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下の
TU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU
)という復号順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#
A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内
の右上のTU)という復号順のうち、予め規定した復号順で、予測画像を生成するように
構成されていてもよい。
ここで、イントラ予測部33aは、図6(c)及び図6(d)に示すように、隣接する
下側の参照画素が復号されているTU#A1(CU#A内の左上のTU)及びTU#A2
(CU#A内の右上のTU)に対して、予測画像を生成する際に用いる参照画素として、
左側及び下側に隣接する復号済み参照画素とするように構成されていてもよい。
また、本実施形態に係る復号装置3では、イントラ予測部33aは、CUが複数のTU
に分割されている場合で、かつ、イントラ予測モードの方向(予測方向)が右上から左下
に向かう方向である場合、TU#A2(CU#A内の右上のTU)→TU#A4(CU#
A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内
の左下のTU)という復号順、或いは、TU#A2(CU#A内の右上のTU)→TU#
A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3
(CU#A内の左下のTU)という復号順のうち、予め規定した復号順で、予測画像を生
成するように構成されていてもよい。
ここで、イントラ予測部33aは、隣接する右側の参照画素が復号されているTU#A
1(CU#A内の左上のTU)及びTU#A3(CU#A内の左下のTU)に対して、予
測画像を生成する際に用いる参照画素として、上側及び右側に隣接する復号済み参照画素
とするように構成されていてもよい。
図8に、本実施形態に係る復号装置3によって、上述の復号順を決定する動作の一例に
ついて説明するためのフローチャートについて示す。
図8に示すように、ステップS401において、復号装置3は、符号化装置1から出力
されたストリームから、イントラ予測モードを取得する。
ステップS402において、復号装置3は、符号化装置1から出力されたストリームに
含まれているフラグ情報に基づいて、CUが複数のTUに分割されているか否かについて
判定する。ステップS402において、CUが複数のTUに分割されていると判定された
場合には、本動作は、ステップS403に進む。一方、ステップS402において、CU
が複数のTUに分割されていないと判定された場合には、本動作は、終了する。
ステップS403において、復号装置3は、イントラ予測モードの方向が左下から右上
に向かう方向或いは右上から左下に向かう方向であるか否かについて判定する。ステップ
S403において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上か
ら左下に向かう方向であると判定された場合には、本動作は、ステップS405に進む。
一方、ステップS403において、イントラ予測モードの方向が左下から右上に向かう方
向及び右上から左下に向かう方向以外であると判定された場合には、本動作は、ステップ
S404に進む。
ステップS404において、復号装置3は、HEVCで用いられている従来のラスター
スキャン順(図13に示すようなZ型)で、復号処理を行う。
イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合(ステ
ップS405)には、ステップS406において、復号装置3は、TU#A3(CU#A
内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の
左上のTU)→TU#A2(CU#A内の右上のTU)という復号順、或いは、TU#A
3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(
CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という復号順のうち
、予め規定した復号順で、復号処理を行う。
一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合
(ステップS405)には、ステップS407において、復号装置3は、TU#A2(C
U#A内の右上のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#
A内の左上のTU)→TU#A3(CU#A内の左下のTU)という復号順、或いは、T
U#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→TU#
A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下のTU)という復号順
のうち、予め規定した復号順で、復号処理を行う。
本実施形態に係る符号化装置1及び復号装置3によれば、CUが複数のTUに分割され
る場合に、イントラ予測モードの方向(予測方向)に応じて、より精度の高いイントラ予
測を行うことができる。
(第3の実施形態)
以下、図9〜図10を参照して、本発明の第3の実施形態に係る符号化装置1及び復号
装置3について、上述の第2の実施形態に係る符号化装置1及び復号装置3の相違点に着
目して説明する。
本実施形態に係る符号化装置1では、イントラ予測モードの方向に応じて従来のラスタ
ースキャン順とは異なる予め規定した符号化順が用いられる場合で、かつ、符号化対象の
TUの左側や上側や右側に隣接する全ての参照画素或いは符号化対象のTUの左側や上側
や下側に隣接する全ての参照画素が復号済みである場合、イントラ予測部14aは、利用
可能な全ての参照画素を用いた線形内挿等の予め規定した別の予測に変更してイントラ予
測を行うように構成されていてもよい。
例えば、図6の例では、イントラ予測モードの方向が左下から右上に向かう方向である
ため、イントラ予測部14aは、TU#A3(CU#A内の左下のTU)→TU#A4(
CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU
#A内の右上のTU)という符号化順で、符号化処理を行うように構成されているが、イ
ントラ予測モードの方向については、分割されたTUの位置に依らず共通のものを利用し
ている。
しかしながら、図6(c)及び図6(d)に示すように、TU#A1(CU#A内の左
上のTU)及びTU#A2(CU#A内の右上のTU)に隣接する参照画素は、TU#A
1(CU#A内の左上のTU)及びTU#A2(CU#A内の右上のTU)の右側に隣接
する参照画素を除いて復号済みである。
したがって、本実施形態に係る符号化装置1では、TU#A3(CU#A内の左下のT
U)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)
→TU#A2(CU#A内の右上のTU)という符号化順、或いは、TU#A3(CU#
A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内
の右下のTU)→TU#A2(CU#A内の右上のTU)という符号化順が用いられる場
合には、イントラ予測部14aは、上側に隣接する参照画素が復号済みであるTU(分割
されたTU群のうち最上段に位置するTU、図6の例では、TU#A1及びTU#A2)
については、CU#A内で共通のイントラ予測方向でなく、かかるTUの左側や上側や下
側に隣接する復号済み参照画素を用いた線形補間等の予め規定した予測を行うように構成
されていてもよい。
図9に、本実施形態に係る符号化装置1によって、上述の符号化順を決定する動作の一
例について説明するためのフローチャートについて示す。
図9に示すように、ステップS501において、符号化装置1は、CUに適用する最適
なイントラ予測モードを決定する。
ステップS502において、符号化装置1は、CUを複数のTUに分割するか否かにつ
いて決定する。ステップS502において、CUを複数のTUに分割すると決定された場
合には、本動作は、ステップS503に進む。一方、ステップS502において、CUを
複数のTUに分割しないと決定された場合には、本動作は、ステップS508に進む。
ステップS503において、イントラ予測モードの方向が左下から右上に向かう方向或
いは右上から左下に向かう方向であると決定された場合には、本動作は、ステップS50
5に進む。一方、ステップS503において、イントラ予測モードの方向が左下から右上
に向かう方向及び右上から左下に向かう方向以外であると決定された場合には、本動作は
、ステップS504に進む。
ステップS504において、符号化装置1は、上述の符号化順として、従来のHEVC
で用いられているラスタースキャン順(図13に示すようなZ型)を採用する。
ステップS508において、符号化装置1は、符号化対象のTUに対して、かかるTU
の左側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合(ステ
ップS505)には、ステップS506において、符号化装置1は、上述の符号化順とし
て、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→
TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という
符号化順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の
左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上
のTU)という符号化順のうち、予め規定した符号化順を採用する。
一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合
(ステップS505)には、ステップS510において、符号化装置1は、上述の符号化
順として、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のT
U)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)
という符号化順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#
A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内
の左下のTU)という符号化順のうち、予め規定した符号化順を採用する。
ステップS507において、符号化装置1は、符号化対象のTUの上側に隣接する参照
画素が復号済みであるか否かについて判定する。ステップS507において、復号済みで
ある場合、本動作は、ステップS509に進み、復号済みでない場合、本動作は、ステッ
プS514に進む。
ステップS509において、符号化装置1は、符号化対象のTUに対して、かかるTU
の左側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う
ステップS514において、符号化装置1は、符号化対象のTUに対して、かかるTU
の左側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS511において、符号化装置1は、符号化対象のTUの左側に隣接する参照
画素が復号済みであるか否かについて判定する。ステップS511において、復号済みで
ある場合、本動作は、ステップS512に進み、復号済みでない場合、本動作は、ステッ
プS513に進む。
ステップS512において、符号化装置1は、符号化対象のTUに対して、かかるTU
の左側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う
ステップS513において、符号化装置1は、符号化対象のTUに対して、かかるTU
の右側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
本実施形態に係る復号装置3では、イントラ予測モードの方向に応じて従来のラスター
スキャン順とは異なる予め規定した復号順が用いられる場合で、かつ、復号対象のTUの
左側や上側や右側に隣接する全ての参照画素或いは符号化対象のTUの左側や上側や下側
に隣接する全ての参照画素が復号済みである場合、イントラ予測部33aは、利用可能な
全ての参照画素を用いた線形内挿等の予め規定した別の予測に変更してイントラ予測を行
うように構成されていてもよい。
図10に、本実施形態に係る復号装置3によって、上述の復号順を決定する動作の一例
について説明するためのフローチャートについて示す。
図10に示すように、ステップS601において、復号装置3は、符号化装置1から出
力されたストリームから、イントラ予測モードを取得する。
ステップS602において、復号装置3は、符号化装置1から出力されたストリームに
含まれているフラグ情報に基づいて、CUが複数のTUに分割されているか否かについて
判定する。ステップS602において、CUが複数のTUに分割されていると判定された
場合には、本動作は、ステップS603に進む。一方、ステップS602において、CU
が複数のTUに分割されていないと判定された場合には、本動作は、ステップS608に
進む。
ステップS608において、復号装置3は、復号対象のTUに対して、かかるTUの左
側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS603において、復号装置3は、イントラ予測モードの方向が左下から右上
に向かう方向或いは右上から左下に向かう方向であるか否かについて判定する。ステップ
S603において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上か
ら左下に向かう方向であると判定された場合には、本動作は、ステップS605に進む。
一方、ステップS603において、イントラ予測モードの方向が左下から右上に向かう方
向及び右上から左下に向かう方向以外であると判定された場合には、本動作は、ステップ
S604に進む。
ステップS604において、復号装置3は、上述の復号順として、HEVCで用いられ
ている従来のラスタースキャン順(図13に示すようなZ型)を採用する。
イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合(ステ
ップS605)には、ステップS606において、復号装置3は、上述の復号順として、
TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU
#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という復号
順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上の
TU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU
)という復号順のうち、予め規定した復号順を採用する。
一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合
(ステップS605)には、ステップS610において、復号装置3は、上述の復号順と
して、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)
→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)とい
う復号順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#A内の
左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下
のTU)という復号順のうち、予め規定した復号順を採用する。
ステップS607において、復号装置3は、復号対象のTUの上側に隣接する参照画素
が復号済みであるか否かについて判定する。ステップS607において、復号済みである
場合、本動作は、ステップS609に進み、復号済みでない場合、本動作は、ステップS
614に進む。
ステップS609において、復号装置3は、復号対象のTUに対して、かかるTUの左
側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS614において、復号装置3は、復号対象のTUに対して、かかるTUの左
側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS611において、復号装置3は、復号対象のTUの左側に隣接する参照画素
が復号済みであるか否かについて判定する。ステップS611において、復号済みである
場合、本動作は、ステップS612に進み、復号済みでない場合、本動作は、ステップS
613に進む。
ステップS612において、復号装置3は、復号対象のTUに対して、かかるTUの左
側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS613において、復号装置3は、復号対象のTUに対して、かかるTUの右
側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
本実施形態に係る符号化装置1及び復号装置3によれば、イントラ予測モードの方向及
び符号化対象(或いは、復号対象)のTUの位置に応じて、すなわち、利用できる参照画
素の位置や方向に応じて、符号化対象(或いは、復号対象)のTUに適用する予測モード
自体を切り替えることができるため、より予測精度を向上させることができる。
(変更例)
上述の第1〜第3の実施形態に係る符号化装置1において、符号化順制御部13は、予
測画像を生成する際に最も多くの復号済み参照画素を用いるように符号化順を決定するよ
うに構成されている。
ここで、符号化順制御部13は、上述の第1〜第3の実施形態に係る符号化装置1に係
る符号化順制御部13とは別の方法にて、予測画像を生成する際に最も多くの復号済み参
照画素を用いるように符号化順を決定するように構成されていてもよい。
同様に、上述の第1〜第3の実施形態に係る復号装置3において、復号順制御部32は
、予測画像を生成する際に最も多くの復号済み参照画素を用いるように復号順を決定する
ように構成されている。
ここで、復号順制御部32は、上述の第1〜第3の実施形態に係る復号装置3に係る復
号順制御部32とは別の方法にて、予測画像を生成する際に最も多くの復号済み参照画素
を用いるように復号順を決定するように構成されていてもよい。
上述の第1〜第3の実施形態に係る符号化装置1において、逐次局部復号画像生成部1
4は、TUの画素と復号済み画素との距離を考慮して予測画像を生成するように構成され
ていてもよい。
例えば、上述の第2の実施形態に係る符号化装置1のように、逐次局部復号画像生成部
14内のイントラ予測部14aは、TUの画素と復号済み画素との距離を考慮して、隣接
する下側の参照画素が復号されているTU#A1(CU#A内の左上のTU)及びTU#
A2(CU#A内の右上のTU)に対して、予測画像を生成する際に用いる参照画素とし
て、左側及び下側に隣接する復号済み参照画素とするように構成されていてもよい(図6
(c)及び図6(d)参照)。
或いは、上述の第3の実施形態に係る符号化装置1のように、逐次局部復号画像生成部
14内のイントラ予測部14aは、TUの画素と復号済み画素との距離を考慮して、利用
可能な全ての参照画素を用いた線形内挿等の予め規定した別の予測に変更してイントラ予
測を行うように構成されていてもよい。
なお、逐次局部復号画像生成部14は、他の方法によって、TUの画素と復号済み画素
との距離を考慮して予測画像を生成するように構成されていてもよい。
同様に、上述の第1〜第3の実施形態に係る復号装置3において、逐次局部復号画像生
成部33は、TUの画素と復号済み画素との距離を考慮して予測画像を生成するように構
成されていてもよい。
例えば、上述の第2の実施形態に係る復号装置3のように、逐次局部復号画像生成部3
3内のイントラ予測部33aは、TUの画素と復号済み画素との距離を考慮して、隣接す
る下側の参照画素が復号されているTU#A1(CU#A内の左上のTU)及びTU#A
2(CU#A内の右上のTU)に対して、予測画像を生成する際に用いる参照画素として
、左側及び下側に隣接する復号済み参照画素とするように構成されていてもよい(図6(
c)及び図6(d)参照)。
或いは、上述の第3の実施形態に係る復号装置3のように、逐次局部復号画像生成部3
3内のイントラ予測部33aは、TUの画素と復号済み画素との距離を考慮して、利用可
能な全ての参照画素を用いた線形内挿等の予め規定した別の予測に変更してイントラ予測
を行うように構成されていてもよい。
なお、逐次局部復号画像生成部33は、他の方法によって、TUの画素と復号済み画素
との距離を考慮して予測画像を生成するように構成されていてもよい。
また、CUを複数のTUに分割する際の分割数や分割形状について上述の第1〜第3の
実施形態と異なる場合において、符号化順制御部13及び復号順制御部32は、例えば、
各TUに対して処理順インデックスを付与しておき、かかる処理順インデックスに基づい
て、上述の符号化順、復号順及び予測処理方法を決定するように構成されていてもよい。
ここで、処理順インデックスは、イントラ予測モードの示す方向別に複数用意されてい
てもよい。例えば、左下から右上に向かって方向予測が行われる場合には、符号化順制御
部13及び復号順制御部32は、図11に示すような処理順インデックスを用いて符号化
順及び復号順を決定するように構成されていてもよい。
処理順インデックスは、対象のCUを最小のTUまで細かく分割した際の符号化順及び
復号順を予め規定することによりを生成されてもよい。かかる処理順インデックスを用い
ることで、対象のCUがHEVCで規定されているような正方な形状でない分割形状であ
った場合にも、一意に処理順を決定することが可能である。
具体的には、処理順インデックスをTUの分割形状と同様に分割を行い、各分割された
処理順インデックス内の左下に位置するインデックス値(例えば、図11における「0」
や「32」や「48」や「56」や「64」や「80」や「128」や「192」や「2
08」や「224」や「232」)が小さい順に符号化を行ってもよい。
また、第3の実施形態で示したように、隣接する画素が復号済みであるか否かについて
判定する際には、対象となるTU内の左下に位置するインデックス値が周辺のTU内の左
下に位置するインデックス値よりも大きいか小さいかにより容易に判定を行うことが可能
である。例えば、対象となるTU内の左下に位置するインデックス値が、周辺のTU内の
左下に位置するインデックス値よりも大きければ、周辺のTU内の画素は復号済みである
と容易に判定することができる。
上述の例では、左下から右上に向かって方向予測を行う場合の処理順インデックスにつ
いて示したが、右上から左下に向かって方向予測を行う場合の処理順インデックスについ
てもCUを最小のTUまで細かく分割した際の符号化順及び復号順を予め規定することに
より同様に生成可能である。
(その他の実施形態)
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形
態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべき
ではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らか
となろう。
また、上述の実施形態では特に触れていないが、上述の符号化装置1及び復号装置3に
よって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また
、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュ
ータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールするこ
とが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は
、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものでは
ないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
或いは、上述の符号化装置1及び復号装置3内の少なくとも一部の機能を実現するため
のプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサ
によって構成されるチップが提供されてもよい。
1…符号化装置
11…イントラ予測モード決定部
12…TU分割決定部
13…符号化順制御部
14…逐次局部復号画像生成部
14a…イントラ予測部
14b…残差信号生成部
14c…直交変換・量子化部
14d…逆量子化部・逆直交変換部
14e…局部復号画像生成部
15…メモリ
16…エントロピー符号化部
3…復号装置
31…エントロピー復号部
32…復号順制御部
33…逐次局部復号画像生成部
33a…イントラ予測部
33b…逆量子化・逆変換部
33c…復号画像生成部
34…メモリ

Claims (8)

  1. 動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、
    イントラ予測モードの予測方向に基づいて前記符号化対象ブロックをさらに分割した分割ブロックの符号化順を決定するように構成されている符号化順制御部と、
    前記符号化順及び前記イントラ予測モードの予測方向に基づいて第1の予測処理により、前記分割ブロックそれぞれの予測画像を生成するように構成されているイントラ予測部と、
    前記予測画像に基づいて、前記分割ブロックの復号画像を生成するように構成されている復号画像生成部と、を具備し、
    前記イントラ予測部は、前記分割ブロックの上下左右のうち少なくとも3方向に隣接する復号済み画像が存在する場合には、前記第1の予測処理とは異なる第2の予測処理により前記分割ブロックの予測画像を生成するように構成されていることを特徴とする符号化装置。
  2. 前記符号化順制御部は、予測画像を生成する際に最も多くの復号済み参照画素を用いるように前記符号化順を決定するように構成されていることを特徴とする請求項1に記載の符号化装置。
  3. 前記イントラ予測部は、前記第2の予測処理として、前記分割ブロックに隣接する復号済み画素を用いた線形内挿を用いるように構成されていることを特徴とする請求項1記載の符号化装置。
  4. 動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、
    イントラ予測モードの予測方向に基づいて前記符号化対象ブロックをさらに分割した分割ブロックの復号順を決定するように構成されている復号順制御部と、
    前記復号順及び前記イントラ予測モードの予測方向に基づいて第1の予測処理により、前記分割ブロックそれぞれの予測画像を生成するイントラ予測部と、
    前記予測画像に基づいて、前記分割ブロックの復号画像を生成する復号画像生成部と、
    を具備しており、
    前記イントラ予測部は、前記分割ブロックの上下左右のうち少なくとも3方向に隣接する復号済み画像が存在する場合には、前記第1の予測処理とは異なる第2の予測処理により前記分割ブロックの予測画像を生成するように構成されていることを特徴とする復号装置。
  5. 前記復号順制御部は、予測画像を生成する際に最も多くの復号済み参照画素を用いるように前記復号順を決定するように構成されていることを特徴とする請求項4に記載の復号装置。
  6. 前記イントラ予測部は、前記第2の予測処理として、前記分割ブロックに隣接する復号済み画素を用いた線形内挿を用いるように構成されていることを特徴とする請求項4記載の符号化装置。
  7. コンピュータを、請求項1〜3のいずれか一項に記載の符号化装置として機能させるためのプログラム。
  8. コンピュータを、請求項4〜6のいずれか一項に記載の復号装置として機能させるためのプログラム。
JP2017012086A 2016-01-28 2017-01-26 符号化装置、復号装置及びプログラム Active JP6890428B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016014816 2016-01-28
JP2016014816 2016-01-28

Publications (2)

Publication Number Publication Date
JP2017139758A JP2017139758A (ja) 2017-08-10
JP6890428B2 true JP6890428B2 (ja) 2021-06-18

Family

ID=59566198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017012086A Active JP6890428B2 (ja) 2016-01-28 2017-01-26 符号化装置、復号装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6890428B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020020213A2 (pt) 2018-04-01 2021-01-12 Ki Baek Kim Método e aparelho para codificar/decodificar imagem

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356448B1 (ko) * 2008-10-01 2014-02-06 한국전자통신연구원 예측 모드를 이용한 복호화 장치
JP2012134822A (ja) * 2010-12-22 2012-07-12 Jvc Kenwood Corp 画像復号装置、画像復号方法および画像復号プログラム

Also Published As

Publication number Publication date
JP2017139758A (ja) 2017-08-10

Similar Documents

Publication Publication Date Title
WO2017131233A1 (ja) 符号化装置、復号装置及びプログラム
TWI524780B (zh) 在變換單元內之多符號位元隱藏
US11146789B2 (en) Apparatus and method for encoding and decoding a picture using picture boundary handling
KR20170069917A (ko) 인트라 스킵 모드의 예측 방법을 나타내는 정보의 부호화 방법 및 장치, 복호화 방법 및 장치
WO2017142085A1 (ja) 符号化装置、復号装置及びプログラム
KR20200015783A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20220020325A (ko) 영상 신호 부호화/복호화 방법 및 장치
JP2023072035A (ja) 復号装置及びプログラム
TWI738167B (zh) 圖像編碼及解碼技術
JP6890428B2 (ja) 符号化装置、復号装置及びプログラム
JP7194539B2 (ja) 符号化装置、復号装置及びプログラム
JP7093152B2 (ja) 符号化装置、復号装置及びプログラム
JP6956471B2 (ja) 符号化装置、復号装置及びプログラム
JP7104101B2 (ja) 符号化装置、復号装置及びプログラム
JP7092455B2 (ja) 符号化装置、復号装置及びプログラム
JP7167212B2 (ja) 符号化装置、復号装置及びプログラム
JP7449253B2 (ja) 符号化装置、復号装置及びプログラム
JP7410033B2 (ja) 符号化装置、復号装置及びプログラム
JP2023024721A (ja) 符号化装置、復号装置及びプログラム
JP6740534B2 (ja) 符号化装置、復号装置及びプログラム
JP7166743B2 (ja) 符号化装置、復号装置及びプログラム
JP6886825B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
JP2022017254A (ja) 符号化装置、復号装置及びプログラム
TW202137761A (zh) 用於樣本區塊之經變換表示型態的寫碼概念
JP5957513B2 (ja) 動画像復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191202

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200528

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20200608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210525

R150 Certificate of patent or registration of utility model

Ref document number: 6890428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250