JPWO2012176381A1 - 画像復号装置及び画像復号方法 - Google Patents

画像復号装置及び画像復号方法 Download PDF

Info

Publication number
JPWO2012176381A1
JPWO2012176381A1 JP2013521419A JP2013521419A JPWO2012176381A1 JP WO2012176381 A1 JPWO2012176381 A1 JP WO2012176381A1 JP 2013521419 A JP2013521419 A JP 2013521419A JP 2013521419 A JP2013521419 A JP 2013521419A JP WO2012176381 A1 JPWO2012176381 A1 JP WO2012176381A1
Authority
JP
Japan
Prior art keywords
prediction
block
value
intra
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013521419A
Other languages
English (en)
Other versions
JP5389297B2 (ja
Inventor
彰 峯澤
彰 峯澤
杉本 和夫
和夫 杉本
関口 俊一
俊一 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47422246&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPWO2012176381(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013521419A priority Critical patent/JP5389297B2/ja
Application granted granted Critical
Publication of JP5389297B2 publication Critical patent/JP5389297B2/ja
Publication of JPWO2012176381A1 publication Critical patent/JPWO2012176381A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

フレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、フレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。

Description

この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
例えば、MPEG(Moving Picture Experts Group)や「ITU−T H.26x」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック(符号化ブロック)に分割し、その符号化ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。
例えば、国際標準方式であるMPEG−4 AVC/H.264(ISO/IEC 14496−10|ITU−T H.264)では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている(例えば、非特許文献1を参照)。
MPEG−4 AVC/H.264において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から1つの予測モードを選択することができる。
図14は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
図14では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが4×4画素の場合には、モード0からモード8の9つのイントラ予測モードが規定されている。
図14において、モード2は平均値予測を行うモードであり、ブロックの上と左の隣接画素の平均値で、ブロック内の画素を予測するものである。
モード2以外のモードは方向性予測を行うモードである。モード0は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード0が選択される。
モード1は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード1が選択される。
モード3からモード8は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向(矢印が示す方向)に補間画素を生成して予測画像を生成するものである。
ここで、イントラ予測を適用する輝度のブロックサイズは、4×4画素、8×8画素、16×16画素の中から選択することができ、8×8画素の場合には、4×4画素と同様に、9つのイントラ予測モードが規定されている。ただし、予測に用いる画素については、符号化済みの画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いている。
これに対し、16×16画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Plane予測と呼ばれる4つのイントラ予測モードが規定されている。
Plane予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。
なお、方向性予測モードは、予め定められている方向(予測方向)にブロックの隣接画素又は隣接画素から生成された補間画素を繰り返すことで予測値を生成するものであるため、図15に示すような予測対象ブロック内のオブジェクトの境界(エッジ)の方向が予測方向と一致し、なおかつ、予測方向に沿ってブロック内の信号値が一定である場合には、予測効率が高くなって符号量を削減することができる。
MPEG−4 AVC(ISO/IEC 14496−10)/ITU−T H.264規格
従来の動画像符号化装置は以上のように構成されているので、予測対象ブロック内のオブジェクトの境界(エッジ)の方向が予測方向と一致し、なおかつ、その予測方向に沿って予測対象ブロック内の信号値が一定であれば、方向性予測を用いることで高精度に予測することができる。しかし、予測対象ブロック内のオブジェクトの境界(エッジ)の方向が予測方向と一致していても、図16に示すように、その予測方向に沿って信号値が変化している場合には、予測誤差が大きくなってしまう課題があった。
この発明は上記のような課題を解決するためになされたもので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。
この発明に係る動画像符号化装置は、イントラ予測手段が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するようにしたものである。
この発明によれば、イントラ予測手段が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果がある。
この発明の実施の形態1による動画像符号化装置を示す構成図である。 この発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。 この発明の実施の形態1による動画像復号装置を示す構成図である。 この発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 (a)は分割後の符号化ブロック及び予測ブロックの分布を示し、(b)は階層分割によって符号化モードm(B)が割り当てられる状況を示す説明図である。 符号化ブロックB内の各予測ブロックP が選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。 =m =4の場合の予測ブロックP 内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測ブロックP 内の左上画素を原点とする相対座標を示す説明図である。 垂直方向予測における従来の予測値に対して、加算する輝度値変化量を算出するために参照する左の予測ブロックの隣接画素の一例を示す説明図である。 垂直方向予測における従来の予測値に対して、加算する輝度値変化量のスケーリング値の一例を示す説明図である。 水平方向予測における従来の予測値に対して、加算する輝度値変化量を算出するために参照する上の予測ブロックの隣接画素の一例を示す説明図である。 水平方向予測における従来の予測値に対して、加算する輝度値変化量のスケーリング値の一例を示す説明図である。 輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。 水平方向予測によって高精度に予測された予測画像の一例を示す説明図である。 水平方向予測によって予測を行った際に大きな予測誤差が発生する一例を示す説明図である。 符号化ブロックB内の各予測ブロックP が選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。
図1において、ブロック分割部1は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部2により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部2により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部1は入力画像を符号化制御部2により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる1つないし複数の予測ブロックに分割される。
なお、ブロック分割部1はブロック分割手段を構成している。
符号化制御部2は予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部2は選択可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、ブロック分割部1から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する処理を実施する。
また、符号化制御部2は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部2は符号化制御手段を構成している。
切換スイッチ3は符号化制御部2により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部1から出力された符号化ブロックをイントラ予測部4に出力し、符号化制御部2により決定された符号化モードがインター符号化モードであれば、ブロック分割部1から出力された符号化ブロックを動き補償予測部5に出力する処理を実施する。
イントラ予測部4は切換スイッチ3から出力された符号化ブロックに対して、予測処理単位である予測ブロック毎に、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部4は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部4及びイントラ予測用メモリ10からイントラ予測手段が構成されている。
動き補償予測部5は切換スイッチ3から出力された符号化ブロックと動き補償予測フレームメモリ12に格納されている1フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理(動き補償予測処理)を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。
減算部6はブロック分割部1より出力された符号化ブロックから、イントラ予測部4により生成されたイントラ予測画像、又は、動き補償予測部5により生成されたインター予測画像を減算して、その減算結果である予測差分信号(差分画像)を変換・量子化部7に出力する処理を実施する。
変換・量子化部7は符号化制御部2により決定された予測差分符号化パラメータを参照して、減算部6から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。
なお、減算部6及び変換・量子化部7から量子化手段が構成されている。
逆量子化・逆変換部8は符号化制御部2により決定された予測差分符号化パラメータを参照して、変換・量子化部7から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部6から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、又は、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
イントラ予測用メモリ10は加算部9により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ12はフィルタリング処理後の局所復号画像を格納する記録媒体である。
可変長符号化部13は変換・量子化部7から出力された圧縮データと、符号化制御部2の出力信号(最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化してビットストリームを生成する処理を実施する。
なお、可変長符号化部13は可変長符号化手段を構成している。
図1の例では、動画像符号化装置の構成要素であるブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、イントラ予測用メモリ10、ループフィルタ部11、動き補償予測フレームメモリ12及び可変長符号化部13のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図2はこの発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。
図3はこの発明の実施の形態1による動画像復号装置を示す構成図である。
図3において、可変長復号部31は図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、ブロック分割情報、符号化モード、イントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)、インター予測パラメータ(符号化モードがインター符号化モードである場合)、予測差分符号化パラメータ及び動きベクトル(符号化モードがインター符号化モードである場合)を可変長復号する処理を実施する。
なお、可変長復号部31は可変長復号手段を構成している。
逆量子化・逆変換部32は可変長復号部31により可変長復号された予測差分符号化パラメータを参照して、可変長復号部31により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
なお、逆量子化・逆変換部32は逆量子化手段を構成している。
切換スイッチ33は可変長復号部31により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部31により可変長復号されたイントラ予測パラメータをイントラ予測部34に出力し、可変長復号部31により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部31により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部35に出力する処理を実施する。
イントラ予測部34は可変長復号部31により可変長復号されたブロック分割情報及び符号化モードから特定される復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)に対して、予測処理単位である予測ブロック毎に、イントラ予測用メモリ37に格納されている復号画像を参照しながら、切換スイッチ33から出力されたイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部34は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部34及びイントラ予測用メモリ37からイントラ予測手段が構成されている。
動き補償部35は可変長復号部31により可変長復号されたブロック分割情報及び符号化モードから特定される復号ブロックに対して、予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ39に格納されている復号画像を参照しながら、切換スイッチ33から出力された動きベクトルとインター予測パラメータを用いたインター予測処理(動き補償予測処理)を実施してインター予測画像を生成する処理を実施する。
加算部36は逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像、又は、動き補償部35により生成されたインター予測画像とを加算して、図1の加算部9から出力された局所復号画像と同一の復号画像を算出する処理を実施する。
イントラ予測用メモリ37は加算部36により算出された復号画像を格納する記録媒体である。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ39はフィルタリング処理後の復号画像を格納する記録媒体である。
図3の例では、動画像復号装置の構成要素である可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36、イントラ予測用メモリ37、ループフィルタ部38及び動き補償予測フレームメモリ39のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36及びループフィルタ部38の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図4はこの発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。
次に動作について説明する。
この実施の形態1では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
図1の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
この実施の形態1では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
図1の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号とする。
ただし、各画素の階調は、8ビットでもよいし、10ビットや12ビットなどの階調でもよい。
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はYUV信号であるとし、かつ、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
最初に、図1の動画像符号化装置の処理内容を説明する。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
また、符号化制御部2は、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
ただし、後述するブロック分割部1により階層的に分割される各々の符号化ブロックはさらに予測処理を行う単位である1つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
また、符号化制御部2は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部2は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
ブロック分割部1は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
ここで、図5は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L,M)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(L,M)の画像領域である。
ただし、LとMは、同じであってもよいし、異なっていてもよいが、図5では、L=Mのケースを示している。
以降、符号化制御部2により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ(L,M)と定義する。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(L/2,M/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(L,M)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(L/2,M/2)になる。
以降、第n階層の符号化ブロックをBで表し、符号化ブロックBで選択可能な符号化モードをm(B)で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードm(B)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
符号化ブロックBは、図6に示すように、ブロック分割部1によって、予測処理単位を表す1つないし複数の予測ブロックに分割される。
以降、符号化ブロックBに属する予測ブロックをP (iは、第n階層における予測ブロック番号)と表記する。図5にP0 0とP1 0の一例を示す。
符号化ブロックBの予測ブロック分割がどのようになされているかは、符号化モードm(B)の中に情報として含まれる。
予測ブロックP は、全て符号化モードm(B)に従って予測処理が行われるが、予測ブロックP 毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
符号化制御部2は、最大符号化ブロックに対して、例えば、図6に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(B)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(B)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(B)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
切換スイッチ3は、符号化制御部2により決定された符号化モードm(B)がイントラ符号化モードである場合(m(B)∈INTRAの場合)、ブロック分割部1から出力された符号化ブロックBをイントラ予測部4に出力する。
一方、符号化制御部2により決定された符号化モードm(B)がインター符号化モードである場合(m(B)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBを動き補償予測部5に出力する。
イントラ予測部4は、符号化制御部2により決定された符号化モードm(B)がイントラ符号化モードであり(m(B)∈INTRAの場合)、切換スイッチ3から符号化ブロックBを受けると(ステップST3)、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いて、その符号化ブロックB内の各予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成する(ステップST4)。
なお、動画像復号装置がイントラ予測画像PINTRAi と全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi の生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
動き補償予測部5は、符号化制御部2により決定された符号化モードm(B)がインター符号化モードであり(m(B)∈INTERの場合)、切換スイッチ3から符号化ブロックBを受けると(ステップST3)、その符号化ブロックB内の各予測ブロックP と動き補償予測フレームメモリ12に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化ブロックB内の各予測ブロックP に対するインター予測処理を実施して、インター予測画像PINTERi を生成する(ステップST5)。
なお、動画像復号装置がインター予測画像PINTERi と全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi の生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
減算部6は、ブロック分割部1から符号化ブロックBを受けると、その符号化ブロックB内の予測ブロックP から、イントラ予測部4により生成されたイントラ予測画像PINTRAi 、又は、動き補償予測部5により生成されたインター予測画像PINTERi のいずれか一方を減算して、その減算結果である予測差分信号e を変換・量子化部7に出力する(ステップST6)。
変換・量子化部7は、減算部6から予測差分信号e を受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その予測差分信号e に対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して、変換係数を算出する。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆KL変換など)を実施して、減算部6から出力された予測差分信号e に相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像PINTRAi 、又は、動き補償予測部5により生成されたインター予測画像PINTERi のいずれか一方を加算することで、局所復号画像を算出する(ステップST9)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
ループフィルタ部11は、加算部9から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ12に格納する(ステップST10)。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1ピクチャ分の局所復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部11で参照する必要があるため、ループフィルタ部11に映像信号を入力するように図1の動画像符号化装置を変更する必要がる。
ステップST3〜ST9の処理は、階層的に分割された全ての符号化ブロックBに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックBに対する処理が完了するとステップST13の処理に移行する(ステップST11,ST12)。
可変長符号化部13は、変換・量子化部7から出力された圧縮データと、符号化制御部2から出力された最大符号化ブロック内のブロック分割情報(図6(b)を例とする4分木情報)、符号化モードm(B)及び予測差分符号化パラメータと、符号化制御部2から出力されたイントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)又はインター予測パラメータ(符号化モードがインター符号化モードである場合)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する(ステップST13)。
次に、イントラ予測部4の処理内容を詳細に説明する。
図7は符号化ブロックB内の各予測ブロックP が選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図7では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図7の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
イントラ予測部4は、上述したように、予測ブロックP のイントラ予測パラメータを参照して、その予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成するが、ここでは、輝度信号における予測ブロックP のイントラ予測信号を生成するイントラ処理について説明する。
予測ブロックP のサイズをl ×m 画素とする。
図8はl =m =4の場合の予測ブロックP 内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測ブロックP の上の符号化済みの画素(2×l +1)個と、左の符号化済みの画素(2×m )個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測ブロックP の近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
予測ブロックP に対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合には、下記の式(1)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。

Figure 2012176381

ただし、座標(x,y)は予測ブロックP 内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
このように、従来(MPEG−4 AVC/H.264)の垂直方向予測の予測値である予測ブロックP の上に隣接する符号化済み画素の輝度値S(x,−1)に対して、予測ブロックP の左に隣接する符号化済み画素(図10の太枠で囲った画素)の垂直方向の輝度値の変化量を表すS(−1,y)−S(−1,−1)に比例する値(垂直方向の輝度値の変化量を表すS(−1,y)−S(−1,−1)を1/tにスケーリングした値)を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した垂直方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。
なお、上記の1/tは、固定値としてもよいが、座標(x,y)によって変化する変数としてもよい。
例えば、t=2x+1とすれば、図11に示すように、スケーリング値が左端の列から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックP の左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックP の左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックP の左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックP の左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式(1)の予測処理を行う予測ブロックP のブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックP では式(1)は適用せずに従来の垂直方向予測の予測値(予測ブロックP の上に隣接する符号化済み画素の輝度値S(x,−1))とし、16×16画素より小さいブロックのみで式(1)を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
また、予測ブロックP に対するイントラ予測モードのインデックス値が1(水平方向予測)の場合には、下記の式(2)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。

Figure 2012176381

ただし、座標(x,y)は予測ブロックP 内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
このように、従来(MPEG−4 AVC/H.264)の水平方向予測の予測値である予測ブロックP の左に隣接する符号化済み画素の輝度値S(−1,y)に対して、予測ブロックP の上に隣接する符号化済み画素(図12の太枠で囲った画素)の水平方向の輝度値の変化量を表すS(x,−1)−S(−1,−1)に比例する値(水平方向の輝度値の変化量を表すS(x,−1)−S(−1,−1)を1/uにスケーリングした値)を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した水平方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。
なお、上記の1/uは、固定値としてもよいが、座標(x,y)によって変化する変数としてもよい。
例えば、u=2y+1とすれば、図13に示すように、スケーリング値が上端の行から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックP の上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックP の上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックP の上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックP の上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式(2)の予測処理を行う予測ブロックP のブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックP では式(2)は適用せずに従来の水平方向予測の予測値(予測ブロックP の左に隣接する符号化済み画素の輝度値S(−1,y))とし、16×16画素より小さいブロックのみで式(2)を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
また、予測ブロックP に対するイントラ予測モードのインデックス値が2(平均値予測)の場合には、予測ブロックP の上に隣接する符号化済み画素と予測ブロックP の左に隣接する符号化済み画素の平均値を予測ブロックP 内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が0(垂直方向予測)、1(水平方向予測)、2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルυ=(dx,dy)に基づいて、予測ブロックP 内の画素の予測値を生成する。
図9に示すように、予測ブロックP の左上画素を原点として、予測ブロックP 内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。

Figure 2012176381

ただし、kは負のスカラ値である。
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックP 内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像PINTRAi を出力する。
なお、イントラ予測画像PINTRAi の生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力される。
なお、先に説明したMPEG−4 AVC/H.264における8×8画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。
予測ブロックP の色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部13に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来(MPEG−4 AVC/H.264)の予測手法であってもよい。
例えば、YUV信号4:2:0フォーマットの場合、色差信号(U、V信号)は、輝度信号(Y信号)に対して解像度を水平方向、垂直方向共に1/2に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ(イントラ予測モード)を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。
なお、垂直方向予測で用いるスケーリング値である1/tと、水平方向予測で用いるスケーリング値である1/uは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、t,uを可変長符号化部13に出力し、可変長符号化部13がt,uを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからt,uを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、t,uを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
また、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグを可変長符号化部13に出力し、可変長符号化部13が上記ON/OFFフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ON/OFFフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
次に、図3の動画像復号装置の処理内容を具体的に説明する。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータt、水平方向予測で用いるスケーリング値のパラメータu、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグの内、いずれか1つでも可変長符号化されてビットストリームに多重化されている場合、図1の動画像符号化装置で符号化された単位(シーケンス単位、あるいは、ピクチャ単位)に復号する。
可変長復号部31は、図1の動画像符号化装置の符号化制御部2により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する(ステップST22)。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部31は、決定された最大復号ブロック単位に、図6で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定する(ステップST23)。
次に、可変長復号部31は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに1つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する(ステップST24)。
可変長復号部31は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
さらに、可変長復号部31は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる1つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
切換スイッチ33は、可変長復号部31により可変長復号された符号化モードm(B)がイントラ符号化モードであれば(m(B)∈INTRAの場合)、可変長復号部31により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部34に出力する。
一方、可変長復号部31により可変長復号された符号化モードm(B)がインター符号化モードであれば(m(B)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
イントラ予測部34は、可変長復号部31により可変長復号された符号化モードm(B)がイントラ符号化モード(m(B)∈INTRA)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図1のイントラ予測部4と同様の手順で、イントラ予測用メモリ37に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックB内の各予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成する(ステップST26)。
即ち、イントラ予測部34は、予測ブロックP に対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合には、上記の式(1)から予測ブロックP 内の画素の予測値を算出して、イントラ予測画像PINTRAi を生成する。
また、予測ブロックP に対するイントラ予測モードのインデックス値が1(水平方向予測)の場合には、上記の式(2)から予測ブロックP 内の画素の予測値を算出して、イントラ予測画像PINTRAi を生成する。
ただし、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズが制限されている場合は、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックP では従来(MPEG−4 AVC/H.264)の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。
動き補償部35は、可変長復号部31により可変長復号された符号化モードm(B)がインター符号化モード(m(B)∈INTER)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ39に格納されているフィルタリング処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロック内の各予測ブロックP に対するインター予測処理を実施してインター予測画像PINTERi を生成する(ステップST27)。
逆量子化・逆変換部32は、可変長復号部31から圧縮データ及び予測差分符号化パラメータを受けると、図1の逆量子化・逆変換部8と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する(ステップST28)。
加算部36は、逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像PINTRAi 、又は、動き補償部35により生成されたインター予測画像PINTERi のいずれか一方を加算して復号画像を算出し、ループフィルタ部38に出力するとともに、その復号画像をイントラ予測用メモリ37に格納する(ステップST29)。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
ループフィルタ部38は、全ての復号ブロックBに対するステップST23〜ST29の処理が完了すると(ステップST30)、加算部36から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ39に格納する(ステップST31)。
なお、ループフィルタ部38によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、1ピクチャ分の復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
以上で明らかなように、この実施の形態1によれば、動画像符号化装置のイントラ予測部4が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
また、この実施の形態1によれば、動画像復号装置のイントラ予測部34が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
この実施の形態1によれば、イントラ予測部4,34により水平方向予測処理が実施される際に用いられるスケーリング値である1/uについては、予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの上に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの上に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
また、イントラ予測部4,34により垂直方向予測処理が実施される際に用いられるスケーリング値である1/tについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
なお、この実施の形態1では、イントラ予測部4,34により水平方向予測処理が実施される際の予測ブロック内の第N行(予測ブロックの上端からN番目の行)のスケーリング値が1/2N+1(=1/2,1/4,1/8,1/16,・・・)であり、イントラ予測部4,34により垂直方向予測処理が実施される際の予測ブロック内の第M列(予測ブロックの左端からM番目の列)のスケーリング値が1/2M+1(=1/2,1/4,1/8,1/16,・・・)である例を示したが、これは一例に過ぎず、イントラ予測部4,34により水平方向予測処理が実施される際は予測ブロックの上端から遠い行のスケーリング値ほど小さく、また、イントラ予測部4,34により垂直方向予測処理が実施される際は予測ブロックの左端から遠い列のスケーリング値ほど小さければ、いかなる値でもよい。
実施の形態2.
上記実施の形態1では、イントラ予測部4,34が、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に予測ブロック内の列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するものを示したが、低演算な処理を実現するために、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
また、同様の理由で、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に予測ブロック内の行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
以下、イントラ予測部4,34の処理内容を具体的に説明する。
イントラ予測部4,34は、予測ブロックP に対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合、下記の式(4)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。

Figure 2012176381
ただし、Bは0以上の整数であり、式(4)の上式を適用するx<Bの時は、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
Bの値を小さくするほど、低演算な処理を実現することが可能であり、B=0の場合、予測ブロックP の上に隣接する符号化済み(復号済み)画素の輝度値S(x,−1)のみを用いる従来(MPEG−4 AVC/H.264)の垂直方向予測と一致する。
Bの値は、予測ブロックP のブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックP のブロックサイズが所定サイズより小さい場合に限り、B≧1に設定し、予測ブロックP のブロックサイズが所定サイズ以上であれば、B=0とする。
例えば、所定サイズが16×16画素であれば、16×16画素以上のブロックサイズの予測ブロックP では、B=0となるため、従来の垂直方向予測と同じなり、演算処理の増加を抑制することができる。即ち、B=0のブロックサイズでは、x<Bかx≧Bかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の垂直方向予測を行うようにすることで、従来の垂直方向予測処理からの演算処理の増加は一切発生しない。
一方、4×4画素や8×8画素等の16×16画素より小さいブロックサイズの予測ブロックP では、B≧1となるため、従来の垂直方向予測よりも予測性能を向上させることができる。
例えば、4×4画素のブロックサイズの予測ブロックP において、B=1である場合、予測ブロックP 内の1番左の列については、式(4)の上式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値が加算される。
一方、予測ブロックP 内の左端から2番目〜4番目の列については、式(4)の下式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値は加算されない。
このようにBの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。
なお、実際の装置としては、上記の式(4)のとおり、x<Bの位置の画素と、x≧Bの位置の画素とで、予測値の算出式を分けて構成してもよいし、予測ブロックP 内の全ての画素に対して、従来の垂直方向予測の予測値である予測ブロックP の上に隣接する符号化済み(復号済み)画素の輝度値S(x,−1)をコピーした後に、x<Bの位置の画素のみS(−1,y)−S(−1,−1)を1/tにスケーリングした値を加算するように構成するなど、上記の式と等価な予測値が算出できれば、どのように構成してもよい。
また、イントラ予測部4,34は、予測ブロックP に対するイントラ予測モードのインデックス値が1(水平方向予測)の場合、下記の式(5)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。

Figure 2012176381
ただし、Cは0以上の整数であり、式(5)の上式を適用するx<Cの時は、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
Cの値を小さくするほど、低演算な処理を実現することが可能であり、C=0の場合、予測ブロックP の左に隣接する符号化済み(復号済み)画素の輝度値S(−1,y)のみを用いる従来(MPEG−4 AVC/H.264)の水平方向予測と一致する。
Cの値は、予測ブロックP のブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックP のブロックサイズが所定サイズより小さい場合に限り、C≧1に設定し、予測ブロックP のブロックサイズが所定サイズ以上であれば、C=0とする。
例えは、所定サイズが16×16画素であれば、16×16画素以上のブロックサイズの予測ブロックP では、C=0となるため、従来の水平方向予測と同じなり、演算処理の増加を抑制することができる。即ち、C=0のブロックサイズでは、y<Cかy≧Cかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の水平方向予測を行うようにすることで、従来の水平方向予測処理からの演算処理の増加は一切発生しない。
一方、4×4画素や8×8画素等の16×16画素より小さいブロックサイズの予測ブロックP では、C≧1となるため、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を大幅に抑えることができる。
例えば、4×4画素のブロックサイズの予測ブロックP において、C=1である場合、予測ブロックP 内の1番上の行については、式(5)の上式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値が加算される。
一方、予測ブロックP 内の上端から2番目〜4番目の行については、式(5)の下式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値は加算されない。
このようにCの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。
なお、実際の装置としては、上記の式(5)のとおり、y<Cの位置の画素と、y≧Cの位置の画素とで、予測値の算出式を分けて構成してもよいし、予測ブロックP 内の全ての画素に対して、従来の水平方向予測の予測値である予測ブロックP の左に隣接する符号化済み(復号済み)画素の輝度値S(−1,y)をコピーした後に、y<Cの位置の画素のみS(x,−1)−S(−1,−1)を1/uにスケーリングした値を加算するように構成するなど、上記の式と等価な予測値が算出できれば、どのように構成してもよい。
なお、垂直方向予測で用いるスケーリング値である1/tやB(予測ブロックの上に隣接している画素の輝度値に対して、符号化ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算する予測ブロック内の列を示すブロック内情報)と、水平方向予測で用いるスケーリング値である1/uやC(予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算する予測ブロック内の行を示すブロック内情報)は、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、t,u,B,Cを可変長符号化部13に出力し、可変長符号化部13がt,u,B,Cを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからt,u,B,Cを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、t,u,B,Cを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
また、式(4)の垂直方向予測や式(5)の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、式(4)の垂直方向予測や式(5)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグを可変長符号化部13に出力し、可変長符号化部13が上記ON/OFFフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ON/OFFフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式(4)の垂直方向予測や式(5)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
以上で明らかなように、この実施の形態2によれば、イントラ予測部4,34は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、水平方向予測の予測効率を改善することができる効果を奏する。
また、イントラ予測部4,34は、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、垂直方向予測の予測効率を改善することができる効果を奏する。
実施の形態3.
この実施の形態3における動画像符号化装置の構成図は、上記実施の形態1で示した図1と同様であり、この実施の形態3における動画像復号装置の構成図は、上記実施の形態1で示した図3と同様である。
次に動作について説明する。
この実施の形態3では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
図1の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
この実施の形態3では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
図1の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号とする。
ただし、各画素の階調は、8ビットでもよいし、10ビットや12ビットなどの階調でもよい。
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はYUV信号であるとし、かつ、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態3では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
最初に、図1の動画像符号化装置の処理内容を説明する。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
また、符号化制御部2は、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
ただし、後述するブロック分割部1により階層的に分割される各々の符号化ブロックはさらに予測処理を行う単位である1つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
また、符号化制御部2は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部2は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
ブロック分割部1は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
ここで、図5は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L,M)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(L,M)の画像領域である。
ただし、LとMは、同じであってもよいし、異なっていてもよいが、図5では、L=Mのケースを示している。
以降、符号化制御部2により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ(L,M)と定義する。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(L/2,M/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(L,M)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(L/2,M/2)になる。
以降、第n階層の符号化ブロックをBで表し、符号化ブロックBで選択可能な符号化モードをm(B)で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードm(B)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
符号化ブロックBは、図6に示すように、ブロック分割部1によって、予測処理単位を表す1つないし複数の予測ブロックに分割される。
以降、符号化ブロックBに属する予測ブロックをP (iは、第n階層における予測ブロック番号)と表記する。図5にP0 0とP1 0の一例を示す。
符号化ブロックBの予測ブロック分割がどのようになされているかは、符号化モードm(B)の中に情報として含まれる。
予測ブロックP は、全て符号化モードm(B)に従って予測処理が行われるが、予測ブロックP 毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
符号化制御部2は、最大符号化ブロックに対して、例えば、図6に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(B)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(B)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(B)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
切換スイッチ3は、符号化制御部2により決定された符号化モードm(B)がイントラ符号化モードである場合(m(B)∈INTRAの場合)、ブロック分割部1から出力された符号化ブロックBをイントラ予測部4に出力する。
一方、符号化制御部2により決定された符号化モードm(B)がインター符号化モードである場合(m(B)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBを動き補償予測部5に出力する。
イントラ予測部4は、符号化制御部2により決定された符号化モードm(B)がイントラ符号化モードであり(m(B)∈INTRAの場合)、切換スイッチ3から符号化ブロックBを受けると(ステップST3)、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いて、その符号化ブロックB内の各予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成する(ステップST4)。
なお、動画像復号装置がイントラ予測画像PINTRAi と全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi の生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
動き補償予測部5は、符号化制御部2により決定された符号化モードm(B)がインター符号化モードであり(m(B)∈INTERの場合)、切換スイッチ3から符号化ブロックBを受けると(ステップST3)、その符号化ブロックB内の各予測ブロックP と動き補償予測フレームメモリ12に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化ブロックB内の各予測ブロックP に対するインター予測処理を実施して、インター予測画像PINTERi を生成する(ステップST5)。
なお、動画像復号装置がインター予測画像PINTERi と全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi の生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
減算部6は、ブロック分割部1から符号化ブロックBを受けると、その符号化ブロックB内の予測ブロックP から、イントラ予測部4により生成されたイントラ予測画像PINTRAi 、又は、動き補償予測部5により生成されたインター予測画像PINTERi のいずれか一方を減算して、その減算結果である予測差分信号e を変換・量子化部7に出力する(ステップST6)。
変換・量子化部7は、減算部6から予測差分信号e を受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その予測差分信号e に対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して、変換係数を算出する。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆KL変換など)を実施して、減算部6から出力された予測差分信号e に相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像PINTRAi 、又は、動き補償予測部5により生成されたインター予測画像PINTERi のいずれか一方を加算することで、局所復号画像を算出する(ステップST9)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
ループフィルタ部11は、加算部9から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ12に格納する(ステップST10)。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1ピクチャ分の局所復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部11で参照する必要があるため、ループフィルタ部11に映像信号を入力するように図1の動画像符号化装置を変更する必要がる。
ステップST3〜ST9の処理は、階層的に分割された全ての符号化ブロックBに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックBに対する処理が完了するとステップST13の処理に移行する(ステップST11,ST12)。
可変長符号化部13は、変換・量子化部7から出力された圧縮データと、符号化制御部2から出力された最大符号化ブロック内のブロック分割情報(図6(b)を例とする4分木情報)、符号化モードm(B)及び予測差分符号化パラメータと、符号化制御部2から出力されたイントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)又はインター予測パラメータ(符号化モードがインター符号化モードである場合)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する(ステップST13)。
次に、イントラ予測部4の処理内容を詳細に説明する。
図17は符号化ブロックB内の各予測ブロックP が選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。ただし、Nはイントラ予測モード数を表している。
図17では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図17の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
イントラ予測部4は、上述したように、予測ブロックP のイントラ予測パラメータを参照して、その予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成するが、ここでは、輝度信号における予測ブロックP のイントラ予測信号を生成するイントラ処理について説明する。
予測ブロックP のサイズをl ×m 画素とする。
図8はl =m =4の場合の予測ブロックP 内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測ブロックP の上の符号化済みの画素(2×l +1)個と、左の符号化済みの画素(2×m )個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測ブロックP の近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
予測ブロックP に対するイントラ予測モードのインデックス値が0(平面(Planar)予測)の場合には、予測ブロックP の上に隣接する符号化済み画素と予測ブロックP の左に隣接する符号化済み画素を用いて、予測ブロックP 内の予測対象画素と上記隣接画素との距離に応じて内挿した値を予測値として予測画像を生成する。
予測ブロックP に対するイントラ予測モードのインデックス値が1(垂直方向予測)の場合には、下記の式(1)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。

Figure 2012176381

ただし、座標(x,y)は予測ブロックP 内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
このように、従来(MPEG−4 AVC/H.264)の垂直方向予測の予測値である予測ブロックP の上に隣接する符号化済み画素の輝度値S(x,−1)に対して、予測ブロックP の左に隣接する符号化済み画素(図10の太枠で囲った画素)の垂直方向の輝度値の変化量を表すS(−1,y)−S(−1,−1)に比例する値(垂直方向の輝度値の変化量を表すS(−1,y)−S(−1,−1)を1/tにスケーリングした値)を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した垂直方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。
なお、上記の1/tは、固定値としてもよいが、座標(x,y)によって変化する変数としてもよい。
例えば、t=2x+1とすれば、図11に示すように、スケーリング値が左端の列から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPinの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックP の左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックP の左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックP の左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、t=2x+1の場合、式(1)を下記に示すようにビットシフトによる式で表現することができる。
Figure 2012176381

式(1a)において、“>>a”は、右にaビットだけ算術シフトする演算を示している。
式(1)の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、S(−1,y)−S(−1,−1)は負値も取り得るため、実装環境(コンパイラ)等によっては“>>”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式(1)と異なってしまう場合がある。
そこで、実装環境に依存しないt=2x+1の場合の式(1)の近似式としては、下記の式(1b)が挙げられる。

Figure 2012176381

式(1b)では、輝度値輝度値S(−1,y)、S(−1,−1)をそれぞれ先に(x+1)ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。
また、式(1)の予測処理を行う予測ブロックP のブロックサイズは特定のサイズに限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックP では、式(1)を適用せずに、従来の垂直方向予測の予測値(予測ブロックP の上に隣接する符号化済み画素の輝度値S(x,−1))とし、16×16画素より小さいブロックのみで式(1)を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
また、予測ブロックP に対するイントラ予測モードのインデックス値が2(水平方向予測)の場合には、下記の式(2)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。

Figure 2012176381

ただし、座標(x,y)は予測ブロックP 内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
このように、従来(MPEG−4 AVC/H.264)の水平方向予測の予測値である予測ブロックP の左に隣接する符号化済み画素の輝度値S(−1,y)に対して、予測ブロックP の上に隣接する符号化済み画素(図12の太枠で囲った画素)の水平方向の輝度値の変化量を表すS(x,−1)−S(−1,−1)に比例する値(水平方向の輝度値の変化量を表すS(x,−1)−S(−1,−1)を1/uにスケーリングした値)を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した水平方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。
なお、上記の1/uは、固定値としてもよいが、座標(x,y)によって変化する変数としてもよい。
例えば、u=2y+1とすれば、図13に示すように、スケーリング値が上端の行から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPinの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックP の上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックP の上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックP の上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、u=2y+1の場合、式(2)を下記に示すようにビットシフトによる式で表現することができる。

Figure 2012176381

式(2a)において、“>>a”は、右にaビットだけ算術シフトする演算を示している。
式(2)の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、S(x,−1)−S(−1,−1)は負値も取り得るため、実装環境(コンパイラ)等によっては“>>”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式(2)と異なってしまう場合がある。
そこで、実装環境に依存しないu=2y+1の場合の式(2)の近似式としては、下記の式(2b)が挙げられる。
Figure 2012176381

式(2b)では、輝度値輝度値S(x,−1)、S(−1,−1)をそれぞれ先に(y+1)ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。
また、式(2)の予測処理を行う予測ブロックP のブロックサイズは特定のサイズに限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックP では、式(2)を適用せずに、従来の水平方向予測の予測値(予測ブロックP の左に隣接する符号化済み画素の輝度値S(−1,y))とし、16×16画素より小さいブロックのみで式(2)を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
また、予測ブロックP に対するイントラ予測モードのインデックス値が3(平均値(DC)予測)の場合には、予測ブロックP の上に隣接する符号化済み画素と予測ブロックP の左に隣接する符号化済み画素の平均値を予測ブロックP 内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が0(平面(Planar)予測)、1(垂直方向予測)、2(水平方向予測)、3(平均値(DC)予測)以外の場合には、インデックス値が示す予測方向ベクトルυ=(dx,dy)に基づいて、予測ブロックP 内の画素の予測値を生成する。
図9に示すように、予測ブロックP の左上画素を原点として、予測ブロックP 内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。

Figure 2012176381

ただし、kは負のスカラ値である。
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックP 内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像PINTRAi を出力する。
なお、イントラ予測画像PINTRAi の生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力される。
なお、先に説明したMPEG−4 AVC/H.264における8×8画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。
予測ブロックP の色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部13に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来(MPEG−4 AVC/H.264)の予測手法であってもよい。
例えば、YUV信号4:2:0フォーマットの場合、色差信号(U、V信号)は、輝度信号(Y信号)に対して解像度を水平方向、垂直方向共に1/2に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ(イントラ予測モード)を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。
なお、垂直方向予測で用いるスケーリング値である1/tと、水平方向予測で用いるスケーリング値である1/uは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、t,uを可変長符号化部13に出力し、可変長符号化部13がt,uを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからt,uを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、t,uを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
また、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグを可変長符号化部13に出力し、可変長符号化部13が上記ON/OFFフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ON/OFFフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
次に、図3の動画像復号装置の処理内容を具体的に説明する。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータt、水平方向予測で用いるスケーリング値のパラメータu、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグの内、いずれか1つでも可変長符号化されてビットストリームに多重化されている場合、図1の動画像符号化装置で符号化された単位(シーケンス単位、あるいは、ピクチャ単位)に復号する。
可変長復号部31は、図1の動画像符号化装置の符号化制御部2により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する(ステップST22)。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部31は、決定された最大復号ブロック単位に、図6で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定する(ステップST23)。
次に、可変長復号部31は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに1つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する(ステップST24)。
即ち、可変長復号部31は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する(ステップST24)。
さらに、可変長復号部31は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる1つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
切換スイッチ33は、可変長復号部31により可変長復号された符号化モードm(B)がイントラ符号化モードであれば(m(B)∈INTRAの場合)、可変長復号部31により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部34に出力する。
一方、可変長復号部31により可変長復号された符号化モードm(B)がインター符号化モードであれば(m(B)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
イントラ予測部34は、可変長復号部31により可変長復号された符号化モードm(B)がイントラ符号化モード(m(B)∈INTRA)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図1のイントラ予測部4と同様の手順で、イントラ予測用メモリ37に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックB内の各予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成する(ステップST26)。
即ち、イントラ予測部34は、予測ブロックP に対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合には、上記の式(1)から予測ブロックP 内の画素の予測値を算出して、イントラ予測画像PINTRAi を生成する。
また、予測ブロックP に対するイントラ予測モードのインデックス値が1(水平方向予測)の場合には、上記の式(2)から予測ブロックP 内の画素の予測値を算出して、イントラ予測画像PINTRAi を生成する。
ただし、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズが制限されている場合は、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックP では従来(MPEG−4 AVC/H.264)の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。
動き補償部35は、可変長復号部31により可変長復号された符号化モードm(B)がインター符号化モード(m(B)∈INTER)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ39に格納されているフィルタリング処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロック内の各予測ブロックP に対するインター予測処理を実施してインター予測画像PINTERi を生成する(ステップST27)。
逆量子化・逆変換部32は、可変長復号部31から圧縮データ及び予測差分符号化パラメータを受けると、図1の逆量子化・逆変換部8と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する(ステップST28)。
加算部36は、逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像PINTRAi 、又は、動き補償部35により生成されたインター予測画像PINTERi のいずれか一方を加算して復号画像を算出し、ループフィルタ部38に出力するとともに、その復号画像をイントラ予測用メモリ37に格納する(ステップST29)。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
ループフィルタ部38は、全ての復号ブロックBに対するステップST23〜ST29の処理が完了すると(ステップST30)、加算部36から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ39に格納する(ステップST31)。
なお、ループフィルタ部38によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、1ピクチャ分の復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
以上で明らかなように、この実施の形態3によれば、動画像符号化装置のイントラ予測部4が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
また、この実施の形態3によれば、動画像復号装置のイントラ予測部34が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
この実施の形態3によれば、イントラ予測部4,34により水平方向予測処理が実施される際に用いられるスケーリング値である1/uについては、予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの上に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの上に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
また、イントラ予測部4,34により垂直方向予測処理が実施される際に用いられるスケーリング値である1/tについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
なお、この実施の形態3では、イントラ予測部4,34により水平方向予測処理が実施される際の予測ブロック内の第N行(予測ブロックの上端からN番目の行)のスケーリング値が1/2N+1(=1/2,1/4,1/8,1/16,・・・)であり、イントラ予測部4,34により垂直方向予測処理が実施される際の予測ブロック内の第M列(予測ブロックの左端からM番目の列)のスケーリング値が1/2M+1(=1/2,1/4,1/8,1/16,・・・)である例を示したが、これは一例に過ぎず、イントラ予測部4,34により水平方向予測処理が実施される際は予測ブロックの上端から遠い行のスケーリング値ほど小さく、また、イントラ予測部4,34により垂直方向予測処理が実施される際は予測ブロックの左端から遠い列のスケーリング値ほど小さければ、いかなる値でもよい。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明は、動画像を高効率で符号化を行う必要がある動画像符号化装置に適しており、また、高効率で符号化されている動画像を復号する必要がある動画像復号装置に適している。
1 ブロック分割部(ブロック分割手段)、2 符号化制御部(符号化制御手段)、3 切換スイッチ、4 イントラ予測部(イントラ予測手段)、5 動き補償予測部(動き補償予測手段)、6 減算部(量子化手段)、7 変換・量子化部(量子化手段)、8 逆量子化・逆変換部、9 加算部、10 イントラ予測用メモリ(イントラ予測手段)、11 ループフィルタ部、12 動き補償予測フレームメモリ(動き補償予測手段)、13 可変長符号化部(可変長符号化手段)、31 可変長復号部(可変長復号手段)、32 逆量子化・逆変換部(逆量子化手段)、33 切換スイッチ、34 イントラ予測部(イントラ予測手段)、35 動き補償部(動き補償予測手段)、36 加算部、37 イントラ予測用メモリ(イントラ予測手段)、38 ループフィルタ部、39 動き補償予測フレームメモリ(動き補償予測手段)。
この発明は、高効率で符号化されている動画像を復号する画像復号装置及び画像復号方法に関するものである。
例えば、MPEG(Moving Picture Experts Group)や「ITU−T H.26x」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック(符号化ブロック)に分割し、その符号化ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。
例えば、国際標準方式であるMPEG−4 AVC/H.264(ISO/IEC 14496−10|ITU−T H.264)では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている(例えば、非特許文献1を参照)。
MPEG−4 AVC/H.264において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から1つの予測モードを選択することができる。
図14は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
図14では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが4×4画素の場合には、モード0からモード8の9つのイントラ予測モードが規定されている。
図14において、モード2は平均値予測を行うモードであり、ブロックの上と左の隣接画素の平均値で、ブロック内の画素を予測するものである。
モード2以外のモードは方向性予測を行うモードである。モード0は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード0が選択される。
モード1は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード1が選択される。
モード3からモード8は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向(矢印が示す方向)に補間画素を生成して予測画像を生成するものである。
ここで、イントラ予測を適用する輝度のブロックサイズは、4×4画素、8×8画素、16×16画素の中から選択することができ、8×8画素の場合には、4×4画素と同様に、9つのイントラ予測モードが規定されている。ただし、予測に用いる画素については、符号化済みの画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いている。
これに対し、16×16画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Plane予測と呼ばれる4つのイントラ予測モードが規定されている。
Plane予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。
なお、方向性予測モードは、予め定められている方向(予測方向)にブロックの隣接画素又は隣接画素から生成された補間画素を繰り返すことで予測値を生成するものであるため、図15に示すような予測対象ブロック内のオブジェクトの境界(エッジ)の方向が予測方向と一致し、なおかつ、予測方向に沿ってブロック内の信号値が一定である場合には、予測効率が高くなって符号量を削減することができる。
MPEG−4 AVC(ISO/IEC 14496−10)/ITU−T H.264規格
従来の画像符号化装置は以上のように構成されているので、予測対象ブロック内のオブジェクトの境界(エッジ)の方向が予測方向と一致し、なおかつ、その予測方向に沿って予測対象ブロック内の信号値が一定であれば、方向性予測を用いることで高精度に予測することができる。しかし、予測対象ブロック内のオブジェクトの境界(エッジ)の方向が予測方向と一致していても、図16に示すように、その予測方向に沿って信号値が変化している場合には、予測誤差が大きくなってしまう課題があった。
この発明は上記のような課題を解決するためになされたもので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる画像復号装置及び画像復号方法を得ることを目的とする。
この発明に係る画像復号装置は、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロックの予測処理の単位となるブロック毎にフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、イントラ予測手段は、イントラ予測パラメータが水平方向予測処理を示す場合、ブロックの左に隣接している画素の輝度値に対して、ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値とするようにしたものである。
この発明によれば、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロックの予測処理の単位となるブロック毎にフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、イントラ予測手段は、イントラ予測パラメータが水平方向予測処理を示す場合、ブロックの左に隣接している画素の輝度値に対して、ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値とするように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果がある。
この発明の実施の形態1による動画像符号化装置を示す構成図である。 この発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。 この発明の実施の形態1による動画像復号装置を示す構成図である。 この発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 (a)は分割後の符号化ブロック及び予測ブロックの分布を示し、(b)は階層分割によって符号化モードm(B)が割り当てられる状況を示す説明図である。 符号化ブロックB内の各予測ブロックP が選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。 =m =4の場合の予測ブロックP 内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測ブロックP 内の左上画素を原点とする相対座標を示す説明図である。 垂直方向予測における従来の予測値に対して、加算する輝度値変化量を算出するために参照する左の予測ブロックの隣接画素の一例を示す説明図である。 垂直方向予測における従来の予測値に対して、加算する輝度値変化量のスケーリング値の一例を示す説明図である。 水平方向予測における従来の予測値に対して、加算する輝度値変化量を算出するために参照する上の予測ブロックの隣接画素の一例を示す説明図である。 水平方向予測における従来の予測値に対して、加算する輝度値変化量のスケーリング値の一例を示す説明図である。 輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。 水平方向予測によって高精度に予測された予測画像の一例を示す説明図である。 水平方向予測によって予測を行った際に大きな予測誤差が発生する一例を示す説明図である。 符号化ブロックB内の各予測ブロックP が選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。
図1において、ブロック分割部1は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部2により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部2により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部1は入力画像を符号化制御部2により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる1つないし複数の予測ブロックに分割される。
なお、ブロック分割部1はブロック分割手段を構成している。
符号化制御部2は予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部2は選択可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、ブロック分割部1から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する処理を実施する。
また、符号化制御部2は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部2は符号化制御手段を構成している。
切換スイッチ3は符号化制御部2により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部1から出力された符号化ブロックをイントラ予測部4に出力し、符号化制御部2により決定された符号化モードがインター符号化モードであれば、ブロック分割部1から出力された符号化ブロックを動き補償予測部5に出力する処理を実施する。
イントラ予測部4は切換スイッチ3から出力された符号化ブロックに対して、予測処理単位である予測ブロック毎に、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部4は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部4及びイントラ予測用メモリ10からイントラ予測手段が構成されている。
動き補償予測部5は切換スイッチ3から出力された符号化ブロックと動き補償予測フレームメモリ12に格納されている1フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理(動き補償予測処理)を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。
減算部6はブロック分割部1より出力された符号化ブロックから、イントラ予測部4により生成されたイントラ予測画像、又は、動き補償予測部5により生成されたインター予測画像を減算して、その減算結果である予測差分信号(差分画像)を変換・量子化部7に出力する処理を実施する。
変換・量子化部7は符号化制御部2により決定された予測差分符号化パラメータを参照して、減算部6から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。
なお、減算部6及び変換・量子化部7から量子化手段が構成されている。
逆量子化・逆変換部8は符号化制御部2により決定された予測差分符号化パラメータを参照して、変換・量子化部7から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部6から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、又は、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
イントラ予測用メモリ10は加算部9により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ12はフィルタリング処理後の局所復号画像を格納する記録媒体である。
可変長符号化部13は変換・量子化部7から出力された圧縮データと、符号化制御部2の出力信号(最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化してビットストリームを生成する処理を実施する。
なお、可変長符号化部13は可変長符号化手段を構成している。
図1の例では、動画像符号化装置の構成要素であるブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、イントラ予測用メモリ10、ループフィルタ部11、動き補償予測フレームメモリ12及び可変長符号化部13のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図2はこの発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。
図3はこの発明の実施の形態1による動画像復号装置を示す構成図である。
図3において、可変長復号部31は図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、ブロック分割情報、符号化モード、イントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)、インター予測パラメータ(符号化モードがインター符号化モードである場合)、予測差分符号化パラメータ及び動きベクトル(符号化モードがインター符号化モードである場合)を可変長復号する処理を実施する。
なお、可変長復号部31は可変長復号手段を構成している。
逆量子化・逆変換部32は可変長復号部31により可変長復号された予測差分符号化パラメータを参照して、可変長復号部31により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
なお、逆量子化・逆変換部32は逆量子化手段を構成している。
切換スイッチ33は可変長復号部31により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部31により可変長復号されたイントラ予測パラメータをイントラ予測部34に出力し、可変長復号部31により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部31により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部35に出力する処理を実施する。
イントラ予測部34は可変長復号部31により可変長復号されたブロック分割情報及び符号化モードから特定される復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)に対して、予測処理単位である予測ブロック毎に、イントラ予測用メモリ37に格納されている復号画像を参照しながら、切換スイッチ33から出力されたイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部34は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部34及びイントラ予測用メモリ37からイントラ予測手段が構成されている。
動き補償部35は可変長復号部31により可変長復号されたブロック分割情報及び符号化モードから特定される復号ブロックに対して、予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ39に格納されている復号画像を参照しながら、切換スイッチ33から出力された動きベクトルとインター予測パラメータを用いたインター予測処理(動き補償予測処理)を実施してインター予測画像を生成する処理を実施する。
加算部36は逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像、又は、動き補償部35により生成されたインター予測画像とを加算して、図1の加算部9から出力された局所復号画像と同一の復号画像を算出する処理を実施する。
イントラ予測用メモリ37は加算部36により算出された復号画像を格納する記録媒体である。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ39はフィルタリング処理後の復号画像を格納する記録媒体である。
図3の例では、動画像復号装置の構成要素である可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36、イントラ予測用メモリ37、ループフィルタ部38及び動き補償予測フレームメモリ39のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36及びループフィルタ部38の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図4はこの発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。
次に動作について説明する。
この実施の形態1では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
図1の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
この実施の形態1では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
図1の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号とする。
ただし、各画素の階調は、8ビットでもよいし、10ビットや12ビットなどの階調でもよい。
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はYUV信号であるとし、かつ、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
最初に、図1の動画像符号化装置の処理内容を説明する。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
また、符号化制御部2は、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
ただし、後述するブロック分割部1により階層的に分割される各々の符号化ブロックはさらに予測処理を行う単位である1つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
また、符号化制御部2は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部2は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
ブロック分割部1は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
ここで、図5は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L,M)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(L,M)の画像領域である。
ただし、LとMは、同じであってもよいし、異なっていてもよいが、図5では、L=Mのケースを示している。
以降、符号化制御部2により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ(L,M)と定義する。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(L/2,M/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(L,M)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(L/2,M/2)になる。
以降、第n階層の符号化ブロックをBで表し、符号化ブロックBで選択可能な符号化モードをm(B)で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードm(B)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
符号化ブロックBは、図6に示すように、ブロック分割部1によって、予測処理単位を表す1つないし複数の予測ブロックに分割される。
以降、符号化ブロックBに属する予測ブロックをP (iは、第n階層における予測ブロック番号)と表記する。図5にP0 0とP1 0の一例を示す。
符号化ブロックBの予測ブロック分割がどのようになされているかは、符号化モードm(B)の中に情報として含まれる。
予測ブロックP は、全て符号化モードm(B)に従って予測処理が行われるが、予測ブロックP 毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
符号化制御部2は、最大符号化ブロックに対して、例えば、図6に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(B)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(B)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(B)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
切換スイッチ3は、符号化制御部2により決定された符号化モードm(B)がイントラ符号化モードである場合(m(B)∈INTRAの場合)、ブロック分割部1から出力された符号化ブロックBをイントラ予測部4に出力する。
一方、符号化制御部2により決定された符号化モードm(B)がインター符号化モードである場合(m(B)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBを動き補償予測部5に出力する。
イントラ予測部4は、符号化制御部2により決定された符号化モードm(B)がイントラ符号化モードであり(m(B)∈INTRAの場合)、切換スイッチ3から符号化ブロックBを受けると(ステップST3)、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いて、その符号化ブロックB内の各予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成する(ステップST4)。
なお、動画像復号装置がイントラ予測画像PINTRAi と全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi の生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
動き補償予測部5は、符号化制御部2により決定された符号化モードm(B)がインター符号化モードであり(m(B)∈INTERの場合)、切換スイッチ3から符号化ブロックBを受けると(ステップST3)、その符号化ブロックB内の各予測ブロックP と動き補償予測フレームメモリ12に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化ブロックB内の各予測ブロックP に対するインター予測処理を実施して、インター予測画像PINTERi を生成する(ステップST5)。
なお、動画像復号装置がインター予測画像PINTERi と全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi の生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
減算部6は、ブロック分割部1から符号化ブロックBを受けると、その符号化ブロックB内の予測ブロックP から、イントラ予測部4により生成されたイントラ予測画像PINTRAi 、又は、動き補償予測部5により生成されたインター予測画像PINTERi のいずれか一方を減算して、その減算結果である予測差分信号e を変換・量子化部7に出力する(ステップST6)。
変換・量子化部7は、減算部6から予測差分信号e を受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その予測差分信号e に対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して、変換係数を算出する。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆KL変換など)を実施して、減算部6から出力された予測差分信号e に相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像PINTRAi 、又は、動き補償予測部5により生成されたインター予測画像PINTERi のいずれか一方を加算することで、局所復号画像を算出する(ステップST9)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
ループフィルタ部11は、加算部9から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ12に格納する(ステップST10)。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1ピクチャ分の局所復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部11で参照する必要があるため、ループフィルタ部11に映像信号を入力するように図1の動画像符号化装置を変更する必要がる。
ステップST3〜ST9の処理は、階層的に分割された全ての符号化ブロックBに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックBに対する処理が完了するとステップST13の処理に移行する(ステップST11,ST12)。
可変長符号化部13は、変換・量子化部7から出力された圧縮データと、符号化制御部2から出力された最大符号化ブロック内のブロック分割情報(図6(b)を例とする4分木情報)、符号化モードm(B)及び予測差分符号化パラメータと、符号化制御部2から出力されたイントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)又はインター予測パラメータ(符号化モードがインター符号化モードである場合)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する(ステップST13)。
次に、イントラ予測部4の処理内容を詳細に説明する。
図7は符号化ブロックB内の各予測ブロックP が選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図7では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図7の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
イントラ予測部4は、上述したように、予測ブロックP のイントラ予測パラメータを参照して、その予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成するが、ここでは、輝度信号における予測ブロックP のイントラ予測信号を生成するイントラ処理について説明する。
予測ブロックP のサイズをl ×m 画素とする。
図8はl =m =4の場合の予測ブロックP 内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測ブロックP の上の符号化済みの画素(2×l +1)個と、左の符号化済みの画素(2×m )個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測ブロックP の近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
予測ブロックP に対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合には、下記の式(1)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。
Figure 2012176381
ただし、座標(x,y)は予測ブロックP 内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
このように、従来(MPEG−4 AVC/H.264)の垂直方向予測の予測値である予測ブロックP の上に隣接する符号化済み画素の輝度値S(x,−1)に対して、予測ブロックP の左に隣接する符号化済み画素(図10の太枠で囲った画素)の垂直方向の輝度値の変化量を表すS(−1,y)−S(−1,−1)に比例する値(垂直方向の輝度値の変化量を表すS(−1,y)−S(−1,−1)を1/tにスケーリングした値)を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した垂直方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。
なお、上記の1/tは、固定値としてもよいが、座標(x,y)によって変化する変数としてもよい。
例えば、t=2x+1とすれば、図11に示すように、スケーリング値が左端の列から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックP の左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックP の左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックP の左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックP の左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式(1)の予測処理を行う予測ブロックP のブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックP では式(1)は適用せずに従来の垂直方向予測の予測値(予測ブロックP の上に隣接する符号化済み画素の輝度値S(x,−1))とし、16×16画素より小さいブロックのみで式(1)を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
また、予測ブロックP に対するイントラ予測モードのインデックス値が1(水平方向予測)の場合には、下記の式(2)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。
Figure 2012176381
ただし、座標(x,y)は予測ブロックP 内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
このように、従来(MPEG−4 AVC/H.264)の水平方向予測の予測値である予測ブロックP の左に隣接する符号化済み画素の輝度値S(−1,y)に対して、予測ブロックP の上に隣接する符号化済み画素(図12の太枠で囲った画素)の水平方向の輝度値の変化量を表すS(x,−1)−S(−1,−1)に比例する値(水平方向の輝度値の変化量を表すS(x,−1)−S(−1,−1)を1/uにスケーリングした値)を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した水平方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。
なお、上記の1/uは、固定値としてもよいが、座標(x,y)によって変化する変数としてもよい。
例えば、u=2y+1とすれば、図13に示すように、スケーリング値が上端の行から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックP の上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックP の上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックP の上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックP の上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式(2)の予測処理を行う予測ブロックP のブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックP では式(2)は適用せずに従来の水平方向予測の予測値(予測ブロックP の左に隣接する符号化済み画素の輝度値S(−1,y))とし、16×16画素より小さいブロックのみで式(2)を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
また、予測ブロックP に対するイントラ予測モードのインデックス値が2(平均値予測)の場合には、予測ブロックP の上に隣接する符号化済み画素と予測ブロックP の左に隣接する符号化済み画素の平均値を予測ブロックP 内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が0(垂直方向予測)、1(水平方向予測)、2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルυ=(dx,dy)に基づいて、予測ブロックP 内の画素の予測値を生成する。
図9に示すように、予測ブロックP の左上画素を原点として、予測ブロックP 内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
Figure 2012176381
ただし、kは負のスカラ値である。
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックP 内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像PINTRAi を出力する。
なお、イントラ予測画像PINTRAi の生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力される。
なお、先に説明したMPEG−4 AVC/H.264における8×8画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。
予測ブロックP の色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部13に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来(MPEG−4 AVC/H.264)の予測手法であってもよい。
例えば、YUV信号4:2:0フォーマットの場合、色差信号(U、V信号)は、輝度信号(Y信号)に対して解像度を水平方向、垂直方向共に1/2に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ(イントラ予測モード)を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。
なお、垂直方向予測で用いるスケーリング値である1/tと、水平方向予測で用いるスケーリング値である1/uは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、t,uを可変長符号化部13に出力し、可変長符号化部13がt,uを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからt,uを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、t,uを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
また、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグを可変長符号化部13に出力し、可変長符号化部13が上記ON/OFFフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ON/OFFフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
次に、図3の動画像復号装置の処理内容を具体的に説明する。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータt、水平方向予測で用いるスケーリング値のパラメータu、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグの内、いずれか1つでも可変長符号化されてビットストリームに多重化されている場合、図1の動画像符号化装置で符号化された単位(シーケンス単位、あるいは、ピクチャ単位)に復号する。
可変長復号部31は、図1の動画像符号化装置の符号化制御部2により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する(ステップST22)。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部31は、決定された最大復号ブロック単位に、図6で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定する(ステップST23)。
次に、可変長復号部31は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに1つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する(ステップST24)。
可変長復号部31は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
さらに、可変長復号部31は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる1つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
切換スイッチ33は、可変長復号部31により可変長復号された符号化モードm(B)がイントラ符号化モードであれば(m(B)∈INTRAの場合)、可変長復号部31により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部34に出力する。
一方、可変長復号部31により可変長復号された符号化モードm(B)がインター符号化モードであれば(m(B)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
イントラ予測部34は、可変長復号部31により可変長復号された符号化モードm(B)がイントラ符号化モード(m(B)∈INTRA)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図1のイントラ予測部4と同様の手順で、イントラ予測用メモリ37に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックB内の各予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成する(ステップST26)。
即ち、イントラ予測部34は、予測ブロックP に対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合には、上記の式(1)から予測ブロックP 内の画素の予測値を算出して、イントラ予測画像PINTRAi を生成する。
また、予測ブロックP に対するイントラ予測モードのインデックス値が1(水平方向予測)の場合には、上記の式(2)から予測ブロックP 内の画素の予測値を算出して、イントラ予測画像PINTRAi を生成する。
ただし、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズが制限されている場合は、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックP では従来(MPEG−4 AVC/H.264)の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。
動き補償部35は、可変長復号部31により可変長復号された符号化モードm(B)がインター符号化モード(m(B)∈INTER)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ39に格納されているフィルタリング処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロック内の各予測ブロックP に対するインター予測処理を実施してインター予測画像PINTERi を生成する(ステップST27)。
逆量子化・逆変換部32は、可変長復号部31から圧縮データ及び予測差分符号化パラメータを受けると、図1の逆量子化・逆変換部8と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する(ステップST28)。
加算部36は、逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像PINTRAi 、又は、動き補償部35により生成されたインター予測画像PINTERi のいずれか一方を加算して復号画像を算出し、ループフィルタ部38に出力するとともに、その復号画像をイントラ予測用メモリ37に格納する(ステップST29)。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
ループフィルタ部38は、全ての復号ブロックBに対するステップST23〜ST29の処理が完了すると(ステップST30)、加算部36から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ39に格納する(ステップST31)。
なお、ループフィルタ部38によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、1ピクチャ分の復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
以上で明らかなように、この実施の形態1によれば、動画像符号化装置のイントラ予測部4が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
また、この実施の形態1によれば、動画像復号装置のイントラ予測部34が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
この実施の形態1によれば、イントラ予測部4,34により水平方向予測処理が実施される際に用いられるスケーリング値である1/uについては、予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの上に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの上に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
また、イントラ予測部4,34により垂直方向予測処理が実施される際に用いられるスケーリング値である1/tについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
なお、この実施の形態1では、イントラ予測部4,34により水平方向予測処理が実施される際の予測ブロック内の第N行(予測ブロックの上端からN番目の行)のスケーリング値が1/2N+1(=1/2,1/4,1/8,1/16,・・・)であり、イントラ予測部4,34により垂直方向予測処理が実施される際の予測ブロック内の第M列(予測ブロックの左端からM番目の列)のスケーリング値が1/2M+1(=1/2,1/4,1/8,1/16,・・・)である例を示したが、これは一例に過ぎず、イントラ予測部4,34により水平方向予測処理が実施される際は予測ブロックの上端から遠い行のスケーリング値ほど小さく、また、イントラ予測部4,34により垂直方向予測処理が実施される際は予測ブロックの左端から遠い列のスケーリング値ほど小さければ、いかなる値でもよい。
実施の形態2.
上記実施の形態1では、イントラ予測部4,34が、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に予測ブロック内の列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するものを示したが、低演算な処理を実現するために、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
また、同様の理由で、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に予測ブロック内の行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
以下、イントラ予測部4,34の処理内容を具体的に説明する。
イントラ予測部4,34は、予測ブロックP に対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合、下記の式(4)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。
Figure 2012176381
ただし、Bは0以上の整数であり、式(4)の上式を適用するx<Bの時は、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
Bの値を小さくするほど、低演算な処理を実現することが可能であり、B=0の場合、予測ブロックP の上に隣接する符号化済み(復号済み)画素の輝度値S(x,−1)のみを用いる従来(MPEG−4 AVC/H.264)の垂直方向予測と一致する。
Bの値は、予測ブロックP のブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックP のブロックサイズが所定サイズより小さい場合に限り、B≧1に設定し、予測ブロックP のブロックサイズが所定サイズ以上であれば、B=0とする。
例えば、所定サイズが16×16画素であれば、16×16画素以上のブロックサイズの予測ブロックP では、B=0となるため、従来の垂直方向予測と同じなり、演算処理の増加を抑制することができる。即ち、B=0のブロックサイズでは、x<Bかx≧Bかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の垂直方向予測を行うようにすることで、従来の垂直方向予測処理からの演算処理の増加は一切発生しない。
一方、4×4画素や8×8画素等の16×16画素より小さいブロックサイズの予測ブロックP では、B≧1となるため、従来の垂直方向予測よりも予測性能を向上させることができる。
例えば、4×4画素のブロックサイズの予測ブロックP において、B=1である場合、予測ブロックP 内の1番左の列については、式(4)の上式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値が加算される。
一方、予測ブロックP 内の左端から2番目〜4番目の列については、式(4)の下式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値は加算されない。
このようにBの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。
なお、実際の装置としては、上記の式(4)のとおり、x<Bの位置の画素と、x≧Bの位置の画素とで、予測値の算出式を分けて構成してもよいし、予測ブロックP 内の全ての画素に対して、従来の垂直方向予測の予測値である予測ブロックP の上に隣接する符号化済み(復号済み)画素の輝度値S(x,−1)をコピーした後に、x<Bの位置の画素のみS(−1,y)−S(−1,−1)を1/tにスケーリングした値を加算するように構成するなど、上記の式と等価な予測値が算出できれば、どのように構成してもよい。
また、イントラ予測部4,34は、予測ブロックP に対するイントラ予測モードのインデックス値が1(水平方向予測)の場合、下記の式(5)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。
Figure 2012176381
ただし、Cは0以上の整数であり、式(5)の上式を適用するx<Cの時は、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
Cの値を小さくするほど、低演算な処理を実現することが可能であり、C=0の場合、予測ブロックP の左に隣接する符号化済み(復号済み)画素の輝度値S(−1,y)のみを用いる従来(MPEG−4 AVC/H.264)の水平方向予測と一致する。
Cの値は、予測ブロックP のブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックP のブロックサイズが所定サイズより小さい場合に限り、C≧1に設定し、予測ブロックP のブロックサイズが所定サイズ以上であれば、C=0とする。
例えは、所定サイズが16×16画素であれば、16×16画素以上のブロックサイズの予測ブロックP では、C=0となるため、従来の水平方向予測と同じなり、演算処理の増加を抑制することができる。即ち、C=0のブロックサイズでは、y<Cかy≧Cかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の水平方向予測を行うようにすることで、従来の水平方向予測処理からの演算処理の増加は一切発生しない。
一方、4×4画素や8×8画素等の16×16画素より小さいブロックサイズの予測ブロックP では、C≧1となるため、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を大幅に抑えることができる。
例えば、4×4画素のブロックサイズの予測ブロックP において、C=1である場合、予測ブロックP 内の1番上の行については、式(5)の上式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値が加算される。
一方、予測ブロックP 内の上端から2番目〜4番目の行については、式(5)の下式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値は加算されない。
このようにCの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。
なお、実際の装置としては、上記の式(5)のとおり、y<Cの位置の画素と、y≧Cの位置の画素とで、予測値の算出式を分けて構成してもよいし、予測ブロックP 内の全ての画素に対して、従来の水平方向予測の予測値である予測ブロックP の左に隣接する符号化済み(復号済み)画素の輝度値S(−1,y)をコピーした後に、y<Cの位置の画素のみS(x,−1)−S(−1,−1)を1/uにスケーリングした値を加算するように構成するなど、上記の式と等価な予測値が算出できれば、どのように構成してもよい。
なお、垂直方向予測で用いるスケーリング値である1/tやB(予測ブロックの上に隣接している画素の輝度値に対して、符号化ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算する予測ブロック内の列を示すブロック内情報)と、水平方向予測で用いるスケーリング値である1/uやC(予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算する予測ブロック内の行を示すブロック内情報)は、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、t,u,B,Cを可変長符号化部13に出力し、可変長符号化部13がt,u,B,Cを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからt,u,B,Cを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、t,u,B,Cを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
また、式(4)の垂直方向予測や式(5)の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、式(4)の垂直方向予測や式(5)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグを可変長符号化部13に出力し、可変長符号化部13が上記ON/OFFフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ON/OFFフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式(4)の垂直方向予測や式(5)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
以上で明らかなように、この実施の形態2によれば、イントラ予測部4,34は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、水平方向予測の予測効率を改善することができる効果を奏する。
また、イントラ予測部4,34は、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、垂直方向予測の予測効率を改善することができる効果を奏する。
実施の形態3.
この実施の形態3における動画像符号化装置の構成図は、上記実施の形態1で示した図1と同様であり、この実施の形態3における動画像復号装置の構成図は、上記実施の形態1で示した図3と同様である。
次に動作について説明する。
この実施の形態3では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
図1の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
この実施の形態3では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
図1の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号とする。
ただし、各画素の階調は、8ビットでもよいし、10ビットや12ビットなどの階調でもよい。
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はYUV信号であるとし、かつ、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態3では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
最初に、図1の動画像符号化装置の処理内容を説明する。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
また、符号化制御部2は、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
ただし、後述するブロック分割部1により階層的に分割される各々の符号化ブロックはさらに予測処理を行う単位である1つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
また、符号化制御部2は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部2は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
ブロック分割部1は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
ここで、図5は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L,M)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(L,M)の画像領域である。
ただし、LとMは、同じであってもよいし、異なっていてもよいが、図5では、L=Mのケースを示している。
以降、符号化制御部2により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ(L,M)と定義する。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(L/2,M/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(L,M)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(L/2,M/2)になる。
以降、第n階層の符号化ブロックをBで表し、符号化ブロックBで選択可能な符号化モードをm(B)で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードm(B)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
符号化ブロックBは、図6に示すように、ブロック分割部1によって、予測処理単位を表す1つないし複数の予測ブロックに分割される。
以降、符号化ブロックBに属する予測ブロックをP (iは、第n階層における予測ブロック番号)と表記する。図5にP0 0とP1 0の一例を示す。
符号化ブロックBの予測ブロック分割がどのようになされているかは、符号化モードm(B)の中に情報として含まれる。
予測ブロックP は、全て符号化モードm(B)に従って予測処理が行われるが、予測ブロックP 毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
符号化制御部2は、最大符号化ブロックに対して、例えば、図6に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(B)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(B)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(B)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
切換スイッチ3は、符号化制御部2により決定された符号化モードm(B)がイントラ符号化モードである場合(m(B)∈INTRAの場合)、ブロック分割部1から出力された符号化ブロックBをイントラ予測部4に出力する。
一方、符号化制御部2により決定された符号化モードm(B)がインター符号化モードである場合(m(B)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBを動き補償予測部5に出力する。
イントラ予測部4は、符号化制御部2により決定された符号化モードm(B)がイントラ符号化モードであり(m(B)∈INTRAの場合)、切換スイッチ3から符号化ブロックBを受けると(ステップST3)、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いて、その符号化ブロックB内の各予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成する(ステップST4)。
なお、動画像復号装置がイントラ予測画像PINTRAi と全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi の生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
動き補償予測部5は、符号化制御部2により決定された符号化モードm(B)がインター符号化モードであり(m(B)∈INTERの場合)、切換スイッチ3から符号化ブロックBを受けると(ステップST3)、その符号化ブロックB内の各予測ブロックP と動き補償予測フレームメモリ12に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化ブロックB内の各予測ブロックP に対するインター予測処理を実施して、インター予測画像PINTERi を生成する(ステップST5)。
なお、動画像復号装置がインター予測画像PINTERi と全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi の生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
減算部6は、ブロック分割部1から符号化ブロックBを受けると、その符号化ブロックB内の予測ブロックP から、イントラ予測部4により生成されたイントラ予測画像PINTRAi 、又は、動き補償予測部5により生成されたインター予測画像PINTERi のいずれか一方を減算して、その減算結果である予測差分信号e を変換・量子化部7に出力する(ステップST6)。
変換・量子化部7は、減算部6から予測差分信号e を受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その予測差分信号e に対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して、変換係数を算出する。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆KL変換など)を実施して、減算部6から出力された予測差分信号e に相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像PINTRAi 、又は、動き補償予測部5により生成されたインター予測画像PINTERi のいずれか一方を加算することで、局所復号画像を算出する(ステップST9)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
ループフィルタ部11は、加算部9から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ12に格納する(ステップST10)。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1ピクチャ分の局所復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部11で参照する必要があるため、ループフィルタ部11に映像信号を入力するように図1の動画像符号化装置を変更する必要がる。
ステップST3〜ST9の処理は、階層的に分割された全ての符号化ブロックBに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックBに対する処理が完了するとステップST13の処理に移行する(ステップST11,ST12)。
可変長符号化部13は、変換・量子化部7から出力された圧縮データと、符号化制御部2から出力された最大符号化ブロック内のブロック分割情報(図6(b)を例とする4分木情報)、符号化モードm(B)及び予測差分符号化パラメータと、符号化制御部2から出力されたイントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)又はインター予測パラメータ(符号化モードがインター符号化モードである場合)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する(ステップST13)。
次に、イントラ予測部4の処理内容を詳細に説明する。
図17は符号化ブロックB内の各予測ブロックP が選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。ただし、Nはイントラ予測モード数を表している。
図17では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図17の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
イントラ予測部4は、上述したように、予測ブロックP のイントラ予測パラメータを参照して、その予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成するが、ここでは、輝度信号における予測ブロックP のイントラ予測信号を生成するイントラ処理について説明する。
予測ブロックP のサイズをl ×m 画素とする。
図8はl =m =4の場合の予測ブロックP 内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測ブロックP の上の符号化済みの画素(2×l +1)個と、左の符号化済みの画素(2×m )個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測ブロックP の近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
予測ブロックP に対するイントラ予測モードのインデックス値が0(平面(Planar)予測)の場合には、予測ブロックP の上に隣接する符号化済み画素と予測ブロックP の左に隣接する符号化済み画素を用いて、予測ブロックP 内の予測対象画素と上記隣接画素との距離に応じて内挿した値を予測値として予測画像を生成する。
予測ブロックP に対するイントラ予測モードのインデックス値が1(垂直方向予測)の場合には、下記の式(1)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。
Figure 2012176381
ただし、座標(x,y)は予測ブロックP 内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
このように、従来(MPEG−4 AVC/H.264)の垂直方向予測の予測値である予測ブロックP の上に隣接する符号化済み画素の輝度値S(x,−1)に対して、予測ブロックP の左に隣接する符号化済み画素(図10の太枠で囲った画素)の垂直方向の輝度値の変化量を表すS(−1,y)−S(−1,−1)に比例する値(垂直方向の輝度値の変化量を表すS(−1,y)−S(−1,−1)を1/tにスケーリングした値)を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した垂直方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。
なお、上記の1/tは、固定値としてもよいが、座標(x,y)によって変化する変数としてもよい。
例えば、t=2x+1とすれば、図11に示すように、スケーリング値が左端の列から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPinの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックP の左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックP の左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックP の左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、t=2x+1の場合、式(1)を下記に示すようにビットシフトによる式で表現することができる。
Figure 2012176381
式(1a)において、“>>a”は、右にaビットだけ算術シフトする演算を示している。
式(1)の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、S(−1,y)−S(−1,−1)は負値も取り得るため、実装環境(コンパイラ)等によっては“>>”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式(1)と異なってしまう場合がある。
そこで、実装環境に依存しないt=2x+1の場合の式(1)の近似式としては、下記の式(1b)が挙げられる。
Figure 2012176381
式(1b)では、輝度値輝度値S(−1,y)、S(−1,−1)をそれぞれ先に(x+1)ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。
また、式(1)の予測処理を行う予測ブロックP のブロックサイズは特定のサイズに限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックP では、式(1)を適用せずに、従来の垂直方向予測の予測値(予測ブロックP の上に隣接する符号化済み画素の輝度値S(x,−1))とし、16×16画素より小さいブロックのみで式(1)を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
また、予測ブロックP に対するイントラ予測モードのインデックス値が2(水平方向予測)の場合には、下記の式(2)から予測ブロックP 内の画素の予測値を算出して予測画像を生成する。
Figure 2012176381
ただし、座標(x,y)は予測ブロックP 内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
このように、従来(MPEG−4 AVC/H.264)の水平方向予測の予測値である予測ブロックP の左に隣接する符号化済み画素の輝度値S(−1,y)に対して、予測ブロックP の上に隣接する符号化済み画素(図12の太枠で囲った画素)の水平方向の輝度値の変化量を表すS(x,−1)−S(−1,−1)に比例する値(水平方向の輝度値の変化量を表すS(x,−1)−S(−1,−1)を1/uにスケーリングした値)を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した水平方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。
なお、上記の1/uは、固定値としてもよいが、座標(x,y)によって変化する変数としてもよい。
例えば、u=2y+1とすれば、図13に示すように、スケーリング値が上端の行から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPinの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックP の上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックP の上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックP の上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、u=2y+1の場合、式(2)を下記に示すようにビットシフトによる式で表現することができる。
Figure 2012176381
式(2a)において、“>>a”は、右にaビットだけ算術シフトする演算を示している。
式(2)の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、S(x,−1)−S(−1,−1)は負値も取り得るため、実装環境(コンパイラ)等によっては“>>”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式(2)と異なってしまう場合がある。
そこで、実装環境に依存しないu=2y+1の場合の式(2)の近似式としては、下記の式(2b)が挙げられる。
Figure 2012176381
式(2b)では、輝度値輝度値S(x,−1)、S(−1,−1)をそれぞれ先に(y+1)ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。
また、式(2)の予測処理を行う予測ブロックP のブロックサイズは特定のサイズに限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックP では、式(2)を適用せずに、従来の水平方向予測の予測値(予測ブロックP の左に隣接する符号化済み画素の輝度値S(−1,y))とし、16×16画素より小さいブロックのみで式(2)を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
また、予測ブロックP に対するイントラ予測モードのインデックス値が3(平均値(DC)予測)の場合には、予測ブロックP の上に隣接する符号化済み画素と予測ブロックP の左に隣接する符号化済み画素の平均値を予測ブロックP 内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が0(平面(Planar)予測)、1(垂直方向予測)、2(水平方向予測)、3(平均値(DC)予測)以外の場合には、インデックス値が示す予測方向ベクトルυ=(dx,dy)に基づいて、予測ブロックP 内の画素の予測値を生成する。
図9に示すように、予測ブロックP の左上画素を原点として、予測ブロックP 内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
Figure 2012176381
ただし、kは負のスカラ値である。
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックP 内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像PINTRAi を出力する。
なお、イントラ予測画像PINTRAi の生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力される。
なお、先に説明したMPEG−4 AVC/H.264における8×8画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。
予測ブロックP の色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部13に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来(MPEG−4 AVC/H.264)の予測手法であってもよい。
例えば、YUV信号4:2:0フォーマットの場合、色差信号(U、V信号)は、輝度信号(Y信号)に対して解像度を水平方向、垂直方向共に1/2に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ(イントラ予測モード)を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。
なお、垂直方向予測で用いるスケーリング値である1/tと、水平方向予測で用いるスケーリング値である1/uは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、t,uを可変長符号化部13に出力し、可変長符号化部13がt,uを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからt,uを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、t,uを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
また、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部4が、シーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグを可変長符号化部13に出力し、可変長符号化部13が上記ON/OFFフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ON/OFFフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
次に、図3の動画像復号装置の処理内容を具体的に説明する。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータt、水平方向予測で用いるスケーリング値のパラメータu、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグの内、いずれか1つでも可変長符号化されてビットストリームに多重化されている場合、図1の動画像符号化装置で符号化された単位(シーケンス単位、あるいは、ピクチャ単位)に復号する。
可変長復号部31は、図1の動画像符号化装置の符号化制御部2により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する(ステップST22)。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部31は、決定された最大復号ブロック単位に、図6で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定する(ステップST23)。
次に、可変長復号部31は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに1つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する(ステップST24)。
即ち、可変長復号部31は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する(ステップST24)。
さらに、可変長復号部31は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる1つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
切換スイッチ33は、可変長復号部31により可変長復号された符号化モードm(B)がイントラ符号化モードであれば(m(B)∈INTRAの場合)、可変長復号部31により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部34に出力する。
一方、可変長復号部31により可変長復号された符号化モードm(B)がインター符号化モードであれば(m(B)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
イントラ予測部34は、可変長復号部31により可変長復号された符号化モードm(B)がイントラ符号化モード(m(B)∈INTRA)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図1のイントラ予測部4と同様の手順で、イントラ予測用メモリ37に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックB内の各予測ブロックP に対するイントラ予測処理を実施して、イントラ予測画像PINTRAi を生成する(ステップST26)。
即ち、イントラ予測部34は、予測ブロックP に対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合には、上記の式(1)から予測ブロックP 内の画素の予測値を算出して、イントラ予測画像PINTRAi を生成する。
また、予測ブロックP に対するイントラ予測モードのインデックス値が1(水平方向予測)の場合には、上記の式(2)から予測ブロックP 内の画素の予測値を算出して、イントラ予測画像PINTRAi を生成する。
ただし、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズが制限されている場合は、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックP では従来(MPEG−4 AVC/H.264)の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。
動き補償部35は、可変長復号部31により可変長復号された符号化モードm(B)がインター符号化モード(m(B)∈INTER)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ39に格納されているフィルタリング処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロック内の各予測ブロックP に対するインター予測処理を実施してインター予測画像PINTERi を生成する(ステップST27)。
逆量子化・逆変換部32は、可変長復号部31から圧縮データ及び予測差分符号化パラメータを受けると、図1の逆量子化・逆変換部8と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する(ステップST28)。
加算部36は、逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像PINTRAi 、又は、動き補償部35により生成されたインター予測画像PINTERi のいずれか一方を加算して復号画像を算出し、ループフィルタ部38に出力するとともに、その復号画像をイントラ予測用メモリ37に格納する(ステップST29)。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
ループフィルタ部38は、全ての復号ブロックBに対するステップST23〜ST29の処理が完了すると(ステップST30)、加算部36から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ39に格納する(ステップST31)。
なお、ループフィルタ部38によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、1ピクチャ分の復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
以上で明らかなように、この実施の形態3によれば、動画像符号化装置のイントラ予測部4が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
また、この実施の形態3によれば、動画像復号装置のイントラ予測部34が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
この実施の形態3によれば、イントラ予測部4,34により水平方向予測処理が実施される際に用いられるスケーリング値である1/uについては、予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの上に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの上に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
また、イントラ予測部4,34により垂直方向予測処理が実施される際に用いられるスケーリング値である1/tについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
なお、この実施の形態3では、イントラ予測部4,34により水平方向予測処理が実施される際の予測ブロック内の第N行(予測ブロックの上端からN番目の行)のスケーリング値が1/2N+1(=1/2,1/4,1/8,1/16,・・・)であり、イントラ予測部4,34により垂直方向予測処理が実施される際の予測ブロック内の第M列(予測ブロックの左端からM番目の列)のスケーリング値が1/2M+1(=1/2,1/4,1/8,1/16,・・・)である例を示したが、これは一例に過ぎず、イントラ予測部4,34により水平方向予測処理が実施される際は予測ブロックの上端から遠い行のスケーリング値ほど小さく、また、イントラ予測部4,34により垂直方向予測処理が実施される際は予測ブロックの左端から遠い列のスケーリング値ほど小さければ、いかなる値でもよい。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
1 ブロック分割部(ブロック分割手段)、2 符号化制御部(符号化制御手段)、3 切換スイッチ、4 イントラ予測部(イントラ予測手段)、5 動き補償予測部(動き補償予測手段)、6 減算部(量子化手段)、7 変換・量子化部(量子化手段)、8 逆量子化・逆変換部、9 加算部、10 イントラ予測用メモリ(イントラ予測手段)、11 ループフィルタ部、12 動き補償予測フレームメモリ(動き補償予測手段)、13 可変長符号化部(可変長符号化手段)、31 可変長復号部(可変長復号手段)、32 逆量子化・逆変換部(逆量子化手段)、33 切換スイッチ、34 イントラ予測部(イントラ予測手段)、35 動き補償部(動き補償予測手段)、36 加算部、37 イントラ予測用メモリ(イントラ予測手段)、38 ループフィルタ部、39 動き補償予測フレームメモリ(動き補償予測手段)。

Claims (20)

  1. 符号化ブロックに対応する符号化モードとして、イントラ符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、
    上記イントラ予測手段は、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像符号化装置。
  2. 符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックと上記イントラ予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備えていることを特徴とする請求項1記載の動画像符号化装置。
  3. ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりインター符号化モードが選択された場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段を設け、
    差分画像生成手段は、上記ブロック分割手段により分割された符号化ブロックとイントラ予測手段又は上記動き補償予測手段により生成された予測画像との差分画像を生成することを特徴とする請求項2記載の動画像符号化装置。
  4. 符号化制御手段は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを当該符号化ブロックの予測ブロック毎に決定し、
    画像圧縮手段は、上記符号化制御手段により決定された変換ブロックサイズ単位で、差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化制御手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化して量子化後の変換係数を上記差分画像の圧縮データとして出力し、
    可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化する際、上記符号化制御手段により決定されたイントラ予測パラメータ又はインター予測パラメータと、量子化パラメータ及び変換ブロックサイズとを可変長符号化して、上記圧縮データ、上記符号化モード、上記イントラ予測パラメータ又は上記インター予測パラメータ、上記量子化パラメータ及び上記変換ブロックサイズの符号化データが多重化されたビットストリームを生成することを特徴とする請求項3記載の動画像符号化装置。
  5. イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に上記予測ブロックの行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に上記予測ブロックの列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする請求項1記載の動画像符号化装置。
  6. イントラ予測手段により水平方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの上に隣接している画素からの距離が遠い行に係るスケーリング値ほど小さな値に設定され、上記イントラ予測手段により垂直方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの左に隣接している画素からの距離が遠い列に係るスケーリング値ほど小さな値に設定されていることを特徴とする請求項5記載の動画像符号化装置。
  7. イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロック内の上端から所定の行数内の行については、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの行については、上記予測ブロックの左に隣接している画素の輝度値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロック内の左端から所定の列数内の列については、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの列については、上記予測ブロックの上に隣接している画素の輝度値を上記予測画像の予測値に決定することを特徴とする請求項1記載の動画像符号化装置。
  8. 可変長符号化手段は、上記予測ブロックの行毎に設定されているスケーリング値及び上記予測ブロックの列毎に設定されているスケーリング値を可変長符号化して、上記スケーリング値、圧縮データ及び符号化モードの符号化データが多重化されたビットストリームを生成することを特徴とする請求項5記載の動画像符号化装置。
  9. 可変長符号化手段は、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の行を特定するブロック内情報、又は、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の列を特定するブロック内情報を可変長符号化し、上記ブロック内情報、圧縮データ及び符号化モードの符号化データが多重化されたビットストリームを生成することを特徴とする請求項7記載の動画像符号化装置。
  10. 可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、
    上記イントラ予測手段は、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像復号装置。
  11. ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記イントラ予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備えていることを特徴とする請求項10記載の動画像復号装置。
  12. 可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段を設け、
    復号画像生成手段は、差分画像生成手段により生成された差分画像とイントラ予測手段又は上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成することを特徴とする請求項11記載の動画像復号装置。
  13. 可変長復号手段は、ビットストリームに多重化された符号化データから各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ又はインター予測パラメータ、量子化パラメータ及び変換ブロックサイズを可変長復号し、
    差分画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る量子化パラメータを用いて、当該符号化ブロックに係る圧縮データを逆量子化し、上記変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理を実施することで、圧縮前の差分画像を生成することを特徴とする請求項12記載の動画像復号装置。
  14. イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に上記予測ブロックの行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に上記予測ブロックの列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする請求項10記載の動画像復号装置。
  15. イントラ予測手段により水平方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定され、上記イントラ予測手段により垂直方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されていることを特徴とする請求項14記載の動画像復号装置。
  16. イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロック内の上端から所定の行数内の行については、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの行については、上記予測ブロックの左に隣接している画素の輝度値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロック内の左端から所定の列数内の列については、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの列については、上記予測ブロックの上に隣接している画素の輝度値を上記予測画像の予測値に決定することを特徴とする請求項10記載の動画像復号装置。
  17. 可変長復号手段は、ビットストリームに多重化された符号化データから符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する際、上記予測ブロックの行毎に設定されているスケーリング値及び上記予測ブロックの列毎に設定されているスケーリング値を可変長復号することを特徴とする請求項14記載の動画像復号装置。
  18. 可変長復号手段は、ビットストリームに多重化された符号化データから符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する際、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の行を特定するブロック内情報、又は、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の列を特定するブロック内情報を可変長復号することを特徴とする請求項16記載の動画像復号装置。
  19. イントラ予測手段が、符号化ブロックに対応する符号化モードとして、イントラ符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップを備え、
    上記イントラ予測処理ステップでは、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像符号化方法。
  20. イントラ予測手段が、可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップを備え、
    上記イントラ予測処理ステップでは、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
    上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像復号方法。
JP2013521419A 2011-06-24 2012-05-30 画像復号装置及び画像復号方法 Active JP5389297B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013521419A JP5389297B2 (ja) 2011-06-24 2012-05-30 画像復号装置及び画像復号方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011140598 2011-06-24
JP2011140598 2011-06-24
JP2012009115 2012-01-19
JP2012009115 2012-01-19
JP2013521419A JP5389297B2 (ja) 2011-06-24 2012-05-30 画像復号装置及び画像復号方法
PCT/JP2012/003555 WO2012176381A1 (ja) 2011-06-24 2012-05-30 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013211099A Division JP5752204B2 (ja) 2011-06-24 2013-10-08 画像復号装置及び画像復号方法

Publications (2)

Publication Number Publication Date
JP5389297B2 JP5389297B2 (ja) 2014-01-15
JPWO2012176381A1 true JPWO2012176381A1 (ja) 2015-02-23

Family

ID=47422246

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2013521419A Active JP5389297B2 (ja) 2011-06-24 2012-05-30 画像復号装置及び画像復号方法
JP2013211099A Active JP5752204B2 (ja) 2011-06-24 2013-10-08 画像復号装置及び画像復号方法
JP2013271883A Active JP5744168B2 (ja) 2011-06-24 2013-12-27 画像復号装置
JP2014092779A Active JP5762596B2 (ja) 2011-06-24 2014-04-28 画像復号装置及び画像復号方法
JP2015091172A Active JP5992070B2 (ja) 2011-06-24 2015-04-28 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造
JP2016124445A Active JP6261660B2 (ja) 2011-06-24 2016-06-23 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2013211099A Active JP5752204B2 (ja) 2011-06-24 2013-10-08 画像復号装置及び画像復号方法
JP2013271883A Active JP5744168B2 (ja) 2011-06-24 2013-12-27 画像復号装置
JP2014092779A Active JP5762596B2 (ja) 2011-06-24 2014-04-28 画像復号装置及び画像復号方法
JP2015091172A Active JP5992070B2 (ja) 2011-06-24 2015-04-28 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造
JP2016124445A Active JP6261660B2 (ja) 2011-06-24 2016-06-23 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Country Status (15)

Country Link
US (6) US9723316B2 (ja)
EP (6) EP2725795B1 (ja)
JP (6) JP5389297B2 (ja)
KR (6) KR101895744B1 (ja)
CN (5) CN106686382B (ja)
BR (1) BR112013031133B1 (ja)
CA (5) CA2833902C (ja)
ES (4) ES2869201T3 (ja)
HK (1) HK1232359A1 (ja)
MX (3) MX347117B (ja)
PL (2) PL3849187T3 (ja)
RU (5) RU2547457C1 (ja)
SG (5) SG10201902274SA (ja)
TW (5) TWI571112B (ja)
WO (1) WO2012176381A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807412B2 (en) 2012-01-18 2017-10-31 Electronics And Telecommunications Research Institute Method and device for encoding and decoding image

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
EP3678373A1 (en) * 2011-06-20 2020-07-08 HFI Innovation Inc. Method and apparatus of directional intra prediction
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
SG10201902274SA (en) 2011-06-24 2019-04-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
EP2672452B1 (en) 2012-02-23 2017-12-27 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image playback device, control method, program, and recording medium
WO2013153787A1 (ja) 2012-04-12 2013-10-17 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
KR20170075746A (ko) * 2014-10-31 2017-07-03 삼성전자주식회사 영상을 부호화 또는 복호화 하는 방법 및 장치
WO2016072777A1 (ko) * 2014-11-06 2016-05-12 삼성전자 주식회사 인트라 결합 예측 부호화, 복호화 방법 및 장치
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
US9743092B2 (en) * 2015-10-13 2017-08-22 Nokia Technologies Oy Video coding with helper data for spatial intra-prediction
EP3301915A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra most probable modes
CA3048242C (en) * 2016-12-28 2023-10-31 Arris Enterprises Llc Improved video bitstream coding
WO2018229327A1 (en) * 2017-06-16 2018-12-20 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
JP2019041165A (ja) * 2017-08-23 2019-03-14 富士通株式会社 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム
KR20240125065A (ko) * 2017-12-08 2024-08-19 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 이미지 인코딩 장치, 이미지 디코딩 장치, 이미지 인코딩 방법 및 이미지 디코딩 방법
EP3815359B1 (en) * 2018-06-27 2024-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Contour mode prediction
WO2021018084A1 (en) * 2019-07-26 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Interdependence of transform size and coding tree unit size in video coding
MX2022000716A (es) 2019-07-26 2022-02-23 Beijing Bytedance Network Tech Co Ltd Determinación del modo de particionado de imagen con base en el tamaño de bloque.
WO2021054868A1 (en) * 2019-09-20 2021-03-25 Huawei Technologies Co., Ltd. Method and apparatus for intra prediction
US20240267541A1 (en) * 2023-02-08 2024-08-08 Realtek Semiconductor Corp. Encoder and associated signal processing method

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061474A (en) 1995-06-22 2000-05-09 Canonkabushiki Kaisha Image processing apparatus and method
JP3689454B2 (ja) * 1995-06-22 2005-08-31 キヤノン株式会社 画像符号化装置及び方法
RU2314656C2 (ru) * 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
WO2005020588A1 (en) * 2003-08-25 2005-03-03 Agency For Science, Technology And Research Mode decision for inter prediction in video coding
JP4310697B2 (ja) * 2004-04-20 2009-08-12 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP5037938B2 (ja) * 2004-04-28 2012-10-03 日立コンシューマエレクトロニクス株式会社 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
JP4542447B2 (ja) * 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
KR100813958B1 (ko) * 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
JP2006157481A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
JP2006254232A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 情報処理装置およびプログラム
JP4600315B2 (ja) * 2006-03-01 2010-12-15 ソニー株式会社 カメラ装置の制御方法及びこれを用いたカメラ装置
CN101455084A (zh) * 2006-03-30 2009-06-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US8270490B2 (en) * 2006-07-06 2012-09-18 Canon Kabushiki Kaisha Motion vector detection apparatus, motion vector detection method, image encoding apparatus, image encoding method, and computer program
FR2908007A1 (fr) * 2006-10-31 2008-05-02 Thomson Licensing Sas Procede de codage d'une sequence d'images
JP4707118B2 (ja) * 2007-03-28 2011-06-22 株式会社Kddi研究所 動画像符号化装置および動画像復号装置のイントラ予測方式
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
RU2496252C2 (ru) 2007-06-29 2013-10-20 Шарп Кабусики Кайся Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения, способ декодирования изображения, программа и запоминающий носитель
RU2479940C2 (ru) * 2007-10-15 2013-04-20 Ниппон Телеграф Энд Телефон Корпорейшн Устройство кодирования и декодирования изображения, способы кодирования и декодирования изображения, их программы и носитель записи, записанный программами
US9049457B2 (en) * 2007-12-21 2015-06-02 Telefonaktiebolaget L M Ericsson (Publ) Pixel prediction for video coding
CN101217669A (zh) * 2008-01-15 2008-07-09 北京中星微电子有限公司 帧内预测方法及装置
KR101291196B1 (ko) * 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR101596829B1 (ko) 2008-05-07 2016-02-23 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
KR101379187B1 (ko) * 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
WO2010102935A1 (en) * 2009-03-09 2010-09-16 Thomson Licensing Estimation of the prediction mode for the intra coding mode
CN101600116A (zh) * 2009-03-11 2009-12-09 北京中星微电子有限公司 一种帧内预测方法及装置
CN101964906B (zh) * 2009-07-22 2012-07-04 北京工业大学 基于纹理特性的快速帧内预测方法和装置
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
MY189368A (en) 2009-10-20 2022-02-08 Sharp Kk Moving image decoding device, moving image decoding method, moving image coding device, and moving image coding method
KR101487687B1 (ko) * 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
CN101895755B (zh) * 2010-07-20 2012-10-03 杭州电子科技大学 一种快速4x4块帧内预测模式选择方法
CN101895761B (zh) * 2010-07-29 2013-01-23 江苏大学 一种快速帧内预测算法
CN105516723B (zh) 2010-09-30 2018-07-27 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法
SG10202008690XA (en) 2011-01-12 2020-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
EP3678373A1 (en) 2011-06-20 2020-07-08 HFI Innovation Inc. Method and apparatus of directional intra prediction
SG10201902274SA (en) * 2011-06-24 2019-04-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807412B2 (en) 2012-01-18 2017-10-31 Electronics And Telecommunications Research Institute Method and device for encoding and decoding image
US10397598B2 (en) 2012-01-18 2019-08-27 Electronics And Telecommunications Research Institue Method and device for encoding and decoding image

Also Published As

Publication number Publication date
TWI571112B (zh) 2017-02-11
RU2014143010A3 (ja) 2018-07-19
WO2012176381A1 (ja) 2012-12-27
SG10201902274SA (en) 2019-04-29
KR101921781B1 (ko) 2018-11-23
SG10201406891TA (en) 2014-11-27
JP2016197883A (ja) 2016-11-24
CA3011659C (en) 2020-04-07
CA2833902A1 (en) 2012-12-27
ES2869201T3 (es) 2021-10-25
EP4266683A2 (en) 2023-10-25
TWI600317B (zh) 2017-09-21
EP4254952A3 (en) 2023-12-20
US11876979B2 (en) 2024-01-16
TW201313032A (zh) 2013-03-16
JP5389297B2 (ja) 2014-01-15
CN106686382A (zh) 2017-05-17
CA2833902C (en) 2018-09-04
EP2725795A1 (en) 2014-04-30
RU2014143010A (ru) 2016-05-20
KR20160118380A (ko) 2016-10-11
CN106507109A (zh) 2017-03-15
CN106791880A (zh) 2017-05-31
TWI645717B (zh) 2018-12-21
KR101895744B1 (ko) 2018-10-04
EP3849186B1 (en) 2023-09-20
KR101821867B1 (ko) 2018-01-24
KR101565228B1 (ko) 2015-11-02
MX347117B (es) 2017-04-11
RU2700396C1 (ru) 2019-09-16
EP2725795A4 (en) 2014-11-26
EP4266683A3 (en) 2023-12-20
ES2961890T3 (es) 2024-03-14
CA3128548C (en) 2023-10-17
CN106658013B (zh) 2019-07-19
US20230224477A1 (en) 2023-07-13
JP6261660B2 (ja) 2018-01-17
BR112013031133B1 (pt) 2022-07-12
CN103503457A (zh) 2014-01-08
CA3208227A1 (en) 2012-12-27
US9723316B2 (en) 2017-08-01
US20140064368A1 (en) 2014-03-06
MX2020010376A (es) 2020-10-22
PL3849187T3 (pl) 2024-01-29
JP5752204B2 (ja) 2015-07-22
KR20180099950A (ko) 2018-09-05
RU2678497C2 (ru) 2019-01-29
US20180343454A1 (en) 2018-11-29
RU2547457C1 (ru) 2015-04-10
PL3849186T3 (pl) 2024-01-03
RU2699256C1 (ru) 2019-09-04
TWI643494B (zh) 2018-12-01
JP5744168B2 (ja) 2015-07-01
HK1232359A1 (zh) 2018-01-05
CA3073053A1 (en) 2012-12-27
EP2824926B1 (en) 2021-04-14
US11632556B2 (en) 2023-04-18
SG10201902297VA (en) 2019-04-29
CN106507109B (zh) 2019-05-10
SG10202011514QA (en) 2021-01-28
EP2725795B1 (en) 2021-04-14
KR101795332B1 (ko) 2017-11-07
KR20140007074A (ko) 2014-01-16
TW201717645A (zh) 2017-05-16
US20210227230A1 (en) 2021-07-22
ES2869204T3 (es) 2021-10-25
KR20150061015A (ko) 2015-06-03
MX343503B (es) 2016-11-07
EP4254952A2 (en) 2023-10-04
JP5992070B2 (ja) 2016-09-14
TW201717644A (zh) 2017-05-16
KR20140096394A (ko) 2014-08-05
US10511840B2 (en) 2019-12-17
CA3128548A1 (en) 2012-12-27
CN106686382B (zh) 2019-06-18
US11006125B2 (en) 2021-05-11
RU2699411C1 (ru) 2019-09-05
KR20170124634A (ko) 2017-11-10
CN106791880B (zh) 2020-03-10
JP2015164346A (ja) 2015-09-10
EP2824926A1 (en) 2015-01-14
TWI508566B (zh) 2015-11-11
SG10201902300VA (en) 2019-04-29
ES2961936T3 (es) 2024-03-14
CA3011659A1 (en) 2012-12-27
JP2014147122A (ja) 2014-08-14
EP3849187A1 (en) 2021-07-14
CN103503457B (zh) 2017-02-08
EP3849186A1 (en) 2021-07-14
US20200068204A1 (en) 2020-02-27
JP5762596B2 (ja) 2015-08-12
JP2014103678A (ja) 2014-06-05
EP3849187B1 (en) 2023-09-20
BR112013031133A2 (pt) 2017-03-21
MX2013014581A (es) 2014-03-31
JP2014003721A (ja) 2014-01-09
CA3073053C (en) 2021-11-16
TW201603565A (zh) 2016-01-16
US10237560B2 (en) 2019-03-19
TW201717643A (zh) 2017-05-16
US20170295377A1 (en) 2017-10-12
CN106658013A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
JP6261660B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101678351B1 (ko) 기억 매체
WO2013065402A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014123988A (ja) 画像復号装置及び画像復号方法
JPWO2014049981A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014090327A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014090326A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013098713A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JPWO2014049982A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013098715A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131008

R150 Certificate of patent or registration of utility model

Ref document number: 5389297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250