JP6671339B2 - 符号化装置及び復号装置 - Google Patents

符号化装置及び復号装置 Download PDF

Info

Publication number
JP6671339B2
JP6671339B2 JP2017501874A JP2017501874A JP6671339B2 JP 6671339 B2 JP6671339 B2 JP 6671339B2 JP 2017501874 A JP2017501874 A JP 2017501874A JP 2017501874 A JP2017501874 A JP 2017501874A JP 6671339 B2 JP6671339 B2 JP 6671339B2
Authority
JP
Japan
Prior art keywords
square
prediction
unit
block
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017501874A
Other languages
English (en)
Other versions
JPWO2016136106A1 (ja
Inventor
翠 王
翠 王
圭 河村
圭 河村
内藤　整
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of JPWO2016136106A1 publication Critical patent/JPWO2016136106A1/ja
Application granted granted Critical
Publication of JP6671339B2 publication Critical patent/JP6671339B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、非正方形ブロックの符号化を許容する、静止画像又は映像の符号化装置及び復号装置に関する。
H.264やH.265に代表される映像符号化方式においてフレーム内予測は、すでに符号化・復号された隣接ブロックの画素を参照画素として、正方形ブロック単位に当該ブロック内の画素値を予測する。画素値とイントラ予測値との残差信号を直交変換・量子化した後、係数スキャンを適用し、エントロピー符号化を行い、ビットストリームを生成する。
非特許文献１，３や特許文献１では、従来の国際標準符号化方式に非正方形ブロックを追加し、画素値とイントラ予測値との残差信号を非正方形直交変換・量子化した後、その係数を正方形に並び替え、従来の正方形ブロックに対する係数スキャンを適用し、エントロピー符号化するアプローチを提案している。
また、非特許文献２では、従来の分離型DCTの代わりに、イントラ予測モードに基づく方向適応型残差変換（Direction-Adaptive Residual Transform；以下にて適宜、DARTと略称する）が提案されている。
国際公開2013／063245号
Yuan Yuan, Xiaozhen Zheng, Lingzhi Liu, Xiaoran Cao and Yun He, "Non-Square Quadtree Transform Structure for HEVC", 2012 Picture Coding Symposium, May 7-9, 2012, Krakow, Poland. Robert A. Cohen, Sven Klomp, Anthony Vetro, and Huifang Sun, "DIRECTION-ADAPTIVE TRANSFORMS FOR CODING PREDICTION RESIDUALS", IEEE International Conference on Image Processing 2010 (ICIP 2010). Xiaoran Cao, Xiulian Peng, Changcai Lai, Yunfei Wang, Yongbing Lin, Jizheng Xu, Lingzhi Liu, Jianhua Zheng, Yun He, Haoping Yu and Feng Wu, "CE6.b Report on Short Distance Intra Prediction Method", Doc. JCT-VC D299, 4th Meeting: Daegu, KR, 20-28 January, 2011.
以下、当該従来技術の概要を、非正方形ブロックを扱う従来技術に関して図１〜４を参照して、またDARTに関して図５，６を参照して、それぞれ説明する。
図１及び図２はそれぞれ、非特許文献３で提案されたフレーム内予測を行う符号化装置及び復号装置の機能ブロック図である。図３及び図４は共に、当該非特許文献３において利用され、非特許文献１，３で提案されている四分木分割直交変換を説明するための図である。
符号化装置300は図１に示すような各機能部を有し、それぞれ以下のように機能する。
モード選択部301の入力は、符号化対象の入力画像と符号化済みブロックバッファ343で保存された参照画素である。モード選択部301では、ブロック分割（正方形か非正方形、ブロックサイズ）と予測モードをレート歪最適化アルゴリズムに基づき決定する。モード選択部301の出力は、ブロックの分割種別と当該分割されたブロック（正方形又は非正方形ブロック）の各々における予測モードであり、モード情報バッファ302及び正方形（非正方形）イントラ予測部311（321）へと出力される。
また、入力画像を構成する画素のうち、モード選択部301による決定の結果、正方形ブロックへと分割されたものは正方形イントラ予測部311に出力され、当該決定の結果、非正方形ブロックへと分割されたのもは非正方形イントラ予測部321へと出力される。
こうして、図１に示すように、従来技術においては正方形ブロックと非正方形ブロックとで場合分けして処理がなされることで、非正方形ブロックを扱うことを可能とし、符号化効率の向上を図っている。スイッチ340は当該場合分けに応じて正方形／非正方形の画素信号を切り替えている。
すなわち、図示するように、正方形ブロックの場合、正方形イントラ予測部311、差分器312、正方形DCT部313、量子化部332、エントロピー符号化部333、逆量子化部334、スイッチ340、正方形IDCT部351、加算器341、符号化済みブロックバッファ343において順次、処理がなされる。当該正方形ブロックの場合の処理は、H.264やH.265の通常のイントラ予測の場合と同様である。
また図示するように、非正方形ブロックの場合、非正方形イントラ予測部321、差分器322、非正方形DCT部323、正方形化部324、量子化部332、エントロピー符号化部333、逆量子化部334、スイッチ340、非正方形化部350、非正方形IDCT部352、加算器342、符号化済みブロックバッファ343において順次、処理がなされる。
従って、非正方形ブロックの場合も、正方形化部324及び非正方形化部350の間にある量子化部332及び逆量子化部334、また、エントロピー符号化部333に関しては正方形ブロックと共通の処理がなされる。当該箇所では非正方形ブロックが正方形ブロックに並び替えられているからである。
また、非正方形ブロックの場合、正方形化部324及び非正方形化部350という構成の処理を経て並び替えられることが正方形ブロックの場合と形式上異なるが、それ以外の処理は形式上、正方形ブロックの場合と並列に対応する関係にある。例えば、正方形ブロックは正方形イントラ予測部311で処理され、対応する処理が非正方形ブロックの場合においては非正方形イントラ予測部321でなされる。以下、このような対応関係にある処理に関しては括弧で符号その他を併記することにより、並列的に説明する。
正方形（非正方形）イントラ予測部311（321）において、入力は予測モードと入力画像と符号化済みブロックバッファ343で保存された参照画素である。正方形（非正方形）ブロックを対象としたレート歪最適化アルゴリズムに基づき、最適な予測方法による予測値を生成する。同部311（321）の出力は予測値であり、差分器312（322）及び加算器341（342）へ出力される。
差分器312（322）では同部311（321）の出力した予測値と、符号化対象の入力画像のうち当該予測の適用されたブロックの画素との差分を予測残差として求めて、当該予測残差を正方形（非正方形）DCT部313（323）へと出力する。
正方形DCT部313として、入力は差分器312の出力した入力画像と予測値との予測残差である。出力は2次元正方形DCT（離散コサイン変換）直交変換された係数であり、量子化部332へ出力される。
非正方形DCT部323として、入力は差分器322の出力した入力画像と予測値との予測残差であり、同部323にて2次元非正方形DCT直交変換を適用する。出力は2次元非正方形DCT直交変換された係数であり、正方形化部324へと出力される。
なお、正方形（非正方形）DCT部313（323）の処理は形式的には、以下の式（1）で統一的に表すことができる。BN×MがサイズN×Mブロックの予測残差であり、CN×MがDCT変換された係数であり、TM及びTNがそれぞれサイズM×M及びN×Nの変換基底である。式(1)にて正方形DCTはN=Mの場合である。それ以外の場合（N≠Mの場合）、式(1)は非正方形DCTの処理を表す。
CN×M = TM × BN×M × TN T (1)
非正方形の直交変換係数にも従来の量子化テーブルを使えるようにすべく、非正方形直交変換した後の非正方形係数ブロックに正方形化部324でその並び替え操作を適用する。こうして、同部324の入力として、非正方形DCT部323の出力した非正方形ブロックの直交変換係数を入力する。出力として、並び替えられた変換係数の正方形ブロックを量子化部332へと出力する。
ここで、次のような課題がある。すなわち、直交変換した後で正方形に並び替えているので、直交変換係数のエネルギーコンパクション性能に改善の余地がある。
量子化部332では、変換係数を量子化する。同部332の入力として、正方形DCT部313又は正方形化部324の出力した正方形ブロックの係数を入力する。出力として、当該正方形ブロック係数が量子化されたレベル値を逆量子化部334及びエントロピー符号化部333へと出力する。
エントロピー符号化部333では、レベル値をエントロピー符号化し、ビットストリームを生成する。同部の入力として、量子化部332の出力したレベル値とモード情報バッファ302で保存されたモード情報を入力する。出力として、エントロピー符号化されたビットストリームを出力する。当該出力は図２の復号装置400の入力となる。
逆量子化部334では、レベル値を逆量子化する。同部334の入力として、量子化部332の出力したレベル値を入力する。出力として、正方形ブロックの係数をスイッチ340へと出力する。
スイッチ340では、モード情報バッファ302で保存された当該ブロックに対する分割種別により、非正方形に並び替えが必要かどうかを判断する。当該ブロックの分割種別が正方形である場合、並び替えは不要と判断し、逆量子化部334の出力した正方形ブロックの係数を正方形IDCT部351へと出力する。一方、当該ブロックの分割種別が非正方形である場合、並び替え必要と判断し、逆量子化部334の出力した正方形ブロックの係数を非正方形化部350へと出力する。
非正方形化部350では、正方形から非正方形への並べ替え操作を適用してから、当該非正方形ブロック係数を非正方形IDCT部352へと出力する。
正方形IDCT（逆離散コサイン変換）部351では、2次元正方形DCT逆直交変換を行う。同部351の入力として、スイッチ340より送られた正方形ブロックの係数を入力する。出力として、再構成された予測残差を加算器341へと出力する。
非正方形IDCT部352では、非正方形ブロックを対象として2次元非正方形DCT逆直交変換を行う。同部352の入力として、非正方形化部350の出力した非正方形ブロックの係数を入力する。出力として、再構成された予測残差を加算器342へと出力する。
加算器341（342）では、正方形（非正方形）IDCT部351（352）の出力した予測残差と、正方形（非正方形）イントラ予測部311（321）の出力した予測値と、を加えて再構成信号を得て、当該再構成信号を符号化済みブロックバッファ343へと保存する。
以上、図１の符号化装置300を説明したので、これに対応する図２の復号装置400を説明する。
図２のエントロピー復号部433では、ビットストリームから、分割種別と予測モードとレベル値を復号する。同部433の入力として、図１のエントロピー符号化部333の出力したビットストリームを入力する。出力として、分割種別と予測モードとレベル値をモード情報バッファ402及び予測値生成部444へと出力する。
モード情報バッファ402は分割種別と予測モードとを入力し、予測値生成部444及びスイッチ440へと出力する。
逆量子化部434は、図１の逆量子化部334と同様の処理を、エントロピー復号部433の出力したレベル値に対して行い、正方形ブロックの係数をスイッチ440へと出力する。
図２のスイッチ440、正方形IDCT部451、加算器441、非正方形化部450、非正方形化IDCT部452、加算器442、メモリ443の処理については、対応する符号（図１では300番台、図２では400番台、下2桁は共通）を付しているように、それぞれ図１の再構成側の処理を担うスイッチ340、正方形IDCT部351、加算器341、非正方形化部350、非正方形化IDCT部352、加算器342、符号化済みブロックバッファ343の処理と共通であるため、重複する説明は省略する。こうして、復号されたブロックの分割種別が正方形か非正方形かで場合分けして処理がなされる。
すなわち、モード情報バッファ402で当該ブロックの分割種別が正方形であればスイッチ440は逆量子化部434の出力を正方形IDCT451へと出力し、非正方形であれば逆量子化部434の出力を非正方形化部450へと出力する。
また、符号化装置の側と異なる構成として、加算器441,442へと送る当該ブロックの予測値を、予測値生成部444が生成する。この際、エントロピー復号部433の出力した予測モードに従い、メモリ443に保存された復号画素を参照することで、予測値を生成する。こうして、図１の正方形イントラ予測部311又は非正方形イントラ予測部321が生成したのと同様の予測値が、予測値生成部444により生成される。
以上、図２の復号装置400を説明した。以下、図１のモード選択部301の詳細を説明する。
図３及び図４は、モード選択部301で選択されるブロック分割（四分木分割直交変換）をそれぞれ水平分割の場合と垂直分割の場合につき説明するための図である。
図３の水平方向の分割方法では、レベル0で2N×2Nのブロックにおいて水平方向の相関性（水平方向に分割するサブブロック間の相関性）が高ければ、水平方向へ非正方形ブロックに分割すると、残差信号のエネルギーが小さくなる。このため、レベル1に示すように、複数の非正方形2N×hNブロックに分割する。レベル１ではh=0.5で4つに分割される例が示されている。更に、より細かい模様（Texture）を含んでいれば、レベル2に示すように各2N×hNサブブロックをより小さいサブブロックN×qNに分割する。レベル２ではq=0.25で4つに分割される例が示されている。
図３と同様の分割を、垂直方向に実施する例が図４に示されている。図４の分割は、2N×2Nのブロックにおいて垂直方向の相関性（垂直方向に分割するサブブロック間の相関性）が高い場合に、残差信号のエネルギーを小さくする。
なお、図３や図４に示すような4分割の他にも、種々の所定サイズへの分割が可能であり、当該ブロック分割はグラフ構造（木構造）で表現することができるが、非正方形ブロックに分割する時に、必ず4つのサブブロックに分けると決めておくことで、簡素に木構造を表現できる。
例えば、非特許文献１や特許文献１に開示されている非正方形ブロックサイズは、サブブロック分割する際は必ず4つのサブブロックに分ける設定のもと、以下に列挙する種類が示されており、図３や図４の分割をさらに継続することでこのようなさらに細かい非正方形ブロックへと分割することもできる。
（非正方形ブロックサイズの例）
32x8, 8x32, 32x2, 2x32, 16x4, 4x16, 16x1, 1x16, 8x2, 2x8
なお、以上のような非正方形ブロックへの分割パターンの候補は所定候補を設定しておく。具体的にどの分割及び予測が適用されるかは、前述したように、符号化装置300のモード選択機能部301において各分割候補に各予測を適用して符号化を試みたうえで、一連の結果の中からレート歪最適化アルゴリズムに従って決定される。
図５，６は、非特許文献２の提案するDARTを説明するための図である。
具体的には、DARTでは、次の性質に注目する。すなわち、N×Nサイズ（正方形）のイントラ予測残差信号ブロックは予測モードの方向にも相関係数が高いという性質である。そして、当該性質に注目して次のような２段階の1次元DCTを行う。
第１段階として、プライマリパスとして水平、垂直、斜めのうちのひとつの方向（予測モードの方向）で1次元DCTを行う。図５は、当該プライマリパスで行うDCTの方向（垂直下方を基準0°とする）が0°、45°、135°である場合を示している。図中記している方向0,4,12はそれぞれの予測方向を表す数である。それぞれ矢印で示すC0, C1, ..., CM/2, ...,CM-1等がDCT係数の算出対象となるプライマリパスである。なお、ＤＣＴの方向が０°の場合には、正方形サイズN=Mであり、ＤＣＴの方向が４５°及び１３５°の場合には、正方形サイズN=M/2である。
第２段階として、上記の第１段階で出力されたDC係数のみに対してセカンダリパスとしてさらに1次元DCTを適用する。図６の０°及び４５°は、それぞれ、図５の０°及び４５°に対応するセカンダリパスを示している。図６の０°では、図５の０°のプライマリパスC0, C1 , ...,CM-1におけるM個のDC成分C0 0, C0 1 , ...,C0 M-1がセカンダリパスSを構成している。図６の４５°では、図５の４５°のプライマリパスC0, C1, ..., CM/2, ...,CM-1におけるM個のDC成分C0 1 , ..., C0 M/2 , ...,C0 M-1がセカンダリパスSを構成している。
以上の第１段階及び第２段階の結果、DARTによりN×Nブロックにおいて、出力される係数の種類と個数は以下のようになる。
・1つのDC係数（セカンダリパスの出力）
・プライマリパスとセカンダリパスそれぞれの出力AC係数
従って、形式上は従来の分離型DCTと同じように、DARTによる2次元直交変換の係数は、１個のDC係数とN2-1個のAC係数となる。しかしながら、上記のようにAC係数の種類が二つに分けている。ここで、プライマリパス出力のAC係数は、セカンダリパスにおけるDCTの対象外である。
以上、DARTの手法は、ブロックの相関性が高い方向とプライマリパスで行うDCTとの方向が同じ時に、有効であると一般的に言われている。
以上、各種の従来技術を説明したが、これらには次のような課題がある。
まず、H.264やH.265に代表される映像符号化方式では、参照画素と符号化対象画素との距離が、正方形のブロックサイズが大きくなるにつれて長くなり相関も低下するため、予測性能が低下し、符号化性能も低下するという課題がある。
また、非正方形ブロックの場合を許容することで上記のような相関低下に対応した図１，２の方式では、以下(1),(2)の課題がある。
（1）非正方形の分離型直交変換を用いているため、非正方形ブロックにおける水平と垂直のいずれか方向で、少ない画素数のブロックに対してDCTが適用されてしまう。その結果、画素数の少ない方向（非正方形ブロックの長辺及び短辺のうち短辺の方向）においてエネルギーコンパクション性能（DC成分や低周波数成分へとエネルギーを集中させる性能）が低下し、符号化効率が低下する。
(2）分離型直交変換は、フレーム内残差信号の方向性を利用していないため、エネルギーコンパクション性能が低くなる。
さらに、非特許文献２の提案するDARTは斜め方向DCTを使うため、やはり上記の(1)と同様、少ない画素数のブロックに対してDCTが必ず生じ、エネルギーコンパクション性能が低下し、符号化効率が低下するという課題がある。
例えば図５の45°の場合であれば、中央に相当するプライマリパスCM/2はN個（Nはブロックサイズ）と多くの画素数で構成されているが、端に近づくほど画素数が少なくなってしまう。特に、両端におけるプライマリパスC0, CM-1は画素数が1であり、エネルギーコンパクション性能が望めない。
本発明の一側面によると、符号化装置は、符号化対象の入力画像と符号化済み画素とから、ブロック分割種別及び分割された各ブロックにおけるイントラ予測モードを決定するモード選択手段と、前記決定されたブロックが正方形の場合に正方形イントラ予測を適用し予測値を求める正方形イントラ予測手段と、前記決定されたブロックが非正方形の場合に非正方形イントラ予測を適用し予測値を求める非正方形イントラ予測手段と、前記予測値と、対応する符号化対象の入力画像との差分である予測残差を求める差分手段と、前記決定されたブロックが非正方形の場合の予測残差を正方形に並び替える正方形化手段と、前記正方形に並び替えられた予測残差又は前記決定されたブロックが正方形の場合の予測残差に直交変換を適用して変換係数を求める変換手段と、前記変換係数を量子化してレベル値を求める量子化手段と、前記レベル値、前記決定されたブロック分割種別及び分割された各ブロックにおけるイントラ予測モードを符号化するエントロピー符号化手段と、前記レベル値を逆量子化及び逆変換して再構成された予測残差を求める逆量子化・逆変換手段と、前記再構成された予測残差のブロックが非正方形に対応する場合に非正方形に並び替える非正方形化手段と、前記非正方形に並び替えられた、再構成された予測残差又は前記決定されたブロックが正方形の場合の再構成された予測残差に前記予測値を加算することで前記符号化済み画素を再構成する加算手段と、を備えている。
また、本発明の一側面によると、復号装置は、符号化されたビットストリームを復号して、ブロック分割種別及び分割された各ブロックにおけるイントラ予測モードと各ブロックのレベル値とを復号するエントロピー復号手段と、復号済み画素と前記復号されたブロック分割種別及び分割された各ブロックにおけるイントラ予測モードに基づき、復号対象ブロックの予測値を生成する予測値生成手段と、前記レベル値を逆量子化及び逆変換して復号された予測残差を求める逆量子化・逆変換手段と、前記復号されたブロック分割種別が、前記復号された予測残差が非正方形に対するものであることを示している場合、当該予測残差を正方形から非正方形へと並び替える非正方形化手段と、前記復号されたブロック分割種別が、前記復号された予測残差が正方形に対するものであることを示している場合の予測残差を、または、前記並べ替えられた予測残差を、前記予測値と加算することで前記復号済み画素を生成する加算手段と、を備えている。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
従来技術に係る符号化装置の機能ブロック図である。 従来技術に係る復号装置の機能ブロック図である。 四分木分割直交変換を説明するための図である。 四分木分割直交変換を説明するための図である。 方向適応型残差変換におけるプライマリパスの例を示す図である。 方向適応型残差変換におけるセカンダリパスの例を示す図である。 一実施形態に係る符号化装置の機能ブロック図である。 一実施形態に係る復号装置の機能ブロック図である。 予測方向に応じた並び替えの例を示す図である。 垂直方向のオルタネートスキャンを示す図である。 水平方向のオルタネートスキャンを示す図である。 正方形への並び替えの別の実施形態の例を示す図である。
図７は、一実施形態に係る符号化装置の機能ブロック図である。符号化装置100は、モード選択部101、モード情報バッファ102、正方形イントラ予測部111、非正方形イントラ予測部121、差分器112,122、正方形化部123、変換部131、量子化部132、エントロピー符号化部132、逆量子化・逆変換部134、スイッチ140、非正方形化部135、加算器141,142及び符号化済みブロックバッファ143を備える。
図７の符号化装置100は、その各部に対応する名称を付しているように、符号化の際の大きな枠組みとしては図１の符号化装置300と同様に、正方形ブロックと非正方形ブロックとを選択的に扱い符号化する。ただし、従来技術の課題であった少ない画素数のブロックに対するDCTを避けて符号化効率を向上させるべく、符号化装置100では特に、次のような措置を講じている。
すなわち、非正方形ブロックを扱う際は、非正方形イントラ予測部121でその予測値を求め、差分器122で予測残差とした後、正方形化部123により非正方形ブロックに対して予測モードと同じ方向で予測残差画素値をスキャンしてベクトル（残差値を1列に並べたもの）を生成し、当該ベクトルの並び順に従い、正方形化する。
このため、非正方形ブロックの場合であっても、変換部131でDCTを施す対象は並べ替えられた正方形ブロックとなり、少ない画素数のブロックに対するDCTを避けることができる。さらに、当該DCTを施すために並び替える際に、元の非正方形ブロックに適用されていた予測の方向を考慮した並び替えを行うことで、符号化効率を向上させることも可能である。
以下、図７の符号化装置100の各部を説明する。なお、当該説明の際、図１の符号化装置300の説明の場合と同様に、正方形ブロックの場合と非正方形ブロックの場合とで対応する処理や機能部の説明については、括弧を付すなどして適宜、並列的に説明することとする。
モード選択部101は、図１のモード選択部301と同様の機能（ただし、非正方形ブロックの場合の具体的な符号化のなされ方が以下説明するように異なる）を有し、符号化対象の入力画像と符号化済みブロックバッファ143で保存された再構成済みの参照画素とを入力として、符号化対象ブロックに適用されるブロック分割種別（正方形か非正方形、ブロックサイズ）と各分割ブロックに対する予測モードとをモード情報バッファ102へと出力する。なお、図１のモード選択部301では、四分割により説明を行ったが、分割の方法は、二分割ずつ行う等、任意の分割方法を使用できる。つまり、分割してできる最終的な１つのブロックの画素数が（２ｎ）２（ここで、ｎは整数）、つまり、偶数の２乗であれば良い。
当該出力されるブロック分割種別と予測モードとは、レート歪最適化アルゴリズムに基づき決定することができる。
モード情報バッファ102では当該ブロック分割種別及び適用される各予測モードの情報を保持し、スイッチ140に当該情報に従った信号切り分け（正方形ブロックの場合と非正方形ブロックの場合との場合分けによる切り分け）を実施させ、また、当該情報を符号化させるべくエントロピー符号化部133に提供する。
入力画像に適用された分割ブロックが正方形ブロックの場合、当該ブロックの画素は正方形イントラ予測111に入力され、非正方形ブロックの場合、当該ブロックの画素は非正方形イントラ予測部121に入力される。
正方形イントラ予測111（非正方形イントラ予測部121）は、上記のように入力された正方形ブロック（非正方形ブロック）の画素に対して、モード選択部101の出力したイントラ予測モードに従って符号化部済みブロックバッファ143の再構成済み画素を参照し、その予測値を求め、差分器112（差分器122）に出力する。
差分器112（差分器122）では、正方形イントラ予測部111（非正方形イントラ予測部121）より入力される予測信号と、当該符号化対象ブロックの入力画素と、の差分を求めて予測残差とし、変換部131（正方形化部123）に出力する。
正方形化部123では当該非正方形ブロックとして並べられている予測残差を正方形ブロックとしての予測残差に並び替えたうえで、変換部131に出力する。正方形化部123の詳細は後述する。
変換部131は差分器112又は正方形化部123の出力した正方形ブロック形式の予測残差に対して直交変換を施し、変換係数を量子化部132に出力する。ここで、直交変換は通常の分離型DCTを用いてもよいし、正方形化部123の出力した正方形ブロック形式の予測残差に関しては、その詳細を後述するような手法で、前述の非特許文献２のDARTを適用するようにしてもよい。
量子化部132は変換部131の出力した変換係数を量子化してレベル値とし、エントロピー符号化部133及び逆量子化・逆変換部134に出力する。
エントロピー符号化部133は、量子化部132の出力したレベル値と、モード情報バッファ102に保存されている当該符号化対象ブロックに適用されたブロック分割種別の情報及び予測モードの情報と、をエントロピー符号化してビットストリームを出力する。当該出力されたビットストリームは後述する図８の復号装置200のエントロピー復号部233に入力される。
逆量子化・逆変換部134は、量子化部132の出力したレベル値に対して量子化部132の量子化の逆処理（逆量子化）を行って変換係数となし、さらに、当該変換係数に対して変換部131の逆処理（逆変換）を行って正方形ブロック形式で並んだ予測残差となし、スイッチ140に出力する。
スイッチ140では、モード情報バッファ102を参照することにより、逆量子化・逆変換部134の出力した予測残差が正方形イントラ予測部111経由のもの（当初から正方形ブロックに該当するもの）である場合は、当該予測残差を加算器141へと出力し、一方、当該予測残差が非正方形イントラ予測部121経由のもの（当初は非正方形ブロックであったが、正方形化部123で正方形に並び替えられたもの）である場合には、当該予測残差を非正方形化部135へと出力する。
非正方形化部135は、スイッチ140より出力された正方形ブロック形式の予測残差を、当初の非正方形ブロックの形式に並び替えたうえで、加算器142へと出力する。なお、当該並び替える際は、スイッチ140が参照したのと同様、モード情報バッファ102に保持されているブロック分割種別の情報に従って並び替えることで、非正方形化部135では正方形化部123における並び替えの逆処理を行う。
加算器141（加算器142）では、スイッチ140（非正方形化部135）の出力した予測残差と、正方形イントラ予測部111（非正方形イントラ予測部121）の出力した予測値と、を加算して当該ブロックの再構成信号を得て、当該再構成信号を符号化済みブロックバッファ143へ出力する。
符号化済みブロックバッファ143では当該再構成信号を保持し、モード選択部101、正方形イントラ予測部111及び非正方形イントラ予測部121における参照に供する。
図８は、一実施形態に係る復号装置200の機能ブロック図である。復号装置200は、エントロピー復号部233、モード情報バッファ202、逆量子化・逆変換部234、スイッチ240、非正方形化部235、加算器241,242、メモリ243及び予測値生成部244を備える。
当該構成を備えることにより、復号装置200では図７の符号化装置100の再構成処理に概ね対応する処理を行い、符号化されたビットストリームを順次復号する。各部、以下の通りである。
エントロピー復号部233は、図７のエントロピー符号化部133の出力したビットストリームをエントロピー復号することで、当該復号対象ブロックにおけるブロック分割種別及び予測モードの情報と、レベル値とを得る。当該復号されたブロック分割種別及び予測モードの情報はモード情報バッファ202に出力されて保持され、且つ、予測値生成部244に出力され、また、レベル値は逆量子化・逆変換部234に出力される。
逆量子化・逆変換部234は、図７の逆量子化・逆変換部134と同様の処理を行うことで、レベル値を逆量子化して変換係数となすと共に変換係数を逆変換して正方形ブロック形式で並んだ予測残差となし、スイッチ240に出力する。
スイッチ240では、図７のスイッチ140と共通の処理がなされ、モード情報バッファ202に保持された当該復号対象ブロックにおけるブロック分割種別の情報を参照し、当該ブロックが正方形であれば逆量子化・逆変換部234の出力した予測残差を加算器241に出力し、当該ブロックが非正方形であれば、当該予測残差を非正方形化部235に出力する。
非正方形化部235では、図７の非正方形化部135と共通の処理がなされ、モード情報バッファ202に保持された当該非正方形ブロックの情報に従い、当該正方形ブロック形式で並んだ予測残差を当初の非正方形ブロック形式へと並び替えたうえで、加算器242に出力する。
加算器241（加算器242）では、スイッチ240（非正方形化部235）の出力した予測残差と、当該予測残差に対応する予測値生成部244より生成された予測値と、を加算することで、当該ブロックの復号信号を得て、メモリ243に出力して保存させる。メモリ243では当該復号信号を出力画像として出力すると共に、予測値生成部244からの参照に供する。
予測値生成部244ではモード情報バッファ202に保存された（又はエントロピー復号部233で復号された）予測モードの情報に従ってメモリ243の復号画素を参照することで、当該復号対象ブロックの予測値を生成し、当該復号対象ブロックが正方形ブロックの場合は当該予測値を加算器241へと、また、当該復号対象ブロックが非正方形ブロックの場合は当該予測値を加算器242へと、出力する。
以下、図７の正方形化部123における予測残差を非正方形から正方形へと並び替える処理の詳細を説明する。なお、図７の非正方形化部135及び図８の非正方形化部235は、当該説明する正方形化部123の逆の並び替えを行うことで、予測残差を正方形から非正方形へと並び替えることとなる。
非正方形化部123では、非正方形ブロックのサイズ（N×M）に応じた所定規則で、正方形へと並び替えることができる。当該所定規則は、当該非正方形ブロックに対して非正方形イントラ予測部121で適用された予測モードにおける予測方向に応じたものとすることもできる。
並び替えの所定規則はこのように、非正方形ブロックのサイズと予測モードとに応じたものとして定めておくことで、並び替えの情報をエントロピー符号化部133で符号化する必要をなくすことができる。すなわち、図８の復号装置200の非正方形化部235においては、復号された非正方形ブロックのサイズの情報と予測モードの情報と、に従い、一意に正方形から非正方形へと並び替える方式の情報を特定することができるので、並び替え情報は符号化する必要はない。ただし、復号装置200においても、非正方形ブロックのサイズと予測モードとに応じた並び替えの所定規則の情報を予め保持しておく必要がある。
図９は、予測方向に応じた並び替えの例を示す図である。ここで、図９の予測方向９Ａ〜９Ｈは、非正方形ブロックのサイズが横2×縦8の場合の各予測方向を示し、並び替えのための１次元的なスキャン順序がS1〜S16として示されている。また、図９の参照符号９Ｉは、予測方向９Ａ〜９Ｈにそれぞれ示すスキャン順序S1〜S16に従ってサイズ4×4の正方形に並び替える順序を示している。
なお、並び替えは、非正方形ブロックのサイズに応じて種々の所定の並び替え（例えば、「32×8→16×16」、「32×2→8×8」、「8×2→4×4」その他等）を設定しておく必要があるが、図９（及び後述する図１０、図１１）の例と同様の方針で所定順序を設定することができる。
また、図９では、８種類の予測方向の場合の例が示されているが、より細かく８種類以上の予測方向が定義されている場合は、同様の方針で所定順序を設定してもよいし、当該例示する８種類のうちの最も近い方向に代表させるようにしてもよい。例えば、予測方向が5°や10°であったとした場合であれば、図９の予測方向９Ｂの垂直(0°)が最も近い方向であるので、予測方方向９Ｂの並び替えを適用するようにしてよい。
図９の各予測方向におけるスキャン順序S1〜S16の例に示されるように、１次元的なスキャン順序は予測方向に一致した、あるいは可能な限り予測方向に近い、単位スキャン（予測方向を反映した単位スキャン）を、非正方形ブロックにおいて繰り返すことで構成するようにすることが好ましい。当該単位スキャンは、図９においてサイズ横2×縦8の各画素位置にグレー表記で示す通りである。
ここで、単位スキャンを説明するために、図９の横2×縦8の非正方形ブロックの画素位置を指定する格子点（整数）座標として、最も左上を(0, 0)とし、最も右下を(1, 7)とする座標を用いることとする。（なお、当該座標は後述する図１０においても同様に用いる。）
例えば、予測方向９Ａとして示す様に、予測方向が水平(90°)の場合であれば、単位スキャンは灰色の「S1→S2」や同様に繰り返される「S3→S4」、「S5→S6」等となり、全て変位(Δx, Δy)=(+1, 0)と、水平(90°)の方向に一致している。予測方向９Ｂでは予測方向が垂直(0°)であり、灰色の単位スキャンは「S1→S2→...S8」であり、変位(Δx, Δy)=(0, +7)で垂直(0°)の方向に一致している。
予測方向９Ｃの様に、予測方向が22.5°の場合であれば、単位スキャンは灰色の「S3→S4→S5→S6」等であり、図示するような概ね予測方向22.5°に一致する方向D3を有している。当該方向D3の変位は、(Δx, Δy)=(+1, +3)である。また、予測方向９ＣではスキャンS1,S2及びS15,S16は、当該単位スキャンの繰り返し構成を設けるために両端で余る部分に相当する。また、予測方向９Ｈとして示す様に、予測方向が157.5°の場合も単位スキャンは灰色の「S3→S4→S5→S6」等であり、当該方向D8の変位は(Δx, Δy)=(-1, +3)であって、予測方向９Ｃのスキャンをx軸方向で反転させたスキャンとなっている。
予測方向９Ｄとして示す様に、予測方向が45°の場合であれば、単位スキャンは灰色の「S2→S3」や同様の「S4→S5」等であり、当該方向D4の変位は、(Δx, Δy)=(+1, +1)であり、予測方向45°に一致して構成されている。また、予測方向９ＤではスキャンS1,S16は両端で余る部分に相当する。また、予測方向９Ｇとして示す様に、予測方向が135°の場合も単位スキャンは灰色の「S2→S3」や同様の「S4→S5」等であり、当該方向D7の変位は(Δx, Δy)=(+1, -1)であって、予測方向９Ｄのスキャンに対応するスキャンとなっている。
予測方向９Ｅとして示す様に、予測方向が67.5°の場合であれば、単位スキャンは灰色の「S1→S2→S3」や同様の「S5→S6→S7」等であり、当該方向D3の変位は、(Δx, Δy)=(+1, +1)であり、予測方向が67.5°に近い方向として構成されている。また、予測方向９Ｅでは当該単位スキャン途中のS4,S8等は、当該単位スキャンの繰り返し構成を設けるための途中通過部分に相当する。また、予測方向９Ｆとして示す様に、予測方向が112.5°の場合も単位スキャンは灰色の「S1→S2→S3」や同様の「S5→S6→S7」等であり、当該方向D6の変位は(Δx, Δy)=(-1, +1)であって、予測方向９Ｅのスキャンをx軸方向で反転させたスキャンとなっている。
以上、図９に示す様な各予測方向に応じた所定のスキャン順序S1〜S16で1次元的にスキャンし、参照符号９Ｉに示すように当該順序に従って4回水平方向にスキャンして正方形に並び替えることができる。
参照符号９Ｉに示す並び替えられた正方形の予測残差に対して、図７の変換部131では非特許文献２で説明したDARTを適用してもよい。この際、第１段階のプライマリパスを水平方向に、第2段階のセカンダリパスを垂直方向に適用すればよい。当該水平及び垂直方向に1次元DCTを施すことで、図５、図６で説明したようなDCT係数の個数が少なくなる斜め方向における1次元DCTの利用が排除され、符号化効率の向上を望むことができる。
なお、図9の参照符号９Ｉに示す例では水平方向に並べることを垂直方向の回数だけ繰り返しているため、プライマリパスを水平方向とし、セカンダリパスを垂直方向としている。これに対して、垂直方向に並べることを水平方向の回数だけ繰り返すようにして正方形に並び替えてもよいが、この場合はプライマリパスを垂直方向とし、セカンダリパスを水平方向とすればよい。
なお、正方形化部123における並び替えの別の実施形態として、予測方向９Ｃ及び９Ｈとして示す、予測方向が22.5°及び157.5°の場合には、周知方式であるインタレース向けスキャン方式（垂直方向のオルタネートスキャン）を適用してもよい。
図１０は、当該適用する垂直方向のオルタネートスキャンを示す図であり、2×8サイズの4個の分割ブロックにつきそれぞれ、同サイズ2×8の部分B1〜B4のスキャンを適用すればよい。この場合、当該示す8×8の正方形ブロックの全体でスキャンが適用される。例えばブロックB1の途中でB2にいわば「飛んで」いる箇所(2, 0)及び(2, 1)があるが、当該順番でB2の箇所(2, 0)及び(2, 1)をスキャンすればよい。すなわち、B1全体を連続してスキャンするわけではない。
また同様に、正方形化部123における並び替えの別の実施形態として、予測方向図９Ｅ及び図９Ｆとして示す、予測方向が67.5°及び112.5°の場合には、周知方式であるインタレース向けスキャン方式（水平方向のオルタネートスキャン）を適用してもよい。
図１１は、当該適用する水平方向のオルタネートスキャンを示す図であり、2×8サイズの4個の分割ブロックにつきそれぞれ、同サイズ2×8の部分B11〜B14のスキャンを適用すればよい。この際、図１０で説明したのと同様に、当該示す8×8の正方形ブロックの全体でスキャンを適用する。
さらに、正方形化部123における並び替えの別の実施形態として、次のようにしてもよい。すなわち、図９では、各予測方向に対応するスキャン順序でS1〜S16と1次元的に並べた後、予測方向に依らず一律に参照符号９Ｉに示すように正方形へと並べていたが、これに代えて、正方形に並べる際も予測方向に応じた並び替えを適用するようにしてもよい。
特に、正方形の各辺（参照符号９Ｉの例では横方向の辺）が単位スキャンの開始箇所で始まるような並び替えを適用するようにしてもよい。この際、並び替えの規則としては次のような基準に従うような所定規則を用いてもよい。すなわち、正方形の各辺の開始箇所（画像座標(x, y)における横方向xの値の最小箇所を「開始箇所」とする。参照符号９Ｉの例であれば、S1,S5,S9,S13の箇所）が可能な限り多数、単位スキャンの開始箇所と一致するようにし、且つ、一次元スキャンS1〜S16の並びを可能な限り入れ替えない（並び替えられた正方形にラスタースキャンを適用した際に、並びS1〜S16からの入れ替えが可能な限り少ない）ようにする、という基準である。
当該基準に従い、正方形の各辺の開始箇所が可能な限り多数、単位スキャンの開始箇所と一致するようにすることで、直交変換の際のエネルギーコンパクション性能を向上させることができ、従って、符号化効率を向上させることができる。単位スキャンは予測方向に一致している、あるいは予測方向に近いような並びとして構成されているためである。
図１２に、当該基準に従う例として、正方形への並び替えの別の実施形態の例を示す。
図１２参照符号１２Ａに示す例では、予測方向が22.5°及び157.5°の場合（予測方向９Ｃ及び９Ｈの場合）に、単位スキャンである「S3,S4,S5,S6」等で正方形の横方向の辺が始まるように並び替える例が示されている。すなわち、正方形の1〜3行目（横方向の辺を「行」とする）を単位スキャンである「S3〜S6」、「S7〜S10」、「S11〜S14」として構成し、4行目を3行目に続く「S15,S16」及び前述の「余る部分」に相当する「S1,S2」で構成する。
また、図１２の参照符号１２Ｂに示す例では、予測方向が45°及び135°の場合（予測方向９Ｄ及び９Ｇの場合）に、単位スキャンである「S2,S3」や「S6,S7」等で正方形の横方向の辺が始まるように並び替える例が示されている。すなわち、正方形の1〜3行目を単位スキャンである「S2,S3及びS4,S5」、「S6,S7及びS8,S9」、「S10,S11及びS12,S13」として構成し、4行目は単位スキャンである「S14,S15」、これに続く「S16」及び前述の「余る部分」に相当する「S1」で構成する。
なお、図１２の並び替えを適用する際も、予測方向９Ａ、９Ｂ、９Ｅ、９Ｆの場合については、図９の参照符号９Ｉの並びを採用すればよい。ここで、予測方向９Ｅ（67.5°）、予測方向９Ｆ（112.5°）の場合、S4,S8,S12,S16は単位スキャンS1〜S3等を繰り返すための前述の「途中通過部分」に相当するが、一次元スキャンS1〜S16の並びを可能な限り入れ替えないという基準に従い、単位スキャンにそのまま続ける形で並べ、図９の参照符号９Ｉに示す並びが採用される。
以上、本発明によれば、直交変換する前に非正方形から正方形に予測残差信号の相関性に基づいて並び替えするという操作を導入することで、直交変換された係数のエネルギーコンパクション性能を向上させ、符号化効率を向上させることができる。また、正方形に並び替えることで、直交変換以降の処理は正方形ブロック／非正方形ブロックで共通化することができるため、処理を高速化することができる。さらに、並び替えるためのスキャン情報を送る必要（符号化・復号する必要）がなく、かつブロック内画素数も変えないので、従来の正方形ブロックを単位としての符号化装置、復号装置にも適用可能である。本発明は、画像（静止画像または映像（動画像）内の画像）の符号化及び復号に適用することができる。
本発明は、コンピュータを符号化装置100及び／又は復号装置200の全て又はその任意の一部分として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが符号化装置100及び／又は復号装置200の各部の機能に対応する命令を実行することとなる。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
本願は、２０１５年２月２７日提出の日本国特許出願特願２０１５−０３８５９３を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (2)

  1. 符号化対象の入力画像と符号化済み画素とから、ブロック分割種別及び分割された各ブロックにおけるイントラ予測モードを決定するモード選択手段と、
    前記決定されたブロックが正方形の場合に正方形イントラ予測を適用し予測値を求める正方形イントラ予測手段と、
    前記決定されたブロックが非正方形の場合に非正方形イントラ予測を適用し予測値を求める非正方形イントラ予測手段と、
    前記予測値と、対応する符号化対象の入力画像との差分である予測残差を求める差分手段と、
    前記決定されたブロックが非正方形の場合の予測残差を正方形に並び替える正方形化手段と、
    前記正方形に並び替えられた予測残差又は前記決定されたブロックが正方形の場合の予測残差に直交変換を適用して変換係数を求める変換手段と、
    前記変換係数を量子化してレベル値を求める量子化手段と、
    前記レベル値、前記決定されたブロック分割種別及び分割された各ブロックにおけるイントラ予測モードを符号化するエントロピー符号化手段と、
    前記レベル値を逆量子化及び逆変換して再構成された予測残差を求める逆量子化・逆変換手段と、
    前記再構成された予測残差のブロックが非正方形に対応する場合に非正方形に並び替える非正方形化手段と、
    前記非正方形に並び替えられた、再構成された予測残差又は前記決定されたブロックが正方形の場合の再構成された予測残差に前記予測値を加算することで前記符号化済み画素を再構成する加算手段と、を備え、
    前記正方形化手段及び前記非正方形化手段は、前記非正方形イントラ予測手段において適用されたイントラ予測モードの方向に基づく所定順序で、前記並び替えを行い、
    前記正方形化手段は、前記非正方形イントラ予測手段において適用されたイントラ予測モードの方向が反映された単位スキャンを非正方形ブロックにおいて繰り返すことにより予測残差を順序付け、当該順序付けられた予測残差を所定順序で正方形に並べることにより前記正方形に並び替え、
    前記非正方形化手段では、前記正方形化手段にて前記正方形に並び替えたのと逆に並び替えることにより、前記非正方形へと並び替え、
    前記正方形化手段にて前記順序付けられた予測残差を前記正方形に並び替える際の前記所定順序が、前記非正方形イントラ予測手段において適用されたイントラ予測モードの方向に基づく所定順序である、符号化装置であって、
    予測残差を正方形に並び替える規則は、正方形の各辺の開始箇所が可能な限り多数、単位スキャンの開始箇所と一致するようにし、且つ、一次元スキャンの並びを可能な限り入れ替えないようにする、且つ、単位スキャンの繰り返し構成を設けるために両端で余る部分を最後の並びに配置する、に従うものである、
    符号化装置。
  2. 符号化されたビットストリームを復号して、ブロック分割種別及び分割された各ブロックにおけるイントラ予測モードと各ブロックのレベル値とを復号するエントロピー復号手段と、
    復号済み画素と前記復号されたブロック分割種別及び分割された各ブロックにおけるイントラ予測モードに基づき、復号対象ブロックの予測値を生成する予測値生成手段と、
    前記レベル値を逆量子化及び逆変換して復号された予測残差を求める逆量子化・逆変換手段と、
    前記復号されたブロック分割種別が、前記復号された予測残差が非正方形に対するものであることを示している場合、当該予測残差を正方形から非正方形へと並び替える非正方形化手段と、
    前記復号されたブロック分割種別が、前記復号された予測残差が正方形に対するものであることを示している場合の予測残差を、または、前記並べ替えられた予測残差を、前記予測値と加算することで前記復号済み画素を生成する加算手段と、を備え、
    前記非正方形化手段は、前記復号されたイントラ予測モードの方向に基づく所定順序で、前記並び替を行い、
    前記復号されたブロック分割種別が、前記復号された予測残差が非正方形に対するものであることを示している場合、当該予測残差は、適用されたイントラ予測モードの方向が反映された単位スキャンを非正方形ブロックにおいて繰り返すことにより予測残差を順序付け、当該順序付けられた予測残差を所定順序で正方形に並べることにより生成されたものであり、
    前記非正方形化手段は、当該予測残差が生成された際に正方形に並び替えられたのと逆に並び替えることにより、前記非正方形へと並び替え、
    前記順序付けられた予測残差を前記正方形に並べるための前記所定順序が、適用されたイントラ予測モードの方向に基づく所定順序である、復号装置であって、
    予測残差を正方形に並び替える規則は、正方形の各辺の開始箇所が可能な限り多数、単位スキャンの開始箇所と一致するようにし、且つ、一次元スキャンの並びを可能な限り入れ替えないようにする、且つ、単位スキャンの繰り返し構成を設けるために両端で余る部分を最後の並びに配置する、に従うものである、
    復号装置。
JP2017501874A 2015-02-27 2015-12-22 符号化装置及び復号装置 Expired - Fee Related JP6671339B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015038593 2015-02-27
JP2015038593 2015-02-27
PCT/JP2015/085740 WO2016136106A1 (ja) 2015-02-27 2015-12-22 符号化装置及び復号装置

Publications (2)

Publication Number Publication Date
JPWO2016136106A1 JPWO2016136106A1 (ja) 2017-12-14
JP6671339B2 true JP6671339B2 (ja) 2020-03-25

Family

ID=56789325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017501874A Expired - Fee Related JP6671339B2 (ja) 2015-02-27 2015-12-22 符号化装置及び復号装置

Country Status (5)

Country Link
US (2) US10462461B2 (ja)
EP (1) EP3264771A4 (ja)
JP (1) JP6671339B2 (ja)
CN (1) CN107251558B (ja)
WO (1) WO2016136106A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669622B2 (ja) 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
JP6880310B2 (ja) 2018-03-29 2021-06-02 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2020054713A1 (en) * 2018-09-11 2020-03-19 Sharp Kabushiki Kaisha Systems and methods for coding transform coefficient level values
CN112584157A (zh) * 2019-09-30 2021-03-30 福州瑞芯微电子股份有限公司 一种avs2反变换装置及方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4946581B2 (ja) * 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
KR101379187B1 (ko) 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
WO2010027170A2 (ko) * 2008-09-03 2010-03-11 에스케이텔레콤 주식회사 예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법
US8374274B2 (en) * 2008-10-13 2013-02-12 Qualcomm Incorporated Methods and systems using norm approximation for maximum likelihood MIMO decoding
US20110015831A1 (en) * 2009-07-17 2011-01-20 Loup Electronics, Inc. Application rate system for a farm implement
KR101504887B1 (ko) * 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
CN105959688B (zh) * 2009-12-01 2019-01-29 数码士有限公司 用于解码高分辨率图像的方法
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
CN102595116B (zh) 2011-01-14 2014-03-12 华为技术有限公司 多图像块划分的编解码方法和装置
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
US9807426B2 (en) 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
US9247254B2 (en) * 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
KR20130049525A (ko) * 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
CN109413429B (zh) * 2012-01-20 2022-05-17 杜比实验室特许公司 解码方法、视频解码设备及编码方法
EP2811742A4 (en) 2012-02-04 2015-09-02 Lg Electronics Inc VIDEO CODING METHOD, VIDEO DECODING METHOD AND DEVICE THEREFOR
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
WO2014071439A1 (en) 2012-11-08 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding

Also Published As

Publication number Publication date
US20190335175A1 (en) 2019-10-31
EP3264771A1 (en) 2018-01-03
CN107251558B (zh) 2019-12-31
WO2016136106A1 (ja) 2016-09-01
US10462461B2 (en) 2019-10-29
JPWO2016136106A1 (ja) 2017-12-14
EP3264771A4 (en) 2018-08-29
CN107251558A (zh) 2017-10-13
US20180020214A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
RU2765234C1 (ru) Способ внутреннего предсказания и кодер и декодер, использующие его
US10924734B2 (en) Method and apparatus of deriving quantization parameter
KR102470831B1 (ko) 비디오 신호 처리 방법 및 장치
US8971650B2 (en) Method and apparatus for encoding and decoding image by using large transformation unit
RU2746706C1 (ru) Способ и устройство кодирования/декодирования изображений
KR101533720B1 (ko) 영상 부호화/복호화 방법 및 그 장치
JP6144776B2 (ja) 映像エンコーディング／デコーディング方法及びこれを用いる装置
US20190335175A1 (en) Coding device and decoding device which allow encoding and decoding of non-square blocks
JP7436645B2 (ja) 変換に基づく映像コーディング方法及びその装置
US20240187589A1 (en) Image encoding apparatus, image decoding apparatus, control methods and non-transitory computer-readable storage medium
CN114097224B (zh) 帧内预测装置、图像解码装置及程序
KR20230005506A (ko) 변환 계수 부호 비트 숨김을 이용한 비디오 부호화 및 복호화 방법
JP2015115614A (ja) 変換処理方法、逆変換処理方法、変換処理装置、逆変換処理装置、変換処理プログラム及び逆変換処理プログラム
KR20170125725A (ko) 오프셋 정보 부호화 및 복호화 방법 및 장치
JP2011254257A (ja) 画像圧縮装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200128

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200303

R150 Certificate of patent or registration of utility model

Ref document number: 6671339

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees