JP6033725B2 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents

動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム Download PDF

Info

Publication number
JP6033725B2
JP6033725B2 JP2013070235A JP2013070235A JP6033725B2 JP 6033725 B2 JP6033725 B2 JP 6033725B2 JP 2013070235 A JP2013070235 A JP 2013070235A JP 2013070235 A JP2013070235 A JP 2013070235A JP 6033725 B2 JP6033725 B2 JP 6033725B2
Authority
JP
Japan
Prior art keywords
color space
unit
inverse
residual signal
transformation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013070235A
Other languages
English (en)
Other versions
JP2014195145A (ja
Inventor
圭 河村
圭 河村
内藤 整
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2013070235A priority Critical patent/JP6033725B2/ja
Priority to PCT/JP2014/058231 priority patent/WO2014157172A1/ja
Priority to EP14775162.2A priority patent/EP2981085A4/en
Priority to US14/780,212 priority patent/US20160073114A1/en
Priority to CN201480017305.1A priority patent/CN105284111B/zh
Publication of JP2014195145A publication Critical patent/JP2014195145A/ja
Application granted granted Critical
Publication of JP6033725B2 publication Critical patent/JP6033725B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。
イントラ予測(フレーム内予測)やインター予測(フレーム間予測)と、残差変換と、を用いた動画像符号化方式が提案されている(例えば、非特許文献1、2参照)。
[動画像符号化装置MMの構成および動作]
図6は、上述の動画像符号化方式を利用して動画像を符号化する、従来例に係る動画像符号化装置MMのブロック図である。動画像符号化装置MMは、インター予測部10、イントラ予測部20、変換・量子化部30、エントロピー符号化部40、逆量子化・逆変換部50、インループフィルタ部60、第1のバッファ部70、および第2のバッファ部80を備える。
インター予測部10は、入力画像aと、第1のバッファ部70から供給される後述のローカルデコード画像gと、を入力とする。このインター予測部10は、入力された画像を用いてインター予測を行ってインター予測画像bを生成し、出力する。
イントラ予測部20は、入力画像aと、第2のバッファ部80から供給される後述のローカル復号画像fと、を入力とする。このイントラ予測部20は、入力された画像を用いてイントラ予測を行ってイントラ予測画像cを生成し、出力する。
変換・量子化部30は、入力画像aと、インター予測画像bまたはイントラ予測画像cと、の誤差(残差)信号を入力とする。この変換・量子化部30は、入力された残差信号を変換および量子化して量子化係数dを生成し、出力する。
エントロピー符号化部40は、量子化係数dと、図示しないサイド情報と、を入力とする。このエントロピー符号化部40は、入力された信号をエントロピー符号化し、ビットストリームzとして出力する。
逆量子化・逆変換部50は、量子化係数dを入力とする。この逆量子化・逆変換部50は、量子化係数dを逆量子化および逆変換して、逆変換された残差信号eを生成し、出力する。
第2のバッファ部80は、ローカル復号画像fを蓄積し、適宜、イントラ予測部20およびインループフィルタ部60に供給する。ローカル復号画像fとは、インター予測画像bまたはイントラ予測画像cと、逆変換された残差信号eと、を合算した信号のことである。
インループフィルタ部60は、ローカル復号画像fを入力とする。このインループフィルタ部60は、ローカル復号画像fに対してデブロックフィルタといったフィルタを適用して、ローカルデコード画像gを生成し、出力する。
第1のバッファ部70は、ローカルデコード画像gを蓄積し、適宜、インター予測部10に供給する。
[動画像復号装置NNの構成および動作]
図7は、動画像符号化装置MMにより生成されたビットストリームzから動画像を復号する、従来例に係る動画像復号装置NNのブロック図である。動画像復号装置NNは、エントロピー復号部610、逆変換・逆量子化部620、インター予測部630、イントラ予測部640、インループフィルタ部650、第1のバッファ部660、および第2のバッファ部670を備える。
エントロピー復号部610は、ビットストリームzを入力とする。このエントロピー復号部610は、ビットストリームzについてエントロピー復号して、量子化係数Bを生成し、出力する。
逆変換・逆量子化部620、インター予測部630、イントラ予測部640、インループフィルタ部650、第1のバッファ部660、および第2のバッファ部670は、それぞれ、図6に示した逆量子化・逆変換部50、インター予測部10、イントラ予測部20、インループフィルタ部60、第1のバッファ部70、および第2のバッファ部80と同様に動作する。
動画像符号化装置MMや動画像復号装置NNは、イントラ予測や変換および量子化により、空間的な冗長性を削減し、インター予測により、時間的な冗長性を削減することができる。しかし、動画像符号化装置MMや動画像復号装置NNは、色成分ごとに独立して信号処理を行うため、色空間の相関性を十分には削減できず、冗長性を十分には削減できない場合がある。
ここで、RGB色空間は、色成分間の相関性が非常に高いのに対して、YUV色空間やYCbCr色空間は、色成分間の相関性が低い。このため、YUV色空間やYCbCr色空間の画像が、動画像符号化装置の入力画像として用いられることが多い。
また、色空間の冗長性を削減する方式が提案されている(例えば、非特許文献3参照)。この方式には、色空間の変換をブロック単位で行うという特徴と、色空間の変換行列を符号化済みの参照画素から特異値分解アルゴリズムを用いて導出するという特徴と、色空間の変換後の色空間でイントラ予測やインター予測を行うという特徴と、がある。
[動画像符号化装置PPの構成および動作]
図8は、上述の色空間の冗長性を削減する方式を適用した、従来例に係る動画像符号化装置PPのブロック図である。動画像符号化装置PPは、図6に示した従来例に係る動画像符号化装置MMとは、変換行列導出部90、第1の色空間変換部100、第2の色空間変換部110、第3の色空間変換部120、および逆色空間変換部130を備える。なお、動画像符号化装置PPにおいて、動画像符号化装置MMと同一構成要件については、同一符号を付し、その説明を省略する。
変換行列導出部90は、ローカルデコード画像gまたはローカル復号画像fを入力とする。この変換行列導出部90は、入力された画像から参照画素を特定して色空間の変換行列hを導出し、出力する。
第1の色空間変換部100は、入力画像aと、変換行列hと、を入力とする。この第1の色空間変換部100は、入力画像aに変換行列hを適用して色空間変換を行って、無相関空間における入力画像を生成し、出力する。
第2の色空間変換部110は、ローカルデコード画像gと、変換行列hと、を入力とする。この第2の色空間変換部110は、ローカルデコード画像gに変換行列hを適用して色空間変換を行って、無相関空間におけるローカルデコード画像を生成し、出力する。
第3の色空間変換部120は、ローカル復号画像fと、変換行列hと、を入力とする。この第3の色空間変換部120は、ローカル復号画像fに変換行列hを適用して色空間変換を行って、無相関空間におけるローカル復号画像を生成し、出力する。
逆色空間変換部130は、インター予測画像bまたはイントラ予測画像cと逆変換された残差信号eとを合算した合算信号と、変換行列hと、を入力とする。この逆色空間変換部130は、上述の合算信号に変換行列hを適用して逆色空間変換を行って、ローカル復号画像fを生成し、出力する。
[動画像復号装置QQの構成および動作]
図9は、動画像符号化装置PPにより生成されたビットストリームzから動画像を復号する、従来例に係る動画像復号装置QQのブロック図である。動画像復号装置QQは、図7に示した従来例に係る動画像復号装置NNとは、変換行列導出部680、第1の色空間変換部690、第2の色空間変換部700、および逆色空間変換部710を備える点が異なる。なお、動画像復号装置QQにおいて、動画像復号装置NNと同一構成要件については、同一符号を付し、その説明を省略する。
変換行列導出部680、第1の色空間変換部690、第2の色空間変換部700、および逆色空間変換部710は、それぞれ、図8に示した変換行列導出部90、第2の色空間変換部110、第3の色空間変換部120、および逆色空間変換部130と同様に動作する。
また、非特許文献4にも、非特許文献3と同様に色空間を変換する方式が示されている。この方式には、予測残差に色空間変換を適用する特徴があり、この方式によれば、非特許文献3に示されている方式と比べて色空間変換の回数を少なくすることができる。
ISO/IEC 14496-10 - MPEG-4 Part 10, Advanced Video Coding. JCTVC-L1003, High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Consent) 加藤ら、H.264/MPEG-4 AVCの符号情報に基づく適応的色空間変換方式 JCTVC-L0371, AHG7: In-loop color-space transformation of residual signals for range extensions William H. Press、 William T. Vetterling、 Saul A. Teukolsky、 Brian P. Flannery共著、「ニューメリカルレシピ・イン・シー 日本語版−C言語による数値計算のレシピ」、初版、技術評論社、1993年6月、p.345−351 CUTE CODE、[online]、[平成25年3月12日検索]、インターネット<URL:http://matthewarcus.wordpress.com/2012/11/19/134/>
上述のような従来の色空間変換を伴う動画像符号化装置や動画像復号装置は、色空間の変換後の色空間で、符号化処理や復号処理を行う。このため、色空間変換を適用する画素数が多くなってしまい、処理負荷を軽減できないという課題があった。
そこで、本発明は、上述の課題を鑑みてなされたものであり、処理負荷を軽減しつつ色空間の冗長性を削減することを目的とする。
本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置であって、符号化済みの画素を用いて変換行列を導出する変換行列導出手段(例えば、図1の変換行列導出部90Aに相当)と、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する色空間変換手段(例えば、図1の色空間変換部100Aに相当)と、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する量子化手段(例えば、図1の変換・量子化部30に相当)と、前記量子化手段により生成された量子化係数を符号化する符号化手段(例えば、図1のエントロピー符号化部40に相当)と、を備えることを特徴とする動画像符号化装置を提案している。
ここで、残差信号には、色成分間の相関性が残っている。そこで、この発明によれば、残差信号に対して変換行列を適用して、色空間変換を行うこととした。このため、残差信号に含まれる色成分間の相関性を減らすことができ、色空間の冗長性を削減することができる。
また、この発明によれば、上述のように、残差信号に対して変換行列を適用して、色空間変換を行うこととした。このため、図8に示した従来例に係る動画像符号化装置PPでは3つ必要であった色空間変換部を、1つにすることができる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。
(2) 本発明は、(1)の動画像符号化装置について、前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、前記色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記無相関空間における残差信号を生成し、その後、当該無相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)の動画像符号化装置において、画像や残差信号の色成分ごとの色空間解像度を、3つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、3つの色成分のそれぞれの色空間解像度が同一である入力画像だけでなく、3つの色空間のそれぞれの色空間解像度のうち少なくとも1つが異なる入力画像についても、符号化することができる。
(3) 本発明は、(1)または(2)の動画像符号化装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、前記参照画素を用いて前記変換行列を導出することを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)または(2)の動画像符号化装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定し、参照画素を用いて変換行列を導出することができる。
(4) 本発明は、(3)の動画像符号化装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を2のべき乗にすることを特徴とする動画像符号化装置を提案している。
この発明によれば、(3)の動画像符号化装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定することができる。
(5) 本発明は、(1)〜(4)のいずれかの動画像符号化装置について、前記変換行列導出手段は、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えることを特徴とする動画像符号化装置を提案している。
ここで、上述のような従来の色空間変換を伴う動画像符号化装置は、変換行列の導出に、一般的なSVD(Singular Value Decomposition:特異値分解)アルゴリズムを用いる。このため、小数点演算が必要であり、ハードウェア化に適さないという課題もあった。
そこで、この発明によれば、(1)〜(4)のいずれかの動画像符号化装置において、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、小数点演算が不要になるので、ハードウェア化に適した色空間変換を行うことができる。
また、この発明によれば、(1)〜(4)のいずれかの動画像符号化装置において、上述のように、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、処理負荷を軽減することができる。
(6) 本発明は、(5)の動画像符号化装置について、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像符号化装置を提案している。
この発明によれば、(5)の動画像符号化装置において、入力画像のビット深度に適応させた固定小数点で、逆平方根の計算およびヤコビ固有値計算法による計算を行うことができる。
(7) 本発明は、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置であって、符号化済みの画素を用いて変換行列を導出する変換行列導出手段(例えば、図5の変換行列導出部680Aに相当)と、符号化された信号を復号する復号手段(例えば、図5のエントロピー復号部610に相当)と、前記復号手段により復号された信号を逆量子化して残差信号を生成する逆量子化手段(例えば、図5の逆変換・逆量子化部620に相当)と、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する逆色空間変換手段(例えば、図5の逆色空間変換部710Aに相当)と、を備えることを特徴とする動画像復号装置を提案している。
ここで、残差信号には、色成分間の相関性が残っている。そこで、この発明によれば、残差信号に対して変換行列を適用して、色空間変換を行う。このため、残差信号に含まれる色成分間の相関性を減らすことができ、色空間の冗長性を削減することができる。
また、この発明によれば、上述のように、残差信号に対して変換行列を適用して、色空間変換を行うこととした。このため、図9に示した従来例に係る動画像復号装置QQでは2つ必要であった色空間変換部が不要になる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。
(8) 本発明は、(7)の動画像復号装置について、前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、前記逆色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記相関空間における残差信号を生成し、その後、当該相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする動画像復号装置を提案している。
この発明によれば、(7)の動画像復号装置において、画像や残差信号の色成分ごとの色空間解像度を、3つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、3つの色成分のそれぞれの色空間解像度が同一である入力画像だけでなく、3つの色空間のそれぞれの色空間解像度のうち少なくとも1つが異なる画像についても、復号することができる。
(9) 本発明は、(7)または(8)の動画像復号装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、前記参照画素を用いて前記変換行列を導出することを特徴とする動画像復号装置を提案している。
この発明によれば、(7)または(8)の動画像復号装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定し、参照画素を用いて変換行列を導出することができる。
(10) 本発明は、(9)の動画像復号装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を2のべき乗にすることを特徴とする動画像復号装置を提案している。
この発明によれば、(9)の動画像復号装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定することができる。
(11) 本発明は、(7)〜(10)のいずれかの動画像復号装置について、前記変換行列導出手段は、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えることを特徴とする動画像復号装置を提案している。
ここで、上述のような従来の色空間変換を伴う動画像復号装置は、変換行列の導出に、一般的なSVD(Singular Value Decomposition:特異値分解)アルゴリズムを用いる。このため、小数点演算が必要であり、ハードウェア化に適さないという課題もあった。
そこで、この発明によれば、(7)〜(10)のいずれかの動画像復号装置において、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、小数点演算が不要になるので、ハードウェア化に適した色空間変換を行うことができる。
また、この発明によれば、(7)〜(10)のいずれかの動画像復号装置において、上述のように、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、処理負荷を軽減することができる。
(12) 本発明は、(11)の動画像復号装置について、前記逆平方根計算手段は、前記動画像を構成する画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像復号装置を提案している。
この発明によれば、(11)の動画像復号装置において、画像のビット深度に適応させた固定小数点で、逆平方根の計算およびヤコビ固有値計算法による計算を行うことができる。
(13) 本発明は、変換行列導出手段(例えば、図1の変換行列導出部90Aに相当)、色空間変換手段(例えば、図1の色空間変換部100Aに相当)、量子化手段(例えば、図1の変換・量子化部30に相当)、および符号化手段(例えば、図1のエントロピー符号化部40に相当)を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法であって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第1のステップと、前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第2のステップと、前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第3のステップと、前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第4のステップと、を備えることを特徴とする動画像符号化方法を提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(14) 本発明は、変換行列導出手段(例えば、図5の変換行列導出部680Aに相当)、復号手段(例えば、図5のエントロピー復号部610に相当)、逆量子化手段(例えば、図5の逆変換・逆量子化部620に相当)、および逆色空間変換手段(例えば、図5の逆色空間変換部710Aに相当)を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法であって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第1のステップと、前記復号手段が、符号化された信号を復号する第2のステップと、前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第3のステップと、前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第4のステップと、を備えることを特徴とする動画像復号方法を提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(15) 本発明は、変換行列導出手段(例えば、図1の変換行列導出部90Aに相当)、色空間変換手段(例えば、図1の色空間変換部100Aに相当)、量子化手段(例えば、図1の変換・量子化部30に相当)、および符号化手段(例えば、図1のエントロピー符号化部40に相当)を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第1のステップと、前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第2のステップと、前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第3のステップと、前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第4のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(16) 本発明は、変換行列導出手段(例えば、図5の変換行列導出部680Aに相当)、復号手段(例えば、図5のエントロピー復号部610に相当)、逆量子化手段(例えば、図5の逆変換・逆量子化部620に相当)、および逆色空間変換手段(例えば、図5の逆色空間変換部710Aに相当)を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第1のステップと、前記復号手段が、符号化された信号を復号する第2のステップと、前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第3のステップと、前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第4のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
本発明によれば、処理負荷を軽減しつつ色空間の冗長性を削減することができる。
本発明の第1実施形態に係る動画像符号化装置のブロック図である。 前記実施形態に係る動画像符号化装置が行う参照画素の特定について説明するための図である。 前記実施形態に係る動画像符号化装置が行う参照画素の特定について説明するための図である。 前記実施形態に係る動画像符号化装置が行う参照画素の特定について説明するための図である。 本発明の第1実施形態に係る動画像復号装置のブロック図である。 従来例に係る動画像符号化装置のブロック図である。 従来例に係る動画像復号装置のブロック図である。 従来例に係る動画像符号化装置のブロック図である。 従来例に係る動画像復号装置のブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
<第1実施形態>
[動画像符号化装置AAの構成および動作]
図1は、本発明の第1実施形態に係る動画像符号化装置AAのブロック図である。動画像符号化装置AAは、3つの色成分を有し、これら3つの色成分のそれぞれの色空間解像度が同一である入力画像aについて、符号化してビットストリームzとして出力する。この動画像符号化装置AAは、図8に示した従来例に係る動画像符号化装置PPとは、変換行列導出部90の代わりに変換行列導出部90Aを備える点と、第1の色空間変換部100と第2の色空間変換部110と第3の色空間変換部120との代わりに色空間変換部100Aを備える点と、逆色空間変換部130の代わりに逆色空間変換部130Aを備える点と、が異なる。なお、動画像符号化装置AAにおいて、動画像符号化装置PPと同一構成要件については、同一符号を付し、その説明を省略する。
色空間変換部100Aは、入力画像aとインター予測画像bまたはイントラ予測画像cとの誤差(残差)信号と、変換行列hと、を入力とする。この色空間変換部100Aは、残差信号に変換行列hを適用して色空間変換を行って、無相関空間における残差信号を生成し、出力する。
逆色空間変換部130Aは、逆変換された残差信号eと、変換行列hと、を入力とする。この逆色空間変換部130Aは、逆変換された残差信号eに変換行列hを適用して逆色空間変換を行って、相関空間における残差信号を生成し、出力する。
変換行列導出部90Aは、ローカルデコード画像gまたはローカル復号画像fを入力とする。この変換行列導出部90Aは、入力された画像から参照画素を特定して色空間の変換行列hを導出し、出力する。変換行列導出部90Aによる参照画素の特定と、変換行列導出部90Aによる変換行列hの導出と、について以下に詳述する。
(参照画素の特定)
変換行列導出部90Aによる参照画素の特定について、以下に説明する。この参照画素を特定する手法は、符号化対象ブロックに、イントラ予測を適用する場合と、インター予測を適用する場合と、で異なる。
まず、符号化対象ブロックにイントラ予測を適用する場合における、変換行列導出部90Aによる参照画素の特定について、図2、3を用いて以下に説明する。図2において、丸は、符号化対象ブロックを構成する8×8の予測対象画素を示し、三角および四角は、参照画素の候補である参照画素候補を示す。参照画素候補は、符号化対象ブロックに隣接する。
変換行列導出部90Aは、参照画素候補の中から、イントラ予測方向に応じて参照画素を特定する。本実施形態では、動画像符号化装置AAがHEVC(High Efficiency Video Coding)に対応しているものとする。すると、イントラ予測方向には、方向性が存在しないDC、Planarと、方向性が存在する32種類(図3参照)と、が存在することになる。
イントラ予測方向が縦方向である場合、すなわちイントラ予測方向が図3の26〜34のいずれかである場合には、図2の三角で示した参照画素候補を参照画素として特定する。また、イントラ予測方向が横方向である場合、すなわちイントラ予測方向が図3の2〜10のいずれかである場合には、図2の四角で示した参照画素候補を参照画素として特定する。一方、イントラ予測方向が斜め方向である場合、すなわちイントラ予測方向が図3の11〜25のいずれかである場合には、図2の三角で示した参照画素候補と、図2の四角で示した参照画素候補と、を参照画素として特定する。
なお、参照画素数が2のべき乗であれば、後述の変換行列の導出が容易になる。そこで、変換行列導出部90Aは、図2の斜線で示した位置の画素については、参照画素候補としないものとする。
次に、符号化対象ブロックにインター予測を適用する場合における、変換行列導出部90Aによる参照画素の特定について、図4を用いて以下に説明する。
変換行列導出部90Aは、符号化対象ブロックの動きベクトルが指す参照フレーム内の領域(図4の参照ブロックに相当)から、符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素として特定する。
なお、上述のように、参照画素数が2のべき乗であれば、後述の変換行列の導出が容易になる。そこで、符号化対象ブロックの形状が正方形ではない場合など、参照画素数が2のべき乗ではない場合には、参照画素を適宜間引いて、参照画素数を2のべき乗にする。
(変換行列の導出)
変換行列導出部90Aによる変換行列hの導出について、以下に説明する。
まず、変換行列導出部90Aは、x行y列の行列を生成する。ここで、xは、色成分の数を示し、例えば、入力画像aがYCbCr形式の画像である場合には、x=3となる。また、yは、参照画素数を示し、例えば、参照画素数が16個である場合には、y=16となる。また、x行y列の行列の各要素は、参照画素の色成分ごとの画素値で構成される。
次に、変換行列導出部90Aは、色成分ごとに、特定した全ての参照画素の画素値の平均値を求め、この平均値をx行y列の行列の各要素から減算する。
次に、変換行列導出部90Aは、x行y列の行列の転置行列を求め、x行y列の行列と、このx行y列の行列の転置行列と、を乗算して、共分散行列を生成する。
次に、変換行列導出部90Aは、共分散行列の対角要素の最大値が2〜2N+1−1の間に収まるように、共分散行列をシフト演算により正規化して、以下の数式(1)に示す共分散行列covを求める。ここで、いずれかの対角要素がゼロであれば、変換行列hを単位行列とする。
Figure 0006033725
次に、変換行列導出部90Aは、固有ベクトルをEと表記し、Eを単位行列として、共分散行列covを対象に整数化したヤコビ固有値計算法(例えば、非特許文献5参照)を適用して、変換行列Eを導出する。具体的には、まず、共分散行列covの要素の値をcov(p、q)で表し、数式(1)のd、e、fから最大値を探し、行数をp、列数をqとするとともに、pp=cov(p、p)、qq=cov(q、q)、pq=cov(p、q)とする。次に、以下の数式(2)〜(12)の計算を繰り返す。
Figure 0006033725
Figure 0006033725
Figure 0006033725
Figure 0006033725
Figure 0006033725
Figure 0006033725
Figure 0006033725
Figure 0006033725
Figure 0006033725
Figure 0006033725
Figure 0006033725
なお、数式(4)〜(6)において、逆平方根の計算を、例えば非特許文献6に示されている方法により、整数精度で実行する。また、数式(1)〜(12)において、逆平方根の計算をMビット固定小数点で実行し、他の計算をNビット固定小数点で実行する。以上によれば、全ての演算を整数化し、加減算、乗算、およびシフト演算のみで実行することができる。
[動画像復号装置BBの構成および動作]
図5は、本発明の第1実施形態に係る動画像符号化装置AAにより生成されたビットストリームzから動画像を復号する、本発明の第1実施形態に係る動画像復号装置BBのブロック図である。動画像復号装置BBは、図9に示した従来例に係る動画像復号装置QQとは、変換行列導出部680の代わりに変換行列導出部680Aを備える点と、第1の色空間変換部690と第2の色空間変換部700と逆色空間変換部710との代わりに逆色空間変換部710Aを備える点と、が異なる。なお、動画像復号装置BBにおいて、動画像復号装置QQと同一構成要件については、同一符号を付し、その説明を省略する。
逆色空間変換部710Aは、逆変換・逆量子化部620から出力された逆変換された残差信号Cと、変換行列導出部680Aから出力された変換行列Hと、を入力とする。この逆色空間変換部710Aは、逆変換された残差信号Cに変換行列Hを適用して逆色空間変換を行って、その結果を出力する。
変換行列導出部680Aは、図1に示した変換行列導出部90Aと同様に動作し、変換行列Hを導出して出力する。
以上の動画像符号化装置AAや動画像復号装置BBによれば、以下の効果を奏することができる。
動画像符号化装置AAや動画像復号装置BBは、残差信号に対して変換行列を適用して、色空間変換を行う。ここで、残差信号には、色成分間の相関性が残っているため、残差信号に含まれる色成分間の相関性を減らすことができ、色空間の冗長性を削減することができる。
また、動画像符号化装置AAは、上述のように、残差信号に対して変換行列を適用して、色空間変換を行う。このため、図8に示した従来例に係る動画像符号化装置PPでは3つ必要であった色空間変換部を、1つにすることができる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。
また、動画像符号化装置AAや動画像復号装置BBは、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定し、参照画素を用いて変換行列を導出することができる。
また、動画像符号化装置AAや動画像復号装置BBは、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行う。このため、小数点演算が不要になるので、ハードウェア化に適した色空間変換を行うことができるとともに、処理負荷を軽減することができる。
また、動画像復号装置BBは、上述のように、残差信号に対して変換行列を適用して、色空間変換を行う。このため、図9に示した従来例に係る動画像復号装置QQでは2つ必要であった色空間変換部が不要になる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。
ここで、例えば、M=16、N=12とし、繰り返し計算のうち、逆平方根については2回で、ヤコビ固有値計算法については3回で打ち切るものとする。すると、図6の動画像符号化装置MMや、図7の動画像復号装置NNと比べて、同一のPSNR(Peak Signal to Noise Ratio)を実現するのに、符号化時間や復号時間の増加を7%で抑えつつ、符号量を平均して24%削減することができる。
<第2実施形態>
本発明の第2実施形態に係る動画像符号化装置CCについて、以下に説明する。動画像符号化装置CCは、3つの色成分を有し、これら3つの色成分のそれぞれの色空間解像度が同一または少なくとも1つが異なる入力画像aについて、符号化してビットストリームzとして出力する。この動画像符号化装置CCは、図1に示した本発明の第1実施形態に係る動画像符号化装置AAとは、変換行列導出部90Aの代わりに変換行列導出部90Bを備える点と、色空間変換部100Aの代わりに色空間変換部100Bを備える点と、逆色空間変換部130Aの代わりに逆色空間変換部130Bを備える点と、が異なる。なお、動画像符号化装置CCにおいて、動画像符号化装置AAと同一構成要件については、同一符号を付し、その説明を省略する。
変換行列導出部90Bは、変換行列導出部90Aと同様の処理を行うが、その処理の前段階において、入力されたローカルデコード画像gまたはローカル復号画像fの色成分ごとの色空間解像度を、3つの色成分のそれぞれの色空間解像度のうち最も高いものに揃える処理を行う。
色空間変換部100Bは、色空間変換部100Aと同様の処理を行うが、その処理の前段階において第1の解像度変換処理を行うとともに、その処理の後段階において第1の逆解像度変換処理を行う。第1の解像度変換処理では、入力された残差信号の色成分ごとの色空間解像度を、3つの色成分のそれぞれの色空間解像度のうち最も高いものに揃える処理を行う。また、第1の逆解像度変換処理では、色空間変換部100Aと同様の処理により生成した無相関空間における残差信号について、第1の解像度変換処理により揃えた色空間解像度を元に戻す処理を行う。
逆色空間変換部130Bは、逆色空間変換部130Aと同様の処理を行うが、その処理の前段階において第2の解像度変換処理を行うとともに、その処理の後段階において第2の逆解像度変換処理を行う。第2の解像度変換処理では、入力された逆変換された残差信号eの色成分ごとの色空間解像度を、3つの色成分のそれぞれの色空間解像度のうち最も高いものに揃える処理を行う。また、第2の逆解像度変換処理では、逆色空間変換部130Aと同様の処理により生成した相関空間における残差信号について、第2の解像度変換処理により揃えた色空間解像度を元に戻す処理を行う。
[動画像復号装置DDの構成および動作]
本発明の第2実施形態に係る動画像符号化装置CCにより生成されたビットストリームzから動画像を復号する、本発明の第2実施形態に係る動画像復号装置DDについて、以下に説明する。動画像復号装置DDは、図5に示した本発明の第1実施形態に係る動画像復号装置BBとは、変換行列導出部680Aの代わりに変換行列導出部680Bを備える点と、逆色空間変換部710Aの代わりに逆色空間変換部710Bを備える点と、が異なる。なお、動画像復号装置DDにおいて、動画像復号装置BBと同一構成要件については、同一符号を付し、その説明を省略する。
変換行列導出部680Bおよび逆色空間変換部710Bは、それぞれ、変換行列導出部90Bおよび逆色空間変換部130Bと同様に動作する。
以上の動画像符号化装置CCによれば、動画像符号化装置AAが奏することのできる上述の効果に加えて、以下の効果を奏することができる。
動画像符号化装置CCは、変換行列導出部90B、色空間変換部100B、および逆色空間変換部130Bにおいて、画像や残差信号の色成分ごとの色空間解像度を、3つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、3つの色成分のそれぞれの色空間解像度が同一である入力画像だけでなく、3つの色空間のそれぞれの色空間解像度のうち少なくとも1つが異なる入力画像についても、符号化することができる。
また、以上の動画像復号装置DDによれば、動画像復号装置BBが奏することのできる上述の効果に加えて、以下の効果を奏することができる。
動画像復号装置DDは、変換行列導出部680Bおよび逆色空間変換部710Bにおいて、画像や残差信号の色成分ごとの色空間解像度を、3つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、3つの色成分のそれぞれの色空間解像度が同一であるビットストリームだけでなく、3つの色空間のそれぞれの色空間解像度のうち少なくとも1つが異なるビットストリームについても、復号することができる。
なお、本発明の動画像符号化装置AA、CCや動画像復号装置BB、DDの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置AA、CCや動画像復号装置BB、DDに読み込ませ、実行することによって、本発明を実現できる。
ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD−ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置AA、CCや動画像復号装置BB、DDに設けられたプロセッサによって行われる。
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置AA、CCや動画像復号装置BB、DDから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置AA、CCや動画像復号装置BB、DDにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
例えば、上述の第1実施形態では、図2に示したように、参照画素候補は、予測対象画素の上方に存在する2行分の画素と、予測対象画素の左方に存在する2列分の画素と、からなるものとしたが、これら行数や列数は、「2」に限らず、例えば「1」や「3」であってもよい。
また、上述の各実施形態では、入力画像aが有する色成分は、3つであるものとしたが、これに限らず、2つ以上であればよく、例えば2つや4つであってもよい。
また、上述の各実施形態において、入力画像aのビット深度に適応させた固定小数点で逆平方根の計算を行うとともに、入力画像aのビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うこととしてもよい。
AA、CC、MM、PP・・・動画像符号化装置
BB、DD、NN、QQ・・・動画像復号装置
90、90A、90B、680、680A、680B・・・変換行列導出部
100A、100B・・・色空間変換部
130、130A、130B、710、710A、710B・・・逆色空間変換部

Claims (12)

  1. フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置であって、
    符号化済みの画素を用いて変換行列を導出する変換行列導出手段と、
    前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する色空間変換手段と、
    前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する量子化手段と、
    を備え
    前記変換行列導出手段は、
    固定小数点で逆平方根の計算を行う逆平方根計算手段と、
    固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、
    を備えるとともに、
    前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、
    前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像符号化装置。
  2. 前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、
    前記色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記無相関空間における残差信号を生成し、その後、当該無相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする請求項1に記載の動画像符号化装置。
  3. 前記変換行列導出手段は、
    前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、
    前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、
    前記参照画素を用いて前記変換行列を導出することを特徴とする請求項1または2に記載の動画像符号化装置。
  4. 前記変換行列導出手段は、
    前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、
    前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を2のべき乗にすることを特徴とする請求項3に記載の動画像符号化装置。
  5. フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置であって、
    符号化済みの画素を用いて変換行列を導出する変換行列導出手段と、
    符号化された信号を復号する復号手段と、
    前記復号手段により復号された信号を逆量子化して残差信号を生成する逆量子化手段と、
    前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する逆色空間変換手段と、を備え
    前記変換行列導出手段は、
    固定小数点で逆平方根の計算を行う逆平方根計算手段と、
    固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えるとともに、
    前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、
    前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像復号装置。
  6. 前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、
    前記逆色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記相関空間における残差信号を生成し、その後、当該相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする請求項に記載の動画像復号装置。
  7. 前記変換行列導出手段は、
    前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、
    前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、
    前記参照画素を用いて前記変換行列を導出することを特徴とする請求項またはに記載の動画像復号装置。
  8. 前記変換行列導出手段は、
    前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、
    前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を2のべき乗にすることを特徴とする請求項に記載の動画像復号装置。
  9. 変換行列導出手段、色空間変換手段、量子化手段、および符号化手段を備え、前記変換行列導出手段が、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段とを備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法であって、
    前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第1のステップと、
    前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第2のステップと、
    前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第3のステップと、
    前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第4のステップと、を備え
    前記第1のステップにおいて、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像符号化方法。
  10. 変換行列導出手段、復号手段、逆量子化手段、および逆色空間変換手段を備え、前記変換行列導出手段が、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段とを備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法であって、
    前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第1のステップと、
    前記復号手段が、符号化された信号を復号する第2のステップと、
    前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第3のステップと、
    前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第4のステップと、を備え
    前記第1のステップにおいて、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像復号方法。
  11. 変換行列導出手段、色空間変換手段、量子化手段、および符号化手段を備え、前記変換行列導出手段が、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段とを備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
    前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第1のステップと、
    前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第2のステップと、
    前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第3のステップと、
    前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第4のステップと、を備え
    前記第1のステップにおいて、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とするプログラム。
  12. 変換行列導出手段、復号手段、逆量子化手段、および逆色空間変換手段を備え、前記変換行列導出手段が、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段とを備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
    前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第1のステップと、
    前記復号手段が、符号化された信号を復号する第2のステップと、
    前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第3のステップと、
    前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第4のステップと、を備え
    前記第1のステップにおいて、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とするプログラム。
JP2013070235A 2013-03-28 2013-03-28 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム Active JP6033725B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013070235A JP6033725B2 (ja) 2013-03-28 2013-03-28 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
PCT/JP2014/058231 WO2014157172A1 (ja) 2013-03-28 2014-03-25 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
EP14775162.2A EP2981085A4 (en) 2013-03-28 2014-03-25 DYNAMIC IMAGE ENCODING DEVICE, DYNAMIC IMAGE DECODING DEVICE, DYNAMIC IMAGE ENCODING METHOD, DYNAMIC IMAGE DECODING METHOD, AND PROGRAM
US14/780,212 US20160073114A1 (en) 2013-03-28 2014-03-25 Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program
CN201480017305.1A CN105284111B (zh) 2013-03-28 2014-03-25 运动图像编码装置、运动图像解码装置、运动图像编码方法、运动图像解码方法、及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013070235A JP6033725B2 (ja) 2013-03-28 2013-03-28 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2014195145A JP2014195145A (ja) 2014-10-09
JP6033725B2 true JP6033725B2 (ja) 2016-11-30

Family

ID=51624143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013070235A Active JP6033725B2 (ja) 2013-03-28 2013-03-28 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Country Status (5)

Country Link
US (1) US20160073114A1 (ja)
EP (1) EP2981085A4 (ja)
JP (1) JP6033725B2 (ja)
CN (1) CN105284111B (ja)
WO (1) WO2014157172A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6030989B2 (ja) * 2013-04-05 2016-11-24 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、それらのプログラム並びにプログラムを記録した記録媒体
CN108200439B (zh) * 2013-06-14 2020-08-21 浙江大学 提高数字信号变换性能的方法及数字信号变换方法和装置
US10171833B2 (en) 2014-03-04 2019-01-01 Microsoft Technology Licensing, Llc Adaptive switching of color spaces, color sampling rates and/or bit depths
EP3114835B1 (en) 2014-03-04 2020-04-22 Microsoft Technology Licensing, LLC Encoding strategies for adaptive switching of color spaces
JP6367359B2 (ja) * 2014-03-27 2018-08-01 マイクロソフト テクノロジー ライセンシング,エルエルシー 色空間を切り替えるときの量子化/スケーリング及び逆量子化/スケーリングの調整
CN103974076B (zh) 2014-05-19 2018-01-12 华为技术有限公司 图像编解码方法和设备、系统
US10687069B2 (en) 2014-10-08 2020-06-16 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
US10462477B2 (en) * 2015-02-25 2019-10-29 Cinova Media Partial evaluator system and method
US11394972B2 (en) * 2015-08-19 2022-07-19 Lg Electronics Inc. Method and device for encoding/decoding video signal by using optimized conversion based on multiple graph-based model
EP3148190A1 (en) * 2015-09-25 2017-03-29 Thomson Licensing Method and apparatus for intra prediction in video encoding and decoding
US10460700B1 (en) 2015-10-12 2019-10-29 Cinova Media Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems
JP6593122B2 (ja) 2015-11-20 2019-10-23 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
GB2554065B (en) * 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US10944971B1 (en) 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
CN109587491B (zh) * 2017-09-28 2022-09-23 腾讯科技(深圳)有限公司 一种帧内预测方法、装置及存储介质
CN110291791A (zh) * 2018-04-02 2019-09-27 北京大学 用于视频编解码的方法和设备
CA3132394A1 (en) * 2019-03-12 2020-09-17 Tencent America LLC Method and apparatus for color transform in vvc
KR20220038127A (ko) 2019-08-22 2022-03-25 엘지전자 주식회사 매트릭스 기반 인트라 예측 장치 및 방법
KR20220036970A (ko) * 2019-08-22 2022-03-23 엘지전자 주식회사 매트릭스 인트라 예측 기반 영상 코딩 장치 및 방법
JP7142187B2 (ja) * 2020-04-22 2022-09-26 日本放送協会 符号化装置、復号装置、及びプログラム
CN112188119B (zh) * 2020-09-15 2022-12-13 西安万像电子科技有限公司 图像数据的传输方法及装置、计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259730A1 (en) * 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
US7792370B2 (en) * 2005-03-18 2010-09-07 Sharp Laboratories Of America, Inc. Residual color transform for 4:2:0 RGB format
US20090003449A1 (en) * 2007-06-28 2009-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
KR20110135787A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction

Also Published As

Publication number Publication date
US20160073114A1 (en) 2016-03-10
EP2981085A4 (en) 2016-11-02
CN105284111B (zh) 2018-10-16
JP2014195145A (ja) 2014-10-09
WO2014157172A1 (ja) 2014-10-02
EP2981085A1 (en) 2016-02-03
CN105284111A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
JP6033725B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP7051773B2 (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
JP6023332B2 (ja) 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP7009632B2 (ja) 変換に基づく映像コーディング方法及びその装置
KR101004157B1 (ko) 데이터 프레임들의 시퀀스의 효율적인 인코딩/디코딩
KR101348365B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
CN107623857B (zh) 视频编码/解码方法、设备以及生成和存储比特流的方法
JP2009518940A (ja) 画像の符号化方法及び装置、復号化方法及び装置
KR20130051384A (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR20100036583A (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20130003718A (ko) 고속 코딩 단위(Coding Unit) 모드 결정을 통한 부호화/복호화 방법 및 장치
JP7402280B2 (ja) 動画像復号装置、動画像復号方法及びプログラム
JP6491628B2 (ja) 映像符号化方法、映像符号化装置及び映像符号化プログラム
WO2019189904A1 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2021515494A (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
JP5707261B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP6177148B2 (ja) 動画像復号装置、動画像復号方法、およびプログラム
JP6016488B2 (ja) 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム
JP6154753B2 (ja) 動画像復号装置、動画像復号方法、およびプログラム
JP2007266861A (ja) 画像符号化装置
US9635372B2 (en) Coding format converter partially halting search for coding candidates
JP5455229B2 (ja) 画像符号化装置及び画像復号装置
JP7444599B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
KR101786921B1 (ko) 고속 움직임 추정을 위한 장치 및 방법
JP6727900B2 (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161026

R150 Certificate of patent or registration of utility model

Ref document number: 6033725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150