JP7519411B2 - ビデオ符号化およびビデオ復号における変換の選択のための方法および装置 - Google Patents

ビデオ符号化およびビデオ復号における変換の選択のための方法および装置 Download PDF

Info

Publication number
JP7519411B2
JP7519411B2 JP2022128799A JP2022128799A JP7519411B2 JP 7519411 B2 JP7519411 B2 JP 7519411B2 JP 2022128799 A JP2022128799 A JP 2022128799A JP 2022128799 A JP2022128799 A JP 2022128799A JP 7519411 B2 JP7519411 B2 JP 7519411B2
Authority
JP
Japan
Prior art keywords
block
transforms
transform
input
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022128799A
Other languages
English (en)
Other versions
JP2022172145A (ja
Inventor
ソレ，ジヨエル
イン，ペン
ジエン，ユンフエイ
ゴミラ，クリステイーナ
Original Assignee
インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス， インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Publication of JP2022172145A publication Critical patent/JP2022172145A/ja
Application granted granted Critical
Publication of JP7519411B2 publication Critical patent/JP7519411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

（関連出願とのクロスリファレンス）
本出願は、２００９年１月２７日付で出願された仮出願第６１／１４７,７０５号の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。さらに、本出願は、２００９年２月１７日付で出願された仮出願第６１／２０７,７８３号の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。またさらに、本出願は、２つの別の出願との関連性が高い。これらの出願は、本願と同時に出願され、本願と発明者および出願人が同じであり（代理人整理番号ＰＵ０９０１３７およびＰＵ０９０１３８）、各々の開示内容全体を本願に盛り込んだものとし、各々は、２００９年１月２７日付で出願された仮出願第６１／１４７,７０５号および２００９年２月１７日付で出願された仮出願第６１／２０７,７８３号の利益を主張するものである。
本発明は、一般的には、ビデオ符号化および復号に関し、より具体的には、ビデオ符号化および復号のために使用される変換を選択する方法および装置に関する。
ブロックベースの離散変換は、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）規格、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）Ｈ．２６３勧告（以下、「Ｈ．２６３勧告」と呼ぶ）、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ（ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ－１（ＭＰＥＧ－１）規格、ＭＰＥＧ－２規格、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）規格／ＩＴＵ－Ｔ Ｈ．２６４勧告（以下、「ＭＰＥＧ－４ ＡＶＣ規格」と呼ぶ）などを含む、多くの画像および映像（イメージおよびビデオ）の規格および勧告の基本的なコンポーネントであり、広範囲のアプリケーションで使用されている。
離散コサイン変換（ＤＣＴ）は、最も広く使用されているブロック変換である。ＤＣＴスキームは、イメージ／フレームを画素のブロック（通常は、４×４および８×８）に分割し、離散コサイン変換を使用して各ブロックを空間ドメインから周波数ドメインに変換し、ＤＣＴ係数を量子化することによって、イメージ／フレームのローカル空間相関プロパティを活用する。イメージおよびビデオの圧縮規格の多くは、固定された二次元（２－Ｄ）の可分のＤＣＴブロック変換を使用する。幾つかのブロック・サイズ（通常、４×４～１６×１６のブロック）を使用可能である場合は、これらは、ブロックに対応するサイズを有するＤＣＴを使用するが、各ブロック・サイズについて、１つの変換のみが存在しうる。
しかしながら、イメージおよびビデオのコンテンツのデータは、統計およびプロパティが変化する。従って、ブロックのサイズ毎に単一の変換が利用可能であること、すなわち、ブロックのサイズ毎に単一の変換を強制的に使用することでは、このようなブロックのサイズ毎に利用可能な単一の変換ではなく、異なる変換を使用した場合に利用可能となるであろう潜在的な圧縮利得を実現することはできない。
例えば、ＭＰＥＧ－４ ＡＶＣ 規格のようなイメージおよびビデオの符号化規格においては、ブロックのサイズ毎に、ブロック変換にはただ１つの選択肢しか存在しない。ブロック変換に選択は存在しない。
図１を参照すると、ＭＰＥＧ－４ ＡＶＣ規格に従ったビデオ符号化を実行することが可能なビデオ符号化器が概ね参照符号１００によって示されている。ビデオ符号化器１００は、結合器１８５の非反転入力部と信号通信する出力部を有するフレーム順序付けバッファ１１０を含む。結合器１８５の出力部は、変換器／量子化器１２５の第１の入力部と信号通信するように結合されている。変換器／量子化器１２５の出力部は、エントロピー符号化器１４５の第１の入力部と、逆変換器／逆量子化器１５０の第１の入力部と信号通信するように結合されている。エントロピー符号化器１４５の出力部は、結合器１９０の第１の非反転入力部と信号通信するように結合されている。結合器１９０の出力部は、出力バッファ１３５の第１の入力部と信号通信するように結合されている。
符号化器制御器１０５の第１の出力部は、フレーム順序付けバッファ１１０の第２の入力部と、逆変換器／逆量子化器１５０の第２の入力部と、ピクチャ・タイプ決定モジュール１１５の入力部と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール１２０の第１の入力部と、イントラ予測モジュール１６０の第２の入力部と、デブロッキング・フィルタ１６５の第２の入力部と、動き補償器１７０の第１の入力部と、動き推定器１７５の第１の入力部と、参照ピクチャ・バッファ１８０の第２の入力部と信号通信するように結合されている。
符号化器制御器１０５の第２の出力部は、補助拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））挿入器１３０の第１の入力部と、変換器／量子化器１２５の第２の入力部と、エントロピー符号化器１４５の第２の入力部と、出力バッファ１３５の第２の入力部と、シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ））挿入器１４０の入力部と信号通信するように結合されている。
ＳＥＩ挿入器１３０の出力部は、結合器１９０の第２の非反転入力部と信号通信するように結合されている。
ピクチャ・タイプ決定モジュール１１５の第１の出力部は、フレーム順序付けバッファ１１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール１１５の第２の出力部は、マクロブロック・タイプ決定モジュール１２０の第２の入力部と信号通信するように結合されている。
シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ））挿入器１４０の出力部は、結合器１９０の第３の非反転入力部と信号通信するように結合されている。
逆変換器／逆量子化器１５０の出力部は、結合器１１９の第１の非反転入力部と信号通信するように結合されている。結合器１１９の出力部は、イントラ予測モジュール１６０の第１の入力部と、デブロッキング・フィルタ１６５の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ１６５の出力部は、参照ピクチャ・バッファ１８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ１８０の出力部は、動き推定器１７５の第２の入力部と信号通信するように結合されている。動き推定器１７５の第１の出力部は、動き補償器１７０の第２の入力部と信号通信するように結合されている。動き推定器１７５の第２の出力部は、エントロピー符号化器１４５の第３の入力部と信号通信するように結合されている。
動き補償器１７０の出力部は、スイッチ１９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール１６０の出力部は、スイッチ１９７の第２の入力部と信号通信するように結合されている。マクロブロック・タイプ決定モジュール１２０の出力部は、スイッチ１９７の第３の入力部と信号通信するように結合されている。スイッチ１９７の第３の入力は、スイッチの「データ」入力（これは、制御入力、即ち、第３の入力と比較される。）が、動き補償器１７０またはイントラ予測モジュール１６０によって供給されるかどうかを判定する。スイッチ１９７の出力部は、結合器１１９の第２の非反転入力部および結合器１８５の反転入力部と信号通信するように結合されている。
フレーム順序付けバッファ１１０の入力部および符号化器制御器１０５の入力部は、符号化器１００の入力部として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ）挿入器１３０の第２の入力部は、符号化器１００の入力部として、メタデータを受信するために利用可能である。出力バッファ１３５の出力部は、符号化器１００の出力部として、ビットストリームを出力するために利用可能である。
図２を参照すると、ＭＰＥＧ－４ ＡＶＣ規格に従ったビデオ復号処理を実行することが可能なビデオ復号器が概ね参照符号２００によって示されている。ビデオ復号器２００は、エントロピー復号器２４５の第１の入力部と信号通信するように結合された出力部を有する入力バッファ２１０を含む。エントロピー復号器２４５の第１の出力部は、逆変換器／逆量子化器２５０の第１の入力部と信号通信するように結合されている。逆変換器／逆量子化器２５０の出力部は、結合器２２５の第２の非反転入力部と信号通信するように結合されている。結合器２２５の出力部は、デブロッキング・フィルタ２６５の第２の入力部と、イントラ予測モジュール２６０の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ２６５の第２の出力部は、参照ピクチャ・バッファ２８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ２８０の出力部は、動き補償器２７０の第２の入力部と信号通信するように結合されている。
エントロピー復号器２４５の第２の出力部は、動き補償器２７０の第３の入力部と、デブロッキング・フィルタ２６５の第１の入力部と信号通信するように結合されている。エントロピー復号器２４５の第３の出力部は、復号器制御器２０５の入力部と信号通信するように結合されている。復号器制御器２０５の第１の出力部は、エントロピー復号器２４５の第２の入力部と信号通信するように結合されている。復号器制御器２０５の第２の出力部は、逆変換器／逆量子化器２５０の第２の入力部と信号通信するように結合されている。復号器制御器２０５の第３の出力部は、デブロッキング・フィルタ２６５の第３の入力部と信号通信するように結合されている。復号器制御器２０５の第４の出力部は、イントラ予測モジュール２６０の第２の入力部と、動き補償器２７０の第１の入力部と、参照ピクチャ・バッファ２８０の第２の入力部と信号通信するように結合されている。
動き補償器２７０の出力部は、スイッチ２９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール２６０の出力部は、スイッチ２９７の第２の入力部と信号通信するように結合されている。スイッチ２９７の出力部は、結合器２２５の第１の非反転入力部と信号通信するように結合されている。
入力バッファ２１０の入力部は、復号器２００の入力部として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ２６５の第１の出力部は、復号器２００の出力部として、出力ピクチャを出力するために利用可能である。
単一の符号化スキームにおいて複数の変換を使用するために、従来、幾つかの提案がなされている。第１の従来技術においては、最適な線形変換が開示され、これは、カルーネン・レーベ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ（ＫＬＴ））変換と呼ばれる。ＫＬＴは、ＭＰＥＧ－４ ＡＶＣ規格における９個のイントラ予測モードの各々について、最良の変換を導出するために用いられる。各モードの統計が抽出され、対応するＫＬＴが導出される。各イントラ予測残差がＫＬＴを用いて符号化される。９個のイントラ・モードは、データ空間を効果的に分割する。これは、ＤＣＴがもはや最良の変換に近いものとはならないような方法で行い、独特な最良の変換を導出可能で、うまく適用されるように行われる。要するに、この提案は、幾つかの変換を使用するものであるが、各々は選択されたイントラ予測モードに固定されている。
第２の従来技術に係るアプローチは、幾つかの周波数にＤＣＴ変換を修正すること、即ち、様々なワープした周波数応答を得るために、複数の異なるオールパス・フィルタを用いて基本機能を変換することを提案している。結果として得られた変換は、ワープされたＤＣＴ（ｗａｒｐｅｄ ＤＣＴ（ＷＤＣＴ））と呼ばれる。各ブロックについて、徹底的なレート歪み（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ（Ｒ‐Ｄ））サーチが実行され、選択された変換は、副情報を用いて示される。このアイディアは、画像圧縮に適用される。
第３の従来技術に係るアプローチは、ＷＤＣＴを使用し、変換された係数自体の内に変換選択を埋め込むことを記載している。この方法は、低ビットレートの画像圧縮では良好なパフォーマンスを示す。さらに、この方法は、平均二乗誤差（ＭＳＥ）を最小化するポスト・フィルタリングを行うステップを追加するものである。フィルタは、符号化器側で決定され、ビッストリームに多重化される。
第４の従来技術に係るアプローチは、大規模なデータベースのための変換のセットの代数的な最適化を提案している。このセットは、データの特定のサブセットについて、各変換がスパース・オプティマル（ｓｐａｒｓｅ‐ｏｐｔｉｍａｌ）となる安定ポイントに達するまで、反復して分割される。符号化器は、各ブロックにおいてどの変換が使用されるかを、四分木を介して示す。従って、変換の選択は、各ブロックに対して独立して行われるものではない。
第５の従来技術に係るアプローチは、インター・フレーム・モードのための整数サイン変換（ｉｎｔｅｇｅｒ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ（ＩＳＴ））を提案している。インター・フレーム残差は、低相関値を有し、ＤＣＴは、相関性の高いデータに対してのみ適している。従って、このアプローチは、－０．５～０．５の相関値を有するデータに対して効率的な、サイン変換を提案する。この範囲において、部分的に、ＫＬＴは、サイン変換と一致する。ＩＳＴは、ＭＰＥＧ－４ ＡＶＣ規格における整数コサイン変換と全く同様に、サイン変換から導出される。第５の従来技術に係るアプローチは、４×４および８×８のＩＳＴのバージョンを実施している。マクロブロックが４個のサブマクロブロックに分割されない場合には、同じ変換が、マクロブロック全体に適用され、フラグが送信される。次に、各サブマクロブロックにおいて用いられる変換を特定する４個のフラグが送信される。
第６の従来技術に係るアプローチは、第５の従来技術に係るアプローチにおいて提案されているものと同様のスキームを提案している。第６の従来技術に係るアプローチは、空間および周波数ドメインにおいて適応型の予測エラー符号化を可能にする適応型予測エラー符号化（ａｄａｐｔｉｖｅ ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒ ｃｏｄｉｎｇ（ＡＰＥＣ））を提案する。予測エラーの各ブロックについて、変換符号化または空間ドメイン符号化が適用される。より低いレート歪みコストを有するアルゴリズムが選択される。
上述した各アプローチは、最良な変換を選択する範囲が限られたものを提案しており、利用可能な、想定可能なものの全てを十分に活用するものではない。
従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、ビデオ符号化における変換選択のための方法および装置に関する本願発明の原理によって対処される。
本願発明の原理の一態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。
本願発明の原理の別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ビデオ符号化器は、選択された変換を記述する情報を、少なくとも１つのフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信する。
本願発明の原理のさらに別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はビデオ・シーケンスにおけるピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。
本願発明の原理のさらに別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。変換のセットは、ブロックのために符号化されることになるデータから決定される。
本願発明の原理の別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行うことを含む。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。
本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行うことと、選択された変換を記述する情報を、少なくとも１つのフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信するステップとを含む。
本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の変換のセットからブロックの残差に適用する変換を選択することによって行う、符号化するステップを含む。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。
本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、１つ以上の変換のセットを決定することと、ピクチャ内の少なくとも１つのブロックの符号化を、変換のセットからブロックの残差に対して適用する変換を選択することによって行うことと、を含む。変換のセットは、ブロックのために符号化されるべきデータから決定される。
本願発明の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて以下の例示的な実施の形態の詳細な説明を参照することによって明らかになるであろう。
本願発明の原理は、以下の例示的な図面に従ってより良好に理解されるであろう。
ＭＰＥＧ－４ ＡＶＣ規格に従ったビデオ符号化を実行する機能を有するビデオ符号化器を示すブロック図である。 ＭＰＥＧ－４ ＡＶＣ規格に従ったビデオ復号を実行する機能を有するビデオ復号器を示すブロック図である。 本願発明の原理の実施の形態に従った、本願発明の原理が適用される変換の選択を用いる例示的なビデオ符号化器を示すブロック図である。 本願発明の原理の実施の形態に従った、本願発明の原理が適用される変換の選択を用いる例示的なビデオ復号器を示すブロック図である。 本願発明の原理の実施の形態に従った、ビデオ符号化器における変換の選択のための例示的な方法を示すフロー図である。 本願発明の原理の実施の形態に従った、ビデオ復号器における変換の選択のための例示的な方法を示すフロー図である。 本願発明の原理の実施の形態に従った、ビデオ符号化器における変換の選択および伝達のための例示的な方法を示すフロー図である。 本願発明の原理の実施の形態に従った、ビデオ復号器における変換の伝達および選択のための例示的な方法を示すフロー図である。 本願発明の原理の実施の形態に従った、ビデオ符号化器における変換の選択および伝達のための別の例示的な方法を示すフロー図である。 本願発明の原理の実施の形態に従った、ビデオ復号器における変換の伝達および選択のための別の例示的な方法を示すフロー図である。
本願の原理は、ビデオ符号化における変換の選択のための方法および装置に関する。
本説明は、本願発明の原理を例示するものである。従って、本願明細書において明示的に記載、または図示されていなくとも、当業者が本願発明の原理を実施する様々な構成を企図することが可能であり、このような構成が本願発明の精神および範囲の中に包含されることが理解できるであろう。
本願明細書に記載された全ての例および条件付の文言は、技術を発展させる、発明者によって寄与された本願発明の原理および概念を読者が理解するのを助けるための教示目的のものであり、このような具体的に記載された例や条件に限定されることなく解釈されるべきである。
また、本願明細書における本願発明の原理、態様、および、本願発明の実施の形態についての全ての記載、さらに、それらの特定の例は、構造的、機能的な均等物を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。
従って、例えば、当業者であれば、本願明細書において示されたブロック図は、本願発明の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表すことが理解できよう。これらの処理は、コンピュータによって読み取り可能なメディアにおいて実質的に表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。
各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ（ＤＳＰ）・ハードウエア、ソフトウエアを格納する読み出し専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ、および不揮発性の記憶装置を暗黙的に含むことがある。
また、従来のおよび／または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。文脈からより具体的に理解できるように、実施者により、特定の技術を選択可能である。
特許請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えば、ａ）機能を実行する回路要素を組み合わせたもの、または、ｂ）形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本願発明の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなされる。
明細書において、本願発明の原理の「一実施の形態」、「実施の形態」、または、この類の表現が言及されている場合、これは、実施の形態に関して記載される特定の特徴事項、構造、特性などが本願の原理の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施の形態においては」、「実施の形態においては」、または、この類の表現は、必ずしも、同一の実施の形態について言及するものではない。さらに、本願明細書において、「実施の形態」、「実施態様」という表現は、同じ意味で使用されている。
さらに、本願明細書において、「ピクチャ」および「イメージ（画像）」は、同じ意味で使用されており、静止画像またはビデオ・シーケンスからのピクチャを指す。よく知られているように、ピクチャは、フレームまたはフィールドである。
さらに、本願明細書において使用されている単語「ブロック」は、スーパーマクロブロック、マクロブロック・パーティション、さらに、サブマクロブロック・パーティションを含み、任意のブロック・サイズのブロックを指す。
さらに、変換のセット、または、変換に関し、本願明細書において使用されている単語「リファインメント」は、リファレンス（参照）の変換／変換のセットから変換／変換のセットを導出するのに必要な情報を指す。通常、ゼロから変換／変換のセットを導出するために必要な全ての情報を送信するよりも、変換／変換のセットの「差」（リファインメント）の情報を送信する方がより効率的である。
さらに、本願明細書において使用されている用語「副情報」は、通常のビットストリーム内に存在しない追加的なデータを復号器に伝達するためにビットストリーム内に含まれていなければならない追加的な情報を指す。例えば、２つの変換がブロックを符号化するために使用される場合には、選択された変換が信号送信されて復号器が何の逆変換を使用するべきか分かるようにしなければならない。従って、符号化器は、何の逆変換が使用されるべきかを示す１ビットの「副情報」を含む場合がある。
「／（スラッシュ）」、「および／または」、さらに、「～のうちの少なくとも一方（～のうちの少なくとも１つ）」の使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、「ＡおよびＢのうちの少なくとも一方」の場合、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、または、両方のオプション（ＡおよびＢ）の選択を包含するものと意図されている。別の例として、「Ａ、Ｂ、および／またはＣ」、さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、このような文言は、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、３番目に列挙されたオプション（Ｃ）のみの選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）のみの選択、２番目および３番目に列挙されたオプション（ＡおよびＣ）のみの選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）のみ、または、全ての３つのオプション（Ａ、Ｂ、およびＣ）の選択を包含するものと意図されている。列挙された数の項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。
さらに、本願明細書において、本願発明の原理の１つ以上の実施の形態は、ＭＰＥＧ－４ ＡＶＣ規格に対する（または、ＭＰＥＧ－４ ＡＶＣ規格に関する）改良として記載されているが、本願発明の原理は、この規格のみに限定されるものではない。従って、本願発明の原理は、本願発明の原理の精神を逸脱することなく、ＭＰＥＧ－４ ＡＶＣ規格の拡張版を含む、他のビデオ符号化規格、勧告およびその拡張版にも利用することができる。
さらに、本願発明の原理は、ビデオ符号化における変換選択のための方法および装置に関する。画像および映像（イメージおよびビデオ）のコンテンツのデータは、統計およびプロパティが変化することが分かれば、さらに、各ブロックについて幾つかの変換が使用される可能性があり、状況毎に、選択肢の範囲内で最も好ましい変換を選択する場合、潜在的に実現されうる圧縮利得が存在することが分かる。少なくとも１つの実施の形態においては、所与の統計またはパターンに対して変換のセットを最適化／設計し、このセットから、各領域またはブロックについて、最良の変換を選択することを提案する。
従来技術において考慮されていない代替手段を含む、より一般的で広範囲のアプローチを提案する。本願発明の原理に従って、変換のセット（２つ以上の変換）を使用することを記載し、各領域、スライス、ブロック、または、マクロブロックについて、このセットのうち、最良の変換を選択してイメージまたはビデオを符号化する。変換のセットは、統計またはイメージ／ビデオ・パターンの範囲について、最適化、または設計することができる。さらに、本願発明の原理は、最良の変換を選択し、選択された変換を適切に信号送信して、イメージ／ビデオ復号器が選択情報を効率的に復元できるようにする方法に関する。
ビデオ符号化器およびビデオ復号器を１つの可能な変換のみを有するように制限する必要はない。一実施の形態においては、最良のパフォーマンスを得るために、各ブロック、マクロブロック、または、領域について、複数の異なる変換からの選択をビデオ符号化器が行えるようにすることを提案する。そこで、一実施の形態においては、符号化器内の変換のセットを、潜在的な利得を損なわせることのないようなライト（ｌｉｇｈｔ）・シンタックスと組み合わせる。
図３を参照すると、変換選択を有する例示的なビデオ符号化器が概ね参照符号３００によって示されている。ビデオ符号化器３００は、結合器３８５の非反転入力部と信号通信する出力部を有するフレーム順序付けバッファ３１０を含む。結合器３８５の出力部は、変換器／量子化器１ ３２５の入力部と、変換器／量子化器２ ３２６の入力部と、変換器／量子化器ｎ ３２７の入力部と信号通信するように結合されている。変換器／量子化器１ ３２５の出力部は、変換セレクタ３２９の第１の入力部と信号通信するように結合されている。変換器／量子化器２ ３２６の出力部は、変換セレクタ３２９の第２の入力部と信号通信するように結合されている。変換器／量子化器ｎ ３２７の出力部は、変換セレクタ３２９の第３の入力部と信号通信するように結合されている。変換セレクタ３２９の出力部は、エントロピー符号化器３４５の第１の入力部と、逆変換器／逆量子化器３５０の第１の入力部と信号通信するように結合されている。エントロピー符号化器３４５の出力部は、結合器３９０の第１の非反転入力部と信号通信するように結合されている。結合器３９０の出力部は、出力バッファ３３５の第１の入力部と信号通信するように結合されている。
符号化器制御器３０５の第１の出力部は、フレーム順序付けバッファ３１０の第２の入力部と、逆変換器／逆量子化器３５０の第２の入力部と、ピクチャ・タイプ決定モジュール３１５の入力部と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール３２０の第１の入力部と、イントラ予測モジュール３６０の第２の入力部と、デブロッキング・フィルタ３６５の第２の入力部と、動き補償器３７０の第１の入力部と、動き推定器３７５の第１の入力部と、参照ピクチャ・バッファ３８０の第２の入力部と信号通信するように結合されている。
符号化器制御器３０５の第２の出力部は、補助拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））挿入器３３０の第１の入力部と、エントロピー符号化器３４５の第２の入力部と、出力バッファ３３５の第２の入力部と、シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ））挿入器３４０の入力部と信号通信するように結合されている。
ＳＥＩ挿入器３３０の出力部は、結合器３９０の第２の非反転入力部と信号通信するように結合されている。
ピクチャ・タイプ決定モジュール３１５の第１の出力部は、フレーム順序付けバッファ３１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール３１５の第２の出力部は、マクロブロック・タイプ決定モジュール３２０の第２の入力部と信号通信するように結合されている。
シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の出力部は、結合器３９０の第３の非反転入力部と信号通信するように結合されている。
逆変換器／逆量子化器３５０の出力部は、結合器３１９の第１の非反転入力部と信号通信するように結合されている。結合器３１９の出力部は、イントラ予測モジュール３６０の第１の入力部と、デブロッキング・フィルタ３６５の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ３６５の出力部は、参照ピクチャ・バッファ３８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ３８０の出力部は、動き推定器３７５の第２の入力部と、動き補償器３７０の第３の入力部と信号通信するように結合されている。動き推定器３７５の第１の出力部は、動き補償器３７０の第２の入力部と信号通信するように結合されている。動き推定器３７５の第２の出力部は、エントロピー符号化器３４５の第３の入力部と信号通信するように結合されている。
動き補償器３７０の出力部は、スイッチ３９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール３６０の出力部は、スイッチ３９７の第２の入力部と信号通信するように結合されている。マクロブロック・タイプ決定モジュール３２０の出力部は、スイッチ３９７の第３の入力部と信号通信するように結合されている。スイッチ３９７の第３の入力は、スイッチの（制御入力、即ち、第３の入力と比較される）「データ」入力が、動き補償器３７０またはイントラ予測モジュール３６０によって提供されるかどうかを判定する。スイッチ３９７の出力部は、結合器３１９の第２の非反転入力部および結合器３８５の反転入力部と信号通信するように結合されている。
フレーム順序付けバッファ３１０の入力部および符号化器制御器３０５の入力部は、符号化器３００の入力部として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ）挿入器３３０の入力部は、符号化器３００の入力部として、メタデータを受信するために利用可能である。出力バッファ３３５の出力部は、符号化器３００の出力部として、ビットストリームを出力するために利用可能である。
一実施の形態においては、ビデオ符号化器３００は、ｎ個の変換のセットから最良の変換を選択し、選択された変換の副情報を送信する。そして、選択された変換（ｉで示す）について、逆変換が実行される。本実施の形態においては、符号化器および復号器側で、各変換がオフラインで導出されて利用可能である。一実施の形態においては、エントロピー符号化器３４５によって実行されるエントロピー符号化は、変更／修正され、どのような変換が使用されているかについての追加的な情報を受け入れる。さらに、これは、各変換が異なるエントロピー符号化（異なる走査順、異なるコンテキストなど）を必要とすることがあるためである。
図４を参照すると、変換選択を有する例示的なビデオ復号器が概ね参照符号４００によって示されている。ビデオ復号器４００は、エントロピー復号器４４５の第１の入力部と信号通信するように結合された出力を有する入力バッファ４１０を含む。エントロピー復号器４４５の第１の出力部は、逆変換器／逆量子化器ｉ ４５０の第１の入力部と信号通信するように結合されている。逆変換器／逆量子化器ｉ ４５０の出力部は、結合器４２５の第２の非反転入力部と信号通信するように結合されている。結合器４２５の出力部は、デブロッキング・フィルタ４６５の第２の入力部と、イントラ予測モジュール４６０の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ４６５の第２の出力部は、参照ピクチャ・バッファ４８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ４８０の出力部は、動き補償器４７０の第２の入力部と信号通信するように結合されている。
エントロピー復号器４４５の第２の出力部は、動き補償器４７０の第３の入力部と、デブロッキング・フィルタ４６５の第１の入力部と信号通信するように結合されている。エントロピー復号器４４５の第３の出力部は、復号器コントローラ４０５の入力部と信号通信するように結合されている。復号器コントローラ４０５の第１の出力部は、エントロピー復号器４４５の第２の入力部と信号通信するように結合されている。復号器コントローラ４０５の第２の出力部は、逆変換器／逆量子化器ｉ ４５０の第２の入力部と信号通信するように結合されている。復号器コントローラ４０５の第３の出力部は、デブロッキング・フィルタ４６５の第３の入力部と信号通信するように結合されている。復号器コントローラ４０５の第４の出力部は、イントラ予測モジュール４６０の第２の入力部と、動き補償器４７０の第１の入力部と、参照ピクチャ・バッファ４８０の第２の入力部と信号通信するように結合されている。
動き補償器４７０の出力部は、スイッチ４９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール４６０の出力部は、スイッチ４９７の第２の入力部と信号通信するように結合されている。スイッチ４９７の出力部は、結合器４２５の第１の非反転入力部と信号通信するように結合されている。
入力バッファ４１０の入力部は、復号器４００の入力部として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ４６５の第１の出力部は、復号器４００の出力部として、出力ピクチャを出力するために利用可能である。
符号化されるデータが利用可能であるとき、または、適切なトレーニング・データのセットが存在するときに、変換の最適なセットを導出する技術が存在する。例えば、幾つかのシーケンスのトレーニング・セットが利用可能であり、これらの技術は、データの各部分について、各変換が最良となるように、データ空間を分割する変換のセットを提供する。そこで、所与のブロックについて、符号化器は、ブロックが属するデータのタイプを決定し、適切な変換を使用しなければならない。変換のセットを導出するこれらの技術は、共通のＫＬＴ、スパース性目的関数（ｓｐａｒｓｉｔｙ ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ）、さらに／または、本技術分野および関連する技術分野の当業者によって公知であるか、容易に導き出される技術に基づくものにすることができる。このような技術が利用可能であることを想定した上で、効率的に変換のセットを使用する方法、即ち、最良の変換を選択する方法、さらに、符号化器から情報を復号器に効率的に伝達する方法について述べる。
変換のセットの決定
次に、本願において、使用されている変換のセットを決定する方法について説明する。
一つの実施形態においては、変換のセットは、トレーニング・データとしてシーケンスのセットを用いて、オフラインで導出される。上述したように、良好なトレーニング・セットが確定されると、ＫＬＴに基づく方法、スパース性に基づく方法、エネルギー圧縮、または、その他の方法を使用して変換のセットを導出することができる。
変換のセットに対して、先験的な（ｐｒｉｏｒｉ）設計基準（方向性、周波数など）に基づいて変換を導出する方法が存在する。さらに、上述した第４の従来技術は、代数最適化処理を用いたトレーニング・データに基づくオフライン最適化を提案している。この処理は、所与のデータのために適した変換のセットを取得することを意図したコスト関数によって行われる。コスト関数は、圧縮の目的に沿った２つの条件からなる。このアルゴリズムは、再構成エラー条件を最小にしようとする一方で、変換係数表現のスパース性に関連する条件を最大にしようとするものである。原理上は、スパース性が高まることは、係数の情報を伝達するビットレートが低下することを意味する。本願では、さらに、上記従来技術の少なくとも２つの欠点を克服するアプローチを提案する。第一に、上記のコスト関数の両方の条件のバランスをとるために、重みを明示的に提供する。第二に、より重要なこととして、単一の２－Ｄの不可分の変換の代わりに、最適な垂直の変換および水平の変換を導出することを提案する。このアプローチは、これらの方向の双方の同時最適化を連結することを提案しており、これには、可分な変換のセットに必要な演算量およびメモリが不可分な変換のセットに必要な演算量とメモリよりも少なくなるという、実際のアプリケーションにおいて重要となる利点がある。これと同時に、垂直方向および水平方向における変換を異ならせることができるようにすることにより、両方の方向のために単一のカーネルを有する場合よりもイメージおよびビデオの各ブロックの豊かさをより良好にとらえることが可能となる。
「変換のセット」という表現を用いる際、これらの変換の各々は、不可分である場合もあるし、可分である場合もある。これらの変換が可分である場合、各方向（垂直／水平）は、同じであることもあれば、異なることもある。
別の実施の形態においては、変換の系列（ｆａｍｉｌｙ）のサブセットが選択され、この際、入力データを符号化するためにこのサブセットが良好な特性を有するようにする。例として、符号化するビデオ・データのためにＷＤＣＴのサブセットを決定することができる。さらに、重複変換のサブセットを決定することができる。サブセットが決まると、符号化器は、系列のサブセット内で何の変換が使用されるかの情報を伝達するだけでよい。
別の実施の形態においては、再構成されたビデオの品質に従って、変換のサブセットが選択される。符号化器の量子化ステップ、量子化パラメータ（ＱＰ）、目標ビットレート、ＰＳＮＲ、および／または、所望な出力ビデオ品質を示す任意の尺度パラメータによって、出力の品質が決定される。
別の実施の形態においては、変換のセットは、既に符号化されているデータからオンライン（ｏｎｌｉｎｅ）で導出される。本実施の形態の２つの例示的な実施態様を、以下の通りに示す。１つの例示的な実施態様によれば、前のフレームの再構成されたデータは、利用可能な方法のいずれかにより変換のセットを導出するために、トレーニング・セットとして使用される。別の例示的な実施態様においては、再構成されたデータが使用されて、現在使用中の変換のリファインメントを行うことにより、現在のデータの統計と一致するように、変換がオンラインで更新されるようにする。
別の実施の形態においては、符号化されることになるデータから変換のセットが導出される。符号化されることになるこのようなデータには、限定するものではないが、符号化する次のフレームから得られるオリジナルのフレームまたは統計値が挙げられる。従って、符号化器は、シーケンス、または、シーケンスの次の部分を分析し、利用可能な方法のいずれかを用いて使用する最良の変換のセットを決定するか、または、使用する最良の変換の系列を選択する。この場合、符号化器は、副情報として、使用しようとする変換のセットを送信する必要がある。本実施の形態の幾つかの例示的な実施態様を以下に示す。第１の例示的な実施態様においては、符号化器は、変換の最良のセットを見つけ、使用する全ての変換を送信する。第２の例示的な実施態様においては、使用する最良の変換のセットを見つけ、復号器は、前に復号されたデータから最良のセットを推定することを試行し、これにより、復号器によって推定された変換のリファインメントを符号化器が送信するだけでよいようにする（符号化器と復号器との間でエラーやミスマッチが生じないようにする）。第３の例示的な実施態様においては、符号化器は、（符号化器側と復号器側の双方で利用可能な）変換の様々なセットから、使用する最良のセットを選択し、この特定のセットを復号器に信号送信する。第４の実施態様においては、符号化器は、データに最も適している変換の系列から変換の特定のセットを見つける。次に、符号化器は、選択されている変換の系列の特定のサブセットを復号器に伝達する。
選択された変換の伝達
次に、符号化器と復号器との間で一致が確保されるように、選択された変換を復号器に示す方法について説明する。
一実施態様においては、符号化器は、スライス、マクロブロック、または、ブロック・レベルでのシンタックスに含まれるフラグを用いて選択された変換を復号器に送信することができる。一つの実施形態においては、符号化器側で、各ブロックについて、最良の変換がレート歪みコスト関数を用いて決定される。
別の実施形態においては、選択された変換がフレーム内の複数の異なる領域のために、選択された変換を明示的かつフレキシブルに特定可能なように、四分木（クワッドツリー）または他のタイプのツリーを用いて選択された変換が伝達される。このように、変換の領域は、前の実施の形態の単純なブロック形状よりも、自由に決められるものである。
別の実施形態においては、選択された変換は、変換係数自体の内部の（どの変換を使用することになるかを示す）フラグを隠すことによって、送信することができる。この代替的手段の、想定される実施形態について、以下に説明する。変換のセットにおいて、２つの変換のみが存在するものと仮定する。そこで、変換１が選択されると、符号化器は、変換係数の合計を偶数にする。変換２が選択されると、符号化器は、変換係数の合計を奇数にする。復号器側において、変換係数が復元され、これらの合計のパリティが算出される。パリティが偶数であれば、適用する逆変換は、変換１のものである。パリティが奇数であれば、適用される逆変換は、変換２のものである。このようにして、フラグは、変換係数の中に隠すことができ、復号器側で復元可能であるため、符号化器と復号器の双方が同期している。係数の中にフラグを隠すことは、２つの変換を有するように限定されないことは明らかである。このような技術は、簡単に、任意の数の変換に拡張することができる。
別の実施の形態においては、選択された変換の明示的な情報が送信されない。この場合、そのような情報を既に復号されているデータから推定することができる。この情報は、符号化器と復号器の両方で利用可能でなければならず、データから選択された変換を抽出する方法は、符号化器と復号器の両方において、同じでなければならず、これらは同期している。様々な情報から変換を選択することができる。以下、この暗黙的な信号送信の５つの特定の実施の形態について述べる。もちろん、本願の原理は、暗黙的な信号送信に関する以下の実施の形態に限定されるものではなく、本明細書中に提供された本願の原理の開示内容に鑑み、本技術分野、さらに、関連する技術分野における当業者であれば、本願の原理を逸脱することなく、これらの実施態様およびその他の実施態様を企図することができるであろう。
第１の実施の形態においては、変換を暗黙的に信号送信するためにインター予測モードが用いられる。この実施の形態の一実施態様においては、直接モードであれば、変換１が使用される。そうでない場合には、変換２が使用される。
第２の実施の形態においては、動きベクトルを使用して変換を暗黙的に信号送信する。使用される変換は、ブロック（ブロックのサイズ、方向、参照ピクチャなど）の動きベクトルに依存させることができる。
第３の実施の形態においては、変換は、前に符号化されたブロックの残差に依存する。そこで、前に符号化されたブロックの残差の統計値がセット内の何の変換が使用されるかを決定する。
第４の実施の形態においては、変換の選択は、ブロックのために予測されたデータに依存する。残差と予測データの間には、最良の変換を選択する際に利用可能な、何らかの相関が存在する。例として、予測が方向の要素を有している場合には、この方向性は、通常、残差においても明白である。そこで、所与の方向に対する方向性の変換を使用することで、良好なパフォーマンスが生み出される。なぜならば、方向性の変換は、非方向性の変換とは異なり、残差の方向性の要素を利用できるからである。
第５の実施の形態においては、変換の選択は、符号化器側と復号器側の双方で利用可能な、隣接する再構成済のブロックの変換選択に依存させることができる。
システム
本願発明の原理は、２つの部分、即ち、変換のセットの選択の方法、さらに、各々の特定のブロックのセットの内で選択された変換を伝達する方法に関すると考えることができる。これらの２つの部分の各々のために、幾つかの代替手段が提案される。これらの提案されたアプローチは、各々の部分のために提案された代替手段のいずれかを組み合わせることができる。また、各変換は、特定の量子化処理、さらに、エントロピー符号化に先立って、各係数の異なる走査順を必要とする場合がある。さらに、各走査順は、各変換の統計値に対して適応したものである場合がある。一つの実施形態においては、各変換の走査順は、特定の係数の位置が以前に有意なものとして符号化された回数に適応させることができる。本願発明の原理は、以下の変換の拡張を考慮している。これらは、変換の量子化処理、変換の走査順、さらに、この走査順の潜在的な適応可能性である。
図５を参照すると、ビデオ符号化器における変換選択のための例示的な方法が概ね参照符号５００によって示されている。方法５００は、制御を機能ブロック５１０に受け渡す開始ブロック５０５を含む。機能ブロック５１０は、符号化のためのビデオ・シーケンスを受信し、制御を機能ブロック５１５に受け渡す。機能ブロック５１５は、トレーニング・データ、各々が変換の各系列を表す１つ以上の変換のセット、既に符号化されているデータ、さらに、符号化されるべきデータのうちの１つ以上を決定し、制御を機能ブロック５２０に受け渡す。機能ブロック５２０は、トレーニング・データ、各々が変換の系列の各部分を表す１つ以上の変換のサブセット、既に符号化されているデータ、さらに、符号化されるべきデータのうちの１つ以上に依存して変換ｉを選択し、制御を機能ブロック５２５に受け渡す。機能ブロック５２５は、選択された変換ｉを使用して変換し、ビデオ・シーケンスのピクチャ内のブロックのブロック残差データを量子化し、制御を機能ブロック５３０に受け渡す。機能ブロック５３０は、量子化された係数を出力し、制御を終了ブロック５９９に受け渡す。
トレーニング・データと１つ以上の変換のセットのうちの１つ以上は、オンラインで決定されてもよく（即ち、ビデオ・シーケンスの符号化の間に決定されてもよく）、オフラインで決定されてもよい（例えば、ビデオ・シーケンスの符号化の前に決定されてもよい）ことが理解できよう。
図６を参照すると、ビデオ復号器における変換選択のための例示的な方法が概ね参照符号６００によって示されている。方法６００は、制御を機能ブロック６１０に受け渡す開始ブロック６０５を含む。機能ブロック６１０は、復号のためのビットストリームを受信し、ビットストリームの復号を開始し、制御を機能ブロック６１５に受け渡す。機能ブロック６１５は、トレーニング・データ、各々が変換の各系列を表す１つ以上の変換のセット、既に復号されているデータ、さらに、復号されることになるデータのうちの１つ以上を決定し、制御を機能ブロック６２０に受け渡す。機能ブロック６２０は、トレーニング・データ、各々が変換の系列の各部分を表す１つ以上の変換のサブセット、既に復号されているデータ、さらに、復号されることになるデータのうちの１つ以上に依存して変換ｉを選択し、制御を機能ブロック６２５に受け渡す。機能ブロック６２５は、選択された変換ｉを用いて、ビデオ・シーケンスのピクチャ内のブロックに対し、逆変換を行い、量子化された係数を逆量子化し、制御を機能ブロック６３０に受け渡す。機能ブロック６３０は、ブロック残差データを出力し、制御を終了ブロック６９９に受け渡す。
トレーニング・データと１つ以上の変換のセットのうちの１つ以上は、オンラインで決定されてもよく（即ち、ビデオ・シーケンスの復号の間に決定されてもよく）、オフラインで決定されてもよい（例えば、ビデオ・シーケンスの復号の前に決定されてもよい）ことが理解できよう。
図７を参照すると、ビデオ符号化器における変換の選択および伝達のための例示的な方法が概ね参照符号７００によって示されている。方法７００は、制御を機能ブロック７１０に受け渡す開始ブロック７０５を含む。機能ブロック７１０は、符号化のための入力フレームを受信し、制御を機能ブロック７１５に受け渡す。機能ブロック７１５は、１つ以上の変換のセットのトレーニングを行い、制御を機能ブロック７６５およびループ端ブロック７２０に受け渡す。機能ブロック７６５は、フレーム内で使用される変換のセットを出力し、制御を機能ブロック７７０に受け渡す。ループ端ブロック７２０は入力フレームに渡った各ブロックに対してループを実行し、制御を機能ブロック７２５に受け渡す。機能ブロック７２５は、ブロック残差を取得し、制御をループ端ブロック７３０に受け渡す。ループ端ブロック７３０は、１つ以上の変換のセットに対してループを実行し、制御を機能ブロック７３５に受け渡す。機能ブロック７３５は、１つ以上の変換のセットにおける各変換に関してレート歪み分析を実行し、制御をループ端ブロック７４０に受け渡す。ループ端ブロック７４０は、各変換に対するループを終了し、制御を機能ブロック７４５に受け渡す。機能ブロック７４５は、現在のブロックのために最良の変換を決定し、制御をループ端ブロック７５０に受け渡す。ループ端ブロック７５０は、各ブロック対するループを終了し、制御を機能ブロック７５５および機能ブロック７６０に受け渡す。機能ブロック７５５は、各ブロックについて、量子化された係数を出力し、制御を機能ブロック７７０に受け渡す。機能ブロック７６０は、各ブロックについて、選択された変換を出力し、制御を機能ブロック７７０に受け渡す。機能ブロック７７０は、量子化された係数、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、さらに、フレーム内の各ブロックの選択された変換を送信する。この際、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換は、明示的または暗黙的に送信される。そして、機能ブロック７７０は、制御を終了ブロック７９９に受け渡す。ブロック７７０に関し、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換が暗黙的に送信される場合には、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換を示す情報が実際の変換の代わりに送信されることがある点が理解できよう。このような場合、復号器は、暗黙的な情報から変換を導出することができる。さらに、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、フレーム内の各ブロックの選択された変換、および／または、上述したもののうちの少なくとも１つを表す情報がビットストリームに関する副情報として送信されることがある。さらに、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、フレーム内の各ブロックの選択された変換、および／または、上述したもののうちの少なくとも１つを表す情報は、１つ以上のフラグおよび／またはシンタックス要素を用いて送信されることがある。
図８を参照すると、ビデオ復号器における変換の伝達および選択のための例示的な方法が概ね参照符号８００によって示されている。方法８００は、制御を機能ブロック８１０、機能ブロック８１５、および、機能ブロック８２０に受け渡す開始ブロック８０５を含む。機能ブロック８１０は、明示的または暗黙的に、復号しようとする現在のフレームのために使用されることになる変換のセット、または、セットに対するリファインメントを受信し、制御を機能ブロック８３０に受け渡す。機能ブロック８１５は、現在のフレーム内の各ブロックについて、量子化された係数を受信し、制御をループ端ブロック８２５に受け渡す。機能ブロック８２０は、明示的または暗黙的に、現在のフレーム内の各ブロックについて、選択された変換を受信し、制御を機能ブロック８３０に受け渡す。ループ端ブロック８２５は、現在のフレーム内の各ブロックに対してループを実行し、制御を機能ブロック８３０に受け渡す。機能ブロック８３０は、現在のブロックのための逆変換を決定し、制御を機能ブロック８３５に受け渡す。機能ブロック８３５は、ブロックのために決定された逆変換を適用し、制御をループ端ブロック８４０に受け渡す。ループ端ブロック８４０は、ループを終了し、制御を機能ブロック８４５に受け渡す。機能ブロック８４５は、各ブロックについて、ブロック残差を出力し、制御を終了ブロック８９９に受け渡す。
機能ブロック８１０および８２０に関し、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換が暗黙的に送信される場合には、フレームにおいて使用されるべき変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換を示す情報が実際の変換の代わりに受信されることがある点が理解できよう。このような場合、復号器は、暗黙的な情報から（例えば、機能ブロック８３０によって）変換を導出することができる。さらに、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、フレーム内の各ブロックの選択された変換、および／または、上述したもののうちの少なくとも１つを表す情報がビットストリームに関する副情報として受信されることがある。
図９を参照すると、ビデオ符号化器における変換の選択および伝達のための別の例示的な方法が概ね参照符号９００によって示されている。方法９００は、制御を機能ブロック９１０に受け渡す開始ブロック９０５を含む。機能ブロック９１０は、符号化されるべきフレームを入力し、制御を機能ブロック９１５に受け渡す。機能ブロック９１５は、１つ以上の変換のセットのトレーニングを行い、制御を機能ブロック９７０およびループ端ブロック９２０に受け渡す。ループ端ブロック９２０は、フレーム内の各ブロックに対してループを実行し、制御を機能ブロック９２５に受け渡す。機能ブロック９２５は、現在のブロックのブロック残差を取得し、制御をループ端ブロック９３０に受け渡す。ループ端ブロック９３０は、１つ以上の変換のセットに対してループを実行し、制御を機能ブロック９３５に受け渡す。機能ブロック９３５は、現在のブロックの変換および係数の量子化を行い、制御を機能ブロック９４０に受け渡す。機能ブロック９４０は、各係数の中にフラグを埋め込み、制御を機能ブロック９４５に受け渡す。機能ブロック９４５は、レート歪み（ＲＤ：ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）分析を実行し、制御をループ端ブロック９５０に受け渡す。ループ端ブロック９５０は、各変換に対するループを終了し、制御を機能ブロック９５５に受け渡す。機能ブロック９５５は、現在のブロックのために最良の変換を決定し、制御を機能ブロック９６０に受け渡す。機能ブロック９６０は、各ブロックについて、量子化された係数を出力し、制御をループ端ブロック９６５に受け渡す。ループ端ブロック９６５は、各ブロックに対するループを終了し、制御を終了ブロック９９９に受け渡す。
図１０を参照すると、ビデオ復号器における変換の伝達および選択のための別の例示的な方法が概ね参照符号１０００によって示されている。方法１０００は、制御を機能ブロック１０１０およびループ端ブロック１０１５に受け渡す開始ブロック１００５を含む。機能ブロック１０１０は、明示的または暗黙的に、復号しようとする現在のフレームのために使用されるべき変換のセットを受信し、制御を機能ブロック１０３０に受け渡す。ループ端ブロック１０１５は、現在のフレーム内の各ブロックに対するループを実行し、制御を機能ブロック１０２０に受け渡す。機能ブロック１０２０は、現在のフレーム内の各ブロックについて、量子化された係数を受信し、制御を機能ブロック１０２５に受け渡す。機能ブロック１０２５は、係数から埋め込まれたフラグを抽出し、制御を機能ブロック１０３０に受け渡す。機能ブロック１０３０は、埋め込まれたフラグに基づいて現在のブロックに適用する逆変換を決定し、制御を機能ブロック１０３５に受け渡す。機能ブロック１０３５は、決定された逆変換を使用してブロックを逆変換し、制御を機能ブロック１０４０に受け渡す。機能ブロック１０４０は、ブロック残差を出力し、制御をループ端ブロック１０４５に受け渡す。ループ端ブロック１０４５は、ループを終了し、制御を終了ブロック１０９９に受け渡す。
本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、１つの利点／特徴は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、変換のセットがオフラインで決定される、この装置である。
さらに、別の利点／特徴は、上述したような、変換のセットがオフラインで決定される符号化器を有する装置であって、変換のセットが、トレーニング・データの使用と、変換の系列のサブセットの選択と、のうちの少なくとも１つによって決定される、この装置である。
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、この装置である。
さらに、別の利点／特徴は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。このビデオ符号化器は、選択された変換を記述する情報を、１つ以上のフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信する。
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、変換のセットは、トレーニング・データを使用することと変換系列のサブセットを選択することのうちの少なくとも一方によって決定される、この装置である。
さらに、別の利点／特徴はビデオ・シーケンスにおけるピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。
さらに、別の利点／特徴は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。変換のセットは、ブロックのために符号化されるべきデータから決定される。
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、変換のセットを決定し、変換のセットを副情報として対応する復号器に送信する、この装置である。
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、変換のセットを決定し、ビデオ符号化器と同じ変換のセットを導出するために、リファインメントおよび既に復号されているデータから対応する復号器が変換のセットを予測できるようにする、変換のセットに対するリファインメントを決定し、リファインメントを対応する復号器に送信する、この装置である。
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、複数の変換のセットから変換のセットを決定し、変換のセットを副情報として送信する、この装置である。
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、変換の系列から、変換の系列のサブセットを表す変換のセットを決定し、ビデオ符号化器は、変換の系列のサブセットのみを送信する、この装置である。
本願の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本願の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせたものの形態で実施することができることが理解できよう。
より好ましくは、本願の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力部（Ｉ／Ｏ）インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。
添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本願の原理をプログラムする方法によって異なる場合があることが理解できよう。本願明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本願発明の原理の実施の形態または構成、さらに、類似した実施の形態または構成を企図することができるであろう。
添付図面を参照して本願明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願発明の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の特許請求の範囲に定義されたような本願の原理の範囲に含まれるように意図されている。

Claims (14)

  1. 方法であって、
    ピクチャ内の少なくとも１つのブロックの復号を、２種類以上の逆変換のセットから、ビデオ・シーケンスにおける前記ブロックの逆量子化された残差に適用する少なくとも１つの逆変換を決定することによって行うことを含み、
    逆変換の選択は、前記ブロックの領域に対して使用するために決定することができるいくつかの逆変換の中から、前記ブロックのサイズと、前記ブロックのためにインター予測モードが使用されていないかどうかとに依存し、
    前記選択は、異なる離散三角関数逆変換の間で行われ、前記逆変換は方向性の逆変換であり、前記選択は、ブロックのために予測されたデータの方向の要素に依存する、方法。
  2. 装置であって、
    ピクチャ内の少なくとも１つのブロックのためのビデオ復号器であって、２種類以上の逆変換のセットから、ビデオ・シーケンスにおける前記ブロックの逆量子化された残差に適用する少なくとも１つの逆変換を決定するビデオ復号器を備え、
    逆変換の選択は、前記ブロックの領域に対して使用するために決定することができるいくつかの逆変換の中から、前記ブロックのサイズと、前記ブロックのためにインター予測モードが使用されていないかどうかとに依存し、
    前記選択は、異なる離散三角関数逆変換の間で行われ、前記逆変換は方向性の逆変換であり、前記選択は、ブロックのために予測されたデータの方向の要素に依存する、装置。
  3. 方法であって、
    ピクチャ内の少なくとも１つのブロックの符号化を、２種類以上の変換のセットから、ビデオ・シーケンスにおける前記ブロックの残差に適用する少なくとも１つの変換を決定することによって行うことを含み、
    変換の選択は、前記ブロックの領域に対して使用するために決定することができるいくつかの変換の中から、前記ブロックのサイズと、前記ブロックのためにインター予測モードが使用されていないかどうかとに依存し、
    前記選択は、異なる離散三角関数変換の間で行われ、前記変換は方向性の変換であり、前記選択は、ブロックのために予測されたデータの方向の要素に依存する、方法。
  4. 装置であって、
    ピクチャ内の少なくとも１つのブロックを符号化するためのビデオ符号化器であって、２種類以上の変換のセットから、ビデオ・シーケンスにおける前記ブロックの残差に適用する少なくとも１つの変換を決定することによって符号化を行うビデオ符号化器を備え、
    変換の選択は、前記ブロックの領域に対して使用するために決定することができるいくつかの変換の中から、前記ブロックのサイズと、前記ブロックのためにインター予測モードが使用されていないかどうかとに依存し、
    前記選択は、異なる離散三角関数変換の間で行われ、前記変換は方向性の変換であり、前記選択は、ブロックのために予測されたデータの方向の要素に依存する、装置。
  5. 前記変換のセットをオフラインで決定することをさらに含む、請求項３に記載の方法。
  6. （ｉ）トレーニング・データの使用と、
    （ｉｉ）変換の系列のサブセットの選択と、
    のうちの少なくとも１つによって前記変換のセットが決定される、請求項３に記載の方法。
  7. 前記セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、請求項３に記載の方法。
  8. 閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が明示的に信号送信される、請求項３に記載の方法。
  9. ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、請求項３に記載の方法。
  10. 閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が明示的に信号送信される、請求項４に記載の装置。
  11. ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、請求項４に記載の装置。
  12. 前記セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、請求項１に記載の方法。
  13. 非一時的なコンピュータ可読記憶媒体であって、命令を含み、前記命令は、プロセッサによって実行されると請求項１に記載の方法を実行する、非一時的なコンピュータ可読記憶媒体。
  14. 非一時的なコンピュータ可読記憶媒体であって、命令を含み、前記命令は、プロセッサによって実行されると請求項３に記載の方法を実行する、非一時的なコンピュータ可読記憶媒体。
JP2022128799A 2009-01-27 2022-08-12 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置 Active JP7519411B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14770509P 2009-01-27 2009-01-27
US61/147,705 2009-01-27
US20778309P 2009-02-17 2009-02-17
US61/207,783 2009-02-17
JP2020124479A JP2020191647A (ja) 2009-01-27 2020-07-21 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020124479A Division JP2020191647A (ja) 2009-01-27 2020-07-21 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置

Publications (2)

Publication Number Publication Date
JP2022172145A JP2022172145A (ja) 2022-11-15
JP7519411B2 true JP7519411B2 (ja) 2024-07-19

Family

ID=42395863

Family Applications (11)

Application Number Title Priority Date Filing Date
JP2011547885A Pending JP2012516626A (ja) 2009-01-27 2009-10-21 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2011547884A Pending JP2012516625A (ja) 2009-01-27 2009-10-21 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2011547886A Pending JP2012516627A (ja) 2009-01-27 2009-10-21 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2015234536A Pending JP2016067026A (ja) 2009-01-27 2015-12-01 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2015238095A Pending JP2016076972A (ja) 2009-01-27 2015-12-04 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2015237990A Pending JP2016076971A (ja) 2009-01-27 2015-12-04 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2018015101A Pending JP2018093522A (ja) 2009-01-27 2018-01-31 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2018136538A Pending JP2018186556A (ja) 2009-01-27 2018-07-20 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2018145999A Ceased JP2018201222A (ja) 2009-01-27 2018-08-02 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2020124479A Ceased JP2020191647A (ja) 2009-01-27 2020-07-21 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2022128799A Active JP7519411B2 (ja) 2009-01-27 2022-08-12 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置

Family Applications Before (10)

Application Number Title Priority Date Filing Date
JP2011547885A Pending JP2012516626A (ja) 2009-01-27 2009-10-21 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2011547884A Pending JP2012516625A (ja) 2009-01-27 2009-10-21 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2011547886A Pending JP2012516627A (ja) 2009-01-27 2009-10-21 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2015234536A Pending JP2016067026A (ja) 2009-01-27 2015-12-01 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2015238095A Pending JP2016076972A (ja) 2009-01-27 2015-12-04 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2015237990A Pending JP2016076971A (ja) 2009-01-27 2015-12-04 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2018015101A Pending JP2018093522A (ja) 2009-01-27 2018-01-31 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2018136538A Pending JP2018186556A (ja) 2009-01-27 2018-07-20 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2018145999A Ceased JP2018201222A (ja) 2009-01-27 2018-08-02 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP2020124479A Ceased JP2020191647A (ja) 2009-01-27 2020-07-21 ビデオ符号化およびビデオ復号における変換の選択のための方法および装置

Country Status (8)

Country Link
US (6) US9161031B2 (ja)
EP (5) EP2382778A4 (ja)
JP (11) JP2012516626A (ja)
KR (14) KR20110106402A (ja)
CN (4) CN102301707B (ja)
BR (4) BRPI0924155B1 (ja)
HK (1) HK1222274A1 (ja)
WO (3) WO2010087807A1 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110106402A (ko) 2009-01-27 2011-09-28 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
EP2457377A1 (en) * 2009-07-23 2012-05-30 Thomson Licensing Methods and apparatus for adaptive transform selection for video encoding and decoding
KR101753273B1 (ko) * 2010-03-10 2017-07-03 톰슨 라이센싱 변환 선택을 갖는 비디오 코딩 및 디코딩을 위한 제약 변환 방법 및 장치
US8929440B2 (en) * 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
US9215470B2 (en) 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
WO2012008925A1 (en) * 2010-07-15 2012-01-19 Agency For Science, Technology And Research Method, apparatus and computer program product for encoding video data
JP2012023632A (ja) 2010-07-15 2012-02-02 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
US8976861B2 (en) 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
US9042440B2 (en) 2010-12-03 2015-05-26 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US8767835B2 (en) * 2010-12-28 2014-07-01 Mitsubishi Electric Research Laboratories, Inc. Method for coding videos using dictionaries
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US8630341B2 (en) * 2011-01-14 2014-01-14 Mitsubishi Electric Research Laboratories, Inc. Method for training and utilizing separable transforms for video coding
US9380319B2 (en) * 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US10397577B2 (en) 2011-03-08 2019-08-27 Velos Media, Llc Inverse scan order for significance map coding of transform coefficients in video coding
US9106913B2 (en) 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
JP5739714B2 (ja) * 2011-04-04 2015-06-24 日本放送協会 符号化装置、復号装置及びプログラム
US9167253B2 (en) 2011-06-28 2015-10-20 Qualcomm Incorporated Derivation of the position in scan order of the last significant transform coefficient in video coding
US8929455B2 (en) * 2011-07-01 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Method for selecting transform types from mapping table for prediction modes
KR101718954B1 (ko) * 2011-10-17 2017-03-22 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
CN108063943B (zh) * 2011-10-17 2021-11-02 株式会社Kt 用解码装置对待解码的具有当前块的视频信号解码的方法
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982447A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
KR20130050406A (ko) * 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
FR2982983A1 (fr) * 2011-11-22 2013-05-24 Thomson Licensing Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants
CN104350752B (zh) * 2012-01-17 2019-07-12 华为技术有限公司 用于高性能视频编码中的无损编码模式的环内滤波的装置
KR101418096B1 (ko) * 2012-01-20 2014-07-16 에스케이 텔레콤주식회사 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
EP2618572B1 (en) * 2012-01-20 2016-08-24 BlackBerry Limited Multiple sign bit hiding within a transform unit
US9008184B2 (en) * 2012-01-20 2015-04-14 Blackberry Limited Multiple sign bit hiding within a transform unit
GB2505169B (en) * 2012-08-13 2016-03-16 Gurulogic Microsystems Oy decoder and method
US9258389B2 (en) 2012-08-13 2016-02-09 Gurulogic Microsystems Oy Encoder and method
US10333547B2 (en) 2012-08-13 2019-06-25 Gurologic Microsystems Oy Encoder and method for encoding input data using a plurality of different transformations or combinations of transformations
US8675731B2 (en) * 2012-08-13 2014-03-18 Gurulogic Microsystems Oy Encoder and method
US10412414B2 (en) 2012-08-13 2019-09-10 Gurulogic Microsystems Oy Decoder and method for decoding encoded input data containing a plurality of blocks or packets
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
KR102114252B1 (ko) 2013-07-05 2020-05-22 삼성전자 주식회사 영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 장치
GB2516425B (en) * 2013-07-17 2015-12-30 Gurulogic Microsystems Oy Encoder and decoder, and method of operation
US9602826B2 (en) 2014-06-27 2017-03-21 Massachusetts Institute Of Technology Managing transforms for compressing and decompressing visual data
FR3024933A1 (fr) * 2014-08-12 2016-02-19 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US9762912B2 (en) * 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
FR3038196A1 (fr) * 2015-06-29 2016-12-30 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
EP3166313A1 (en) 2015-11-09 2017-05-10 Thomson Licensing Encoding and decoding method and corresponding devices
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
CN107925763B (zh) * 2015-12-23 2020-01-10 华为技术有限公司 等级分割中的块级别变换选择和隐式信令的编码变换方法和设备
US10623777B2 (en) * 2016-02-16 2020-04-14 Samsung Electronics Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
WO2018011345A1 (en) * 2016-07-14 2018-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Predictive picture coding using transform-based residual coding
FR3057131A1 (fr) 2016-10-04 2018-04-06 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal et programmes d'ordinateurs associes
FR3057429A1 (fr) * 2016-10-07 2018-04-13 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
EP3349451A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
US20200177889A1 (en) * 2017-03-21 2020-06-04 Lg Electronics Inc. Transform method in image coding system and apparatus for same
EP3451663A1 (en) 2017-08-31 2019-03-06 Thomson Licensing Pools of transforms for local selection of a set of transforms in video coding
CN109922340B (zh) * 2017-12-13 2021-10-15 华为技术有限公司 图像编解码方法、装置、系统及存储介质
US11647214B2 (en) * 2018-03-30 2023-05-09 Qualcomm Incorporated Multiple transforms adjustment stages for video coding
CN110291791A (zh) * 2018-04-02 2019-09-27 北京大学 用于视频编解码的方法和设备
JP7249111B2 (ja) * 2018-08-15 2023-03-30 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2020064729A1 (en) * 2018-09-24 2020-04-02 Telefonaktiebolaget Lm Ericsson (Publ) Transformation selection by transmitting a transformation set indicator for use in video coding
WO2020064732A1 (en) * 2018-09-25 2020-04-02 Telefonaktiebolaget Lm Ericsson (Publ) Transformation selection by transmitting a transformation set indicator for use in video coding
US20210400276A1 (en) * 2018-11-22 2021-12-23 Interdigital Vc Holdings, Inc. Quantization for video encoding and decoding
CN109788286B (zh) 2019-02-01 2021-06-18 北京大学深圳研究生院 一种编码、解码变换方法、系统、设备及计算机可读介质
JP7277608B2 (ja) 2019-04-23 2023-05-19 北京字節跳動網絡技術有限公司 多重変換行列のコンテキストモデリングおよび選択
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
US11252410B2 (en) * 2019-06-11 2022-02-15 Tencent America LLC Method and apparatus for video coding
CN114079772B (zh) * 2020-08-21 2023-04-07 腾讯科技（深圳）有限公司 视频解码方法、装置、计算机可读介质及电子设备
US11683490B2 (en) 2020-09-10 2023-06-20 Tencent America LLC Context adaptive transform set
CN113824957B (zh) * 2020-09-27 2022-10-28 腾讯科技（深圳）有限公司 视频编解码方法、装置及电子设备
CN112862106B (zh) * 2021-01-19 2024-01-30 中国人民大学 一种基于自适应编解码迭代学习控制信息传输系统和方法
WO2023146358A1 (ko) * 2022-01-27 2023-08-03 세종대학교 산학협력단 영상 부호화/복호화 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314428A (ja) 2001-04-09 2002-10-25 Ntt Docomo Inc 信号符号化方法及び装置並びに復号方法及び装置
JP2003204550A (ja) 2002-01-07 2003-07-18 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
JP2005167655A (ja) 2003-12-03 2005-06-23 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
WO2006028088A1 (ja) 2004-09-08 2006-03-16 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
WO2008157360A2 (en) 2007-06-15 2008-12-24 Qualcomm Incorporated Adaptive transformation of residual blocks depending on the intra prediction mode

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61285869A (ja) * 1985-06-12 1986-12-16 Toshiba Corp 画像符号化方式
JP2637093B2 (ja) 1987-03-13 1997-08-06 株式会社東芝 画像符号化方式
JPH01240032A (ja) * 1988-03-22 1989-09-25 Toshiba Corp 適応ｋｌ変換符号化方式及びその復号化方式
KR0166722B1 (ko) 1992-11-30 1999-03-20 윤종용 부호화 및 복호화방법 및 그 장치
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
US5592228A (en) 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
JPH06284412A (ja) * 1993-03-26 1994-10-07 Sony Corp 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH0787448A (ja) 1993-06-30 1995-03-31 Victor Co Of Japan Ltd デジタル映像信号の符号化回路及び復号化回路
KR0129573B1 (ko) * 1994-04-30 1998-04-10 배순훈 디지탈 화상 복호화를 위한 디씨(dc) 계수의 오차보상 방법
JPH0846971A (ja) * 1994-07-29 1996-02-16 Sharp Corp 動画像符号化装置
US5748786A (en) * 1994-09-21 1998-05-05 Ricoh Company, Ltd. Apparatus for compression using reversible embedded wavelets
US6011864A (en) 1996-07-03 2000-01-04 Apple Computer, Inc. Digital image coding system having self-adjusting selection criteria for selecting a transform function
JPH11234638A (ja) * 1998-02-16 1999-08-27 Canon Inc 画像符号化装置及び方法並びに記憶媒体
JP3670554B2 (ja) * 2000-04-25 2005-07-13 日本電信電話株式会社 画像信号符号化装置／復号装置，画像信号符号化方法／復号方法および画像信号符号化／復号プログラム記録媒体
DE60143048D1 (de) * 2000-07-06 2010-10-21 Thomas W Meyer Steganographishe dateneinbettung in digitalen signalen
DE60119660T2 (de) 2000-10-10 2007-02-22 Koninklijke Philips Electronics N.V. Verfahren zur Verarbeitung von Videodateien
KR100545445B1 (ko) * 2000-10-23 2006-01-24 인터내셔널 비지네스 머신즈 코포레이션 스케일링 항, 초기 중지 및 정밀도 세분을 이용한 고속 이산 변환 방법
JP2002325170A (ja) 2001-04-24 2002-11-08 Canon Inc 画像処理装置及びその方法並びにプログラムコード、記憶媒体
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US20030118097A1 (en) * 2001-12-21 2003-06-26 Koninklijke Philips Electronics N.V. System for realization of complexity scalability in a layered video coding framework
US20040125204A1 (en) 2002-12-27 2004-07-01 Yoshihisa Yamada Moving picture coding apparatus and moving picture decoding apparatus
US7317759B1 (en) 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
CN100337064C (zh) 2002-07-24 2007-09-12 大金工业株式会社 除湿单元
GB2401502B (en) 2003-05-07 2007-02-14 British Broadcasting Corp Data processing
EP1555832A3 (en) 2004-01-14 2011-05-18 Samsung Electronics Co., Ltd. Adaptive loop filtering for reducing blocking artifacts
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US8116374B2 (en) 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP4236266B2 (ja) 2004-08-27 2009-03-11 キヤノン株式会社 データ変換装置およびその方法
JP2006157481A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
KR20060123939A (ko) 2005-05-30 2006-12-05 삼성전자주식회사 영상의 복부호화 방법 및 장치
KR101088375B1 (ko) 2005-07-21 2011-12-01 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
CN102176754B (zh) * 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
KR100727969B1 (ko) * 2005-08-27 2007-06-14 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100813963B1 (ko) 2005-09-16 2008-03-14 세종대학교산학협력단 동영상의 무손실 부호화, 복호화 방법 및 장치
KR100750137B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
JP4829019B2 (ja) 2006-07-06 2011-11-30 株式会社東芝 通信端末装置
KR101354151B1 (ko) * 2006-08-24 2014-01-28 삼성전자주식회사 영상 변환 방법 및 장치, 역변환 방법 및 장치
KR100927733B1 (ko) 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
US9319700B2 (en) * 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
JP5134001B2 (ja) * 2006-10-18 2013-01-30 アップル インコーポレイテッド 下層のフィルタリングを備えたスケーラブルビデオ符号化
WO2008118146A1 (en) 2007-03-23 2008-10-02 Thomson Licensing Modifying a coded bitstream
US8238428B2 (en) 2007-04-17 2012-08-07 Qualcomm Incorporated Pixel-by-pixel weighting for intra-frame coding
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
US8363728B2 (en) * 2008-04-18 2013-01-29 Sony Corporation Block based codec friendly edge detection and transform selection
US8285068B2 (en) 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
KR20110106402A (ko) 2009-01-27 2011-09-28 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
US8630341B2 (en) 2011-01-14 2014-01-14 Mitsubishi Electric Research Laboratories, Inc. Method for training and utilizing separable transforms for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314428A (ja) 2001-04-09 2002-10-25 Ntt Docomo Inc 信号符号化方法及び装置並びに復号方法及び装置
JP2003204550A (ja) 2002-01-07 2003-07-18 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
JP2005167655A (ja) 2003-12-03 2005-06-23 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
WO2006028088A1 (ja) 2004-09-08 2006-03-16 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
WO2008157360A2 (en) 2007-06-15 2008-12-24 Qualcomm Incorporated Adaptive transformation of residual blocks depending on the intra prediction mode

Also Published As

Publication number Publication date
US10178411B2 (en) 2019-01-08
CN102301707A (zh) 2011-12-28
WO2010087808A1 (en) 2010-08-05
EP2382777A4 (en) 2012-08-15
US9049443B2 (en) 2015-06-02
KR20180123153A (ko) 2018-11-14
BRPI0924167A2 (pt) 2016-02-10
JP2012516627A (ja) 2012-07-19
WO2010087809A1 (en) 2010-08-05
KR20210064398A (ko) 2021-06-02
US9161031B2 (en) 2015-10-13
US20110274164A1 (en) 2011-11-10
EP2382778A4 (en) 2012-08-15
EP2392136A1 (en) 2011-12-07
JP2016076971A (ja) 2016-05-12
JP2022172145A (ja) 2022-11-15
HK1222274A1 (zh) 2017-06-23
KR20170116204A (ko) 2017-10-18
KR20110106403A (ko) 2011-09-28
US9774864B2 (en) 2017-09-26
EP2991352A1 (en) 2016-03-02
JP2018201222A (ja) 2018-12-20
BRPI0924155B1 (pt) 2021-09-14
JP2020191647A (ja) 2020-11-26
CN102308578A (zh) 2012-01-04
US20110268183A1 (en) 2011-11-03
JP2012516626A (ja) 2012-07-19
KR20200036953A (ko) 2020-04-07
BR122015015910A2 (pt) 2016-03-22
US20230051065A1 (en) 2023-02-16
JP2018186556A (ja) 2018-11-22
KR20220123340A (ko) 2022-09-06
US20190191184A1 (en) 2019-06-20
KR20170116216A (ko) 2017-10-18
KR20220041931A (ko) 2022-04-01
CN102308578B (zh) 2015-09-09
CN105120281B (zh) 2019-01-18
CN102301708B (zh) 2015-11-25
JP2018093522A (ja) 2018-06-14
EP2392136A4 (en) 2012-08-15
KR20190039350A (ko) 2019-04-10
EP3668098A1 (en) 2020-06-17
US20160021395A1 (en) 2016-01-21
US20110293002A1 (en) 2011-12-01
EP2382778A1 (en) 2011-11-02
KR20170118956A (ko) 2017-10-25
BRPI0924044B1 (pt) 2022-09-20
CN102301708A (zh) 2011-12-28
WO2010087807A1 (en) 2010-08-05
EP2382777A1 (en) 2011-11-02
KR20190143460A (ko) 2019-12-30
KR20110106394A (ko) 2011-09-28
JP2016076972A (ja) 2016-05-12
CN105120281A (zh) 2015-12-02
JP2012516625A (ja) 2012-07-19
CN102301707B (zh) 2015-12-02
BRPI0924044A2 (pt) 2016-01-26
BRPI0924155A2 (pt) 2016-10-04
KR101834825B1 (ko) 2018-03-06
BR122015015910B1 (pt) 2022-05-10
JP2016067026A (ja) 2016-04-28
KR20110106402A (ko) 2011-09-28
KR20210028283A (ko) 2021-03-11

Similar Documents

Publication Publication Date Title
JP7519411B2 (ja) ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
US20180091817A1 (en) Methods and apparatus for transform selection in video encoding and decoding
EP2621174A2 (en) Methods and apparatus for adaptive template matching prediction for video encoding and decoding
KR20240145048A (ko) 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240513

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240708

R150 Certificate of patent or registration of utility model

Ref document number: 7519411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150