JP6042001B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents

動画像符号化装置及び動画像符号化方法 Download PDF

Info

Publication number
JP6042001B2
JP6042001B2 JP2015560064A JP2015560064A JP6042001B2 JP 6042001 B2 JP6042001 B2 JP 6042001B2 JP 2015560064 A JP2015560064 A JP 2015560064A JP 2015560064 A JP2015560064 A JP 2015560064A JP 6042001 B2 JP6042001 B2 JP 6042001B2
Authority
JP
Japan
Prior art keywords
calculation
sao
decoded image
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015560064A
Other languages
English (en)
Other versions
JPWO2015115645A1 (ja
Inventor
淳真 大澤
淳真 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6042001B2 publication Critical patent/JP6042001B2/ja
Publication of JPWO2015115645A1 publication Critical patent/JPWO2015115645A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法に関するものである。
動画像符号化装置では、局部復号画像の符号化歪みを補償する目的でデブロッキングフィルタを局部復号画像に適用することが一般的であるが、デブロッキングフィルタを適用するだけでは補償しきれないモスキートノイズを低減するために、局部復号画像に対してサンプル・アダプティブ・オフセットであるＳＡＯ演算を適用するものがある。
ここで、ＳＡＯ演算の演算内容は、ＳＡＯのタイプ（例えば、エッジオフセット、バンドオフセット）とオフセット値から決定される。
以下の非特許文献１には、ＳＡＯのタイプとオフセット値を決定する際、画質及び符号化効率の向上を図るために、ＲＤＯ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）の概念に基づいて、原画像とＳＡＯ演算後の画像を比較して、ＳＡＯ演算後の画像が原画像と最も類似するＳＡＯのタイプとオフセット値を選択する動画像符号化装置が開示されている。
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５
従来の動画像符号化装置は以上のように構成されているので、ＳＡＯのタイプとオフセット値を決定する際、ＲＤＯの概念に基づいて、原画像とＳＡＯ演算後の画像を比較している。しかし、ＲＤＯの概念に基づく画像比較では、ハードウェア規模が大きくなるとともに、多くの演算時間を要するために、最適なＳＡＯのタイプとオフセット値をリアルタイムに選択することができなくなることがある課題があった。
この発明は上記のような課題を解決するためになされたもので、ハードウェア規模の小型化を図ることができるとともに、最適なＳＡＯ演算の演算内容をリアルタイムに決定することができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
この発明に係る動画像符号化装置は、既に符号化されている符号化済みブロックの局部復号画像を保持するフレームメモリと、フレームメモリに保持されている局部復号画像を用いて、符号化対象のブロックに対する動き補償予測処理を実施して、符号化対象ブロックの予測画像を生成する予測画像生成手段と、符号化対象ブロックと予測画像の差分画像を圧縮し、その差分画像の圧縮データを符号化する符号化手段と、その圧縮データを伸長して差分画像を復号し、その復号した差分画像と予測画像から局部復号画像を生成する局部復号画像生成手段とを設け、演算内容決定手段が、予測画像生成手段による動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの周辺に存在している符号化済みブロックの局部復号画像に対して実施されているＳＡＯ（サンプル・アダプティブ・オフセット）演算の演算内容を加味して、局部復号画像生成手段により生成された局部復号画像に対するＳＡＯ演算の演算内容を決定し、ＳＡＯ演算手段が、局部復号画像生成手段により生成された局部復号画像に対して、演算内容決定手段により決定された演算内容でのＳＡＯ演算を実施し、ＳＡＯ演算後の局部復号画像をフレームメモリに格納するようにしたものである。
この発明によれば、予測画像生成手段による動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの周辺に存在している符号化済みブロックの局部復号画像に対して実施されているＳＡＯ（サンプル・アダプティブ・オフセット）演算の演算内容を加味して、局部復号画像生成手段により生成された局部復号画像に対するＳＡＯ演算の演算内容を決定する演算内容決定手段を設け、ＳＡＯ演算手段が、局部復号画像生成手段により生成された局部復号画像に対して、演算内容決定手段により決定された演算内容でのＳＡＯ演算を実施するように構成したので、ハードウェア規模の小型化を図ることができるとともに、最適なＳＡＯ演算の演算内容をリアルタイムに決定することができる効果がある。
この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による動画像符号化装置の演算内容選択部２３の内部を示す構成図である。 動きベクトルが指し示している符号化済みブロックの局部復号画像（参照位置の局部復号画像）を示す説明図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１は符号化処理が実施される際の処理単位となる符号化対象ブロックの最大サイズを決定するとともに、最大サイズの符号化対象ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化対象ブロックのサイズを決定する処理を実施する。
また、符号化制御部１は選択可能な１以上の符号化モード（例えば、予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、ブロック分割部２から出力される符号化対象ブロックに適用する符号化モードを選択する処理を実施する。
選択手法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部２から出力される符号化対象ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
また、符号化制御部１は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部１は周波数変換量子化部７及び逆周波数変換逆量子化部９に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化対象ブロックにおける直交変換処理単位となる変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。
ブロック分割部２は原画像を入力する毎に、その原画像を符号化制御部１により決定された最大サイズの符号化対象ブロックである最大符号化対象ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その最大符号化対象ブロックを階層的に各符号化対象ブロックへ分割する処理を実施する。
即ち、ブロック分割部２は原画像を符号化制御部１により決定されたサイズの符号化対象ブロックに分割して、各々の符号化対象ブロックを順次出力する処理を実施する。なお、各符号化対象ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
画面内予測部３はブロック分割部２から出力された符号化対象ブロックに対応する符号化モードとして、符号化制御部１によりイントラ符号化モードが選択された場合、局部復号画像メモリ１１に格納されている局部復号画像を参照しながら、符号化制御部１により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、その符号化対象ブロックのイントラ予測画像を生成する処理を実施する。
動き補償予測部４はブロック分割部２から出力された符号化対象ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、その符号化対象ブロックとフレームメモリ１５に格納されている１フレーム以上の局部復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部１により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理（動き補償予測処理）を実施して、その符号化対象ブロックのインター予測画像を生成する処理を実施する。なお、動き補償予測部４は予測画像生成手段を構成している。
セレクタ５は符号化制御部１により決定された符号化モードがイントラ符号化モードであれば、画面内予測部３により生成されたイントラ予測画像を減算器６及び加算器１０に出力し、符号化制御部１により決定された符号化モードがインター符号化モードであれば、動き補償予測部４により生成されたインター予測画像を減算器６及び加算器１０に出力する処理を実施する。
減算器６はブロック分割部２より出力された符号化対象ブロックから、画面内予測部３により生成されたイントラ予測画像、または、動き補償予測部４により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を周波数変換量子化部７に出力する処理を実施する。
周波数変換量子化部７は符号化制御部１により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、減算器６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データをエントロピー符号化部８及び逆周波数変換逆量子化部９に出力する処理を実施する。
エントロピー符号化部８は周波数変換量子化部７から出力された圧縮データと、符号化制御部１の出力信号（最大符号化対象ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ、インター予測パラメータ）と、動き補償予測部４から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化データからなるビットストリームを生成する処理を実施する。
なお、減算器６、周波数変換量子化部７及びエントロピー符号化部８から符号化手段が構成されている。
逆周波数変換逆量子化部９は符号化制御部１により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位に周波数変換量子化部７から出力された圧縮データを逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算器６から出力された予測差分信号に相当する局部復号予測差分信号を算出する処理を実施する。
加算器１０は逆周波数変換逆量子化部９により算出された局部復号予測差分信号と、画面内予測部３により生成されたイントラ予測画像、または、動き補償予測部４により生成されたインター予測画像とを加算して、ブロック分割部２から出力された符号化対象ブロックに相当する局部復号画像を算出する処理を実施する。
なお、逆周波数変換逆量子化部９及び加算器１０から局部復号画像生成手段が構成されている。
局部復号画像メモリ１１は加算器１０により算出された局部復号画像を格納する記録媒体である。
デブロッキングフィルタ部１２は加算器１０により算出された局部復号画像に対して、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するデブロッキングフィルタ処理を実施する。
演算内容決定部１３は動き補償予測部４による動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの局部復号画像に対して実施されているＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）を加味して、デブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）を決定する処理を実施する。なお、演算内容決定部１３は演算内容決定手段を構成している。
ＳＡＯ演算部１４はデブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対して、演算内容決定部１３により決定された演算内容でのＳＡＯ演算を実施し、ＳＡＯ演算後の局部復号画像をフレームメモリ１５に格納する処理を実施する。なお、ＳＡＯ演算部１４はＳＡＯ演算手段を構成している。
演算内容決定部１３の類似度算出部２１はブロック分割部２から出力された符号化対象ブロックと、ＳＡＯ演算部１４によるＳＡＯ演算後の局部復号画像との類似度を算出する処理を実施する。
情報保持部２２はブロック分割部２から出力された符号化対象ブロックの符号化が実施されると、その符号化対象ブロックの符号化後のブロックである符号化済みブロックの情報として、類似度算出部２１により算出された類似度及びＳＡＯ演算部１４で実施されたＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）を保持するメモリである。
演算内容選択部２３は情報保持部２２に保持されている符号化済みブロックの情報のうち、動き補償予測部４による動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの情報（類似度、ＳＡＯ演算の演算内容）を取得し、その取得した類似度に応じて、その取得した演算内容の選択され易さを変える重み付け処理を施してから、予め用意されている複数の演算内容の中から、デブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）を選択する処理を実施する。
図１の例では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、画面内予測部３、動き補償予測部４、セレクタ５、減算器６、周波数変換量子化部７、エントロピー符号化部８、逆周波数変換逆量子化部９、加算器１０、局部復号画像メモリ１１、デブロッキングフィルタ部１２、演算内容決定部１３、ＳＡＯ演算部１４及びフレームメモリ１５のそれぞれが専用のハードウェアで構成（局部復号画像メモリ１１及びフレームメモリ１５以外の構成要素は、例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなどで構成）されているものを想定しているが、動画像符号化装置がコンピュータで構成されていてもよい。
動画像符号化装置をコンピュータで構成する場合、局部復号画像メモリ１１及びフレームメモリ１５をコンピュータのメモリ上に構成するとともに、符号化制御部１、ブロック分割部２、画面内予測部３、動き補償予測部４、セレクタ５、減算器６、周波数変換量子化部７、エントロピー符号化部８、逆周波数変換逆量子化部９、加算器１０、デブロッキングフィルタ部１２、演算内容決定部１３及びＳＡＯ演算部１４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
図３はこの発明の実施の形態１による動画像符号化装置の演算内容選択部２３の内部を示す構成図である。
図３において、類似算出処理部３１は予め用意されている複数の演算内容で、デブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算が実施された場合のＳＡＯ演算後の局部復号画像をそれぞれ生成して、各々のＳＡＯ演算後の局部復号画像と、ブロック分割部２から出力された符号化対象ブロックとの類似度をそれぞれ算出する処理を実施する。
選択処理部３２は類似算出処理部３１により算出された各々の類似度を、動き補償予測部４から出力された動きベクトルが指し示す符号化済みブロックの情報である類似度で重み付けし、重み付けを施した各々の類似度に対応する演算内容の中で、最も高い類似度に対応する演算内容を選択する処理を実施する。
次に動作について説明する。
図１の動画像符号化装置は、映像信号（原画像）の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
まず、符号化制御部１は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化対象ブロックのサイズと、最大符号化対象ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化対象ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
なお、上記最大符号化対象ブロックのサイズと、最大符号化対象ブロックを階層分割する階層数の上限は、シーケンスレベルヘッダなどで符号化する。その場合、分割階層数の上限の代わりに、符号化対象ブロックの最小ブロックサイズを符号化するようにしてもよい。
また、符号化制御部１は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化対象ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部１は、最大符号化対象ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化対象ブロックサイズを有する符号化対象ブロックに分割して、各々の符号化対象ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部１は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化対象ブロックに対応する符号化モードを選択する。
ただし、後述するブロック分割部２により階層的に分割される各々の符号化対象ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。即ち、符号化モードは、どのような予測ブロック分割を持つイントラ符号化モードまたはインター符号化モードかを識別するインデックスである。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化対象ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
なお、符号化対象ブロックがさらに予測処理を行う予測ブロック単位に分割される場合には、予測ブロック毎に予測パラメータ（イントラ予測パラメータまたはインター予測パラメータ）を決定する。
また、符号化制御部１は、各々の符号化対象ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロック分割状態を決定する。
符号化制御部１は、上記のようにして、最大符号化対象ブロックのサイズと、最大符号化対象ブロックを階層分割する階層数の上限とを決定すると、最大符号化対象ブロックのサイズ及び上限の階層数を示すブロック分割情報をブロック分割部２に出力する。
また、符号化制御部１は、符号化対象ブロックにおける変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどを含む予測差分符号化パラメータを周波数変換量子化部７、エントロピー符号化部８及び逆周波数変換逆量子化部９に出力する。この予測差分符号化パラメータの決定処理自体は公知の技術であるため詳細な説明を省略する。
さらに、符号化制御部１は、上記のようにして、符号化対象ブロックに対する符号化モードとして、イントラ符号化モードを選択してイントラ予測パラメータを決定すると、そのイントラ予測パラメータを画面内予測部３に出力する。
符号化制御部１は、符号化対象ブロックに対する符号化モードとして、インター符号化モードを選択してインター予測パラメータを決定すると、そのインター予測パラメータを動き補償予測部４に出力する。
ブロック分割部２は、原画像を入力する毎に、その原画像を符号化制御部１から出力されたブロック分割情報が示す最大サイズの符号化対象ブロックである最大符号化対象ブロックに分割するとともに、そのブロック分割情報が示す上限の階層数に至るまで、その最大符号化対象ブロックを階層的に各符号化対象ブロックへ分割する。
即ち、ブロック分割部２は、入力された原画像を符号化制御部１により決定されたサイズの符号化対象ブロックに分割して、各々の符号化対象ブロックを順次出力する。なお、各符号化対象ブロックは、予測処理単位となる１つないし複数の予測ブロックに分割される。
画面内予測部３は、ブロック分割部２から符号化対象ブロックを受けると、符号化制御部１により決定された符号化モードがイントラ符号化モードである場合（ステップＳＴ３）、局部復号画像メモリ１１に格納されている局部復号画像を参照しながら、符号化制御部１により決定されたイントラ予測パラメータを用いて、その符号化対象ブロック内の各予測ブロックに対するイントラ予測処理を実施して、イントラ予測画像を生成する（ステップＳＴ４）。
なお、図示せぬ動画像復号装置が全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像の生成に用いられたイントラ予測パラメータは、符号化制御部１からエントロピー符号化部８に出力されて、ビットストリームに多重化される。
動き補償予測部４は、ブロック分割部２から符号化対象ブロックを受けると、符号化制御部１により決定された符号化モードがインター符号化モードである場合（ステップＳＴ３）、その符号化対象ブロック内の各予測ブロックとフレームメモリ１５に格納されている符号化済みブロックの局部復号画像を比較して動きベクトルを探索する。動きベクトルの探索処理自体は公知の技術であるため詳細な説明を省略する。
動き補償予測部４は、動きベクトルを探索すると、その動きベクトルと符号化制御部１により決定されたインター予測パラメータを用いて、その符号化対象ブロック内の各予測ブロックに対するインター予測処理を実施して、インター予測画像を生成する（ステップＳＴ５）。
なお、図示せぬ動画像復号装置が全く同じインター予測画像を生成する必要があるため、インター予測画像の生成に用いられたインター予測パラメータは、符号化制御部１からエントロピー符号化部８に出力されて、ビットストリームに多重化される。
また、動き補償予測部４により探索された動きベクトルもエントロピー符号化部８に出力されて、ビットストリームに多重化される。
セレクタ５は、符号化制御部１により決定された符号化モードがイントラ符号化モードであれば、画面内予測部３により生成されたイントラ予測画像を減算器６及び加算器１０に出力し、符号化制御部１により決定された符号化モードがインター符号化モードであれば、動き補償予測部４により生成されたインター予測画像を減算器６及び加算器１０に出力する。
減算器６は、セレクタ５から画面内予測部３により生成されたイントラ予測画像を受けると、ブロック分割部２から出力された符号化対象ブロック内の予測ブロックから当該イントラ予測画像を減算し、その減算結果である差分画像を示す予測差分信号を周波数変換量子化部７に出力する（ステップＳＴ６）。
また、減算器６は、セレクタ５から動き補償予測部４により生成されたインター予測画像を受けると、ブロック分割部２から出力された符号化対象ブロック内の予測ブロックから当該インター予測画像を減算し、その減算結果である差分画像を示す予測差分信号を周波数変換量子化部７に出力する（ステップＳＴ６）。
周波数変換量子化部７は、減算器６から予測差分信号を受けると、符号化制御部１により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、その予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を変換ブロック単位に実施して、変換係数を算出する。
また、周波数変換量子化部７は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データをエントロピー符号化部８及び逆周波数変換逆量子化部９に出力する（ステップＳＴ７）。
逆周波数変換逆量子化部９は、周波数変換量子化部７から圧縮データを受けると、符号化制御部１により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
また、逆周波数変換逆量子化部９は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算器６から出力された予測差分信号に相当する局部復号予測差分信号を算出して加算器１０に出力する（ステップＳＴ８）。
加算器１０は、セレクタ５から画面内予測部３により生成されたイントラ予測画像を受けると、そのイントラ予測画像と逆周波数変換逆量子化部９から出力された局部復号予測差分信号を加算することで、局部復号画像を算出する（ステップＳＴ９）。
また、加算器１０は、セレクタ５から動き補償予測部４により生成されたインター予測画像を受けると、そのインター予測画像と逆周波数変換逆量子化部９から出力された局部復号予測差分信号を加算することで、局部復号画像を算出する（ステップＳＴ９）。
なお、加算器１０は、その局部復号画像をデブロッキングフィルタ部１２に出力するとともに、その局部復号画像を局部復号画像メモリ１１に格納する。
この局部復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
デブロッキングフィルタ部１２は、加算器１０から局部復号画像を受けると、その局部復号画像に対して、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するデブロッキングフィルタ処理を実施して、デブロッキングフィルタ処理後の局部復号画像をＳＡＯ演算部１４に出力する（ステップＳＴ１０）。
演算内容決定部１３は、デブロッキングフィルタ部１２が局部復号画像に対するデブロッキングフィルタ処理を実施すると、動き補償予測部４により探索された動きベクトルが指し示している符号化済みブロックの局部復号画像を特定する。
ここで、図４は動きベクトルが指し示している符号化済みブロックの局部復号画像（参照位置の局部復号画像）を示す説明図である。
演算内容決定部１３は、動きベクトルが指し示している符号化済みブロックの局部復号画像を特定すると、詳細は後述するが、その符号化済みブロックの局部復号画像に対して、過去に実施されているＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）を加味して、デブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）を決定する（ステップＳＴ１１）。
なお、ＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）は、ＨＥＶＣ規格に記載されている演算内容である。
ＳＡＯ演算部１４は、演算内容決定部１３がＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）を決定すると、デブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対して、その演算内容でのＳＡＯ演算を実施し、ＳＡＯ演算後の局部復号画像をフレームメモリ１５に格納する（ステップＳＴ１２）。
このＳＡＯ演算後の局部復号画像が、以降のインター予測処理の際に用いられる符号化済みの画像信号になる。
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化対象ブロックに対する処理が完了するまで繰り返し実施され、全ての符号化対象ブロックに対する処理が完了すると、ステップＳＴ１５の処理に移行する（ステップＳＴ１３，ＳＴ１４）。
エントロピー符号化部８は、周波数変換量子化部７から出力された圧縮データと、符号化制御部１の出力信号（最大符号化対象ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ、インター予測パラメータ）と、動き補償予測部４から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化データからなるビットストリームを生成する（ステップＳＴ１５）。
以下、演算内容決定部１３の処理内容を具体的に説明する。
類似度算出部２１は、例えば、二乗誤差和（ＳＳＥ）や、アダマール変換絶対値誤差和（ＳＡＴＤ）などの精度が高い類似度の算出方法を用いて、ブロック分割部２から出力された符号化対象ブロックと、ＳＡＯ演算部１４によるＳＡＯ演算後の局部復号画像との類似度を算出する。
なお、符号化対象ブロックとＳＡＯ演算後の局部復号画像との類似度が高い程、二乗誤差和（ＳＳＥ）や、アダマール変換絶対値誤差和（ＳＡＴＤ）の値は小さな値になる。
類似度算出部２１により算出される類似度は、次のフレーム以降の符号化対象ブロックの局部復号画像に対するＳＡＯ演算の演算内容を決定する際に利用されるものであって、利用されるまでに時間的余裕があるため、後述する演算内容選択部２３の類似算出処理部３１が用いる類似度の算出方法よりも精度が高い算出方法が使用される。
類似度算出部２１により算出される類似度と、最新のフレーム内の符号化対象ブロックに対して、ＳＡＯ演算部１４で実施されたＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）とが情報保持部２２に格納される。
情報保持部２２は、参照フレームとなる可能性がある複数フレーム分の符号化済みブロックの情報（類似度、ＳＡＯ演算の演算内容）を保持することが可能である。
演算内容選択部２３は、動き補償予測部４により探索された動きベクトルが指し示している符号化済みブロックを特定し、情報保持部２２に保持されている複数フレーム分の符号化済みブロックの情報の中から、その動きベクトルが指し示している符号化済みブロックの情報（類似度、ＳＡＯ演算の演算内容）を取得する。
演算内容選択部２３は、符号化済みブロックの情報（類似度、ＳＡＯ演算の演算内容）を取得すると、その取得した類似度に応じて、その取得した演算内容の選択され易さを変える重み付け処理を施してから、予め用意されている複数の演算内容の中から、デブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）を選択する。
以下、演算内容選択部２３の処理内容を具体的に説明する。
演算内容選択部２３の類似算出処理部３１は、予め用意されている複数の演算内容（ＳＡＯのタイプ、オフセット値）で、デブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算が実施された場合のＳＡＯ演算後の局部復号画像をそれぞれ生成する。
例えば、ＳＡＯのタイプとして、エッジオフセットとバンドオフセットが用意され、各オフセットに対応するオフセット値が複数用意されていれば、それぞれの組み合わせでの演算内容で、デブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算を実施して、ＳＡＯ演算後の局部復号画像をそれぞれ生成する。
類似算出処理部３１は、ＳＡＯ演算後の局部復号画像として、例えば、Ｎ個の局部復号画像を生成すると、例えば、差分絶対値和（ＳＡＤ）などの簡易な類似度の算出方法を用いて、Ｎ個の局部復号画像とブロック分割部２から出力された符号化対象ブロックとの類似度Ｒ1，Ｒ2，・・・，ＲNを算出する。
類似算出処理部３１での類似度の算出処理は、リアルタイムで処理する必要があるため、類似度算出部２１が用いる類似度の算出方法よりも簡易な算出方法が使用される。
演算内容選択部２３の選択処理部３２は、類似算出処理部３１がＮ個の局部復号画像と符号化対象ブロックとの類似度Ｒ1，Ｒ2，・・・，ＲNを算出すると、それらの類似度Ｒ1，Ｒ2，・・・，ＲNを、動きベクトルが指し示している符号化済みブロックの情報である類似度で重み付けする。
即ち、選択処理部３２は、類似度Ｒ1，Ｒ2，・・・，ＲNに対応するＮ個の演算内容の中から、動きベクトルが指し示している符号化済みブロックの情報が示すＳＡＯ演算の演算内容を特定する。ここでは、説明の便宜上、類似度Ｒnに対応する演算内容が特定されるものとする。
選択処理部３２は、動きベクトルが指し示している符号化済みブロックの情報が示す類似度が予め設定されている閾値Ｔｈより高い場合、類似度Ｒ1，Ｒ2，・・・，ＲNに対応するＮ個の演算内容の中から、類似度Ｒnに対応する演算内容が選択され易くするために、類似度Ｒnにプラスのオフセットを付加する（類似度Ｒnの値を大きくする）。
一方、動きベクトルが指し示している符号化済みブロックの情報が示す類似度が閾値Ｔｈより低い場合、類似度Ｒ1，Ｒ2，・・・，ＲNに対応するＮ個の演算内容の中から、類似度Ｒnに対応する演算内容が選択され難くするために、類似度Ｒnにマイナスのオフセットを付加する（類似度Ｒnの値を小さくする）。
選択処理部３２は、類似度Ｒ1，Ｒ2，・・・，ＲNに対する重み付け（プラスまたはマイナスのオフセットを類似度Ｒnに付加）を行うと、重み付け後の類似度Ｒ1，Ｒ2，・・・，ＲNの中で最も値が大きな類似度を特定し、最も値が大きな類似度に対応する演算内容をＳＡＯ演算部１４及び情報保持部２２に出力する。
例えば、重み付け後の類似度Ｒ1，Ｒ2，・・・，ＲNの中で最も値が大きな類似度が類似度Ｒ2であれば、その類似度Ｒ2に対応する演算内容をＳＡＯ演算部１４及び情報保持部２２に出力する。
このように、符号化済みブロックの局部復号画像に対して、過去に実施されているＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）を加味して、デブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算の演算内容（ＳＡＯのタイプ、オフセット値）を決定することで、演算内容の決定精度が学習的に高まることが期待される。
類似算出処理部３１では、例えば、差分絶対値和（ＳＡＤ）などの簡易な類似度の算出方法を用いて、Ｎ個の局部復号画像と符号化対象ブロックとの類似度Ｒ1，Ｒ2，・・・，ＲNを算出するようにしているので、リアルタイムに類似度Ｒ1，Ｒ2，・・・，ＲNを算出することができる。
一方、類似度算出部２１では、類似算出処理部３１が用いる類似度の算出方法よりも精度が高い算出方法を使用しているが、時間的余裕がある中で類似度を算出するものであるため、例えば、演算速度の向上を図るための並列処理用のハードウェアなどが不要になり、ハードウェア規模の拡大を抑えることができる。
以上で明らかなように、この実施の形態１によれば、動き補償予測部４による動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの局部復号画像に対して実施されているＳＡＯ演算の演算内容を加味して、デブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算の演算内容を決定する演算内容決定部１３を設け、ＳＡＯ演算部１４が、デブロッキングフィルタ部１２によるデブロッキングフィルタ処理後の局部復号画像に対して、演算内容決定部１３により決定された演算内容でのＳＡＯ演算を実施するように構成したので、ハードウェア規模の小型化を図ることができるとともに、最適なＳＡＯ演算の演算内容をリアルタイムに決定することができる効果を奏する。
この実施の形態１では、動きベクトルが指し示す符号化済みブロックの局部復号画像に対して実施されているＳＡＯ演算の演算内容を加味して、デブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算の演算内容を決定するものを示したが、動きベクトルが指し示す符号化済みブロックの局部復号画像に対して実施されているＳＡＯ演算の演算内容の他に、その符号化済みブロックの周辺に存在している符号化済みブロックの局部復号画像（図４の破線で表されている４つの符号化済みブロックの局部復号画像）に対して実施されているＳＡＯ演算の演算内容も加味して、デブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算の演算内容を決定するようにしてもよい。
この場合、類似度Ｒ1，Ｒ2，・・・，ＲNに対応するＮ個の演算内容の中で、周辺に存在している符号化済みブロックの局部復号画像に対して実施されているＳＡＯ演算の演算内容と同じ演算内容を特定し（ここでは、説明の便宜上、同じ演算内容が、類似度Ｒm（１≦ｍ≦Ｎ）に対応する演算内容であるものとする）、周辺に存在している符号化済みブロックの情報が示す類似度が閾値Ｔｈより高い場合、類似度Ｒ1，Ｒ2，・・・，ＲNに対応するＮ個の演算内容の中から、類似度Ｒmに対応する演算内容が選択され易くするために、類似度Ｒmにプラスのオフセットを付加する（類似度Ｒmの値を大きくする）。
一方、周辺に存在している符号化済みブロックの情報が示す類似度が閾値Ｔｈより低い場合、類似度Ｒ1，Ｒ2，・・・，ＲNに対応するＮ個の演算内容の中から、類似度Ｒmに対応する演算内容が選択され難くするために、類似度Ｒmにマイナスのオフセットを付加する（類似度Ｒmの値を小さくする）。
実施の形態２．
上記実施の形態１では、選択処理部３２が、Ｎ個の局部復号画像と符号化対象ブロックとの類似度Ｒ1，Ｒ2，・・・，ＲNを、動きベクトルが指し示している符号化済みブロックの情報が示す類似度で重み付けすることで、動きベクトルが指し示している符号化済みブロックの情報が示す演算内容の選択され易さを変えるものを示したが、予め用意されている複数の演算内容（ＳＡＯのタイプ、オフセット値）の中から、その符号化済みブロックの情報が示す演算内容を特定し、その符号化済みブロックの情報が示す類似度が閾値Ｔｈより低い場合、その符号化済みブロックの情報が示す演算内容を除外し、それ以外の演算内容で、デブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算を実施して、ＳＡＯ演算後の局部復号画像をそれぞれ生成するようにしてもよい。
この場合、予め用意されている演算内容がＮ個であれば、類似度が低い１個の演算内容が除外されて、Ｎ−１個の演算内容でＳＡＯ演算が実施されて、Ｎ−１個のＳＡＯ演算後の局部復号画像が生成されるので、上記実施の形態１と同様に、動きベクトルが指し示している符号化済みブロックの情報が示す演算内容の選択され易さを変えることができる。
この実施の形態２では、ＳＡＯ演算後の局部復号画像の生成数が上記実施の形態１よりも減り、Ｎ個の局部復号画像と符号化対象ブロックとの類似度Ｒ1，Ｒ2，・・・，ＲNを、動きベクトルが指し示している符号化済みブロックの情報が示す類似度で重み付けする必要もないので、演算量を低減することができる。
この実施の形態２でも、動きベクトルが指し示す符号化済みブロックの局部復号画像に対して実施されているＳＡＯ演算の演算内容の他に、その符号化済みブロックの周辺に存在している符号化済みブロックの局部復号画像（図４の破線で表されている４つの符号化済みブロックの局部復号画像）に対して実施されているＳＡＯ演算の演算内容も加味して、デブロッキングフィルタ処理後の局部復号画像に対するＳＡＯ演算の演算内容を決定するようにしてもよい。
この場合、周辺に存在している符号化済みブロックの情報が示す類似度が閾値Ｔｈより低い場合、周辺に存在している符号化済みブロックの情報が示す演算内容が除外される。
したがって、予め用意されている演算内容がＮ個であるとき、例えば、周辺に存在している４個の符号化済みブロックの情報が示す類似度が閾値Ｔｈより低い場合、Ｎ−４個のＳＡＯ演算後の局部復号画像が生成されるようになり、ＳＡＯ演算後の局部復号画像の生成数がさらに減少する。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係る動画像符号化装置は、予測画像生成手段による動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの局部復号画像に対して実施されているＳＡＯ演算の演算内容を加味して、局部復号画像生成手段により生成された局部復号画像に対するＳＡＯ演算の演算内容を決定する演算内容決定手段を設けたので、ハードウェア規模の小型化、及び最適なＳＡＯ演算の演算内容をリアルタイムに決定することができ、映像信号の符号化に好適である。
１ 符号化制御部、２ ブロック分割部、３ 画面内予測部、４ 動き補償予測部（予測画像生成手段）、５ セレクタ、６ 減算器（符号化手段）、７ 周波数変換量子化部（符号化手段）、８ エントロピー符号化部（符号化手段）、９ 逆周波数変換逆量子化部（局部復号画像生成手段）、１０ 加算器（局部復号画像生成手段）、１１ 局部復号画像メモリ、１２ デブロッキングフィルタ部、１３ 演算内容決定部（演算内容決定手段）、１４ ＳＡＯ演算部（ＳＡＯ演算手段）、２１ 類似度算出部、２２ 情報保持部、２３ 演算内容選択部、３１ 類似算出処理部、３２ 選択処理部。

Claims (6)

  1. 既に符号化されている符号化済みブロックの局部復号画像を保持するフレームメモリと、
    前記フレームメモリに保持されている局部復号画像を用いて、符号化対象ブロックに対する動き補償予測処理を実施して、前記符号化対象ブロックの予測画像を生成する予測画像生成手段と、
    前記符号化対象ブロックと前記予測画像の差分画像を圧縮し、前記差分画像の圧縮データを符号化する符号化手段と、
    前記圧縮データを伸長して前記差分画像を復号し、その復号した差分画像と前記予測画像から局部復号画像を生成する局部復号画像生成手段と、
    前記予測画像生成手段による動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの周辺に存在している符号化済みブロックの局部復号画像に対して実施されているＳＡＯ（サンプル・アダプティブ・オフセット）演算の演算内容を加味して、前記局部復号画像生成手段により生成された局部復号画像に対するＳＡＯ演算の演算内容を決定する演算内容決定手段と、
    前記局部復号画像生成手段により生成された局部復号画像に対して、前記演算内容決定手段により決定された演算内容でのＳＡＯ演算を実施し、ＳＡＯ演算後の局部復号画像を前記フレームメモリに格納するＳＡＯ演算手段と
    を備えた動画像符号化装置。
  2. 既に符号化されている符号化済みブロックの局部復号画像を保持するフレームメモリと、
    前記フレームメモリに保持されている局部復号画像を用いて、符号化対象ブロックに対する動き補償予測処理を実施して、前記符号化対象ブロックの予測画像を生成する予測画像生成手段と、
    前記符号化対象ブロックと前記予測画像の差分画像を圧縮し、前記差分画像の圧縮データを符号化する符号化手段と、
    前記圧縮データを伸長して前記差分画像を復号し、その復号した差分画像と前記予測画像から局部復号画像を生成する局部復号画像生成手段と、
    前記予測画像生成手段による動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの局部復号画像に対して実施されているＳＡＯ（サンプル・アダプティブ・オフセット）演算の演算内容を加味して、前記局部復号画像生成手段により生成された局部復号画像に対するＳＡＯ演算の演算内容を決定する演算内容決定手段と、
    前記局部復号画像生成手段により生成された局部復号画像に対して、前記演算内容決定手段により決定された演算内容でのＳＡＯ演算を実施し、ＳＡＯ演算後の局部復号画像を前記フレームメモリに格納するＳＡＯ演算手段とを備え、
    前記演算内容決定手段は、
    前記符号化対象ブロックと前記ＳＡＯ演算手段によるＳＡＯ演算後の局部復号画像との類似度を算出する類似度算出部と、
    前記符号化対象ブロックの符号化後のブロックである符号化済みブロックの情報として、前記類似度算出部により算出された類似度及び前記ＳＡＯ演算手段で実施されたＳＡＯ演算の演算内容を保持する情報保持部と、
    前記情報保持部に保持されている符号化済みブロックの情報のうち、前記予測画像生成手段による動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの情報である類似度及びＳＡＯ演算の演算内容を取得し、その取得した類似度に応じて、その取得した演算内容の選択され易さを変える重み付け処理を施してから、予め用意されている複数の演算内容の中から、前記局部復号画像生成手段により生成された局部復号画像に対するＳＡＯ演算の演算内容を選択する演算内容選択部とを備えていることを特徴とする動画像符号化装置。
  3. 前記演算内容選択部は、
    予め用意されている複数の演算内容で、前記局部復号画像生成手段により生成された局部復号画像に対するＳＡＯ演算を実施して、複数のＳＡＯ演算後の局部復号画像を生成し、前記複数のＳＡＯ演算後の局部復号画像と前記符号化対象ブロックとの類似度をそれぞれ算出する類似算出処理部と、
    前記類似算出処理部により算出された複数のＳＡＯ演算後の局部復号画像と符号化対象ブロックとの類似度を、前記動きベクトルが指し示す符号化済みブロックの情報である類似度で重み付けし、重み付けを施した各々の類似度に対応する演算内容の中で、最も高い類似度に対応する演算内容を選択する選択処理部とを備えていることを特徴とする請求項２記載の動画像符号化装置。
  4. 前記類似度算出部は、前記演算内容選択部の前記類似算出処理部で算出される類似度より精度が高い類似度の算出方法で、前記符号化対象ブロックと前記ＳＡＯ演算手段によるＳＡＯ演算後の局部復号画像との類似度を算出することを特徴とする請求項３記載の動画像符号化装置。
  5. 予測画像生成手段が、フレームメモリに保持されている既に符号化されている符号化済みブロックの局部復号画像を用いて、符号化対象ブロックに対する動き補償予測処理を実施して、前記符号化対象ブロックの予測画像を生成する予測画像生成処理ステップと、
    符号化手段が、前記符号化対象ブロックと前記予測画像の差分画像を圧縮し、前記差分画像の圧縮データを符号化する符号化処理ステップと、
    局部復号画像生成手段が、前記圧縮データを伸長して前記差分画像を復号し、その復号した差分画像と前記予測画像から局部復号画像を生成する局部復号画像生成処理ステップと、
    演算内容決定手段が、前記動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの周辺に存在している符号化済みブロックの局部復号画像に対して実施されているＳＡＯ演算の演算内容を加味して、前記局部復号画像生成処理ステップで生成された局部復号画像に対するＳＡＯ演算の演算内容を決定する演算内容決定処理ステップと、
    ＳＡＯ演算手段が、前記局部復号画像生成処理ステップで生成された局部復号画像に対して、前記演算内容決定処理ステップで決定された演算内容でのＳＡＯ演算を実施し、ＳＡＯ演算後の局部復号画像を前記フレームメモリに格納するＳＡＯ演算処理ステップと
    を備えた動画像符号化方法。
  6. 予測画像生成手段が、フレームメモリに保持されている既に符号化されている符号化済みブロックの局部復号画像を用いて、符号化対象ブロックに対する動き補償予測処理を実施して、前記符号化対象ブロックの予測画像を生成する予測画像生成処理ステップと、
    符号化手段が、前記符号化対象ブロックと前記予測画像の差分画像を圧縮し、前記差分画像の圧縮データを符号化する符号化処理ステップと、
    局部復号画像生成手段が、前記圧縮データを伸長して前記差分画像を復号し、その復号した差分画像と前記予測画像から局部復号画像を生成する局部復号画像生成処理ステップと、
    演算内容決定手段が、前記動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの局部復号画像に対して実施されているＳＡＯ演算の演算内容を加味して、前記局部復号画像生成処理ステップで生成された局部復号画像に対するＳＡＯ演算の演算内容を決定する演算内容決定処理ステップと、
    ＳＡＯ演算手段が、前記局部復号画像生成処理ステップで生成された局部復号画像に対して、前記演算内容決定処理ステップで決定された演算内容でのＳＡＯ演算を実施し、ＳＡＯ演算後の局部復号画像を前記フレームメモリに格納するＳＡＯ演算処理ステップとを備え、
    前記演算内容決定手段は、
    前記符号化対象ブロックと前記ＳＡＯ演算処理ステップによるＳＡＯ演算後の局部復号画像との類似度を算出する類似度算出ステップと、
    前記符号化対象ブロックの符号化後のブロックである符号化済みブロックの情報として、前記類似度算出ステップで算出された類似度及び前記ＳＡＯ演算処理ステップで実施されたＳＡＯ演算の演算内容を保持する情報保持ステップと、
    前記情報保持ステップで保持されている符号化済みブロックの情報のうち、前記予測画像生成処理ステップによる動き補償予測処理で探索される動きベクトルが指し示す符号化済みブロックの情報である類似度及びＳＡＯ演算の演算内容を取得し、その取得した類似度に応じて、その取得した演算内容の選択され易さを変える重み付け処理を施してから、予め用意されている複数の演算内容の中から、前記局部復号画像生成処理ステップで生成された局部復号画像に対するＳＡＯ演算の演算内容を選択する演算内容選択ステップとを備えていることを特徴とする動画像符号化方法。
JP2015560064A 2014-02-03 2015-02-02 動画像符号化装置及び動画像符号化方法 Expired - Fee Related JP6042001B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014018448 2014-02-03
JP2014018448 2014-02-03
PCT/JP2015/052856 WO2015115645A1 (ja) 2014-02-03 2015-02-02 動画像符号化装置及び動画像符号化方法

Publications (2)

Publication Number Publication Date
JP6042001B2 true JP6042001B2 (ja) 2016-12-14
JPWO2015115645A1 JPWO2015115645A1 (ja) 2017-03-23

Family

ID=53757210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015560064A Expired - Fee Related JP6042001B2 (ja) 2014-02-03 2015-02-02 動画像符号化装置及び動画像符号化方法

Country Status (5)

Country Link
US (1) US9756340B2 (ja)
EP (1) EP3104615B1 (ja)
JP (1) JP6042001B2 (ja)
CA (1) CA2934941C (ja)
WO (1) WO2015115645A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6192804B2 (ja) * 2014-03-05 2017-09-06 三菱電機株式会社 データ圧縮装置およびデータ圧縮方法
CN110495107A (zh) 2017-02-08 2019-11-22 因默希弗机器人私人有限公司 用于移动设备通信的天线控制
AU2018372561B2 (en) 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Image compression for digital reality
WO2019100109A1 (en) 2017-11-21 2019-05-31 Immersive Robotics Pty Ltd Frequency component selection for image compression
CN108259903B (zh) * 2018-04-10 2021-05-14 重庆邮电大学 基于人眼感兴趣区域的h.265样点自适应补偿方法
CN113808157B (zh) * 2021-11-18 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法、装置、及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09298753A (ja) * 1996-03-06 1997-11-18 Sony Corp 動画像符号化方法及び動画像符号化装置
WO2013001727A1 (ja) * 2011-06-30 2013-01-03 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2013062767A (ja) * 2011-09-15 2013-04-04 Nippon Hoso Kyokai <Nhk> 動画像符号化装置及びそのプログラム
JP2013541918A (ja) * 2011-01-09 2013-11-14 メディアテック インコーポレイテッド 効率的なサンプル適応オフセットの装置及び方法
WO2014005305A1 (en) * 2012-07-04 2014-01-09 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
JP2015076866A (ja) * 2013-10-11 2015-04-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8660174B2 (en) 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US10038903B2 (en) * 2011-06-22 2018-07-31 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation in video coding
WO2013002554A2 (ko) * 2011-06-28 2013-01-03 삼성전자 주식회사 픽셀 분류에 따른 오프셋 조정을 이용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09298753A (ja) * 1996-03-06 1997-11-18 Sony Corp 動画像符号化方法及び動画像符号化装置
JP2013541918A (ja) * 2011-01-09 2013-11-14 メディアテック インコーポレイテッド 効率的なサンプル適応オフセットの装置及び方法
WO2013001727A1 (ja) * 2011-06-30 2013-01-03 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2013062767A (ja) * 2011-09-15 2013-04-04 Nippon Hoso Kyokai <Nhk> 動画像符号化装置及びそのプログラム
WO2014005305A1 (en) * 2012-07-04 2014-01-09 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
JP2015076866A (ja) * 2013-10-11 2015-04-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015013193; Ｊａｅｈｗａｎ Ｊｏｏ， ｅｔ ａｌ．: 'Ｆａｓｔ Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ Ｅｎｃｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ＨＥＶＣ ｂａｓｅｄ ｏｎ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅ' ２０１３ ＩＥＥＥ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ - Ｂｅｒｌｉｎ （ＩＣＣＥ-Ｂｅｒｌｉｎ） , 20130909, ｐｐ．５０-５３, ＩＥＥＥ *

Also Published As

Publication number Publication date
US20170006290A1 (en) 2017-01-05
EP3104615A1 (en) 2016-12-14
JPWO2015115645A1 (ja) 2017-03-23
CA2934941C (en) 2017-03-07
US9756340B2 (en) 2017-09-05
EP3104615A4 (en) 2017-09-27
WO2015115645A1 (ja) 2015-08-06
CA2934941A1 (en) 2015-08-06
EP3104615B1 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
JP6042001B2 (ja) 動画像符号化装置及び動画像符号化方法
RU2510945C1 (ru) Способ и устройство для кодирования и декодирования изображения с использованием крупной единицы преобразования
EP2805499B1 (en) Video decoder, video encoder, video decoding method, and video encoding method
JP2013502140A (ja) 動きベクトルの正確度の調節を利用した映像符号化、復号化方法及び装置
US11375191B2 (en) Method and apparatus for adaptive transform in video encoding and decoding
US20170041606A1 (en) Video encoding device and video encoding method
CN112087628A (zh) 使用两级帧内搜索对视频进行编码
CN110870312B (zh) 用于视频压缩中的帧内编码的方法和设备
JP2016134860A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN115567722A (zh) 应用加速
JP2023168518A (ja) 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム
US10091514B1 (en) Apparatus and method for inter and intra mode selection and block partitioning
CN115836525B (zh) 用于从多个交叉分量进行预测的视频编码、解码方法和设备
JP2013098984A (ja) 画素ブロックを符号化及び再構成する方法、並びに対応する装置
JP2023053272A (ja) 画像符号化装置、画像復号装置、及びプログラム
JP5832263B2 (ja) 画像符号化装置及び画像符号化方法
KR100859073B1 (ko) 움직임 추정 방법
KR101841352B1 (ko) 참조 프레임 선택 방법 및 그 장치
JP6435822B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6080077B2 (ja) 画像符号化方法及び画像符号化装置
US10034011B2 (en) Video coding apparatus
RU2575868C2 (ru) Способ и устройство для кодирования и декодирования изображения с использованием крупной единицы преобразования
KR20220157765A (ko) 영상 부호화 장치 및 이의 동작 방법
JP2011166357A (ja) 画像符号化装置
JPWO2009128208A1 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161108

R150 Certificate of patent or registration of utility model

Ref document number: 6042001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees