JP5012647B2 - 画像処理装置およびその方法、並びにプログラム - Google Patents

画像処理装置およびその方法、並びにプログラム Download PDF

Info

Publication number
JP5012647B2
JP5012647B2 JP2008119200A JP2008119200A JP5012647B2 JP 5012647 B2 JP5012647 B2 JP 5012647B2 JP 2008119200 A JP2008119200 A JP 2008119200A JP 2008119200 A JP2008119200 A JP 2008119200A JP 5012647 B2 JP5012647 B2 JP 5012647B2
Authority
JP
Japan
Prior art keywords
motion vector
data
deblocking
hybrid
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008119200A
Other languages
English (en)
Other versions
JP2009272718A (ja
Inventor
勝彦 目次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008119200A priority Critical patent/JP5012647B2/ja
Priority to US12/431,869 priority patent/US8432971B2/en
Publication of JP2009272718A publication Critical patent/JP2009272718A/ja
Application granted granted Critical
Publication of JP5012647B2 publication Critical patent/JP5012647B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Description

本発明は、デジタル画像を処理する画像処理装置およびその方法、並びにプログラムに関するものである。
近年、画像情報をデジタル化して取り扱い、その際、効率の高い情報の伝達および蓄積を目的とし、画像情報特有の冗長性を利用した画像処理装置が普及している。
特に、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交変換と動き補償とにより圧縮するＭＥＰＧ（Moving Picture Experts Group）などの方式に準拠した装置が普及している。
この種のビデオコーデックの仕様として、たとえばＶＣ-１が知られている。
ＶＣ-１では、浮動小数点精度の離散コサイン変換（ＤＣＴ）の代わりに整数変換を採用している。
このＶＣ-１では、ピクチャ単位で動きベクトルの画素精度を１／２と１／４のうちのいずれからか選択可能な、いわゆる分数精度画素動き補償を行っている。ちなみに、ＭＰＥＧ‐４パート２では、ストリーム単位でしか画素精度を選択できない。
また、ＭＰＥＧ‐４では、動きベクトルをより小さい符号量で表現できるように、上、右上、左に隣接するマクロブロック（ＭＢ）の動きベクトルの中間値を予測ベクトルとして実際の動きベクトルと予測ベクトルの誤差を符号化する、いわゆるメジアン予測が行われる。
このメジアン予測の場合、局所的に大きさや向きが大幅に異なる動きベクトルが出現した場合、予測によって逆に符号量が増大するときがある。
ＶＣ‐１では、このメジアン予測を用いず、上ないし左のマクロブロックの動きベクトルをそのまま予測値として利用するマクロブロックを指定できる、ハイブリッド動きベクトル予測が行われる。
そして、ＶＣ‐１においては、１スライス（ピクチャ）内での各マクロブロック（ＭＢ）の逆量子化（ＩＱ）、逆直交変換（ＩＤＣＴ）等を終了し、同一スライス内に含まれる全ＭＢデータを復号した後、ノイズ低減のためのデブロッキング処理が行われる。
ＶＣ‐１のデブロッキングはループフィルタ（Ｌｏｏｐ Ｆｉｌｔｅｒ）で行われる。
この場合、図１に示すように、ループフィルタにおいて、ブロック境界の２画素値の平均化が行われる。
このデブロッキング処理においては、フレームに対応した処理が行われる。
Ｉ／Ｂ／ＢＩフレームの場合、ブロックサイズを８x８の固定で全境界をデブロッキングする。
Ｐフレームの場合、図２に示すように、ブロックサイズ可変(８x８、８x４、４x８、４x４)であり、デブロッキング実行の条件は次の通りである。
１）ブロックのイントラ係数（intra coeff）がゼロでないブロックの境界、
２）隣接するブロックと動きベクトルの差分があるブロック、
にてデブロッキングが実行される。
図３は、Ｐフレームの動きベクトルの差分計算を説明するために模式的に示す図である。
動きベクトルの差分計算は、現在のマクロブロックＭＢＣＵＲに隣接する２つのマクロブロック、具体的には、上に隣接するマクロブロックＭＢＡＢＶと左に隣接するマクロブロックＭＢＬＦとの動きベクトルデータとの差分を計算する。
すなわち、図３に示すように、隣接する２つのマクロブロックの動きベクトルデータ (above_mv, left_mv) と現在のブロックの動きベクトルデータ (cur_mv) の差分を計算する。
この場合、それぞれの動きベクトルデータ取得時にメモリアクセスが発生する。
ＶＣ‐１のデブロッキングフィルタのうち、ビットストリームで制御を行う技術については、特許文献１に提案されている。
特開２００５-８６８３０号公報
ＶＣ−１のビデオデコーダのＰフレームでは、次の２つの方法によって各ブロック境界でのデブロッキングの実行の必要性を判定する。
（１）ブロック境界で隣接する２つのブロックの動きベクトル同士を比較し、動きベクトルが異なる場合にそのブロック境界でデブロッキングを行う。
（２）あるブロックのデータが、そのブロックが参照する画像のデータのみで構成されず、ビットストリームからデータの追加を行う場合、そのブロックが接するブロック境界でデブロッキングを行う。
上記（１）の判定を行うためには、メモリアクセスを行ってメモリに格納された動きベクトルデータをロードする必要がある。
隣接する２つのブロックの動きベクトルのデータを比較するためには、２つのブロックの動きベクトルデータがそれぞれ縦方向と横方向データを持つため、４回のメモリアクセスが発生する。
図４は、隣接する動きベクトルのメモリ上のデータ配置例を示す図である。
図４に示すように、上下に隣接するブロックの動きベクトルはメモリ上では隣接していない上のブロックは前回のアクセス(上のブロックの動きベクトルの差分計算時)から時間が経っているためキャッシュミスの可能性が高い。
本発明は、デブロッキング処理時におけるメモリの動きベクトルデータへのアクセス回数を削減でき、ひいてはキャッシュミスを低減でき、全体処理の高速化を実現可能な画像処理装置およびその方法、並びにプログラムを提供することにある。
本発明の第１の観点の画像処理装置は、ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化する逆量子化部と、逆量子化された係数データに対して逆直交変換処理を施し、復号画像データを出力する逆直交変換部と、可変長復号化処理を受けたデータによる動きベクトルのデコード結果によりハイブリッド動きベクトル予測を行い、その結果を動きベクトルデータとして形成し、デブロッキング実行時にハイブリッド動きベクトル予測の結果を再利用可能になるように、上記動きベクトルデータにデブロッキングの実行の必要性を示すハイブリッド予測情報を埋め込む動きベクトル予測部と、上記動きベクトル予測部による動きベクトルデータを受けて上記逆直交変換部の出力画像データの動き補償を行う動き補償部と、上記動きベクトルデータのハイブリッド予測情報に応じて、上記動き補償された復号画像データのデブロッキング処理を行うデブロッキング処理部と、現在および比較対象の上記動きベクトルデータが隣接または非隣接の状態で格納され、上記デブロッキング処理部によりアクセス可能なメモリと、を有し、上記動きベクトルデータは、参照画像上の位置を表す垂直方向と水平方向のそれぞれに対応して形成され、上記動きベクトル予測部は、動きベクトルデータを表すビット列の中に、動きベクトルデータを使用する演算に必要のないビットに上記ハイブリッド予測情報を埋め込み、上記デブロッキング処理部は、上記埋め込まれたハイブリッド予測情報に応じて、デブロッキングの実行の必要性の判定を行う。
好適には、上記動きベクトル予測部は、比較対象の動きベクトルと現在の動きベクトルとの差分の絶対値が閾値より大きいか否かを示す情報を上記ハイブリッド予測情報として埋め込み、上記デブロッキング処理部は、上記埋め込まれたハイブリッド予測情報が、比較対象の動きベクトルと現在の動きベクトルとの差分の絶対値が閾値より大きいことを示しているか否かに応じて、デブロッキングの実行の必要性の判定を行う。
好適には、上記動きベクトルデータは、固定小数点形式のデータとして形成される。
好適には、上記動きベクトルデータは、符号ビット部、整数部、小数部を含む固定小数点形式であり、最下位ビット側に上記ハイブリッド予測情報が設定される。
本発明の第２の観点の画像処理方法は、ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化する逆量子化ステップと、逆量子化された係数データに対して逆直交変換処理を施し、復号画像データを出力する逆直交変換ステップと、符号化されたデータを受けて可変長復号化処理を行い、このデータによる動きベクトルをデコードするデコードステップと、デコード結果によりハイブリッド動きベクトル予測を行い、その結果を動きベクトルデータとして生成する動きベクトル生成ステップと、デブロッキング実行時にハイブリッド動きベクトル予測の結果を再利用可能になるように、動きベクトルデータにデブロッキングの実行の必要性を示すハイブリッド予測情報を埋め込む動きベクトル予測ステップと、現在および比較対象の上記動きベクトルデータをデブロッキング処理でアクセス可能にメモリに隣接または非隣接の状態で格納する格納ステップと、動きベクトルデータを受けて上記逆直交変換ステップの出力画像データの動き補償を行う動き補償ステップと、上記動きベクトルデータのハイブリッド予測情報に応じて、上記動き補償された復号画像データのデブロッキング処理を行うデブロッキングステップと、を有し、上記動きベクトルデータは、参照画像上の位置を表す垂直方向と水平方向のそれぞれに対応して形成され、上記動きベクトル予測ステップでは、動きベクトルデータを表すビット列の中に、動きベクトルデータを使用する演算に必要のないビットに上記ハイブリッド予測情報を埋め込み、上記デブロッキングステップでは、上記埋め込まれたハイブリッド予測情報に応じて、デブロッキングの実行の必要性の判定を行う。
本発明の第３の観点は、ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化する逆量子化処理と、逆量子化された係数データに対して逆直交変換処理を施し、復号画像データを出力する逆直交変換処理と、符号化されたデータを受けて可変長復号化処理を行い、このデータによる動きベクトルをデコードするデコード処理と、デコード結果によりハイブリッド動きベクトル予測を行い、その結果を動きベクトルデータとして生成する動きベクトル生成処理と、デブロッキング実行時にハイブリッド動きベクトル予測の結果を再利用可能になるように、動きベクトルデータにデブロッキングの実行の必要性を示すハイブリッド予測情報を埋め込む動きベクトル予測処理と、現在および比較対象の上記動きベクトルデータをデブロッキング処理でアクセス可能にメモリに隣接または非隣接の状態で格納する格納処理と、上記動きベクトルデータをデブロッキング処理でアクセス可能にメモリに格納する格納処理と、動きベクトルデータを受けて上記逆直交変換処理の出力画像データの動き補償を行う動き補償処理と、上記動きベクトルデータのハイブリッド予測情報に応じて、上記動き補償された復号画像データのデブロッキング処理を行うデブロッキング処理と、を含み、上記動きベクトルデータは、参照画像上の位置を表す垂直方向と水平方向のそれぞれに対応して形成され、上記動きベクトル予測処理では、動きベクトルデータを表すビット列の中に、動きベクトルデータを使用する演算に必要のないビットに上記ハイブリッド予測情報を埋め込み、上記デブロッキング処理では、上記埋め込まれたハイブリッド予測情報に応じて、デブロッキングの実行の必要性の判定を行う画像処理をコンピュータに実行させるプログラムである。
本発明によれば、動きベクトル予測部において、ハイブリッド動きベクトル予測が行われ、その予測結果を動きベクトルデータとして生成される。そして、デブロッキング実行時にハイブリッド動きベクトル予測の結果が再利用可能となるように、動きベクトルデータにデブロッキングの実行性の必要性を示すハイブリッド予測情報が埋め込まれる。
デブロッキング処理部においては、動きベクトルデータのハイブリッド予測情報に応じて、動き補償された復号画像データのデブロッキング処理が行われる。
本発明によれば、デブロッキング処理時におけるメモリの動きベクトルデータへのアクセス回数を削減でき、ひいてはキャッシュミスを低減でき、全体処理の高速化を実現可能である。
以下、本発明の実施の形態を図面に関連付けて説明する。
図５は、本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
本画像処理装置１００は、図５に示すように、ストリーム分離部（ＢＩＴＳＴＲＥＡＭ
ＰＡＲＳＩＮＧ）１１０、イントラＭＢ（マクロブロック）処理部１２０、インタＭＢ処理部１３０、動きベクトルデコードおよび予測部１４０、動き補償部１５０、加算部１６０、デブロッキング処理部としてのループフィルタ１７０、フレームバッファ１８０、および強度補償部１９０を有する。
また、図５において、符号２００は、デコードされたフレームを示している。
本実施形態の画像処理装置１００は、ノイズ低減のためのデブロッキングフィルタをもつようなビデオコーデックの信号処理においてデブロッキング実行に際して動きベクトルデコードおよび予測部１４０におけるハイブリッド動きベクトル予測結果を再利用する。
本実施形態の画像処理装置１００は、特徴的な構成として、動きベクトル予測部と、動き補償部１５０と、デブロッキング処理部１７０とを有する。
動きベクトル予測部は、可変長復号化処理したデータによる動きベクトルのデコード結果によりハイブリッド動きベクトル予測を行う。動きベクトル予測部は、その結果を動きベクトルデータとして生成し、デブロッキング実行時にハイブリッド動きベクトル予測の結果を再利用可能になるように動きベクトルデータにデブロッキングの実行の必要性を示すハイブリッド予測情報を埋め込む。動き補償部１５０は、動きベクトルデータを受けて画像データの動き補償を行う。デブロッキング処理部１７０は、動きベクトルデータのハイブリッド予測情報に応じて、動き補償された復号画像データのデブロッキング処理を行う。
本実施形態の画像処理装置１００においては、たとえば図６に示すように、隣接する２つのブロックの動きベクトルデータ (predictor_A, predictor_B) と現在のブロックの動きベクトルデータ (cur_mv) の差分を計算する。
そして、画像処理装置１００は、計算の結果、ｘ差分（水平方向の差分）とｙ差分（垂直方向の差分）の和が所定の値３２より大きい場合、比較対象の動きベクトルで現在の動きベクトルを置換するように構成することが可能である。このことにより、デブロッキング処理時におけるメモリの動きベクトルデータへのアクセス回数を削減し、キャッシュミスを低減し、全体処理の高速化が実現される。
以下に、画像処理装置１００の各部の構成、機能について具体的に説明する。
ストリーム分離部１１０は、入力されたビットストリームをヘッダ情報等に応じてイントラＭＢデータをイントラＭＢ処理部１２０に供給し、インタＭＢデータをインタＭＢ処理部１３０に供給し、動き検出に必要なデータを動きベクトルおよび予測部１４０に供給する。
イントラＭＢ処理部１２０は、可変長復号化部（ＶＬＤ）１２１、ＡＣ／ＤＣ予測部１２２、逆量子化部（ＩＱ）１２３、逆直交変換部１２４、およびオーバラップスムージング部１２５を有する。
可変長復号化部１２１は、符号化されたデータを受けて可変長復号化処理を行い、処理の結果得られた量子化データをＡＣ／ＤＣ予測部１２２に出力する。
ＡＣ／ＤＣ予測部１２２は、可変長復号化部１２１による量子化データに基づいてＡＣ／ＤＣ予測を行い、その結果データを逆量子化部１２３に出力する。
ＤＣ予測とは、隣接した「左マクロブロック（ＭＢ）と左上ＭＢのＤＣ成分の変化量」と「左上ＭＢと上ＭＢのＤＣ成分の変化量」を比較して、より傾きの小さい方向からが現在のＭＢのＤＣ成分を予測する方式である。
ＡＣ予測とは、フレーム間予測を用いずに符号化された画素ブロックについて、単純にＤＣＴ（離散コサイン変換）の係数を量子化して符号化するのではない。
ＡＣ予測とは、ＤＣＴ係数行列のうち最上列または最左行の値について、上または左の隣接ブロックの値の差分を符号化することによって符号量を削減する方式である。
逆量子化部１２３は、ＡＣ／ＤＣ予測部１２２による量子化データをマクロブロック（ＭＢ）ごとに、たとえば１６画素×１６ライン（あるいは８画素×８ライン、４画素×４ライン）のブロック単位で逆量子化する。
逆量子化部１２３は、得られたＤＣＴ（Discrete Cosine Transform：離散コサイン変換）係数データを逆直交変換部１２４に出力する。
逆直交変換部１２４は、逆量子化部１２３により供給されるＤＣＴ係数データに対して逆ＤＣＴ（ＩＤＣＴ）処理を行い、得られた画素データをオーバラップスムージング部１２５に出力する。
オーバラップスムージング部１２５は、逆直交変換部１２４による画像データのブロック境界での歪みを軽減するために、ブロック境界をスムージングする（滑らかにする）フィルタリング処理を行う。
オーバラップスムージング部１２５は、処理後の画像データをデブロッキング処理部としてのループフィルタ１７０に出力する。
インタＭＢ処理部１３０は、可変長復号化部１３１、逆量子化部１３２、および逆直交変換部１３３を有する。
可変長復号化部１３１は、符号化されたデータを受けて可変長復号化処理を行い、処理の結果得られた量子化データを逆量子化部１３２に出力する。
逆量子化部１３２は、可変長復号化部１３１による量子化データをマクロブロック（ＭＢ）ごとに、たとえば１６画素×１６ライン（あるいは８画素×８ライン、４画素×４ライン）のブロック単位で逆量子化する。
逆量子化部１３２は、得られたＤＣＴ（Discrete Cosine Transform：離散コサイン変換）係数データを逆直交変換部１３３に出力する。
逆直交変換部１３３は、逆量子化部１３２により供給されるＤＣＴ係数データに対して逆ＤＣＴ（ＩＤＣＴ）処理を行い、得られた画素データを加算部１６０に出力する。
動きベクトルデコードおよび予測部１４０は、動きベクトル（ＭＶ）デコード部１４１および動きベクトル（ＭＶ）予測部１４２を有する。
動きベクトルデコード部１４１は、符号化されたデータを受けて可変長復号化処理を行い、このデータによる動きベクトルをデコードし、動きベクトル予測部１４２に出力する。
動きベクトル予測部１４２は、デコード結果により動きベクトルの予測、すなわちハイブリッド動きベクトル予測を行う。
動きベクトル予測部１４２は、予測結果を動きベクトルデータとして生成し、デブロッキング実行時にハイブリッド動きベクトル予測の結果を再利用可能になるように、動きベクトルデータにデブロッキングの実行の必要性を示すハイブリッド予測情報を埋め込む。 動きベクトル予測部１４２は、ハイブリッド予測情報を埋め込みに際して、たとえば最下位ビットに０，１で設定する。
動きベクトル予測部１４２は、ハイブリッド予測情報が埋め込まれた動きベクトルデータを動きベクトル補償部１５０に出力する。
そして、動きベクトルデータはメモリＭＲＹに格納される。メモリＭＲＹは、デブロッキング処理部としてのループフィルタ１７０によりアクセスされる。
ここで、本実施形態に係る動きベクトルデータとハイブリッド動きベクトル予測処理について説明する。
図７は、本実施形態に係る動きベクトルデータの構成例を示す図である。
ＶＣ-１の動きベクトルデータ３００は、図７に示すように、参照画像上の位置を表す縦方向（垂直方向）と横方向（水平方向）がそれぞれ（１）符号ビット部３１０、（２）整数部３２０、（３）小数部３３０をもつ固定小数点形式を有する。
動きベクトルデータ３００の整数部３２０と小数部３３０のビット長は規格で規定されていないため、対象となる動画像をデコードするのに十分なビット長があれば、デコーダの実装者が自由に決定することが可能である。
小数部３３０は動き補償の１／４ピクセル精度を満たすため最低２ビット必要である。整数部３２０は高精細（ＨＤ）の動画像をデコードするための横方向の解像度２０４８ピクセルを表現できる１１ビットで十分である。
そのため、動きベクトルデータを１６ビットのデータとして格納するシステムの場合、動きベクトルデータ中に使用されないビットが発生する。
本実施形態においては、上記のように動きベクトルデータに使用されないビットがある場合に、その使用されないビットを動きベクトルデータの最下位ビットになるよう動きベクトルデータの形式を設定し（図７の網掛け部）、デブロッキングに先行して行われるハイブリッド動きベクトル予測の差分計算の結果をその動きベクトルデータの最下位ビット３４０に格納し、その結果を利用してデブロッキングの実行の必要性の判定を行う。
ハイブリッド動きベクトル予測は、動きベクトル予測の一部を構成する処理である。動きベクトル予測で予測したあるブロックの動きベクトルと周辺のブロックの動きベクトルとの比較を行った結果の差分が閾値を超える場合に、そのブロックの動きベクトルを、比較を行ったブロックの動きベクトルで置き換える処理を行う。
ハイブリッド動きベクトル予測で行う差分計算の結果は、縦方向と横方向の動きベクトルの差分絶対値を加算したものであり、最大１６ビットの正の整数である。
本実施形態においては、比較命令を使用してその差分情報を差分があるときに１、ないときに０の１ビットのデータにする。
こうすることで差分情報は１ビットになる。
本実施形態の処理を要約すると図８（Ａ）〜（Ｅ）に示すようになる。
ハイブリッド動きベクトル予測によって得られた動きベクトルデータ３００は、本実施形態の手法で縦または横のどちらかのデータの最下位ビットにそのベクトルの差分情報が埋め込まれる（図８（Ａ））。
動きベクトルデータを動き補償で使用する際は差分情報をマスクして動きベクトルデータのみを取り出して（図８（Ｂ））入力する（図８（Ｄ））。
また、動きベクトルデータをデブロッキングで使用する際は動きベクトルデータをマスクして差分情報のみを取り出して（図８（Ｃ））入力する（図８（Ｅ））。
動き補償部１５０は、動きベクトルデータ３００を受けてピクチャ単位で動きベクトルの画素精度を１／２と１／４のうちのいずれからか選択可能で、いわゆる分数精度画素動き補償を行う。
動き補償部１５０は、動きベクトルデコードおよび予測部１４０により動作が制御され、加算部１６０でそのとき処理しているものがＩピクチャである場合、この加算部１６０に対して何らデータを供給しない。
動き補償部１５０は、加算部１６０でそのとき処理しているものがＰピクチャである場合、フレームバッファ１８０における過去のフレームに相当する画像データを読み出し、これに所定の演算処理を行って得られた演算データを加算部１６０に供給する。
また、動き補償部１５０は、加算部１６０でそのとき処理しているものがＢピクチャである場合、フレームバッファ１８０における過去および未来のフレームに相当する画像データを読み出し、これに所定の演算処理を行って得られた演算データを加算部１６０に供給する。
なお、強度補償部１９０は、フレームバッファ１８０のデータのスケーリング等を行う。
加算部１６０は、インタＭＢ処理部１３０の出力画像データと動き補償部１５０によるデータとを加算処理してデブロッキング処理部としてのループフィルタ１７０に出力する。
ループフィルタ１７０は、たとえばメモリ等に格納されている動きベクトルデータ３００の最下位ビット３４０の１ビットの差分情報に応じてデブロッキング処理を行う。
ループフィルタ１７０は、差分情報が計算の結果、ｘ差分（水平方向の差分）とｙ差分（垂直方向の差分）の和が所定の値３２より大きい場合を示しているときは次の処理を行う。
すなわち、ループフィルタ１７０は、比較対象の動きベクトルで現在の動きベクトルを置換することにより、デブロッキング処理時におけるメモリの動きベクトルデータへのアクセス回数を削減し、キャッシュミスを低減し、全体処理の高速化を実現している。
次に、上記構成に基づく、本実施形態におけるハイブリッド動きベクトル予測およびデブロッキング時の動作を、ＶＣ‐１のデブロッキング実行判定動作原理を含めて、より具体的に説明する。
ここでは、Ｐフレームの場合について説明する。
＜デブロッキング実行判定＞
ＶＣ-１ビデオデコーダのＰフレームでは、次の２つの方法によって各ブロック境界でのデブロッキングの実行の必要性を判定する。
（１）ブロック境界で隣接する２つのブロックの動きベクトル同士を比較し、動きベクトルが異なる場合にそのブロック境界でデブロッキングを行う。
（２）あるブロックのデータが、そのブロックが参照する画像のデータのみで構成されず、ビットストリームからデータの追加を行う場合、そのブロックが接するブロック境界でデブロッキングを行う。
上記（１）の判定を行うためには、メモリアクセスを行ってメモリに格納された動きベクトルデータをロードする必要がある。隣接する２つのブロックの動きベクトルのデータを比較するためには、２つのブロックの動きベクトルデータがそれぞれ縦方向と横方向データを持つため、４回のメモリアクセスが発生する。
しかしながら、ＶＣ-１ビデオデコーダでは、デブロッキングに先行して行われるハイブリッド動きベクトル予測にて隣接する２つのブロックの動きベクトルの比較を行っているため、その結果を利用することが可能である。
本実施形態においては、デブロッキング実行時にハイブリッド動きベクトル予測の結果を再利用可能とすることにより、本来必要のないメモリアクセスをなくし、この動きベクトルデータへの４回のメモリアクセス数を削減している。
＜デブロッキング実行判定時の動きベクトルデータ参照＞
図９は横方向８０ピクセル、縦方向６４ピクセルのフレームを１６x１６のマクロブロック(ＭＢ)単位に分割し、それぞれのＭＢに識別のためのアルファベットを付して示す図である。
図１０は、図９におけるＭＢ‐Ｍのデブロッキング実行判定時の参照ＭＢについて示す図である。
図１１は、動きベクトルを使用したデブロッキング実行判定の基本的な処理を示すフローチャートである。
ＶＣ-１ではデブロッキング実行判定時に、たとえばＭのＭＢ境界でデブロッキングの実行を行うか否かを、図１０に示すように、ＭＢ‐ＨとＭＢ‐Ｌのそれぞれの動きベクトル（ＭＶ_ＨおよびＭＶ_Ｌ）を、ＭＢ‐Ｍの動きベクトル（ＭＶ_Ｍ）と比較し（ＳＴ１，ＳＴ２）、差分があった場合には差分のあるＭＢとの境界のデブロッキングを行う（ＳＴ３，ＳＴ４）、という処理を行う。
これらから、ＭＢ‐Ｍのデブロッキング実行判定を行うためにはＭＢ‐ＨとＭＢ‐Ｌそれぞれの動きベクトル（ＭＶ_Ｈ，ＭＶ_Ｌ)のデータが必要となることがわかる。
図１２は、動きベクトルデータのメモリ上の配置の一例を示す図である。
図１２の例においては、動きベクトルＭＶ_Ｌのデータは動きベクトルＭＶ_Ｍのデータとメモリ上で隣接しているが、動きベクトルＭＶ_Ｈのデータは動きベクトルＭＶ_Ｍのデータとメモリ上で隣接していないことがわかる。
そのため、ＭＢ‐Ｍのデブロッキング実行判定において、動きベクトルＭＶ_Ｈのデータへのアクセス時にキャッシュミスの可能性が高くなる。
＜ハイブリッドＭＶ予測結果の利用によるデブロッキング時のＭＶデータ参照によるメモリアクセスの削減＞
本実施形態においては、前述したように、デブロッキング実行判定の際の隣接するＭＢの動きベクトルＭＶデータの参照によるメモリＭＲＹへのアクセスでのキャッシュミスを避けるため、「ハイブリッドＭＶ予測結果の再利用」を実現している。
ハイブリッド動きベクトル（ＭＶ）予測とは、通常のＭＶ予測に加え、予測されたＭＶと隣接するＭＶとの差分がある閾値を上回った場合に、このＭＶを隣接するＭＶで置き換える処理である。
図１３は、ハイブリッド動きベクトル（ＭＶ）予測をＭＢ‐Ｍに行った場合のデブロッキング判定処理のフローチャートを示す図である。
図１３に示すように、まず、動きベクトル予測部１４２において、縦方向（垂直方向）の動きベクトルＭＶ_Ｈと動きベクトルＭＶ_Ｍの差分の絶対値ＳＵＭを計算する（ＳＴ１１）。
そして、動きベクトル予測部１４２にて、差分の絶対値ＳＵＭが閾値３２より大きいか否かの判別を行う（ＳＴ１２）。
ここで、差分の絶対値ＳＵＭが閾値３２より大きい場合には、動きベクトル予測部１４２は、動きベクトルデータの最下位ビット３４０にハイブリッドフラグＨＹＢＲＩＤＰＲＥＤに「１」を設定する。
差分の絶対値ＳＵＭが閾値３２より大きくない場合には、動きベクトル予測部１４２は、動きベクトルデータの最下位ビット３４０にハイブリッドフラグＨＹＢＲＩＤＰＲＥＤに「０」を設定する。
そして、動き補償部１５０による動き補償を受けたインタＭＢの復号画像データは、加算部１６０を介してデブロッキング処理部としてのループフィルタ１７０に入力される。
なお、ハイブリッドフラグＨＹＢＲＩＤＰＲＥＤは、ＶＣ−１ストリーム中でハイブリッド予測を行う際に「左」または「上」のいずれのブロックのベクトルを使用するかを指定するためのフラグである。
デブロッキング処理部としてのループフィルタ１７０においては、デブロッキング実行判定において、動きベクトルデータ３００の最下位ビット３４０のハイブリッドフラグＨＹＢＲＩＤＰＲＥＤが「１」であるか否かの判別を行う（ＳＴ１３）。
ループフィルタ１７０においては、ハイブリッドフラグＨＹＢＲＩＤＰＲＥＤが「１」である場合には、比較対象の動きベクトルＭＶ_Ｈで現在の動きベクトルＭＶ_Ｍを置換する（ＳＴ１４）。
ループフィルタ１７０においては、ハイブリッドフラグＨＹＢＲＩＤＰＲＥＤが「０」である場合には、比較対象の動きベクトルＭＶ_Ｌで現在の動きベクトルＭＶ_Ｍを置換する（ＳＴ１５）。
以上の処理と並行して、動きベクトル予測部１４２において、横方向（水平方向）の動きベクトルＭＶ_Ｌと動きベクトルＭＶ_Ｍの差分の絶対値ＳＵＭを計算する（ＳＴ１６）。
そして、動きベクトル予測部１４２にて、差分の絶対値ＳＵＭが閾値３２より大きいか否かの判別を行う（ＳＴ１７）。
ここで、差分の絶対値ＳＵＭが閾値３２より大きい場合には、動きベクトル予測部１４２は、動きベクトルデータの最下位ビット３４０にハイブリッドフラグＨＹＢＲＩＤＰＲＥＤに「１」を設定する。
差分の絶対値ＳＵＭが閾値３２より大きくない場合には、動きベクトル予測部１４２は、動きベクトルデータの最下位ビット３４０にハイブリッドフラグＨＹＢＲＩＤＰＲＥＤに「０」を設定する。
そして、動き補償部１５０による動き補償を受けたインタＭＢの復号画像データは、加算部１６０を介してデブロッキング処理部としてのループフィルタ１７０に入力される。
デブロッキング処理部としてのループフィルタ１７０においては、デブロッキング実行判定において、動きベクトルデータ３００の最下位ビット３４０のハイブリッドフラグＨＹＢＲＩＤＰＲＥＤが「１」であるか否かの判別を行う（ＳＴ１８）。
ループフィルタ１７０においては、ハイブリッドフラグＨＹＢＲＩＤＰＲＥＤが「１」である場合には、比較対象の動きベクトルＭＶ_Ｈで現在の動きベクトルＭＶ_Ｍを置換する（ＳＴ１９）。
ループフィルタ１７０においては、ハイブリッドフラグＨＹＢＲＩＤＰＲＥＤが「０」である場合には、比較対象の動きベクトルＭＶ_Ｌで現在の動きベクトルＭＶ_Ｍを置換する（ＳＴ２０）。
このように、デブロッキング実行判定処理で行うＭＶの差分計算は、動きベクトル予測部１４２におけるハイブリッドＭＶ予測処理によって既に行われている。
このため、本実施形態においては新たなデータをロード/ストアを行うことなくその結果を再利用することができように処理されており、デブロッキングの実行判定処理時に周辺の動きベクトル（ＭＶ）データにアクセスする必要がない。
次に、ハイブリッド動きベクトル予測時に動きベクトルの差分情報を動きベクトル（ＭＶ）データに埋め込む処理について説明する。
図１４は、ハイブリッド動きベクトル予測時に動きベクトルの差分情報を動きベクトル（ＭＶ）データに埋め込む処理のフローチャートを示す図である。
図１４に示すように、まず、動きベクトル予測部１４２において、縦方向（垂直方向）の動きベクトルＭＶ_Ｈと動きベクトルＭＶ_Ｍの差分の絶対値ＳＵＭを計算する（ＳＴ２１）。
そして、動きベクトル予測部１４２にて、差分の絶対値ＳＵＭが０であるか否かの判別を行う（ＳＴ２２）。ステップＳＴ２２において、０でないと判別すると、現在の動きベクトルＭＶ_Ｍを０ｘ１とする（ここでの０ｘは１６進（ヘキサ）を示す）（ＳＴ２３）。
次に、動きベクトル予測部１４２にて、差分の絶対値ＳＵＭが閾値３２より大きいか否かの判別を行う（ＳＴ２４）。
ここで、差分の絶対値ＳＵＭが閾値３２より大きい場合には、動きベクトル予測部１４２は、動きベクトルデータの最下位ビット３４０にハイブリッドフラグＨＹＢＲＩＤＰＲＥＤに「１」を設定する。
差分の絶対値ＳＵＭが閾値３２より大きくない場合には、動きベクトル予測部１４２は、動きベクトルデータの最下位ビット３４０にハイブリッドフラグＨＹＢＲＩＤＰＲＥＤに「０」を設定する。
そして、動きベクトル予測部１４２において、ハイブリッドフラグＨＹＢＲＩＤＰＲＥＤが「１」である場合には（ＳＴ２５）、比較対象の動きベクトルＭＶ_Ｈの差分情報を現在の動きベクトルＭＶ_Ｍに埋め込む（ＳＴ２６）。この場合、動きベクトルＭＶ_Ｈの情報として、図１４の例では、「０ｘｆｆｆｅｆｆｆｅ」が埋め込まれる。
動きベクトル予測部１４２において、ハイブリッドフラグＨＹＢＲＩＤＰＲＥＤが「０」である場合には、比較対象の動きベクトルＭＶ_Ｌの差分情報を現在の動きベクトルＭＶ_Ｍに埋め込む（ＳＴ２７）。この場合、動きベクトルＭＶ_Ｌの情報として、図１４の例では、「０ｘｆｆｆｅｆｆｆｅ」が埋め込まれる。
以上の処理と並行して、動きベクトル予測部１４２において、横方向（水平方向）の動きベクトルＭＶ_Ｌと動きベクトルＭＶ_Ｍの差分の絶対値ＳＵＭを計算する（ＳＴ２８）。
そして、動きベクトル予測部１４２にて、差分の絶対値ＳＵＭが０であるか否かの判別を行う（ＳＴ２９）。ステップＳＴ２９において、０でないと判別すると、現在の動きベクトルＭＶ_Ｍを０ｘ１００００とする（ＳＴ３０）。
次に、動きベクトル予測部１４２にて、差分の絶対値ＳＵＭが閾値３２より大きいか否かの判別を行う（ＳＴ３１）。
ここで、差分の絶対値ＳＵＭが閾値３２より大きい場合には、動きベクトル予測部１４２は、動きベクトルデータの最下位ビット３４０にハイブリッドフラグＨＹＢＲＩＤＰＲＥＤに「１」を設定する。
差分の絶対値ＳＵＭが閾値３２より大きくない場合には、動きベクトル予測部１４２は、動きベクトルデータの最下位ビット３４０にハイブリッドフラグＨＹＢＲＩＤＰＲＥＤに「０」を設定する。
そして、動きベクトル予測部１４２において、ハイブリッドフラグＨＹＢＲＩＤＰＲＥＤが「１」である場合には（ＳＴ３２）、比較対象の動きベクトルＭＶ_Ｈの差分情報を現在の動きベクトルＭＶ_Ｍに埋め込む（ＳＴ３３）。この場合、動きベクトルＭＶ_Ｈの情報として、図１４の例では、「０ｘｆｆｆｅｆｆｆｅ」が埋め込まれる。
動きベクトル予測部１４２において、ハイブリッドフラグＨＹＢＲＩＤＰＲＥＤが「０」である場合には、比較対象の動きベクトルＭＶ_Ｌの差分情報を現在の動きベクトルＭＶ_Ｍに埋め込む（ＳＴ２７）。この場合、動きベクトルＭＶ_Ｌの情報として、図１４の例では、「０ｘｆｆｆｅｆｆｆｅ」が埋め込まれる。
このように、本実施形態においては、ハイブリッド動きベクトル（ＭＶ）予測の際に、図１４のように、動きベクトルの差分情報をＭＶに埋め込む。差分情報を埋め込む位置は、図７の通りである。
既に述べたように、差分情報の埋め込み位置は、動きベクトルの成分である１６ビット固定小数点数の小数部最下位ビットであるが、小数部に必要とされる精度は２ビットなので、最下位ビットは使用されない。そのため、差分情報を埋め込んでも動きベクトルのデータそのものは失われることはない。
動きベクトルデータの使用時には差分情報をマスクし、差分情報の使用時には動きベクトルデータをマスクすることで、双方に影響を与えることなく使用が可能である。
以上説明したように、本実施形態によれば、画像処理装置１００は、特徴的な構成として、動きベクトル予測部１４２と、動き補償部１５０と、デブロッキング処理部１７０とを有している。
動きベクトル予測部１４２は、ノイズ低減のためのデブロッキングフィルタをもつようなたとえばビデオコーデックの信号処理において、可変長復号化処理したデータによる動きベクトルのデコード結果によりハイブリッド動きベクトル予測を行う。
動きベクトル予測部１４２は、その結果を動きベクトルデータとして生成し、デブロッキング実行時にハイブリッド動きベクトル予測の結果を再利用可能になるように動きベクトルデータにデブロッキングの実行の必要性を示すハイブリッド予測情報を埋め込む。
動き補償部１５０は、動きベクトルデータを受けて画像データの動き補償を行う。
デブロッキング処理部１７０は、動きベクトルデータのハイブリッド予測情報に応じて、動き補償された復号画像データのデブロッキング処理を行う。
そして、画像処理Ｓプチ１００においては、たとえば、デブロッキング実行に際して、動きベクトルデコードおよび予測部１４０におけるハイブリッド動きベクトル予測結果を再利用する。
ハイブリッド動きベクトル予測の場合に、たとえば図６に示すように、隣接する２つのブロックの動きベクトルデータ (predictor_A, predictor_B) と現在のブロックの動きベクトルデータ (cur_mv) の差分を計算する。
計算の結果、ｘ差分（水平方向の差分）とｙ差分（垂直方向の差分）の和が所定の値３２より大きい場合、比較対象の動きベクトルで現在の動きベクトルを置換する。
したがって、本実施形態によれば、以下の効果を得ることができる。
（１）メモリアクセスの削減：
演算結果を再利用することで、デブロッキングの実行の必要性を判定する際の隣接するブロックの動きベクトルデータへのメモリアクセスを削減することができる。デブロッキングの実行の必要性を判定するためには左と上の２つの隣接するブロックの動きベクトルデータが必要であり、それぞれ縦方向と横方向のデータがあるので、１ブロックあたり合計４回のメモリアクセスを削減することができる。
（２）演算量の削減：
演算結果を再利用することで、デブロッキングの実行の必要性を判定する際の演算を削減することができる。メモリアクセスを行って得た動きベクトルデータ１個につき１回の減算が削減されるので、１ブロックあたり合計４回の減算を削減することができる。
また、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
ＶＣ‐１のデブロッキングを説明するための図である。 ブロックサイズを可変であることを示す図である。 動きベクトルの差分計算を模式的に示す図である。 隣接する動きベクトルのメモリ上のデータ配置例を示す図である。 本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。 隣接する２つのブロックの動きベクトルデータと現在のブロックの動きベクトルデータの差分計算を模式的に示す図である。 本実施形態に係る動きベクトルデータの構成例を示す図である。 ハイブリッド動きベクトル予測によって得られた動きベクトルデータを用いた関連処理を説明するための図である。 横方向８０ピクセル、縦方向６４ピクセルのフレームを１６x１６のマクロブロック(ＭＢ)単位に分割し、それぞれのＭＢに識別のためのアルファベットを付して示す図である。 図９におけるＭＢ‐Ｍのデブロッキング実行判定時の参照ＭＢについて示す図である。 動きベクトルを使用したデブロッキング実行判定の基本的な処理を示すフローチャートである。 動きベクトルデータのメモリ上の配置の一例を示す図である。 ハイブリッド動きベクトル（ＭＶ）予測をＭＢ‐Ｍに行った場合のデブロッキング判定処理のフローチャートを示す図である。 ハイブリッド動きベクトル予測時に動きベクトルの差分情報を動きベクトル（ＭＶ）データに埋め込む処理のフローチャートを示す図である。
符号の説明
１００・・・画像処理装置、１１０・・・ストリーム分離部、１２０・・・イントラＭＢ処理部、１３０・・・インタＭＢ処理部、１４０・・・動きベクトルデコードおよび予測部、１４１・・・動きベクトルデコード部、１４２・・・動きベクトル予測部、１５０・・・動き補償部、１６０・・・加算部、１７０・・・デブロッキング処理部としてのループフィルタ、１８０・・・フレームバッファ、１９０・・・強度補償部。

Claims (9)

  1. ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化する逆量子化部と、
    逆量子化された係数データに対して逆直交変換処理を施し、復号画像データを出力する逆直交変換部と、
    可変長復号化処理を受けたデータによる動きベクトルのデコード結果によりハイブリッド動きベクトル予測を行い、その結果を動きベクトルデータとして形成し、デブロッキング実行時にハイブリッド動きベクトル予測の結果を再利用可能になるように、上記動きベクトルデータにデブロッキングの実行の必要性を示すハイブリッド予測情報を埋め込む動きベクトル予測部と、
    上記動きベクトル予測部による動きベクトルデータを受けて上記逆直交変換部の出力画像データの動き補償を行う動き補償部と、
    上記動きベクトルデータのハイブリッド予測情報に応じて、上記動き補償された復号画像データのデブロッキング処理を行うデブロッキング処理部と、
    現在および比較対象の上記動きベクトルデータが隣接または非隣接の状態で格納され、上記デブロッキング処理部によりアクセス可能なメモリと、を有し、
    上記動きベクトルデータは、
    参照画像上の位置を表す垂直方向と水平方向のそれぞれに対応して形成され、
    上記動きベクトル予測部は、
    動きベクトルデータを表すビット列の中に、動きベクトルデータを使用する演算に必要のないビットに上記ハイブリッド予測情報を埋め込み、
    上記デブロッキング処理部は、
    上記埋め込まれたハイブリッド予測情報に応じて、デブロッキングの実行の必要性の判定を行う
    画像処理装置。
  2. 上記動きベクトル予測部は、
    比較対象の動きベクトルと現在の動きベクトルとの差分の絶対値が閾値より大きいか否かを示す情報を上記ハイブリッド予測情報として埋め込み、
    上記デブロッキング処理部は、
    上記埋め込まれたハイブリッド予測情報が、比較対象の動きベクトルと現在の動きベクトルとの差分の絶対値が閾値より大きいことを示しているか否かに応じて、デブロッキングの実行の必要性の判定を行う
    請求項１記載の画像処理装置。
  3. 上記動きベクトルデータは、
    固定小数点形式のデータとして形成される
    請求項１または２記載の画像処理装置。
  4. 上記動きベクトルデータは、
    符号ビット部、整数部、小数部を含む固定小数点形式であり、最下位ビット側に上記ハイブリッド予測情報が設定される
    請求項３記載の画像処理装置。
  5. ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化する逆量子化ステップと、
    逆量子化された係数データに対して逆直交変換処理を施し、復号画像データを出力する逆直交変換ステップと、
    符号化されたデータを受けて可変長復号化処理を行い、このデータによる動きベクトルをデコードするデコードステップと、
    デコード結果によりハイブリッド動きベクトル予測を行い、その結果を動きベクトルデータとして生成する動きベクトル生成ステップと、
    デブロッキング実行時にハイブリッド動きベクトル予測の結果を再利用可能になるように、動きベクトルデータにデブロッキングの実行の必要性を示すハイブリッド予測情報を埋め込む動きベクトル予測ステップと、
    現在および比較対象の上記動きベクトルデータをデブロッキング処理でアクセス可能にメモリに隣接または非隣接の状態で格納する格納ステップと、
    動きベクトルデータを受けて上記逆直交変換ステップの出力画像データの動き補償を行う動き補償ステップと、
    上記動きベクトルデータのハイブリッド予測情報に応じて、上記動き補償された復号画像データのデブロッキング処理を行うデブロッキングステップと、を有し、
    上記動きベクトルデータは、
    参照画像上の位置を表す垂直方向と水平方向のそれぞれに対応して形成され、
    上記動きベクトル予測ステップでは、
    動きベクトルデータを表すビット列の中に、動きベクトルデータを使用する演算に必要のないビットに上記ハイブリッド予測情報を埋め込み、
    上記デブロッキングステップでは、
    上記埋め込まれたハイブリッド予測情報に応じて、デブロッキングの実行の必要性の判定を行う
    画像処理方法。
  6. 上記動きベクトル予測ステップでは、
    比較対象の動きベクトルと現在の動きベクトルとの差分の絶対値が閾値より大きいか否かを示す情報を上記ハイブリッド予測情報として埋め込み、
    上記デブロッキングステップでは、
    上記埋め込まれたハイブリッド予測情報が、比較対象の動きベクトルと現在の動きベクトルとの差分の絶対値が閾値より大きいことを示しているか否かに応じて、デブロッキングの実行の必要性の判定を行う
    請求項５記載の画像処理方法。
  7. 上記動きベクトルデータは、
    固定小数点形式のデータとして形成される
    請求項５または６記載の画像処理方法。
  8. 上記動きベクトルデータは、
    符号ビット部、整数部、小数部を含む固定小数点形式であり、最下位ビット側に上記ハイブリッド予測情報が設定される
    請求項７記載の画像処理方法。
  9. ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化する逆量子化処理と、
    逆量子化された係数データに対して逆直交変換処理を施し、復号画像データを出力する逆直交変換処理と、
    符号化されたデータを受けて可変長復号化処理を行い、このデータによる動きベクトルをデコードするデコード処理と、
    デコード結果によりハイブリッド動きベクトル予測を行い、その結果を動きベクトルデータとして生成する動きベクトル生成処理と、
    デブロッキング実行時にハイブリッド動きベクトル予測の結果を再利用可能になるように、動きベクトルデータにデブロッキングの実行の必要性を示すハイブリッド予測情報を埋め込む動きベクトル予測処理と、
    現在および比較対象の上記動きベクトルデータをデブロッキング処理でアクセス可能にメモリに隣接または非隣接の状態で格納する格納処理と、
    上記動きベクトルデータをデブロッキング処理でアクセス可能にメモリに格納する格納処理と、
    動きベクトルデータを受けて上記逆直交変換処理の出力画像データの動き補償を行う動き補償処理と、
    上記動きベクトルデータのハイブリッド予測情報に応じて、上記動き補償された復号画像データのデブロッキング処理を行うデブロッキング処理と、を含み、
    上記動きベクトルデータは、
    参照画像上の位置を表す垂直方向と水平方向のそれぞれに対応して形成され、
    上記動きベクトル予測処理では、
    動きベクトルデータを表すビット列の中に、動きベクトルデータを使用する演算に必要のないビットに上記ハイブリッド予測情報を埋め込み、
    上記デブロッキング処理では、
    上記埋め込まれたハイブリッド予測情報に応じて、デブロッキングの実行の必要性の判定を行う
    画像処理をコンピュータに実行させるプログラム。
JP2008119200A 2008-04-30 2008-04-30 画像処理装置およびその方法、並びにプログラム Expired - Fee Related JP5012647B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008119200A JP5012647B2 (ja) 2008-04-30 2008-04-30 画像処理装置およびその方法、並びにプログラム
US12/431,869 US8432971B2 (en) 2008-04-30 2009-04-29 Image processing apparatus, image processing method and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008119200A JP5012647B2 (ja) 2008-04-30 2008-04-30 画像処理装置およびその方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2009272718A JP2009272718A (ja) 2009-11-19
JP5012647B2 true JP5012647B2 (ja) 2012-08-29

Family

ID=41257059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008119200A Expired - Fee Related JP5012647B2 (ja) 2008-04-30 2008-04-30 画像処理装置およびその方法、並びにプログラム

Country Status (2)

Country Link
US (1) US8432971B2 (ja)
JP (1) JP5012647B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625914B2 (en) * 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
EP2200321A1 (en) 2008-12-19 2010-06-23 Thomson Licensing Method for browsing video streams
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
JP5477575B2 (ja) * 2010-02-23 2014-04-23 日本電気株式会社 超解像化制御のための圧縮復号方法及び超解像化制御のための圧縮復号回路
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US8862769B2 (en) 2010-11-23 2014-10-14 Qualcomm Incorporated Object-based transport protocol
US9326007B2 (en) * 2011-11-10 2016-04-26 Stmicroelectronics Asia Pacific Pte. Ltd. Motion compensated de-blocking
US10631005B2 (en) * 2014-04-21 2020-04-21 Qualcomm Incorporated System and method for coding in block prediction mode for display stream compression (DSC)
US10715819B2 (en) * 2017-04-26 2020-07-14 Canon Kabushiki Kaisha Method and apparatus for reducing flicker
WO2019000443A1 (zh) * 2017-06-30 2019-01-03 华为技术有限公司 一种帧间预测的方法及装置
WO2020024152A1 (zh) * 2018-08-01 2020-02-06 深圳市大疆创新科技有限公司 视频处理设备和方法
JP7386883B2 (ja) * 2019-02-27 2023-11-27 テレフオンアクチーボラゲット エルエム エリクソン（パブル） サブペル動きベクトルしきい値を使用するデブロッキング

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3057746B2 (ja) * 1990-10-31 2000-07-04 日本ビクター株式会社 インターレース動画像の符号化方法
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
EP1564997A1 (en) * 2004-02-12 2005-08-17 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images based on a quantization with an adaptive dead-zone size
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
JP2007036889A (ja) * 2005-07-28 2007-02-08 Sanyo Electric Co Ltd 符号化方法

Also Published As

Publication number Publication date
US8432971B2 (en) 2013-04-30
US20090274215A1 (en) 2009-11-05
JP2009272718A (ja) 2009-11-19

Similar Documents

Publication Publication Date Title
JP5012647B2 (ja) 画像処理装置およびその方法、並びにプログラム
RU2673277C1 (ru) Способ и устройство для кодирования или декодирования изображения с предсказанием информации движения между уровнями в соответствии со схемой сжатия информации движения
JP4182442B2 (ja) 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
KR100963864B1 (ko) 스케일러블 비디오 코딩에서의 계층 간 예측 모드 코딩을위한 방법 및 시스템
TWI461065B (zh) 重疊平滑與迴路內（ｉｎ-ｌｏｏｐ）去區塊（ｄｅｂｌｏｃｋｉｎｇ）之分段處理
KR101455578B1 (ko) 동화상 부호화 장치 및 동화상 복호 장치
KR101362590B1 (ko) 화상 처리 장치 및 방법
US20170188033A1 (en) Method and Apparatus of Bandwidth Estimation and Reduction for Video Coding
KR20070111467A (ko) 중간 루프 필터 데이터를 저장하는 스크래치 패드
JP2013504256A (ja) シーン切替検出
JP5004180B2 (ja) 動画像符号化装置および復号装置
JP2007531345A (ja) 高速サーチ・ブロック・マッチングを用いた動き推定
JP2007013298A (ja) 画像符号化装置
KR101364532B1 (ko) 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법
JP2011010197A (ja) 画像符号化装置及び画像復号装置
KR101051871B1 (ko) 디블록킹 필터에서의 경계면 세기 계수 판단 장치 및 방법
JP2006270851A (ja) 画像符号化装置及び画像復号装置
JP5137532B2 (ja) 画像符号化装置及び画像符号化方法
KR20130049736A (ko) 인터 예측 방법 및 장치
KR100899658B1 (ko) 고속 동작을 위한 ｍｐｅｇ２／ｈ．２６４ 디지털 비디오트랜스코딩 시스템 및 방법
JP4906458B2 (ja) 画像符号化装置、画像符号化方法
JP4779977B2 (ja) 画像符号化・復号化装置
WO2011105230A1 (ja) フィルタ係数符号化装置、フィルタ係数復号装置、動画像符号化装置、動画像復号装置、および、データ構造
JP2009246455A (ja) 復号装置および復号方法
JP4847423B2 (ja) 動画像符号化装置、および、コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120521

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees