JP6341756B2 - 画像処理装置、画像処理装置の制御方法 - Google Patents

画像処理装置、画像処理装置の制御方法 Download PDF

Info

Publication number
JP6341756B2
JP6341756B2 JP2014108552A JP2014108552A JP6341756B2 JP 6341756 B2 JP6341756 B2 JP 6341756B2 JP 2014108552 A JP2014108552 A JP 2014108552A JP 2014108552 A JP2014108552 A JP 2014108552A JP 6341756 B2 JP6341756 B2 JP 6341756B2
Authority
JP
Japan
Prior art keywords
block
frame
motion vector
encoding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014108552A
Other languages
English (en)
Other versions
JP2015226111A (ja
Inventor
大川　浩司
浩司 大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014108552A priority Critical patent/JP6341756B2/ja
Priority to US14/720,575 priority patent/US9948932B2/en
Publication of JP2015226111A publication Critical patent/JP2015226111A/ja
Application granted granted Critical
Publication of JP6341756B2 publication Critical patent/JP6341756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像の符号化を行う画像処理装置、及び、符号化方法に関する。
ＩＴＵ−Ｔ（国際電気通信連合の電気通信標準化部門）で勧告されたＨ．２６４やＨＥＶＣ等の符号化方式では、動画像の１フレームを複数のブロックに分割して、各ブロック単位に符号化を行う。圧縮符号化の方式として、時間的相関性を利用した符号化方式（インター符号化）および空間的相関性を利用した符号化方式（イントラ符号化）がある。時間的相関を利用した符号化方式では、既に符号化済の画像を参照画像として、参照画像と符号化対象画像のブロック間の動きベクトルを探索し、対応するブロック間の予測残差を符号化する。空間的相関性を利用した符号化方式では、符号化対象のブロックの周囲のブロックの画素から予測を行い、ブロックの予測残差を符号化する。
ブロック単位に符号化されたデータは、主にブロックの動きベクトルやブロックの符号化タイプ等のヘッダ成分および予測画像と符号化対象画像の画素値の差分である予測残差成分からなる。
ヘッダ成分のデータ量を小さくするには、Ｈ．２６４におけるスキップブロックが有効である（ＨＥＶＣではスキップモード）。スキップブロックはヘッダ成分及び残差成分を含まないため少ないデータ量で符号化できる（Ｈ．２６４においてスキップブロックを実行すると１ブロックあたり１ｂｉｔ以下のデータ量で符号化できる）。Ｈ．２６４においてブロックをスキップブロックで符号化するには、周囲のブロックと動きベクトルを揃える必要がある。
動きベクトルを求める際に全探索をした場合、例えば８ビット、１６×１６画素のブロックを参照フレームの探索領域６４×６４画素全てと比較すると、８ビットの比較演算が１６×１６×６４×６４＝１０４８５７６回必要となる。そのため計算コストが膨大なものになってしまう。
特許文献１には、動きベクトルを求める際の計算コストを削減するために、二値画像を用いた動き探索方式を行うことが記載されている。入力画像として二値画像を用いれば、１画素当たりの計算コストを低減することができる。
特開平５−４９０１７号公報
しかしながら、動きベクトルの探索結果によっては、スキップブロックができない場合があった。
上記のように、スキップブロックを実施するためには、処理対象ブロックと、周囲のブロックの動きベクトルがそろっている必要がある。例えば、二値画像を用いて動きベクトル探索を行うと動きベクトルがそろいにくくなる場合がある。従って、入力画像をそのまま用いて動きベクトル探索を行えばスキップブロックができる場合であっても、二値画像を用いた動きベクトル探索を行うとスキップブロックができなくなる場合があった。
二値画像を用いた動きベクトルの探索について、図２を用いて説明する。図２の２０１は現フレーム多値画像（入力画像）、２０２は参照フレーム多値画像（例えば１フレーム前の入力画像）であり、２０３は現フレーム多値画像２０１を二値化した画像、２０４は参照フレーム多値画像２０２を二値化した画像である。四角形ひとつひとつが１画素を示す。灰色で示した領域は白色の領域と画素値が異なることを示す。
現フレーム多値画像２０１や参照フレーム多値画像２０２には灰色の領域が存在するが、現フレーム二値画像２０３や参照フレーム二値画像２０４の画素値に変化がない理由は、灰色の領域と白色の領域の画素値の違いが小さいためである。現フレーム多値画像２０１や参照フレーム多値画像２０２は画像の中の画素値の変化が小さい画像であるため、二値画像にすると全く画素の変化がない画像になってしまう。
説明を簡単にするために、図２の２×２画素をブロックとして、６×６画素の探索領域を探索することとする。現フレーム多値画像２０１の太枠で囲んだ２×２画素のブロック２０５を処理対象ブロックとして、参照フレーム多値画像２０２を全探索すると、参照フレーム多値画像２０２中の太枠で囲んだブロック２０６がブロック２０５とマッチングする。一方、ブロック２０５に位置が対応する現フレーム二値画像２０３のブロック２０７を対象ブロックとして参照フレーム二値画像２０４を全探索すると、例えば、参照フレーム二値画像２０４中の太枠で囲んだブロック２０８がブロック２０７とマッチングする。
以上のように、平坦な画像（画素値の変化が小さい画像）や、平坦な領域では、多値画像による動きベクトルの探索結果と二値画像による動きベクトルの探索結果が異なる場合がある。つまり、二値画像による探索方式の探索精度は、多値画像による探索方式の探索精度よりも低いため、上記のような探索結果の差異が発生する。
特に平坦な入力画像から二値画像を生成して動きベクトルの探索を行うと動きベクトルが周囲のブロック間で揃いにくくなり、スキップブロックによる符号化がされにくくなる場合があった。そのため、従来の二値画像による動きベクトル探索方式を用いて符号化を行う場合、符号化効率が低下する恐れがあった。なお上記の課題は二値画像に限らず、入力画像の階調をＮ値に下げたＮ値画像による動きベクトルの探索を行う場合も同様に発生し得る。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、スキップブロックを用いた符号化の効率を向上させることである。
上記の課題を解決するために、本発明の画像処理装置は、例えば以下の構成を有する。スキップブロック又はスキップモードを用いて動画を符号化することが可能な画像処理装置であって、動画を構成するフレームを符号化する符号化手段と、前記動画を構成する第１フレームよりも後の第２フレームにおける複数のブロックのうちの第１ブロックに対応する動きベクトルとして、所定のベクトルを採用するか否かを、前記第１フレームの符号化結果に基づいて決定する決定手段とを有し、前記決定手段は、前記第１フレームにおける複数のブロックのうち、前記第１フレームよりも後の前記第２フレームにおける前記第１ブロックに位置が対応する対応ブロックの量子化係数が所定の条件を満たし、且つ、前記対応ブロックがイントラ符号化される場合、前記第１ブロックに対応する動きベクトルを、前記所定のベクトルにすることを決定し、前記対応ブロックの量子化係数が前記所定の条件を満たさない場合、前記第１ブロックに対応する動きベクトルを、前記第１ブロックと他のブロックとの相関に基づいて決定された動きベクトルにする。
また、上記の課題を解決するために、本発明の画像処理装置は、例えば以下の構成を有する。スキップブロック又はスキップモードを用いて動画を符号化することが可能な画像処理装置であって、動画を構成するフレームを符号化する符号化手段と、前記動画を構成する第１フレームよりも後の第２フレームにおける複数のブロックのうちの第１ブロックに対応する動きベクトルとして、所定のベクトルを採用するか否かを、前記第１フレームの符号化結果に基づいて決定する決定手段とを有し、前記決定手段は、前記第１フレームにおける複数のブロックのうち、前記第１フレームよりも後の前記第２フレームにおける前記第１ブロックに位置が対応する対応ブロックの量子化係数が前記所定の条件を満たし、且つ、前記対応ブロックがインター符号化される場合、前記対応ブロックに対応する動きベクトルが、前記所定のベクトルであるか否かに応じて、前記第１ブロックに対応する動きベクトルとして、前記所定のベクトルを採用するか、前記第１ブロックと他のブロックとの相関に基づいて決定された動きベクトルを採用するかを決定する。
また、上記の課題を解決するために、本発明の画像処理装置は、例えば以下の構成を有する。スキップブロック又はスキップモードを用いて動画を符号化することが可能な画像処理装置であって、動画を構成するフレームを符号化する符号化手段と、前記動画を構成する第１フレームよりも後の第２フレームにおける複数のブロックのうちの第１ブロックに対応する動きベクトルとして、所定のベクトルを採用するか否かを、前記第１フレームの符号化結果に基づいて決定する決定手段と、前記動画の１画素当たりの階調を下げる変換手段と、前記変換手段により階調が下げられた前記第１ブロックと他のブロックとの相関に基づいて動きベクトルを探索する探索手段とを有し、前記決定手段は、前記探索手段の探索により得られた、前記階調が下げられた前記第１ブロックと他のブロックとの相関に基づく前記動きベクトルを前記第１ブロックに対応する動きベクトルとして採用するか、前記所定のベクトルを採用するかを、前記第１フレームにおける複数のブロックのうち、前記第１フレームよりも後の前記第２フレームにおける前記第１ブロックに位置が対応する対応ブロックの符号化結果であって、前記対応ブロックにおける平坦度合いに関連する符号化結果に基づいて決定する。
本発明によれば、スキップブロックを用いた符号化の効率を向上できる。
実施形態における画像処理装置の構成例を示すブロック図 平坦領域における多値画像探索方式と二値画像探索方式の概念図 実施形態のインター予測部１０１の構成例を示すブロック図 基準ベクトル（予測ベクトル）の概念図 実施形態の画像処理装置の動作を説明するためのフローチャート 実施形態の動き探索モード決定処理を説明するためのフローチャート 実施形態のインター予測処理を説明するためのフローチャート 実施形態の画像処理装置の構成例を示すブロック図 実施形態の画像処理装置の動作を説明するためのフローチャート 実施形態の動き探索モード決定処理を説明するためのフローチャート 実施形態のインター予測処理を説明するためのフローチャート 実施形態の画像処理装置のハードウェア構成例を説明するための図
＜第１の実施形態＞
以下、本発明の第１の実施形態を、図面を用いて説明する。図１は本実施形態の符号化装置（画像処理装置）の構成を示すブロック図である。
図１において、１０１はインター予測部であり、原画像（入力画像）及び動き探索モード（後述する動き探索モード決定部１０５より入力）に基づいて、処理対象ブロックの動きベクトルを決定する。本実施形態では原画像（入力画像）は１画素が８ビットで表される場合の例を中心に説明するが、８ビットに限らず、たとえば、原画像は１０ビットや１２ビット、４ビットの画像でもよい。さらにインター予測部１０１は、動きベクトルに対応する参照画像を後述する参照画像バッファ１０６より受け取り、原画像と参照画像間の誤差であるインター予測誤差（差分データ）を生成する。インター予測部１０１の詳細は、後述する。
１０２はイントラ予測部であり、原画像を取得し、処理対象ブロックの周囲の画素から予測を行い、イントラ予測誤差を生成する。より具体的には、イントラ予測部１０２は、原画像（入力画像）の処理対象ブロックの周囲の画素値から予測画像を生成し、当該予測画像と、処理対象ブロックの原画像との間の誤差であるイントラ予測誤差（差分データ）を生成する。
１０３は符号化タイプ決定部であり、インター予測部１０１より動きベクトル及びインター予測誤差を、イントラ予測部１０２よりイントラ予測誤差を受け取り、処理対象ブロックをイントラ／インターどちらの符号化タイプで符号化するかを決定する。
１０４は変換・量子化部であり、符号化タイプ決定部１０３で決定された符号化タイプに基づいて、イントラ予測誤差もしくはインター予測誤差のどちらか一方を直交変換、及び、量子化して量子化係数を生成する。変換・量子化部１０４はさらに、該量子化係数を逆量子化・逆変換して参照画像を生成する。
１０５は動き探索モード決定部であり、インター予測部１０１より動きベクトルを、符号化タイプ決定部１０３より符号化タイプを、変換・量子化部１０４より量子化係数をそれぞれ受け取り、動き探索モードを決定する。動き探索モードの詳細は後述するが、動き探索モードは、処理対象ブロックに対応する動きベクトルとして、当該処理対象ブロックとは異なる他のブロックに対応する動きベクトルから算出される基準ベクトル（所定のベクトル）を採用するか否かを示す。なお、所定のベクトルは、他のブロックに対応する動きベクトルから算出する動きベクトルに限らず、例えば、処理対象ブロックに動きがないことを示す０ベクトル（ゼロベクトル）とすることも可能である。
１０６は参照画像バッファであり、変換・量子化部１０４より受け取った参照画像を保持する。保持された参照画像は、後続のフレームを符号化する際にインター予測部１０１に出力される。
１０７は可変長符号化部であり、変換・量子化部１０４より量子化係数を受け取り、各種符号化パラメータと共に可変長符号化を行い、符号化ストリームを生成する。
次に、図３を用いて実施形態１におけるインター予測部１０１の構成を詳細に説明する。３０１はＮ値画像生成部であり、入力された原画像（１画素が８ビットの入力画像）からＮ値画像を生成する。すなわち、Ｎ値画像生成部３０１は、入力画像の階調を下げる処理を行う。本実施形態ではＮ値画像は２値画像である場合の例を中心に説明するが、２値画像に限らず、例えば４値画像や８値画像等でもよい。また、階調を下げなくてもよい。
３０２はＮ値画像バッファであり、Ｎ値画像生成部３０１からＮ値画像を受け取り、保持する。保持されたＮ値画像は後続するフレームの符号化の動き探索のために参照される。
３０３はＮ値画像動き探索部であり、Ｎ値画像を用いたブロックマッチング処理に基づく動き探索処理を行う。すなわち、Ｎ値画像動き探索部３０３は、Ｎ値画像生成部３０１により階調が下げられた処理対象ブロックと、他のブロックとの画素値の相関に基づいて動きベクトルを探索する。そしてＮ値画像動き探索部３０３は、Ｎ値画像を用いた動き探索によって得られた動きベクトルであるＮ値画像探索ベクトルを出力する。
３０４は基準ベクトル算出部であり、後述する選択部３０５から動きベクトルを受け取り、基準ベクトル（所定のベクトル）を算出する。本実施形態において基準ベクトルとは、処理対象ブロックの周囲のブロックの動きベクトルから算出される予測ベクトル（以下、ＰＭＶ（Ｐｒｅｄｉｃｔｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と記す）のことである。ＰＭＶは処理対象ブロックが画像の端部に位置しないとき、処理対象ブロックの左、上、右上に位置する各ブロックの動きベクトルの中央値ｍｅｄｉａｎをとって算出される。なお、基準ベクトルは、ＰＭＶに限らず、例えば０ベクトル（ゼロベクトル）であってもよい。
図４はＰＭＶの概念図である。４０１は処理対象ブロック、４０２は処理対象ブロックの左のブロック、４０３は処理対象ブロックの上のブロック、４０４は処理対象ブロックの右上のブロックである。例えば、処理対象ブロックの左のブロック４０２の動きベクトルをｍｖＡ（ｘ１，ｙ１）、処理対象ブロックの上のブロック４０３の動きベクトルをｍｖＢ（ｘ２，ｙ２）、処理対象ブロックの右上のブロック４０４の動きベクトルをｍｖＣ（ｘ３，ｙ３）とする。このとき、処理対象ブロック４０１のＰＭＶ（ｘ，ｙ）は下記式（１）、（２）により得られる。
ＰＭＶ（ｘ）＝ｍｅｄｉａｎ（ｘ１，ｘ２，ｘ３）・・・（１）
ＰＭＶ（ｙ）＝ｍｅｄｉａｎ（ｙ１，ｙ２，ｙ３）・・・（２）
すなわち、基準ベクトル算出部３０４は、処理対象ブロック（第１ブロック）に対応する動きベクトルとして採用するか否かが決定される基準ベクトルを、ブロック４０２、４０３、及び４０４の動きベクトル（ｍｖＡ、ｍｖＢ、ｍｖＣ）に基づいて算出する。なおブロック４０２は、処理対象ブロックよりも表示位置が左であるブロックであり、ブロック４０３は処理対象ブロックよりも表示位置が上であるブロックであり、ブロック４０４は処理対象ブロックよりも表示位置が右上であるブロックである。
なお、本実施形態では基準ベクトルをＰＭＶとするが、他の方法で基準ベクトルが決定されるようにすることも可能である。例えば０ベクトルを基準ベクトルとしても良いし、スキップブロックのように、動きベクトルがシンタックスとして符号化されない条件を満たすベクトルを基準ベクトルとしてもよい。ＨＥＶＣにおけるマージ候補リストに含まれるベクトルを基準ベクトルとしてもよい。
なお、基準ベクトルを０ベクトルとする場合、動きベクトルがシンタックスとして符号化されない条件を満たさないかもしれないが、周囲のブロックが同様に０ベクトルと判定されることにより結果として条件を満たすブロックの数が増える。また、基準ベクトルの算出方法のほかの例として、オブジェクトの動き認識処理の結果を符号化装置が受け取り、該オブジェクトの動き量や動き方向に基づいて基準ベクトルを算出してもよい。すなわち、基準ベクトル算出部３０４は、処理対象ブロックに対応する動きベクトルとして採用するか否かが決定される基準ベクトルを、処理対象フレームよりも前のフレームにおいて検出されたオブジェクトの動きに基づいて算出することも可能である。
３０５は選択部であり、動き探索モード決定部１０５から動き探索モードを示す情報を受け取り、当該情報を用いて、基準ベクトルとＮ値画像探索ベクトルのどちらか一方を処理対象ブロックに対応する動きベクトルとして選択する。なお、基準ベクトルは、処理対象ブロックとは異なる他のブロックに対応する動きベクトルから算出される動きベクトルである。また、Ｎ値画像探索ベクトルは、Ｎ値画像生成部３０１により入力画像の階調が下げられた処理対象ブロックと他のブロックとの相関に基づいて探索された動きベクトルである。動き探索モード決定部１０５による動き探索モードの決定方法については後述する。
３０６はインター予測誤差算出部であり、選択部３０５により選択された動きベクトルに基づいて、原画像と参照画像の予測誤差を算出し、インター予測誤差（差分データ）として出力する。
本実施形態の符号化装置（画像処理装置）の動作を、図５のフローチャートを用いて詳細に説明する。本実施形態では動画を構成する画像はフレーム単位で入力され、ブロックに分割されてラスタ順にブロック単位で処理される。本実施形態におけるブロックのサイズはＨ．２６４のブロックサイズと同じ１６×１６画素とするが、これに限らない。例えばＨＥＶＣで用いられる最大のブロックサイズである６４×６４画素や８×８画素、３２×３２画素でもよく、３２×１６画素のように非対称でもよい。本実施形態では、Ｈ．２６４の符号化ストリームを生成する場合の例を中心に説明するが、これに限らず、例えばＨＥＶＣの符号化ストリームを生成してもよい。
なお、図５のフローチャートの処理は、画像処理装置のＣＰＵが、図５の処理のためのプログラムをメモリから読み出して実行することにより実現される。また、本実施形態の画像処理装置がネットワークカメラに実装されている場合、ネットワークカメラの撮影開始と共に、図５の処理が開始される。ただし、本実施形態の画像処理装置はネットワークカメラ以外にも実装は可能であり、例えば、デジタルカメラやデジタルビデオカメラやパーソナルコンピュータ、スマートフォン等に実装することも可能である。また、本実施形態に記載したフローチャートで説明する動作を、専用のハードウェアで実行することも可能である。フローチャートの処理をＣＰＵで行う場合の画像処理装置のハードウェア構成例を図１２に示す。図１２に示すように、画像処理装置は、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３、二次記憶部４、通信部５、映像出力部６を備えて構成することが可能である。
図５のフローチャートのＳ５０１において、イントラ予測部１０２がイントラ予測を行ない、イントラ予測誤差（差分データ）を生成する。
そして、Ｓ５０２において、インター予測部１０１が、処理対象のフレームがインターフレームかイントラフレームかを判定する。イントラフレームとは他のフレームを参照せずに符号化されるフレームであり、インターフレームは他のフレームを参照して符号化することが可能なフレームである。処理対象フレームがインターフレームならばＳ５０３へ、イントラフレームならばＳ５０６へ進む。
Ｓ５０３では、動き探索モード決定部１０５が、処理対象ブロックの動き探索モードを決定する。動き探索モードは、基準ベクトルとＮ値画像探索ベクトルのどちらを処理対象ブロックに対応する動きベクトルとして採用するかを示すモードである。Ｎ値画像探索方式（Ｎ値画像（例えば２値画像）で動きベクトルを探索する方式）は平坦領域（画素値の空間的な変化が小さい領域）の探索精度が低いため、平坦領域のブロックの動きベクトルとしてＮ値画像探索ベクトルを採用すると動きベクトルが揃いにくくなる場合がある。つまり、特に平坦領域では、入力画像の階調を下げずに探索された動きベクトルを採用すれば周囲のブロックの動きベクトルが揃う場合であっても、Ｎ値画像探索ベクトルを採用すると、動きベクトルが揃わなくなる場合がある。そこで平坦領域のブロックで基準ベクトルを採用すると周囲のブロックと動きベクトルが揃うためにスキップブロックが実現しやすくなる。
スキップブロック（ＨＥＶＣではスキップモード）で符号化すると、当該ブロックに関するヘッダ成分（例えば、動きベクトルを示す情報や符号化タイプを示す情報）や、残差成分（差分データ）を含まない符号化データを生成することができる。これにより符号化データの符号量を小さくすることができる。
動き探索モード決定部１０５が行う動き探索モード決定の処理に関して、図６のフローチャートを用いて詳細に説明する。図６の処理は、図５のＳ５０３に対応する。
Ｓ６０１において、動き探索モード決定部１０５は、処理対象フレーム（第２フレーム）の１フレーム前のフレーム（第１フレーム）を構成する複数のブロックのうち、処理対象ブロックと同一位置のブロック（対応ブロック）の、ＣＢＰがゼロか否かを判定する。ＣＢＰは、Ｈ．２６４における符号化ブロックパターン（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）のことであり、ブロック内の量子化係数が全てゼロであるか否かを示す情報である。
すなわち、動き探索モード決定部１０５は、処理対象フレームにおける処理対象ブロックと同じ位置にある対応ブロックを、処理対象フレームよりも前のフレームから特定する。そして、動き探索モード決定部１０５は、特定した対応ブロックのＣＢＰがブロック内の量子化係数がすべてゼロであることを示しているか否かを判定する。ＣＢＰは変換・量子化部１０４より入力された量子化係数から求めることができる。ＣＢＰがゼロの場合はＳ６０２の処理に進み、ＣＢＰがゼロ以外の場合はＳ６０５の処理に進む。
Ｓ６０２において、動き探索モード決定部１０５は、処理対象フレームの１フレーム前のフレーム（前フレーム）における対応ブロックがイントラブロックかインターブロックかを判定する。すなわち、動き探索モード決定部１０５は、Ｓ６０２において、対応ブロックがイントラ符号化されたブロックであるか、インター符号化されたブロックであるかを判定する。イントラブロックの場合はＳ６０４の処理に進み、インターブロックの場合はＳ６０３の処理に進む。
Ｓ６０３において、動き探索モード決定部１０５は、処理対象フレームの１フレーム前のフレームにおける対応ブロックの動きベクトルとして基準ベクトルが採用されているか否かを判定する。基準ベクトルが採用されていると判定された場合はＳ６０４に進み、基準ベクトルが採用されていないと判定された場合はＳ６０５に進む。
ステップＳ６０４において、動き探索モード決定部１０５は、処理対象ブロックの動きベクトル探索モードを、基準ベクトルが採用されるモード（第１モード）に決定する。ステップＳ６０５において、動き探索モード決定部１０５は、処理対象ブロックの動きベクトル探索モードをＮ値画像探索ベクトルが採用されるモード（第２モード）に決定する。
即ち、処理対象フレームの１フレーム前の複数のブロックのうち処理対象ブロックと同一位置のブロック（対応ブロック）がイントラブロックで、且つ、対応ブロックのＣＢＰがゼロならば処理対象ブロックの動きベクトルとして基準ベクトルが採用される。対応ブロックがイントラブロックで、且つ、ＣＢＰがゼロということは、その対応ブロックが平坦なブロックであることを示すため、Ｎ値画像探索ベクトルの精度が低いことがわかる。そのため、基準ベクトルが処理対象ブロックに対応する動きベクトルとして採用される。
また、対応ブロックのＣＢＰがゼロで、且つ、対応ブロックがインターブロックで、且つ、対応ブロックに対応する動きベクトルが基準ベクトルである場合、処理対象ブロックの動きベクトルとして基準ベクトルが採用される。これは以下の理由による。
すなわち、たとえＣＢＰがゼロであってもインターブロックである場合は、当該対応ブロックが平坦なブロックであるか否かを判別することは困難である。しかし、イントラフレームの次のインターフレームの符号化する場合、Ｓ６０２の処理により、平坦なブロックは基準ベクトルで符号化されることになる。そのため、当該インターフレームにおいて基準ベクトルが採用されたブロックに対応する次のインターフレームのブロックも、平坦なブロックである可能性が高い。そこで、本実施形態では、対応ブロックのＣＢＰがゼロで、且つ、インターブロックである場合において、当該対応ブロックの動きベクトルとして基準ベクトルが採用されている場合、処理対象ブロックに対応する動きベクトルとして基準ベクトルを採用する。
なお、対応ブロックのＣＢＰがゼロで、且つ、インターブロックである場合において、当該対応ブロックに対応する動きベクトルがＮ値画像探索ベクトルである場合、処理対象ブロックに対応する動きベクトルとしてＮ値画像探索ベクトルが採用される。
また、Ｓ６０３でＹＥＳの判定結果が得られるのは、対応ブロックの動きベクトルとして基準ベクトルが採用された場合だけではなく、Ｎ値画像探索ベクトルが、結果として、基準ベクトルと同じ動きベクトルになった場合も含まれる。このようにすることで、処理対象ブロックの位置において、ノイズ等の影響で一度基準ベクトルが採用されなくなった場合に、後続のインターフレームにおいてＮ値画像探索ベクトルが使用され続けることを防げる。
また、本実施形態ではＣＢＰに基づいて対応ブロックが平坦なブロック（画素値の空間的な変化が小さいブロック）であるか否かを判定しているが本発明はこれに限定されない。例えばＨＥＶＣにおけるＣＢＦ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ）を使用してもよいし、ブロックの量子化係数が全てゼロであるか否かによって判定されるようにしてもよい。また、本実施形態ではＳ６０３において対応ブロックの動きベクトルとして基準ベクトルが採用されているか否かを判定しているが、これに限らない。例えば、対応ブロックの動きベクトルがスキップブロックの条件を満たす動きベクトルであるか否かが判定されるようにしてもよいし、ゼロベクトルであるか否かが判定されるようにしてもよい。また、Ｓ６０３における別の判定条件として、対応ブロックに対応する動きベクトルとしてＨＥＶＣにおけるマージ候補リストに含まれる動きベクトルが採用されているか否かを判定してもよい。
また、本実施形態では、処理対象フレームの１フレーム前のフレーム（前フレーム）の符号化結果を使用して、処理対象ブロックに対応する動きベクトルを基準ベクトルとするか否かを判定しているが、本発明はこれに限定されない。処理対象フレームの１フレーム前のフレーム以外であっても、処理対象フレームの処理の前に符号化されているフレームの符号化結果を用いることが可能である。
図５のＳ５０４のインター予測処理に関して図７のフローチャートを用いて詳細に説明する。図７の処理は、インター予測部１０１において実施される。
Ｓ７０１において、Ｎ値画像生成部３０１はＮ値画像を生成する。すなわちＮ値画像生成部３０１は、入力画像の階調を下げて、Ｎ値画像を生成する。Ｎ値画像は原画像（入力画像）よりも少ないビット数で表現されていれば良い。また、本実施形態の画像処理装置は、原画像から動きベクトルを探索することも可能である。
Ｓ７０２において、Ｎ値画像動き探索部３０３は、Ｎ値画像動き探索を実行する。Ｎ値画像動き探索部３０３は、処理対象ブロックの動き探索のための探索範囲を決定する。そして、Ｎ値画像バッファ３０２から、決定された探索範囲のＮ値画像参照データを読み出す。また、Ｎ値画像動き探索部３０３は、処理対象ブロックのＮ値画像データをＮ値画像生成部３０１から読み出す。
さらに、Ｎ値画像動き探索部３０３は、読み出した処理対象ブロックのＮ値画像データと、Ｎ値画像参照データとのブロックマッチングを行う。具体的には、探索範囲内のＮ値画像参照データに対し、処理対象ブロックのＮ値画像データを順次ずらしていきながらマッチングを行う。つまり、Ｎ値画像動き探索部３０３は、動きベクトルの探索範囲のうち第１領域の画像データと、処理対象ブロックの画像データを比較すると共に、探索範囲のうち第２領域の画像データと、処理対象ブロックの画像データとを比較する。そして、Ｎ値画像動き探索部３０３は、探索範囲のうち、処理対象ブロックに最も類似すると評価された領域の位置に基づいて、Ｎ値画像探索ベクトルｂｉｎＭＶを出力する。
本実施形態におけるＮ値画像は二値画像なので、Ｎ値画像ブロック相互の類似度の指標としては、対応画素間の排他的論理和の合計（ＸＯＲＳＵＭ）が一般的によく用いられる。二値画像におけるＸＯＲＳＵＭ値は、多値画像におけるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、画素の差分を絶対値化して積算した値）と同様である。例えば、Ｎ値画像の処理対象ブロック（ｘ画素×ｙ画素）の各画素値をＯｒｇｂｉｎ（０，０）〜Ｏｒｇｂｉｎ（ｘ−１，ｙ−１）とする。マッチング対象として対応するＮ値画像の参照データ（ｘ画素×ｙ画素）の各画素値をＲｅｆｂｉｎ（０，０）〜Ｒｅｆｂｉｎ（ｘ−１，ｙ−１）とする。これらのＸＯＲＳＵＭ値は下記式（１）により得られる。
Figure 0006341756
排他的論理和は、入力値が異なる際に真となるため、ＸＯＲＳＵＭ値が小さいほど類似度が高く、大きいほど類似度が低いとみなすことができる。本実施形態では、類似度としてＸＯＲＳＵＭ値を用いたが、本発明はこれに限定されない。例えば、Ｎ値画像においては、ＳＡＤを用いてもよい。
本実施形態のＳ７０２において、Ｎ値画像動き探索部３０３は、探索範囲内の全候補点に対して、ブロックマッチングを行う全探索法により動き探索を行う。しかしながら、処理時間や回路コスト等に応じて探索方法を適宜選択することが可能であり、全探索法の利用は必須ではない。
Ｓ７０３において、基準ベクトル算出部３０４は、基準ベクトルであるＰＭＶを算出する。すなわち、Ｓ７０３において、基準ベクトル算出部３０４は、処理対象ブロックとは異なる他のブロックに対応する動きベクトルに基づいて、基準ベクトルを算出する。
Ｓ７０４において、選択部３０５は、Ｓ５０３の処理（図６のフローチャート参照）で決定された動き探索モードに基づいてＮ値画像探索ベクトルと基準ベクトルのうち、どちらを処理対象ブロックに対応する動きベクトルとして採用するかを決定する。上述のように動き探索モードは、対応ブロックの量子化係数や符号化タイプに基づいて、処理対象ブロックの動き探索モードを決定することが可能である。すなわち、選択部３０５は、Ｓ７０４において、処理対象フレームよりも前のフレームの符号化結果（例えば量子化係数）に基づいて、処理対象ブロックに対応する動きベクトルとして基準ベクトルを採用するか否かを決定する。
Ｓ７０５において、インター予測誤差算出部３０６は、Ｓ７０４で選択された動きベクトルに基づいて参照画像バッファ１０６から参照画像を読み出し、原画像の処理対象ブロックとの間でインター予測誤差を算出する。すなわち、インター予測誤差算出部３０６は、Ｓ７０４で採用された動きベクトルに基づいて特定される画像データと、処理対象ブロックの画像データとの差分に基づくインター予測誤差（差分データ）を算出する。インター予測誤差の算出が完了すると、図７の処理を終了し、図５のＳ５０５に進む。
Ｓ５０５において、符号化タイプ決定部１０３は、イントラ予測誤差及びインター予測誤差、動きベクトルから処理対象ブロックをイントラブロックとインターブロックいずれの符号化タイプで符号化するかを決定する。本実施形態の符号化タイプ決定部１０３は、イントラ予測誤差及びインター予測誤差それぞれのＳＡＤを計算し、インター予測誤差のＳＡＤに動きベクトルのビットコスト（動きベクトルのデータ量）を加味して符号化タイプを決定する。ただし、符号化タイプの決定方法は上記の方法に限定されない。例えばＲ−Ｄ最適化手法により求めてもよい。


Ｓ５０６において変換・量子化部１０４は、符号化タイプ決定部１０３によって決定された符号化タイプに基づいて、イントラ予測誤差及びインター予測誤差のどちらか一方を直交変換および量子化し、量子化係数を算出する。また、当該量子化係数は逆量子化、逆変換され参照画像として参照画像バッファ１０６に格納される。
また、本実施形態の変換・量子化部１０４は、Ｓ５０６において、処理対象ブロックがスキップブロックを適用するための所定の条件を満たすか否かを判定し、当該所定の条件を満たすと判定すると、スキップブロックを適用する。スキップブロックが適用されると、当該処理対象ブロックの符号化タイプや動きベクトルを示す情報等を含むヘッダ情報を含まない符号化データが出力されることになる。本実施形態におけるスキップブロックの適用条件には、処理対象ブロックに対応する動きベクトルと、処理対象ブロックから所定範囲内のブロックに対応する動きベクトルとがそろっていること、及び、量子化後の残差がゼロであることが含まれる。
なお、本実施形態では、処理対象フレームの１フレーム前の対応ブロックの符号化結果を用いて、処理対象ブロックの動きベクトルとして基準ベクトルを採用するか否かを決定している。従って、隣接するフレーム間で大きく物体が動いた場合などは基準ベクトルの精度が落ちてしまう可能性がある。このように物体が大きく動いたことによりインター予測誤差が大きくなった場合、符号化タイプ決定部１０３によりイントラブロックが選択されやすくなる。これによってインターブロックが連続することによる画質劣化の蓄積をリフレッシュできる。
Ｓ５０７において可変長符号化部１０７は量子化係数及び種々の符号化パラメータを可変長符号化し、Ｈ．２６４の符号化ストリームを生成する。本実施形態ではＨ．２６４の符号化ストリームを生成する場合の例を中心に説明しているが、本発明はこれに限定されず、例えばＨＥＶＣの符号化ストリームを生成してもよい。
Ｓ５０８において、画像処理装置は、処理対象フレーム内の全てのブロックの符号化が完了したか否かを判定する。全てのブロックの符号化が完了したならば処理対象フレームの符号化処理を終了し、そうでない場合はＳ５０１に戻り後続のブロックを処理する。また、画像処理装置は、処理対象フレームのすべての符号化が完了したと判定した場合、動画を構成する他のフレームの符号化が完了したか否かを判定し、完了していないと判定された場合は、次のフレームの符号化を図５の記載に沿って実行する。
以上説明したように、本実施形態の画像処理装置は、動画を構成する第１フレームよりも後の第２フレームの処理対象ブロックに対応する動きベクトルとして基準ベクトルを採用するか否かを、第１フレームの符号化結果（量子化係数等）に基づいて決定する。このようにすることで、特にＮ値画像の動きベクトル探索をした場合に動きベクトルの方向にばらつきが発生しやすい状況において、動きベクトルが揃いやすくなり、スキップブロックが適用できるブロック数を向上させることができるようになる。
なお本実施形態ではＮ値画像を用いて動き探索を行ったが本発明はこれに限定されるものではない。平坦領域やノイズの多い画像で十分な動き探索精度を保つことができない場合に、動き探索に基づく動きベクトルではなく基準ベクトルを採用することでＮ値画像動き探索と同様に符号化効率を向上できる。
＜第２の実施形態＞
次に第２の実施形態について第１の実施形態との差異を中心に説明する。本実施形態の画像処理装置（符号化装置）の構成を第１の実施形態と同様に図１で示す。ただし、本実施形態ではインター予測部１０１の動作が第１の実施形態とは異なる。
次に、図８を用いて本実施形態のインター予測部１０１の構成に関して説明する。図８の８０１、８０２、８０４、８０５、８０６の動作は、図３の３０１、３０２、３０４、３０５、３０６の動作と同様である。
８０３はＮ値画像動き探索部であり、Ｎ値画像を用いたブロックマッチング処理に基づく動き探索処理を行うことが可能である。そしてＮ値画像動き探索部８０３は、Ｎ値画像を用いた動き探索によって算出された動きベクトルであるＮ値画像探索ベクトルを出力することが可能である。本実施形態のＮ値画像動き探索部８０３と第１の実施形態のＮ値画像動き探索部３０３との大きな違いは、Ｎ値画像動き探索部８０３に動き探索モードが入力されることである。
本実施形態のＮ値画像動き探索部８０３には、Ｎ値画像を用いた処理対象ブロックの動きベクトル探索が実行される前に、当該処理対象ブロックに関する動き探索モードが入力される。当該動き探索モードは、処理対象ブロックに対応する動きベクトルとして、基準ベクトルを採用するか否かを示している。
そして、Ｎ値画像動き探索部８０３は、取得した動き探索モードに基づいて、Ｎ値画像を用いた処理対象ブロックの動きベクトル探索が必要であるか否かを判定し、不要であると判定した場合、Ｎ値画像を用いた動きベクトル探索を実行しない。これにより、符号化に関する処理負荷及び消費電力を低減できる。
本実施形態の動作について、図９のフローチャートを用いて詳細に説明する。なお、図９のフローチャートの処理は、画像処理装置のＣＰＵが、図９の処理のためのプログラムをメモリから読み出して実行することにより実現される。また、本実施形態の画像処理装置がネットワークカメラに実装されている場合、ネットワークカメラの撮影開始と共に、図９の処理が開始される。ただし、本実施形態の画像処理装置はネットワークカメラ以外にも実装は可能であり、例えば、デジタルカメラやデジタルビデオカメラやパーソナルコンピュータ、スマートフォン等に実装することも可能である。
図９のＳ９０１、Ｓ９０２、Ｓ９０４、Ｓ９０５、Ｓ９０７、Ｓ９０８の処理に関しては、第１の実施形態におけるＳ５０１、Ｓ５０２、Ｓ５０５、Ｓ５０６、Ｓ５０７、Ｓ５０８に対応する。
Ｓ９０３において、インター予測部１０１は、インター予測を行なう。本実施形態のインター予測処理に関して図１０のフローチャートを用いて詳細に説明する。なお、図１０のＳ１００１、及びＳ１００３〜Ｓ１００６の処理は、図７のＳ７０１〜Ｓ７０５に対応する。
Ｓ１００２においてＮ値画像動き探索部８０３は、処理対象ブロックに対応する動き探索モードが基準ベクトルを採用するモードか否かを判定する。基準ベクトルを採用しない動き探索モードである場合はＳ１００３に進み、基準ベクトルを採用する動き探索モードである場合はＳ１００４に進む。基準ベクトルが採用される場合は、Ｎ値画像探索ベクトルが使用されないため、Ｎ値画像動き探索部８０３はＮ値画像を用いた動きベクトルの探索を実施しない。このようにすることで符号化に関する処理負荷及び消費電力を低減できる。
図９のＳ９０６において、動き探索モード決定部１０５は、処理対象ブロックが存在する処理対象フレームの次のフレームの対応ブロックの動き探索モードを決定する。本実施形態における対応ブロックは、処理対象フレームの次のフレームのブロックのうち、処理対象ブロックと同じ位置にあるブロックである。すなわち、第１の実施形態と第２の実施形態とでは、動き探索モードを決定するタイミングが異なる。
図１１を用いて、Ｓ９０６の処理を詳細に説明する。Ｓ１１０１において、動き探索モード決定部１０５は、処理対象ブロックのＣＢＰがゼロであったか否かを判定する。ゼロであると判定された場合はＳ１１０２に進み、ゼロでないと判定された場合はＳ１１０５に進む。
Ｓ１１０２において、動き探索モード決定部１０５は、処理対象ブロックがイントラブロックか否かを判定する。イントラブロックであると判定された場合はＳ１１０４の処理に進み、インターブロックであると判定された場合はＳ１１０３の処理に進む。
Ｓ１１０３において、動き探索モード決定部１０５は、処理対象ブロックに対応する動きベクトルとして基準ベクトルが採用されているか否かを判定する。基準ベクトルが採用されていると判定した場合はＳ１１０４に進み、基準ベクトルが採用されていないと判定した場合はＳ１１０５に進む。
Ｓ１１０４において、動き探索モード決定部１０５は、処理対象フレームの次のフレームの複数のブロックのうち、処理対象ブロックと同一位置のブロック（対応ブロック）に対応する動きベクトルとして基準ベクトルを採用するように動き探索モードを決定する。Ｓ１１０５において動き探索モード決定部１０５は、処理対象フレームの次のフレームのブロックのうち、処理対象ブロックと同一位置のブロック（対応ブロック）の動きベクトルとして、Ｎ値画像探索ベクトルが採用されるように、動き探索モードを決定する。なお、Ｎ値画像探索ベクトルとは、入力画像の階調が下げられた画像に対する動き探索によって得られる動きベクトルである。
以上説明したように、本実施形態の動き探索モード決定部１０５は、処理対象ブロックのＮ値画像による動きベクトル探索の開始前に、当該処理対象ブロックに対応する動きベクトルとして、基準ベクトルを採用すべきか否かを判定する。そして、動き探索モード決定部１０５が、基準ベクトルを採用すべきであると判定した場合、Ｎ値画像による動きベクトル探索を実行しない。このような構成により、符号化のための処理負荷や消費電力を低減できる。以上、画像処理装置および画像処理装置の制御方法について説明した。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０１ インター予測部
１０２ イントラ予測部
１０３ 符号化タイプ決定部
１０４ 変換・量子化部
１０５ 動き探索モード決定部
１０６ 参照画像バッファ
１０７ 可変長符号化部

Claims (14)

  1. スキップブロック又はスキップモードを用いて動画を符号化することが可能な画像処理装置であって、
    動画を構成するフレームを符号化する符号化手段と、
    前記動画を構成する第１フレームよりも後の第２フレームにおける複数のブロックのうちの第１ブロックに対応する動きベクトルとして、所定のベクトルを採用するか否かを、前記第１フレームの符号化結果に基づいて決定する決定手段と
    を有し、
    前記決定手段は、前記第１フレームにおける複数のブロックのうち、前記第１フレームよりも後の前記第２フレームにおける前記第１ブロックに位置が対応する対応ブロックの量子化係数が所定の条件を満たし、且つ、前記対応ブロックがイントラ符号化される場合、前記第１ブロックに対応する動きベクトルを、前記所定のベクトルにすることを決定し、
    前記対応ブロックの量子化係数が前記所定の条件を満たさない場合、前記第１ブロックに対応する動きベクトルを、前記第１ブロックと他のブロックとの相関に基づいて決定された動きベクトルにする
    ことを特徴とする画像処理装置。
  2. スキップブロック又はスキップモードを用いて動画を符号化することが可能な画像処理装置であって、
    動画を構成するフレームを符号化する符号化手段と、
    前記動画を構成する第１フレームよりも後の第２フレームにおける複数のブロックのうちの第１ブロックに対応する動きベクトルとして、所定のベクトルを採用するか否かを、前記第１フレームの符号化結果に基づいて決定する決定手段と
    を有し、
    前記決定手段は、前記第１フレームにおける複数のブロックのうち、前記第１フレームよりも後の前記第２フレームにおける前記第１ブロックに位置が対応する対応ブロックの量子化係数が前記所定の条件を満たし、且つ、前記対応ブロックがインター符号化される場合、前記対応ブロックに対応する動きベクトルが、前記所定のベクトルであるか否かに応じて、前記第１ブロックに対応する動きベクトルとして、前記所定のベクトルを採用するか、前記第１ブロックと他のブロックとの相関に基づいて決定された動きベクトルを採用するかを決定する
    ことを特徴とする画像処理装置。
  3. スキップブロック又はスキップモードを用いて動画を符号化することが可能な画像処理装置であって、
    動画を構成するフレームを符号化する符号化手段と、
    前記動画を構成する第１フレームよりも後の第２フレームにおける複数のブロックのうちの第１ブロックに対応する動きベクトルとして、所定のベクトルを採用するか否かを、前記第１フレームの符号化結果に基づいて決定する決定手段と、
    前記動画の１画素当たりの階調を下げる変換手段と、
    前記変換手段により階調が下げられた前記第１ブロックと他のブロックとの相関に基づいて動きベクトルを探索する探索手段と
    を有し、
    前記決定手段は、前記探索手段の探索により得られた、前記階調が下げられた前記第１ブロックと他のブロックとの相関に基づく前記動きベクトルを前記第１ブロックに対応する動きベクトルとして採用するか、前記所定のベクトルを採用するかを、前記第１フレームにおける複数のブロックのうち、前記第１フレームよりも後の前記第２フレームにおける前記第１ブロックに位置が対応する対応ブロックの符号化結果であって、前記対応ブロックにおける平坦度合いに関連する符号化結果に基づいて決定する
    ことを特徴とする画像処理装置。
  4. 前記符号化手段は、前記決定手段の決定に基づく前記第１ブロックに対応する動きベクトルと、前記第２フレームにおいて前記第１ブロックから所定範囲内のブロックに対応する動きベクトルとの差分に応じて、前記第１ブロックの動きベクトルに関するヘッダ情報を含まない符号化データを生成する
    ことを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
  5. 前記ヘッダ情報には、前記第１ブロックの符号化タイプを示す情報が含まれることを特徴とする請求項４に記載の画像処理装置。
  6. 前記符号化結果は量子化係数である
    ことを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理装置。
  7. 前記所定のベクトルは、前記第１ブロックに動きがないことを示すゼロベクトルである
    ことを特徴とする請求項１乃至６のうちいずれか１項に記載の画像処理装置。
  8. 前記第１ブロックに対応する動きベクトルとして採用するか否かが決定される前記所定のベクトルは、前記第１ブロックよりも表示位置が上である第２ブロックに対応する動きベクトルと、前記第１ブロックよりも表示位置が左である第３ブロックに対応する動きベクトルと、前記第１ブロックよりも表示位置が右上である第４ブロックに対応する動きベクトルとに基づいて算出される
    ことを特徴とする請求項１乃至６のうちいずれか１項に記載の画像処理装置。
  9. 前記第１ブロックに対応する動きベクトルとして採用するか否かが決定される前記所定のベクトルは、前記第２フレームより前のフレームから検出されたオブジェクトの動きに基づいて算出される
    ことを特徴とする請求項１乃至６のうちいずれか１項に記載の画像処理装置。
  10. 前記決定手段は、前記第１フレームの符号化結果に基づいて、前記第２フレームの符号化の開始前に、前記第１ブロックに対応する動きベクトルとして前記所定のベクトルを採用するか否かを決定し、
    前記第１ブロックに対応する動きベクトルとして前記所定のベクトルを採用すると前記決定手段により決定された場合、前記第１ブロックと他のブロックとの相関に基づく動きベクトル探索が実行されないように制御する制御手段をさらに有する
    ことを特徴とする請求項１乃至９のうちいずれか１項に記載の画像処理装置。
  11. スキップブロック又はスキップモードを用いて動画を符号化することが可能な画像処理方法であって、
    動画を構成するフレームを符号化する符号化工程と、
    前記動画を構成する第１フレームよりも後の第２フレームにおける複数のブロックのうちの第１ブロックに対応する動きベクトルとして、所定のベクトルを採用するか否かを、前記第１フレームの符号化結果に基づいて決定する決定工程と
    を有し、
    前記決定工程において、
    前記第１フレームにおける複数のブロックのうち、前記第１フレームよりも後の前記第２フレームにおける前記第１ブロックに位置が対応する対応ブロックの量子化係数が所定の条件を満たし、且つ、前記対応ブロックがイントラ符号化される場合、前記第１ブロックに対応する動きベクトルを、前記所定のベクトルにすることを決定し、
    前記対応ブロックの量子化係数が前記所定の条件を満たさない場合、前記第１ブロックに対応する動きベクトルを、前記第１ブロックと他のブロックとの相関に基づいて決定された動きベクトルにする
    ことを特徴とする画像処理方法。
  12. スキップブロック又はスキップモードを用いて動画を符号化することが可能な画像処理方法であって、
    動画を構成するフレームを符号化する符号化工程と、
    前記動画を構成する第１フレームよりも後の第２フレームにおける複数のブロックのうちの第１ブロックに対応する動きベクトルとして、所定のベクトルを採用するか否かを、前記第１フレームの符号化結果に基づいて決定する決定工程と
    を有し、
    前記決定工程において、前記第１フレームにおける複数のブロックのうち、前記第１フレームよりも後の前記第２フレームにおける前記第１ブロックに位置が対応する対応ブロックの量子化係数が前記所定の条件を満たし、且つ、前記対応ブロックがインター符号化される場合、前記対応ブロックに対応する動きベクトルが、前記所定のベクトルであるか否かに応じて、前記第１ブロックに対応する動きベクトルとして、前記所定のベクトルを採用するか、前記第１ブロックと他のブロックとの相関に基づいて決定された動きベクトルを採用するかを決定する
    ことを特徴とする画像処理方法。
  13. スキップブロック又はスキップモードを用いて動画を符号化することが可能な画像処理方法であって、
    動画を構成するフレームを符号化する符号化工程と、
    前記動画を構成する第１フレームよりも後の第２フレームにおける複数のブロックのうちの第１ブロックに対応する動きベクトルとして、所定のベクトルを採用するか否かを、前記第１フレームの符号化結果に基づいて決定する決定工程と、
    前記動画の１画素当たりの階調を下げる変換工程と、
    前記変換工程により階調が下げられた前記第１ブロックと他のブロックとの相関に基づいて動きベクトルを探索する探索工程と
    を有し、
    前記決定工程において、前記探索工程の探索により得られた、前記階調が下げられた前記第１ブロックと他のブロックとの相関に基づく前記動きベクトルを前記第１ブロックに対応する動きベクトルとして採用するか、前記所定のベクトルを採用するかを、前記第１フレームにおける複数のブロックのうち、前記第１フレームよりも後の前記第２フレームにおける前記第１ブロックに位置が対応する対応ブロックの符号化結果であって、前記対応ブロックにおける平坦度合いに関連する符号化結果に基づいて決定する
    ことを特徴とする画像処理方法。
  14. コンピュータを請求項１乃至１０のうちいずれか１項に記載の画像処理装置として機能させるためのプログラム。
JP2014108552A 2014-05-26 2014-05-26 画像処理装置、画像処理装置の制御方法 Active JP6341756B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014108552A JP6341756B2 (ja) 2014-05-26 2014-05-26 画像処理装置、画像処理装置の制御方法
US14/720,575 US9948932B2 (en) 2014-05-26 2015-05-22 Image processing apparatus and control method of image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014108552A JP6341756B2 (ja) 2014-05-26 2014-05-26 画像処理装置、画像処理装置の制御方法

Publications (2)

Publication Number Publication Date
JP2015226111A JP2015226111A (ja) 2015-12-14
JP6341756B2 true JP6341756B2 (ja) 2018-06-13

Family

ID=54556995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014108552A Active JP6341756B2 (ja) 2014-05-26 2014-05-26 画像処理装置、画像処理装置の制御方法

Country Status (2)

Country Link
US (1) US9948932B2 (ja)
JP (1) JP6341756B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019867A (zh) * 2017-10-10 2019-07-16 阿里巴巴集团控股有限公司 图像搜索方法、系统和索引构建方法和介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549017A (ja) * 1991-08-09 1993-02-26 Seiko Epson Corp 動きベクトル検出回路
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
WO2007074543A1 (ja) * 2005-12-27 2007-07-05 Sharp Kabushiki Kaisha 動画像復号装置および動画像符号化装置
EP1993292B1 (en) * 2006-03-09 2013-05-15 NEC Corporation Dynamic image encoding method and device and program using the same
US8311120B2 (en) * 2006-12-22 2012-11-13 Qualcomm Incorporated Coding mode selection using information of other coding modes
WO2011121715A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 画像復号化方法
US9042440B2 (en) * 2010-12-03 2015-05-26 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding
US9338449B2 (en) * 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
JP5613319B2 (ja) * 2011-03-09 2014-10-22 日本電信電話株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム
US8934552B2 (en) * 2011-03-31 2015-01-13 Qualcomm Incorporated Combined reference picture list construction and mapping
US9392301B2 (en) * 2011-07-01 2016-07-12 Qualcomm Incorporated Context adaptive entropy coding for non-square blocks in video coding
PL2805511T3 (pl) * 2012-01-20 2019-09-30 Sun Patent Trust Sposoby i urządzenie do kodowania i dekodowania wideo przy użyciu predykcji wektora ruchu w czasie
KR102166335B1 (ko) * 2013-04-19 2020-10-15 삼성전자주식회사 Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10015515B2 (en) * 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US9883197B2 (en) * 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US20150264348A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
US9756354B2 (en) * 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying

Also Published As

Publication number Publication date
US9948932B2 (en) 2018-04-17
JP2015226111A (ja) 2015-12-14
US20150341639A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
KR102450443B1 (ko) 다중 참조 예측을 위한 움직임 벡터 개선
JP5321426B2 (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
JP5669278B2 (ja) 画像シーケンスのブロックを符号化する方法およびこのブロックを再構成する方法
JP5277257B2 (ja) 動画像復号化方法および動画像符号化方法
RU2391794C2 (ru) Устройство видеокодирования, способ видеокодирования, программа видеокодирования, устройство видеодекодирования, способ видеодекодирования и программа видеодекодирования
KR102642784B1 (ko) 모션 벡터 리파인먼트를 위한 제한된 메모리 액세스 윈도우
JP4993676B2 (ja) 画像符号化装置及び画像符号化方法
CN110383841A (zh) 用于在视频压缩中对运动矢量进行编码的方法和设备
KR20210008046A (ko) 디코더 측 모션 벡터 정제를 위한 에러 표면 기반 서브 픽셀 정밀 정제 방법
JP6962193B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
KR20130105821A (ko) 이미지 컨텐츠에 기초한 검색 및 랭킹에 의한, 비디오 압축 시 레퍼런스 블록으로의 링크를 인코딩
JP6341756B2 (ja) 画像処理装置、画像処理装置の制御方法
JP6259272B2 (ja) 映像符号化装置及び映像符号化プログラム
JP6019797B2 (ja) 動画像符号化装置、動画像符号化方法、及びプログラム
JP6468703B2 (ja) 動き検出装置、動き検出方法及びプログラム
JP6992815B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP6696889B2 (ja) 画像符号化装置、画像符号化方法及びコンピュータプログラム
JP6331972B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2020058068A (ja) 画像符号化装置、画像符号化方法及びコンピュータプログラム
JP2007243859A (ja) 画像符号化装置及び画像符号化プログラム
KR20160084124A (ko) 기본 계층의 부호화 정보를 이용하여 향상 계층의 움직임 탐색 범위를 결정하는 스케일러블 부호화 장치 및 방법
JP2015119332A (ja) 動画像符号化装置、動画像符号化方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180515

R151 Written notification of patent or utility model registration

Ref document number: 6341756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151