JP5387520B2 - 情報処理装置と情報処理方法 - Google Patents

情報処理装置と情報処理方法 Download PDF

Info

Publication number
JP5387520B2
JP5387520B2 JP2010144907A JP2010144907A JP5387520B2 JP 5387520 B2 JP5387520 B2 JP 5387520B2 JP 2010144907 A JP2010144907 A JP 2010144907A JP 2010144907 A JP2010144907 A JP 2010144907A JP 5387520 B2 JP5387520 B2 JP 5387520B2
Authority
JP
Japan
Prior art keywords
information
anchor
unit
anchor information
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010144907A
Other languages
English (en)
Other versions
JP2012010147A (ja
Inventor
潤一 松本
貴士 福山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010144907A priority Critical patent/JP5387520B2/ja
Priority to PCT/JP2011/064290 priority patent/WO2011162299A1/ja
Priority to CN201180030088.6A priority patent/CN102986225B/zh
Priority to US13/699,091 priority patent/US20130089146A1/en
Publication of JP2012010147A publication Critical patent/JP2012010147A/ja
Application granted granted Critical
Publication of JP5387520B2 publication Critical patent/JP5387520B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

この発明は、情報処理装置と情報処理方法に関する。詳しくは、アンカー情報の利用を効率よく行うことができる情報処理装置と情報処理方法の提供を目的とする。
近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するMPEG等の方式に準拠した装置が、放送局や一般家庭において普及しつつある。
特に、MPEG2(ISO/IEC13818−2)は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。
また、テレビ会議用等の画像符号化を目的として、H.26L(ITU−T Q6/16 VCEG)という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われており、H.264およびMPEG−4 Part10 (以下「H.264/AVC(Advanced Video Coding)」と記す)という名の下に国際標準となった。
H.264/AVC方式におけるインター予測処理では、対象ブロックの動きベクトルを導出する際に、アンカーピクチャを使用する予測モード、例えばスキップモードやダイレクトモード(以下「スキップ/ダイレクトモード」という)が規定されている。また、特許文献1では、このようなアンカーピクチャを用いてインター予測処理を行うことが記載されている。
特開2009−55519号公報
ところで、アンカーピクチャは、復号化対象ピクチャが参照するピクチャであり、ある時点で復号化されたピクチャは、それよりも後に復号化されるピクチャのアンカーピクチャとなる可能性がある。このため、アンカーピクチャとして参照される可能性のあるピクチャについて、アンカー情報を生成してメモリに記憶しておき、スキップ/ダイレクトモードでは、アンカー情報を読み出して復号化処理を行う。なお、アンカー情報は、アンカーピクチャにおけるアンカーブロックの動きベクトル、およびアンカーピクチャ内においてアンカーブロックを識別するための参照インデックスを有している。
このため、画像サイズ(水平および垂直方向の画素数)が大きくなるほどブロック数も多くなることから、メモリに記憶するアンカー情報のデータ量か多くなる。したがって、大容量のメモリが必要となってしまう。さらに、アンカー情報を使用する予測モードが増えると、アンカー情報のアクセスも増加しまう。
そこで、この発明では、アンカー情報の利用を効率よく行うことができる情報処理装置と情報処理方法を提供する。
この発明の第1の側面は、アンカー情報を記憶するアンカー情報記憶部と、復号化対象ブロックの復号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報との同一条件を満たしていない場合に、前記アンカー情報記憶部から前記復号化対象ブロックに対応するアンカーブロックのアンカー情報を取得して、前記同一条件を満たす場合に、前記前ブロックで用いたアンカー情報を継続使用して、前記取得したアンカー情報または前記継続使用するアンカー情報を用いて復号化処理を行う画像復号化部とを有する情報処理装置にある。
この発明においては、復号化対象ブロックの復号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報との同一条件を満たしているか判別する例えば同一性識別情報に基づき、アンカー情報の取得または前ブロックのアンカー情報の継続使用が判別される。すなわち、同一性識別情報に基づき、同一条件を満たしていないと判断された場合はアンカー情報記憶部から復号化対象ブロックに対応するアンカーブロックのアンカー情報が取得される。また、同一条件を満たすと判断された場合は、前ブロックで用いたアンカー情報を継続使用とする。この取得したアンカー情報または継続使用とされたアンカー情報を用いて復号化処理が行われる。
同一性識別情報は、アンカーピクチャとして用いられる画像復号化部で復号化処理済みのピクチャを対象として、このピクチャのブロック毎に生成したアンカー情報に基づいて生成された情報、または、復号化対象ブロックの符号化時に用いたアンカー情報と前ブロックの符号化で用いたアンカー情報に基づいて生成された情報であり、例えば前ブロックとアンカー情報が同一と見なせるか否かを示す同一性フラグ、またはアンカー情報が同一と見なせるブロックの連続数を示す情報である同一性カウント値である。
同一性フラグを復号化時に生成する場合、生成された同一性フラグは、アンカー情報記憶部と別個に設けたメモリに記憶される。同一性フラグを符号化時に生成する場合、生成された同一性フラグは、符号化ストリームに含められる。また、同一性カウント値を復号化時に生成する場合、生成された同一性カウント値は、同一性カウント値で連続性が示されるアンカー情報と共にアンカー情報記憶部に記憶される。
この発明の第2の側面は、復号化対象ブロックの復号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報との同一条件を満たしていない場合に、アンカー情報を記憶するアンカー情報記憶部から前記復号化対象ブロックに対応するアンカーブロックのアンカー情報を取得する工程と、前記同一条件を満たす場合に、前記前ブロックで用いたアンカー情報を継続使用する工程と、前記取得したアンカー情報または前記継続使用するアンカー情報を用いて復号化処理を行う工程とを有する情報処理方法。
この発明によれば、復号化対象ブロックの復号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報との同一条件を満たしていない場合、アンカー情報記憶部から復号化対象ブロックに対応するアンカーブロックのアンカー情報が取得される。また、同一条件を満たす場合、前ブロックで用いたアンカー情報が継続使用される。この取得したアンカー情報または継続使用するアンカー情報を用いて復号化処理が行われる。このため、復号化対象ブロック毎に、アンカー情報記憶部から対応するアンカーブロックのアンカー情報を取得する必要がないので、アンカー情報の利用を効率よく行うことができる。
画像復号化装置の構成を示す図である。 画像復号化処理動作を示すフローチャートである。 予測処理を示すフローチャートである。 アンカー情報の取得動作を例示した図である。 連続するブロックが共にアンカー情報を必要とする場合を示した図である。 同一性フラグを生成する場合の動作を示すフローチャートである。 同一性フラグの生成結果を例示した図である。 同一性フラグを用いてアンカー情報の読み出しを行う場合の動作を示した図である。 同一性カウント値を生成する場合の動作を示すフローチャートである。S 示す図である。 同一性カウント値の生成結果を例示した図である。 同一性カウント値を用いてアンカー情報の読み出しを行う場合の動作を示した図である。 画像符号化装置の構成を示す図である。 同一性識別情報の生成に関する構成部分を例示した図である。 画像符号化処理動作を示すフローチャートである。 同一性フラグを生成する場合の動作を示すフローチャートである。 同一性フラグの生成結果を例示した図である。 アンカー情報のデータ量を説明するための例を示している。 空間ダイレクトモードで動きベクトルを算出するときの概略動作を示すフローチャートである。 時間ダイレクトモードで動きベクトルを算出するときの概略動作を示すフローチャートである。 テレビジョン装置の概略構成を例示した図である。 携帯電話機の概略構成を例示した図である。 記録再生装置の概略構成を例示した図である。 撮像装置の概略構成を例示した図である。
以下、発明を実施するための形態について説明する。インター予測モードでは、スキップ/ダイレクトモードであるとき、復号化対象ブロックに対応するアンカーブロックのアンカー情報を用いて復号化処理が行われる。このため、スキップ/ダイレクトモードのブロックが増加すると、アンカー情報へのアクセスが多くなる。一方、アンカーピクチャにおいて、アンカーブロックの動きベクトルは、近接したアンカーブロックで等しくなることが多い。例えば1つの動体の画像内に位置する各アンカーブロックは、動きベクトルが等しくなる。
したがって、本願発明では、連続するアンカー情報の同一性に基づき、復号化対象ブロックの復号化処理で用いるアンカー情報が、直前に復号化処理されたブロック(前ブロック)で用いたアンカー情報との同一条件を満たす場合、既に取得しているアンカー情報を継続使用して復号化処理を行うことでメモリへのアクセス頻度を低減させて、アンカー情報の利用を効率よく行えるようにする。また、本発明は、H.264/AVC方式に限らず、マクロブロックサイズを拡張する新たな方式等にも適用できる。なお、説明は以下の順序で行う。
1.アンカー情報の同一性を利用した復号化処理
2.復号化時にアンカー情報の同一性を判定する場合について
3.符号化時にアンカー情報の同一性を判定する場合について
4.アンカー情報の同一性を復号化時と符号化時で行った場合の比較
5.ソフトウェア処理の場合
6.電子機器に適用した例
<1.アンカー情報の同一性を利用した復号化処理>
情報処理装置において、アンカー情報の同一性を利用した復号化処理を行う場合について説明する。
[1−1.画像復号化装置の構成]
図1は、画像復号化装置10の構成を示している。画像復号化装置10は、復号化処理を行う情報処理装置であり、画像データの符号化処理を行って生成されたストリーム(符号化ストリーム)を用いて復号化処理を行い、符号化処理前の画像データを生成する。また、画像復号化装置10は、復号化対象ブロックの復号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報との同一条件を満たしていない場合に、アンカー情報記憶部から復号化対象ブロックに対応するアンカーブロックのアンカー情報を取得して、同一条件を満たす場合に、前ブロックで用いたアンカー情報を継続使用として、取得したアンカー情報または継続使用とされたアンカー情報を用いて復号化処理を行う。
画像復号化装置10は、蓄積バッファ11、可逆復号化部12、逆量子化部13、逆直交変換部14、加算部15、デブロッキングフィルタ16、画面並べ替えバッファ17を備えている。さらに、画像復号化装置10は、フレームメモリ21、セレクタ22,26、イントラ予測部23、動き補償部24を備えている。また、アンカー情報を記憶するアンカー情報記憶部25が設けられている。
入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号化装置10の蓄積バッファ11に供給される。
蓄積バッファ11は、伝送されてきた符号化ストリームを蓄積する。可逆復号化部12は、蓄積バッファ11より供給された符号化ストリームの復号化を行う。
可逆復号化部12は、蓄積バッファ11から供給される符号化ストリームに対して、可変長復号化や算術復号化などの処理を施して、量子化された直交変換係数を逆量子化部13に出力する。また、可逆復号化部12は、符号化ストリームのヘッダ情報を復号して得られた動きベクトルなどの予測モード情報をイントラ予測部23や動き補償部24に出力する。
逆量子化部13は、可逆復号化部12で復号された量子化データを、画像符号化装置で用いた量子化方式に対応する方式で逆量子化する。逆直交変換部14は、画像符号化装置で用いた直交変換方式に対応する方式で逆量子化部13の出力を逆直交変換して加算部15に出力する。
加算部15は、逆直交変換後のデータとセレクタ26から供給される予測画像データを加算して復号画像データを生成してデブロッキングフィルタ16とフレームメモリ21に出力する。
デブロッキングフィルタ16は、加算部15から供給された復号画像データに対してフィルタ処理を行い、ブロック歪みを除去してからフレームメモリ21に供給し蓄積させるとともに、画面並べ替えバッファ17に出力する。
画面並べ替えバッファ17は、画像の並べ替えを行う。画面並べ替えバッファ17は、画像符号化装置で符号化の順番に並べ替えられたフレームの順番を、元の表示の順番に並べ替えて、D/A変換部18に出力する。
D/A変換部18は、画面並べ替えバッファ17から供給された画像データをD/A変換し、図示せぬディスプレイに出力することで画像を表示させる。
フレームメモリ21は、加算部15から供給されたフィルタ処理前の復号画像データとデブロッキングフィルタ16から供給されたフィルタ処理後の復号画像データとを保持する。
セレクタ22は、可逆復号化部12から供給された予測モード情報に基づき、イントラ予測が行われた予測ブロックの復号化が行われるとき、フレームメモリ21から読み出されたフィルタ処理前の復号画像データをイントラ予測部23に供給する。また、セレクタ22は、可逆復号化部12から供給された予測モード情報に基づき、インター予測が行われた予測ブロックの復号化が行われるとき、フレームメモリ21から読み出されたフィルタ処理後の復号画像データを動き補償部24に供給する。
イントラ予測部23は、可逆復号化部12から供給された予測モード情報で示された予測モードでイントラ予測処理を行い、予測画像データを生成する。イントラ予測部23は、生成した予測画像データをセレクタ26に出力する。
動き補償部24は、可逆復号化部12から供給された予測モード情報に基づいてインター予測処理を行い、予測画像データを生成する。動き補償部24は、予測モード情報に基づき復号化対象ブロックの動きベクトルを算出する。また、動き補償部24は、フレームメモリ21に記憶されている復号画像データから、予測モード情報に含まれている参照ピクチャ情報で示された復号画像データを用いる。さらに、動き補償部24は、算出した動きベクトルおよび予測モード情報で示された予測モードに基づき復号画像データを用いて動き補償を行い、予測画像データを生成する。動き補償部24は、生成した予測画像データをセレクタ26に出力する。
アンカー情報記憶部25は、動き補償部24がスキップ/ダイレクトモードで復号対象ブロックの復号化処理を行うときに必要とされるアンカー情報を記憶する。なお、アンカー情報は、アンカーピクチャとして参照される可能性のあるピクチャの復号化処理において、動き補償部24で生成された情報が用いられる。
セレクタ26は、イントラ予測部23で生成された予測画像データを加算部15に供給する。また、セレクタ26は、動き補償部24で生成された予測画像データを加算部15に供給する。
[1−2.画像復号化装置の動作]
図2は、画像復号化装置10で行われる画像復号処理動作を示したフローチャートである。
ステップST1で蓄積バッファ11は、伝送されてきた符号化ストリームを蓄積する。ステップST2で可逆復号化部12は、可逆復号化処理を行う。可逆復号化部12は、蓄積バッファ11から供給される符号化ストリームを復号化する。可逆復号化部12は、符号化ストリームに対して可変長復号化や算術復号化などの処理を行い、得られた量子化データを逆量子化部13に出力する。また、可逆復号化部12は、符号化ストリームのヘッダ情報を復号して得られた予測モード情報をイントラ予測部23や動き補償部24に出力する。なお、予測モード情報では、イントラ予測やインター予測における予測モードだけでなく、インター予測で用いられる動きベクトルや参照ピクチャに関する情報等も含まれている。
ステップST3において逆量子化部13は、逆量子化処理を行う。逆量子化部13は、可逆復号化部12から供給された量子化データの逆量子化処理を行い、得られた変換係数データを逆直交変換部14に出力する。なお、逆量子化は、画像符号化処理における量子化前の変換係数データに戻す処理を行う。
ステップST4において逆直交変換部14は、逆直交変換処理を行う。逆直交変換部14は、逆量子化部13から供給された変換係数データの逆直交変換処理を行い、得られた画像データを加算部15に出力する。なお、逆直交変換は、画像符号化処理における直交変換前の画像データに戻す処理を行う。
ステップST5において加算部15は、復号画像データの生成を行う。加算部15は、逆直交変換処理を行うことにより得られたデータと、後述するステップST9で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
ステップST6においてデブロッキングフィルタ16は、フィルタ処理を行う。デブロッキングフィルタ16は、加算部15より出力された復号画像データのフィルタ処理を行い、復号画像に含まれているブロック歪みを除去する。
ステップST7においてフレームメモリ21は、復号画像データの記憶処理を行う。
ステップST8においてイントラ予測部23と動き補償部24は、予測処理を行う。イントラ予測部23と動き補償部24は、可逆復号化部12から供給される予測モード情報に応じてそれぞれ予測処理を行う。
すなわち、可逆復号化部12からイントラ予測の予測モード情報が供給された場合、イントラ予測部23は、予測モード情報で示された予測モードでイントラ予測処理を行い、予測画像データを生成する。また、可逆復号化部12からインター予測の予測モード情報が供給された場合、動き補償部24は、予測モード情報で示された予測モード、動きベクトルや参照ピクチャに関する情報等に基づいた動き補償を行い、予測画像データを生成する。
ステップST9において、セレクタ26は予測画像データの選択を行う。すなわち、セレクタ26は、イントラ予測部23から供給された予測画像と動き補償部24で生成された予測画像データを選択して加算部15に供給して、上述したように、ステップST5において逆直交変換部14の出力と加算させる。
ステップST10において画面並べ替えバッファ17は、画像並べ替えを行う。すなわち画面並べ替えバッファ17は、符号化のために並べ替えられたフレームの順序を元の表示の順序に並べ替えられる。
ステップST11において、D/A変換部18は、画面並べ替えバッファ17からの画像データをD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
図3は、動き補償部24で行われる予測処理を示すフローチャートである。なお、インター予測モードまたはイントラ予測モードは、ピクチャ単位またはスライス単位で設定可能とされており、図3ではインター予測モードがスライス単位で設定されている場合を示している。
ステップST21で動き補償部24は、復号化対象ブロックのインター予測処理を開始してステップST22に進む。
ステップST22で動き補償部24は、復号化対象ブロックの予測モードを判別する。動き補償部24は、可逆復号化部12から供給された予測モード情報に基づき予測モードを判別してステップST23に進む。
ステップST23で動き補償部24は、予測モードがアンカー情報を用いるモードであるか判別する。動き補償部24は、ステップST22で判別した予測モードがアンカー情報を用いるモード、すなわちスキップ/ダイレクトモードであるときステップST24に進み、他のモードであるときステップST27に進む。
ステップST24で動き補償部24は、同一アンカー条件を満たしているか判別する。動き補償部24は、後述する同一性識別情報に基づき、復号化対象ブロックに対応するアンカーブロックのアンカー情報が、前ブロックで用いたアンカー情報と同一と見なせることが示されているときステップST25に進む。また、同一と見なすことができないときおよび前ブロックがアンカー情報を用いない予測モードであるときステップST26に進む。
ステップST25で動き補償部24は、前ブロックのアンカー情報を継続使用する。動き補償部24は、前ブロックで用いたアンカー情報を復号化対象ブロックのアンカー情報として継続使用してステップST27に進む。このように、既に読み出されているアンカー情報を継続使用することで、動き補償部24は、アンカー情報記憶部25からアンカー情報を読み出す必要がない。
ステップST26で動き補償部24は、対応するアンカーブロックのアンカー情報を取得する。動き補償部24は、復号化対象ブロックと対応するアンカーブロックで生成されているアンカー情報を、アンカー情報記憶部25から読み出してステップST27に進む。
ステップST27で動き補償部24は、動きベクトルを算出する。動き補償部24は、予測モードがアンカー情報を用いるモードであるとき、前ブロックで用いたアンカー情報、またはアンカー情報記憶部25から読み出したアンカー情報で示された動きベクトルを用いて、復号化対象ブロックの動きベクトルを算出する。また、予測モードがアンカー情報を用いないモードであるとき、隣接ブロックの動きベクトルのメディアン等を予測動きベクトルとして、予測モード情報で示された差分動きベクトルに予測動きベクトルを加算して、復号化対象ブロックの動きベクトルとする。このように予測モードに応じて動きベクトルの算出を行い、ステップST28に進む。
ステップST28で動き補償部24は、予測画像データの生成を行う。動き補償部24は、ステップST27で算出した動きベクトルに基づいて、フレームメモリに記憶されている参照画像の画像データに対する動き補償を行い、予測画像データを生成してステップST29に進む。
ステップST29で動き補償部24は、スライスの終了であるか判別する。動き補償部24は、スライスの終了でないときステップST21に戻り、次のブロックの処理を行う。また、動き補償部24は、スライスの終了であるとき、当該スライスに対するインター予測処理を終了する。
図4は、動き補償部24で行われるアンカー情報の取得動作を例示した図である。図4の(A)は、アンカー情報の同一性を利用したアンカー情報の取得動作を説明するための図である。なお、図4の(B)は、アンカー情報の同一性を利用していない従来のアンカー情報の取得動作を示している。
図4の(A),(B)において、例えば復号化対象ピクチャにおけるブロックMB0,MB2,MB3,MB6,MB7,MB8,MB10,MB11,MB14は、アンカー情報を用いるスキップ/ダイレクトモードのブロックである。また、括弧書きしたブロックMB1,MB4,MB5,MB9,MB12,MB13は、アンカー情報を用いない他の予測モードである。
アンカーピクチャにおけるアンカー情報Anc0は、ブロックMB0に対応するアンカーブロックのアンカー情報である。同様に、アンカー情報Anc1〜15は、ブロックMB1〜15に対応するアンカーブロックのアンカー情報である。
また、例えばアンカー情報Anc3は、アンカー情報Anc2と同一と見なせる情報とする。同様に、アンカー情報Anc7,Anc8は、アンカー情報Anc6と同一と見なせる情報とする。
図4の(A)に示すように、動き補償部24は、復号化対象ピクチャにおいて、復号化対象ブロックがアンカー情報を用いるスキップ/ダイレクトモードのブロックであるとき、アンカーピクチャから対応するアンカーブロックのアンカー情報を取得する。また、動き補償部24は、スキップ/ダイレクトモードのブロックが連続するとき、前ブロックで用いたアンカー情報が復号化対象ブロックのアンカー情報と同一と見なせる場合は、既に取得しているアンカー情報を継続使用する。
なお、図5は、復号化対象ピクチャにおいて、連続するブロックが共にアンカー情報を必要とする場合を示している。例えば、復号化対象ピクチャにおける復号化対象ブロックMBnと直前のブロックである前ブロックMB(n−1)は、アンカー情報を用いて復号化処理を行う予測モードである。また、アンカーピクチャにおいて、ブロックMBAnは、復号化対象ブロックMBnに対応するアンカーブロック、ブロックMBA(n−1)は、復号化対象ブロックMBnに対応するアンカーブロックである。
図4の(A)において、復号化対象ブロックがブロックMB0であるとき、動き補償部24は、ブロックMB0がスキップ/ダイレクトモードのブロックであるので、アンカーピクチャにおける対応するアンカーブロックのアンカー情報Anc0を取得する。動き補償部24は、取得したアンカー情報Anc0で示されている動きベクトルを用いてブロックMB0の動きベクトルを算出して、算出した動きベクトルに基づき動き補償を行い、予測画像データを生成する。
復号化対象ブロックがブロックMB1であるとき、動き補償部24は、ブロックMB1がスキップ/ダイレクトモードでないので、アンカー情報Anc1を取得することなく、予測モードに応じて動きベクトルを算出して予測画像データの生成を行う。
復号化対象ブロックがブロックMB2であるとき、動き補償部24は、ブロックMB2がスキップ/ダイレクトモードで直前のブロックである前ブロックMB1がスキップ/ダイレクトモードでないので、アンカー情報Anc2を取得する。動き補償部24は、取得したアンカー情報Anc2で示されている動きベクトルからブロックMB2の動きベクトルを算出して予測画像データの生成を行う。
復号化対象ブロックがブロックMB3であるとき、ブロックMB3はスキップ/ダイレクトモードであることから、スキップ/ダイレクトモードのブロックが連続している。したがって、動き補償部24は、ブロックMB3に対応するアンカーブロックのアンカー情報Anc3が前ブロックで用いたアンカー情報Anc2と同一と見なせる場合、既に取得しているアンカー情報Anc2を継続使用する。動き補償部24は、継続使用したアンカー情報Anc2で示されている動きベクトルからブロックMB3の動きベクトルを算出して予測画像データの生成を行う。
同様に、ブロックMB6〜MB8は、スキップ/ダイレクトモードのブロックで連続しており、アンカー情報Anc6〜Anc8は、同一と見なせる情報である。したがって、動き補償部24は、アンカー情報Anc6をブロックMB7,MB8の情報として継続使用する。動き補償部24は、継続使用したアンカー情報Anc6で示されている動きベクトルからブロックMB6だけでなくブロックMB7,MB8の動きベクトルを算出して予測画像データの生成を行う。
さらに、ブロックMB10,MB11は、スキップ/ダイレクトモードのブロックで連続している。また、アンカー情報Anc10とアンカー情報Anc8は、同一と見なせる情報ではない。したがって、動き補償部24は、ブロックMB10に対応するアンカーブロックのアンカー情報Anc10で示されている動きベクトルからブロックMB10の動きベクトルを算出して、予測画像データの生成を行う。また、動き補償部24は、ブロックMB11に対応するアンカーブロックのアンカー情報Anc11で示されている動きベクトルからブロックMB11の動きベクトルを算出して、予測画像データの生成を行う。
なお、図4の(B)に示すように、従来の方法では、例えば復号化対象のブロックがブロックMB3であるとき、アンカー情報Anc2とアンカー情報Anc3が同一と見なせる場合であっても、対応するアンカーブロックのアンカー情報Anc3を取得する。この取得したアンカー情報Anc3で示されている動きベクトルからブロックMB3の動きベクトルを算出して予測画像データの生成が行われる。また、アンカー情報Anc6〜Anc8が同一見なせる場合も同様に、対応するアンカーブロックのアンカー情報Anc7,Anc8の取得が行われる。
このように、アンカー情報の同一性を利用してアンカー情報の取得動作を行えば、同一と見なせるアンカー情報が連続するブロックでは、ブロック毎にアンカー情報を読み出す必要がないので、アンカー情報記憶部25へのアクセス数を削減できる。
<2.復号化時にアンカー情報の同一性を判定する場合について>
次に、復号化時にアンカー情報の同一性を判定して、同一アンカー識別情報を生成する場合について説明する。
動き補償部24は、アンカーピクチャとして参照される可能性のあるピクチャを復号化したときに、アンカー情報を生成する。さらに、生成したアンカー情報の同一性を判定して、判定結果を示す同一性識別情報を生成する。同一性識別情報は、復号化対象ブロックの復号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報との同一条件を満たしているか判別できる情報であればよい。例えば、同一性識別情報として、アンカー情報が同一と見なせるか否かを示すフラグ(以下「同一性フラグ」という)を用いることができる。また、他の同一性識別情報として、アンカー情報が同一と見なせるブロックの連続数を示すカウント値(以下「同一性カウント値」という)を用いてもよい。
[2−1.第1の同一性識別情報の生成動作]
図6は、同一性識別情報として、同一性フラグ(「第1の同一性識別情報」という)を生成する場合の動作を示すフローチャートである。なお、図6に示す動作は、アンカーピクチャとして参照される可能性のあるピクチャに対して行われる。
ステップST31で動き補償部24は、ブロックのインター予測処理を開始してステップST32に進む。
ステップST32で動き補償部24は、動きベクトルを算出する。動き補償部24は、例えば隣接ブロックの動きベクトルのメディアンを予測動きベクトルとして算出する。さらに、動き補償部24は、可逆復号化部12から供給された予測モード情報で示された差分動きベクトルを予測動きベクトルに加算して、当該ブロックの動きベクトルとしてステップST33に進む。なお、動きベクトルは、アンカーピクチャとして参照される可能性のあるピクチャの復号化処理において、予測画像データを生成するためにブロック毎に算出した動きベクトルを用いれば、同一性フラグを生成するために、動きベクトルを再度算出する必要がない。
ステップST33で動き補償部24は、動きベクトルが同一と見なせるか判別する。動き補償部24は、前ブロックの動きベクトルとステップST32で算出した動きベクトルが同一と見なせる場合ステップST34に進む。また、動き補償部24は、同一と見なせない場合ステップST35に進む。同一と見なせるか否かの判別は、当該ブロックの動きベクトルと前ブロックの動きベクトルの差を予め設定した閾値と比較して、動きベクトルの差が閾値以下である場合、同一と見なせると判定する。なお、閾値については、符号化時にアンカー情報の同一性を判定する場合と併せて後述する。
ステップST34で動き補償部24は、同一性フラグを、同一状態に設定する。動き補償部24は、例えば同一フラグを「1」に設定してステップST36に進む。
ステップST35で動き補償部24は、同一性フラグを、非同一状態に設定とする。動き補償部24は、例えば同一フラグを「0」に設定してステップST36に進む。
ステップST36で動き補償部24は、スライスの最後のブロックまで処理が終了したか判別する。動き補償部24は、最後のブロックまで処理が終了していないときはステップST31に戻り次のブロックに対する処理を行う。また、動き補償部24は、ピクチャの全てのスライスについて処理が終了したとき、このピクチャについての同一性フラグの生成を終了する。
図7は、同一性フラグの生成結果を例示した図である。例えば、ピクチャのブロックMBA0は、前ブロックが存在しない。したがって、動き補償部24は、ブロックMBA0の同一性フラグFEを「0」とする。次に、動き補償部24は、ブロックMBA1の動きベクトルが直前のブロックである前ブロックMBA0の動きベクトルと同一と見なせない場合、ブロックMBA1の同一性フラグFEを「0」とする。動き補償部24は、ブロックMBA2の動きベクトルが前ブロックMBA1の動きベクトルと同一と見なせない場合、ブロックMBA2の同一性フラグFEを「0」とする。動き補償部24は、ブロックMBA3の動きベクトルが前ブロックMBA2の動きベクトルと同一と見なせる場合、ブロックMBA3の同一性フラグFEを「1」とする。以下同様な処理を行うことで、第1の同一性識別情報を生成できる。例えば、図7に示す場合の第1の同一性識別情報は「010100111100101」となる。
このように生成した第1の同一性識別情報は、復号化時にアンカー情報よりも先に読み出す必要がある。したがって、第1の同一性識別情報は、アンカー情報記憶部25と別個に設けられている高速読み出しが可能なメモリ(例えばSRAM等)に記憶させる。また、第1の同一性識別情報は、1ブロックあたり1ビットのデータ量であってデータ量が少ない。したがって、高速読み出しが可能なメモリは低容量であってもよい。
図8は、同一性フラグを用いてアンカー情報の読み出しを行う場合の動作を示している。動き補償部24は、同一性フラグFEが「0」である場合、アンカー情報記憶部25から対応するアンカーブロックのアンカー情報を読み出す。また、同一性フラグFEが「1」である場合、前ブロックで用いたアンカー情報を継続使用する。したがって、例えばブロックMB3では、ブロックMB2で読み出されたアンカー情報Anc2が継続使用される。また、ブロックMB6では、前ブロックMB5がアンカー情報を用いる予測モードでないため、アンカー情報記憶部25から対応するアンカーブロックのアンカー情報Anc6を読み出す。さらに、ブロックMB7,MB8では、ブロックMB6で読み出されたアンカー情報Anc6が継続使用される。
[2−2.第2の同一性識別情報の生成動作]
次に、同一性識別情報として、同一性カウント値(「第2の同一性識別情報」という)を用いる場合について説明する。なお、同一性カウント値は、例えば、復号化ピクチャにおける全ブロックがアンカー情報を用いるスキップ/ダイレクトモードであって、復号化ピクチャの復号化処理の途中でアンカーピクチャの切り替えが行われない場合に用いる。この点については後述する。
図9は、同一性識別情報として、同一性カウント値を生成する場合の動作を示すフローチャートである。なお、図9に示す動作は、アンカーピクチャとして参照される可能性のあるピクチャに対して行われる。
ステップST41で動き補償部24は、同一性カウント値をリセットとしてステップST42に進む。
ステップST42で動き補償部24は、ブロックのインター予測処理を開始してステップST43に進む。
ステップST43で動き補償部24は、動きベクトルを算出する。動き補償部24は、例えば隣接ブロックの動きベクトルのメディアンを予測動きベクトルとして算出する。さらに、可逆復号化部12から供給された予測モード情報で示された差分動きベクトルを予測動きベクトルに加算して、当該ブロックの動きベクトルを算出してステップST44に進む。なお、動きベクトルは、アンカーピクチャとして参照される可能性のあるピクチャの復号化処理において、予測画像データを生成するためにブロック毎に算出した動きベクトルを用いれば、同一性カウント値を生成するために、動きベクトルを再度算出する必要がない。
ステップST44で動き補償部24は、動きベクトルが同一と見なせるか判別する。動き補償部24は、前ブロックの動きベクトルとステップST43で算出した動きベクトルが同一と見なせる場合ステップST45に進む。また、動き補償部24は、同一と見なせない場合ステップST46に進む。
ステップST45で動き補償部24は、情報更新処理を行う。動き補償部24は、アンカー情報が同一と見なせるブロックの連続数を示す同一性カウント値をインクリメントする。また、前ブロックのアンカー情報を利用可能とするため、前のアンカー情報をホールドしてステップST48に進む。
ステップST46で動き補償部24は、情報保存処理を行う。動き補償部24は、アンカー情報が同一と見なせるブロックの連続ではないことから、同一性カウント値をホールドしているアンカー情報と共にアンカー情報記憶部25に記憶してステップST47に進む。
ステップST47で動き補償部24は、情報生成再開処理を行う。動き補償部24は、同一性カウント値をリセットする。また、同一と見なせないブロックのアンカー情報をホールドしてステップST48に進む。
ステップST48で動き補償部24は、ピクチャ内の最後のブロックまで処理が終了したか判別する。動き補償部24は、最後のブロックまで処理が終了していないときはステップST42に戻り次のブロックに対する処理を行う。また、動き補償部24は、最後のブロックまで処理が終了したとき、ステップST49に進む。
ステップST49で動き補償部24は、情報保存処理を行う。動き補償部24は、ピクチャの最後のブロックまで、同一性の判別を行ったことから、同一性カウント値をホールドしているアンカー情報と共にアンカー情報記憶部25に記憶して、このピクチャについての同一性カウント値の生成を終了する。
図10は、同一性カウント値の生成結果を例示した図である。例えば、ピクチャのブロックMBA0のアンカー情報Anc0と次のブロックMBA1のアンカー情報Anc1が同一と見なせることから、アンカー情報Anc0をホールドする。また、同一性カウント値CNをインクリメントしてCN=1とする。次に、ホールドしているアンカー情報Anc0と次のブロックMBA2のアンカー情報Anc2が同一と見なせないことから、ホールドしているアンカー情報Anc0と共に同一性カウント値CN=1を、アンカー情報記憶部25に記憶する。さらに、カウント値のリセットを行い、同一性カウント値CN=0とする。また、アンカー情報Anc2をホールドする。
次に、ホールドしているアンカー情報Anc2とブロックMBA3のアンカー情報Anc3が同一と見なせることから、アンカー情報Anc2をホールドする。また、同一性カウント値CNをインクリメントしてCN=1とする。次に、ホールドしているアンカー情報Anc2と次のブロックMBA4のアンカー情報Anc4が同一と見なせないことから、ホールドしているアンカー情報Anc2と共に同一性カウント値CN=1を記憶する。さらに、アンカー情報Anc4をホールドしてカウント値のリセットを行い、同一性カウント値CN=0とする。
ホールドしているアンカー情報Anc4と次のブロックMBA5のアンカー情報Anc5が同一と見なせないことから、ホールドしているアンカー情報Anc4と共に同一性カウント値CN=0をアンカー情報記憶部25に記憶する。さらに、カウント値のリセットを行い、同一性カウント値CN=0とする。また、アンカー情報Anc5をホールドする。
次に、ホールドしているアンカー情報Anc5とブロックMBA6のアンカー情報Anc6が同一と見なせることから、アンカー情報Anc5をホールドする。また、同一性カウント値CNをインクリメントしてCN=1とする。次に、ホールドしているアンカー情報Anc5とブロックMBA7のアンカー情報Anc7が同一と見なせることから、アンカー情報Anc5をホールドする。また、同一性カウント値CNをインクリメントしてCN=2とする。ホールドしているアンカー情報Anc5とブロックMBA8のアンカー情報Anc8が同一と見なせることから、アンカー情報Anc5をホールドする。また、同一性カウント値CNをインクリメントしてCN=3とする。次に、ホールドしているアンカー情報Anc5とブロックMBA9のアンカー情報Anc9が同一と見なせることから、アンカー情報Anc5をホールドする。また、同一性カウント値CNをインクリメントしてCN=4とする。次に、ホールドしているアンカー情報Anc5とブロックMBA10のアンカー情報Anc10が同一と見なせないことから、ホールドしているアンカー情報Anc5と共に同一性カウント値CN=4をアンカー情報記憶部25に記憶する。さらに、カウント値のリセットを行い、同一性カウント値CN=0とする。また、アンカー情報Anc10をホールドする。
以下同様に処理を行うと、アンカー情報Anc0と同一性カウント値CN=1、アンカー情報Anc2と同一性カウント値CN=1、アンカー情報Anc4と同一性カウント値CN=0が記憶される。また、アンカー情報Anc5と同一性カウント値CN=4、アンカー情報Anc10と同一性カウント値CN=0、アンカー情報Anc11と同一性カウント値CN=1がアンカー情報記憶部25に記憶される。さらに、アンカー情報Anc13と同一性カウント値CN=1がアンカー情報記憶部25に記憶される。
図11は、同一性カウント値を用いてアンカー情報の読み出しを行う場合を示している。動き補償部24は、最初のブロックMB0に対応するアンカー情報と同一性カウント値を読み出す。ここで、最初のアンカー情報Anc0の同一性カウント値はCN=1であることから、ブロックMB1に対してアンカー情報Anc0を用いることが可能であり、ブロックMB2に対してアンカー情報Anc0を用いることはできないことが判別できる。したがって、ブロックMB0は、アンカー情報Anc0を用いて復号化処理を行い、ブロックMB1は、アンカー情報Anc0を継続使用して復号化処理を行う。
ブロックMB2では、アンカー情報Anc0を用いることはできないことから、ブロックMB2に対応するアンカー情報と同一性カウント値を読み出す。ここで、アンカー情報Anc2の同一性カウント値はCN=1であるとこから、ブロックMB3に対してアンカー情報Anc2を用いることが可能であり、ブロックMB4に対してアンカー情報Anc0を用いることはできないことが判別できる。したがって、ブロックMB2は、アンカー情報Anc2を用いて復号化処理を行い、ブロックMB3は、アンカー情報Anc2を継続使用して復号化処理を行う。
ブロックMB4では、アンカー情報Anc2を用いることはできないことから、ブロックMB4に対応するアンカー情報と同一性カウント値を読み出す。ここで、アンカー情報Anc4の同一性カウント値はCN=0であるとこから、ブロックMB5に対してアンカー情報Anc4を用いることはできないことが判別できる。したがって、ブロックMB4は、アンカー情報Anc4を用いて復号化処理を行う。
ブロックMB5では、アンカー情報Anc4を用いることはできないことから、ブロックMB5に対応するアンカー情報と同一性カウント値を読み出す。ここで、アンカー情報Anc5の同一性カウント値はCN=4であるとこから、ブロックMB6〜MB9に対してアンカー情報Anc5を用いることが可能であり、ブロックMB10に対してアンカー情報Anc5を用いることはできないことが判別できる。したがって、ブロックMB5は、アンカー情報Anc5を用いて復号化処理を行い、ブロックMB6〜MB9は、アンカー情報Anc5を継続使用して復号化処理を行う。
このようにすれば、アンカー情報と同一性カウント値を読み出して、同一性カウント値に基づいてアンカー情報を継続使用すれば、ブロック毎にアンカー情報を読み出す必要がない。また、アンカー情報記憶部25には、ブロック毎にアンカー情報を記憶しておく必要がない。このため、アンカー情報記憶部25の容量を削減することも可能となる。
なお、同一性識別情報として同一性カウント値を用いる場合、同一性カウント値とホールドしたアンカー情報がアンカー情報記憶部25に記憶される。このため、復号化対象ピクチャにおいてアンカー情報を用いないブロックを考慮しないと、復号化対象ブロックの順番と同一性カウント値に基づくブロックの順番が対応しなくなってしまう。このため、復号化対象ピクチャがすべてアンカー情報を用いるブロックであれば、復号化対象ブロックの順番と同一性カウント値に基づくブロックの順番が対応するため、容易に復号化処理を行える。また、ピクチャの途中でアンカーピクチャの切り替えが行われた場合、切り替え後のブロックでアンカー情報を読み出せる保証がない。このため、ピクチャの途中でアンカーピクチャの切り替えが行われない場合に同一性カウント値を用いることができる。
<3.符号化時にアンカー情報の同一性を判定する場合について>
上述したように、同一性識別情報は、復号化対象ブロックの復号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報との同一条件を満たしているか判別できる情報であればよく、復号化時だけでなく符号化時に生成することもできる。符号化時に同一性識別情報を生成する場合、生成した同一性識別情報を符号化ストリームに含める。画像復号化装置は、符号化ストリームから同一性識別情報を抽出して、抽出した同一性識別情報に基づき、アンカー情報の取得または前ブロックのアンカー情報の継続使用を行う。次に、符号化時にアンカー情報の同一性を判定して、同一アンカー識別情報を生成する場合について説明する。
[3−1.画像符号化装置の構成]
図12は、画像符号化装置50の構成を示している。画像符号化装置50は、符号化処理を行う情報処理装置であり、アナログ/ディジタル変換部(A/D変換部)51、画面並び替えバッファ52、減算部53、直交変換部54、量子化部55、可逆符号化部56、蓄積バッファ57、レート制御部58を備えている。さらに、画像符号化装置50は、逆量子化部61、逆直交変換部62、加算部63、デブロッキングフィルタ64、フレームメモリ65、セレクタ66、イントラ予測部71、動き予測・補償部72、予測画像・最適モード選択部73を備えている。
A/D変換部51は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ52に出力する。
画面並べ替えバッファ52は、A/D変換部51から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ52は、符号化処理に係るGOP(Group of Pictures)構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部53とイントラ予測部71と動き予測・補償部72に出力する。
減算部53には、画面並べ替えバッファ52から出力された画像データと、後述する予測画像・最適モード選択部73で選択された予測画像データが供給される。減算部53は、画面並べ替えバッファ52から出力された画像データと予測画像・最適モード選択部73から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部54に出力する。
直交変換部54は、減算部53から出力された予測誤差データに対して、離散コサイン変換(DCT;Discrete Cosine Transform)、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部54は、直交変換処理を行うことにより得られた変換係数データを量子化部55に出力する。
量子化部55には、直交変換部54から出力された変換係数データと、後述するレート制御部58からレート制御信号が供給されている。量子化部55は変換係数データの量子化を行い、量子化データを可逆符号化部56と逆量子化部61に出力する。また、量子化部55は、レート制御部58からのレート制御信号に基づき量子化パラメータ(量子化スケール)を切り替えて、量子化データのビットレートを変化させる。
可逆符号化部56には、量子化部55から出力された量子化データと、後述するイントラ予測部71と動き予測・補償部72および予測画像・最適モード選択部73から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測における予測モード(最適予測モード)、インター予測における符号化対象ブロックの動きベクトル、参照ピクチャ情報等が含まれる。可逆符号化部56は、量子化データに対して例えば可変長符号化または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ57に出力する。また、可逆符号化部56は、予測モード情報を可逆符号化して、符号化ストリームのヘッダ情報に付加する。さらに、同一性識別情報を画像符号化時に生成する場合、可逆符号化部56は、動き予測・補償部72で生成された同一性識別情報を、符号化ストリームに含める。さらに、可逆符号化部56は、動き予測・補償部72で算出された符号化対象ブロックの動きベクトルに替えて、差分動きベクトルを予測モード情報に含めることで、予測モード情報のデータ量を削減する。この場合、可逆符号化部56は、例えば符号化対象ブロックに隣接するブロックについて既に算出されている動きベクトルからメディアンを算出して予測動きベクトルとする。可逆符号化部56は、この予測動きベクトルと動き予測・補償部72で算出された符号化対象ブロックの動きベクトルと差を算出して差分動きベクトルとする。
蓄積バッファ57は、可逆符号化部56からの符号化ストリームを蓄積する。また、蓄積バッファ57は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
レート制御部58は、蓄積バッファ57の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部55に出力する。レート制御部58は、例えば蓄積バッファ57から空き容量を示す情報を取得する。レート制御部58は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部58は蓄積バッファ57の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。
逆量子化部61は、量子化部55から供給された量子化データの逆量子化処理を行う。逆量子化部61は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部62に出力する。
逆直交変換部62は、逆量子化部61から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部63に出力する。
加算部63は、逆直交変換部62から供給されたデータと予測画像・最適モード選択部73から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ64とフレームメモリ65に出力する。
デブロッキングフィルタ64は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ64は、加算部63から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の復号画像データをフレームメモリ65に出力する。
フレームメモリ65は、加算部63から供給された復号画像データとデブロッキングフィルタ64から供給されたフィルタ処理後の復号画像データとを保持する。
セレクタ66は、イントラ予測を行うためにフレームメモリ65から読み出されたフィルタ処理前の復号画像データをイントラ予測部71に供給する。また、セレクタ66は、インター予測を行うためフレームメモリ65から読み出されたフィルタ処理後の復号画像データを動き予測・補償部72に供給する。
イントラ予測部71は、画面並べ替えバッファ52から出力された符号化対象画像の画像データとフレームメモリ65から読み出したフィルタ処理前の復号画像データを用いて、候補となるすべてのイントラ予測モードでイントラ予測処理を行う。さらに、イントラ予測部71は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部71は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部73に出力する。また、イントラ予測部71は、コスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードを示す情報を可逆符号化部56に出力する。
動き予測・補償部72は、画面並べ替えバッファ52から出力された符号化対象画像の画像データとフレームメモリ65から読み出したフィルタ処理後の復号画像データを用いて、候補となるすべてのインター予測モードでインター予測処理を行う。さらに、動き予測・補償部72は、各インター予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるインター予測モード、すなわち符号化効率が最良となるインター予測モードを、最適イントラ予測モードとして選択する。動き予測・補償部72は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部73に出力する。また、動き予測・補償部72は、コスト関数値の算出で用いる発生符号量を得るため、各インター予測モードのインター予測処理において、インター予測モードに関する情報を可逆符号化部56に出力する。さらに、同一性識別情報を画像符号化時に生成する場合、動き予測・補償部72は、同一性識別情報を生成して予測画像・最適モード選択部73あるいは可逆符号化部56に出力する。
予測画像・最適モード選択部73は、イントラ予測部71から供給されたコスト関数値と動き予測・補償部72から供給されたコスト関数値を、ブロック単位で比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部73は、最適モードで生成した予測画像データを減算部53と加算部63に出力する。さらに、予測画像・最適モード選択部73は、最適モードの予測モード情報を可逆符号化部56に出力する。また、動き予測・補償部72から同一性識別情報が供給されたとき、最適モードとして最適インター予測モードを選択した場合、同一性識別情報を可逆符号化部56に出力する。なお、予測画像・最適モード選択部73は、ピクチャ単位またはスライス単位でイントラ予測やインター予測を行う。
[3−2.動き予測・補償部の構成]
図13は、動き予測・補償部72において、同一性識別情報の生成に関する構成部分を例示している。動き予測・補償部72は、動きベクトル検出部721、予測モード決定部722、予測モード記憶部723、アンカー情報生成/記憶部724、情報生成部725を有している。
動きベクトル検出部721は、画面並べ替えバッファ52から読み出された符号化対象画像におけるブロックの画像データと、フレームメモリ65から読み出されたフィルタ処理後の復号画像データを用いて動きベクトルを検出する。動きベクトル検出部721は、検出した動きベクトルを予測モード決定部722とアンカー情報生成/記憶部724に供給する。
予測モード決定部722は、供給された動きベクトルに基づいて復号画像データに対する動き補償処理を施して予測画像データの生成を行う。また、予測モード決定部722は、生成した予測画像データを用いたときのコスト関数値を算出する。また、予測モード決定部722は、予測モード毎に予測画像データの生成を行い、コスト関数値を予測モード毎に算出する。さらに、予測モード決定部722は、コスト関数値が最小となる予測モードを最適インター予測モードに決定する。予測モード決定部722は、決定した最適インター予測モードを示す予測モード情報を情報生成部725と予測画像・最適モード選択部73等に供給する。
予測モード記憶部723は、ピクチャ単位やスライス単位で決定された予測モードを記憶する。また、予測モード記憶部723は、記憶している予測モードを情報生成部725に供給する。
アンカー情報生成/記憶部724は、動きベクトル検出部721で検出された動きベクトル等を用いてアンカー情報の生成を行う。さらにアンカー情報生成/記憶部724は、生成したアンカー情報を記憶する。
情報生成部725は、予測モード決定部722で決定された最適インター予測モードと、予測モード記憶部723に記憶されている予測モードおよびアンカー情報生成/記憶部724に記憶されているアンカー情報に基づいて同一性識別情報の生成を行う。すなわち、情報生成部725は、予測モード決定部722で決定された最適インター予測モードが、アンカー情報を用いる予測モードであるか判別する。情報生成部725は、アンカー情報を用いる予測モードであるとき、予測モード記憶部723に記憶されている前ブロックの予測モードを判別する。情報生成部725は、前ブロックの予測モードもアンカー情報を用いる予測モードであったとき、アンカー情報生成/記憶部724に記憶されている当該ブロックに対するアンカー情報が前ブロックで用いたアンカー情報と同一と見なせるか判別する。情報生成部725は、当該ブロックに対するアンカー情報が前ブロックで用いたアンカー情報と同一と見なせる場合、同一性識別情報を前ブロックのアンカー情報と同一と見なせる情報とする。また、情報生成部725は、他の場合、同一性識別情報を、前ブロックのアンカー情報と同一と見なせない情報とする。このようにして、情報生成部725は、同一性識別情報を生成して、可逆符号化部56または予測画像・最適モード選択部73を介して可逆符号化部56に供給する。
[3−3.画像符号化装置の動作]
次に、画像符号化処理動作について説明する。図14は、画像符号化処理動作を示すフローチャートである。ステップST51において、A/D変換部51は入力された画像信号をA/D変換する。
ステップST52において画面並べ替えバッファ52は、画像並べ替えを行う。画面並べ替えバッファ52は、A/D変換部51より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップST53において減算部53は、予測誤差データの生成を行う。減算部53は、ステップST52で並び替えられた画像の画像データと予測画像・最適モード選択部73で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップST54において直交変換部54は、直交変換処理を行う。直交変換部54は、減算部53から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
ステップST55において量子化部55は、量子化処理を行う。量子化部55は、変換係数データを量子化する。量子化に際しては、後述するステップST65の処理で説明されるように、レート制御が行われる。
ステップST56において逆量子化部61は、逆量子化処理を行う。逆量子化部61は、量子化部55により量子化された変換係数データを量子化部55の特性に対応する特性で逆量子化する。
ステップST57において逆直交変換部62は、逆直交変換処理を行う。逆直交変換部62は、逆量子化部61により逆量子化された変換係数データを直交変換部54の特性に対応する特性で逆直交変換する。
ステップST58において加算部63は、復号画像データの生成を行う。加算部63は、予測画像・最適モード選択部73から供給された予測画像データと、この予測画像データと復号化対象ブロックの逆直交変換後のデータを加算して、復号画像データを生成する。
ステップST59においてデブロッキングフィルタ64は、フィルタ処理を行う。デブロッキングフィルタ64は、加算部63より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
ステップST60においてフレームメモリ65は、復号画像データを記憶する。フレームメモリ65は、フィルタ処理前の復号画像データとフィルタ処理後の復号画像データを記憶する。
ステップST61においてイントラ予測部71と動き予測・補償部72は、それぞれ予測処理を行う。すなわち、イントラ予測部71は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部72は、インター予測モードの動き予測・補償処理を行う。この予測処理により、候補となるすべての予測モードで予測処理がそれぞれ行われて、予測モード毎のコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部73に供給される。
ステップST62において予測画像・最適モード選択部73は、予測画像データの選択を行う。予測画像・最適モード選択部73は、イントラ予測部71および動き予測・補償部72より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードに決定する。さらに、予測画像・最適モード選択部73は、決定した最適モードの予測画像データを選択して、減算部53と加算部63に供給する。この予測画像が、上述したように、ステップST58の演算に利用される。なお、選択した予測画像データに対応する予測モード情報は、可逆符号化部56に出力される。
ステップST63において可逆符号化部56は、可逆符号化処理を行う。可逆符号化部56は、量子化部55より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。このとき、上述したステップST62において可逆符号化部56に入力された予測モード情報(例えば予測モード、差分動きベクトル、参照ピクチャ情報等を含む)なども可逆符号化される。さらに、量子化データを可逆符号化して生成された符号化ストリームのヘッダ情報に、予測モード情報の可逆符号化データが付加される。さらに、同一性識別情報を画像符号化時に生成する場合、可逆符号化部56は、動き予測・補償部72で生成された同一性識別情報を符号化ストリームに含める。
ステップST64において蓄積バッファ57は、蓄積処理を行う。蓄積バッファ57は、可逆符号化部56から出力される符号化ストリームを蓄積する。この蓄積バッファ57に蓄積された符号化ストリームは、適宜読み出されて伝送路を介して復号側に伝送される。
ステップST65においてレート制御部58は、レート制御を行う。レート制御部58は、蓄積バッファ57で符号化ストリームを蓄積するとき、オーバーフローまたはアンダーフローが蓄積バッファ57で発生しないように、量子化部55の量子化動作のレートを制御する。
次に、図14のステップST61における予測処理を説明する。イントラ予測部71はイントラ予測処理を行う。イントラ予測部71は処理対象のブロックの画像を、候補となるすべてのイントラ予測モードでイントラ予測する。なお、イントラ予測において参照される復号画像の画像データは、デブロッキングフィルタ64によりフィルタ処理が行われることなくフレームメモリ65に記憶されている復号画像データが用いられる。このイントラ予測処理により、候補となるすべてのイントラ予測モードでイントラ予測が行われ、候補となるすべてのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、すべてのイントラ予測モードの中から、符号化効率が最良となる1つのイントラ予測モードが選択される。
コスト関数値としては、H.264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているように、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて行う。
すなわち、High Complexity モードにおいては、候補となるすべての予測モードに対して、仮に可逆符号化処理までを行い、次の式(1)で表されるコスト関数値を各予測モードに対して算出する。
Cost(Mode∈Ω)=D+λ・R ・・・(1)
Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Dは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー(歪み)を示している。Rは、直交変換係数や予測モード情報等を含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
つまり、High Complexity Modeでの符号化を行うには、上記パラメータDおよびRを算出するため、候補となるすべての予測モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
一方、Low Complexity モードにおいては、候補となるすべての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報などのヘッダビットまでを算出し、次の式(2)で表されるコスト関数値を各予測モードに対して算出する。
Cost(Mode∈Ω)=D+QPtoQuant(QP)・Header_Bit ・・・(2)
Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Dは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー(歪み)を示している。Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
すなわち、Low Complexity Modeにおいては、それぞれの予測モードに関して、予測処理を行う必要があるが、復号化画像までは必要ないため、High Complexity Modeより低い演算量での実現が可能である。
動き予測・補償部72はインター予測処理を行う。動き予測・補償部72は、フレームメモリ65に記憶されているフィルタ処理後の復号画像データを用いて、候補となるすべてのインター予測モードでインター予測処理を行う。動き予測・補償部72は、候補となるすべてのインター予測モードで予測処理が行われ、候補となるすべてのインター予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、すべてのインター予測モードの中から、符号化効率が最良となる1つのインター予測モードが選択される。
[3−4.同一性識別情報の生成動作]
図15は、同一性識別情報として、同一性フラグを生成する場合の動作を示すフローチャートである。
ステップST71で動き予測・補償部72は、符号化対象ブロックの予測モード判定を行う。動き予測・補償部72は、上述のように、インター予測モードにおいて候補となるすべての予測モードで予測処理を行い、候補となるすべての予測モードに対してコスト関数値を算出する。
ステップST72で動き予測・補償部72は、予測モードを決定する。動き予測・補償部72は、ステップST71で算出されたコスト関数値に基づいて、符号化効率が最良となる1つの予測モード、すなわちコスト関数値が最小となる予測モードを決定してステップST73に進む。
ステップST73で動き予測・補償部72は、アンカー情報を用いる予測モードであるか判別する。動き予測・補償部72は、符号化対象ブロックがアンカー情報を用いる予測モード、すなわちスキップ/ダイレクトモードであるときステップST74に進み、他のモードであるときステップST77に進む。
ステップST74で動き予測・補償部72は、前ブロックがアンカー情報を用いるブロックであるか判別する。動き予測・補償部72は、前ブロックがアンカー情報を用いて復号化処理を行うブロックであるときステップST75に進む。また、動き予測・補償部72は、前ブロックがアンカー情報を用いて復号化処理を行うブロックでないときステップST77に進む。
ステップST75で動き予測・補償部72は、アンカー情報が同一と見なせるか判別する。動き予測・補償部72は、当該ブロックの符号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報と同一と見なせる場合、ステップST76に進む。また、動き予測・補償部72は、当該ブロックの符号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報と同一と見なせない場合、ステップST77に進む。
ステップST76で動き予測・補償部72は、同一性フラグを、同一状態に設定する。動き予測・補償部72は、例えば同一フラグを「1」に設定してステップST78に進む。
ステップST77で動き予測・補償部72は、同一性フラグを、非同一状態に設定とする。動き予測・補償部72は、例えば同一フラグを「0」に設定してステップST78に進む。
ステップST78で動き予測・補償部72は、スライスの終了であるか判別する。動き予測・補償部72は、ブロックがスライスの最後でないとき、ステップST71に戻り、次のブロックに対する処理を行う。また、動き予測・補償部72は、符号化対象ピクチャの全てのスライスについて処理が終了したとき、このピクチャについての同一性フラグの生成を終了する。
図16は、同一性フラグの生成結果を例示した図である。例えば、符号化対象のピクチャのブロックMB0は、前ブロックが存在しない。したがって、動き予測・補償部72は、ブロックMB0の同一性フラグFEを「0」とする。
動き予測・補償部72は、次のブロックMB1がアンカー情報を用いるモードでないことからブロックMB1の同一性フラグFEを「0」とする。
動き予測・補償部72は、ブロックMB2がアンカー情報を用いるモードであり、前ブロックMB1がアンカー情報を用いるモードでないことから、ブロックMB2の同一性フラグFEを「0」とする。
動き予測・補償部72は、ブロックMB3と前ブロックMB2がアンカー情報を用いるモードであり、ブロックMB3で用いるアンカー情報Anc3と前ブロックMB2で用いられたアンカー情報Anc2は、同一と見なせる。したがって、動き予測・補償部72は、ブロックMB3の同一性フラグFEを「1」とする。以下同様な処理を行うと、図16に示すように同一性フラグFEを生成できる。
また、図16に示す同一性フラグを用いてアンカー情報の読み出しや継続使用を行うことで、図8と同様な動作となる。
このように符号化処理において同一性識別情報の生成を行い、この生成された同一性識別情報を利用して上述のように復号化処理を行えば、復号化対象ブロック毎にアンカー情報を読み出さなくとも復号化処理を行うことができる。
<4.アンカー情報の同一性を復号化時と符号化時で行った場合の比較>
[4−1.同一性識別情報の生成動作の比較]
表1は、画像符号化装置で同一性識別情報を生成する場合と、画像復号化装置で同一性識別情報を生成する場合とを比較結果を示している。
Figure 0005387520

低容量メモリへの保存については、復号化時にアンカー情報の同一性を判定して同一性フラグを生成したとき、復号化時にアンカー情報よりも先に同一性フラグを読み出す必要があり、同一性フラグの情報はデータ量が少ない。したがって、同一性フラグを低容量メモリに保存する。また、符号化時に同一性フラグを生成するときは、符号化ストリームに同一性フラグの情報が含まれることから、低容量メモリに保存する必要がない。また、同一性カウント値は、同一性カウント値で連続性が示されるアンカー情報と共に、アンカー情報記憶部に記憶されるので、低容量メモリに同一性カウント値を保存する必要がない。
アンカー情報記憶部への保存については、同一性フラグを用いるとき、同一性フラグに応じて復号化対象ブロックに対応するアンカーブロックのアンカー情報を読み出す必要がある。したがって、アンカー情報記憶部には、アンカーピクチャにおけるすべてのアンカーブロックのアンカー情報を記憶する必要がある。しかし、同一性カウント値を用いるときは、ホールドされているアンカー情報が同一性カウント値とともにアンカー情報記憶部に記憶される。したがって、アンカー情報記憶部には、同一性カウント値と一部のブロックのアンカー情報のみが記憶されることになる。
ストリームの影響については、復号化時にアンカー情報の同一性を判定して同一性識別情報を生成すれば、符号化ストリームにビットを追加する必要がない。すなわち、従来の画像符号化装置で生成された符号化ストリームを用いても、アンカー情報の読み出しを削減できる。しかし、符号化時にアンカー情報の同一性を判定して同一性識別情報を生成するときには、同一性フラグが符号化ストリームに含まれるので、ビット追加となる。
アンカーピクチャの制約については、同一性フラグを用いる場合、アンカーピクチャの制約がない。しかし、同一性カウント値を用いる場合、アンカー情報はブロック毎に記憶されていない。したがって、アンカー情報が連続しているブロックの途中でアンカーピクチャの切り替えが行われると、正しいアンカー情報を取得できなくなってしまう。このため、アンカーピクチャの制約を設ける必要が生じる。
さらに、同一性識別情報を符号化時に生成する場合、アンカー情報を同一と見なせるか否かの判定基準は、画質等を考慮して設定できる。例えば、復号化対象ブロックの符号化時に用いたアンカー情報と前ブロックの符号化で用いたアンカー情報において、動きベクトルの差が予め設定した閾値以下であるとき同一と見なす場合、閾値を大きくしても画質の劣化等が少ないときは、動きベクトルの差が大きくても同一と見なす。この場合には、画質への影響を少なくして、アンカー情報の読み出しが不要であるブロックを、より多く設定できる。さらに、動きベクトルの差が閾値以下であるとき同一と見なして同一性識別情報を生成する場合、前ブロックのアンカー情報を用いたことにより画質劣化が増加して、劣化が所定レベルを超えるとき、動きベクトルの差が閾値以下であっても同一を満たさないとして同一性フラグを生成する。このようにすれば、画質劣化が所定レベルを超えないように、アンカー情報記憶部からのアンカー情報の読み出しを制御することができる。また、同一性識別情報を復号化時に生成する場合、例えばアンカー情報の動きベクトルが一致するときのみ同一と見なせば、前ブロックで用いたアンカー情報との誤差によって復号画像の画質劣化等が生じてしまうおそれを防止できる。
[4−2.同一性識別情報を用いたときの効果]
図17は、アンカー情報のデータ量を説明するための例を示している。例えばアンカーブロックが4×4ブロックで構成されており、DirectInferenceflagが「1」に設定されると、4隅のブロック(斜線で示すブロック)の動きベクトルと参照インデックスがアンカー情報として用いられる。ここで、水平方向動きベクトルを14ビット、垂直方向動きベクトルを12ビット、参照インデックスを6ビットとすると、1アンカーブロックのアンカー情報は(14+12+6)×4=128ビット(16バイト)となる。すなわち、前ブロックのアンカー情報を継続使用することでアンカー情報の読み出しを行う必要のないブロックがKブロック生じると、アンカー情報記憶部25からのアンカー情報の読み出しでは、16×Kバイト分のデータの読み出しを削減できる。なお、DirectInferenceflagが「0」に設定されると、4×4の全てのブロックの動きベクトルと参照インデックスがアンカー情報として用いられる。
図18は、空間ダイレクトモードで動きベクトルを算出するときの概略動作を示すフローチャートである。ステップST81で動き補償部24は、前ブロックとアンカー情報が同一と見なせるか判別する。動き補償部24は、同一性識別情報に基づきアンカー情報が前ブロックと同一と見なせない場合ステップST82に進み、同一と見なせる場合ステップST84に進む。
ステップST82で動き補償部24は、アンカー情報を取得する。動き補償部24は、復号化対象のブロックに対応するアンカーブロックのアンカー情報をアンカー情報記憶部25から取得してステップST83に進む。
ステップST83で動き補償部24は、colZeroFlagの生成を行う。動き補償部24は、取得したアンカー情報に基づいてcolZeroFlagを生成してステップST85に進む。
colZeroFlagは、H.264/AVC規格において、Pピクチャの各ブロックに定義される情報であり、ブロックの画像に動きがあるかを示している。colZeroFlagは、以下のすべてが「真」である場合は「1」とされて、これ以外の場合は「0」とされる。
(a)L1予測で最小の参照ピクチャ番号である参照ピクチャが短期間参照ピクチャ(short-term reference picture)である。
(b)アンカーブロックに対する参照ピクチャの参照ピクチャ番号が0である。すなわち、アンカーピクチャが復号化対象ピクチャに対して表示順序で後方の一番近くに位置する参照ピクチャである。
(c)アンカーブロックの動きベクトルの水平成分と垂直成分が共に−1〜1の間の値である。
ステップST84で動き補償部24は、アンカー情報を継続使用する。動き補償部24は、前ブロックのアンカー情報を継続使用してステップST85に進む。すなわち、動き補償部24は、前ブロックのアンカー情報を継続使用することにより、ステップST83のようにcolZeroFlagの生成を行うことなく、前ブロックのアンカー情報に基づいて生成されているcolZeroFlagを継続使用する。
ステップST85で動き補償部24は、動きベクトルのゼロ判定条件を満たすか判別する。動き補償部24は、例えばcolZeroFlagが「1」である場合、ゼロ判定条件を満たすとしてステップST86に進み、colZeroFlagが「0」である場合ゼロ判定条件を満たさないとしてステップST87に進む。
ステップST86で動き補償部24は、動きベクトルを「0」に設定する。動き補償部24は、復号化対象ブロックについて動きベクトルの水平成分および垂直成分と共に「0」として、動きベクトルの算出を終了する。
ステップST87で動き補償部24は、動きベクトル算出処理を行う。動き補償部24は、例えばメディアン予測を行い、隣接ブロックの動きベクトルの中央値を予測動きベクトルとする。さらに、動き補償部24は、予測動きベクトルに差分動きベクトルを加算することで、復号化対象ブロックの動きベクトルを算出して、動きベクトルの算出を終了する。
このように、空間ダイレクトモードでは、前ブロックのアンカー情報を継続使用することでcolZeroFlagの生成を行う必要がないことから、処理を軽減できる。
図19は、時間ダイレクトモードで動きベクトルを算出するときの概略動作を示すフローチャートである。
ステップST91で動き補償部24は、前ブロックとアンカー情報が同一と見なせるか判別する。動き補償部24は、同一性識別情報に基づきアンカー情報が前ブロックと同一と見なせない場合ステップST92に進み、同一と見なせる場合ステップST94に進む。
ステップST92で動き補償部24は、アンカー情報を取得する。動き補償部24は、復号化対象のブロックに対応するアンカーブロックのアンカー情報をアンカー情報記憶部25から取得してステップST93に進む。
ステップST93で動き補償部24は、動きベクトルの算出を行う。動き補償部24は、取得したアンカー情報に基づいて動きベクトルを算出する。すなわち、H.264/AVC規格で示されているように、アンカー情報で示された参照インデックスに基づき、復号化対象ピクチャとL0予測で参照するピクチャの時間間隔と、復号化対象ピクチャとL1予測で参照するピクチャの時間間隔を求める。さらに、2つの時間間隔とアンカー情報で示された動きベクトルから、復号化対象のブロックの動きベクトルを算出する。
ステップST94で動き補償部24は、アンカー情報を継続使用する。動き補償部24は、前ブロックのアンカー情報を継続使用する。すなわち、動き補償部24は、前ブロックのアンカー情報を継続使用することにより、ステップST93のように動きベクトルの算出を行うことなく、前ブロックのアンカー情報に基づいて算出されている動きベクトルを継続使用する。
このように、時間ダイレクトモードでは、前ブロックのアンカー情報を継続使用することで動きベクトルを算出する必要がないので、処理を軽減できる。
さらに、同一性識別情報によって復号化対象ブロックのアンカー情報が前ブロックのアンカー情報と同一と見なせる場合、前ブロックのアンカー情報を利用することは、次のような場合により効果的である。
例えばアンカーピクチャがIピクチャまたはアンカーブロックのスライスがIスライスであるとき、アンカー情報は動きベクトルは「0」で参照インデックスは「−1」とされる。したがって、アンカーピクチャがIピクチャであるときは、アンカー情報を読み出す必要なない。また、アンカーピクチャにIスライスやPスライス等が含まれる場合、スライスの最初のブロックでアンカー情報を読み出したとき、スライスがIスライスであったときは、その後アンカー情報を読み出す必要がない。また、マクロブロックサイズが拡張されて水平方向のブロックサイズが長くなったときも有効である。例えばマクロブロックサイズの水平方向が2倍のブロックサイズとされて、このブロックがアンカーブロックに用いられたとき、このアンカーブロックは水平方向が1倍であるブロックを2つ連続させたサイズである。すなわち復号化対象ブロックと前ブロックのアンカー情報は等しいことから、アンカー情報の読み出しを削減できる。また、例えば撮像装置のパン・チルト動作が行われて、静止している背景が撮像画像内で動きを生じたとき、背景部分の画像を示すブロックは動きベクトルが等しくなる。したがって、背景部分のブロックにおいて、前ブロックのアンカー情報を継続使用できる場合が多くなり、アンカー情報の読み出しを少なくできる。
<5.ソフトウェア処理の場合>
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。または、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
<6.電子機器に適用した例>
また、本発明は、衛星放送、ケーブルTV(テレビジョン)、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
上述した情報処理装置は、任意の電子機器に適用することができる。以下にその例について説明する。
図20は、本発明を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置90は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース部909を有している。さらに、テレビジョン装置90は、制御部910、ユーザインタフェース部911等を有している。
チューナ902は、アンテナ901で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ903に出力する。
デマルチプレクサ903は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ904に出力する。また、デマルチプレクサ903は、EPG(Electronic Program Guide)等のデータのパケットを制御部910に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ904は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部905、音声データを音声信号処理部907に出力する。
映像信号処理部905は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部905は、表示部906に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部905は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部905は、このようにして生成した映像データに基づいて駆動信号を生成して表示部906を駆動する。
表示部906は、映像信号処理部905からの駆動信号に基づき表示デバイス(例えば液晶表示素子等)を駆動して、番組の映像などを表示させる。
音声信号処理部907は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理や増幅処理を行いスピーカ908に供給することで音声出力を行う。
外部インタフェース部909は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部910にはユーザインタフェース部911が接続されている。ユーザインタフェース部911は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部910に供給する。
制御部910は、CPU(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置90の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、テレビジョン装置90がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置90では、チューナ902、デマルチプレクサ903、映像信号処理部905、音声信号処理部907、外部インタフェース部909等と制御部910を接続するためバス912が設けられている。
このように構成されたテレビジョン装置では、デコーダ904に本願の情報処理装置(情報処理方法)の機能が設けられる。このため、符号化ストリームを復号化して復号画像データを生成するとき、アンカー情報を効率よく利用して復号化処理を行うことができる。
図21は、本発明を適用した携帯電話機の概略構成を例示している。携帯電話機92は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931を有している。これらは、バス933を介して互いに接続されている。
また、通信部922にはアンテナ921が接続されており、音声コーデック923には、スピーカ924とマイクロホン925が接続されている。さらに制御部931には、操作部932が接続されている。
携帯電話機92は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン925で生成された音声信号は、音声コーデック923で音声データへの変換やデータ圧縮が行われて通信部922に供給される。通信部922は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部922は、送信信号をアンテナ921に供給して図示しない基地局へ送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック923に供給する。音声コーデック923は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ924に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部931は、操作部932の操作によって入力された文字データを受け付けて、入力された文字を表示部930に表示する。また、制御部931は、操作部932におけるユーザ指示等に基づいてメールデータを生成して通信部922に供給する。通信部922は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部930に供給して、メール内容の表示を行う。
なお、携帯電話機92は、受信したメールデータを、記録再生部929で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、RAMや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部926で生成された画像データを、画像処理部927に供給する。画像処理部927は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部928は、画像処理部927で生成された符号化データと、音声コーデック923から供給された音声データを所定の方式で多重化して通信部922に供給する。通信部922は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部928に供給する。多重分離部928は、多重化データの分離を行い、符号化データを画像処理部927、音声データを音声コーデック923に供給する。画像処理部927は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部930に供給して、受信した画像の表示を行う。音声コーデック923は、音声データをアナログ音声信号に変換してスピーカ924に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部927に本願の情報処理装置(情報処理方法)の機能が設けられる。このため、画像データの通信において、符号化ストリームを復号化して復号画像データを生成するとき、アンカー情報を効率よく利用して復号化処理を行うことができる。
図22は、本発明を適用した記録再生装置の概略構成を例示している。記録再生装置94は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置94は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置94は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置94は、チューナ941、外部インタフェース部942、エンコーダ943、HDD(Hard Disk Drive)部944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)部948、制御部949、ユーザインタフェース部950を有している。
チューナ941は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ941は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ946に出力する。
外部インタフェース部942は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部942は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ943は、外部インタフェース部942から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ946に出力する。
HDD部944は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ945は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスク(DVD−Video、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等)やBlu−rayディスク等である。
セレクタ946は、映像や音声の記録時には、チューナ941またはエンコーダ943からのいずれかの符号化ビットストリームを選択して、HDD部944やディスクドライブ945のいずれかに供給する。また、セレクタ946は、映像や音声の再生時に、HDD部944またはディスクドライブ945から出力された符号化ビットストリームをデコーダ947に供給する。
デコーダ947は、符号化ビットストリームの復号化処理を行う。デコーダ947は、復号処理化を行うことにより生成された映像データをOSD部948に供給する。また、デコーダ947は、復号処理化を行うことにより生成された音声データを出力する。
OSD部948は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ947から出力された映像データに重畳して出力する。
制御部949には、ユーザインタフェース部950が接続されている。ユーザインタフェース部950は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部949に供給する。
制御部949は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置94の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置94がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、エンコーダ943に本願の情報処理装置(情報処理方法)の機能が設けられる。このため、符号化ストリームを復号化して復号画像データを生成するとき、アンカー情報を効率よく利用して復号化処理を行うことができる。
図23は、本発明を適用した撮像装置の概略構成を例示している。撮像装置96は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置96は、光学ブロック961、撮像部962、カメラ信号処理部963、画像データ処理部964、表示部965、外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970を有している。また、制御部970には、ユーザインタフェース部971が接続されている。さらに、画像データ処理部964や外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970等は、バス972を介して接続されている。
光学ブロック961は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCDまたはCMOSイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部963に供給する。
カメラ信号処理部963は、撮像部962から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部963は、カメラ信号処理後の画像データを画像データ処理部964に供給する。
画像データ処理部964は、カメラ信号処理部963から供給された画像データの符号化処理を行う。画像データ処理部964は、符号化処理を行うことにより生成された符号化データを外部インタフェース部966やメディアドライブ968に供給する。また、画像データ処理部964は、外部インタフェース部966やメディアドライブ968から供給された符号化データの復号化処理を行う。画像データ処理部964は、復号化処理を行うことにより生成された画像データを表示部965に供給する。また、画像データ処理部964は、カメラ信号処理部963から供給された画像データを表示部965に供給する処理や、OSD部969から取得した表示用データを、画像データに重畳させて表示部965に供給する。
OSD部969は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部964に出力する。
外部インタフェース部966は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部966には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部966は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部970は、例えば、ユーザインタフェース部971からの指示にしたがって、メモリ部967から符号化データを読み出し、それを外部インタフェース部966から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部970は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部966を介して取得し、それを画像データ処理部964に供給したりすることができる。
メディアドライブ968で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であってもよい。
また、メディアドライブ968と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやSSD(Solid State Drive)等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部970は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置96の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、撮像装置96がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部964に本願の情報処理装置(情報処理方法)の機能が設けられる。このため、メモリ部967や記録メディア等に記録された符号化データを復号化して復号画像データを生成するとき、アンカー情報を効率よく利用して復号化処理を行うことができる。
さらに、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
この発明の情報処理装置と情報処理方法では、復号化対象ブロックの復号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報との同一条件を満たしていない場合に、アンカー情報記憶部から復号化対象ブロックに対応するアンカーブロックのアンカー情報が取得される。また、同一条件を満たす場合に、前ブロックで用いたアンカー情報が継続使用される。この取得したアンカー情報または継続使用されるアンカー情報を用いて復号化処理が行われる。このため、復号化対象ブロック毎に、アンカー情報記憶部から対応するアンカーブロックのアンカー情報を取得する必要がないので、アンカー情報の利用を効率よく行うことができる。したがって、画像データの復号化処理を行う電子機器に適している。
10・・・画像復号化装置、11,57・・・蓄積バッファ、12・・・可逆復号化部、13,61・・・逆量子化部、14,62・・・逆直交変換部、15,63・・・加算部、16,64・・・デブロッキングフィルタ、17,52・・・画面並べ替えバッファ、18・・・D/A変換部、21,65・・・フレームメモリ、22,26,66・・・セレクタ、23,71・・・イントラ予測部、24・・・動き補償部、25・・・アンカー情報記憶部、50・・・画像符号化装置、51・・・A/D変換部、53・・・減算部、54・・・直交変換部、55・・・量子化部、56・・・可逆符号化部、58・・・レート制御部、72・・・動き予測・補償部、73・・・予測画像・最適モード選択部、90・・・テレビジョン装置、92・・・携帯電話機、94・・・記録再生装置、96・・・撮像装置、721・・・動きベクトル検出部、722・・・予測モード決定部、723・・・予測モード記憶部、724・・・アンカー情報生成/記憶部、725・・・情報生成部

Claims (11)

  1. アンカー情報を記憶するアンカー情報記憶部と、
    復号化対象ブロックの復号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報との同一条件を満たしていない場合に、前記アンカー情報記憶部から前記復号化対象ブロックに対応するアンカーブロックのアンカー情報を取得して、前記同一条件を満たす場合に、前記前ブロックで用いたアンカー情報を継続使用として、前記取得したアンカー情報または前記継続使用とされたアンカー情報を用いて復号化処理を行う画像復号化部と
    を有する情報処理装置。
  2. 前記画像復号化部は、前記同一条件を満たしているか判別する同一性識別情報に基づき、前記アンカー情報の取得または前記前ブロックのアンカー情報の継続使用を行う請求項1記載の情報処理装置。
  3. 前記同一性識別情報は、アンカーピクチャとして用いられる前記画像復号化部で復号化処理済みのピクチャを対象として、該ピクチャのブロック毎に生成したアンカー情報に基づいて生成された情報である請求項2記載の情報処理装置。
  4. 前記同一性識別情報は、前ブロックとアンカー情報が同一と見なせるか否かを示す同一性フラグである請求項3記載の情報処理装置。
  5. 前記画像復号化部は、前記アンカー情報記憶部と別個に設けた記憶部に前記同一性フラグを記憶して、前記アンカー情報記憶部に、前記アンカーピクチャとして用いられるピクチャにおいて生成したアンカー情報を記憶させる請求項4記載の情報処理装置。
  6. 前記同一性識別情報は、前記アンカー情報が同一と見なせるブロックの連続数を示す同一性カウント値である請求項3記載の情報処理装置。
  7. 前記画像復号化部は、ブロック順に前記同一性カウント値と該同一性カウント値で同一と見なされたアンカー情報を対応させて前記アンカー情報記憶部に記憶させる請求項6記載の情報処理装置。
  8. 前記同一性識別情報は、前記復号化対象ブロックの符号化時に用いたアンカー情報と前ブロックの符号化で用いたアンカー情報に基づいて生成された情報である請求項2記載の情報処理装置。
  9. 前記同一性識別情報は、前記復号化対象ブロックの符号化時に用いたアンカー情報と前ブロックの符号化で用いたアンカー情報において、動きベクトルの差が予め設定した閾値以下であるとき2つのアンカー情報を同一とみなして生成されており、前記符号化によって生じた画質の劣化が所定レベルを超えるとき、前記2つのアンカー情報を同一とみなさないで生成されている請求項8記載の情報処理装置。
  10. 前記画像復号化部は、画像データの符号化ストリームから前記同一性識別情報を抽出する請求項8記載の情報処理装置。
  11. 復号化対象ブロックの復号化処理で用いるアンカー情報が前ブロックで用いたアンカー情報との同一条件を満たしていない場合に、アンカー情報を記憶するアンカー情報記憶部から前記復号化対象ブロックに対応するアンカーブロックのアンカー情報を取得する工程と、
    前記同一条件を満たす場合に、前記前ブロックで用いたアンカー情報を継続使用する工程と、
    前記取得したアンカー情報または前記継続使用するアンカー情報を用いて復号化処理を行う工程と
    を有する情報処理方法。
JP2010144907A 2010-06-25 2010-06-25 情報処理装置と情報処理方法 Expired - Fee Related JP5387520B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010144907A JP5387520B2 (ja) 2010-06-25 2010-06-25 情報処理装置と情報処理方法
PCT/JP2011/064290 WO2011162299A1 (ja) 2010-06-25 2011-06-22 情報処理装置と情報処理方法
CN201180030088.6A CN102986225B (zh) 2010-06-25 2011-06-22 信息处理设备和信息处理方法
US13/699,091 US20130089146A1 (en) 2010-06-25 2011-06-22 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010144907A JP5387520B2 (ja) 2010-06-25 2010-06-25 情報処理装置と情報処理方法

Publications (2)

Publication Number Publication Date
JP2012010147A JP2012010147A (ja) 2012-01-12
JP5387520B2 true JP5387520B2 (ja) 2014-01-15

Family

ID=45371475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010144907A Expired - Fee Related JP5387520B2 (ja) 2010-06-25 2010-06-25 情報処理装置と情報処理方法

Country Status (4)

Country Link
US (1) US20130089146A1 (ja)
JP (1) JP5387520B2 (ja)
CN (1) CN102986225B (ja)
WO (1) WO2011162299A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017069617A (ja) * 2015-09-28 2017-04-06 ルネサスエレクトロニクス株式会社 半導体装置および画像符号化方法
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
US11388432B2 (en) * 2018-12-10 2022-07-12 Qualcomm Incorporated Motion estimation through input perturbation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5508744A (en) * 1993-03-12 1996-04-16 Thomson Consumer Electronics, Inc. Video signal compression with removal of non-correlated motion vectors
US6163576A (en) * 1998-04-13 2000-12-19 Lsi Logic Corporation Video encoder having reduced memory bandwidth requirements
US7020201B2 (en) * 2002-11-20 2006-03-28 National Chiao Tung University Method and apparatus for motion estimation with all binary representation
CN1922884B (zh) * 2004-02-20 2012-05-23 三叉微系统(远东)有限公司 视频解码方法
CN101065973B (zh) * 2004-11-26 2011-01-12 松下电器产业株式会社 解码电路、解码装置及解码系统
US7933336B2 (en) * 2004-11-30 2011-04-26 Humax Co., Ltd. Image down-sampling transcoding method and device
WO2007081176A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
JP5155157B2 (ja) * 2006-05-12 2013-02-27 パナソニック株式会社 動画像復号化装置
CN101455088B (zh) * 2006-05-24 2011-05-11 松下电器产业株式会社 运动图像解码装置
JP4427086B2 (ja) * 2006-12-27 2010-03-03 パナソニック株式会社 動画像復号化装置
JP2009055519A (ja) * 2007-08-29 2009-03-12 Sony Corp 符号化処理装置、符号化処理方法、復号処理装置、及び、復号処理方法
EP2521295A3 (en) * 2007-10-15 2013-10-23 Thomson Licensing High definition television transmission with mobile capability
US8619861B2 (en) * 2008-02-26 2013-12-31 Microsoft Corporation Texture sensitive temporal filter based on motion estimation
US9113168B2 (en) * 2009-05-12 2015-08-18 Lg Electronics Inc. Method and apparatus of processing a video signal
CN102450016A (zh) * 2009-05-26 2012-05-09 松下电器产业株式会社 运动图像处理装置和运动图像处理方法

Also Published As

Publication number Publication date
CN102986225A (zh) 2013-03-20
US20130089146A1 (en) 2013-04-11
JP2012010147A (ja) 2012-01-12
CN102986225B (zh) 2016-02-17
WO2011162299A1 (ja) 2011-12-29

Similar Documents

Publication Publication Date Title
KR101914896B1 (ko) 화상 처리 장치와 화상 처리 방법
JP6070553B2 (ja) 画像処理装置、画像処理方法、プログラム、並びに記録媒体
WO2012017858A1 (ja) 画像処理装置と画像処理方法
WO2011155364A1 (ja) 画像復号化装置と画像符号化装置およびその方法とプログラム
WO2012063878A1 (ja) 画像処理装置と画像処理方法
WO2013001945A1 (ja) 画像処理装置と画像処理方法
KR20140029381A (ko) 화상 복호 장치와 화상 부호화 장치 및 그 방법
WO2011155332A1 (ja) 画像復号化装置と画像符号化装置およびその方法とプログラム
WO2012063604A1 (ja) 画像処理装置と画像処理方法
US20110229049A1 (en) Image processing apparatus, image processing method, and program
WO2011155331A1 (ja) 画像復号化装置と画像符号化装置およびその方法とプログラム
JP2013038623A (ja) 画像符号化装置と画像符号化方法およびプログラム
JP2013150164A (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
JP5387520B2 (ja) 情報処理装置と情報処理方法
WO2012056924A1 (ja) 画像処理装置と画像処理方法
JP2013098873A (ja) 画像処理装置と画像処理方法
JP2018191334A (ja) 画像符号化装置と画像符号化方法およびプログラム
WO2012077533A1 (ja) 画像復号化装置と動きベクトル復号化方法、画像符号化装置と動きベクトル符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130923

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees