JP5234587B2 - 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 - Google Patents

映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 Download PDF

Info

Publication number
JP5234587B2
JP5234587B2 JP2007553000A JP2007553000A JP5234587B2 JP 5234587 B2 JP5234587 B2 JP 5234587B2 JP 2007553000 A JP2007553000 A JP 2007553000A JP 2007553000 A JP2007553000 A JP 2007553000A JP 5234587 B2 JP5234587 B2 JP 5234587B2
Authority
JP
Japan
Prior art keywords
parallax
encoding
decoding
video
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007553000A
Other languages
English (en)
Other versions
JPWO2007077989A1 (ja
Inventor
正幸 谷本
俊彰 藤井
健詞 山本
正樹 北原
英明 木全
信哉 志水
一人 上倉
由幸 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya University NUC
Nippon Telegraph and Telephone Corp
Tokai National Higher Education and Research System NUC
Original Assignee
Nagoya University NUC
Nippon Telegraph and Telephone Corp
Tokai National Higher Education and Research System NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38228325&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5234587(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nagoya University NUC, Nippon Telegraph and Telephone Corp, Tokai National Higher Education and Research System NUC filed Critical Nagoya University NUC
Priority to JP2007553000A priority Critical patent/JP5234587B2/ja
Publication of JPWO2007077989A1 publication Critical patent/JPWO2007077989A1/ja
Application granted granted Critical
Publication of JP5234587B2 publication Critical patent/JP5234587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、多視点動画像の符号化及び復号に関する技術である。
本願は、２００６年１月５日に出願された特願２００６−０００３９３号に基づき優先権を主張し、その内容をここに援用する。
多視点動画像は、様々な位置にあるカメラで同じ被写体と背景を撮影した複数の動画像である。以下では、一つのカメラで撮影された動画像を“２次元動画像”と呼び、同じ被写体と背景を撮影した２次元動画像の集合を多視点動画像と呼ぶ。多視点動画像に含まれる各カメラの２次元動画像は、時間方向に強い相関がある。一方、各カメラが同期されていた場合、同じ時間に対応した各カメラのフレームは全く同じ状態の被写体と背景を撮影しているため、カメラ間で強い相関がある。
まず、２次元動画像の符号化方式に関する従来技術を述べる。国際符号化標準であるＨ．２６４、ＭＰＥＧ−４、ＭＰＥＧ−２をはじめとした従来の多くの２次元動画像符号化方式では、動き補償、直交変換、量子化、可変長符号化という技術を利用して、高効率な符号化を行う。
例えば、Ｈ．２６４では、Ｉフレームにおいてはフレーム内相関を利用して符号化が可能で、Ｐフレームでは過去の複数枚のフレームとのフレーム間相関を利用して符号化が可能で、Ｂフレームでは過去あるいは未来の複数毎のフレームとのフレーム間相関を利用して符号化が可能である。
Ｈ．２６４の技術の詳細については、下記の非特許文献１に記載されているが、以下で概要を説明する。Ｉフレームではフレームをブロック分割し（このブロックをマクロブロックといい、ブロックサイズは１６×１６（ピクセル）である）、各マクロブロックにおいてイントラ予測を行う。イントラ予測の際には、各マクロブロックをさらに小さなブロックに分割し（以後、サブブロックと呼ぶ）、各サブブロックで異なるイントラ予測方法を行うことができる。
一方、Ｐフレームでは、各マクロブロックでイントラ予測、あるいはインター予測を行うことができる。Ｐフレームにおけるイントラ予測は、Ｉフレームの場合と同様である。一方、インター予測の際には動き補償が行われる。動き補償においても、マクロブロックをより小さなブロックに分割して、各サブブロックで異なる動きベクトル、参照画像を持つことができる。
なお、Ｂフレームにおいても、イントラ予測とインター予測が行えるが、Ｂフレームでのインター予測では、過去のフレームに加えて未来のフレームも動き補償の参照画像にできる。例えば、Ｉフレーム→Ｂフレーム→Ｂフレーム→Ｐフレームというフレーム構成で符号化する場合、Ｉ→Ｐ→Ｂ→Ｂの順番で符号化することができる。そして、Ｂフレームでは、Ｉ及びＰフレームを参照して動き補償ができる。また、Ｐフレームの場合と同様に、マクロブロックを分割したサブブロックごとに異なる動きベクトルを持つことができる。
イントラ、インター予測を行うと予測残差が得られるが、各マクロブロックで予測残差ブロックにＤＣＴ（離散コサイン変換）を行って量子化が行われる。そして、このようにして得られるＤＣＴ係数の量子化値に対して可変長符号化が行われる。
多視点動画像の符号化については、動き補償を同じ時刻の異なるカメラの画像に適用した“視差補償”によって高効率に多視点動画像を符号化する方式が従来からある。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ位置が投影される位置の差である。
このカメラ間で生じる視差の概念図を図９に示す。この概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ位置が投影される位置は、一般的に対応点と呼ばれる。視差は画像平面内での位置のズレとして表現できるため、２次元ベクトルの情報として表現できる。
視差補償では、符号化対象カメラの画像上のある着目画素に対応する参照先のカメラの画像上の対応点を参照画像から推定し、当該対応点に対応した画素値で、着目画素の画素値を予測する。以下では、便宜上、前述のような“推定された視差”についても“視差”と呼ぶこととする。
視差補償を用いた符号化手法としては、例えば非特許文献２があるが、このような方式では、符号化対象の画像の画素に対する視差情報と予測残差を符号化する。具体的には、この手法ではブロック単位で視差補償を行う仕組みが含まれているが、ブロック単位の視差を２次元ベクトルで表現する。この視差ベクトルの概念図を図１０に示す。即ち、この手法では２次元ベクトルである視差情報と予測残差を符号化する。なお、この方法では、カメラパラメータを利用して符号化を行わないため、カメラパラメータが未知である場合に有効である。
各々が異なるカメラからのものである参照画像が複数ある場合、任意視点画像技術を利用して視差補償を行うことが可能である。非特許文献３では、任意視点画像生成技術を利用して視差補償をする。具体的には、符号化対象カメラの画像の画素値を、当該画素に対応した異なるカメラの対応点の画素値で補間して予測する。この補間の概念図を図１１に示す。この補間では、符号化対象画像の画素ｍの値を、画素ｍに対応する参照画像１、２の画素ｍ′、ｍ″の値を補間することにより予想する。
なお、非特許文献３の場合のように、異なるカメラの２枚以上の参照画像があれば、符号化対象画像を利用せずに、符号化対象画像の各画素に関する各参照画像への視差を推定できる。この視差推定の概念図を図１２に示す。
この図に示されているように、真の視差においては参照画像の対応点の画素値がほぼ同じ値になるはずである。従い、多くの視差推定法では、様々な奥行きに関する対応点について参照画像の画素値を比較して、画素値が最も近くなる奥行きに基づいて視差を推定することができる。この処理は符号化対象画像の画素単位で行うことが可能である。
このように、異なるカメラの２枚以上の参照画像があり、復号側で視差推定が可能な場合には、符号化側から明示的に視差情報を符号化して復号側に提供することなく、復号側で画素単位の視差情報を利用して視差補償を行うことができる。
ITU-T Rec.H.264/ISO/IEC 11496-10, "Advanced Video Coding", Final Committee Draft, Document JVT-E022, September 2002 Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)", document M10976 MPEG Redmond Meeting, July, 2004 Masayuki Tanimoto, Toshiaki Fujii, "Response to Call for Evidence on Multi-View Video Coding", document Mxxxxx MPEG Hong Kong Meeting, January, 2005
従来の技術によれば、異なるカメラの２枚以上の参照画像があり、復号側で視差推定が可能な場合には、符号化側から明示的に視差情報を符号化することなく、復号側で画素単位の視差情報を利用して視差補償を行うことができる。このように、符号化及び復号側において、符号化または復号対象の画像を用いずに（復号の場合は復号せずに）推定できる、符号化／復号対象の画像に関する視差を“参照視差”と呼ぶこととする。
しかしながら、復号側で推定される参照視差は予測効率の意味では最適なものではないため、予測残差の符号量が多くなる場合がある。従い、符号化側で予測効率を最大化する視差を求め、この視差と参照視差の差（以下では、視差変位と呼ぶ）を各画素について符号化することにより、予測効率を向上させ、結果として予測残差の符号化効率を向上させる方法が容易に類推できる。
しかしながら、このように容易に類推可能な技術では、画素単位で視差変位を符号化するため、視差情報としての符号量の増加を招き、結果として全体として高い符号化効率を実現できないという課題がある。
本発明は上記課題の解決を図り、視差補償の精度に関する犠牲を小さく抑えながら、視差情報のデータ量を少なくすることができるようにすることを目的とする。
本発明が従来技術ともっとも異なる点は、本発明では上記課題を解決するため、画像のブロック分割を決定する処理と、そこで決定したブロック分割情報及びブロックごとの視差変位情報を符号化する処理を行い、これらの情報を符号化情報とする点にある。
本発明による映像符号化方法、映像復号方法の第１の態様によれば、符号化対象の画像の性質に応じて設定した領域分割に基づき、各分割領域について視差変位情報を符号化することができる。
一般的に、視差変位は画面内において空間的な相関があるため、適切な領域分割を設定し、その各領域に対して視差変位を符号化することで視差補償の予測効率を劣化させずに視差情報の符号量を抑えることができる。
なお、映像符号化側では、参照視差設定ステップにおいて、すでに符号化済みの情報（参照画像）から符号化対象画像に関する視差（参照視差）を設定し、さらに、領域分割設定ステップにおいて、符号化対象画像の画面内の領域分割を設定する。そして、視差変位設定ステップにおいて、領域分割で設定された各領域に対応した視差変位を設定し、領域分割情報符号化ステップにおいて領域分割を示す情報である領域分割情報を符号化し、視差変位情報符号化ステップにおいて、視差変位情報を符号化する。
なお、参照視差設定ステップにおいて設定される参照視差としては、例えば図１２で示した原理に基づいて参照画像から推定された視差（下記の第３の態様参照）、任意視点画像生成等を目的として別途手段で符号化され復号側に送られる視差画像や３次元モデルに基づく視差、もしくはその他の方法で与えられる視差のいずれでも良い。
一方、映像復号側では、参照視差設定ステップにおいて、符号化側と同様にすでに復号済みの情報（参照画像）から復号対象画像に関する参照視差を設定し、領域分割情報復号ステップにおいて領域分割情報を復号し、視差変位情報復号ステップにおいて、領域分割情報に基づく領域に関する視差変位情報を復号する。
本発明による映像符号化方法、映像復号方法の第２の態様は、基本的には上記第１の態様と同様であるが、領域分割を矩形ブロック単位で行なうものとする。具体的には、例えば後掲の図１０のような矩形ブロック分割を、マクロブロック単位で指定することが考えられる。このようなブロック分割に関する情報は、例えばＨ．２６４のエントロピー符号化など、従来のエントロピー符号化技術により効率的に符号化できる。
本発明による映像符号化方法、映像復号方法の第３の態様は、基本的には上記第１及び第２の態様と同様であるが、図１２で示したような原理で、符号化対象画像を用いることなく複数の参照画像から推定された参照視差を用いる。このように、参照画像から参照視差を推定する場合、復号側にすでに送られた情報のみで参照視差を設定することが可能なため、参照視差を設定するために符号化すべき付加情報を発生させないようにすることができる。
本発明によれば、参照画像から視差を推定する映像符号化及び復号方法において、視差変位情報に空間的な相関があることを利用し、視差補償における予測効率の劣化をおさえながらも視差変位情報に関する符号量を小さくすることができ、全体としての符号化効率を向上させることができる。
本発明の実施例に係る映像符号化装置を示す図である。 実施例におけるカメラの参照関係を示す図である。 実施例におけるカメラ配置を示す図である。 本実施例の符号化フローチャートである。 図４のステップＳ１０６の処理に関する詳細フローチャートである。 マクロブロックにおけるブロック分割の例を示す図である。 実施例に係る映像復号装置を示す図である。 実施例における復号フローチャートである。 カメラ間で生じる視差の概念図である。 視差ベクトルの概念図である。 画素値補間の概念図である。 視差推定の概念図である。
符号の説明
１００ 映像符号化装置
１０１ 画像入力部
１０２ 参照画像入力部
１０３ 参照画像メモリ
１０４ 参照視差設定部
１０５ 視差変位設定部
１０６ ブロック分割設定部
１０７ ブロック分割情報符号化部
１０８ 視差変位情報符号化部
１０９ 予測残差符号化部
２００ 映像復号装置
２０１ ブロック分割情報復号部
２０２ 視差変位情報復号部
２０３ 予測残差復号部
２０４ 視差補償部
２０５ 参照画像メモリ
本発明の実施例に係る映像符号化装置の構成図を図１に示す。
この映像符号化装置１００は、符号化対象画像であるカメラＣの原画像を入力する画像入力部１０１、参照画像であるカメラＡとＢの復号画像を入力する参照画像入力部１０２、参照画像を格納する参照画像メモリ１０３、参照画像から参照視差を求める参照視差設定部１０４、視差変位を求める視差変位設定部１０５、ブロック分割を設定するブロック分割設定部１０６、ブロック分割情報を符号化するブロック分割情報符号化部１０７、視差変位情報を符号化する視差変位情報符号化部１０８、予測残差を符号化する予測残差符号化部１０９を備える。
図２は、本実施例におけるカメラの参照関係を示す図である。
本実施例では、図２で示すように、３つのカメラに関する多視点映像を符号化するにあたり、カメラＡとＢの復号画像を参照画像として、カメラＣの動画像を符号化する場合を示す。
図中の矢印は、視差補償の際の参照関係を示しており、カメラＣの画像を符号化する際には、表示時刻において同時刻であるカメラＡとＢの復号画像を参照画像として符号化する。その際には、カメラＡ及びＢの対応点（視差変位ベクトルと参照視差ベクトルの和で与えられるベクトルが指す画素）に関する画素値の平均値で予測画像を作成するものとする。
図３は、本実施例におけるカメラ配置を示す図である。本実施例では、例えば図３に示すように、３つのカメラの視点位置は直線上に等間隔に並んでおり、光軸はカメラが並ぶ直線に対して垂直となっているとする。すなわち、３つのカメラの光軸は平行であるとする。
また、画像平面のｘｙ座標系は、カメラが並ぶ直線に対する平行移動（回転等はなし）により得られ、各々のカメラで画像平面のｘ軸及びｙ軸を等間隔に分割することで画素が構成されているとする。すなわち、解像度が各カメラで同じであり、なおかつ、カメラＣとカメラＡのＰ画素分の視差は、カメラＣとカメラＢでＰ画素の視差となることになる。
本実施例における符号化のフローを図４に示す。さらに、図５は、図４におけるステップＳ１０６の処理を詳細に記載したフロー図である。
本実施例では、縦横１６画素で構成されるマクロブロック単位でマクロブロック内のブロック分割を指定し、そのブロック分割で作成されるブロック（便宜上、単に“ブロック”と呼ぶ）単位で視差変位情報を求めて符号化する。
参照視差は、２次元ベクトルとして表現されるので、復号側（及び符号化側）において、参照画像から、画素単位で各参照画像に対する２次元ベクトル（参照視差）が求められる。
一方、視差変位については、各ブロックについて２次元ベクトルの視差変位を一つ（カメラＡに対する視差変位）符号化することとする。これは、参照視差を求める場合と同様に、各参照画像の各画素に関する視差変位ベクトルと参照視差ベクトルの和で与えられるベクトル（視差補償に利用される視差ベクトルである）が、被写体上の同じ位置を指しているという物理的な制約条件を仮定すると、カメラＡに対する視差変位ベクトルが既知であれば、他のカメラに関する視差変位ベクトルが一意に決まるからである。
なお、このような制約条件を仮定せず、各参照画像に対する視差変位を独立に求めてそれぞれ符号化することも考えられるが、このケースについては本実施例の変更例として容易に適用可能であるので説明を省略する。
マクロブロックで適用可能なブロック分割としては様々なものが考えられるが、例えば、図６に示すようなものが考えられる。なお、図６に記載のように、ブロック分割の種類に関するインデックスをblkMode とし、ブロック分割blkMode におけるブロック数をmaxBlk[blkMode] と表す。
このような前提の下で、図４のフローに沿って符号化処理を説明する。
まず、画像入力部１０１によりカメラＣの画像が入力される（ステップＳ１０１）。なお、ここで入力されたカメラＣの画像と表示時刻が同じであるカメラＡとＢの復号画像が参照画像メモリ１０３に参照画像入力部１０２により入力されている。
次に、参照画像メモリ１０３からカメラＡとＢの復号画像を入力し（Ｓ１０２）、入力した参照画像から、符号化対象画像の各画素に対する参照視差を求める（Ｓ１０３）。すなわち、参照視差設定部１０４にカメラＡとＢに関する２枚の参照画像が読み込まれ、カメラＣの画像の各画素に関する参照視差が求められる。
これが行われることにより、カメラＣの画像の各画素に対して２次元ベクトルが二つ求められる。ここで、カメラＣの画像平面上の座標（ｘ、ｙ）（ｘ及びｙは整数値でピクセルの座標を表すとする）に関するカメラＡに対する参照視差ベクトルをｄA [x,y] 、カメラＢに対する参照視差ベクトルをｄB [x,y] とする。
ここで、マクロブロックのインデックスをMBBlk と表し、マクロブロック数をmaxMBBlkと表す。マクロブロックのインデックスMBBlk を０に初期化した後（Ｓ１０４）、以下の処理（Ｓ１０５〜Ｓ１１１）を、マクロブロックのインデックスMBBlk に１を加算しながら（Ｓ１１０）、各マクロブロックについて繰り返し実行する。
まず、ブロック分割（インデックス）blkMode を０に初期化した後（Ｓ１０５）、ブロック分割blkMode が最大のインデックス値maxBlkModeになるまで（Ｓ１０８）、ブロック分割blkMode に１を加算しながら（Ｓ１０７）、マクロブロックMBBlk 及びブロック分割blkMode に関するレート歪コストを求める（Ｓ１０６）。すなわち、視差変位設定部１０５において、各ブロック分割blkMode に関するレート歪コストMBCostが求められる。
あるブロック分割blkMode に関するレート歪コストMBCostは、各ブロックに関するレート歪コストblkCost を計算し（ブロック総数はmaxBlk[blkMode] で表される）、その総和を取ることにより得られる。
あるブロックに関するレート歪コストblkCost は、ある視差変位ベクトルを利用したときのレート歪コストcostの最小値として求められる。従い、各ブロックでcostを最小化する視差変位ベクトルとそのレート歪コストを求める必要がある。
ここで、符号化に利用する視差変位の探索は参照視差の周辺を探索するとする。すなわち、視差変位ベクトルの候補としてｅ0 、ｅ1 〜ｅN-1 を考え、視差ベクトルｄA [x,y]+ｅn についてレート歪コストを計算する処理をｎ＝0,1,..,N-1について繰り返して当該ブロックの最適な視差変位ベクトルを符号化する。
なお、costの計算の際には、まず、ある視差変位ベクトルｅn を用いたときの予測残差のブロックに関する絶対値の総和ＳＡＤ [ｅn ] が求められる。
さらに、ある視差変位ベクトルｅn を符号化したときの視差変位ベクトルの符号量の見積もり値Ｒ [ｅn ] が求められ、costは次の式で計算される。
cost＝ＳＡＤ [ｅn ]+λＲ [ｅn ] (1)
次に、ブロック分割設定部１０６において、各マクロブロックMBBlk に関して、レート歪コストMBCostが最小になるようなブロック分割bestBlkMode が求められる（これに対応した視差変位ベクトルはすでに求まっている）。
以上のステップＳ１０６について、具体的には図５に示す処理を行う。
まず、マクロブロックのレート歪コストMBCostとブロックblk のインデックス値を０に初期化し（Ｓ１０６１）、ブロックblk におけるレート歪コストblkCost を最小にするように視差変位ベクトルを求める（Ｓ１０６２）。
求めたブロックのレート歪コストblkCost をマクロブロックのレート歪コストMBCostに加算した後（Ｓ１０６３）、ブロックblk に１を加算し、ブロックblk がブロック総数maxBlk[blkMode] になるまで、ステップＳ１０６２〜Ｓ１０６４を繰り返す（Ｓ１０６５）。
ブロックblk がブロック総数maxBlk[blkMode] になったならば、そのときに算出されたマクロブロックのレート歪コストMBCostが、現時点における最小のマクロブロックのレート歪コストminMBCost より小さいかを判定し（Ｓ１０６６）、小さければ、レート歪コストMBCostを最小のレート歪コストminMBCost として記憶し、そのときのブロック分割blkMode を、最適なブロック分割bestBlkMode として記憶する（Ｓ１０６７）。
上記の処理を行うことにより、マクロブロックMBBlk の視差補償に利用するブロック分割情報bestBlkMode 、視差変位情報（視差変位ベクトル）、視差補償による予測残差が求まるので、次に、当該ブロック分割情報bestBlkMode がブロック分割情報符号化部１０７で、bestBlkMode に対応した視差変位情報が視差変位情報符号化部１０８で符号化される（Ｓ１０９）。
また、当該視差変位情報に対応した予測残差が予測残差符号化部１０９で符号化される。
次に、本実施例において用いる映像復号装置を図７に示す。
映像復号装置２００は、ブロック分割情報復号部２０１、視差変位情報復号部２０２、予測残差復号部２０３、視差補償部２０４、参照画像メモリ２０５を備える。
図８に本実施例の映像復号装置２００による復号フローを示す。これはカメラＣを１フレーム復号する上でのフローを示している。以下でフローを詳細に説明していく。なお、カメラＡとＢの同時刻のフレームが先立って復号されているとし、その復号画像が参照画像メモリ２０５に蓄積されているものとする。
まず、参照画像メモリ２０５からカメラＡとＢの復号画像を入力し（Ｓ２０１）、参照画像から符号化対象画像の各画素に対する参照視差を求める（Ｓ２０２）。すなわち、視差補償部２０４にカメラＡとＢに関する２枚の参照画像が読み込まれ、カメラＣの画像の各画素に関する参照視差が求められる。これが行われることにより、カメラＣの画像の各画素に対して２次元ベクトルが二つ求められる。
次に、マクロブロックのインデックスMBBlk を０に初期化した後（Ｓ２０３）、以下の処理（Ｓ２０４〜Ｓ２１２）を、マクロブロックのインデックスMBBlk に１を加算しながら（Ｓ２１１）、各マクロブロックについて１フレーム分繰り返す（１フレームのブロック数はmaxMBBlk）。これによりカメラＣの１フレームが復号される。
各マクロブロックの復号では、まず、マクロブロックMBBlk に関するブロック分割情報bestBlkMode がブロック分割情報復号部２０１によって復号される（Ｓ２０４）。次に、ブロックblk のインデックス値を０に初期化した後（Ｓ２０５）、以下の処理（Ｓ２０６〜Ｓ２０９）が各ブロックblk について繰り返し行われる（最大ブロック数はmaxBlk[blkMode] である）。
まず、視差変位情報復号部２０２においてブロックblk に関する視差変位情報が復号され（Ｓ２０６）、視差補償部２０４において、視差変位情報と参照視差を用いてブロックblk に関する予測画像（カメラＡとＢの画素値を補間することで作成）が作成される（Ｓ２０７）。
ここで、上記のブロックblk に関する繰り返し処理が行われることにより、マクロブロックMBBlk に関する予測画像が生成される。従い、次に予測残差復号部２０３においてマクロブロックMBBlk に関する予測残差が復号される。そして、視差補償部２０４で予測画像と予測残差の和が計算されることにより、マクロブロックMBBlk に関する復号画像が得られる（Ｓ２１０）。
以上の処理が１フレーム分のすべてのマクロブロックに対して繰り返され（Ｓ２１１、Ｓ２１２）、カメラＣの１フレームが復号される。
なお、本実施例では、カメラＣを符号化するにあたり、他のカメラ（カメラＡ及びＢ）を参照することで符号化したが、他のカメラを参照して符号化する場合とカメラＣの復号画像を参照して動き補償を行う場合とを画面（一画像）内で適応的に切り替えて符号化しても良い。
具体的には、例えば図６のブロック分割に含まれる各ブロックを単位として視差補償と動き補償を切り替えても良い。この場合には、映像符号化側では各ブロックで視差／動き補償のどちらが利用されたかを示す情報を符号化する必要があるとともに、映像復号側では、この情報を復号する必要がある。
以上の映像符号化及び映像復号の処理は、コンピュータとソフトウェアプログラムとによって実現することができ、そのプログラムをコンピュータ読み取り可能な記憶媒体に記録して提供することも、ネットワークを通して提供することも可能である。
参照画像から視差を推定する映像符号化及び復号方法において、視差変位情報に空間的な相関があることを利用し、視差補償における予測効率の劣化をおさえながらも視差変位情報に関する符号量を小さくすることができ、全体としての符号化効率を向上させることができる。

Claims (16)

  1. 複数の映像を一つの映像として符号化するにあたり、複数の映像間の視差を用いて予測する視差補償により符号化する映像符号化方法であって、
    参照画像から推定された、符号化対象画像に対する参照視差を設定する参照視差設定ステップと、
    画面内での領域分割を設定する領域分割設定ステップと、
    前記領域分割設定ステップで設定された各領域に関して、前記参照視差と前記視差補償に用いる視差の差である視差変位を設定する視差変位設定ステップと、
    前記領域分割設定ステップで設定された領域分割を示す領域分割情報を符号化する領域分割情報符号化ステップと、
    前記視差変位設定ステップで設定された視差変位を示す視差変位情報を符号化する視差変位情報符号化ステップと、
    を有し、
    前記参照視差設定ステップでは、前記参照視差を前記符号化対象画像の各画素に対して設定し、
    前記符号化対象画像の各画素に対して、設定された前記参照視差と、その画素が属する領域に対して設定された前記視差変位とを加えて得られる画素単位の視差を用いて、視差補償のための予測画像を生成する予測画像生成ステップを更に有することを特徴とする映像符号化方法。
  2. 請求項１に記載の映像符号化方法において、
    前記参照視差設定ステップにおいて設定される画素毎の参照視差は、前記符号化対象画像を用いることなく複数の参照画像から推定され、
    前記予測画像生成ステップでは、前記複数の参照画像の画素値に基づいて前記予測画像を生成することを特徴とする映像符号化方法。
  3. 請求項２に記載の映像符号化方法において、
    前記予測画像生成ステップでは、前記複数の参照画像の画素値の平均を求めて前記予測画像を生成することを特徴とする映像符号化方法。
  4. 複数の映像を一つの映像として復号するにあたり、複数の映像間の視差を用いて予測する視差補償により復号する映像復号方法であって、
    参照画像から推定された、復号対象画像に対する参照視差を設定する参照視差設定ステップと、
    符号化情報に含まれる領域分割を示す領域分割情報を復号する領域分割情報復号ステップと、
    前記領域分割情報復号ステップで復号された領域分割情報が示す各領域に関して、前記符号化情報に含まれる、前記参照視差と前記視差補償に用いる視差の差である視差変位の情報を復号する視差変位情報復号ステップと、
    を有し、
    前記参照視差設定ステップでは、前記参照視差を前記復号対象画像の各画素に対して設定し、
    前記復号対象画像の各画素に対して、設定された前記参照視差と、その画素が属する領域に対して設定された前記視差変位とを加えて得られる画素単位の視差を用いて、視差補償のための予測画像を生成する予測画像生成ステップを更に有することを特徴とする映像復号方法。
  5. 請求項４に記載の映像復号方法において、
    前記参照視差設定ステップにおいて設定される画素毎の参照視差は、前記復号対象画像を用いることなく複数の参照画像から推定され、
    前記予測画像生成ステップでは、前記複数の参照画像の画素値に基づいて前記予測画像を生成することを特徴とする映像復号方法。
  6. 請求項５に記載の映像復号方法において、
    前記予測画像生成ステップでは、前記複数の参照画像の画素値の平均を求めて前記予測画像を生成することを特徴とする映像復号方法。
  7. 複数の映像を一つの映像として符号化するにあたり、複数の映像間の視差を用いて予測する視差補償により符号化する映像符号化装置であって、
    参照画像から推定された、符号化対象画像に対する参照視差を設定する参照視差設定手段と、
    画面内での領域分割を設定する領域分割設定手段と、
    前記領域分割設定手段で設定された各領域に関して、前記参照視差と前記視差補償に用いる視差の差である視差変位を設定する視差変位設定手段と、
    前記領域分割設定手段で設定された領域分割を示す領域分割情報を符号化する領域分割情報符号化手段と、
    前記視差変位設定手段で設定された視差変位を示す視差変位情報を符号化する視差変位情報符号化手段と、
    を備え、
    前記参照視差設定手段は、前記参照視差を前記符号化対象画像の各画素に対して設定し、
    前記符号化対象画像の各画素に対して、設定された前記参照視差と、その画素が属する領域に対して設定された前記視差変位とを加えて得られる画素単位の視差を用いて、視差補償のための予測画像を生成する予測画像生成手段を更に備えることを特徴とする映像符号化装置。
  8. 請求項７に記載の映像符号化装置において、
    前記参照視差設定手段は、前記画素毎の参照視差を、前記符号化対象画像を用いることなく複数の参照画像から推定し、
    前記予測画像生成手段は、前記複数の参照画像の画素値に基づいて前記予測画像を生成することを特徴とする映像符号化装置。
  9. 請求項８に記載の映像符号化装置において、
    前記予測画像生成手段は、前記複数の参照画像の画素値の平均を求めて前記予測画像を生成することを特徴とする映像符号化装置。
  10. 複数の映像を一つの映像として復号するにあたり、複数の映像間の視差を用いて予測する視差補償により復号する映像復号装置であって、
    参照画像から推定された、復号対象画像に対する参照視差を設定する参照視差設定手段と、
    符号化情報に含まれる領域分割を示す領域分割情報を復号する領域分割情報復号手段と、
    前記領域分割情報復号手段で復号された領域分割情報が示す各領域に関して、前記符号化情報に含まれる、前記参照視差と前記視差補償に用いる視差の差である視差変位の情報を復号する視差変位情報復号手段と、
    を備え、
    前記参照視差設定手段は、前記参照視差を前記復号対象画像の各画素に対して設定し、
    前記復号対象画像の各画素に対して、設定された前記参照視差と、その画素が属する領域に対して設定された前記視差変位とを加えて得られる画素単位の視差を用いて、視差補償のための予測画像を生成する予測画像生成手段を更に備えることを特徴とする映像復号装置。
  11. 請求項１０に記載の映像復号装置において、
    前記参照視差設定手段は、前記画素毎の参照視差を、前記復号対象画像を用いることなく複数の参照画像から推定し、
    前記予測画像生成手段は、前記複数の参照画像の画素値に基づいて前記予測画像を生成することを特徴とする映像復号装置。
  12. 請求項１１に記載の映像復号装置において、
    前記予測画像生成手段は、前記複数の参照画像の画素値の平均を求めて前記予測画像を生成することを特徴とする映像復号装置。
  13. 請求項１から３のいずれか１項に記載の映像符号化方法を、コンピュータに実行させるための映像符号化プログラム。
  14. 請求項４から６のいずれか１項に記載の映像復号方法を、コンピュータに実行させるための映像復号プログラム。
  15. 請求項１から３のいずれか１項に記載の映像符号化方法を、コンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
  16. 請求項４から６のいずれか１項に記載の映像復号方法を、コンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007553000A 2006-01-05 2007-01-04 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 Active JP5234587B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007553000A JP5234587B2 (ja) 2006-01-05 2007-01-04 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006000393 2006-01-05
JP2006000393 2006-01-05
JP2007553000A JP5234587B2 (ja) 2006-01-05 2007-01-04 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
PCT/JP2007/050005 WO2007077989A1 (ja) 2006-01-05 2007-01-04 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2007077989A1 JPWO2007077989A1 (ja) 2009-06-11
JP5234587B2 true JP5234587B2 (ja) 2013-07-10

Family

ID=38228325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007553000A Active JP5234587B2 (ja) 2006-01-05 2007-01-04 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Country Status (11)

Country Link
US (1) US8451894B2 (ja)
EP (1) EP1971155B1 (ja)
JP (1) JP5234587B2 (ja)
KR (1) KR100977255B1 (ja)
CN (1) CN101361371B (ja)
BR (1) BRPI0706214B1 (ja)
CA (1) CA2634050C (ja)
ES (1) ES2388080T3 (ja)
RU (1) RU2384971C1 (ja)
TW (1) TW200806040A (ja)
WO (1) WO2007077989A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0716814A2 (pt) * 2006-09-20 2013-11-05 Nippon Telegraph & Telephone Método de codificação de imagem, e método de decodificação, aparelhos para isso, aparelho de decodificação de imagem, programas para isso, e mídias de armazenamento para armazenar os programas
JP4999854B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US8634462B2 (en) * 2007-03-13 2014-01-21 Matthias Narroschke Quantization for hybrid video coding
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
CN101170702B (zh) * 2007-11-23 2010-08-11 四川虹微技术有限公司 多视角视频编码方法
KR101628383B1 (ko) 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
CN106131549B (zh) 2010-04-13 2019-04-05 三星电子株式会社 执行去块滤波的对视频进行解码的设备
EP3661211B1 (en) * 2010-07-20 2021-08-25 NTT DoCoMo, Inc. Image prediction decoding method
US9648334B2 (en) 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
EP2751998A4 (en) * 2011-08-30 2015-08-12 Intel Corp CODING SCHEMES FOR MORE VIEWED VIDEOS
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP6012014B2 (ja) * 2012-03-30 2016-10-25 サン パテント トラスト 画像符号化方法および画像復号方法
PL2854398T3 (pl) * 2012-06-11 2018-02-28 Samsung Electronics Co., Ltd. Sposób kodowania wideo współdzielący parametr sao zgodnie ze składową koloru
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
WO2014075236A1 (en) 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
CN104782128B (zh) * 2012-11-14 2017-10-24 寰发股份有限公司 用于三维或多维视图视频编码的方法及其装置
US20150358644A1 (en) * 2012-12-28 2015-12-10 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, video decoding apparatus and method, and programs therefor
CN105359529B (zh) * 2013-07-16 2018-12-07 寰发股份有限公司 用于三维或多视图视频编码的方法及装置
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
CN115037929A (zh) * 2016-02-03 2022-09-09 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
CN112702598B (zh) * 2020-12-03 2024-06-04 浙江智慧视频安防创新中心有限公司 基于位移操作进行编解码的方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
JPH1032840A (ja) * 1996-04-05 1998-02-03 Matsushita Electric Ind Co Ltd 多視点画像伝送方法および多視点画像表示方法
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02130094A (ja) * 1988-11-10 1990-05-18 Nippon Telegr & Teleph Corp <Ntt> ステレオ動画像の動きベクトル情報符号化方式
JP3055438B2 (ja) * 1995-09-27 2000-06-26 日本電気株式会社 ３次元画像符号化装置
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
JP3790764B2 (ja) 2004-04-02 2006-06-28 一成 江良 投写型表示装置および投写型表示システム
JP4379221B2 (ja) 2004-06-17 2009-12-09 ブラザー工業株式会社 ミシンおよびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
JPH1032840A (ja) * 1996-04-05 1998-02-03 Matsushita Electric Ind Co Ltd 多視点画像伝送方法および多視点画像表示方法
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット

Also Published As

Publication number Publication date
KR100977255B1 (ko) 2010-08-23
EP1971155A1 (en) 2008-09-17
RU2008125839A (ru) 2009-12-27
JPWO2007077989A1 (ja) 2009-06-11
WO2007077989A1 (ja) 2007-07-12
CN101361371B (zh) 2010-11-03
CN101361371A (zh) 2009-02-04
CA2634050C (en) 2013-08-20
EP1971155A4 (en) 2010-06-16
ES2388080T3 (es) 2012-10-08
BRPI0706214B1 (pt) 2020-02-11
TW200806040A (en) 2008-01-16
EP1971155B1 (en) 2012-05-16
RU2384971C1 (ru) 2010-03-20
BRPI0706214A2 (pt) 2011-03-15
KR20080078697A (ko) 2008-08-27
US20100220784A1 (en) 2010-09-02
CA2634050A1 (en) 2007-07-12
TWI364992B (ja) 2012-05-21
US8451894B2 (en) 2013-05-28

Similar Documents

Publication Publication Date Title
JP5234587B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP5234586B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
Zhang et al. An improved framework of affine motion compensation in video coding
US8385628B2 (en) Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
US9088802B2 (en) Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
JP5197591B2 (ja) 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
US8290289B2 (en) Image encoding and decoding for multi-viewpoint images
JP4752631B2 (ja) 画像符号化装置、及び画像符号化方法
JP5310614B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
KR20130117749A (ko) 화상 처리 장치와 화상 처리 방법
KR20080061744A (ko) 영상의 부호화, 복호화 방법 및 장치
US20160037172A1 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program
JP2009164865A (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP4563981B2 (ja) 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
Ahmmed et al. A Two-Step Discrete Cosine Basis Oriented Motion Modeling Approach for Enhanced Motion Compensation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080619

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20080619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091201

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100526

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130319

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5234587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250