JP5085808B2 - 動画像符号化装置および動画像符号化方法 - Google Patents

動画像符号化装置および動画像符号化方法 Download PDF

Info

Publication number
JP5085808B2
JP5085808B2 JP2012524434A JP2012524434A JP5085808B2 JP 5085808 B2 JP5085808 B2 JP 5085808B2 JP 2012524434 A JP2012524434 A JP 2012524434A JP 2012524434 A JP2012524434 A JP 2012524434A JP 5085808 B2 JP5085808 B2 JP 5085808B2
Authority
JP
Japan
Prior art keywords
encoding
picture
moving image
prediction
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012524434A
Other languages
English (en)
Other versions
JPWO2012098890A1 (ja
Inventor
清史 安倍
秀之 大古瀬
博 荒川
一仁 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012524434A priority Critical patent/JP5085808B2/ja
Application granted granted Critical
Publication of JP5085808B2 publication Critical patent/JP5085808B2/ja
Publication of JPWO2012098890A1 publication Critical patent/JPWO2012098890A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、それぞれ視点の異なる動画像信号を符号化する動画像符号化装置および動画像符号化方法に関するものである。
近年、マルチメディアアプリケーションの発展に伴い、画像、音声およびテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積および伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ITU−T(国際電気通信連合 電気通信標準化部門)のH.261、H.263、H.264、ISO(国際標準化機構)のMPEG−1、MPEG−3、MPEG−4、MPEG−4AVCなどがある。
このような動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。ここで、空間方向の冗長性削減を目的として参照画像を参照せずに画面内予測符号化が行われるピクチャをIピクチャと呼ぶ。また、時間方向の冗長性削減を目的として、1枚のピクチャのみを参照して画面間予測符号化が行われるピクチャをPピクチャと呼ぶ。また、同時に2枚のピクチャを参照して画面間予測符号化が行われるピクチャをBピクチャと呼ぶ。
符号化対象の各ピクチャは、マクロブロック(MB)と呼ばれる符号化単位ブロックに分割される。また、動画像符号化装置は、分割したブロック毎に画面内予測または画面間予測を行って符号化を行う。具体的には、動画像符号化装置は、MB単位で予測によって生成した予測画像と符号化対象とする入力画像との差分値を算出し、得られた差分値画像に対して離散コサイン変換等の直交変換を行い、変換後の各変換係数値を量子化する。これにより情報量が圧縮される。
H.264には、その拡張規格としてMVC(Multiview Video Codeing)と呼ばれる符号化方式がある。これは、複数の視点から撮影した動画像の符号化方法である。具体的には、同じ時間に同じ対象を撮影した複数視点の画像は、お互いに相関が高いという性質を利用し、符号化対象ピクチャの属する視点の画像だけでなく別の視点の画像も参照して画面間予測を行うことで、符号化効率の向上を可能としている。例えば、BDA(Blu−ray Disc Association)によって策定されているBDのフォーマット規定では、2視点の3D映像の標準フォーマットとしてこのMVCが採用されている。
図11は、MVCにおけるピクチャの構造および、各ピクチャの参照関係の例を示している。
図11に示すように、MVCにおいては少なくとも、基本ビュー(Base view)と呼ばれるストリームと、依存ビュー(Dependant View)と呼ばれるストリームとから構成される。
基本ビューに属する各ピクチャは、基本ビューの過去に符号化したピクチャのみを参照する。つまり基本ビューは、基本ビューに属する符号化信号のみで符号化および復号化を行うことが可能となる。
それに対して、依存ビューに属する各ピクチャは、同じビューの過去に符号化したピクチャの参照(時間方向参照)および基本ビューの対応するピクチャの参照(ビュー間参照)の2種類の参照を行っている。例えば、依存ビューのピクチャP10は、基本ビューのピクチャI00を参照している。また、依存ビューのピクチャP11は、依存ビューのピクチャP10と基本ビューのピクチャP01とを参照している。これにより、基本ビューの符号化よりも参照できるピクチャの種類が広がり、より高効率な符号化が可能となる。なお、依存ビューは、非基本ビュー(Non−base view)と呼ばれることもある。
また、GOP境界直後の先頭ピクチャであるピクチャI05およびピクチャP15は、アンカーピクチャと呼ばれる。アンカーピクチャは、表示順でアンカーピクチャ以降の全ピクチャが、アンカーピクチャよりも過去のピクチャを参照することなく符号化および復号化を行うことを特徴としている。これにより、復号化時にストリームの途中から再生を行った場合に、アンカーピクチャよりも前の符号化信号がなくてもアンカーピクチャ以降の画像の再生が可能となるランダムアクセス対応を実現している(例えば、特許文献1を参照)。
上述のように、アンカーピクチャでは、過去の符号化済みピクチャを参照する時間方向参照を使用できない。このため、基本ビューでは、アンカーピクチャをIピクチャとして画面内予測のみで符号化する。それに対して、依存ビューでは、同様にIピクチャとして符号化するか、もしくはPピクチャとしてビュー間参照のみを用いて符号化する。しかしながら、BDのフォーマット規定では依存ビューでIピクチャを使用することが禁止されているため、依存ビューのアンカーピクチャは、ビュー間参照を用いるPピクチャとして符号化しなければならない。
特開2007−159113号公報
依存ビューは、ビュー間参照を行うことで、より高効率な符号化を可能としている。しかしながら、依存ビューの各ピクチャを復号化するためには、基本ビューのピクチャのうち、依存関係のある全てのピクチャを復号化しなくてはならない。そのため、特に編集などを行う際の処理が非常に複雑になる。それを回避するためには、ビュー間参照を用いずに符号化することが必要となる。
しかしながら、BDのフォーマット規定では、依存ビューのアンカーピクチャをIピクチャとして符号化することができない。その結果、図12にあるように、アンカーピクチャだけはビュー間参照を行わざるをえず、基本ビューへの依存関係を完全に断ち切ることができない。
本発明は上記課題を解決するものであり、Iピクチャを使用しなくても基本ビューに依存することなく復号化を可能とする依存ビューの符号化ストリームを生成することを可能とする動画像符号化装置および動画像符号化方法を提供することを目的とする。
本発明の一形態に係る動画像符号化装置は、それぞれ視点の異なる複数の動画像信号を符号化する。具体的には、動画像符号化装置は、前記複数の動画像信号に含まれるピクチャを順次取得する取得部と、前記取得部で取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化部とを備える。前記符号化部は、前記複数の動画像信号のうちの第1動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするGOP(Group Of Pictures)先頭のアンカーピクチャを、画面内予測のみを用いて符号化してIピクチャのフォーマットで出力し、前記複数の動画像信号のうちの第2動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してPピクチャのフォーマットで出力し、前記第1及び第2動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する。
このようにすれば、動画像符号化装置は、BDのフォーマット規格を満たしながら、復号時に基本ビューを必要としないストリームとして依存ビューを符号化することが可能となる。
一例として、前記符号化部は、前記第1動画像信号を、MVC(multi view coding)規格のBase Viewとして符号化し、前記第2動画像信号を、MVC規格のNon−Base Viewとして符号化してもよい。
さらに、前記符号化部は、前記第2動画像信号に含まれるピクチャを、前記第1動画像信号の当該ピクチャに対応するピクチャを参照するビュー方向の画面間予測を用いて符号化することができてもよい。さらに、前記動画像符号化装置は、前記第2動画像信号に含まれるアンカーピクチャを、画面内予測のみを用いて符号化してPピクチャのフォーマットで出力する第1の符号化条件と、ビュー方向の画面間予測を用いて符号化してPピクチャのフォーマットで出力する第2の符号化条件とを相互に切り替える符号化条件設定部を備えてもよい。そして、前記符号化部は、前記符号化条件設定部で設定された符号化条件に応じて符号化を行ってもよい。
このように、第2動画像信号を第1動画像信号に依存させるか否かを切り替えることにより、第2動画像信号の独立性(依存させない場合)と、第2動画像信号の符号化効率(依存させる場合)とを適応的に切り替えることができる。
前記第1の符号化条件は、さらに、前記第2動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測のうち、画面内予測及び時間方向の画面間予測のみを用いることができる符号化条件であってもよい。前記第2の符号化条件は、さらに、前記第2動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測の全てを用いることができる符号化条件であってもよい。
このように、第2動画像信号の全てのピクチャを第1動画像信号に依存させないようにしてもよい。但し、早送りや早巻き戻し等を行う場合にアンカーピクチャのみを復号化する場合が考えられるので、アンカーピクチャのみの依存関係を断ち切るだけでも、一定の効果は期待できる。
また、前記符号化条件設定部は、前記第1及び第2動画像信号に含まれる略同一の時刻情報を有する2つのピクチャの画質差を取得し、取得した画質差が所定の閾値以上の場合に、前記第1の符号化条件に切り替えてもよい。
このようにすれば、依存ビューの符号化効率を向上させることが可能となる。
一例として、前記符号化条件設定部は、前記第1及び第2動画像信号に含まれる略同一の時刻情報を有する2つのピクチャの画素値を比較することによって、当該2つのピクチャの画質差を取得してもよい。
他の例として、前記取得部は、さらに、前記第1動画像信号を撮影した際の撮影条件と、前記第2動画像信号を撮影した際の撮影条件とを取得してもよい。そして、前記符号化条件設定部は、前記第1及び第2動画像信号の撮影条件を比較することによって、当該2つのピクチャの画質差を取得してもよい。
本発明の一形態に係る動画像符号化方法は、それぞれ視点の異なる複数の動画像信号を符号化する方法である。具体的には、動画像符号化方法は、前記複数の動画像信号に含まれるピクチャを順次取得する取得ステップと、前記取得ステップで取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化ステップとを含む。前記符号化ステップでは、前記複数の動画像信号のうちの第1動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするGOP(Group Of Pictures)先頭のアンカーピクチャを、画面内予測のみを用いて符号化してIピクチャのフォーマットで出力し、前記複数の動画像信号のうちの第2動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してPピクチャのフォーマットで出力し、前記第1及び第2動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する。
なお、本発明は、動画像符号化装置及び動画像符号化方法として実現することができるだけでなく、このような動画像符号化装置に含まれる各構成要素と同等の処理を集積回路として実現してもよいし、動画像符号化方法の各ステップをコンピュータに実行させるプログラムとして実現することもできる。
以上より、本発明は、複数の視点における動画像信号をBDのフォーマットに従って符号化した場合であっても、復号化時に基本ビューを必要としないストリームとして依存ビューを生成することができる。
図1は、実施の形態1に係る動画像符号化装置のブロック図である。 図2は、実施の形態1に係るピクチャ符号化処理のフローチャートである。 図3は、実施の形態1に係る依存ビューのアンカーピクチャにおける各MBの符号化モードを示す概念図である。 図4Aは、Iピクチャのシンタックスの構成を示す図である。 図4Bは、Pピクチャのシンタックスの構成を示す図である。 図5は、実施の形態1に係る基本ビューと依存ビューとの参照構造を示す図である。 図6は、実施の形態2に係る動画像符号化装置のブロック図である。 図7は、実施の形態2に係るピクチャ符号化処理のフローチャートである。 図8は、実施の形態2に係るピクチャ符号化処理のフローチャートである。 図9は、画質差がある異なる視点の画像を参照して符号化した場合の画質劣化を説明するための図である。 図10は、動画像符号化装置のブロック図の変形例である。 図11は、基本ビューと依存ビューとの従来の参照構造の一例を示す図である。 図12は、基本ビューと依存ビューとの従来の参照構造の別の一例を示す図である。
(実施の形態1)
以下、本発明の実施の形態1について、図面を参照しながら説明する。
図1は、本発明の実施の形態に係る動画像符号化装置100のブロック図である。
図1に示す動画像符号化装置100は、基本ビューの入力画像と依存ビューの入力画像との2つの入力画像に対して符号化処理を行い、それぞれのビューに対応した符号列を生成する。
この動画像符号化装置100は、ピクチャメモリ101−1と、ピクチャメモリ101−2と、符号化部10とを備える。さらに、符号化部10は、予測残差符号化部102−1と、予測残差符号化部102−2と、予測残差復号化部103−1と、予測残差復号化部103−2と、ローカルバッファ104−1と、ローカルバッファ104−2と、予測符号化部105−1と、予測符号化部105−2と、符号列生成部106−1と、符号列生成部106−2と、差分演算部107−1と、差分演算部107−2と、加算演算部108−1と、加算演算部108−2とを備えている。
なお、予測残差符号化部102−1と、予測残差復号化部103−1と、ローカルバッファ104−1と、予測符号化部105−1と、符号列生成部106−1と、差分演算部107−1と、加算演算部108−1とは、ピクチャメモリ101−1に蓄積される基本ビューのピクチャを符号化する第1の符号化部11を構成する。また、予測残差符号化部102−2と、予測残差復号化部103−2と、ローカルバッファ104−2と、予測符号化部105−2と、符号列生成部106−2と、差分演算部107−2と、加算演算部108−2とは、ピクチャメモリ101−2に蓄積される依存ビューのピクチャを符号化する第2の符号化部12を構成する。
ピクチャメモリ101−1、101−2は、ピクチャ単位で入力される基本ビューの入力画像信号151−1および依存ビューの入力画像信号151−2を、表示を行う順(若しくは、撮影順)から符号化を行う順に並び替えを行った後に蓄積する。そして、ピクチャメモリ101−1、101−2は、差分演算部107−1、107−2および予測符号化部105−1、105−2からの読出し命令を受け付けると、当該読出し命令に係る画像信号を出力する。
このとき、各々のピクチャは、マクロブロック(MB)と呼ばれる例えば水平16画素×垂直16画素のブロックに分割され、MB単位で以降の処理が行われる。なお、上記では、水平16画素×垂直16画素のブロックに分割して出力する構成を説明したが、水平8画素×垂直8画素のブロックなど、符号化規格に準拠するブロックサイズであればどのようなものを利用しても構わない。
予測残差符号化部102−1、102−2は、差分演算部107−1、107−2から出力される差分画像信号152−1、152−2に対して直交変換を行い、さらに得られた各周波数成分の直交変換係数に対して量子化を行うことで画像情報の圧縮を行う。そして、予測残差符号化部102−1、102−2は、圧縮して得られる情報(典型的には、量子化係数)である残差符号化信号153−1、153−2を、予測残差復号化部103−1、103−2および符号列生成部106−1、106−2にそれぞれ出力する。
予測残差復号化部103−1、103−2は、予測残差符号化部102−1、102−2から出力される残差符号化信号153−1、153−2に対して、逆量子化および逆直交変換することで画像情報の復元を行い、残差復号化信号155−1、155−2をそれぞれ生成する。そして、予測残差復号化部103−1、103−2は、生成した残差復号化信号155−1、155−2を、加算演算部108−1、108−2にそれぞれ出力する。
ローカルバッファ104−1、104−2は、現在符号化対象となっているMB以降のMBの符号化において参照画像として使用するため、加算演算部108−1、108−2から出力される再構成画像信号156−1、156−2を格納する。
予測符号化部105−1、105−2は、ピクチャメモリ101−1、101−2からそれぞれ出力される入力画像信号151−1、151−2を基に、画面内予測または時間方向の画面間予測を用いて予測画像信号157−1、157−2を生成する。そして、予測符号化部105−1、105−2は、生成した予測画像信号157−1、157−2を、差分演算部107−1、107−2ならびに加算演算部108−1、108−2に出力する。
なお、予測符号化部105−1、105−2は、時間方向の画面間予測を用いる場合、ローカルバッファ104−1、104−2に蓄積される既に符号化済みの過去のピクチャの再構成画像信号156−1、156−2を用いる。また、予測符号化部105−1、105−2は、画面内予測を用いる場合、符号化対象MBに隣接する既に符号化済みのMBの現在のピクチャの再構成画像信号156−1、156−2を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくすることができるかを予測して行われる。
なお、本実施の形態における予測符号化部105−1、105−2では、符号化対象ピクチャがアンカーピクチャであるか否かによって、画面内予測のみを使用するか、画面内予測及び時間方向の画面間予測の両方を使用可能とするかが予め定められている。具体的には、予測符号化部105−1、105−2は、符号化対象ピクチャがアンカーピクチャである場合に画面内予測のみを使用し、符号化対象ピクチャがアンカーピクチャ以外のピクチャである場合に画面内予測及び時間方向の画面間予測の両方を使用可能とする。
符号列生成部106−1、106−2は、予測残差符号化部102−1、102−2から出力される残差符号化信号153−1、153−2と、その他の符号化に関する情報とを可変長符号化することで、符号列154−1、154−2を生成する。
なお、符号列生成部106−1は、画面内予測のみを用いて符号化された基本ビューのアンカーピクチャを、Iピクチャのフォーマットの符号列154−1として出力する。一方、符号列生成部106−2は、画面内予測のみを用いて符号化された依存ビューのアンカーピクチャを、Pピクチャのフォーマットの符号列154−2として出力する。さらに、符号列生成部106−1、106−2は、基本ビュー及び依存ビューのアンカーピクチャ以外のピクチャを、ピクチャタイプに従ったフォーマットの符号列154−1、154−2として出力する。
差分演算部107−1、107−2は、ピクチャメモリ101−1、101−2から読み出された入力画像信号151−1、151−2と、予測符号化部105−1、105−2から出力される予測画像信号157−1、157−2との差分値である差分画像信号152−1、152−2を生成し、予測残差符号化部102−1、102−2にそれぞれ出力する。
加算演算部108−1、108−2は、予測誤差復号化部103−1、103−2から出力される残差復号化信号155−1、155−2と、予測符号化部105−1、105−2から出力される予測画像信号157−1、157−2とを加算することにより、再構成画像信号156−1、156−2をそれぞれ生成する。そして、加算演算部108−1、108−2は、生成した再構成画像信号156−1、156−2を、ローカルバッファ104−1、104−2にそれぞれ出力する。
上記構成のように、基本ビューのアンカーピクチャをIピクチャのフォーマットの符号列154−1として出力し、依存ビューのアンカーピクチャをPピクチャのフォーマットの符号列154−2として出力する点を除いて、第1及び第2の符号化部11、12の各構成要素の動作は、共通する。
すなわち、上記構成の動画像符号化装置100は、1ストリームを符号化する従来の動画像符号化装置を2系統設け、且つ予測符号化部105−1、105−2及び符号列生成部106−1、106−2の処理を少し変更するだけで実現することができる。これにより、新規に回路を設計する必要がないので、低コストで動画像符号化装置100を得ることができる。
図2は、動画像符号化装置100の第2の符号化部12の符号化処理のフローチャートである。なお、第1の符号化部11の動作は、基本ビューのアンカーピクチャがIピクチャのフォーマットで出力される(S105)点を除いて共通するので、説明は省略する。
まず、予測符号化部105−2は、ピクチャメモリ101−2から符号化対象ピクチャを取得する(S101)。また、予測符号化部105−2は、外部装置(典型的には、動画像符号化装置100を含む上位装置)から符号化情報を取得する(S102)。ステップS102で取得される符号化情報には、例えば、符号化対象ピクチャのピクチャタイプ(Iピクチャ/Pピクチャ/Bピクチャ)と、符号化対象ピクチャがアンカーピクチャか否かを示す情報とが含まれる。なお、典型的には、依存ビューのアンカーピクチャのピクチャタイプはPピクチャであり、依存ビューのアンカーピクチャ以外のピクチャのピクチャタイプはPピクチャ又はBピクチャである。
次に、予測符号化部105−2は、符号化対象ピクチャが依存ビューのアンカーピクチャであるかどうかを判定する(S103)。なお、アンカーピクチャとは、図11にあるように、GOP境界直後の先頭ピクチャである。このアンカーピクチャは、表示順でそれ以降の全ピクチャがアンカーピクチャよりも過去のピクチャを参照することなく、符号化および復号化を行うことを特徴とするピクチャである。
ステップS103でYESと判定された場合、予測符号化部105−2は、符号化対象ピクチャの全てのマクロブロックの予測モードをイントラモード(画面内予測モード)に固定する(S104)。そして、第2の符号化部12(予測符号化部105−2、差分演算部107−2、予測残差符号化部102−2、符号列生成部106−2)は、符号化対象ピクチャ(依存ビューのアンカーピクチャ)の全てのマクロブロックを、画面内予測のみを用いて符号化し、Pピクチャのフォーマットで出力する(S105)。
一方、ステップS103でNOと判定された場合、第2の符号化部12(予測符号化部105−2、差分演算部107−2、予測残差符号化部102−2、符号列生成部106−2)は、符号化対象ピクチャの全てのマクロブロックを、画面内予測又は時間方向の画面間予測を用いて符号化し、ステップS102で取得したピクチャタイプに従ったフォーマットで出力する(S106)。
図3は、常に画面内予測が選択されたときの符号化対象ピクチャの全MBの符号化モードを示している。依存ビューのアンカーピクチャの符号化モードには常に画面内予測が選択されるため、図3に示されるように、全てのMBが画面内予測(IntraMB)であるPピクチャとして符号化されている。
図4Aは、Iピクチャのシンタックスの構成を示している。図4Bは、Pピクチャのシンタックスの構成を示している。各ピクチャは、スライスと呼ばれる1つ以上のMBで構成される領域に分割され、スライス毎にヘッダ情報を持つ。すなわち、IピクチャにはIピクチャ用の符号化情報を記述したI_Slice_Header()が付加され、PピクチャにはPピクチャ用の符号化情報を記述したP_Slice_Header()が付加される。
次に、各スライスに属するMBの個数分だけMBの符号化情報が記述される。MB_Typeは、MBの予測モードを示す情報である。Iピクチャでは0から25の値を取り、いずれも画面内予測モードを示す値である。すなわち、常にIntra_Prede_info()によって画面内予測のための予測情報が符号化される。
一方、Pピクチャでは0から30の値を取り、0〜4が画面間予測モードを示す値、5〜30が画面内予測モードを示す値となっている。すなわち、0〜4のときは、Inter_Pred_info()によって画面間予測のための予測情報が符号化され、5〜30のときは、Intra_Pred_info()によって画面内予測のための予測情報が符号化される。
図3を用いて説明したピクチャは、全てのMBが画面内予測(IntraMB)であるPピクチャであるため、シンタックスは図4Bで示したPピクチャのものと全く同じ構成であり、且つMB_Typeが常に5から30の値をとる。すなわち、Intra_Pred_info()のみが符号化されることになる。
図5は、図12で説明した参照構造による符号化を行った際に、上記処理を用いることによって生成される符号化信号の参照関係を示している。図5では、依存ビューのアンカーピクチャであるピクチャP10およびピクチャP15が、全MBをIntraMBとして符号化されている。このため、アンカーピクチャを含めた全てのピクチャでビュー間参照を行うことなく符号化されている。
これにより、BDのフォーマット規定に準拠した符号化方式であっても、依存ビューの全ピクチャにおいて基本ビューに全く依存することなく符号化および復号化することを実現できる。その結果、依存ビューの画像信号と基本ビューの画像信号とを完全に独立して扱うことが可能となる。特に編集等の作業において依存ビューのデータの操作を行う際に、基本ビューのストリームを用いなくても依存ビューのストリームのみで画像の復号化ができるため、編集等の作業の大幅な効率改善が可能となる。
(まとめ)
本実施の形態における動画像符号化装置100は、それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化装置100であって、複数の動画像信号を取得するピクチャメモリ101−1、101−2と、複数の動画像信号を符号化する符号化部10とを備える。符号化部10は、複数の動画像信号のうち第1動画像信号に含まれるピクチャを第1動画像信号に含まれる情報のみ利用可能な符号化条件(画面内予測、又は時間方向の画面間予測)を用いて符号化し、複数の動画像信号のうち第2動画像信号に含まれるピクチャのうち、当該ピクチャがランダムアクセスを可能とするGOP先頭のアンカーピクチャを画面内予測のみを使用するPピクチャを用いて符号化し、当該GOP先頭のアンカーピクチャ以外のピクチャを第2動画像信号に含まれる情報のみ利用可能な符号化条件を用いて符号化する。
また、本実施の形態における動画像符号化装置100は、それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化装置100であって、複数の動画像信号を取得するピクチャメモリ101−1、101−2と、複数の動画像信号をMVC(multi view coding)規格を用いて符号化する符号化部10とを備える。符号化部10は、複数の動画像信号のうち第1動画像信号をBase Viewとして符号化し、複数の動画像信号のうち第2動画像信号をNon−Base Viewとして符号化するとともに、符号化対象のピクチャがランダムアクセスを可能とするGOP先頭のアンカーピクチャである場合、画面内予測のみを使用するPピクチャを用いて符号化する。
このようにすれば、動画像符号化装置100は、BDのフォーマット規格を満たしながら、復号時に基本ビューを必要としないストリームとして依存ビューを符号化することが可能となる。
(実施の形態2)
次に、本発明の実施の形態2について、図面を参照しながら説明する。
図6は、実施の形態2に係る動画像符号化装置200のブロック図である。なお、実施の形態1との共通点の詳しい説明は省略し、相違点を中心に説明する。図6に示される動画像符号化装置200は、符号化条件設定部109をさらに備える点、及び第2の符号化部12の予測符号化部105−2が第1の符号化部11のローカルバッファ104−1に蓄積されているピクチャを参照することができる点で、図1に示される動画像符号化装置100と相違する。
符号化条件設定部109は、依存ビューの現在符号化対象としているピクチャの全MBの予測方法を強制的に画面内予測のみに限定するかどうかを、予測符号化部105−2に指示する。具体的には、予測方法を画面内予測に限定することを示す強制画面内予測指示信号158が符号化条件設定部109によって生成され、予測符号化部105−2に入力される。そして、予測符号化部105−2では、強制画面内予測指示信号158を取得するか否かに応じて符号化対象MBの予測モードを決定する。
また、実施の形態2に係る予測符号化部105−2は、画面間予測を行うための参照方法として、同じビューの過去に符号化したピクチャの参照(時間方向参照)に加えて、基本ビューの対応するピクチャの参照(ビュー間参照)の2種類の参照を行うことが可能である。つまり、予測符号化部105−2は、ローカルバッファ104−2に蓄積される再構成画像信号156−2だけでなく、ローカルバッファ104−1に蓄積される再構成画像信号156−1をも参照に使用して予測符号化を行うことができる。なお、「対応するピクチャ」とは、基本ビュー及び依存ビューの同時刻に撮影された(又は表示される)2つのピクチャを指す。
図7は、実施の形態2に係る動画像符号化装置200において、符号化条件設定部109によって予測モードを制御する処理に関するフローチャートである。
まず、ステップS101及びステップS102を実行した後(図2と共通するので、説明は省略)、符号化条件設定部109は、対象とする動画像の符号化処理において、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されたかどうかを判定する(S201)。ステップS201でYESと判定された場合(すなわち、基本ビューと依存ビューとの依存関係をなくす場合)、図2のステップS103〜ステップS105の処理を実行する。
すなわち、符号化条件設定部109は、符号化対象ピクチャが依存ビューのアンカーピクチャであるかどうかを判定する(S103)。さらに、ステップS103でYESと判定された場合、符号化条件設定部109は、予測符号化部105−2におけるモード判定処理において常に画面内予測(IntraMB)が選択されるように、強制画面内予測指示信号158の値を設定する(S104)。
予測符号化部105−2では、強制画面内予測指示信号158の指示に従ってモード判定処理を行う。すなわち、予測符号化部105−2は、符号化対象ピクチャ(依存ビューのアンカーピクチャ)の全てのマクロブロックを画面内予測のみを用いて符号化し、Pピクチャのフォーマットの符号列154−2として出力する(S105)。
一方、ステップS201もしくはステップS103でNOと判定された場合、符号化条件設定部109は、強制画面内予測指示信号158の値の設定は行わない。そして、予測符号化部105−2は、符号化対象ピクチャのモード判定処理において、画面内予測および画面間予測の双方を選択可能とする。すなわち、第2の符号化部12は、符号化対象ピクチャがアンカーピクチャの場合に画面内予測又は時間方向の画面間予測のみを用いて符号化し、符号化対象ピクチャがアンカーピクチャ以外の場合に画面内予測又は時間方向の画面間予測又はビュー方向の画面間予測を用いて符号化し、ステップS102で取得したピクチャタイプに従ったフォーマットで出力する(S106)。
これにより、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されたときのみ、依存ビューの全ピクチャにおいて基本ビューに全く依存することなく符号化および復号化することが可能となる。逆に、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されなかった場合は、従来通り依存ビューが基本ビューを参照して符号化することにより符号化効率が向上し、画質を劣化させることなく発生符号量を抑制したストリームを生成することが可能となる。
次に、動画像符号化装置200における符号化条件設定部109によって予測モードを制御する処理の別の方法について、図8に示したフローチャートを用いて説明する。
図8の処理では、ステップS101及びステップS102を実行した後(図2と共通するので、説明は省略)、符号化条件設定部109は、基本ビューと依存ビューとの2つの入力画像の画質差が閾値以上かどうかを判定する(S301)。ステップS301でYESと判定された場合はステップS103〜ステップS105の処理に入り、NOと判定された場合はS106の処理に入る。これらの処理に関しては、図7で説明した内容と全く同様である。
なお、画質差は、例えば、基本ビュー及び依存ビューの対応する2枚のピクチャの画素値を用いて取得することができる。例えば、入力された2枚のピクチャの輝度値の平均値の差を、画質差として用いることができる。また、入力された2枚のピクチャの色差値の平均値の差でも良いし、入力された2枚のピクチャの画素値の分散の差でも良いし、入力された2枚のピクチャの周波数変換したときの周波数成分の発生傾向の差でも良い。
また、画質差は、基本ビューと依存ビューとの2つの入力画像を撮影した撮影情報から取得することもできる。すなわち、第1及び第2の符号化部11、12は、符号化対象ピクチャと共に、当該符号化対象ピクチャを撮影した際の撮影条件を取得し、対応する2枚のピクチャの撮影情報の特性差(=画質差)が閾値以上かどうかを判定してもよい。ここでの撮影情報としては、例えば、ズーム位置の値、シャッター速度、露出値、ホワイトバランス値、フォーカス位置、ゲイン値、カメラの傾きなどが考えられる。
撮影情報の特性差を用いて画質差を判断することにより、対応するピクチャの画素値から画質差を生成する処理が不要となり、判定処理に必要となる処理量を削減することが可能となる。また、撮影情報の特性差を用いて画質差を判断することにより、画素値から生成される画質差に基づいて判定する場合に比べて、判定精度が飛躍的に向上する。
図9では、基本ビューと依存ビューとの2つの入力画像の画質差による符号化画像への影響を示している。図9の例では、依存ビューのアンカーピクチャを符号化するために、基本ビューのアンカーピクチャを参照している。ここで、基本ビューと依存ビューとの2つのアンカーピクチャの間の画質差が大きいと、図9の符号化結果にあるように、ビュー方向の画面間参照したMBと、画面内参照(又は時間方向の画面間参照)したMBとで予測画像の性質が大きく異なってしまい、画質劣化の原因となってしまう。
そこで、図8の処理により、このような画質劣化が発生する可能性がある入力画像に対しては、依存ビューが基本ビューを参照することなく符号化することが可能となる。その結果、依存ビューの符号化画像の高画質化を実現することができる。
また、動画像符号化装置200は、使用者からの操作(指示)を受け付ける受付部を備え、当該受け付けた操作に応じて、図4、図7または図8に示す符号化を実行するか否かを切り替える構成にしても構わない。
(まとめ)
本実施の形態における動画像符号化装置200は、使用者の操作を受け付ける受付部をさらに備える。符号化部10は、受け付けた操作に応じて、第2動画像信号に含まれる符号化対象のピクチャがランダムアクセスを可能とするGOP先頭のアンカーピクチャを、画面内予測のみを利用するPピクチャを用いて符号化するか、第1動画像信号に含まれるピクチャであって当該アンカーピクチャに対応するピクチャを参照可能なPピクチャとして符号化するかを切り替える。
このようにすれば、使用者が意図した場合にのみ、復号時に基本ビューを必要としないストリームとして依存ビューを符号化することができる。
また好ましくは、符号化部10は、GOP先頭のアンカーピクチャと、第1動画像信号に含まれるピクチャであって当該GOP先頭のアンカーピクチャと略同一の時刻情報を有するピクチャとの画質差に応じて、当該GOP先頭のアンカーピクチャを画面内予測のみを利用するPピクチャを用いて符号化するか、第1動画像信号に含まれるピクチャであって当該アンカーピクチャに対応するピクチャを参照可能なPピクチャとして符号化するかを切り替える。
また好ましくは、符号化部10は、画質差が大きい場合に、GOP先頭のアンカーピクチャを画面内予測のみを利用するPピクチャを用いて符号化する。
このようにすれば、依存ビューの符号化効率を向上させることが可能となる。
また好ましくは、符号化部10は、第1動画像信号を撮影した際の撮影条件と、第2動画像信号を撮影した際の撮影条件との相違に基づいて、GOP先頭のアンカーピクチャを画面内予測のみを利用するPピクチャを用いて符号化するか、第1動画像信号に含まれるピクチャであって当該アンカーピクチャに対応するピクチャを参照可能なPピクチャとして符号化するかを切り替える。
また好ましくは、符号化部10は、画質の相違が大きい場合、GOP先頭のアンカーピクチャを画面内予測のみを利用するPピクチャを用いて符号化する。
このようにすれば、依存ビューの符号化効率を向上させることが可能となる。
次に、図10を参照して、図6に示される動画像符号化装置200の他の例を説明する図である。まず、図10に示される動画像符号化装置300は、取得部310と、符号化部320と、符号化条件設定部330とを備える。なお、取得部310は図6のピクチャメモリ101−1、101−2に、符号化部320は図6の第1及び第2の符号化部11、12に、符号化条件設定部330は図6の符号化条件設定部109に、それぞれ対応する。但し、これらの対応関係は一例であって、これには限定されない。
取得部310は、複数の動画像信号に含まれるピクチャを順次取得する。具体的には、取得部310は、MVC(multi view coding)規格のBase Viewである第1動画像信号に含まれる各ピクチャと、MVC規格のNon−Base Viewである第2動画像信号に含まれる各ピクチャとを、順次取得する。さらに、取得部310は、第1動画像信号を撮影した際の撮影条件と、第2動画像信号を撮影した際の撮影条件とを取得してもよい。
符号化部320は、取得部310で取得されたピクチャを、画面内予測、時間方向の画面間予測、及びビュー方向の画面間予測を用いて符号化する。画面内予測とは、符号化対象ピクチャ内の既に符号化されたブロックを参照する予測モードである。時間方向の画面間予測とは、符号化対象ピクチャと同一ビューに属し、且つ既に符号化されたピクチャを参照する予測モードである。ビュー方向の画面間予測とは、符号化対象ピクチャと異なるビューに属し、且つ符号化対象ピクチャに対応するピクチャを参照する予測モードである。
符号化部320は、後述する符号化条件設定部330で決定された符号化条件に従って、符号化対象ピクチャを符号化する。符号化条件設定部330は、取得部310から取得した情報に基づいて符号化条件を決定し、符号化部320に通知する。
第1の符号化条件は、第2動画像信号に含まれるアンカーピクチャを、画面内予測のみを用いて符号化してPピクチャのフォーマットで出力し、第2動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測のうち、画面内予測及び時間方向の画面間予測のみを用いることができる符号化条件である。
また、第2の符号化条件は、第2動画像信号に含まれるアンカーピクチャを、画面内予測及びビュー方向の画面間予測を用いて符号化してPピクチャのフォーマットで出力し、第2動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測の全てを用いることができる符号化条件である。
符号化条件設定部330は、第1及び第2動画像信号に含まれる略同一の時刻情報を有する2つのピクチャの画質差を取得する。そして、符号化条件設定部330は、取得した画質差が所定の閾値以上の場合に第1の符号化条件に決定し、取得した画質差が所定の閾値未満の場合に第2の符号化条件に決定してもよい。
符号化条件設定部330は、例えば、第1及び第2動画像信号に含まれる略同一の時刻情報を有する2つのピクチャの画素値を比較することによって、当該2つのピクチャの画質差を取得してもよい。または、符号化条件設定部330は、取得部310によって取得される第1及び第2動画像信号の撮影条件を比較することによって、当該2つのピクチャの画質差を取得する。
符号化条件設定部330は、例えば、対象とする動画像の符号化処理において、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されたかどうかを判定する。そして、符号化条件設定部330は、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示された場合に第1の符号化条件に決定し、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されなかった場合に第2の符号化条件に決定してもよい。
また、図10に示される動画像符号化装置100は、図1の動画像符号化装置100にも適用することができる。例えば、取得部310は図1のピクチャメモリ101−1、101−2に、符号化部320は図1の第1及び第2の符号化部11、12にそれぞれ対応し、符号化条件設定部330の機能は図1の第1及び第2の符号化部11、12に含まれる。
符号化部320は、第1動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするGOP先頭のアンカーピクチャを、画面内予測のみを用いて符号化してIピクチャのフォーマットで出力する。また、符号化部320は、第2動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してPピクチャのフォーマットで出力する。さらに、符号化部320は、第1及び第2動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する。
図10の構成によれば、図1及び図6に示される動画像符号化装置100、200のように2系統の符号化部を設けなくとも、基本ビュー及び依存ビューの符号化を実現することができる。
(その他の実施形態)
さらに、上記実施の形態で示した動画像符号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。
また、上記実施の形態で示した動画像符号化装置に含まれる各手段と同等の機能を集積回路であるLSIとして実現してもよい。これらは一部または全てを含むように1チップ化されてもよい。またLSIは集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩または派生する別技術によりLSIなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
また、本発明は、上述した動画像符号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うDVDレコーダー、BDレコーダー等の放送波記録装置に適用しても構わない。
また、上記実施の形態に係る、動画像符号化装置、およびその変形例の機能のうち少なくとも一部を組み合わせてもよい。
本発明は、複数視点から撮影された画像を入力とする動画像符号化装置に適用でき、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、およびパーソナルコンピューターに有用である。
100,200,300 動画像符号化装置
10,320 符号化部
11 第1の符号化部
12 第2の符号化部
101−1,101−2 ピクチャメモリ
102−1,102−2 予測残差符号化部
103−1,103−2 予測残差復号化部
104−1,104−2 ローカルバッファ
105−1,105−2 予測符号化部
106−1,106−2 符号列生成部
107−1,107−2 差分演算部
108−1,108−2 加算演算部
109,330 符号化条件設定部
151−1,151−2 入力画像信号
152−1,152−2 差分画像信号
153−1,153−2 残差符号化信号
154−1,154−2 符号列
155−1,155−2 残差復号化信号
156−1,156−2 再構成画像信号
157−1,157−2 予測画像信号
158 強制画面内予測指示信号
310 取得部

Claims (8)

  1. それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化装置であって、
    前記複数の動画像信号に含まれるピクチャを順次取得する取得部と、
    前記取得部で取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化部とを備え、
    前記符号化部は、
    前記複数の動画像信号のうちの第1動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするGOP(Group Of Pictures)先頭のアンカーピクチャを、画面内予測のみを用いて符号化してIピクチャのフォーマットで出力し、
    前記複数の動画像信号のうちの第2動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してPピクチャのフォーマットで出力し、
    前記第1及び第2動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する
    動画像符号化装置。
  2. 前記符号化部は、
    前記第1動画像信号を、MVC(multi view coding)規格のBase Viewとして符号化し、
    前記第2動画像信号を、MVC規格のNon−Base Viewとして符号化する
    請求項1に記載の動画像符号化装置。
  3. 前記符号化部は、さらに、前記第2動画像信号に含まれるピクチャを、前記第1動画像信号の当該ピクチャに対応するピクチャを参照するビュー方向の画面間予測を用いて符号化することができ、
    前記動画像符号化装置は、さらに、前記第2動画像信号に含まれるアンカーピクチャを、画面内予測のみを用いて符号化してPピクチャのフォーマットで出力する第1の符号化条件と、ビュー方向の画面間予測を用いて符号化してPピクチャのフォーマットで出力する第2の符号化条件とを相互に切り替える符号化条件設定部を備え、
    前記符号化部は、前記符号化条件設定部で設定された符号化条件に応じて符号化を行う
    請求項1又は2に記載の動画像符号化装置。
  4. 前記第1の符号化条件は、さらに、前記第2動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測のうち、画面内予測及び時間方向の画面間予測のみを用いることができる符号化条件であり、
    前記第2の符号化条件は、さらに、前記第2動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測の全てを用いることができる符号化条件である
    請求項3に記載の動画像符号化装置。
  5. 前記符号化条件設定部は、前記第1及び第2動画像信号に含まれる略同一の時刻情報を有する2つのピクチャの画質差を取得し、取得した画質差が所定の閾値以上の場合に、前記第1の符号化条件に切り替える
    請求項3又は4に記載の動画像符号化装置。
  6. 前記符号化条件設定部は、前記第1及び第2動画像信号に含まれる略同一の時刻情報を有する2つのピクチャの画素値を比較することによって、当該2つのピクチャの画質差を取得する
    請求項5に記載の動画像符号化装置。
  7. 前記取得部は、さらに、前記第1動画像信号を撮影した際の撮影条件と、前記第2動画像信号を撮影した際の撮影条件とを取得し、
    前記符号化条件設定部は、前記第1及び第2動画像信号の撮影条件を比較することによって、当該2つのピクチャの画質差を取得する
    請求項5に記載の動画像符号化装置。
  8. それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化方法であって、
    前記複数の動画像信号に含まれるピクチャを順次取得する取得ステップと、
    前記取得ステップで取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化ステップとを含み、
    前記符号化ステップでは、
    前記複数の動画像信号のうちの第1動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするGOP(Group Of Pictures)先頭のアンカーピクチャを、画面内予測のみを用いて符号化してIピクチャのフォーマットで出力し、
    前記複数の動画像信号のうちの第2動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してPピクチャのフォーマットで出力し、
    前記第1及び第2動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する
    動画像符号化方法。
JP2012524434A 2011-01-21 2012-01-19 動画像符号化装置および動画像符号化方法 Active JP5085808B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012524434A JP5085808B2 (ja) 2011-01-21 2012-01-19 動画像符号化装置および動画像符号化方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011010390 2011-01-21
JP2011010390 2011-01-21
PCT/JP2012/000309 WO2012098890A1 (ja) 2011-01-21 2012-01-19 動画像符号化装置および動画像符号化方法
JP2012524434A JP5085808B2 (ja) 2011-01-21 2012-01-19 動画像符号化装置および動画像符号化方法

Publications (2)

Publication Number Publication Date
JP5085808B2 true JP5085808B2 (ja) 2012-11-28
JPWO2012098890A1 JPWO2012098890A1 (ja) 2016-05-26

Family

ID=46515525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012524434A Active JP5085808B2 (ja) 2011-01-21 2012-01-19 動画像符号化装置および動画像符号化方法

Country Status (5)

Country Link
US (1) US20130301723A1 (ja)
EP (1) EP2667614A4 (ja)
JP (1) JP5085808B2 (ja)
CN (1) CN103283236A (ja)
WO (1) WO2012098890A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6239472B2 (ja) 2014-09-19 2017-11-29 株式会社東芝 エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法
US10839226B2 (en) * 2016-11-10 2020-11-17 International Business Machines Corporation Neural network training
CN111726598B (zh) * 2019-03-19 2022-09-16 浙江大学 图像处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH1141609A (ja) * 1997-07-23 1999-02-12 Hitachi Ltd 信号処理装置
JPH11262032A (ja) * 1997-11-07 1999-09-24 General Instr Corp 立体ビデオの符号化のための像オフセット評価
JP2004282658A (ja) * 2003-03-19 2004-10-07 Canon Inc 動画像符号化装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974184A (en) * 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
JP3592025B2 (ja) * 1997-03-11 2004-11-24 キヤノン株式会社 撮影画像記録装置
US7406124B1 (en) * 2002-05-30 2008-07-29 Intervideo, Inc. Systems and methods for allocating bits to macroblocks within a picture depending on the motion activity of macroblocks as calculated by an L1 norm of the residual signals of the macroblocks
JP2006005659A (ja) * 2004-06-17 2006-01-05 Canon Inc 画像符号化装置及びその方法
US8369402B2 (en) * 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
US7710462B2 (en) 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
JP4957823B2 (ja) * 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
TWI384887B (zh) * 2009-06-11 2013-02-01 Univ Nat Central 多視點影像編解碼方法
JP4927928B2 (ja) * 2009-11-30 2012-05-09 パナソニック株式会社 多視点動画像復号装置及び多視点動画像復号方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH1141609A (ja) * 1997-07-23 1999-02-12 Hitachi Ltd 信号処理装置
JPH11262032A (ja) * 1997-11-07 1999-09-24 General Instr Corp 立体ビデオの符号化のための像オフセット評価
JP2004282658A (ja) * 2003-03-19 2004-10-07 Canon Inc 動画像符号化装置

Also Published As

Publication number Publication date
EP2667614A1 (en) 2013-11-27
US20130301723A1 (en) 2013-11-14
EP2667614A4 (en) 2013-11-27
WO2012098890A1 (ja) 2012-07-26
JPWO2012098890A1 (ja) 2016-05-26
CN103283236A (zh) 2013-09-04

Similar Documents

Publication Publication Date Title
US9414059B2 (en) Image processing device, image coding method, and image processing method
US20150063446A1 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding apparatus, and moving picture decoding apparatus
US11758179B2 (en) Image encoding method, image encoding device, image decoding method, and image decoding device
JP2010515400A (ja) 全域差ベクトルを利用した多視点映像の符号化、復号化方法及び装置
US9153037B2 (en) Image decoding device, image encoding device, image decoding method, and image encoding method
JP2012023652A (ja) 画像処理装置と画像処理方法
JP5156704B2 (ja) 画像符号化装置、画像符号化方法、集積回路及びカメラ
KR101853998B1 (ko) 동화상 복호화 장치
TW201215156A (en) Image decoding device, image encoding device, and method and program thereof
US9807388B2 (en) Adaptive intra-refreshing for video coding units
JP2010288166A (ja) 動画像符号化装置、放送波記録装置及び、プログラム
JP2010063092A (ja) 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ
JP5085808B2 (ja) 動画像符号化装置および動画像符号化方法
JP2011250400A (ja) 動画像符号化装置及び動画像符号化方法
US8155186B2 (en) Bit stream recording medium, video encoder, and video decoder
KR102476277B1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 그 장치, 영상 인코딩 방법 및 그 장치
JP2007228560A (ja) 動画像符号化方法および動画像符号化装置
KR101880325B1 (ko) 동화상 부호화 장치
US20140064370A1 (en) Image processing apparatus and image processing method
CN112400318A (zh) 视频编码器、视频解码器及相应方法
TW201440500A (zh) 影像處理裝置及方法
WO2012120910A1 (ja) 動画像符号化装置および動画像符号化方法
JP2012178818A (ja) 映像符号化装置および映像符号化方法
JP2012191397A (ja) 動画像復号化装置および動画像復号化方法
CN112655213A (zh) 变换装置、解码装置、变换方法以及解码方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120905

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250