JPWO2013146507A1 - 画像処理装置および方法、並びに記録媒体 - Google Patents

画像処理装置および方法、並びに記録媒体 Download PDF

Info

Publication number
JPWO2013146507A1
JPWO2013146507A1 JP2014507771A JP2014507771A JPWO2013146507A1 JP WO2013146507 A1 JPWO2013146507 A1 JP WO2013146507A1 JP 2014507771 A JP2014507771 A JP 2014507771A JP 2014507771 A JP2014507771 A JP 2014507771A JP WO2013146507 A1 JPWO2013146507 A1 JP WO2013146507A1
Authority
JP
Japan
Prior art keywords
image
unit
encoding
intra prediction
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014507771A
Other languages
English (en)
Other versions
JP6070692B2 (ja
Inventor
直彦 小鷹
直彦 小鷹
義和 葭原
義和 葭原
健太郎 松倉
健太郎 松倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2013146507A1 publication Critical patent/JPWO2013146507A1/ja
Application granted granted Critical
Publication of JP6070692B2 publication Critical patent/JP6070692B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、画像符号化の負荷の増大を抑制することができるようにする画像処理装置および方法、並びに記録媒体に関する。本開示の画像処理装置は、第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換する変換部と、前記変換部により変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する第2画像符号化部とを備える。本開示は画像処理装置に適用することができる。

Description

本開示は、画像処理装置および方法、並びに記録媒体に関し、特に、画像符号化の負荷の増大を抑制することができるようにした画像処理装置および方法、並びに記録媒体に関する。
近年、立体視用の多視点画像のように、複数の動画像を含むコンテンツが普及している。このような複数の動画像を含むコンテンツの符号化方式の1つとして、例えば、MPEG(Moving Picture Experts Group)4 AVC(Advanced Video Coding) H.264規格(H.264/AVC規格)を拡張したMVC(Multi-view Video Coding)規格がある。MVC規格では、Base viewvideoストリームと呼ばれるビデオストリームと、Dependent view videoストリームと呼ばれるビデオストリームが定義されている(例えば、特許文献1参照)。
MVC規格では、各画像に対して、例えば、イントラ予測、インター予測、直交変換、量子化、可逆符号化、またはレートコントロール等、符号化に関する各種処理が行われる。
特開2011−216965号公報
しかしながら、このような複数の動画像は、一般的に、互いの相関性が高い可能性が高いにも関わらず、従来の符号化方式の場合、動画像毎に、互いに独立した符号化処理が行われ、それぞれの処理において、各種符号化パラメータが導出されていた。
この各種符号化パラメータの導出に関する処理は、いずれも処理量が多く、負荷の高い処理であるが、上述したように冗長して実行されるので、符号化処理の負荷が不要に増大してしまう恐れがあった。
本開示は、このような状況に鑑みて提案されたものであり、画像符号化の負荷の増大を抑制することができるようにすることを目的とする。
本開示の一側面は、第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換する変換部と、前記変換部により変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する第2画像符号化部とを備える画像処理装置である。
前記符号化パラメータは、GMV(Global Motion Vector)、レートコントロールパラメータ、動きベクトル、または、イントラ予測モードのうちの1つまたは2つ以上を含むようにすることができる。
前記符号化パラメータが前記レートコントロールパラメータを含む場合、前記レートコントロールパラメータは、ターゲットビット、若しくは、デルタQ値であるようにすることができる。
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記イントラ予測モードをシフトすることができる。
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記第1の画像のイントラ予測モードに応じて、前記第2の画像のイントラ予測モードの候補となる予測方向を制限することができる。
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、一部のブロックについてのみ、前記イントラ予測モードを処理することができる。
前記符号化部は、時分割方式により、複数の画像を符号化することができる。
前記第1の画像を符号化する第1画像符号化部をさらに備えることができる。
前記第1の画像の符号化パラメータを導出する導出部をさらに備え、前記変換部は、前記導出部により導出された前記第1の画像の符号化パラメータを、前記第2の画像の符号化パラメータに変換することができる。
前記変換部は、前記導出部により導出された前記第1の画像の符号化パラメータを、前記第1の画像が導出されたのと同タイミングの第2の画像の符号化パラメータに変換することができる。
前記変換部および前記符号化部を、前記第1の画像以外の複数の画像のそれぞれに1つずつ有し、各変換部は、前記第1の画像の符号化パラメータを、自身が対応する画像の符号化パラメータに変換し、各符号化部は、自身が対応する画像を、前記画像の符号化パラメータを用いて符号化することができる。
前記変換部は、前記第1の画像の画像情報と前記第2の画像の画像情報とを用いて、前記符号化パラメータを変換することができる。
前記画像情報は、画角であり、前記変換部は、前記第1の画像と前記第2の画像の、前記画角の比を用いて、前記符号化パラメータを変換することができる。
前記画像情報は、画サイズであり、前記変換部は、前記第1の画像と前記第2の画像の、前記画サイズの比を用いて、前記符号化パラメータを変換することができる。
前記画像情報は、フレームレートであり、前記変換部は、前記第1の画像と前記第2の画像の、前記フレームレートの比を用いて、前記符号化パラメータを変換することができる。
前記画像情報は、ビットレートであり、前記変換部は、前記第1の画像と前記第2の画像の、前記ビットレートの比を用いて、前記符号化パラメータを変換することができる。
前記第1の画像の画像情報を取得する第1画像情報取得部と、前記第2の画像の画像情報を取得する第2画像情報取得部とをさらに備えることができる。
時分割方式により、前記第1の画像の画像情報と、前記第2の画像の画像情報とを取得する画像情報取得部をさらに備えることができる。
本開示の一側面は、また、画像処理装置の画像処理方法であって、変換部が、第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換し、第2画像符号化部が、変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する画像処理方法である。
本開示の一側面は、さらに、コンピュータを、第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換する変換部、前記変換部により変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する第2画像符号化部として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本開示の他の側面においては、第1の画像の符号化に用いられる符号化パラメータが、第1の画像とは異なる、第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換され、変換されて得られた第2の画像の符号化パラメータを用いて、第2の画像が符号化される。
本開示によれば、画像を処理することが出来る。特に、画像符号化の負荷の増大を抑制することができる。
従来の画像符号化装置の主な構成例を示すブロック図である。 本開示の画像符号化装置の主な構成例を示すブロック図である。 本開示の画像符号化装置の他の構成例を示すブロック図である。 第1符号化部の主な構成例を示すブロック図である。 第2符号化部の主な構成例を示すブロック図である。 複数画像符号化処理の流れの例を示すフローチャートである。 符号化処理の流れの例を示すフローチャートである。 符号化パラメータ提供側のインター動き予測処理の流れの例を示すフローチャートである。 GMV導出処理の流れの例を説明するフローチャートである。 符号化パラメータ提供側のインター動き予測処理の流れの例を示すフローチャートである。 GMV変換処理の流れの例を示すフローチャートである。 フィードフォワードの様子の例を説明する図である。 動画像間で異なる画像情報の例を説明する図である。 動画像間で異なる画像情報の例を説明する図である。 第1符号化部の他の構成例を示すブロック図である。 第2符号化部の他の構成例を示すブロック図である。 符号化処理の流れの、他の例を説明するフローチャートである。 符号化パラメータ提供側のレート制御処理の流れの例を説明するフローチャートである。 符号化パラメータ取得側のレート制御処理の流れの例を説明するフローチャートである。 符号化パラメータ提供側のレート制御処理の流れの、他の例を説明するフローチャートである。 符号化パラメータ取得側のレート制御処理の流れの、他の例を説明するフローチャートである。 フィードフォワードの様子の例を説明する図である。 第1符号化部の、さらに他の構成例を示すブロック図である。 第2符号化部の、さらに他の構成例を示すブロック図である。 従来のMV導出部の主な構成例を示すブロック図である。 MV導出部およびMV変換部の主な構成例を示すブロック図である。 符号化パラメータ提供側のインター動き予測処理の流れの他の例を示すフローチャートである。 符号化パラメータ提供側の動きベクトル探索処理の流れの例を示すフローチャートである。 符号化パラメータ取得側のインター動き予測処理の流れの他の例を示すフローチャートである。 符号化パラメータ取得側の動きベクトル探索処理の流れの例を示すフローチャートである。 第1符号化部の、さらに他の構成例を示すブロック図である。 第2符号化部の、さらに他の構成例を示すブロック図である。 イントラ予測部の主な構成例を示すブロック図である。 イントラ予測モードのシフトの例を説明する図である。 符号化処理の流れの、さらに他の例を説明するフローチャートである。 符号化パラメータ提供側のイントラ予測処理の流れの例を説明するフローチャートである。 符号化パラメータ取得側のイントラ予測処理の流れの例を説明するフローチャートである。 イントラ変換処理の流れの例を説明するフローチャートである。 イントラ変換処理の流れの、他の例を説明するフローチャートである。 イントラ変換処理の流れの、さらに他の例を説明するフローチャートである。 イントラ変換処理の流れの、さらに他の例を説明するフローチャートである。 イントラ変換処理の流れの、さらに他の例を説明するフローチャートである。 本開示の画像復号装置の主な構成例を示すブロック図である。 第1復号部の主な構成例を示すブロック図である。 第2復号部の主な構成例を示すブロック図である。 複数画像復号処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 予測処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(画像符号化装置:符号化パラメータ)
2.第2の実施の形態(画像符号化装置:GMV)
3.第3の実施の形態(画像符号化装置:レートコントロールパラメータ)
4.第4の実施の形態(画像符号化装置:MV)
5.第5の実施の形態(画像符号化装置:イントラ予測モード)
6.第6の実施の形態(画像復号装置:イントラ予測モード)
7.第7の実施の形態(コンピュータ)
<1.第1の実施の形態>
[符号化パラメータ]
従来、複数の動画像を有するコンテンツを符号化する画像符号化装置がある。
(1)従来の画像符号化装置
図1に、2つの動画像を符号化する従来の画像符号化装置の主な構成例を示す。従来の画像符号化装置10の場合、コンテンツが有する各動画像(第1画像と第2画像)を取得し、各画像を符号化してビットストリームとして出力する(第1のビットストリームおよび第2のビットストリーム)。
図1に示されるように、画像符号化装置10は、第1符号化部11および第2符号化部12を有する。第1符号化部11は、第1画像を符号化し、第1ストリームを生成する。第2符号化部12は、第2画像を符号化し、第2ストリームを生成する。
第1符号化部11は、符号化パラメータ導出部21を有している。符号化パラメータ導出部21は、第1符号化部11において使用される各種符号化パラメータを導出する。
第2符号化部12は、符号化パラメータ導出部22を有している。符号化パラメータ導出部22は、第2符号化部12において使用される各種符号化パラメータを導出する。
第1符号化部と第2符号化部の符号化方式は基本的に、互いに同様であり、互いに同様の処理が行われる。また、第1画像と第2画像は、互いに同じコンテンツの動画像であり、互いに相関性が高い。すなわち、符号化パラメータ導出部21において導出される符号化パラメータと、符号化パラメータ導出部22において導出される符号化パラメータとの相関性も高い。
しかしながら、従来の画像符号化装置10の場合、上述したように、第1画像と第2画像のそれぞれに対して、互いに独立に符号化パラメータが導出される。したがって、この処理は、冗長な部分を多く含み、非効率である。換言するに、この各画像に対する符号化パラメータの導出が、不要に符号化処理の負荷を増大させる恐れがあった。
(2)画像符号化装置(2視点)
そこで、複数画像に対する符号化処理における、このような不要な負荷の増大を抑制するために、ある画像に対して生成された符号化パラメータを、他の画像に対する符号化処理にも利用することができるようにする。
(2−1)構成
図2は、本開示の一実施形態に係る画像符号化装置100の構成の一例を示すブロック図である。図2に示される画像符号化装置100は、本技術を適用した画像処理装置である。
この画像符号化装置100は、画像符号化装置10と同様に、入力された2系統の動画像(第1画像と第2画像)をそれぞれ符号化し、得られた2系統の符号化データ(第1ストリームと第2ストリーム)を出力する。
図2に示されるように、画像符号化装置100は、第1画像情報取得部111−1、第2画像情報取得部111−2、第1符号化部112−1、および第2符号化部112−2を有する。
第1画像情報取得部111−1は、例えば、画角、画サイズ、フレームレート、視差に関する情報、ビットレート、信号成分、および撮像条件等の、入力される第1画像に関する情報である第1画像情報を取得する。なお、第1画像情報の内容は、第1画像に関するものである限り任意であり、また、その数も任意である。したがって、例えば、第1画像情報に含まれる情報は、上述した例に限定されないし、上述した例の中の一部のみであってもよい。
第1画像情報取得部111−1は、例えば、入力される第1画像のヘッダから第1画像情報を抽出する。また、第1画像情報取得部111−1は、例えば、被写体を撮像して第1画像を得るカメラ(図示せず)と通信して第1画像情報を取得することもできる。もちろん、第1画像情報の取得元や取得方法は任意であり、第1画像情報取得部111−1は、上述した以外の場所から上述した以外の方法で第1画像情報を取得することができる。例えば、第1画像情報取得部111−1は、複数の場所から互いに異なる方法で第1画像情報を取得することもできる。
第1画像情報取得部111−1は、取得した第1画像情報を第1符号化部112−1に供給する。第1画像情報取得部111−1は、取得した第1画像情報を、第2画像情報取得部111−2に供給することもできる。
第2画像情報取得部111−2は、例えば、画角、画サイズ、フレームレート、視差に関する情報、ビットレート、信号成分、および撮像条件等の、入力される第2画像に関する情報である第2画像情報を取得する。なお、第2画像情報の内容は、第2画像に関するものである限り任意であり、また、その数も任意である。したがって、例えば、第2画像情報に含まれる情報は、上述した例に限定されないし、上述した例の中の一部のみであってもよい。
第2画像情報取得部111−2は、例えば、入力される第2画像のヘッダから第2画像情報を抽出する。また、第2画像情報取得部111−2は、例えば、被写体を撮像して第2画像を得るカメラ(図示せず)と通信して第2画像情報を取得することもできる。もちろん、第2画像情報の取得元や取得方法は任意であり、第2画像情報取得部111−2は、上述した以外の場所から上述した以外の方法で第2画像情報を取得することができる。例えば、第2画像情報取得部111−2は、複数の場所から互いに異なる方法で第2画像情報を取得することもできる。
第2画像情報取得部111−2は、取得した第2画像情報を第2符号化部112−2に供給する。また、第2画像情報取得部111−2は、第1画像情報取得部111−1から供給される第1画像情報を、第2画像情報取得部111−2に供給する。
第1符号化部112−1は、第1画像情報取得部111−1から供給される第1画像情報を適宜利用して、第1画像を符号化し、生成した第1ストリームを画像符号化装置100の外部に出力する。
第1符号化部112−1は、符号化パラメータ導出部121−1を有している。符号化パラメータ導出部121−1は、第1画像の符号化に必要な符号化パラメータを、少なくとも1つ以上導出(生成)する。符号化パラメータ導出部121−1は、任意の数の、任意の種類の符号化パラメータを導出することができる。符号化パラメータの例としては、例えば、GMV(Global Motion Vector)、MV(Motion Vector)、ターゲットビット、Q値、およびイントラ予測モードがある。もちろん、符号化パラメータ導出部121−1は、これら以外の符号化パラメータを導出することができる。
第1符号化部112−1(符号化パラメータ導出部121−1)は、符号化パラメータ導出部121−1が導出(生成)した符号化パラメータの内、少なくともいずれか1つを、第2符号化部112−2に供給することができる。
第2符号化部112−2は、第2画像情報取得部111−2から供給される第1画像情報や第2画像情報を適宜利用して、第2画像を符号化し、生成した第2ストリームを画像符号化装置100の外部に出力する。
第2符号化部112−2は、符号化パラメータ変換部121−2を有している。符号化パラメータ変換部121−2は、第1符号化部112−1(符号化パラメータ導出部121−1)から供給される符号化パラメータを取得する。
この符号化パラメータは、第1画像情報の符号化のために導出されたものであるので、第1画像に適した値に設定されている。そこで、符号化パラメータ変換部121−2は、取得した符号化パラメータの値を、第1画像情報や第2画像情報を用いて、第2画像情報に適した値に変換する。
第2符号化部112−2は、符号化パラメータ変換部121−2により値が変換された符号化パラメータを用いて、第2画像の符号化を行う。
このように、画像符号化装置100は、第1画像の符号化のために生成された符号化パラメータを第2画像の符号化にも流用することができる。したがって、画像符号化装置100は、負荷の大きな符号化パラメータの導出処理を低減させることができる。つまり、画像符号化装置100は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
なお、第1符号化部112−1および第2符号化部112−2の符号化方式は、任意である。ただし、第1符号化部112−1および第2符号化部112−2は、互いに同一の符号化方式で符号化を行うものとする。もちろん、第1符号化部112−1と第2符号化部112−2とが互いに異なる符号化方式で符号化を行うようにすることは可能であるが、符号化方式を互いに同一とすることにより、上述したような符号化パラメータの流用が容易になる。
なお、第1画像情報取得部111−1と第2画像情報取得部111−2とを1つの画像情報取得部111とすることもできる。その場合、画像情報取得部111は、例えば時分割方式により、第1画像情報の取得と第2画像情報の取得の両方を行う。
また、例えば、第1符号化部112−1と第2符号化部112−2を1つの符号化部112とすることもできる。その場合、符号化部112は、例えば時分割方式により、第1画像の符号化と第2画像の符号化の両方を行う。
もちろん、画像符号化装置100が、1系統の動画像を複数の符号化部を用いて符号化するようにしてもよいし、複数の画像情報取得部を用いて画像情報を取得するようにしてもよい。つまり、画像符号化装置100が有する画像情報取得部および符号化部の数は、それぞれ、任意である。
なお、例えば入力される第1画像および第2画像の画像情報が既知である場合、画像情報取得部111(第1画像情報取得部111−1および第2画像情報取得部111−2)を省略することもできる。例えば、画像符号化装置100が、MVC(Multi-view Video Coding)規格に準拠する符号化を行う場合、画像間の視差は既知であるので、画像情報取得部111(第1画像情報取得部111−1および第2画像情報取得部111−2)は省略することができる。
(2−2)画像
ここで、画像符号化装置100が処理する動画像について説明する。
画像符号化装置100に入力される第1画像および第2画像は、1つのコンテンツとして提供され得る動画像組である。第1画像と第2画像は、それぞれ、どのような動画像であってもよい。
例えば、第1画像および第2画像の生成方法は、それぞれ、任意である。例えば、カメラなどにより被写体を撮像して得られた動画像であっても良いし、他の画像を編集して生成された動画像であってもよいし、コンピュータグラフィックやアニメーション等のように撮像以外の方法で生成された動画像であってもよい。
また、撮像の場合、第1の画像および第2の画像が互いに同一のカメラで撮像されたものであっても良いし、互いに異なるカメラで撮像されたものであっても良い。また、第1の画像と第2の画像とで、被写体が互いに完全に同一若しくは略同一であってもよいし、全く異なっていてもよい。
第1画像および第2画像は、絵としての内容が、互いに全く異なるものであっても良いが、互いに相関性が高い方が、符号化パラメータの流用が容易になり望ましい。ただし、第1画像と第2画像は、完全に同一の画像ではなく、少なくとも1つ以上の何らかの画像情報が互いに異なる。
画像情報の種類は任意である。例えば、画角、画サイズ、フレームレート(fps)、視差、解像度、ビットレート等であってもよい。また、例えば、撮像時の環境(例えば、明るさ、温度、湿度、時刻、場所等)やカメラの設定(例えば、露出、シャッタースピード、カメラやメモリのデバイス情報等)等を含む撮像条件、編集に使用したアプリケーションや編集内容等を含む編集条件、プログレッシブかインターレースかを示す情報等であってもよい。もちろんこれら以外であっても良い。
第1画像と第2画像は、互いに相関性が高いものの完全に同一ではないので、例えば、互いに略同時に略同一の被写体を撮像して得られた動画像であるものとしてもよい。その際、各フレーム(若しくはフィールド)の撮像タイミングは互いに同一であってもよいし、異なっていても良いが、いずれの場合も、一般的には実質的に同時とみなすことができる。
第1画像と第2画像の表示方法は任意である。例えば、これらの動画像を互いに並行して(実質的に同時に)表示するようにしてもよい。その際、各フレーム(若しくはフィールド)の画像表示のタイミングは互いに同一であってもよいし、異なっていても良いが、いずれの場合も、一般的には実質的に同時とみなすことができる。
(3)画像符号化装置(N視点)
なお、処理する動画像の系統数は任意である。例えば、画像符号化装置100が、図3に示されるようにN系統の画像(第1画像乃至第N画像)を符号化するようにしてもよい。その場合、図3に示されるように、動画像の系統毎に画像取得部と符号化部を設けるようにしてもよいが、時分割方式により、1つの画像取得部および符号化部によって複数系統の動画像を処理するようにしてもよい。
この場合も、いずれか1つ以上の符号化部に設けられた符号化パラメータ導出部が符号化パラメータを導出する。その他の符号化部には、符号化パラメータ変換部が設けられ、符号化パラメータ導出部により導出された符号化パラメータを変換して利用する。
したがって、画像符号化装置100は、この場合も、負荷の大きな符号化パラメータ導出の処理を省略することができる。つまり、画像符号化装置100は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
以下に、符号化パラメータの具体例について説明する。なお、以下においては、画像符号化装置100が2系統の動画像を処理する場合(つまり、図2の例)について説明する。ただし、その説明は、矛盾が生じない限り、画像符号化装置100が3系統以上の動画像を処理する場合(つまり図3の例)にも適用することができる。
<2.第2の実施の形態>
[GMV]
符号化パラメータの例として、GMV(Global Motion Vector)について説明する。GMVは、ピクチャ全体の動きを示す動きベクトルである。より具体的には、GMVは、例えばマクロブロック毎に生成される動きベクトルの、ピクチャ内において最も度数が多い動きベクトルである。
このGMVは、例えば、GMVが導出されたフレーム若しくはフィールドより時間的に後に処理されるフレーム若しくはフィールドの動き予測において、動きベクトル探索の起点の1つとして利用される。つまり、GMVは、動き予測の開始の時点で、ある程度の精度で動きベクトルを予測するものである。このようにGMVを利用することにより、動きベクトルの探索をより効率よく行うことが期待できる。
動きベクトルのヒストグラムをピクチャ全体で集計し、その度数が最も大きな動きベクトルがGMVとして選択される。このようなGMVの導出処理において、ヒストグラムの生成や、度数の多い動きベクトルの探索等の負荷が大きい。
画像符号化装置100は、上述したように、第1符号化部112−1において導出されたGMVを、第2符号化部112−2の符号化処理に利用することにより、GMV導出に関する負荷の大きなこれらの処理を省略することができる。これにより、画像符号化装置100は、負荷の増大の抑制を実現することができる。
(1)符号化部
図4は、この場合の第1符号化部112−1の主な構成例を示すブロック図である。
図4に示される第1符号化部112−1は、H.264及びMPEG(Moving Picture Experts Group)4 Part10(AVC(Advanced Video Coding))符号化方式のように、予測処理を用いて画像データを符号化する。
図4に示されるように第1符号化部112−1は、A/D変換部151、画面並べ替えバッファ152、演算部153、直交変換部154、量子化部155、可逆符号化部156、および蓄積バッファ157を有する。また、第1符号化部112−1は、逆量子化部158、逆直交変換部159、演算部160、デブロックフィルタ161、フレームメモリ162、選択部163、イントラ予測部164、動き予測・補償部165、予測画像選択部166、およびレート制御部167を有する。
第1符号化部112−1は、さらに、GMV導出部171を有する。
A/D変換部151は、入力された画像データをA/D変換し、変換後の画像データ(デジタルデータ)を、画面並べ替えバッファ152に供給し、記憶させる。画面並べ替えバッファ152は、記憶した表示の順番のフレームの画像を、GOP(Group Of Picture)に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部153に供給する。また、画面並べ替えバッファ152は、フレームの順番を並び替えた画像を、イントラ予測部164および動き予測・補償部165にも供給する。
演算部153は、画面並べ替えバッファ152から読み出された画像から、予測画像選択部166を介してイントラ予測部164若しくは動き予測・補償部165から供給される予測画像を減算し、その差分情報を直交変換部154に出力する。
例えば、インター符号化が行われる画像の場合、演算部153は、画面並べ替えバッファ152から読み出された画像から、動き予測・補償部165から供給される予測画像を減算する。
直交変換部154は、演算部153から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部154は、その変換係数を量子化部155に供給する。
量子化部155は、直交変換部154から供給される変換係数を量子化する。量子化部155は、レート制御部167から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部155は、量子化された変換係数を可逆符号化部156に供給する。
可逆符号化部156は、量子化部155において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部167の制御の下で量子化されているので、この符号量は、レート制御部167が設定した目標値となる(若しくは目標値に近似する)。
また、可逆符号化部156は、イントラ予測のモードを示す情報などをイントラ予測部164から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部165から取得する。さらに、可逆符号化部106は、デブロックフィルタ161において使用されたフィルタ係数等を取得する。
可逆符号化部156は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする(多重化する)。可逆符号化部156は、符号化して得られた符号化データを蓄積バッファ157に供給して蓄積させる。
可逆符号化部156の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H.264/AVC方式で定められているCAVLC(Context-Adaptive Variable Length Coding)などが挙げられる。算術符号化としては、例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)などが挙げられる。
蓄積バッファ157は、可逆符号化部156から供給された符号化データを、一時的に保持する。蓄積バッファ157は、所定のタイミングにおいて、保持している符号化データを、ビットストリームとして例えば、後段の図示せぬ記録装置(記録媒体)や伝送路などに出力する。
また、量子化部155において量子化された変換係数は、逆量子化部158にも供給される。逆量子化部158は、その量子化された変換係数を、量子化部155による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部155による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部158は、得られた変換係数を、逆直交変換部159に供給する。
逆直交変換部159は、逆量子化部158から供給された変換係数を、直交変換部154による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部154による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力(復元された差分情報)は、演算部160に供給される。
演算部160は、逆直交変換部159から供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部166を介してイントラ予測部164若しくは動き予測・補償部165から供給される予測画像を加算し、局部的に復号された画像(復号画像)を得る。その復号画像は、デブロックフィルタ161またはフレームメモリ162に供給される。
デブロックフィルタ161は、演算部160から供給される復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ161は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部156に供給し、それを符号化させるようにすることもできる。
デブロックフィルタ161は、フィルタ処理結果(フィルタ処理後の復号画像)をフレームメモリ162に供給する。なお、上述したように、演算部160から出力される復号画像は、デブロックフィルタ161を介さずにフレームメモリ162に供給することができる。つまり、デブロックフィルタ161によるフィルタ処理は省略することができる。
フレームメモリ162は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部163に供給する。
選択部163は、フレームメモリ162から供給される参照画像の供給先を選択する。例えば、インター予測の場合、選択部163は、フレームメモリ162から供給される参照画像を動き予測・補償部165に供給する。
イントラ予測部164は、選択部163を介してフレームメモリ162から供給される参照画像である処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測(画面内予測)を行う。イントラ予測部164は、予め用意された複数のモード(イントラ予測モード)でこのイントラ予測を行う。
イントラ予測部164は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ152から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部164は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部166に供給する。
また、上述したように、イントラ予測部164は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部156に供給し、符号化させる。
動き予測・補償部165は、画面並べ替えバッファ152から供給される入力画像と、選択部163を介してフレームメモリ162から供給される参照画像とを用いて動き予測(インター予測)を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像(インター予測画像情報)を生成する。動き予測・補償部165は、予め用意された複数のモード(インター予測モード)でこのようなインター予測を行う。
動き予測・補償部165は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部165は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部166に供給する。
また、動き予測・補償部165は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部156に供給し、符号化させる。
予測画像選択部166は、演算部153や演算部160に供給する予測画像の供給元を選択する。例えば、インター符号化の場合、予測画像選択部166は、予測画像の供給元として動き予測・補償部165を選択し、その動き予測・補償部165から供給される予測画像を演算部153や演算部160に供給する。
レート制御部167は、蓄積バッファ157に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部155の量子化動作のレートを制御する。
GMV導出部171は、動き予測・補償部165の動き予測において探索の起点として利用されるGMVを導出する。より具体的には、GMV導出部171は、動き予測・補償部165において探索された各マクロブロックの動きベクトルを取得し、その動きベクトルを集計してヒストグラムを生成する。1ピクチャ分のヒストグラムを生成すると、GMV導出部171は、その中で度数の最も多い動きベクトルをGMVとして選択する。
GMV導出部171は、導出したGMVを動き予測・補償部165に供給する。動き予測・補償部165は、GMV導出部171から供給されるGMVを起点の1つとして動き探索を行う。
また、GMV導出部171は、導出したGMVを、第2符号化部112−2に供給する。
この例において、符号化パラメータは、GMVである。すなわち、GMV導出部171は、図2の符号化パラメータ導出部121−1に対応する。
図5は、第2符号化部112−2の主な構成例を示すブロック図である。図5に示されるように、第2符号化部112−2は、第1符号化部112−1(図4)と、基本的に同様の構成を有し、同様の処理を行う。
ただし、第2符号化部112−2は、第1符号化部112−1のGMV導出部171の代わりに、GMV変換部172を有する。
GMV変換部172は、GMV導出部(図4)から供給されるGMVを取得し、第2画像情報取得部111−1(図2)から供給される第1画像情報や第2画像情報に基づいて、そのGMVを、第2画像用の値に変換する。GMV変換部172は、変換後のGMVを動き予測・補償部165に供給する。動き予測・補償部165は、そのGMVを起点の1つとして動き探索を行う。
このようにすることにより、第2符号化部112−2は、GMVの導出に関する負荷の大きな処理を省略することができる。これにより、画像符号化装置100は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
(2)処理の流れ
次に、このような画像符号化装置100により実行される処理の流れについて説明する。
(2−1)複数画像符号化処理
図6のフローチャートを参照して、画像符号化装置100により実行される複数画像符号化処理の流れの例を説明する。
画像符号化装置100の画像情報取得部111(第1画像情報取得部111−1および第2画像情報取得部111−2)は、ステップS101およびステップS102の各処理を行うことにより、それぞれの画像の画像情報を取得する。
符号化部112(第1符号化部112−1および第2符号化部112−2)は、ステップS103およびステップS104の各処理を行うことにより、それぞれの画像を符号化する。
(2−2)符号化処理
図7のフローチャートを参照して、図6のステップS103において実行される、各画像の符号化処理の流れの例を説明する。この処理は、各系統の動画像について行われる。すなわち、第1符号化部112−1および第2符号化部112−2がそれぞれ、この符号化処理を実行する。
ステップS121において、A/D変換部151は入力された画像をA/D変換する。ステップS122において、画面並べ替えバッファ152は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップS123において、イントラ予測部164は、イントラ予測モードのイントラ予測処理を行う。ステップS124において、動き予測・補償部165は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
ステップS125において、予測画像選択部166は、イントラ予測部164および動き予測・補償部165から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、予測画像選択部166は、イントラ予測部164により生成された予測画像と、動き予測・補償部165により生成された予測画像のいずれか一方を選択する。
ステップS126において、演算部153は、ステップS122の処理により並び替えられた画像と、ステップS125の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップS127において、直交変換部154は、ステップS126の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップS128において、量子化部155は、ステップS127の処理により得られた直交変換係数を量子化する。
ステップS128の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップS129において、逆量子化部158はステップS128の処理により量子化された直交変換係数を、ステップS128の量子化に対応する方法で逆量子化する。ステップS130において、逆直交変換部159は、ステップS129の処理により得られた直交変換係数を、ステップS127の処理に対応する方法で逆直交変換する。
ステップS131において、演算部160は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像(演算部153への入力に対応する画像)を生成する。ステップS132において、デブロックフィルタ161は、ステップS131の処理により生成された画像に対してデブロックフィルタ処理を行う。これによりブロック歪み等が除去される。
ステップS133において、フレームメモリ162は、ステップS132の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ162にはデブロックフィルタ161によりフィルタ処理されていない画像も演算部160から供給され、記憶される。このフレームメモリ162に記憶された画像は、ステップS123の処理やステップS124の処理に利用される。
ステップS134おいて、可逆符号化部156は、ステップS128の処理により量子化された変換係数を符号化し、符号化データを生成する。すなわち、差分画像(インターの場合、2次差分画像)に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
なお、可逆符号化部156は、ステップS125の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。例えば、イントラ予測モードが選択された場合、可逆符号化部156は、イントラ予測モード情報を符号化する。また、例えば、インター予測モードが選択された場合、可逆符号化部156は、インター予測モード情報を符号化する。これらの情報は、例えばヘッダ情報等として符号化データに付加(多重化)される。
ステップS135において蓄積バッファ157は、ステップS134の処理により生成された符号化データを蓄積する。蓄積バッファ157に蓄積された符号化データは、適宜読み出され、任意の伝送路(通信路だけでなく記憶媒体等も含む)を介して復号側の装置に伝送される。
ステップS136においてレート制御部167は、ステップS135の処理により蓄積バッファ157に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部155の量子化動作のレートを制御する。
ステップS136の処理が終了すると、符号化処理が終了される。
(2−3)インター動き予測処理
図8のフローチャートを参照して、図7のステップS124において実行されるインター動き予測処理の流れの例を説明する。この処理は、第1符号化部112−1が第1画像について図7の符号化処理を実行した場合に実行される。
第1符号化部112−1の動き予測・補償部165は、ステップS151において、第1画像の動き探索を行い、マクロブロック毎の動きベクトルを検出する。この動き予測・補償部165は、ステップS152において、動きベクトルを用いて参照画像に補償処理を行い、予測画像を生成する。
ステップS153において、GMV導出部171は、ステップS151において検出されたマクロブロック毎の動きベクトルを用いて、GMV導出処理を行う。
動き予測・補償部165は、ステップS151乃至ステップS154の処理を繰り返し、全てのマクロブロックについて処理を行う。
(2−4)GMV導出処理
図9のフローチャートを参照して、図8のステップS153において実行されるGMV導出処理の流れの例を説明する。
GMV導出部171は、ステップS161およびステップS162の処理を実行することにより、ピクチャ内の最初のマクロブロック(MB)を処理対象とする場合、動きベクトル(MV)収集用のヒストグラムを初期化する。
GMV導出部171は、ステップS163において、処理中のマクロブロックの動きベクトルを、動き予測・補償部165から収集し、動きベクトル収集用のヒストグラムを更新する。
GMV導出部171は、ステップS164およびステップS165の処理を実行することにより、ピクチャ内の最後のマクロブロックについて、動きベクトルを収集した後、ヒストグラム内の度数の多い箇所を探索し、その動きベクトルをGMVとする。GMV導出部171は、以上のように導出したGMVを、第2符号化部112−2に供給する。
(2−5)インター動き予測処理
図10のフローチャートを参照して、図7のステップS124において実行されるインター動き予測処理の流れの例を説明する。この処理は、第2符号化部112−2が第2画像について図7の符号化処理を実行した場合に実行される。
第2符号化部112−2のGMV変換部172は、ステップS171において、GMV導出部171から供給されるGMVを取得し、そのGMVを第2画像用に変換するGMV変換処理を行う。
第2符号化部112−2の動き予測・補償部165は、ステップS172において、ステップS171のGMV変換処理により生成された第2画像用のGMVを用いて、第2画像の動き探索を行い、マクロブロック毎の動きベクトルを検出する。この動き予測・補償部165は、ステップS173において、動きベクトルを用いて参照画像に補償処理を行い、予測画像を生成する。
動き予測・補償部165は、ステップS171乃至ステップS174の処理を繰り返し、全てのマクロブロックについて処理を行う。
(2−6)GMV導出処理
図11のフローチャートを参照して、図10のステップS171において実行されるGMV変換処理の流れの例を説明する。
GMV変換部172は、ステップS181およびステップS182の処理を実行することにより、ピクチャ内の最初のマクロブロック(MB)を処理対象とする場合、GMV導出部171から供給されたGMVを、例えば第2画像情報取得部111−2から供給される第1画像情報および第2画像情報を用いて、処理中である第2画像のGMVに変換する。
以上のように各処理を実行することにより、画像符号化装置100は、第1画像用に生成されたGMVを他の画像(例えば第2画像)の符号化に利用することができる。つまり、画像符号化装置100は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
(3)フィードフォワード
なお、従来のように、動画像毎にGMVを導出する場合、そのGMVは、導出したタイミングより後のフレームにおいて利用される。例えば、図12のAに示されるように、フレーム(M+1)において導出されたGMVは、フレーム(M+2)において利用される。つまり、フィードバック制御となる。したがって、GMVの導出と利用のタイミングが異なるので、GMVの精度が低減する恐れがあった。
これに対して、上述したように、他の動画像で導出されたGMVを利用する場合、GMVが導出されたフレームと同じタイミングのフレームにおいて利用することができる。例えば、図12のBに示されるように、第1画像のフレーム(M+1)において導出されたGMVを第2画像のフレーム(M+1)において利用することができる。つまり、フィードフォワード制御が可能になる。したがって、GMVの導出と利用のタイミングが一致若しくはより近似するので、画像符号化装置100は、GMVの精度を向上させることができる。
(4)画像情報
次に、より具体的な例について説明する。
(4−1)画角
第1画像と第2画像とで差異のある画像情報が画角であるとする。例えば、図13のAに示されるように、第1画像がワイド側で第2画像がテレ側であるとする。この場合、第1画像と第2画像の被写体は基本的に同一であるが、第1画像の方が画角が広くなっている。
第1画像情報取得部111−1が取得する第1画像の画角を画角[1]とし、第2画像情報取得部111−2が取得する第2画像の画角を画角[2]とする。また、GMV導出部171が導出する第1画像のGMVをGMV[1]とする。GMV変換部172は、以下の式(1)のように、第2画像のGMV[2]を容易に求めることができる。
GMV[2]=画角[2]/画角[1]×GMV[1] ・・・(1)
(4−2)画サイズ
第1画像と第2画像とで差異のある画像情報が画サイズであるとする。例えば、図13のBに示されるように、第1画像の画サイズが第2画像よりも大きいとする。この場合、第1画像と第2画像の被写体は基本的に同一であるが、第1画像の方が画像が大きくなっている。
第1画像情報取得部111−1が取得する第1画像の画サイズを画サイズ[1]とし、第2画像情報取得部111−2が取得する第2画像の画サイズを画サイズ[2]とする。また、GMV導出部171が導出する第1画像のGMVをGMV[1]とする。GMV変換部172は、以下の式(2)のように、第2画像のGMV[2]を容易に求めることができる。
GMV[2]=画サイズ[2]/画サイズ[1]×GMV[1] ・・・(2)
(4−3)FPS
第1画像と第2画像とで差異のある画像情報がフレームレート(FPS)であるとする。例えば、図14のAに示されるように、第1画像のフレームレートが第2画像の2倍であるとする。この場合、第1画像と第2画像とで画像は同一となるが、第2画像には、「M+1」のタイミングのフレームは存在しない。
第1画像情報取得部111−1が取得する第1画像のフレームレートをfps[1]とし、第2画像情報取得部111−2が取得する第2画像のフレームレートをfps[2]とする。また、GMV導出部171が導出する第1画像の「M+2」のフレームのGMVをGMV[1、M+2]とする。GMV変換部172は、以下の式(3)のように、第2画像の「M+2」のフレームのGMV[2、M+2]を容易に求めることができる。
GMV[2、M+2]=fps[2]/fps[1]×GMV[1、M+2] ・・・(3)
例えば、fps[1]=60i、fps[2]=30pとすると、GMV変換部172は、以下のようにGMV[2、M+2]を求めることができる。
GMV[2、M+2]=GMV[1、M+2]
(4−4)視差
例えば、MVCの画像のように、第1画像と第2画像とで視差があるとする。例えば、図14のBに示されるように、第1画像が左眼用画像で、第2画像が右眼用画像であるとする。この場合、第1画像と第2画像の被写体は略同一であるが、第1画像と第2画像との間に視差が生じる。
この場合、視差による画像の違いは極わずかであり、第1画像と第2画像は、略同一であるとみなすことができる。したがって、GMV変換部172は、以下の式(4)のように、第1画像のGMV[1]を用いて、第2画像のGMV[2]を容易に求めることができる。
GMV[2]=GMV[1] ・・・(4)
つまり、第1画像のGMVをそのまま第2画像に適用することができる。
なお、画像情報がいずれの場合も、フィードフォワード制御を行うことができる。
また、第1画像と第2画像とで差異のある画像情報が上述した例以外のものであってもよい。また、第1画像と第2画像とで差異のある画像情報が複数存在しても良い。
<3.第3の実施の形態>
[レートコントロールパラメータ]
他の動画像に利用する符号化パラメータは、GMV以外であってもよい。例えば、レート制御に用いられるパラメータ(レートコントロールパラメータ)であってもよい。より具体的には、例えば、フレーム毎のターゲットビットで合っても良いし、Q値(量子化パラメータ)であってもよい。
例えば、ターゲットビットは、ピクチャ単位で導出され、ターゲットビットが導出されたフレーム若しくはフィールドより時間的に後に処理されるフレーム若しくはフィールドのレート制御に利用される。ターゲットビットの導出方法は、例えば、MVCの場合、TM5(TestModel 5)により規定されているが、このターゲットビットの導出(TM5におけるステップ1)の負荷が大きい。
画像符号化装置100は、上述したように、第1符号化部112−1において導出されたターゲットビットを、第2符号化部112−2の符号化処理に利用することにより、ターゲットビット導出に関する負荷の大きな処理を省略することができる。これにより、画像符号化装置100は、負荷の増大の抑制を実現することができる。
また、Q値は、マクロブロック毎に算出される。TM5においては、所定のQ値からの差分であるデルタQ値を算出することが規定されている(ステップ3)。この処理の負荷も大きい。
画像符号化装置100は、上述したように、第1符号化部112−1において導出されたデルタQ値を、第2符号化部112−2の符号化処理に利用することにより、デルタQ値導出に関する負荷の大きな処理を省略することができる。これにより、画像符号化装置100は、負荷の増大の抑制を実現することができる。
(1)符号化部
図15は、この場合の第1符号化部112−1の主な構成例を示すブロック図である。
図15の例の場合も、第1符号化部112−1は、基本的に図4の例の場合と同様の構成を有するが、図15の場合、GMV導出部171は省略され、レート制御部167の代わりに、レート制御部201を有する。
レート制御部201は、基本的にレート制御部167と同様の処理部であるが、レートコントロールパラメータ導出部202を有する。
レートコントロールパラメータ導出部202は、例えばターゲットビットやデルタQ値等のレート制御に関する符号化パラメータ(レートコントロールパラメータ)を生成する。レート制御部201は、このレートコントロールパラメータ導出部202により導出されたレートコントロールパラメータを用いて、レート制御を行う。また、レート制御部201(レートコントロールパラメータ導出部202)は、導出された、例えばターゲットビットやデルタQ値等のレートコントロールパラメータを、第2符号化部112−2に供給する。
図16は、第2符号化部112−2の主な構成例を示すブロック図である。図16に示されるように、第2符号化部は、第1符号化部112−1(図15)と、基本的に同様の構成を有し、同様の処理を行う。
ただし、第2符号化部112−2は、第1符号化部112−1のレート制御部201の代わりに、レート制御部211を有する。
レート制御部211は、レート制御部201と同様にレート制御を行う処理部であるが、レートコントロールパラメータ変換部212を有する。
レートコントロールパラメータ変換部212は、レート制御部201(レートコントロールパラメータ導出部202)(図15)から供給された、例えばターゲットビットやデルタQ値等のレートコントロールパラメータを、第2画像情報取得部111−1(図2)から供給される第1画像情報や第2画像情報に基づいて、第2画像用のパラメータに変換する。レート制御部211は、変換されたレートコントロールパラメータを用いて、第2画像符号化のレート制御を行う。
このようにすることにより、第2符号化部112−2は、レートコントロールパラメータの導出に関する負荷の大きな処理を省略することができる。これにより、画像符号化装置100は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
(2)処理の流れ
次に、このような画像符号化装置100により実行される処理の流れについて説明する。複数画像符号化処理は、図6の例と同様に実行される。
(2−1)符号化処理
この場合の、符号化処理の流れの例を図17に示す。図17に示されるように、この場合も符号化処理は、図7の場合と同様に実行される。つまり、ステップS201乃至ステップS216の各処理は、基本的に、図7のステップS121乃至ステップS136の各処理と同様に実行される。ただし、図17の例の場合、符号化パラメータの導出若しくは変換は、ステップS204のインター動き予測処理ではなく、ステップS216のレート制御の際に行われる。
図17に示される符号化処理も、図7の場合と同様に、各系統の動画像について行われる。すなわち、第1符号化部112−1および第2符号化部112−2がそれぞれ、この符号化処理を実行する。
(2−2)レート制御処理
図18のフローチャートを参照して、第1符号化部112−1により実行される図17の符号化処理におけるステップS216において実行されるレート制御処理の流れの例を説明する。
第1符号化部112−1のレートコントロールパラメータ導出部202は、ステップS231乃至ステップS233の処理を実行することにより、ピクチャ内の最初のマクロブロックの処理の際に、レートコントロールパラメータとして、ピクチャ単位のターゲットビットを求め、さらに、ピクチャ単位の発生ビット量を初期化する。
レートコントロールパラメータ導出部202は、ステップS234において、レートコントロールパラメータとして、処理中のマクロブロックのQ値(TM5におけるステップ3のデルタQ値)を求める。
レートコントロールパラメータ導出部202は、ステップS235において、処理中のマクロブロックの発生ビット量をピクチャ単位の発生ビット量に加算する。
レートコントロールパラメータ導出部202は、ステップS236およびステップS237の処理を実行することにより、ピクチャ内の最後のマクロブロックに対する処理の際に、ピクチャで発生したビット量を求める。レート制御部201は、これらのレートコントロールパラメータを用いてレート制御を行う。
(2−3)レート制御処理:ターゲットビット
図19のフローチャートを参照して、第2符号化部112−2により実行される図17の符号化処理におけるステップS216において実行される、レートコントロールパラメータがターゲットビットの場合の、レート制御処理の流れの例を説明する。
レートコントロールパラメータ変換部212は、ステップS241乃至ステップS243の処理を実行することにより、ピクチャ内の最初のマクロブロックに対する処理の際に、レートコントロールパラメータ導出部202から供給された、レートコントロールパラメータであるターゲットビットを、処理中である第2画像のターゲットビットに変換し、ピクチャ単位の発生ビット量を初期化する。
レート制御部211は、ステップS244において、処理中のマクロブロックのQ値(TM5のステップ3のデルタQ値)を求め、ステップS245において、処理中のマクロブロックの発生ビット量をピクチャ単位の発生ビット量に加算し、ステップS246およびステップS247の処理により、ピクチャ内の最後のマクロブロックに対する処理の場合、ピクチャで発生したビット量を求める。
つまり、レートコントロールパラメータ導出部202が、第1画像の各ピクチャのターゲットビット[1]を導出し、レートコントロールパラメータ変換部212にそれを渡す。レートコントロールパラメータ変換部212は、第1画像情報として、第1画像のビットレート[1]を取得し、第2画像情報として、第2画像のビットレート[2]を取得する。レートコントロールパラメータ変換部212は、それらの画像情報を用いて、第1画像の各ピクチャのターゲットビット[1]から、第2画像の各ピクチャのターゲットビット[2]を、以下の式(5)のように、容易に求めることができる。
ターゲットビット[2]
=ビットレート[2]/ビットレート[1]×ターゲットビット[1] ・・・(5)
これにより、第2符号化部112−2では、負荷の大きなピクチャのターゲットビットの導出(ステップ1)を行う必要がなく、ターゲットビット[2]を導出することができる。
(2−4)レート制御処理:デルタQ値
図20のフローチャートを参照して、第2符号化部112−2により実行される図17の符号化処理におけるステップS216において実行される、レートコントロールパラメータがデルタQ値の場合の、レート制御処理の流れの例を説明する。
レート制御部211は、ステップS251乃至ステップS253の処理を実行することにより、ピクチャ内の最初のマクロブロックに対する処理の際に、ピクチャ単位のターゲットビットを導出し、ピクチャ単位の発生ビット量を初期化する。
レートコントロールパラメータ変換部212は、ステップS254において、レートコントロールパラメータ導出部202から供給された、レートコントロールパラメータである、処理中のマクロブロックのデルタQ値(TM5のステップ3のデルタQ値)を、処理中画像である第2画像の処理中のマクロブロックのデルタQ値(TM5のステップ3のデルタQ値)に変換する。
レート制御部211は、ステップS255において、処理中のマクロブロックの発生ビット量をピクチャ単位の発生ビット量に加算し、ステップS256およびステップS257の処理により、ピクチャ内の最後のマクロブロックに対する処理の場合、ピクチャで発生したビット量を求める。
つまり、レートコントロールパラメータ導出部202が、第1画像の各マクロブロックについて、ステップ3のデルタQ値[1]を導出し、レートコントロールパラメータ変換部212にそれを渡す。
レートコントロールパラメータ変換部212は、第1画像情報として、第1画像の画角[1]を取得し、第2画像情報として、第2画像の画角[2]を取得する。レートコントロールパラメータ変換部212は、それらの画像情報を用いて、第1画像の処理中のマクロブロックの、ステップ3のデルタQ値[1]から、第2画像の処理中のマクロブロックの、ステップ3のデルタQ値[2]を、以下の式(6)のように、容易に求めることができる。
ステップ3のデルタQ値[2]
=画角[2]/画角[1]×ステップ3のデルタQ値[1] ・・・(6)
これにより、第2符号化部112−2は、従来と同様に各MBでステップ2を行うものの、ステップ3の処理を省略することができる。つまり、負荷の大きな各マクロブロックのステップ3処理を行う必要がなく、各マクロブロックのデルタQ値を導出することができる。
(2−5)レート制御処理:フィードフォワード
図21のフローチャートを参照して、第2符号化部112−2により実行される図17の符号化処理におけるステップS216において実行される、レートコントロールパラメータがターゲットビットの場合の、レート制御処理の流れの例を説明する。図21の例の場合、ターゲットビットの制御が、フィードフォワード制御で行われる。
レートコントロールパラメータ変換部212は、ステップS261乃至ステップS263の処理を実行することにより、ピクチャ内の最初のマクロブロックに対する処理の際に、レートコントロールパラメータ導出部202から供給された、レートコントロールパラメータであるターゲットビットを、発生ビット量を用いて、処理中画像である第2画像のターゲットビットに変換し、ピクチャ単位の発生ビット量を初期化する。
ステップS264乃至ステップS267の各処理は、図19のステップS244乃至ステップS247の各処理と同様に実行される。
つまり、レートコントロールパラメータ導出部202が、第1画像の各ピクチャのターゲットビット[1]と発生ビット量[1]を導出し、レートコントロールパラメータ変換部212にそれらを渡す。レートコントロールパラメータ変換部212は、第1画像情報として、第1画像のビットレート[1]を取得し、第2画像情報として、第2画像のビットレート[2]を取得する。レートコントロールパラメータ変換部212は、それらの画像情報を用いて、第1画像の各ピクチャのターゲットビット[1]と発生ビット量[1]から、第2画像の各ピクチャのターゲットビット[2]を、以下の式(7)のように、容易に求めることができる。
ターゲットビット[2]
=ビットレート[2]/ビットレート[1]
×(ターゲットビット[1]+α(発生ビット量[1]−ターゲットビット[1]) ・・・(7)
これにより、第2符号化部112−2では、負荷の大きなピクチャのターゲットビットの導出(ステップ1)を行う必要がなく、ターゲットビット[2]を導出することができる。
また、図22のAに示されるように、従来フィードバック制御であったが、このようにすることにより、図22のBに示されるように、第1画像のピクチャMの結果を第2画像のピクチャMに適用することができ、フィードフォワード処理ができ画質改善効果がある。
上記、ピクチャ単位のターゲットビット導出、各MBのステップ3処理、フィードフォワード処理は任意の組み合わせが可能である。
(2−6)レート制御処理:画サイズ
なお、レートコントロールパラメータの変換に利用する画像情報は任意であり、上述した例に限らない。例えば、ステップ3のデルタQ値の変換の際に、画サイズを用いるようにしてもよい。
その場合のフローチャートは、図20に示される例と同様である。
つまり、レートコントロールパラメータ導出部202が、第1画像の各マクロブロックについて、ステップ3のデルタQ値[1]を導出し、レートコントロールパラメータ変換部212にそれを渡す。
レートコントロールパラメータ変換部212は、第1画像情報として、第1画像の画サイズ[1]を取得し、第2画像情報として、第2画像の画サイズ[2]を取得する。レートコントロールパラメータ変換部212は、それらの画像情報を用いて、第1画像の処理中のマクロブロックの、ステップ3のデルタQ値[1]から、第2画像の処理中のマクロブロックの、ステップ3のデルタQ値[2]を、以下の式(8)のように、容易に求めることができる。
ステップ3のデルタQ値[2]
=画サイズ[2]/画サイズ[1]×ステップ3のデルタQ値[1] ・・・(8)
これにより、第2符号化部112−2は、従来と同様に各MBでステップ2を行うものの、ステップ3の処理を省略することができる。つまり、負荷の大きな各マクロブロックのステップ3処理を行う必要がなく、各マクロブロックのデルタQ値を導出することができる。
(2−7)レート制御処理:フレームレート
なお、レートコントロールパラメータの変換に利用する画像情報は任意であり、上述した例に限らない。例えば、ターゲットビットの変換の際に、フレームレート(fps)を用いるようにしてもよい。
その場合のフローチャートは、図19に示される例と同様である。
つまり、レートコントロールパラメータ導出部202が、第1画像のピクチャのターゲットビット[1、M]、ピクチャ発生ビット量[1、M]、ピクチャのターゲットビット[1、M+1]、およびピクチャ発生ビット量[1、M+1]を導出し、レートコントロールパラメータ変換部212にそれらを渡す。レートコントロールパラメータ変換部212は、第1画像情報として、第1画像のfps[1]を取得し、第2画像情報として、第2画像のfps[2]を取得する。レートコントロールパラメータ変換部212は、それらの画像情報を用いて、第2画像の各ピクチャのターゲットビット[2、M]を、以下の式(9)のように、容易に求めることができる。
ターゲットビット[2、M]
=fps[2]/fps[1]
×(ターゲットビット[1、M]+ターゲットビット[1、M+1])
・・・(9)
なお、フィードフォワード制御を行う場合は、レートコントロールパラメータ変換部212は、第2画像の各ピクチャのターゲットビット[2、M]を、以下の式(10)のように、容易に求めることができる。
ターゲットビット[2、M]
=fps[2]/fps[1]
×(ターゲットビット[1、M]+ターゲットビット[1、M+1])
+α(発生ビット量[1、M]+発生ビット量[1、M+1]
−ターゲットビット[1、M]+ターゲットビット[1、M+1]))
・・・(10)
上記、ピクチャ単位のターゲットビット導出、各MBのステップ3処理、フィードフォワード処理は任意の組み合わせが可能である。
また、画像情報としてビットレートを用いる場合と同様に、ステップ3のデルタQ値の処理を第2符号化部112−2において省略することができる。
なお、レートコントロールパラメータの変換に用いる画像情報は、上述した例に限らない。また、レートコントロールパラメータの変換に用いる画像情報の数も任意である。例えば、ビットレート、画角、画サイズ、およびfps等の複数の画像情報を組み合わせて使用することもできる。
さらに、MVC規格の場合のように、第1画像と第2画像の視差を利用してレートコントロールパラメータの変換を行うようにしてもよい。この場合、第1画像と第2画像は、視差が若干あるのみでほとんど同一の画となる。そのため、画像情報としてビットレートを用いる場合と同様に、処理を行うことができる。これにより、ターゲットビット導出処理の軽減、ステップ3のデルタQ値の導出の軽減、およびフィードフォワード処理による画質改善を行うことが可能である。
<4.第4の実施の形態>
[MV]
他の動画像に利用する符号化パラメータは、例えば、動きベクトルであってもよい。動き予測・補償部165による動き予測は、整数精度や分数精度等、複数回行われることが多く、負荷が大きい。
画像符号化装置100は、上述したように、第1符号化部112−1において導出された動きベクトルを、第2符号化部112−2の符号化処理に利用することにより、動きベクトル導出に関する負荷の大きな処理を省略することができる。これにより、画像符号化装置100は、負荷の増大の抑制を実現することができる。
(1)符号化部
図23は、この場合の第1符号化部112−1の主な構成例を示すブロック図である。
図23の例の場合も、第1符号化部112−1は、基本的に図4の例の場合と同様の構成を有するが、図23の場合、GMV導出部171は省略されている。また、図23の場合、第1符号化部112−1は、動き予測・補償部301を有する。この動き予測・補償部301は、動き予測・補償部165と同様の処理部である。動き予測・補償部301は、第1画像の動きベクトルを導出するMV導出部302を有する。
MV導出部302は、第1符号化部112−1が符号化する第1画像のインター予測において、その第1画像の符号化済みの部分の画像を用いて、動き探索を行い、カレント部分の動きベクトルを導出する。
図24は、この場合の第2符号化部112−2の主な構成例を示すブロック図である。
図24の例の場合も、第2符号化部112−2は、基本的に図5の例の場合と同様の構成を有するが、図24の場合、GMV判定部172は省略されている。また、図24の場合、第2符号化部112−2は、動き予測・補償部165の代わりに、動き予測・補償部311を有する。この動き予測・補償部311は、MV導出部の代わりにMV変換部312を有する。
MV変換部312は、MV導出部302が導出する第1画像の動きベクトルを変換して第2画像の動きベクトルを導出する。
(2)MV導出部・変換部
従来の場合、図25に示されるように、第1符号化部112−1にMV導出部321が設けられ、第2符号化部112−2にMV導出部322が設けられる。つまり、互いに独立にMVが導出される。
MV導出部321は、原画像間引き回路331、参照画像間引き回路332、1段目縮小画像用整数精度動きベクトル探索部333、2段目非縮小画像用整数精度動きベクトル探索部334、および分数精度動きベクトル探索部335を有する。
原画像間引き回路は、原画像を間引いて縮小原画像を生成する。参照画像間引き回路332は、参照画像を間引いて縮小参照画像を生成する。
1段目縮小画像用整数精度動きベクトル探索部333は、原画像間引き回路から供給される縮小原画像と、参照画像間引き回路332から供給される縮小参照画像とを用いて、縮小画像用整数精度動きベクトルMV1を生成する。
2段目非縮小画像用整数精度動きベクトル探索部334は、縮小されていない原画像と参照画像を用いて、縮小画像用整数精度動きベクトルMV1を、非縮小画像用整数精度動きベクトルMV2に変換する。
分数精度動きベクトル探索部335は、原画像と縮小画像とを用いて、非縮小画像用整数精度動きベクトルMV2を、分数精度動きベクトルMV3に変換する。分数精度動きベクトルMV3は、動き予測・補償部301に供給される。
MV導出部322は、原画像間引き回路341、参照画像間引き回路342、1段目縮小画像用整数精度動きベクトル探索部343、2段目非縮小画像用整数精度動きベクトル探索部344、および分数精度動きベクトル探索部345を有する。
原画像間引き回路341乃至分数精度動きベクトル探索部345は、それぞれ、原画像間引き回路331乃至分数精度動きベクトル探索部335に対応し、同様の処理を行う。
すなわち、従来の場合、動きベクトル生成に関して、冗長な処理が実行される。
これに対して、第1符号化部112−1(動き予測・補償部301)は、MV導出部302を有し、第2符号化部112−2(動き予測・補償部311)は、MV変換部312を有する。MV導出部302およびMV変換部312の主な構成例を図26に示す。
図26に示されるように、MV導出部302は、従来と同様に、原画像間引き回路331乃至分数精度動きベクトル探索部335を有する。MV変換部312は、原画像間引き回路341乃至1段目縮小画像用整数精度動きベクトル探索部343の代わりに、MV調整部351を有する。
MV調整部351には、MV導出部302において生成された分数精度動きベクトルMV3を取得する。MV調整部351は、供給された分数精度動きベクトルMV3を、第1画像情報や第2画像情報等を用いて変換し、縮小画像用整数精度動きベクトルMV4を導出する。この縮小画像用整数精度動きベクトルMV4は、縮小画像用整数精度動きベクトルMV1に相当する。
MV調整部351は、上述したGMVの場合と同様に、例えば、画角、画サイズ、またはフレームレート等といった画像情報について、第1画像情報と第2画像情報の比を分数精度動きベクトルMV3に乗算することにより、縮小画像用整数精度動きベクトルMV4を導出する。つまり、縮小画像用整数精度動きベクトルMV4は、例えば式(1)乃至式(4)のいずれかのように導出される。
その後、従来と同様に、2段目非縮小画像用整数精度動きベクトル探索部344により非縮小画像用整数精度動きベクトルMV5が導出され、分数精度動きベクトル探索部345により分数精度動きベクトルMV6が導出される。分数精度動きベクトルMV6は、MV変換部312の外部に出力される。
このようにすることにより、動き予測・補償部311において、原画像間引き回路331、参照画像間引き回路332、および1段目縮小画像用整数精度動きベクトル探索部333の処理が省略される。つまり、冗長な処理の実行が抑制されるので、画像符号化装置100は、負荷の増大の抑制を実現することができる。
(3)処理の流れ
複数画像符号化処理は、図6の例と同様に実行される。符号化処理は、図7と同様に実行される。
(3−1)インター動き予測処理
図27のフローチャートを参照して、この場合の、図7のステップS124において実行されるインター動き予測処理の流れの例を説明する。この処理は、第1符号化部112−1が第1画像について図7の符号化処理を実行した場合に実行される。
ステップS301において、MV導出部302は、第1画像の動き探索を行う。
ステップS302において、動き予測・補償部301は、動きベクトルを用いて参照画像に補償処理を行い、予測画像を生成する。全てのマクロブロックが処理されるまで、ステップS301乃至ステップS303の各処理が繰り返し実行される。
(3−2)動きベクトル探索処理
図28のフローチャートを参照して、図27のステップS301において実行される動きベクトル探索処理の流れの例を説明する。
ステップS321において、原画像間引き回路331は、原画像の縮小画像を作成する。ステップS322において、参照画像間引き回路332は、参照画像の縮小画像を作成する。
ステップS323において、1段目縮小画像用整数精度動きベクトル探索部333は、1段目縮小画像用整数精度動きベクトル探索を行い、縮小画像用整数精度動きベクトルMV1を導出する。
ステップS324において、2段目非縮小画像用整数精度動きベクトル探索部334は、原画像、参照画像、および縮小画像用整数精度動きベクトルMV1を用いて、2段目非縮小画像用整数精度動きベクトル探索を行い、非縮小画像用整数精度動きベクトルMV2を導出する。
ステップS325において、分数精度動きベクトル探索部335は、原画像、参照画像、および、非縮小画像用整数精度動きベクトルMV2を用いて、分数精度動きベクトル探索を行い、分数精度動きベクトルMV3を生成する。
ステップS326において、分数精度動きベクトル探索部335は、分数精度動きベクトルMV3を、MV導出部302の外部に出力するとともに、MV変換部312に供給する。
(3−3)インター動き予測処理
図29のフローチャートを参照して、この場合の、図7のステップS124において実行されるインター動き予測処理の流れの例を説明する。この処理は、第2符号化部112−2が第2画像について図7の符号化処理を実行した場合に実行される。
ステップS341において、MV変換部312は、MV導出部302から供給された動きベクトルを用いて、第2画像の動き探索を行う。
ステップS342において、動き予測・補償部311は、動きベクトルを用いて参照画像に補償処理を行い、予測画像を生成する。全てのマクロブロックが処理されるまで、ステップS341乃至ステップS343の各処理が繰り返し実行される。
(3−4)動きベクトル探索処理
図30のフローチャートを参照して、図29のステップS341において実行される動きベクトル探索処理の流れの例を説明する。
ステップS361において、MV調整部351は、MV導出部302から供給された分数精度動きベクトルMV3を取得する。ステップS362において、MV調整部351は、画像情報等に基づいて、動きベクトルを調整し、縮小画像用整数精度動きベクトルMV4を導出する。
ステップS363において、2段目非縮小画像用整数精度動きベクトル探索部334は、原画像、参照画像、および、縮小画像用整数精度動きベクトルMV4を用いて、2段目非縮小画像用整数精度動きベクトル探索を行い、非縮小画像用整数精度動きベクトルMV5を導出する。
ステップS364において、分数精度動きベクトル探索部335は、原画像、参照画像、および、非縮小画像用整数精度動きベクトルMV5を用いて、分数精度動きベクトル探索を行い、分数精度動きベクトルMV6を導出する。分数精度動きベクトル探索部345は、生成した分数精度動きベクトルMV6をMV変換部312の外部に出力する。
以上のように各処理を実行することにより、画像符号化装置100は、第1画像用に生成されたMVを他の画像(例えば第2画像)の符号化に利用することができる。つまり、画像符号化装置100は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
なお、MV調整部351が縮小画像用整数精度動きベクトルMV4を導出するのに利用する画像情報は、任意であり、上述した例以外であっても良い。
また、以上においては、MV導出部302が生成した分数精度動きベクトルMV3を調整して縮小画像用整数精度動きベクトルMV4を導出するように説明したが、これに限らず、MV調整部351が分数精度動きベクトルMV3を調整して非縮小画像用整数精度動きベクトルMV5を導出するようにしてもよい。このようにすることにより、さらに、2段目非縮小画像用整数精度動きベクトル探索部344も省略することができる。
さらに、MV調整部351が分数精度動きベクトルMV3を調整して分数精度動きベクトルMV6を導出するようにしてもよい。このようにすることにより、さらに、分数精度動きベクトル探索部345も省略することができる。
ただし、処理を省略するほど、動きベクトルの精度が低減するので、実用的な範囲で省略する処理を決定するようにするのが望ましい。なお、MV調整部351が、状況に応じて、分数精度動きベクトルMV3を、縮小画像用整数精度動きベクトルMV4乃至分数精度動きベクトルMV6のいずれに変換するかを選択することができるようにしてもよい。
また、以上においては、分数精度動きベクトルMV3が、MV導出部302からMV変換部312に供給されるように説明したが、これに限らず、縮小画像用整数精度動きベクトルMV1、若しくは、非縮小画像用整数精度動きベクトルMV5がMV導出部302からMV変換部312に供給されるようにしてもよい。また、いずれのベクトルがMV導出部302からMV変換部312に供給されるかを選択することができるようにしてもよい。
<5.第5の実施の形態>
[イントラ予測モード]
例えば、MVC規格の動画像のように立体視用の動画像の場合、左右の画像(第1画像と第2画像)は、所定の視差を有するが、基本的に被写体は互いに略同一であり、絵としての内容は互いに略同一である。そのため、第1画像と第2画像のイントラ予測モードは、略同一になる。したがって、従来のようにこのイントラ予測モードも動画像毎に互いに独立して導出するのは冗長であり、負荷が不要に増大する恐れがある。
そこで、画像符号化装置100は、上述した他の実施の形態の場合と同様に、ある画像で生成したイントラ予測モードを、その他の画像に利用する。
ただし、上述したように、第1画像と第2画像との間に視差が存在する。つまり、第1画像と第2画像とでは、視差を生成するために、画像が互いに水平方向にずれている。したがって、一方のイントラ予測モードを他方にそのまま適用することはできない。しかしながら、画像が水平方向にずれているのみであるので、そのズレ量分、イントラ予測モードをシフトさせることにより、一方のイントラ予測モードを他方に適用することができるようになる。つまり、容易に、一方のイントラ予測モードを他方に適用することができる。
(1)符号化部
図31は、この場合の第1符号化部112−1の主な構成例を示すブロック図である。
図31の例の場合も、第1符号化部112−1は、基本的に図4の例の場合と同様の構成を有するが、図31の場合、GMV導出部171は省略されている。図31に示されるイントラ予測部401は、イントラ予測部164と同様の処理部である。このイントラ予測部401は、第1画像のイントラ予測モードを導出するイントラ予測モード導出部402を有する。
イントラ予測モード導出部402は、第1符号化部112−1が符号化する第1画像の符号化済み部分の画像を用いてカレント部分の予測を行い、第1画像のイントラ予測モードを導出する。
図32は、この場合の第2符号化部112−2の主な構成例を示すブロック図である。
図32の例の場合も、第2符号化部112−2は、基本的に図5の例の場合と同様の構成を有するが、図32の場合、GMV判定部172は省略されている。また、図32の例の場合、第2符号化部112−2は、イントラ予測部164の代わりに、イントラ予測部411を有する。このイントラ予測部411は、イントラ予測モード導出部の代わりに、イントラ予測モード変換部412を有する。
イントラ予測モード変換部412は、イントラ予測モード導出部402が導出する第1画像のイントラ予測モードを変換して第2画像のイントラ予測モードを導出する。
(2)イントラ予測部
図33はイントラ予測部401およびイントラ予測部411の主な構成例を示すブロック図である。
図33に示されるように、イントラ予測部401は、イントラ予測モード導出部402と予測画像生成部403を有する。
イントラ予測モード導出部402は、第1画像の原画像や参照画像を用いて、第1画像用のイントラ予測モードを導出する。イントラ予測モード導出部402は、導出したイントラ予測モードを予測画像生成部403に供給する。
予測画像生成部403は、供給されたイントラ予測モードを用いて予測画像を生成し、それを予測画像選択部166に供給する。
また、イントラ予測モード導出部402は、導出した第1画像のイントラ予測モードを、イントラ予測部411のイントラ予測モード変換部412に供給する。
図33に示されるように、イントラ予測部411は、イントラ予測モード変換部412および予測画像生成部413を有する。また、イントラ予測モード変換部412は、シフト量演算部421およびイントラ予測モード演算部422を有する。
シフト量演算部421は、イントラ予測モード導出部402から供給されるイントラ予測モードや、外部から供給される、例えば撮像条件や設定情報等の撮像に関するカメラ情報を取得する。シフト量演算部421は、それらの情報や、第2画像情報取得部111−2から供給される第1画像情報および第2画像情報等に基づいて、第1画像と第2画像の視差量を特定し、イントラ予測モードのシフト量を導出し、導出したシフト量をイントラ予測モード演算部422に供給する。
イントラ予測モード演算部422は、イントラ予測モード導出部402から供給される第1画像のイントラ予測モードを、シフト量演算部421により算出されたシフト量分シフトさせ、第2画像のイントラ予測モードを導出する。イントラ予測モード演算部422は、導出した第2画像のイントラ予測モードを予測画像生成部413に供給する。
予測画像生成部413は、供給されたイントラ予測モードを用いて予測画像を生成し、それを予測画像選択部166に供給する。
(3)シフト
例えば、第1画像(Lch)のイントラ予測モードと、第2画像(Rch)のイントラ予測モードが、図34のAに示されるような状態であるとする。この場合、両画像の黒枠で囲まれる部分は、図34のBに示されるように、互いに略同一である。
したがって、第1画像(Lch)の黒枠で囲まれる部分を1マクロブロック分左にシフトさせ、右端のマクロブロックをDCモードとすると、図34のCに示されるように、図34のAの第2画像(Rch)のイントラ予測モードと略同一のイントラ予測モードが生成される。つまり、第1画像(Lch)のイントラ予測モードをシフトさせることにより、第2画像(Rch)のイントラ予測モードと略同様のイントラ予測モードを導出することができる。
このように、画像符号化装置100は、画像間の相関性の高さを利用して、ある画像に対して導出されたイントラ予測モードを、他の画像に利用する。これにより、画像符号化装置100は、イントラ予測に関する負荷の大きな、冗長な処理を省略することができる。これにより、画像符号化装置100は、負荷の増大の抑制を実現することができる。
(4)処理の流れ
次に、このような画像符号化装置100により実行される処理の流れについて説明する。複数画像符号化処理は、図6の例と同様に実行される。
(4−1)符号化処理
この場合の、符号化処理の流れの例を図35に示す。図35に示されるように、この場合も符号化処理は、図7の場合と同様に実行される。つまり、ステップS401乃至ステップS416の各処理は、基本的に、図7のステップS121乃至ステップS136の各処理と同様に実行される。ただし、図35の例の場合、符号化パラメータの導出若しくは変換は、ステップS404のインター動き予測処理ではなく、ステップS403のイントラ予測処理の際に行われる。
図35に示される符号化処理も、図7の場合と同様に、各系統の動画像について行われる。すなわち、第1符号化部112−1および第2符号化部112−2がそれぞれ、この符号化処理を実行する。
(4−2)イントラ予測処理
図36のフローチャートを参照して、図35のステップS403において、イントラ予測部401が実行するイントラ予測処理の流れの例を説明する。
ステップS421において、イントラ予測モード導出部402は、イントラ予測モードを導出する。ステップS422において、予測画像生成部403は、導出されたイントラ予測モードで予測画像を生成する。
ステップS423において、イントラ予測モード導出部402は、ステップS421において導出されたイントラ予測モードをイントラ予測モード変換部412に供給する。
(4−3)イントラ予測処理
図37のフローチャートを参照して、図35のステップS403において、イントラ予測部411が実行するイントラ予測処理の流れの例を説明する。
ステップS431において、イントラ予測モード変換部412は、第1画像のイントラ予測モードを取得する。
ステップS432において、イントラ予測モード変換部412は、ステップS431において取得された第1画像のイントラ予測モードを第2画像のイントラ予測モードに変換するイントラ変換処理を行う。
ステップS433において、予測画像生成部413は、変換されたイントラ予測モードで予測画像を生成する。
(5)イントラ変換処理
次に、図37のステップS432において実行されるイントラ変換処理について説明する。イントラ変換処理において、イントラ予測モード変換部412は、第1画像のイントラ予測モードのシフト量を決定し、そのシフト量分、第1画像のイントラ予測モードをシフトさせることにより、第2画像のイントラ予測モードを導出する。
このシフト量の決定方法は任意である。例えば、シフト量が予め既知であってもよい。例えば、MVC規格の場合、画像間の視差が予め定められている。したがって、イントラ予測モードのシフトすべき量も固定値となる。
そこで、このような場合、シフト量を固定値(例えば、所定ブロック分)としてもよい。つまり、この場合、シフト量演算部421は、省略することができる。
その場合のイントラ変換処理の流れの例を、図38のフローチャートを参照して説明する。
ステップS441において、イントラ予測モード演算部422は、供給された第1画像のイントラ予測モードを、所定ブロック分水平方向にシフトする。
イントラ予測モード演算部422は、ステップS442において、処理中のマクロブロックにシフトされたイントラ予測モードが存在するか否かを判定する。存在すると判定した場合、イントラ予測モード演算部422は、処理をステップS443に進め、シフトされたイントラ予測モードを処理中のマクロブロックのイントラ予測モードとする。
また、ステップS442において、処理中のマクロブロックにシフトされたイントラ予測モードが存在しないと判定された場合、イントラ予測モード演算部422は、処理をステップS444に進め、任意の方法で、イントラ予測モードを導出する。
このようにシフト量を固定値とすることにより、画像符号化装置100は、イントラ予測モードを、より容易にシフトさせることができる。
例えば、このようなマクロブロックのイントラ予測モードは、全てDCモードにされるようにしてもよいし、近傍のマクロブロックのイントラ予測モードが複製されるようにしてもよい。
また、シフト量演算部421が、イントラ予測モードのシフト量を、カメラ情報に基づいて決定するようにしてもよい。
図39のフローチャートを参照して、その場合のイントラ変換処理の流れの例を説明する。
シフト量演算部421は、ステップS451においてカメラ情報を取得し、ステップS452において、そのカメラ情報を用いてシフト量を決定する。
ステップS453において、イントラ予測モード演算部422は、供給されたイントラ予測モードを、ステップS452において決定されたシフト量分、水平方向にシフトする。
ステップS454乃至ステップS456の処理は、図38のステップS442乃至ステップS444と同様に実行される。
このようにシフト量を可変とすることにより、画像符号化装置100は、より正確にシフト量を導出することができる。
また、シフト量演算部421が、第2画像についてのイントラ予測モードを一部のマクロブロックについて算出し、その第2画像のイントラ予測モードと、第1画像のイントラ予測モードを比較することにより、シフト量を推定するようにしてもよい。例えば、シフト量演算部421が、第2画像のイントラ予測モードを1ブロックライン分導出し、その1ブロックラインで、第1画像のイントラ予測モードと第2画像のイントラ予測モードを比較する。シフト量演算部421は、その比較結果に基づいて第1画像と第2画像のズレを求め、シフト量を決定する。このようにしてシフト量が導出されるようにしても良い。
その場合のイントラ変換処理の流れ例を、図40のフローチャートを参照して説明する。
シフト量演算部421は、ステップS461において、一部のマクロブロックについて第2画像のイントラ予測モードを導出する。ステップS462において、シフト量演算部421は、ステップS461において導出された第2画像のイントラ予測モードと、第1画像のイントラ予測モードとを比較し、その比較結果に従ってシフト量を導出する。
ステップS463乃至ステップS466の各処理は、ステップS453乃至ステップS456の各処理と同様に実行される。
このように第1画像のイントラ予測モードと第2画像のイントラ予測モードを実際に比較することにより、画像符号化装置100は、より正確にシフト量を導出することができる。
なお、イントラ予測モードを比較するブロック数は任意である。多いほど精度は向上するが、負荷低減のメリットは低減する。
また、以上においては、シフト量決定のためにイントラ予測モードを比較するように説明したが、これに限らず、第1画像と第2画像とを比較し、その比較結果に基づいてシフト量を算出するようにしてもよい。
また、以上に説明したいずれの場合も、シフト方向は、第1画像と第2画像のズレの方向に対応している限り、任意である。例えば、シフト方向が垂直方向であってもよいし、ななめ方向であってもよいし、回転方向であってもよい。また、シフト方向が、これらの複数の方向の内、いずれか2つ以上を組み合わせた方向としてもよい。
また、シフトはせずに、第2画像のイントラ予測の際の、候補とする予測方向を限定するようにしてもよい。例えば、第1画像と第2画像の相関性が高いため、それらのイントラ予測モードの相関性も高いことが期待される。つまり、あるマクロブロックにおける、イントラ予測モード(予測方向)は、第1画像と第2画像とで類似し易いことが期待される。
したがって、第1画像のイントラ予測モードを参考に、第2画像におけるイントラ予測の候補とする予測方向を限定するようにしてもよい。例えば、第1画像において予測方向が水平方向であるマクロブロックは、第2画像においても予測方向が水平方向となる可能性が高く、垂直方向とはなり難い。したがって、このような場合、第2画像のそのマクロブロックに対するイントラ予測において、垂直方向が予測方向の候補から外されるようにしてもよい。
その場合のイントラ変換処理の流れの例を図41のフローチャートを参照して説明する。
ステップS471において、イントラ予測モード演算部422は、供給された第1画像のイントラ予測モードに応じて、第2画像のイントラ予測モードを限定する。
ステップS472において、イントラ予測モード演算部422は、限定された予測モードの中からイントラ予測モードを導出する。
このようにすることにより、画像符号化装置100は、不要な候補を低減させることができ、第2画像のイントラ予測処理の負荷を低減させることができる。
なお、上述した複数の方法の中から選択することができるようにしてもよい。
図42のフローチャートを参照して、その場合のイントラ変換処理の流れの例を説明する。
シフト量演算部421は、ステップS481において、第2画像のイントラ予測モード導出のために、第1画像のイントラ予測モードをシフトするか否かを判定する。任意の条件に基づいて、シフトすると判定した場合、シフト量演算部421は、処理をステップS482に進める。
ステップS482において、シフト量演算部421は、何らかの方法によりシフト量を決定する。このシフト量決定方法は任意である。例えば、上述したような方法であっても良い。
ステップS483乃至ステップS486の各処理は、例えば、図40のステップS463乃至ステップS466の各処理と同様に実行される。
また、ステップS481において、シフトしないと判定された場合、イントラ予測モード演算部422は、処理をステップS487に進める。ステップS487およびステップS488の各処理は、例えば、図41のステップS471およびステップS472の各処理と同様に実行される。
このようにすることにより、第2画像のイントラ予測モード導出方法の選択の幅が広がるので、画像符号化装置100は、第2画像のイントラ予測モードを、より適切な方法により導出することができる。
<6.第6の実施の形態>
[イントラ予測モード]
なお、以上のようなイントラ予測モードの流用は、画像符号化装置100に対応する画像復号装置においても実現可能である。
例えば、画像符号化装置100が、上述したように、第1画像のイントラ予測モードを用いて第2画像のイントラ予測を行う場合、第2画像で採用されたイントラ予測モードは、画像復号装置においても、第1画像のイントラ予測モードから求めることができる。
つまり、第2画像のイントラ予測モードの伝送は、省略することができる。このようにすることにより、画像符号化装置100は、符号化効率を向上させることができる。
(1)画像復号装置
図43は、図2に示される画像符号化装置100に対応する画像復号装置500の主な構成例を示すブロック図である。画像復号装置500は、画像符号化装置100により生成されたビットストリームを正しく復号することができる。
つまり、画像復号装置500は、入力された、画像符号化装置100により生成された第1ストリームおよび第2ストリームを、それぞれ復号し、第1画像および第2画像を生成する。
図43に示されるように、画像復号装置500は、復号部501を有する。復号部501は、第1ストリームを復号する第1復号部501−1と、第2ストリームを復号する第2復号部501−2とを有する。
第1復号部501−1は、符号化パラメータ抽出部502−1を有する。符号化パラメータ抽出部502−1は、第1ストリームから符号化パラメータを抽出する。第1復号部501−1は、符号化パラメータ抽出部502−1により抽出された符号化パラメータを用いて第1ストリームの復号を行う。
また、第1復号部501−1(符号化パラメータ抽出部502−1)は、第1ストリームより抽出された符号化パラメータを第2復号部501−2に供給する。
第2復号部501−2は、第2ストリームの復号を行う。第2復号部501−2は、符号化パラメータ変換部502−2を有する。符号化パラメータ変換部502−2は、第1復号部501−1(符号化パラメータ抽出部502−1)から供給される第1画像の符号化パラメータを取得し、それを、第2画像の符号化パラメータに変換する。第2復号部501−2は、その変換後の符号化パラメータを用いて、第2ストリームの復号を行う。
このように、画像復号装置500は、第1ストリームから抽出された、第1画像用の符号化パラメータを第2ストリームの復号にも流用することができる。したがって、第2画像用の符号化パラメータの伝送が不要になる。つまり、画像復号装置500は、符号化効率を向上させることができる。
なお、図3の例のように、この画像復号装置500も、3系統以上の(Nチャンネルの)ストリームを復号することができるようにしてもよい。
(2)復号部
図44は、この場合の第1復号部501−1の主な構成例を示すブロック図である。
図44に示されるように第1復号部501−1は、蓄積バッファ551、可逆復号部552、逆量子化部553、逆直交変換部554、演算部555、デブロックフィルタ556、画面並べ替えバッファ557、およびD/A変換部558を有する。また、第1復号部501−1は、フレームメモリ559、選択部560、イントラ予測部571、動き予測・補償部562、および選択部563を有する。
蓄積バッファ551は、伝送されてきた符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部552に供給する。可逆復号部552は、蓄積バッファ551より供給された、可逆符号化部156により符号化された情報を、可逆符号化部156の符号化方式に対応する方式で復号する。可逆復号部552は、復号して得られた差分画像の量子化された係数データを、逆量子化部553に供給する。
また、可逆復号部552は、符号化データを復号して得られた最適な予測モードに関する情報を参照し、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定する。つまり、可逆復号部552は、伝送されてきた符号化データにおいて採用された予測モードが、イントラ予測であるか、インター予測であるかを判定する。
可逆復号部552は、その判定結果に基づいて、その予測モードに関する情報を、イントラ予測部571若しくは動き予測・補償部562に供給する。例えば、画像符号化装置100において最適な予測モードとしてイントラ予測モードが選択された場合、可逆復号部552は、符号化側から供給された、その選択されたイントラ予測モードに関する情報であるイントラ予測情報をイントラ予測部571に供給する。また、例えば、画像符号化装置100において最適な予測モードとしてインター予測モードが選択された場合、可逆復号部552は、符号化側から供給された、その選択されたインター予測モードに関する情報であるインター予測情報を動き予測・補償部562に供給する。
逆量子化部553は、可逆復号部552により復号されて得られた量子化された係数データを、量子化部155の量子化方式に対応する方式(逆量子化部158と同様の方式)で逆量子化を行う。逆量子化部553は、逆量子化された係数データを逆直交変換部554に供給する。
逆直交変換部554は、直交変換部154の直交変換方式に対応する方式で逆量子化部553から供給される係数データを逆直交変換する。逆直交変換部554は、この逆直交変換処理により、画像符号化装置100において直交変換される前の差分画像に対応する差分画像を得る。
逆直交変換されて得られた差分画像は、演算部555に供給される。また、演算部555には、選択部563を介して、イントラ予測部571若しくは動き予測・補償部562から予測画像が供給される。
演算部555は、差分画像と予測画像とを加算し、画像符号化装置100の演算部153により予測画像が減算される前の画像に対応する再構成画像を得る。演算部555は、その再構成画像をデブロックフィルタ556に供給する。
デブロックフィルタ556は、供給された再構成画像に対して、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。
デブロックフィルタ556は、フィルタ処理結果である復号画像を画面並べ替えバッファ557およびフレームメモリ559に供給する。なお、このデブロックフィルタ556によるフィルタ処理は省略することもできる。つまり、演算部555の出力が、フィルタ処理されずに、フレームメモリ559に格納されるようにすることもできる。例えば、イントラ予測部571は、この画像に含まれる画素の画素値を周辺画素の画素値として利用する。
画面並べ替えバッファ557は、供給された復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ152により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部558は、画面並べ替えバッファ557から供給された復号画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
フレームメモリ559は、供給される再構成画像や復号画像を記憶する。また、フレームメモリ559は、所定のタイミングにおいて、若しくは、イントラ予測部571や動き予測・補償部562等の外部の要求に基づいて、記憶している再構成画像や復号画像を、選択部560を介してイントラ予測部571や動き予測・補償部562に供給する。
イントラ予測部571は、イントラ予測部164と基本的に同様の処理を行う。ただし、イントラ予測部571は、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、イントラ予測を行う。
また、イントラ予測部571は、イントラ予測モード抽出部572を有する。イントラ予測モード抽出部572は、可逆復号部552から供給されるイントラ予測に関する情報の中から、第1画像のイントラ予測モードを示す情報を抽出する。イントラ予測部571(イントラ予測モード抽出部572)は、その第1画像のイントラ予測モードを、第2復号部501−2に供給する。
この例において、符号化パラメータは、イントラ予測モードである。すなわち、イントラ予測モード抽出部572は、図43の符号化パラメータ抽出部502−1に対応する。
また、イントラ予測部571は、イントラ予測モード抽出部572により抽出された第1画像のイントラ予測モードを用いて、第1画像(第1ストリーム)に対するイントラ予測を行う。
動き予測・補償部562は、可逆復号部552から供給されるインター予測情報に基づいてインター予測(動き予測や動き補償を含む)を行い、予測画像を生成する。なお、動き予測・補償部562は、可逆復号部552から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対してのみ、インター予測を行う。
イントラ予測部571若しくは動き予測・補償部562は、予測処理単位の領域毎に、生成した予測画像を、選択部563を介して演算部555に供給する。
選択部563は、イントラ予測部571から供給される予測画像、若しくは、動き予測・補償部562から供給される予測画像を演算部555に供給する。
図45は、第2復号部501−2の主な構成例を示すブロック図である。図45に示されるように、第2復号部501−2は、第1復号部501−1(図44)と、基本的に同様の構成を有し、同様の処理を行う。
ただし、第2復号部501−2は、第1復号部501−1のイントラ予測部571の代わりに、イントラ予測部581を有する。
イントラ予測部581は、イントラ予測モード変換部582を有する。イントラ予測モード変換部582は、第1復号部501−1のイントラ予測部571(イントラ予測モード抽出部572)から供給された、第1画像のイントラ予測モードを取得する。イントラ予測モード変換部582は、第1画像と第2画像の相関性の高さを利用して、その第1画像のイントラ予測モードを、所定の方法により、第2画像のイントラ予測モードに変換する。
このようにすることにより、第2画像のイントラ予測モードの伝送が不要になるので、画像復号装置500は、符号化効率を向上させることができる。
なお、イントラ予測モード変換部582による、イントラ予測モードの変換方法は任意であるが、イントラ予測モード変換部412が行った変換方法と同様にするのが望ましい。
なお、イントラ予測モード変換部582の構成は、イントラ予測モード変換部412の場合(図33)と同様であってもよい。
(3)処理の流れ
(3−1)複数画像復号処理
複数画像復号処理の流れの例を、図46のフローチャートを参照して説明する。
図46に示されるように、復号部501は、ステップS501およびステップS502の処理を、各系統のストリームについて実行することにより、全ての系統のビットストリームを復号する。
(3−2)復号処理
図47のフローチャートを参照して、図46のステップS501において実行される、各画像の復号処理の流れの例を説明する。この処理は、各系統のビットストリームについて行われる。すなわち、第1復号部501−1および第2復号部501−2がそれぞれ、この復号処理を実行する。
復号処理が開始されると、ステップS521において、蓄積バッファ551は、伝送されてきた符号化データを蓄積する。ステップS522において、可逆復号部552は、蓄積バッファ551から供給される符号化データを復号する。すなわち、可逆符号化部156により符号化されたIピクチャ、Pピクチャ、並びにBピクチャが復号される。
このとき、動きベクトル情報、参照フレーム情報、予測モード情報(イントラ予測モード、またはインター予測モード)、並びに、量子化に関するパラメータ等の情報も復号される。
ステップS523において、逆量子化部553は、ステップS523の処理により再構築された量子化パラメータを用いて、ステップS522の処理により得られた、量子化された直交変換係数を逆量子化する。
ステップS524において逆直交変換部554は逆量子化部553により逆量子化されて得られた直交変換係数を、直交変換部154に対応する方法で逆直交変換する。これにより直交変換部154の入力(演算部153の出力)に対応する差分情報が復号されたことになる。
ステップS525において、演算部555は、ステップS524の処理により得られた差分情報に、後述するステップS528の処理により得られた予測画像を加算する。これにより元の画像データが復号される。
ステップS526において、デブロックフィルタ556は、ステップS525の処理により得られた再構成画像に対して、デブロックフィルタ処理を適宜行う。
ステップS527において、フレームメモリ559は、デブロックフィルタ556によりフィルタ処理された再構成画像を記憶する。
ステップS528において、イントラ予測部571、または動き予測・補償部562は、予測処理を行う。ステップS529において、選択部563は、予測画像を選択する。
ステップS530において、画面並べ替えバッファ557は、復号画像データのフレームの並べ替えを行う。すなわち、画像符号化装置100において並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップS531において、D/A変換部558は、画面並べ替えバッファ557においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。
(3−3)予測処理
図48のフローチャートを参照して、図47のステップS528において実行される、各画像の予測処理の流れの例を説明する。この処理は、各系統のビットストリームについて行われる。すなわち、第1復号部501−1および第2復号部501−2がそれぞれ、この予測処理を実行する。
イントラ予測部571若しくはイントラ予測部581は、ステップS551において、イントラ符号化されているか否かを判定し、イントラ符号化されていると判定した場合、処理をステップS552に進める。
ステップS552において、イントラ予測部571若しくはイントラ予測部581は、イントラ予測処理を行う。イントラ予測処理は、上述した符号化側の場合と同様であるので、その説明は省略する。
また、ステップS551において、イントラ符号化されていないと判定された場合、動き予測・補償部562は、ステップS553乃至ステップS555の処理を行い、インター予測画像を生成する。
以上のように、画像復号装置500においても、画像符号化装置100の場合と同様にイントラ予測を行うことができる。これにより、第2画像のイントラ予測モードを伝送する必要が無くなるので、符号化効率を向上させることができる。
なお、以上において説明したイントラ予測モードのシフトは、ピクチャ全体で行う必要はない。イントラ予測モードをシフトするか否か、若しくは、そのシフト量の算出は、任意の単位毎に行うことができる。例えば、マクロブロック毎に、イントラ予測モードのシフト量制御を行うことができる。したがって、例えば、ピクチャ内の一部のマクロブロックのみイントラ予測モードをシフトさせることもできる。
<7.第7の実施の形態>
[付記]
なお、以上においては、第1画像の符号化パラメータを他の画像の符号化処理に流用するように説明したが、どの画像の符号化パラメータを参照元とするかは任意である。例えば、複数系統の画像の符号化パラメータを、その他の画像の符号化処理に流用するようにしてもよい。また、負荷の増減や、符号化対象画像に応じて、どの系統の動画像の符号化パラメータを他の画像の符号化に流用させるかを選択することができるようにしてもよい。さらに、状況に応じて、切り替えることができるようにしてもよい。
[コンピュータ]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図49に示されるようなコンピュータとして構成されるようにしてもよい。
図49において、コンピュータ900のCPU(Central Processing Unit)901は、ROM(Read Only Memory)902に記憶されているプログラム、または記憶部913からRAM(Random Access Memory)903にロードされたプログラムに従って各種の処理を実行する。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU901、ROM902、およびRAM903は、バス904を介して相互に接続されている。このバス904にはまた、入出力インタフェース910も接続されている。
入出力インタフェース910には、キーボード、マウス、タッチパネル、および入力端子などよりなる入力部911、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、およびOELD(Organic ElectroLuminescence Display)などよりなるディスプレイ、並びにスピーカ等の任意の出力デバイスや出力端子等よりなる出力部912、ハードディスクやフラッシュメモリ等の任意の記憶媒体やその記憶媒体の入出力を制御する制御部等により構成される記憶部913、モデム、LANインタフェース、USB(Universal Serial Bus)、並びにBluetooth(登録商標)等、有線や無線の任意の通信デバイスよりなる通信部914が接続されている。通信部914は、例えばインターネットを含むネットワークを介して他の通信デバイスとの通信処理を行う。
入出力インタフェース910にはまた、必要に応じてドライブ915が接続される。そのドライブ915には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア921が適宜装着される。ドライブ915は、例えばCPU901の制御に従って、自身に装着されたリムーバブルメディア921からコンピュータプログラムやデータ等を読み出す。その読み出されたデータやコンピュータプログラムは、例えば、RAM903に供給される。また、リムーバブルメディア921から読み出されたコンピュータプログラムは、必要に応じて記憶部913にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図49に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc - Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、若しくは半導体メモリなどよりなるリムーバブルメディア921により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM902や、記憶部913に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス(装置)により構成される装置全体を表すものである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1) 第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換する変換部と、
前記変換部により変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する第2画像符号化部と
を備える画像処理装置。
(2) 前記符号化パラメータは、GMV(Global Motion Vector)、レートコントロールパラメータ、動きベクトル、または、イントラ予測モードのうちの1つまたは2つ以上を含む
前記(1)に記載の画像処理装置。
(3) 前記符号化パラメータが前記レートコントロールパラメータを含む場合、前記レートコントロールパラメータは、ターゲットビット、若しくは、デルタQ値である
前記(2)に記載の画像処理装置。
(4) 前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記イントラ予測モードをシフトする
前記(2)または(3)に記載の画像処理装置。
(5) 前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記第1の画像のイントラ予測モードに応じて、前記第2の画像のイントラ予測モードの候補となる予測方向を制限する
前記(2)乃至(4)のいずれかに記載の画像処理装置。
(6) 前記変換部は、前記符号化パラメータがイントラ予測モードの場合、一部のブロックについてのみ、前記イントラ予測モードを処理する
前記(2)乃至(5)のいずれかに記載の画像処理装置。
(7) 前記符号化部は、時分割方式により、複数の画像を符号化する
前記(1)乃至(6)のいずれかに記載の画像処理装置。
(8) 前記第1の画像を符号化する第1画像符号化部をさらに備える
前記(1)乃至(7)のいずれかに記載の画像処理装置。
(9) 前記第1の画像の符号化パラメータを導出する導出部をさらに備え、
前記変換部は、前記導出部により導出された前記第1の画像の符号化パラメータを、前記第2の画像の符号化パラメータに変換する
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 前記変換部は、前記導出部により導出された前記第1の画像の符号化パラメータを、前記第1の画像が導出されたのと同タイミングの第2の画像の符号化パラメータに変換する
前記(9)に記載の画像処理装置。
(11) 前記変換部および前記符号化部を、前記第1の画像以外の複数の画像のそれぞれに1つずつ有し、
各変換部は、前記第1の画像の符号化パラメータを、自身が対応する画像の符号化パラメータに変換し、
各符号化部は、自身が対応する画像を、前記画像の符号化パラメータを用いて符号化する
前記(1)乃至(10)のいずれかに記載の画像処理装置。
(12) 前記変換部は、前記第1の画像の画像情報と前記第2の画像の画像情報とを用いて、前記符号化パラメータを変換する
前記(1)乃至(11)のいずれかに記載の画像処理装置。
(13) 前記画像情報は、画角であり、
前記変換部は、前記第1の画像と前記第2の画像の、前記画角の比を用いて、前記符号化パラメータを変換する
前記(12)に記載の画像処理装置。
(14) 前記画像情報は、画サイズであり、
前記変換部は、前記第1の画像と前記第2の画像の、前記画サイズの比を用いて、前記符号化パラメータを変換する
前記(12)または(13)に記載の画像処理装置。
(15) 前記画像情報は、フレームレートであり、
前記変換部は、前記第1の画像と前記第2の画像の、前記フレームレートの比を用いて、前記符号化パラメータを変換する
前記(12)乃至(14)のいずれかに記載の画像処理装置。
(16) 前記画像情報は、ビットレートであり、
前記変換部は、前記第1の画像と前記第2の画像の、前記ビットレートの比を用いて、前記符号化パラメータを変換する
前記(12)乃至(15)のいずれかに記載の画像処理装置。
(17) 前記第1の画像の画像情報を取得する第1画像情報取得部と、
前記第2の画像の画像情報を取得する第2画像情報取得部と
をさらに備える前記(12)乃至(16)のいずれかに記載の画像処理装置。
(18) 時分割方式により、前記第1の画像の画像情報と、前記第2の画像の画像情報とを取得する画像情報取得部をさらに備える
前記(12)乃至(17)のいずれかに記載の画像処理装置。
(19) 画像処理装置の画像処理方法であって、
変換部が、第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換し、
第2画像符号化部が、変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する
画像処理方法。
(20) コンピュータを、
第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換する変換部、
前記変換部により変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する第2画像符号化部
として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
100 画像符号化装置, 111 画像情報取得部, 111−1 第1画像情報取得部, 111−2 第2画像情報取得部, 112 符号化部, 112−1 第1符号化部, 112−2 第2符号化部, 121−1 符号化パラメータ導出部, 121−2 符号化パラメータ変換部, 171 GMV導出部, 172 GMV変換部, 202 レートコントロールパラメータ導出部, 212 レートコントロールパラメータ変換部, 302 MV導出部, 312 MV変換部, 351 MV調整部, 402 イントラ予測モード導出部, 412 イントラ予測モード変換部, 421 シフト量演算部, 422 イントラ予測モード演算部, 500 画像復号装置, 501 復号部, 501−1 第1復号部, 501−2 第2復号部, 502−1 符号化パラメータ抽出部, 502−2 符号化パラメータ変換部, 572 イントラ予測モード抽出部, 582 イントラ予測モード変換部
前記変換部は、前記導出部により導出された前記第1の画像の符号化パラメータを、前記第1の画像と同タイミングの第2の画像の符号化パラメータに変換することができる。
第2画像情報取得部111−2は、取得した第2画像情報を第2符号化部112−2に供給する。また、第2画像情報取得部111−2は、第1画像情報取得部111−1から供給される第1画像情報を、第2符号化部112−2に供給する。
また、可逆符号化部156は、イントラ予測のモードを示す情報などをイントラ予測部164から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部165から取得する。さらに、可逆符号化部156は、デブロックフィルタ161において使用されたフィルタ係数等を取得する。
GMV変換部172は、GMV導出部(図4)から供給されるGMVを取得し、第2画像情報取得部111−2(図2)から供給される第1画像情報や第2画像情報に基づいて、そのGMVを、第2画像用の値に変換する。GMV変換部172は、変換後のGMVを動き予測・補償部165に供給する。動き予測・補償部165は、そのGMVを起点の1つとして動き探索を行う。
<3.第3の実施の形態>
[レートコントロールパラメータ]
他の動画像に利用する符号化パラメータは、GMV以外であってもよい。例えば、レート制御に用いられるパラメータ(レートコントロールパラメータ)であってもよい。より具体的には、例えば、フレーム毎のターゲットビットであっても良いし、Q値(量子化パラメータ)であってもよい。
レートコントロールパラメータ変換部212は、レート制御部201(レートコントロールパラメータ導出部202)(図15)から供給された、例えばターゲットビットやデルタQ値等のレートコントロールパラメータを、第2画像情報取得部111−2(図2)から供給される第1画像情報や第2画像情報に基づいて、第2画像用のパラメータに変換する。レート制御部211は、変換されたレートコントロールパラメータを用いて、第2画像符号化のレート制御を行う。
ターゲットビット[2]
=ビットレート[2]/ビットレート[1]
×(ターゲットビット[1]+α(発生ビット量[1]−ターゲットビット[1]) ・・・(7)
ターゲットビット[2、M]
=fps[2]/fps[1]
×(ターゲットビット[1、M]+ターゲットビット[1、M+1])
+α(発生ビット量[1、M]+発生ビット量[1、M+1]
ターゲットビット[1、M]+ターゲットビット[1、M+1]))
・・・(10)
図24の例の場合も、第2符号化部112−2は、基本的に図5の例の場合と同様の構成を有するが、図24の場合、GMV変換部172は省略されている。また、図24の場合、第2符号化部112−2は、動き予測・補償部165の代わりに、動き予測・補償部311を有する。この動き予測・補償部311は、MV導出部の代わりにMV変換部312を有する。
ステップS363において、2段目非縮小画像用整数精度動きベクトル探索部344は、原画像、参照画像、および、縮小画像用整数精度動きベクトルMV4を用いて、2段目非縮小画像用整数精度動きベクトル探索を行い、非縮小画像用整数精度動きベクトルMV5を導出する。
ステップS364において、分数精度動きベクトル探索部345は、原画像、参照画像、および、非縮小画像用整数精度動きベクトルMV5を用いて、分数精度動きベクトル探索を行い、分数精度動きベクトルMV6を導出する。分数精度動きベクトル探索部345は、生成した分数精度動きベクトルMV6をMV変換部312の外部に出力する。
図32の例の場合も、第2符号化部112−2は、基本的に図5の例の場合と同様の構成を有するが、図32の場合、GMV変換部172は省略されている。また、図32の例の場合、第2符号化部112−2は、イントラ予測部164の代わりに、イントラ予測部411を有する。このイントラ予測部411は、イントラ予測モード導出部の代わりに、イントラ予測モード変換部412を有する。
なお、本技術は以下のような構成も取ることができる。
(1) 第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換する変換部と、
前記変換部により変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する第2画像符号化部と
を備える画像処理装置。
(2) 前記符号化パラメータは、GMV(Global Motion Vector)、レートコントロールパラメータ、動きベクトル、または、イントラ予測モードのうちの1つまたは2つ以上を含む
前記(1)に記載の画像処理装置。
(3) 前記符号化パラメータが前記レートコントロールパラメータを含む場合、前記レートコントロールパラメータは、ターゲットビット、若しくは、デルタQ値である
前記(2)に記載の画像処理装置。
(4) 前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記イントラ予測モードをシフトする
前記(2)または(3)に記載の画像処理装置。
(5) 前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記第1の画像のイントラ予測モードに応じて、前記第2の画像のイントラ予測モードの候補となる予測方向を制限する
前記(2)乃至(4)のいずれかに記載の画像処理装置。
(6) 前記変換部は、前記符号化パラメータがイントラ予測モードの場合、一部のブロックについてのみ、前記イントラ予測モードを処理する
前記(2)乃至(5)のいずれかに記載の画像処理装置。
(7) 前記符号化部は、時分割方式により、複数の画像を符号化する
前記(1)乃至(6)のいずれかに記載の画像処理装置。
(8) 前記第1の画像を符号化する第1画像符号化部をさらに備える
前記(1)乃至(7)のいずれかに記載の画像処理装置。
(9) 前記第1の画像の符号化パラメータを導出する導出部をさらに備え、
前記変換部は、前記導出部により導出された前記第1の画像の符号化パラメータを、前記第2の画像の符号化パラメータに変換する
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 前記変換部は、前記導出部により導出された前記第1の画像の符号化パラメータを、前記第1の画像と同タイミングの第2の画像の符号化パラメータに変換する
前記(9)に記載の画像処理装置。
(11) 前記変換部および前記符号化部を、前記第1の画像以外の複数の画像のそれぞれに1つずつ有し、
各変換部は、前記第1の画像の符号化パラメータを、自身が対応する画像の符号化パラメータに変換し、
各符号化部は、自身が対応する画像を、前記画像の符号化パラメータを用いて符号化する
前記(1)乃至(10)のいずれかに記載の画像処理装置。
(12) 前記変換部は、前記第1の画像の画像情報と前記第2の画像の画像情報とを用いて、前記符号化パラメータを変換する
前記(1)乃至(11)のいずれかに記載の画像処理装置。
(13) 前記画像情報は、画角であり、
前記変換部は、前記第1の画像と前記第2の画像の、前記画角の比を用いて、前記符号化パラメータを変換する
前記(12)に記載の画像処理装置。
(14) 前記画像情報は、画サイズであり、
前記変換部は、前記第1の画像と前記第2の画像の、前記画サイズの比を用いて、前記符号化パラメータを変換する
前記(12)または(13)に記載の画像処理装置。
(15) 前記画像情報は、フレームレートであり、
前記変換部は、前記第1の画像と前記第2の画像の、前記フレームレートの比を用いて、前記符号化パラメータを変換する
前記(12)乃至(14)のいずれかに記載の画像処理装置。
(16) 前記画像情報は、ビットレートであり、
前記変換部は、前記第1の画像と前記第2の画像の、前記ビットレートの比を用いて、前記符号化パラメータを変換する
前記(12)乃至(15)のいずれかに記載の画像処理装置。
(17) 前記第1の画像の画像情報を取得する第1画像情報取得部と、
前記第2の画像の画像情報を取得する第2画像情報取得部と
をさらに備える前記(12)乃至(16)のいずれかに記載の画像処理装置。
(18) 時分割方式により、前記第1の画像の画像情報と、前記第2の画像の画像情報とを取得する画像情報取得部をさらに備える
前記(12)乃至(17)のいずれかに記載の画像処理装置。
(19) 画像処理装置の画像処理方法であって、
変換部が、第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換し、
第2画像符号化部が、変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する
画像処理方法。
(20) コンピュータを、
第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換する変換部、
前記変換部により変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する第2画像符号化部
として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体

Claims (20)

  1. 第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換する変換部と、
    前記変換部により変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する第2画像符号化部と
    を備える画像処理装置。
  2. 前記符号化パラメータは、GMV(Global Motion Vector)、レートコントロールパラメータ、動きベクトル、または、イントラ予測モードのうちの1つまたは2つ以上を含む
    請求項1に記載の画像処理装置。
  3. 前記符号化パラメータが前記レートコントロールパラメータを含む場合、前記レートコントロールパラメータは、ターゲットビット、若しくは、デルタQ値である
    請求項2に記載の画像処理装置。
  4. 前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記イントラ予測モードをシフトする
    請求項2に記載の画像処理装置。
  5. 前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記第1の画像のイントラ予測モードに応じて、前記第2の画像のイントラ予測モードの候補となる予測方向を制限する
    請求項2に記載の画像処理装置。
  6. 前記変換部は、前記符号化パラメータがイントラ予測モードの場合、一部のブロックについてのみ、前記イントラ予測モードを処理する
    請求項2に記載の画像処理装置。
  7. 前記符号化部は、時分割方式により、複数の画像を符号化する
    請求項1に記載の画像処理装置。
  8. 前記第1の画像を符号化する第1画像符号化部をさらに備える
    請求項1に記載の画像処理装置。
  9. 前記第1の画像の符号化パラメータを導出する導出部をさらに備え、
    前記変換部は、前記導出部により導出された前記第1の画像の符号化パラメータを、前記第2の画像の符号化パラメータに変換する
    請求項1に記載の画像処理装置。
  10. 前記変換部は、前記導出部により導出された前記第1の画像の符号化パラメータを、前記第1の画像が導出されたのと同タイミングの第2の画像の符号化パラメータに変換する
    請求項9に記載の画像処理装置。
  11. 前記変換部および前記符号化部を、前記第1の画像以外の複数の画像のそれぞれに1つずつ有し、
    各変換部は、前記第1の画像の符号化パラメータを、自身が対応する画像の符号化パラメータに変換し、
    各符号化部は、自身が対応する画像を、前記画像の符号化パラメータを用いて符号化する
    請求項1に記載の画像処理装置。
  12. 前記変換部は、前記第1の画像の画像情報と前記第2の画像の画像情報とを用いて、前記符号化パラメータを変換する
    請求項1に記載の画像処理装置。
  13. 前記画像情報は、画角であり、
    前記変換部は、前記第1の画像と前記第2の画像の、前記画角の比を用いて、前記符号化パラメータを変換する
    請求項12に記載の画像処理装置。
  14. 前記画像情報は、画サイズであり、
    前記変換部は、前記第1の画像と前記第2の画像の、前記画サイズの比を用いて、前記符号化パラメータを変換する
    請求項12に記載の画像処理装置。
  15. 前記画像情報は、フレームレートであり、
    前記変換部は、前記第1の画像と前記第2の画像の、前記フレームレートの比を用いて、前記符号化パラメータを変換する
    請求項12に記載の画像処理装置。
  16. 前記画像情報は、ビットレートであり、
    前記変換部は、前記第1の画像と前記第2の画像の、前記ビットレートの比を用いて、前記符号化パラメータを変換する
    請求項12に記載の画像処理装置。
  17. 前記第1の画像の画像情報を取得する第1画像情報取得部と、
    前記第2の画像の画像情報を取得する第2画像情報取得部と
    をさらに備える請求項12に記載の画像処理装置。
  18. 時分割方式により、前記第1の画像の画像情報と、前記第2の画像の画像情報とを取得する画像情報取得部をさらに備える
    請求項12に記載の画像処理装置。
  19. 画像処理装置の画像処理方法であって、
    変換部が、第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換し、
    第2画像符号化部が、変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する
    画像処理方法。
  20. コンピュータを、
    第1の画像の符号化に用いられる符号化パラメータを、前記第1の画像とは異なる、前記第1の画像と実質的に同時刻の第2の画像の符号化パラメータに変換する変換部、
    前記変換部により変換されて得られた前記第2の画像の符号化パラメータを用いて、前記第2の画像を符号化する第2画像符号化部
    として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
JP2014507771A 2012-03-30 2013-03-21 画像処理装置および方法、並びに、プログラム Expired - Fee Related JP6070692B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012082533 2012-03-30
JP2012082533 2012-03-30
PCT/JP2013/057993 WO2013146507A1 (ja) 2012-03-30 2013-03-21 画像処理装置および方法、並びに記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016256509A Division JP6388172B2 (ja) 2012-03-30 2016-12-28 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2013146507A1 true JPWO2013146507A1 (ja) 2015-12-14
JP6070692B2 JP6070692B2 (ja) 2017-02-01

Family

ID=49259764

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014507771A Expired - Fee Related JP6070692B2 (ja) 2012-03-30 2013-03-21 画像処理装置および方法、並びに、プログラム
JP2016256509A Expired - Fee Related JP6388172B2 (ja) 2012-03-30 2016-12-28 画像処理装置および方法、並びにプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016256509A Expired - Fee Related JP6388172B2 (ja) 2012-03-30 2016-12-28 画像処理装置および方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20150036753A1 (ja)
EP (1) EP2833634A4 (ja)
JP (2) JP6070692B2 (ja)
CN (1) CN104185993B (ja)
WO (1) WO2013146507A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
EP2902802B1 (de) * 2014-01-31 2016-10-26 S.M.S. Smart Microwave Sensors GmbH Sensorvorrichtung
KR102476204B1 (ko) * 2017-10-19 2022-12-08 삼성전자주식회사 멀티 코덱 인코더 및 이를 포함하는 멀티 코덱 인코딩 시스템
MY202273A (en) * 2018-02-22 2024-04-22 Imc Corp Licensing B V Tug with an all around towing installation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005236584A (ja) * 2004-02-18 2005-09-02 Victor Co Of Japan Ltd 動画像情報変換符号化装置
JPWO2006073116A1 (ja) * 2005-01-07 2008-06-12 日本電信電話株式会社 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP2008536440A (ja) * 2005-04-15 2008-09-04 エルジー エレクトロニクス インコーポレーテッド ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
JP2010515400A (ja) * 2007-01-03 2010-05-06 サムスン エレクトロニクス カンパニー リミテッド 全域差ベクトルを利用した多視点映像の符号化、復号化方法及び装置
JP2012049753A (ja) * 2010-08-26 2012-03-08 Panasonic Corp 映像圧縮装置、映像圧縮方法およびプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
JP4517495B2 (ja) * 2000-11-10 2010-08-04 ソニー株式会社 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法
US7809061B1 (en) * 2004-01-22 2010-10-05 Vidiator Enterprises Inc. Method and system for hierarchical data reuse to improve efficiency in the encoding of unique multiple video streams
KR100703748B1 (ko) * 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR100885443B1 (ko) * 2005-04-06 2009-02-24 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
KR100703760B1 (ko) * 2005-03-18 2007-04-06 삼성전자주식회사 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
US7855752B2 (en) * 2006-07-31 2010-12-21 Hewlett-Packard Development Company, L.P. Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
WO2008053746A1 (fr) * 2006-10-30 2008-05-08 Nippon Telegraph And Telephone Corporation Procédé de génération d'informations de référence prédictives, procédé de codage et de décodage d'image dynamiques, leur dispositif, leur programme et support de stockage contenant le programme
EP3182708B1 (en) * 2007-01-04 2019-03-06 InterDigital Madison Patent Holdings Methods and apparatus for multi-view information conveyed in high level syntax
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
WO2010032419A1 (ja) * 2008-09-18 2010-03-25 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム
US20110026596A1 (en) * 2009-07-28 2011-02-03 Wei Hong Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion
CN102224731A (zh) * 2009-09-22 2011-10-19 松下电器产业株式会社 图像编码装置、图像解码装置、图像编码方法及图像解码方法
US20110122224A1 (en) * 2009-11-20 2011-05-26 Wang-He Lou Adaptive compression of background image (acbi) based on segmentation of three dimentional objects
CN102714725B (zh) * 2010-01-06 2015-04-29 杜比实验室特许公司 用于多层视频编码应用的高性能码率控制
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP2011216965A (ja) 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
KR101690253B1 (ko) * 2010-05-06 2016-12-27 삼성전자주식회사 영상 처리 장치 및 그 방법
JP2012034352A (ja) * 2010-06-30 2012-02-16 Panasonic Corp ステレオ動画像符号化装置及びステレオ動画像符号化方法
JP2012034356A (ja) * 2010-07-02 2012-02-16 Panasonic Corp 画像符号化装置、画像符号化方法、プログラムおよび集積回路
KR101781254B1 (ko) * 2010-08-11 2017-09-26 지이 비디오 컴프레션, 엘엘씨 멀티-뷰 신호 코덱
CA2806846A1 (en) * 2010-09-03 2012-03-08 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
US20130222539A1 (en) * 2010-10-08 2013-08-29 Dolby Laboratories Licensing Corporation Scalable frame compatible multiview encoding and decoding methods
US20140078254A1 (en) * 2011-06-15 2014-03-20 Mediatek Inc. Method and Apparatus of Motion and Disparity Vector Prediction and Compensation for 3D Video Coding
SG10201505808YA (en) * 2011-06-30 2015-09-29 Sony Corp Image processing device and image processing method
IL214894A (en) * 2011-08-30 2016-09-29 Rafael Advanced Defense Systems Ltd A combination of narrow field of view images and wide field of view
WO2013068547A2 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate and update

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005236584A (ja) * 2004-02-18 2005-09-02 Victor Co Of Japan Ltd 動画像情報変換符号化装置
JPWO2006073116A1 (ja) * 2005-01-07 2008-06-12 日本電信電話株式会社 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP2008536440A (ja) * 2005-04-15 2008-09-04 エルジー エレクトロニクス インコーポレーテッド ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
JP2010515400A (ja) * 2007-01-03 2010-05-06 サムスン エレクトロニクス カンパニー リミテッド 全域差ベクトルを利用した多視点映像の符号化、復号化方法及び装置
JP2012049753A (ja) * 2010-08-26 2012-03-08 Panasonic Corp 映像圧縮装置、映像圧縮方法およびプログラム

Also Published As

Publication number Publication date
EP2833634A1 (en) 2015-02-04
JP6388172B2 (ja) 2018-09-12
CN104185993A (zh) 2014-12-03
CN104185993B (zh) 2019-02-12
JP6070692B2 (ja) 2017-02-01
WO2013146507A1 (ja) 2013-10-03
EP2833634A4 (en) 2015-11-04
US20150036753A1 (en) 2015-02-05
JP2017085630A (ja) 2017-05-18

Similar Documents

Publication Publication Date Title
JP7446297B2 (ja) デコーダ側動きベクトル改良
EP3026906B1 (en) Moving image encoding apparatus and operation method thereof
JP2022523795A (ja) ビデオ・コーディングのための方法及び装置
JP5893002B2 (ja) ビデオ符号化におけるレート制御
JP6388172B2 (ja) 画像処理装置および方法、並びにプログラム
RU2641259C2 (ru) Устройство обработки изображений и способ
JP5664762B2 (ja) 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
US20130088570A1 (en) Image processing device and image processing method
JP6039178B2 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
CN104429074A (zh) 3d视频编码中视差矢量导出的方法和装置
JPWO2015104963A1 (ja) 画像処理装置及び動画像伝送方法
US20120014442A1 (en) Image processing device and image processing method
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
JP2011061302A (ja) 動画像符号化装置
JP2005203905A (ja) 画像符号化装置、画像符号化方法並びに画像符号化プログラム
EP2981083A1 (en) Method for encoding a plurality of input images and storage medium and device for storing program
WO2012128241A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2010081498A (ja) 画像圧縮符号化方法、及び装置
JP6678357B2 (ja) ビデオ符号化システムにおける動きベクトルの選択及び予測方法
US9762926B2 (en) Image processing device and image processing method, program, and imaging apparatus
JP2012186617A (ja) 画像処理装置および方法
JP2014200078A (ja) 動画像符号化装置及びその制御方法
JP5858119B2 (ja) 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
JP2011077721A (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
JP2012119969A (ja) 画像符号化方式変換装置および画像符号化方式変換プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161219

R151 Written notification of patent or utility model registration

Ref document number: 6070692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees