JP6527384B2

JP6527384B2 - 映像符号化装置及びプログラム

Info

Publication number: JP6527384B2
Application number: JP2015096384A
Authority: JP
Inventors: 境田　慎一; 慎一境田; 俊枝三須; 市ヶ谷　敦郎; 敦郎市ヶ谷
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2015-05-11
Filing date: 2015-05-11
Publication date: 2019-06-05
Anticipated expiration: 2035-05-11
Also published as: JP2016213698A

Description

本発明は映像符号化装置に関し、特に、２種類以上の空間解像度の映像を圧縮符号化して多重化する装置及びプログラムに関する。

近年、放送分野において、８Ｋ（空間解像度7680×4320）、４Ｋ（空間解像度3840×2160）といった超高精細映像の開発・応用が進んでいる。しかしながら、放送（配信）する映像は、超高精細解像度の映像のみでは十分ではない場合があり、受信側の機器の状態（放送用受信機やテレビの受信機能、ディスプレイの解像度等）に応じて、８Ｋ単独の放送だけではなく、８Ｋと４Ｋの同時放送や、さらには２Ｋを含む放送等、同一コンテンツを複数の解像度で伝送することが求められる場合が想定される。

このような超高精細映像の伝送の際には、高効率な圧縮符号化技術が不可欠になる。映像の圧縮符号化技術として、MPEG（Moving Picture Experts Group）-2やAVC（Advanced Video Coding）/H.264、HEVC（High Efficiency Video Coding）/H.265などの方式が開発・標準化され利用されている。伝送の際には、このような圧縮符号化方式を適切に選択して使用する。

また、複数の映像を同時に伝送するには、各映像信号を圧縮符号化し、これらを多重して多重化ストリームとして伝送路に送信することが行われる。しかしながら、使用できる伝送路には帯域（ビットレート）等の制約があることから、帯域を有効に利用できる効率的な圧縮符号化と多重化が求められている。

圧縮符号化で、画質を一定に保つ場合、圧縮符号化する映像内容・絵柄に依って発生する情報量は変動する。この方式はＶＢＲ（Variable Bit Rate）と呼ばれる。一方、放送など伝送路の帯域が定まっている場合には、発生情報量を一定に保つように発生情報量を制御する。この方式はＣＢＲ（Constant Bit Rate）と呼ばれる。さらに、伝送路の帯域に制約がある中で複数コンテンツを伝送する場合には、各コンテンツの発生情報量の総和を一定に保つような制御を施す技術がある。これは統計多重符号化と呼ばれ、狭い帯域でできるだけ高い画質を保つ場合に、できるだけ無駄なく帯域を使用するために利用される。

また、同一コンテンツの複数解像度での伝送には、通常の圧縮符号化方式の拡張として、階層符号化技術が開発されている。これは、複数（例えば２種類）の空間解像度の同一の映像を一つのストリームとして圧縮符号化し、復号側で一部のみを復号すると解像度の低い映像のみが得られ、ストリームすべてを復号すると解像度の高い映像も得られる機能を有する圧縮符号化方式である。

一方、既存の放送方式である地上波や衛星波の伝送帯域には、世界で定められたチャンネルプランによる制限や技術的な限界にともなう制限があり、複数の空間解像度の超高精細映像を伝送可能な帯域が十分に確保できない場合がある。この場合、伝送可能な情報量（ビットレート）に対して、各映像の圧縮符号化による発生情報量の総和が瞬時的に超過し、結果として映像に劣化や破たんが生じるおそれがある。

このような課題に対して、映像信号のＧＯＰ（Group Of Picture）の位相を各チャネル間でずらすことにより、多重化後の目標発生情報量を一定とした、多チャンネル符号化装置が提案されている（特許文献１）。

特許文献１に記載の多チャンネル符号化装置においては、各チャンネルのＩピクチャ（イントラピクチャ）の符号化を時間軸上に分散させるとともに、多重化ストリームが所定の符号レートを上回る可能性があることを検出すると、Ｉピクチャ禁止信号が出力され、Ｉピクチャ禁止信号を受けた構造決定部がすべての画像符号化部によるフレーム内符号化を禁止し、フレーム内符号化以外の予測符号化を行わせる構成としている。

特許第３１４７８５９号公報

以上述べたように、超高精細映像を伝送するのに十分でない帯域で複数の超高精細映像を圧縮符号化して伝送する場合、復号した映像に大きな劣化や破たんが生じる場合がある。

特に、放送システムにおいては、同一コンテンツを異なる解像度で伝送することが想定され、同一コンテンツであるから映像の各フレームにおける情報量の多寡が一致し、圧縮符号化による瞬時の発生情報量の総和が、伝送路の帯域を越える確率がより高くなる。

特許文献１の符号化装置は、多重化ストリームが所定の符号レートを上回る可能性があることを検出すると、Ｉピクチャ符号化を禁止するものであるが、Ｉピクチャ禁止信号が出力されている間は、全てのチャネルでＩピクチャを消滅させるため、全体としてＩピクチャが減少し、画像が劣化するおそれがある。また、特許文献１では、通常は単に順次巡回的にＩピクチャの配置をずらしているだけであり、最適なＩピクチャの配置方法について開示されていない。さらに、同一コンテンツを異なる解像度で配信する場合について検討されておらず、階層符号化への応用についても考慮されていない。

また、従来の映像符号化装置として、複数のフレームの情報を纏めたバッファを用意して、伝送路の帯域内での符号化をおこなうものもあるが、バッファ容量に応じて量子化を制御して総計の発生情報量を減らすものであり、ある時間区間で情報量を平坦化させるため、画質の低下や処理時間の遅れが生じる可能性がある。

従って、上記のような問題点に鑑みてなされた本発明の目的は、複数の映像を圧縮符号化して多重化する際に、映像を劣化させることなく、伝送路の帯域内での映像伝送を可能とした映像符号化装置及びプログラムを提供することにある。

上記課題を解決するために本発明に係る映像符号化装置は、複数の異なる解像度の同一映像を、同時に圧縮符号化し、多重化する映像符号化装置において、高解像度映像を符号化する第１の映像符号化部と、前記第１の映像符号化部への入力映像信号をダウンコンバートした低解像度映像を符号化する第２の映像符号化部とを有する複数の映像符号化部と、前記複数の映像符号化部の出力を多重化するとともに、前記複数の映像符号化部で発生する符号化情報を統計多重により多重化した結果生じる合計の瞬時的な符号化情報量が所定値を超えたときに指令を出力する多重化部と、前記指令に基づいて、前記複数の映像符号化部の一部の映像符号化部の符号化時の動き推定・補償の参照構造の位相を変更するＧＯＰ制御部と、を備え、前記瞬時的な符号化情報量が所定値を超えたとき、前記複数の映像符号化部のうちの一部の映像の符号化時の動き推定・補償の参照構造の位相を所定フレーム数ずらして発生する符号化情報量が前記所定値以内かを判断し、所定値以内であれば当該ずらした位相に前記参照構造を設定し、所定値を超えていればさらに所定フレーム数ずらすことを繰り返して、同一時刻で発生する符号化情報量を前記所定値以下に平滑化することを特徴とする。

上記課題を解決するために本発明に係る映像符号化装置は、複数の異なる解像度の同一映像を、同時に圧縮符号化し、多重化する映像符号化装置であって、前記圧縮符号化は、基本とする映像から解像度の高い映像を予測する構造を有する圧縮符号化である映像符号化装置において、基本とする映像を符号化する映像符号化部と解像度の高い映像を符号化する映像符号化部を含む複数の映像符号化部と、前記基本とする映像を符号化する映像符号化部の出力を復号して、解像度の低い映像を生成する局所復号部と、前記解像度の低い映像を拡大して前記解像度の高い映像を符号化する映像符号化部に出力するアップコンバート部と、前記複数の映像符号化部の出力を多重化するとともに、前記複数の映像符号化部で発生する符号化情報を統計多重により多重化した結果生じる合計の瞬時的な符号化情報量が所定値を超えたときに指令を出力する多重化部と、前記指令に基づいて、前記複数の映像符号化部の一部の映像符号化部の符号化時の動き推定・補償の参照構造の位相を変更するＧＯＰ制御部と、を備え、前記解像度の高い映像を符号化する映像符号化部は、前記アップコンバート部で拡大された映像の対応フレームを、解像度の高い映像を符号化する映像符号化の際の予測候補の一つとして使用するものであり、前記瞬時的な符号化情報量が所定値を超えたとき、前記複数の映像符号化部のうちの一部の映像の符号化時の動き推定・補償の参照構造の位相を所定フレーム数ずらして発生する符号化情報量が前記所定値以内かを判断し、所定値以内であれば当該ずらした位相に前記参照構造を設定し、所定値を超えていればさらに所定フレーム数ずらすことを繰り返して、同一時刻で発生する符号化情報量を前記所定値以下に平滑化することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記映像符号化装置として機能させることを特徴とする。

本発明における映像符号化装置によれば、超高精細映像を伝送するのに十分でない帯域で、複数の超高精細映像を圧縮符号化し伝送する際に、映像を劣化させることなく（イントラピクチャを減少させることなく）、瞬時的な総発生符号量を平滑化して、帯域内での伝送を可能とすることができ、画質の劣化や破たんを防ぐことができる。また、映像自体の処理時刻はずれないので、複数の映像間での遅延差は発生しない。

さらに、本発明により、階層符号化を行う場合においては、基本階層のＩピクチャを拡張階層の符号化で有効活用することにより、拡張階層の画質を向上させることができる。

実施の形態１の映像符号化装置のブロック図である。従来の２つの画像のＧＯＰ構造と情報発生量を示す図である。実施の形態１の２つの画像のＧＯＰ構造と情報発生量を示す図である。ＧＯＰ構造の位相を制御するフローチャートである。実施の形態２の映像符号化装置のブロック図である。従来の階層符号化のＧＯＰ構造と参照関係を示す図である。実施の形態２の階層符号化のＧＯＰ構造と参照関係を示す図である。

以下、本発明の実施の形態について説明する。以降の説明では、高解像度映像としての入力信号は、８Ｋや４Ｋのような超高精細度映像を想定して説明するが、高解像度映像は８Ｋ，４Ｋに限定されるものではない。また、説明を簡略にするため、ここでは、２種類の異解像度の同一映像（コンテンツ）を伝送すると仮定するが、本発明は２種類の異解像度映像に限定されない。

伝送帯域に制限がある中で、２種類の映像の全体の符号化情報量を一定に保って伝送する方式として、次の３通りが考えられる。
（１）それぞれの映像を独自にＣＢＲ符号化し、一定のビットレートに保つ方法
（２）２種類の映像の統計多重により、一定のビットレートに保つ方法
（３）階層符号化を利用したうえで、一定のビットレートに保つ方法

（１）の方法は、通常のＣＢＲ符号化をそれぞれの映像に適用するものであり、２映像間での情報の相互関係は無く、合計の発生符号量を積極的に減らしたり、調整することにはならないので、本発明では採用しない。

（２）の方法は、統計多重により符号量を２つの映像に適切に配分するものであり、本発明の実施の形態１として説明する。

（３）の方法は、２つの映像を１つのストリームとして符号量を配分するものであり、本発明の実施の形態２として説明する。

（実施の形態１）
図１に、統計多重を利用した映像符号化装置１００のブロック図を示す。映像符号化装置１００は、第１映像符号化部１１０と、第２映像符号化部１２０と、多重化部１３０と、ＧＯＰ制御部１４０とを備える。

第１入力信号（第１の入力信号）である高解像度映像は、第１映像符号化部１１０に入力される。第１映像符号化部１１０では、第１入力信号の高解像度映像を圧縮符号化する。圧縮符号化技術としては、例えばISO/IECで標準化されているMPEG-2やMPEG-4 AVCやMPEG-H HEVCなどのフレーム間予測を用いる任意の符号化技術が利用できる。第１映像符号化部１１０は、符号化された映像信号を多重化部１３０に出力するとともに、符号化された映像信号のＧＯＰの構造（符号化時の動き推定・補償の参照構造）に関する情報を、ＧＯＰ制御部１４０に出力する。

第２入力信号（第２の入力信号）である低解像度映像は、第２映像符号化部１２０に入力される。第１入力信号と第２入力信号が同一の映像コンテンツである場合は、高解像度映像を低解像度映像に変換するダウンコンバート部１５０を設け、第１入力信号をダウンコンバートして、第２入力信号を作成することができる。

ダウンコンバート部１５０は、第１入力信号としての高解像度映像を、例えば、水平、垂直共に１／２の解像度に縮小して、低解像度映像を作成する。縮小時に適用するフィルタについては、Lanczos3など既存のものを使用可能であり、特にダウンコンバートの方式を問わない。

第２映像符号化部１２０では、第２入力信号の低解像度映像を圧縮符号化する。圧縮符号化技術としては、例えばISO/IECで標準化されているMPEG-2やMPEG-4 AVCやMPEG-H HEVCなどのフレーム間予測を用いる任意の符号化技術が利用できるが、第１映像符号化部１１０と同じＧＯＰの処理単位を用いる方式の符号化技術であることが望ましい。第２映像符号化部１２０は、符号化された映像信号を多重化部１３０に出力するとともに、符号化された映像信号のＧＯＰの構造（符号化時の動き推定・補償の参照構造）に関する情報を、ＧＯＰ制御部１４０に出力する。

多重化部１３０は、第１映像符号化部１１０と第２映像符号化部１２０の出力である２つの符号化された映像信号を、多重化して送出する。また、多重化部１３０は、第１映像符号化部１１０及び第２映像符号化部１２０で発生する符号化情報量を観測し、合計の瞬時的な発生情報量が閾値を超えたときに、ＧＯＰ制御部１４０へ指令を出力する。なお、閾値は、伝送路の帯域（ビットレート）以下に瞬時的な総発生情報量を抑えることができるよう、上限値となる所定の値として設定される。

ＧＯＰ制御部１４０は、第１映像符号化部１１０と第２映像符号化部１２０から映像符号化のＧＯＰの構造情報を受けて、第１映像符号化部１１０と第２映像符号化部１２０のＧＯＰ構造の相互関係を管理している。また、多重化部１３０からの指令に基づいて、第１映像符号化部１１０と第２映像符号化部１２０の少なくとも一方に制御信号を出力し、第１映像符号化部１１０及び／又は第２映像符号化部１２０の符号化処理の際のＧＯＰ構造（符号化時の動き推定・補償の参照構造）の位相を変化させる制御を行う。

ＧＯＰ制御部１４０の動作について、より詳細に説明する。

ＧＯＰ（Group Of Picture）は、映像の圧縮・伸長の処理単位であり、一般に、フレーム間予測を行わずにイントラ予測により符号化されるイントラピクチャ（Ｉ）と、時間方向に過去のフレームからのみ予測する順方向予測のインターピクチャ（Ｐ）と、時間方向に複数のフレームから予測する双方向予測のインターピクチャ（Ｂ）の３種類から構成される。ＧＯＰの構造としては例えば、ＩＢＢＰＢＢＰＢＢＩＢＢＰ・・・のように、ある周期でＩおよびＰを挿入し、その間はＢとする構造や、ＩＢＢＢＢＢＢＢＢＩＢＢ・・・のようにＩとＢのみからなる構造があげられ、イントラピクチャから次のイントラピクチャまでの間を１つのＧＯＰと定義する。また、ＧＯＰ内の動き推定・補償の参照関係（参照構造）をＧＯＰ構造と呼ぶこととする。イントラピクチャの挿入周期は０．５秒や１秒など定期的にするのが一般的であるが、映像のカットチェンジ時に強制的にイントラピクチャにするなどの制御が行われることもある。イントラピクチャはフレーム間予測を行わない分、符号化による発生情報量が多くなる傾向にある。

同一コンテンツの高解像度映像と低解像度映像は、元は同じ映像であるから、ＧＯＰ構造及びイントラピクチャの位置（位相）が同じであれば、各ピクチャでの発生情報量の傾向はほぼ同じになる。図２は、従来技術により、例えば同じＩＢＢＰ・・・のＧＯＰ構造で高解像度映像と低解像度映像を符号化した場合の発生情報量を示したものである。この場合、図２のようにＩで情報量が多くなり、次いでＰ、Ｂの順に符号化による情報が発生する。高解像度映像と低解像度映像を同時に符号化伝送する場合、図２のような傾向の発生情報量であると、同じ時刻（フレーム）に同じように情報量の増減が生じる。

そこで、本発明は、統計多重を行う多重化部１３０において同時刻（フレーム）での高解像度映像と低解像度映像の符号化発生情報量を観測し、両者の総和が閾値を超えた場合に、高解像度映像と低解像度映像の少なくとも一方のＧＯＰの参照関係を変化させる指令をＧＯＰ制御部１４０に出力する。ＧＯＰ制御部１４０は、第１映像符号化部１１０及び／又は第２映像符号化部１２０に制御信号を出力して、映像に対する符号化時の動き推定・補償の参照構造を変化させる。具体的には、動き推定・補償の参照関係の周期構造（例えば、ＩＢＢＰ等の組合せ）を変化させることなく、基準となるイントラピクチャの時刻（フレーム）をずらす。このことをＧＯＰ構造の位相をずらす、又は位相を変化させるということとする。

図３は、低解像度映像のイントラピクチャの時刻を、高解像度映像よりも２フレーム分遅らせた例である。ＧＯＰの周期構造を変えることなく、２つの映像のイントラピクチャの時刻をずらすことで、同時刻の発生情報量の総和を減らし、発生情報量を平滑化することが可能になる。

なお、符号化装置や多重化装置では、発生情報量の総計を複数フレームやＧＯＰ単位で実施するためにバッファを設けることがある。そのため、ＧＯＰ構造を変化させるかどうかの判断は、通常バッファが設けられる多重化部１３０で行うことが望ましく、バッファが複数の符号化部に設けられた場合は、複数のバッファ内の情報量を参照して判断しても良い。

次に、ＧＯＰ構造の位相を変化させるか否か、および何フレームずらすかを決める手順について説明する。

図４に、符号化部のＧＯＰ構造の位相を制御するためのフローチャートを示す。

まず、ステップ１（Ｓ１）では、第１映像符号化部１１０及び第２映像符号化部１２０で、高解像度映像及び低解像度映像をそれぞれ圧縮符号化する。最初の段階では、それぞれの映像符号化部でそれまで使用されていたＧＯＰ構造と連続性を持って映像符号化を行う。

ステップ２（Ｓ２）において、第１映像符号化部１１０及び第２映像符号化部１２０の同時刻（フレーム）での符号化発生情報量を合計し、両者の総和と閾値とを比較する。ここで発生情報量の総和が閾値を超えた場合は、ステップ３（Ｓ３）に移る。なお、発生情報量の総和が閾値を超えない場合は、いったん終了し、Ｓ１とＳ２を繰り返して、発生情報量の総和について、引き続き監視を行う。

ステップ３（Ｓ３）では、ＧＯＰ構造の位相の変化量を設定する。すなわち、予め決められた所定のフレーム数（１回あたりのシフト量）だけ、イントラピクチャ（Ｉ）をずらすＧＯＰ位相の制御信号を出力する。映像符号化装置としては、発生情報量の総和が閾値を超えたとき、多重化部１３０が、映像符号化部のＧＯＰ構造の位相を変更することの指令を出力し、ＧＯＰ制御部１４０が、この指令に基づいて第１映像符号化部１１０及び／又は第２映像符号化部１２０に対してＧＯＰ構造（動き推定・補償の参照構造）の位相を所定フレーム数変更する制御信号を出力する。例えば、ＧＯＰ制御部１４０が、第２映像符号化部１２０に対して、ＧＯＰのイントラピクチャの位置を所定のフレーム数（例えば、１フレーム）ずらす制御信号を出力する。この位置（位相）のずらし方は、一方を他方より遅らせても、進めても良く、また、１回あたり何フレームずらしても構わない。

次に、ステップ４（Ｓ４）では、映像符号化部（例えば、第２映像符号化部１２０）において、符号化処理のＧＯＰ位相、すなわち、イントラピクチャ（Ｉ）の位置（時刻）を、Ｓ３で設定されたフレームに変更する制御を行う。そして、再度、Ｓ１に戻る。

Ｓ１では、映像フレームに対して新しく設定されたＧＯＰ構造（動き推定・補償の参照構造）に従って映像符号化を行い、Ｓ２において、新しい設定に基づく第１映像符号化部１１０及び第２映像符号化部１２０の符号化発生情報量の総和と閾値とを比較する。

この比較結果について、依然として発生情報量の総和が閾値を超えていた場合は、引き続き、Ｓ３→Ｓ４→Ｓ１→Ｓ２の処理を繰り返す。なお、処理を繰り返すごとに、映像符号化の際のイントラピクチャの位置は、所定のフレーム数ずつずれていく。

Ｓ２の比較結果について、その際のフレームごとの発生情報量和の最大値が予め定めた閾値以下であれば、ＧＯＰ構造の位相をそのフレーム分だけずらすことに決定して、終了する。

なお、最終的に、ＧＯＰ構造の位相を変更した後に符号化された信号は、多重化部１３０で多重化されて出力される。また、Ｓ２の発生情報量の総和の監視は、その後も引き続き行われる。

図４のフローチャートにおいては、Ｓ３の判断条件を発生情報量が閾値を超えたときとしたが、発生情報量が閾値以上となったときとしても良く、発生情報量が伝送路の帯域を超過することを検出する条件を適宜設定してよい。

この実施の形態において、入力信号は、２種類の異解像度の同一映像（コンテンツ）としたが、３種類以上の異解像度の映像であっても良い。このとき、映像符号化装置には、入力数に応じた映像符号化部を設ける。また、符号化発生情報量の総和が閾値を超えたときは、複数の映像符号化部のうち任意のＧＯＰ構造の位相を調整することができる。このとき、映像符号化部ごとに位相のずらし方を設定することができ、例えば、第１映像符号化部のイントラピクチャ（Ｉ）の位置を基準として、第２映像符号化部はイントラピクチャの位置を、第１の所定のフレーム数（例えば、１フレーム）ずつずらし、第３映像符号化部はイントラピクチャの位置を、第２の所定のフレーム数（例えば、２フレーム）ずつずらして、符号化発生情報量の総和を調整することができる。

また、この実施の形態においては、２種類の異解像度の映像が、異なるコンテンツの映像であっても同様に、帯域内での伝送を可能とするとの作用・効果が得られる。さらに、第１入力信号と第２入力信号の解像度が同じ場合であっても、映像符号化装置として同様に効果がある。

（実施の形態２）
以下に、本発明の実施の形態２について説明をする。本発明の実施の形態２の映像符号化装置は、階層符号化を利用するものである。

図５に、階層符号化を利用した映像符号化装置２００のブロック図を示す。映像符号化装置２００は、第１映像符号化部１１０と、第２映像符号化部１２０と、多重化部１３０と、ＧＯＰ制御部１４０と、基本階層映像局所復号部１６０と、アップコンバート部１７０とを備える。

第１入力信号（第１の入力信号）である高解像度映像は、第１映像符号化部１１０に入力される。第１映像符号化部１１０では、第１入力信号の高解像度映像を圧縮符号化するが、ここでは、高解像度映像は階層符号化の拡張階層（ＥＬ：Enhancement Layer）として第１映像符号化部１１０へ送られ、第１映像符号化部１１０は拡張階層符号化処理を行う。その際、基本階層の映像（基本階層の符号化信号を復号し、アップコンバート部１７０で拡大した映像）は、拡張階層符号化の際の予測候補の一つとして使用することができる。圧縮符号化技術としては、例えばISO/IECで標準化されているMPEG-2やMPEG-4 AVCやMPEG-H HEVCなどのフレーム間予測を用いる任意の符号化技術が利用できる。第１映像符号化部１１０は、符号化された映像信号（拡張階層符号化信号）を多重化部１３０に出力するとともに、符号化された映像信号のＧＯＰの構造（符号化時の動き推定・補償の参照構造）に関する情報を、ＧＯＰ制御部１４０に出力する。

第２映像符号化部１２０では、第２入力信号の低解像度映像を圧縮符号化するが、ここでは、低解像度映像は階層符号化の基本階層（ＢＬ：Base Layer）として第２映像符号化部１２０に送られ、第２映像符号化部１２０は基本階層符号化処理を行う。圧縮符号化技術としては、例えばISO/IECで標準化されているMPEG-2やMPEG-4 AVCやMPEG-H HEVCなどのフレーム間予測を用いる任意の符号化技術が利用できるが、第１映像符号化部１１０と同じＧＯＰの構成を用いる方式の符号化技術であることが望ましい。第２映像符号化部１２０は、符号化された映像信号（基本階層符号化信号）を多重化部１３０と基本階層映像局所復号部１６０に出力するとともに、符号化された映像信号のＧＯＰの構造（符号化時の動き推定・補償の参照構造）に関する情報を、ＧＯＰ制御部１４０に出力する。

基本階層映像局所復号部１６０は、第２映像符号化部１２０の出力である基本階層の符号化信号を復号し、第２入力信号の低解像度映像（基本階層）を生成する。ただし、生成された映像は、符号化により情報圧縮された後に復号されるため、符号化時のＧＯＰ構造（Ｉ，Ｐ，Ｂのいずれで圧縮されたか等）の影響をうけており、第２入力信号の低解像度映像を完全に復元するものではない。

アップコンバート部１７０は、基本階層映像局所復号部１６０で復号して得られた低解像度映像（基本階層）をアップコンバートし、元の解像度に拡大して、第２符号化部（拡張階層符号化部）１１０に出力する。拡大時に使用するフィルタはLanczos3など既存の方式を使用可能で、特に方式を問わない。なお、拡大された映像は、元の映像を縮小し、符号化及び復号処理を行った後、拡大処理されたものであるので、元の映像とは同一にはならない。

多重化部１３０とＧＯＰ制御部１４０の動作は、基本的には実施の態様１と同じである。すなわち、多重化部１３０は、第１映像符号化部１１０と第２映像符号化部１２０の出力である２つの符号化された映像信号を、多重化して送出する。また、多重化部１３０は、第１映像符号化部１１０及び第２映像符号化部１２０で発生する符号化情報量（同時刻（フレーム）での基本階層映像と拡張階層映像の符号化発生情報量）を観測し、合計の瞬時的な発生情報量が閾値を超えたときに、ＧＯＰ制御部１４０へ指令を出力する。

ＧＯＰ制御部１４０は、第１映像符号化部１１０と第２映像符号化部１２０から映像符号化のＧＯＰの構造情報を受けて、第１映像符号化部１１０と第２映像符号化部１２０のＧＯＰ構造の相互関係を管理している。また、多重化部１３０からの指令に基づいて、第１映像符号化部１１０と第２映像符号化部１２０の少なくとも一方に制御信号を出力し、第１映像符号化部１１０及び／又は第２映像符号化部１２０の符号化処理の際のＧＯＰ構造（符号化時の動き推定・補償の参照構造）の位相を所定のフレーム数だけ変化させる制御を行う。

階層符号化について、図６に基づいて、簡単に説明する。階層符号化は上記のMPEG-2やMPEG-4 AVCやMPEG-H HEVCなどの符号化技術の拡張として規格化されている方式を用いることができる。例えば、MPEG-H HEVCでは、基本階層の符号化信号を復号しアップコンバート部１７０で拡大された映像は、拡張階層符号化の際の予測候補の一つとして使用される。図６の矢印は、動き推定・補償の参照関係を示している。階層符号化の場合、基本階層（ＢＬ）は通常の符号化と同様の処理を施されるが、拡張階層（ＥＬ）に関しては、ＢＬからの予測とＥＬの他フレームからの予測で構成される。

図７は、拡張階層映像のイントラピクチャの時刻を基本階層映像よりも１フレーム分遅らせた例である。２つの映像のイントラピクチャの時刻をずらすことで同じ時刻の発生情報量の総和を減らすことが可能になる。なお、ＧＯＰ構造の位相を変化させるかどうかの判断、及び、何フレーム分ずらすかの決定は、図４のフローチャートに従って同様に行うことができる。発生情報量と閾値との比較は、通常バッファが設けられる多重化部１３０で行うことが望ましいが、両方の符号化出力のバッファが設けられる第１映像符号化部（拡張階層符号化部）で実施することも可能である。

また、図７の太線の囲いで示すように、ＥＬのＢピクチャの予測にＢＬのＩピクチャやＰピクチャを使用するフレームがある。図６の従来の階層符号化処理のように、ＧＯＰ構造がＢＬとＥＬで同一の場合には、ＥＬのＢはＢＬのＢからの予測となるが、本発明（図７）では、ＩやＰからの予測を行うことで、Ｂからの予測よりも高い画質の参照フレームを使用することができ、結果的にＥＬのＢの画質が向上する効果がある。

ＧＯＰ構造の位相を変更した後に符号化された信号は、多重化部１３０で多重されて出力される。

この実施の形態において、入力信号は、基本階層映像と拡張階層映像の２種類の異解像度の同一映像（コンテンツ）としたが、さらに、中間の階層映像を加えて、３種類以上の異解像度の映像を対象としても良い。このとき、映像符号化装置には、入力数に応じた映像符号化部を設けるとともに、下位の映像符号化部には、映像符号化した信号を復号する局所復号部と、復号された映像をアップコンバートして上位の階層の映像符号化部へ出力するアップコンバート部をそれぞれ設ける。また、符号化発生情報量の総和が閾値を超えたときは、複数の映像符号化部のうち任意のＧＯＰ構造の位相を調整することができる。このとき、映像符号化部ごとに位相のずらし方を設定することができ、符号化発生情報量の総和を調整することができる。

なお、この実施の形態２において、HEVCの階層符号化処理を利用する場合は、２種類の異解像度の映像が、異なるコンテンツの映像であっても、映像符号化装置として同様に機能することができる。

なお、上述した映像符号化装置として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、映像符号化装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックやステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１００映像符号化装置
１１０第１映像符号化部
１２０第２映像符号化部
１３０多重化部
１４０ＧＯＰ制御部
１５０ダウンコンバート部
１６０基本階層映像局所復号部
１７０アップコンバート部
２００映像符号化装置

Claims

複数の異なる解像度の同一映像を、同時に圧縮符号化し、多重化する映像符号化装置において、
高解像度映像を符号化する第１の映像符号化部と、前記第１の映像符号化部への入力映像信号をダウンコンバートした低解像度映像を符号化する第２の映像符号化部とを有する複数の映像符号化部と、
前記複数の映像符号化部の出力を多重化するとともに、前記複数の映像符号化部で発生する符号化情報を統計多重により多重化した結果生じる合計の瞬時的な符号化情報量が所定値を超えたときに指令を出力する多重化部と、
前記指令に基づいて、前記複数の映像符号化部の一部の映像符号化部の符号化時の動き推定・補償の参照構造の位相を変更するＧＯＰ制御部と、
を備え、
前記瞬時的な符号化情報量が所定値を超えたとき、前記複数の映像符号化部のうちの一部の映像の符号化時の動き推定・補償の参照構造の位相を所定フレーム数ずらして発生する符号化情報量が前記所定値以内かを判断し、所定値以内であれば当該ずらした位相に前記参照構造を設定し、所定値を超えていればさらに所定フレーム数ずらすことを繰り返して、同一時刻で発生する符号化情報量を前記所定値以下に平滑化することを特徴とする映像符号化装置。
複数の異なる解像度の同一映像を、同時に圧縮符号化し、多重化する映像符号化装置であって、前記圧縮符号化は、基本とする映像から解像度の高い映像を予測する構造を有する圧縮符号化である映像符号化装置において、
基本とする映像を符号化する映像符号化部と解像度の高い映像を符号化する映像符号化部を含む複数の映像符号化部と、
前記基本とする映像を符号化する映像符号化部の出力を復号して、解像度の低い映像を生成する局所復号部と、
前記解像度の低い映像を拡大して前記解像度の高い映像を符号化する映像符号化部に出力するアップコンバート部と、
前記複数の映像符号化部の出力を多重化するとともに、前記複数の映像符号化部で発生する符号化情報を統計多重により多重化した結果生じる合計の瞬時的な符号化情報量が所定値を超えたときに指令を出力する多重化部と、
前記指令に基づいて、前記複数の映像符号化部の一部の映像符号化部の符号化時の動き推定・補償の参照構造の位相を変更するＧＯＰ制御部と、
を備え、
前記解像度の高い映像を符号化する映像符号化部は、前記アップコンバート部で拡大された映像の対応フレームを、解像度の高い映像を符号化する映像符号化の際の予測候補の一つとして使用するものであり、
前記瞬時的な符号化情報量が所定値を超えたとき、前記複数の映像符号化部のうちの一部の映像の符号化時の動き推定・補償の参照構造の位相を所定フレーム数ずらして発生する符号化情報量が前記所定値以内かを判断し、所定値以内であれば当該ずらした位相に前記参照構造を設定し、所定値を超えていればさらに所定フレーム数ずらすことを繰り返して、同一時刻で発生する符号化情報量を前記所定値以下に平滑化することを特徴とする映像符号化装置。
コンピュータを、請求項１又は２に記載の映像符号化装置として機能させるためのプログラム。