JP5708490B2 - 動画像符号化装置、動画像符号化方法および動画像符号化プログラム - Google Patents

Description

本発明は、動画像データを符号化する動画像符号化装置、動画像符号化方法および動画像符号化プログラムに関する。

動画像データを符号化する際に、圧縮効率を高めるために、ＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding ）等の規格にもとづく符号化方式が用いられる。それらの符号化方式では、他のピクチャからの予測を行うことなく符号化されたイントラ符号化ピクチャ（Ｉピクチャ）と、符号化対象のピクチャに対して画像の表示順において過去のピクチャ、または過去および未来のピクチャからの予測を利用して符号化されたピクチャ間予測符号化ピクチャ（ＰピクチャまたはＢピクチャ）とを使用することができる。なお、「ピクチャ」は、インターレース方式の動画像をフィールド単位で符号化する場合にはフィールドに相当し、非インターレース方式（プログレッシブ方式）の動画像の場合にはフレームに相当する。また、動画像データを符号化する際に、インターレース方式の動画像において２フィールドを１フレームにまとめてフレーム単位で符号化することも可能であり、その場合には、「ピクチャ」はフレームに相当する。以下、ピクチャ間予測符号化を、インター符号化ということがある。

イントラ符号化ピクチャは、動画像の最初のピクチャの符号化で用いられる他、動画像の符号化データが伝送される場合に生じた伝送誤りにもとづいて発生した乱れた画像を正常な画像に復旧させたり、動画像の中途から再生するときに正常な画像を再生できるようにする等の目的で使用される。

符号化データを送信する側の符号化装置および符号化データを受信する側の復号装置には、一般に、受信した符号化データを蓄積する適当な容量のバッファメモリが設けられている。バッファメモリは、ＭＰＥＧ−２やＭＰＥＧ−４ ｐａｒｔ．２ではＶＢＶ（Video Buffering Verifier）バッファと呼ばれ、ＭＰＥＧ−４ ＡＶＣではＣＰＢ（Coded Picture Buffer）と呼ばれる。また、バッファメモリの容量は、例えば、（伝送レート×０．５秒）である。イントラ符号化ピクチャの圧縮効率は、インター符号化ピクチャの圧縮効率に比べて低いので、イントラ符号化ピクチャの符号量は、インター符号化ピクチャの符号量よりも多い。従って、イントラ符号化ピクチャとインター符号化ピクチャが混在する場合には、ピクチャ毎に符号量が変動する状況が生ずる。バッファメモリは、符号量の変動の影響を吸収する役割も果たす。

また、Ｂピクチャの利用に際して、Ｂピクチャよりも表示順において未来のＩピクチャおよびＰピクチャを先に復号することが求められるので、動画像を構成する各画像の入力順序に対して、符号化後のピクチャの順序が変更される。すなわち、ピクチャの並び替えが実行される。図８は、ピクチャの並び替えを説明するための説明図である。図８（Ａ）に例示されたような順序で動画像が符号化装置に入力される場合に、図８（Ｂ）に例示するように、伝送される符号化データのストリームにおけるピクチャの順序は、図８（Ａ）に示された順序とは異なる。なお、図８（Ａ），（Ｂ）において、”Ｂ”はＢピクチャを示し、”Ｉ”はＩピクチャを示し、”Ｐ”はＰピクチャを示す。図８（Ａ），（Ｂ）において、数字は、入力された順番を示す。また、図８（Ｂ）において、Ｉ，Ｂ，Ｐに”’”が付されているが、図８（Ａ）におけるＩ，Ｂ，Ｐが符号化前の動画像の構成要素を表しているのに対して、図８（Ｂ）における”’”が付されたＩ，Ｂ，Ｐが符号化後のビットストリームの構成要素を表すというデータ上の差異を区別するために付されているにすぎない。

伝送された符号化データがバッファメモリに一時滞在することに起因して、また、図８に示すようにピクチャの並び替えに起因して遅延が生ずる。すなわち、動画像が符号化装置に入力された時点に対して、復号装置から出力される再生された動画像の出力時点が遅れる。以下、符号化された動画像中にイントラ符号化ピクチャとインター符号化ピクチャとが存在することになる符号化を、通常遅延符号化ということがある。なお、遅延として、符号化処理および復号処理における遅延や伝送路における遅延もあるが、以下の説明では、符号化データがバッファメモリに一時滞在することに起因する遅延と、ピクチャの並び替えに起因する遅延とに着目する。

通常遅延符号化では、ピクチャ間予測で他のピクチャから参照されるピクチャである参照ピクチャと、他のピクチャから参照されないピクチャである非参照ピクチャとがある。図１１に示すように、参照ピクチャには、ＩピクチャおよびＰピクチャが含まれ、非参照ピクチャにはＢピクチャが含まれる。なお、ＭＰＥＧ−４ ＡＶＣでは、参照構造を階層化することも可能であり、Ｂピクチャを参照することもできる。例えば、Ｉ０，Ｂ１，Ｂ２，Ｂ３，Ｐ４の順で入力されるピクチャ群について、Ｉ０をＩピクチャ、Ｐ４をＰピクチャ、Ｂ１，Ｂ２，Ｂ３をＢピクチャとして符号化するとき、Ｂ２を参照ピクチャとして、Ｂ２がＩ０，Ｐ４の２枚のピクチャを参照し、Ｂ１がＩ０，Ｂ２の２枚のピクチャを参照し、Ｂ３がＢ２，Ｐ４の２枚のピクチャを参照するといった参照構造を取ることができる。いずれにせよ、非参照ピクチャは、他のピクチャから参照されないので、非参照ピクチャで発生した誤差は他のピクチャに伝搬しない。しかし、参照ピクチャにおける画質低下は、他のピクチャに影響を及ぼす。

そこで、符号化装置において、通常遅延符号化が行われる場合には、非参照ピクチャになるピクチャにおける量子化幅を大きくして符号化後の符号量が増大することを抑制し、参照ピクチャになるピクチャにおける量子化幅を小さくして画質低下を防止する制御が実行されることが多い（例えば、特許文献１参照）。

なお、図９において、”Ｂ”はＢピクチャを示し、”Ｉ”はＩピクチャを示し、”Ｐ”はＰピクチャを示す。図９において、数字は、入力された順番を示す。また、矢印で指し示されているピクチャが参照ピクチャに相当する。

上記のように、通常遅延符号化を用いる場合には遅延が生ずるが、動画像を用いた双方向コミュニケーションを実現する場合などには、適度な圧縮効率を維持しつつ、遅延を抑制することが好ましい。バッファメモリの容量を小さくするために各ピクチャの符号量をほぼ均一化すること、およびピクチャの並び替えを実行しないようにすることによって、遅延を抑制することができる。ピクチャの並び替えを実行しないようにするには、インター符号化ピクチャを使用しないようにするか、または、インター符号化ピクチャを使用する場合に片方向予測のみを用いるようにすればよい。

各ピクチャの符号量のばらつきを小さくし、かつ、ピクチャの並び替えを実行しないようにするとともに、適度な圧縮効率を維持し、かつ、リフレッシュの効果が損なわれないようにするために、伝送路の帯域が広い場合には、インター符号化ピクチャを使用せず、イントラ符号化ピクチャのみを使用することが好ましい。また、伝送路の帯域が狭い場合には、例えば、スライスリフレッシュが使用される。スライスリフレッシュは、イントラ符号化ピクチャを使用せず、インター符号化ピクチャのみを使用しながら画面をリフレッシュする技術であり、イントラスライスリフレッシュとも呼ばれる。

図１０は、Ｉピクチャによって画像（画面）がリフレッシュされる様子を示す説明図である。図１０において、破線による矩形で囲まれた各領域Ｒ_ｊ−１，Ｒ_ｊ，Ｒ_ｊ＋１は、それぞれ、予測制限範囲を示す。図１０に示すように、予測制限範囲を越える参照を行わないようにすることによって、誤差の伝搬が予測制限範囲内に限定される。

図１１は、スライスリフレッシュを説明するための説明図である。スライスリフレッシュは、図１０に例示されたようなＩピクチャによって画像（１画面）全体をリフレッシュするのではなく、図１１に示すように、ピクチャ内の一部のスライス（１または数行の帯状のマクロブロックの集合）をイントラ符号化領域にし、連続するピクチャのそれぞれにおけるイントラ符号化領域のスライスをずらし、所定時間が経過すると、画面全体にイントラ符号化領域のスライスが行き渡るようにするリフレッシュである（例えば、特許文献２参照）。図１１において、破線で囲まれた各領域Ｒ_ｊ−２，Ｒ_ｊ−１，Ｒ_ｊ，Ｒ_ｊ＋１は、それぞれ、予測制限範囲を示す。なお、本明細書および図面において、「スライス」のように画像を構成する部分領域のことを「セグメント」と表現することがある。特に、リフレッシュの対象セグメント（リフレッシュ領域）を「リフレッシュセグメント」と表現することがある。また、以下、「セグメント」と表現する場合は、帯状に限らない任意形状のマクロブロックの集合または１個のマクロブロックのいずれかを指す。例えば、ピクチャを構成するマクロブロック数がｎ個で、Ｎ枚のピクチャが経過すると画面全体にイントラ符号化領域が行き渡るように行うリフレッシュの場合には、Ｎ／ｎ個のマクロブロックからなる任意のピクチャ内の部分領域をリフレッシュセグメントとして用いてもよい。また、図１１において、「イントラ符号化セグメント」がリフレッシュ領域に相当する。「一般符号化セグメント」は、イントラ符号化またはインター符号化が使用される領域である。

また、図１２の説明図に示すように、破線で囲まれた領域Ｒ_ｊ−２，Ｒ_ｊ−１，Ｒ_ｊ，Ｒ_ｊ＋１である各予測制限範囲を定めるが、それぞれの予測制限範囲内では、イントラ符号化領域のスライスを定めることなく、インター符号化を使用することも可能であるようにした場合も、リフレッシュを実現することができる。

ただし、一般に、予測制限範囲ではイントラ符号化を行った方が符号化効率が高くなるので、図１１に例示されたようなイントラ符号化セグメントによるリフレッシュが使用されることが多い。以下、図１１および図１２に例示されたようなリフレッシュを漸次リフレッシュという。

テレビジョン放送システムにおいて、記録媒体に記録されている映像および音声を視聴者に提供する場合の他に、スポーツ番組の提供やニュース報道の場合など撮影した映像と採取した音声とをリアルタイムで視聴者に提供する場合がある。撮影場所が放送局から離れている場合には、撮影場所から複数の中継設備を経て映像および音声が放送局に伝送される（例えば、特許文献３参照）。その後、放送局から、視聴者が有する受信設備に対して、映像および音声が放送される。以下、撮影場所を、映像取得地点ということがある。

ディジタルテレビジョン放送の場合には、一般に、映像取得地点に存在する撮像装置において符号化された動画像データが放送局に伝送される。その後、放送局から、視聴者が有する受信設備に対して、映像および音声がディジタルデータとして送信される。また、中継設備において、受信された符号化データが復号された後、再符号化された符号化データが放送局に向けて送信されることもある。

特開２００２−１２５２３２号公報（段落０００７） 特開２００７−２２１４１１号公報（段落０００５，０００６） 特開２００８−２５２７５５号公報（段落０００３−０００５）

テレビジョン放送システムにおいて、撮影した映像と採取した音声とをリアルタイムで視聴者に提供する場合等には、映像取得地点から視聴者が有する受信設備までの間において生ずる遅延は小さいことが望ましい。しかし、一般に、放送局から視聴者が有する受信設備に至る伝送路の帯域は広くない。よって、放送局から視聴者が有する受信設備に送信される動画像データについては、遅延を小さくすることによりも、画質の維持が優先され、通常遅延符号化が使用される。しかし、一般に、映像取得地点から放送局までの間の伝送路の帯域は広い。そこで、映像取得地点から視聴者が有する受信設備までの間での遅延量を少なくするために、映像取得地点では、イントラ符号化のみによる符号化を使用すること、または、漸次リフレッシュを用いた符号化を使用することが考えられる。

放送局から視聴者が有する受信設備に送信される動画像データについては通常遅延符号化が使用される場合に、映像取得地点ではイントラ符号化のみによる符号化を使用したり漸次リフレッシュを用いた符号化を使用するときには、放送局等において、映像取得地点から伝送されたイントラ符号化ピクチャのみを含むデータストリームや漸次リフレッシュを用いたデータストリームを一旦復号し、通常遅延符号化による再符号化が行われる。

以下、映像取得地点で実行される符号化処理を前段における符号化処理といい、放送局等で実行される再符号化を後段における符号化処理という。

映像取得地点から中継設備や放送局を経て視聴者が有する受信設備に映像の符号化データが伝送される動画像データ伝送システムにおいて、前段の符号化処理における量子化制御、すなわち映像取得地点で実行されるイントラ符号化のみによる符号化処理や漸次リフレッシュを用いた符号化処理の実行時における量子化制御において、後段における通常遅延符号化による符号化処理を考慮しない場合には、再符号化時に参照ピクチャとされるか非参照ピクチャとされるかに関わらず、同じ量子化制御が施されることになる。

図１３は、前段の符号化処理による符号化データのデータストリーム（図１３（Ａ）参照）と、後段において再符号化される符号化データのデータストリーム（図１３（Ｂ）参照）との関係の一例を示す説明図である。後段における符号化処理で通常遅延符号化が行われ、その通常遅延符号化において、非参照ピクチャにおける量子化幅を大きくし参照ピクチャにおける量子化幅を小さくする制御が行われることを想定する（図１３（Ｂ）参照）。図１３において、”Ｂ”はＢピクチャを示し、”Ｉ”はＩピクチャを示し、”Ｐ”はＰピクチャを示す。また、図１３（Ｂ）において、大きく描かれている”Ｉ”および”Ｐ”が示すＩピクチャおよびＰピクチャは、相対的に小さい量子化幅で量子化されたピクチャであることを示す。また、図１３（Ａ）において、各Ｐピクチャの量子化幅が同じであることを想定する。

後段の再符号化処理で、前段の符号化処理で作成された符号化データを復号した後に再符号化を行う場合には、参照ピクチャにおける量子化幅を小さくする制御を実行しても、画質の劣化を抑える効果が低減する可能性がある。図１３（Ａ）に示すように、一律な量子化幅を用いて全てのピクチャをＰピクチャにする前段の符号化処理において、全てのピクチャの画質はある程度劣化しているからである。

図１４は、前段の符号化処理で漸次リフレッシュが実行される場合の符号化データのデータストリーム（図１４（Ａ）参照）と、後段において再符号化される符号化データのデータストリーム（図１４（Ｂ）参照）との関係の一例を示す説明図である。図１４において、”Ｂ”はＢピクチャを示し、”Ｉ”はＩピクチャを示し、”Ｐ”はＰピクチャを示す。図１４（Ａ）において斜線で示されている領域がリフレッシュ領域である。また、図１４（Ｂ）において、大きく描かれている”Ｉ”および”Ｐ”が示すＩピクチャおよびＰピクチャは、相対的に小さい量子化幅で量子化されたピクチャであることを示す。

後段の再符号化処理において、一般に、参照ピクチャではないピクチャ（非参照ピクチャ）になるピクチャにおける量子化幅を大きくして符号化後の符号量が増大することを抑制し参照ピクチャになるピクチャにおける量子化幅を小さくするような制御が実行されるので、前段の符号化処理における漸次リフレッシュが、後段の再符号化処理における量子化幅の制御が考慮されずに実行される場合には、後段の再符号化処理で非参照ピクチャとされるピクチャについての量子化幅が前段の符号化処理での量子化幅に比べて相対的に大きくなり、前段の符号化処理において当該ピクチャに対して割り当てた符号量が無駄になってしまうおそれがある。すなわち、動画像データ伝送システム全体において、符号化効率が低下するおそれがある。換言すれば、同一の符号量を費やして得られる画質が低下したり、同一の画質を得るための所要符号量が増加したりするおそれがある。

そこで、本発明は、伝送路を介して符号化データを受信する装置において再符号化が行われる場合に、動画像データ伝送システム全体において、符号化効率を改善することができる動画像符号化装置、動画像符号化方法および動画像符号化プログラムを提供することを目的とする。

本発明による動画像符号化装置は、画像データとインター予測部またはイントラ予測部が生成した予測値とから予測誤差信号を生成する予測誤差生成手段と、予測誤差生成手段が生成した予測誤差信号を量子化する量子化手段と、ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する再符号化時ピクチャタイプ判定手段とを備え、予測誤差生成手段は、符号化されたピクチャを作成する際に、参照ピクチャになるピクチャのみが作成されるように予測誤差信号を生成し、ピクチャが後段の再符号化処理で参照ピクチャとされると再符号化時ピクチャタイプ判定手段によって判定された場合に、非参照ピクチャとされると判定された場合に比べて、量子化手段による量子化の際の量子化ステップを小さくするように制御する量子化制御手段を備えたことを特徴とする。

本発明による他の態様の動画像符号化装置は、入力された動画像における画像データをイントラ符号化して、符号化されたピクチャを作成する動画像符号化装置であって、画像データとイントラ予測部が生成した予測値とから予測誤差信号を生成する予測誤差生成手段と、予測誤差生成手段が生成した予測誤差信号を量子化する量子化手段と、ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する再符号化時ピクチャタイプ判定手段とを備え、ピクチャが後段の再符号化処理で参照ピクチャとされると再符号化時ピクチャタイプ判定手段によって判定された場合に、非参照ピクチャとされると判定された場合に比べて、量子化手段による量子化の際の量子化ステップを小さくするように制御する量子化制御手段を備えたことを特徴とする。

本発明による動画像符号化方法は、画像データとインター予測処理またはイントラ予測処理で生成された予測値とから予測誤差信号を生成し、生成された予測誤差信号を量子化し、ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定し、符号化されたピクチャが作成される際に、参照ピクチャになるピクチャのみが作成されるように予測誤差信号を生成し、ピクチャが後段の再符号化処理で参照ピクチャとされると判定された場合に、非参照ピクチャとされると判定された場合に比べて、量子化の際の量子化ステップを小さくするように制御することを特徴とする。

本発明による動画像符号化プログラムは、コンピュータに、画像データとインター予測処理またはイントラ予測処理で生成された予測値とから予測誤差信号を生成する処理と、生成された予測誤差信号を量子化する処理と、ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する処理と、符号化されたピクチャが作成される際に、参照ピクチャになるピクチャのみが作成されるように予測誤差信号を生成する処理と、ピクチャが後段の再符号化処理で参照ピクチャとされると判定された場合に、非参照ピクチャとされると判定された場合に比べて、量子化の際の量子化ステップを小さくするように制御する処理とを実行させることを特徴とする。

本発明によれば、伝送路を介して符号化データを受信する装置において再符号化が行われる場合に、動画像データ伝送システム全体において、符号化効率を改善することができる。

本発明による動画像符号化装置の第１の実施形態を示すブロック図である。 本発明による符号化装置を適用することが可能な動画像データ伝送システムの一例を示すブロック図である。 符号化装置の動作を示すフローチャートである。 符号化データのストリームと後段において再符号化される符号化データのストリームとの関係の一例を示す説明図である。 第２の実施形態の符号化装置の構成例を示すブロック図である。 本発明による符号化装置における主要部を示すブロック図である。 本発明による符号化装置における主要部を示すブロック図である。 ピクチャの並び替えを説明するための説明図である。 ピクチャの参照関係を示す説明図である。 Ｉピクチャによって画面がリフレッシュされる様子を示す説明図である。 スライスリフレッシュを説明するための説明図である。 予測制限範囲を説明するための説明図である。 符号化データのストリームと後段において再符号化される符号化データのストリームとの関係の一例を示す説明図である。 漸次リフレッシュが実行される場合の符号化データのストリームと、後段において再符号化される符号化データのストリームとの関係の一例を示す説明図である。

実施形態１．
図１は、本発明による動画像符号化装置の第１の実施形態を示すブロック図である。図１に示す動画像符号化装置において、入力動画像を構成する各入力画像は、減算器１１、量子化制御部１２および動き検出部１９に入力される。以下、ピクチャとして、フレームを例にする。減算器１１は、入力画像におけるマクロブロック単位で、予測誤差信号を生成する。マクロブロックは、入力画像を分割した部分領域を意味し、典型的には、１６×１６画素の矩形領域である。減算器１１は、マクロブロックのデータから、フレーム内予測部（イントラ予測部）１７またはフレーム間予測部（インター予測部）１８が出力する予測値を減算することによって予測誤差信号を生成する。以下、動画像符号化装置を符号化装置という。

量子化制御部１２は、入力画像と発生符号量とにもとづいて量子化パラメータを決定し、決定した量子化パラメータを出力する。量子化パラメータには、量子化ステップサイズまたは量子化幅の概念が含まれる。

周波数変換／量子化部１３における周波数変換部は、減算器１１が生成した予測誤差信号に離散コサイン変換（ＤＣＴ：Discrete Cosine Transform ）を施すことによって、予測誤差信号を空間領域の信号から周波数領域の信号に変換し、ＤＣＴ係数を作成する。周波数変換／量子化部１３における量子化部は、周波数変換部が作成したＤＣＴ係数を、量子化制御部１２が決定した量子化幅で量子化する。可変長符号化部２１は、量子化されたＤＣＴ係数を可変長符号化し、符号化データのストリームとして出力する。

逆量子化／逆周波数変換部１４における逆量子化部は、周波数変換／量子化部１３が出力するＤＣＴ係数を逆量子化する。逆量子化／逆周波数変換部１４における逆周波数変換部は、逆量子化されたＤＣＴ係数に対して逆ＤＣＴを施すことによって、空間領域の予測誤差信号を再生する。

加算器１５は、逆量子化／逆周波数変換部１４が出力する予測誤差信号と、フレーム内予測部１７またはフレーム間予測部１８が出力する予測値とを加算することによって画像フレームを再生し、再生した画像フレームを参照フレームとしてフレームメモリ１６に格納する。

動き検出部１９は、フレームメモリ１６に格納されている参照フレームから、入力画像のマクロブロックの予測誤差信号を最小にする動きベクトルを検出し、フレーム間予測部１８に対して出力する。

適応予測選択部２０は、減算器１１に対して出力する信号として、フレーム内予測部１７の出力またはフレーム間予測部１８の出力を選択するためのスイッチである。適応予測選択部２０は、イントラ符号化が実行されるときにはフレーム内予測部１７の出力を選択し、インター符号化が実行されるときにはフレーム間予測部１８の出力を選択する。

なお、図１に示された符号化装置を、ハードウェア回路で実現することができるが、プログラムにもとづいて処理を実行するプロセッサで実現することもできる。従って、以下で説明する符号化装置における処理は、ソフトウェアで実現することもできる。

また、本実施形態で特徴的なことは、入力画像にもとづいて量子化制御部１２に与える制御信号を作成する再符号化ピクチャタイプ判定部１０が設けられていることである。

また、本実施形態では、フレーム間予測部１８は、符号化対象のピクチャに対して画像の表示順において過去のピクチャを参照ピクチャにする符号化処理のみを実行し、符号化対象のピクチャに対して過去および未来のピクチャからの予測を利用する符号化処理を実行しない。すなわち、符号化装置は、フレーム間予測を使用して符号化処理を実行する場合には、一方向予測のみを利用する符号化処理を実行する。具体的には、符号化装置は、Ｐピクチャのみを出力する。なお、本実施形態において、符号化装置は、フレーム間予測を利用せずに符号化処理を行うように構成されてもよい。そのように構成される場合には、符号化装置は、Ｉピクチャのみを出力する。また、そのように構成される場合には、符号化装置は、フレーム間予測に関する構成要素を備えていなくてもよい。

図２は、本発明による符号化装置を適用することが可能な動画像データ伝送システムの一例を示すブロック図である。図２に示すシステムでは、映像取得地点に存在するカメラ３１が撮像した動画像にもとづく符号化データのストリームが、通信ネットワーク３２を介して地方局３３に伝送される。通信ネットワーク３２は、例えば、無線伝送路を含むＩＰ網である。地方局３３における放送設備（図示せず）とキー局３５における放送設備（図示せず）とは、伝送路３４を介して通信を行う。

また、例えば、中継車（図示せず）に搭載されたカメラ４１が撮像した動画像にもとづく符号化データのストリームは、マイクロ波回線４２などを介して、中継地点における無線中継装置であるＦＰＵ（Field Pickup Unit ）４３に伝送される。中継地点が複数存在することもある。そして、ＦＰＵ４３からストリームが伝送路４４を介して地方局３３に伝送される。

地方局３３において、放送設備から視聴者の受信設備（例えば、テレビジョン受信機）５１，５２に対して、符号化データのストリームを用いたディジタル信号による放送（ディジタル放送）が行われる。また、キー局３５において、放送設備から視聴者の受信設備６１，６２に対して、符号化データのストリームを用いたディジタル放送が行われる。

カメラ３１，４１から地方局３３に至る伝送路の帯域は比較的広い。また、地方局３３とキー局３５との間の伝送路の帯域も比較的広い。よって、それらの伝送路に動画像の符号化データを送信する場合には、イントラ符号化のみによる符号化を使用するか、または、漸次リフレッシュを用いた符号化を使用することが多い。

しかし、地方局３３と受信設備５１，５２との間の伝送路の帯域、およびキー局３５と受信設備６１，６２との間の伝送路の帯域は、それほど広くない。また、ディジタル放送では、所定の規格にもとづく符号化を行うことが求められる。従って、例えば、地方局３３およびキー局３５では、通常遅延符号化による符号化データを用いてディジタル放送を行う。カメラ３１，４１が取得した動画像を即時に視聴者に配信する場合には、地方局３３およびキー局３５において、イントラ符号化のみによる符号化や漸次リフレッシュを用いた符号化にもとづくデータを復号し、次いで、通常遅延符号化による再符号化が行われる。

なお、図２に示すシステムは一例であって、本発明による符号化装置が適用可能なシステムは、図２に示すシステムに限定されない。

また、図２に例示されたシステムでは、映像取得地点に存在するカメラ３１，４１に、図１に例示された符号化装置が搭載される。

地方局３３およびキー局３５において通常遅延符号化による再符号化が行われる場合に、非参照ピクチャになるピクチャにおける量子化幅を大きくし、参照ピクチャになるピクチャにおける量子化幅を小さくする制御（図１３（Ｂ）参照）が行われることを想定する。以下、再符号化が行われる地点を再符号化地点という。

また、伝送路の帯域が広いことから符号量の増大をある程度許容できるので、映像取得地点における符号化装置は、参照ピクチャ（ＩピクチャおよびＰピクチャ）になりうるピクチャタイプのみを用いて符号化を行うことを想定する。

そして、映像取得地点における符号化装置は、再符号化地点において実行される再符号化において参照ピクチャになるピクチャを推定し、参照ピクチャになると推定したピクチャを符号化する際の量子化幅を、参照ピクチャにならないと推定したピクチャを符号化する際の量子化幅よりも小さくする。そのような制御を行わない場合には、再符号化地点での再符号化の際に量子化幅が小さくされるピクチャについて、映像取得地点において符号化の際に粗い量子化幅が用いられるという状況が生ずる可能性がある。映像取得地点において符号化の際に粗い量子化幅が用いられたピクチャについて、再符号化の際に量子化幅を小さくしても画質劣化の防止を期待することはできない。しかし、本実施形態では、映像取得地点において、再符号化地点での再符号化の際に参照ピクチャになると推定されるピクチャの量子化幅を小さくするので、画質劣化を防止することができる。換言すれば、映像取得地点から視聴者の受信設備に至るまでのシステム全体における符号化効率が改善される。

次に、図３のフローチャートを参照して符号化装置の動作を説明する。

再符号化ピクチャタイプ判定部１０は、入力動画像データを構成する各ピクチャ（本実施形態では、フレーム）について、後段における再符号化で選択されると考えられるピクチャタイプを判定する（ステップＳ１）。ピクチャタイプの判定の方法として、公知のいずれの方法を用いてもよいが、再符号化ピクチャタイプ判定部１０は、一例として、以下のような方法を用いる。

各ピクチャを符号化したときのピクチャ内の平均量子化幅をＱ、発生符号量をＳとした場合に、（Ｓ×Ｑ）で表される特徴量Ｘ（＝Ｓ×Ｑ）を複雑度とする。直近にＩピクチャとして符号化した複雑度をＸ_ｉ、直近にＰピクチャとして符号化した複雑度をＸ_ｐとしたときに、ビットレートで定まるしきい値Ｔに対して、
（Ｘ_ｐ／Ｘ_ｉ）＞Ｔ
であるときには、参照ピクチャ間距離を「１」にする。それ以外の場合には、参照ピクチャ間距離を「３」にする。

参照ピクチャ間距離は、参照ピクチャになりうるピクチャと、次に参照ピクチャになりうるピクチャとの間の時間的な距離である。参照ピクチャ間距離が「１」であるということは、参照ピクチャになりうるピクチャの直後のピクチャも、参照ピクチャになりうるピクチャにすることを意味する。また、参照ピクチャ間距離が「３」であるということは、参照ピクチャになりうるピクチャの３つ後のピクチャを、参照ピクチャになりうるピクチャにすることを意味する。

再符号化ピクチャタイプ判定部１０は、入力動画像データを構成する各ピクチャについて、ピクチャタイプを示す制御信号を量子化制御部１２に出力する（ステップＳ２）。

量子化制御部１２は、制御信号が参照ピクチャを示している場合には、制御信号が参照ピクチャを示していない場合に比べて、量子化ステップのサイズを小さくする（ステップＳ３，Ｓ４）。換言すれば、量子化幅を小さくする。制御信号が参照ピクチャを示していない場合すなわち制御信号が非参照ピクチャを示している場合には、制御信号が参照ピクチャを示している場合に比べて、量子化ステップのサイズを大きくする（ステップＳ３，Ｓ５）。換言すれば、量子化幅を大きくする。

なお、再符号化ピクチャタイプ判定部１０からの制御信号が参照ピクチャを示している場合とは、図１に例示されている符号化装置と伝送路を介して通信可能に接続されている後段の装置で実行される再符号化において参照ピクチャとされることを意味する。また、再符号化ピクチャタイプ判定部１０からの制御信号が非参照ピクチャを示している場合とは、図１に例示されている符号化装置と伝送路を介して通信可能に接続されている後段の装置で実行される再符号化において非参照ピクチャとされることを意味する。

また、本実施形態では、量子化制御部１２は、再符号化ピクチャタイプ判定部１０からの制御信号が参照ピクチャを示している場合と非参照ピクチャを示している場合とで量子化幅を違えるが、符号化装置は、実際に符号化するピクチャの符号化タイプを全てＩピクチャまたはＰピクチャにする。実際に符号化するピクチャの符号化タイプを全てＩピクチャにする場合には、適応予測選択部２０は、常にフレーム内予測部１７の出力を選択する。また、実際に符号化するピクチャの符号化タイプを全てＰピクチャにする場合には、適応予測選択部２０は、フレーム内予測部１７の出力とフレーム間予測部１８の出力のどちらか一方を選択するが、フレーム間予測部１８は、一方向予測のみを利用した予測値を出力する。

図４は、図１に例示された符号化装置による符号化データのストリームと、後段において再符号化される符号化データのストリームとの関係の一例を示す説明図である。図４（Ａ）には、符号化装置がＰピクチャのみからなるデータストリームを送信することが例示されている。図４（Ａ）において、”Ｐ”はＰピクチャを意味するが、大きく描かれている”Ｐ”が示すＰピクチャは、相対的に小さい量子化幅で量子化されたピクチャであることを示す。

そして、図４（Ｂ）に示すように、後段の再符号化を行う装置では、符号化装置が小さい量子化幅で量子化したピクチャを、参照ピクチャ（ＩピクチャまたはＰピクチャ）にする。

なお、後段の装置が、符号化装置が小さい量子化幅で量子化したピクチャを特定する方法、すなわち符号化装置が参照ピクチャになると推定したピクチャを特定する方法として、例えば以下のような方法がある。

上記のように、符号化装置が画像の複雑度Ｘにもとづいて参照ピクチャになるか非参照ピクチャになるのかを判定した場合には、後段の装置は、符号化装置が判定に用いらアルゴリズムと同じアルゴリズムによって画像の複雑度Ｘにもとづいて参照ピクチャになるか非参照ピクチャになるのかを決定する。その場合には、符号化装置は、小さい量子化幅で量子化したピクチャを特定するための情報を後段の装置に送信しなくてもよい。

また、後段の装置は、各ピクチャに対する過去および未来の複数のピクチャを参照して各ピクチャの平均量子化ステップを検出し、各ピクチャを、平均量子化ステップが大きいグループと平均量子化ステップが小さいグループとにグループ分けしてもよい。その場合、平均量子化ステップが小さいグループに属するピクチャを参照ピクチャにし、平均量子化ステップが大きいグループに属するピクチャを非参照ピクチャにする。そのような制御する場合も、符号化装置は、小さい量子化幅で量子化したピクチャを特定するための情報を後段の装置に送信しなくてもよい。

また、符号化装置は、符号化データとともに、小さい量子化幅で量子化したピクチャを特定するための補助情報を送信してもよい。例えば、ＭＰＥＧ−２やＭＰＥＧ−４ ｐａｒｔ．２では、user_data の領域に補助情報を設定する。ＭＰＥＧ−４ ＡＶＣでは、ＳＥＩ（Supplemental Enhancement Information）メッセージに補助情報を設定する。また、システムレイヤ、例えばＭＰＥＧ−２ ＴＳ（Transport Stream）やＭＰＥＧ−２ ＰＳ（Program Stream）内の領域に、補助情報を設定することもできる。

なお、本実施形態では、符号化装置は、画像の複雑度に応じて、参照ピクチャになるか非参照ピクチャになるのかを判定したが、全てのピクチャを参照ピクチャとして扱うようにしてもよい。

実施形態２．
第１の実施形態では、リフレッシュ制御に関する構成は省略されていたが、符号化装置は、所定のリフレッシュ制御を実行してもよい。図５は、リフレッシュ制御を実行する第２の実施形態の符号化装置の構成例を示すブロック図である。

図５に例示された符号化装置は、リフレッシュ制御部２２を備えている。リフレッシュ制御部２２は、各フレームにおけるリフレッシュ領域（リフレッシュ単位領域）を設定する処理を行う。そして、フレーム内予測部１７および動き検出部１９にリフレッシュのためのリフレッシュ制御信号を与える。リフレッシュ制御信号はリフレッシュ領域を示す信号である。なお、リフレッシュ制御信号が、予測制限範囲を示す情報を含んでいてもよい。

適応予測選択部２０は、リフレッシュ制御信号が入力されると、フレーム内予測部１７の出力のみを選択する。すなわち、イントラ符号化によってリフレッシュを行う。

なお、予測制限範囲を越える参照を行わないようにすれば、リフレッシュのセグメントにおいて、インター符号化を用いてもよい。その場合、適応予測選択部２０は、リフレッシュ制御信号が入力されると、フレーム間予測部１８の出力を選択する。

また、本実施形態では、基本的に、漸次リフレッシュ（図１１および図１４（Ａ）参照）を使用する。よって、フレーム内予測部１７は、フレーム内の予測範囲を、予測制限範囲内に限定する。すなわち、フレーム内予測部１７は、予測制限範囲を越える予測値を作成しないようにする。また、動き検出部１９は、予測制限範囲を越える動きベクトルを生成しないようにする。その結果、適応予測選択部２０は、予測制限範囲を越えるフレーム内予測部１７による予測値および予測制限範囲を越えるフレーム間予測部１８による予測値を除外できることになる。

なお、動き検出部１９が予測制限範囲を越える動きベクトルを生成しないようにするのではなく、適応予測選択部２０が、動き検出部１９から予測制限範囲を越える動きベクトルが出力されたことを検知した場合には、フレーム内予測部１７の出力を選択するようにしてもよい。

なお、リフレッシュ以外の制御は、第１の実施形態における制御と同じである。

以上に説明したように、上記の実施形態では、ピクチャが後段の再符号化処理で参照ピクチャとされると再符号化時ピクチャタイプ判定部１０によって判定された場合に、非参照ピクチャとされると判定された場合に比べて、量子化部による量子化の際の量子化ステップを小さくするように制御するので、システム全体において、符号化効率を改善することができる。

また、比較例として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにもとづく符号化方式を用い図１１に示されたような漸次リフレッシュを実行する符号化装置と、ＭＰＥＧ−２にもとづく符号化方式を用い図１０に示されたようなＩピクチャによって画像（１画面）全体をリフレッシュする処理を行う後段の再符号化装置とを用いて、符号化効率を測定した。また、本実施形態の符号化装置と、ＭＰＥＧ−２にもとづく符号化方式を用い図１０に示されたようなＩピクチャによって画像（１画面）全体をリフレッシュする処理を行う後段の再符号化装置とを用いて、符号化効率を測定した。本実施形態の符号化装置を用いた場合には、比較例に対して、約１０％符号化効率が改善された。

なお、上記の各実施形態では、符号化装置が、映像取得地点から中継設備や放送局を経て視聴者が有する受信設備に映像の符号化データが伝送される動画像データ伝送システムに適用される場合を例にしたが、本発明による符号化装置の用途は、そのようなシステムに限定されない。例えば、双方向コミュニケーションにおいて使用される符号化装置に本発明を適用することができる。

図６は、本発明による符号化装置の主要部を示すブロック図である。図６に示すように、符号化装置は、画像データとインター予測部またはイントラ予測部が生成した予測値とから予測誤差信号を生成する予測誤差生成手段１０１（図５に示す例における減算器１１、適応予測選択部２０、フレーム内予測部１７、フレーム間予測部１８、動き検出部１９および周波数変換／量子化部１３における周波数変換部に相当）と、予測誤差生成手段１０１が生成した予測誤差信号を量子化する量子化手段１０２（図５に示す例における周波数変換／量子化部１３における量子化部に相当）と、ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する再符号化時ピクチャタイプ判定手段１０３（図５に示す例における再符号化時ピクチャタイプ判定部１０に相当）とを備え、予測誤差生成手段１０１は、符号化されたピクチャを作成する際に、参照ピクチャになるピクチャのみが作成されるように予測誤差信号を生成し、ピクチャが後段の再符号化処理で参照ピクチャとされると再符号化時ピクチャタイプ判定手段１０３によって判定された場合に、非参照ピクチャとされると判定された場合に比べて、量子化手段１０２による量子化の際の量子化ステップを小さくするように制御する量子化制御手段１０４（図５に示す例における量子化制御部１２に相当）を備えている。

図７に示すように、符号化装置は、ピクチャにおける一部の領域をイントラ符号化による符号化が行われるリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行うリフレッシュ手段１０５（図５に示す例では、リフレッシュ制御部２２、フレーム内予測部１７、フレーム間予測部１８および適応予測選択部２０で実現される。）を備え、予測誤差生成手段１０１は、予測誤差信号を生成する際に、予測制限範囲を越えるイントラ予測部およびインター予測部による予測値を除外するように構成されていてもよい。

また、符号化装置は、ピクチャにおける一部の領域をインター符号化による符号化が行われるリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行うリフレッシュ手段１０５を備え、予測誤差生成手段１０１は、予測誤差信号を生成する際に、予測制限範囲を越えるイントラ予測部およびインター予測部による予測値を除外するように構成されていてもよい。

予測誤差生成手段１０１は、参照ピクチャになるピクチャを作成する際にインター予測部が生成した予測値を用いる場合には一方向予測のみを利用した予測値から予測誤差信号を生成するように構成されていてもよい。そのように構成されている場合には、ピクチャ毎の符号量の増減の程度が抑制されるので、遅延量を低減することができる。

予測誤差生成手段１０１は、参照ピクチャになるピクチャを作成する際にイントラ予測部が生成した予測値のみを用いて予測誤差信号を生成するように構成されていてもよい。そのように構成されている場合には、ピクチャ毎の符号量の増減の程度が抑制されるので、遅延量を低減することができる。

予測誤差生成手段１０１は、予測誤差信号を生成する際に、常に、イントラ予測部が生成した予測値を使用するように構成されていてもよい。すなわち、符号化装置は、全てのピクチャをイントラ符号化したピクチャとして出力するように構成されていてもよい。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年９月３日に出願された日本特許出願２００９−２０３４２０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 再符号化ピクチャタイプ判定部
１１ 減算器
１２ 量子化制御部
１３ 周波数変換／量子化部
１４ 逆量子化／逆周波数変換部
１５ 加算器
１６ フレームメモリ
１７ フレーム内予測部
１８ フレーム関与側部
１９ 動き検出部
２０ 適応予測選択部
２１ 可変長符号化部
２２ リフレッシュ制御部
３１，４１ カメラ
３２ 通信ネットワーク
３３ 地方局
３４ 伝送路
３５ キー局
４２ マイクロ波回線
４３ ＦＰＵ
４４ 伝送路
５１，５２，６１，６２ 受信設備
１０１ 予測誤差生成手段
１０２ 量子化手段
１０３ 再符号化時ピクチャタイプ判定手段
１０４ 量子化制御手段
１０５ リフレッシュ手段

Claims (14)

1. 入力された動画像における画像データをインター符号化またはイントラ符号化して、符号化されたピクチャを作成する動画像符号化装置であって、
   画像データとインター予測部またはイントラ予測部が生成した予測値とから予測誤差信号を生成する予測誤差生成手段と、
   前記予測誤差生成手段が生成した予測誤差信号を量子化する量子化手段と、
   ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する再符号化時ピクチャタイプ判定手段とを備え、
   前記予測誤差生成手段は、符号化されたピクチャを作成する際に、参照ピクチャになるピクチャのみが作成されるように予測誤差信号を生成し、
   ピクチャが後段の再符号化処理で参照ピクチャとされると前記再符号化時ピクチャタイプ判定手段によって判定された場合に、非参照ピクチャとされると判定された場合に比べて、量子化手段による量子化の際の量子化ステップを小さくするように制御する量子化制御手段を備えた
   ことを特徴とする動画像符号化装置。
2. ピクチャにおける一部の領域をイントラ符号化による符号化が行われるリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行うリフレッシュ手段を備え、
   予測誤差生成手段は、予測誤差信号を生成する際に、前記予測制限範囲を越えるイントラ予測部およびインター予測部による予測値を除外する
   請求項１記載の動画像符号化装置。
3. ピクチャにおける一部の領域をインター符号化による符号化が行われるリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行うリフレッシュ手段を備え、
   予測誤差生成手段は、予測誤差信号を生成する際に、前記予測制限範囲を越えるイントラ予測部およびインター予測部による予測値を除外する
   請求項１記載の動画像符号化装置。
4. 予測誤差生成手段は、参照ピクチャになるピクチャを作成する際にインター予測部が生成した予測値を用いる場合には一方向予測のみを利用した予測値から予測誤差信号を生成する
   請求項１から請求項３のうちのいずれか１項に記載の動画像符号化装置。
5. 予測誤差生成手段は、参照ピクチャになるピクチャを作成する際にイントラ予測部が生成した予測値のみを用いて予測誤差信号を生成する
   請求項１から請求項３のうちのいずれか１項に記載の動画像符号化装置。
6. 予測誤差生成手段は、予測誤差信号を生成する際に、常に、イントラ予測部が生成した予測値を使用する
   請求項１記載の動画像符号化装置。
7. 入力された動画像における画像データをイントラ符号化して、符号化されたピクチャを作成する動画像符号化装置であって、
   画像データとイントラ予測部が生成した予測値とから予測誤差信号を生成する予測誤差生成手段と、
   前記予測誤差生成手段が生成した予測誤差信号を量子化する量子化手段と、
   ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する再符号化時ピクチャタイプ判定手段とを備え、
   ピクチャが後段の再符号化処理で参照ピクチャとされると前記再符号化時ピクチャタイプ判定手段によって判定された場合に、非参照ピクチャとされると判定された場合に比べて、量子化手段による量子化の際の量子化ステップを小さくするように制御する量子化制御手段を備えた
   ことを特徴とする動画像符号化装置。
8. ピクチャにおける一部の領域をリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行うリフレッシュ手段を備え、
   予測誤差生成手段は、予測誤差信号を生成する際に、前記予測制限範囲を越えるイントラ予測部による予測値を除外する
   請求項７記載の動画像符号化装置。
9. 入力された動画像における画像データをインター符号化またはイントラ符号化して、符号化されたピクチャを作成する動画像符号化方法であって、
   画像データとインター予測処理またはイントラ予測処理で生成された予測値とから予測誤差信号を生成し、
   生成された予測誤差信号を量子化し、
   ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定し、
   符号化されたピクチャが作成される際に、参照ピクチャになるピクチャのみが作成されるように予測誤差信号を生成し、
   ピクチャが後段の再符号化処理で参照ピクチャとされると判定された場合に、非参照ピクチャとされると判定された場合に比べて、量子化の際の量子化ステップを小さくするように制御する
   ことを特徴とする動画像符号化方法。
10. ピクチャにおける一部の領域をイントラ符号化による符号化が行われるリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行い、
    予測誤差信号を生成する際に、前記予測制限範囲を越えるイントラ予測処理およびインター予測処理による予測値を除外する
    請求項９記載の動画像符号化方法。
11. ピクチャにおける一部の領域をインター符号化による符号化が行われるリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行い、
    予測誤差信号を生成する際に、前記予測制限範囲を越えるイントラ予測処理およびインター予測処理による予測値を除外する
    請求項９記載の動画像符号化方法。
12. 入力された動画像における画像データをインター符号化またはイントラ符号化して、符号化されたピクチャを作成するコンピュータに、
    画像データとインター予測処理またはイントラ予測処理で生成された予測値とから予測誤差信号を生成する処理と、
    生成された予測誤差信号を量子化する処理と、
    ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する処理と、
    符号化されたピクチャが作成される際に、参照ピクチャになるピクチャのみが作成されるように予測誤差信号を生成する処理と、
    ピクチャが後段の再符号化処理で参照ピクチャとされると判定された場合に、非参照ピクチャとされると判定された場合に比べて、量子化の際の量子化ステップを小さくするように制御する処理と
    を実行させるための動画像符号化プログラム。
13. コンピュータに、
    ピクチャにおける一部の領域をイントラ符号化による符号化が行われるリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行う処理と、
    予測誤差信号を生成する際に、前記予測制限範囲を越えるイントラ予測処理およびインター予測処理による予測値を除外する処理と
    を実行させるための請求項１２記載の動画像符号化プログラム。
14. コンピュータに、
    ピクチャにおける一部の領域をインター符号化による符号化が行われるリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行う処理と、
    予測誤差信号を生成する際に、前記予測制限範囲を越えるイントラ予測処理およびインター予測処理による予測値を除外する処理と
    を実行させるための請求項１２記載の動画像符号化プログラム。

Images