JP4979355B2 - 画像符号化装置および画像符号化方法 - Google Patents

Description

本発明は、動画像を符号化する画像符号化装置に関する。

近年、デジタルムービー商品の記録媒体が、テープ記録媒体から比較的容量の小さいＤＶＤ（Digital Versatile Disk）やフラッシュメモリ等へ移行してきている。このため、十分な記録時間を確保するために、ＭＰＥＧ２やＨ．２６４等のより圧縮効率の高い画像符号化を利用するようになってきている。

図６は、ＭＰＥＧ２やＨ．２６４等の画像符号化の動作を表す説明図である。ここで、ピクチャとは、入力される動画の１フレームまたは１フィールドである。ＭＰＥＧ２、Ｈ．２６４等の符号化では、符号化の効率を高めるため、符号化対象のピクチャ以外のピクチャを参照して、符号化対象のピクチャと参照されるピクチャとの差分値を符号化する機能がある。ここで、符号化されるピクチャ自身のデータのみで符号化されるピクチャをＩピクチャと呼び、時間的に前に入力されたピクチャのみを参照して符号化されるピクチャをＰピクチャと呼び、時間的に前および後ろのピクチャを参照して符号化されるピクチャをＢピクチャと呼ぶ。なお、図６では、Ｉピクチャに対して「Ｉ」を付し、Ｐピクチャに対して「Ｐ」を付し、Ｂピクチャに対して「Ｂ」を付して、これらのピクチャを表している。また、Ｂピクチャは、ピクチャの入力順で直前のＩピクチャまたはＰピクチャと、入力順で直後のＩピクチャまたはＰピクチャを参照するものとする。

Ｂピクチャを符号化する場合、その時間的に前後のＩピクチャまたはＰピクチャが既に符号化されている必要があるため、符号化されるピクチャの順番は、入力されるピクチャの順番と異なる。図６の（ａ）は、入力されるピクチャの順番を表し、図６の（ｂ）は、符号化されるピクチャの順番を表している。この図のように、入力番号１の最初のＢピクチャを符号化するためには、それ以前の入力番号０のＩピクチャと、時間的に後ろの入力番号３のＰピクチャが既に符号化されている必要がある。このため、最初のＰピクチャの符号化以降では、入力ピクチャに対して、符号化順番の並べ替えによって生じる時間だけ符号化処理が遅れることになる。

ところで、ＭＰＥＧ２やＨ．２６４等では、各ピクチャの符号化後のデータ量が入力ピクチャの画質によって大きく変動する。このためムービー等で記録メディアに一定の記録時間を確保するためには、ピクチャ当たりのデータ量を制御する必要がある。画像符号化では、符号化後のデータ量を小さくするためには、符号化過程での量子化というデータの丸め処理でデータ精度を落とす処理を行う。しかしながら、量子化の精度を大きく落とすと、符号化した画像の画質も劣化する。このため、要求されるデータ量のなかで、できるだけ量子化の精度を高めて画質劣化を最小にすることが求められる。

そこでデータ量を制御する方法として、入力するピクチャを一旦全て符号化し、その符号化結果を用いて、最適なデータ量を実現する量子化精度等の符号化条件を求め、それを利用して再度符号化する方法や画像符号化装置が考えられている（例えば、特許文献１参照）。
特開平８−１８９６０号公報

しかしながら、上記特許文献１の画像符号化装置では、符号化された画像データのデータ量を最適化するために、回路規模や消費電力が大幅に増大していまうという問題がある。

つまり、上記特許文献１の画像符号化装置では、全てのピクチャに対して符号化を２回繰り返すため、符号化のために必要な処理回路の規模が通常の規模の２倍になったり、符号化のために必要な演算の処理能力が通常の処理能力の２倍になったりしてしまう。しかも、通常の画像符号化のための回路規模は大きいため、その規模を２倍にしてしまうと、大幅なコストの向上を招くと共に消費電力も増大してしまう。

そこで、本発明は、上記のような問題に鑑みてなされたものであり、ＭＰＥＧ２やＨ．２６４の画像符号化において、回路規模や消費電力の増加を伴わずに、符号化された画像データのデータ量を最適化する画像符号化装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像符号化装置は、動画像信号を符号化する画像符号化装置であって、前記動画像信号を取得する動画像取得手段と、前記取得した動画像信号を符号化し、２値化データを出力する第１符号化手段と、前記２値化データを少なくとも可変長符号化して出力する第２符号化手段と、前記動画像信号のうち先頭部分を検出する先頭検出手段と、前記第１符号化手段における仮符号化で利用した符号化条件に基づいて、前記動画像信号が前記第１符号化手段および前記第２符号化手段によって符号化された際に符号化後のデータ量が所望のデータ量に近づくように、実符号化用の符号化条件を生成する符号化条件生成手段と、を備え、前記第１符号化手段は、前記先頭検出手段で検出された先頭部分の動画像信号を仮符号化し、前記符号化条件生成手段は、前記第１符号化手段において前記先頭部分の動画像信号を仮符号化した際に利用した符号化条件に基づいて、前記実符号化用の符号化条件を生成し、前記第１符号化手段は、前記実符号化用の符号化条件に基づいて、前記取得した動画像信号の全体を実符号化して２値化データを出力し、前記第２符号化手段は、前記実符号化用の符号化条件に基づいて得られる２値化データを処理し、さらに、前記動画像取得手段は、ピクチャを順次取得することにより、複数のピクチャを含んで構成される前記動画像信号を取得し、前記第１符号化手段は、前記動画像取得手段で取得されたピクチャに対して前記実符号化が実行されない期間に、前記先頭部分に含まれるピクチャに対する仮符号化を実行する。
また、上記目的を達成するために、本発明に係る画像符号化装置は、動画像信号を符号化する画像符号化装置であって、前記動画像信号を取得する動画像取得手段と、前記動画像信号のうち先頭部分を検出する先頭検出手段と、前記先頭検出手段で検出された先頭部分の動画像信号を、第１の符号化条件に従って符号化する仮符号化手段と、前記仮符号化手段による符号化の結果および前記第１の符号化条件に基づいて、第２の符号化条件を生成する符号化条件生成手段と、前記符号化条件生成手段により生成された第２の符号化条件に従って、前記先頭部分を含む前記動画像信号を符号化する実符号化手段とを備えることを特徴とする。

これにより、動画像信号の先頭部分に対して行われた符号化の結果に基づいて、その動画像信号に適した第２の符号化条件が生成され、その第２の符号化条件に従って再び先頭部分からの動画像信号が符号されるため、符号化される動画像信号のデータ量を最初から常に最適にして画質を安定化することができる。さらに、動画像信号の先頭部分だけが実符号化手段によって再符号化されるため、動画像信号の全てを再符号化する場合と比べて、メモリや演算回路などの回路規模や消費電力の増加を防ぐことができる。

また、前記動画像取得手段は、ピクチャを順次取得することにより、複数のピクチャを含んで構成される前記動画像信号を取得し、前記仮符号化手段は、前記先頭部分の動画像信号に含まれるピクチャに対して直交変換および量子化を行うことで、前記ピクチャを符号化し、前記実符号化手段は、前記動画像信号に含まれるピクチャに対して直交変換、量子化、および可変長符号化を行うことで、前記ピクチャを符号化することを特徴としてもよい。

これにより、仮符号化手段では可変長符号化が行われず、実符号化手段でのみ可変長符号化が行われるため、短い時間で符号化を行うことができる。つまり、Ｈ．２６４の規格に準じた画像符号化を行う場合、符号化には、算術符号化などの可変長符号化が必要になる。また、可変長符号化には長い処理時間が必要になる。したがって、可変長符号化が、実符号化手段での符号化だけでなく仮符号化手段での符号化にも行われると、全体的な符号化に要する時間は非常に長くなってしまう。しかしながら、本発明では、仮符号化手段による符号化では可変長符号化は行われないため、短い時間で全体的な符号化処理を行なうことができる。

また、前記動画像取得手段は、ピクチャを順次取得することにより、複数のピクチャを含んで構成される前記動画像信号を取得し、前記実符号化手段は、前記動画像取得手段による取得の順序と異なる順序で、前記複数のピクチャを符号化し、前記仮符号化手段は、前記動画像取得手段で取得されたピクチャに対して前記実符号化手段による符号化が実行されない期間に、前記先頭部分に含まれるピクチャに対する符号化を実行することを特徴としてもよい。例えば、前記仮符号化手段は、前記実符号化手段によって第１および第２のピクチャを参照して符号化される第３のピクチャが、前記第１のピクチャが動画像取得手段に取得された後であって、且つ前記第２のピクチャが動画像取得手段に取得される前に、前記画像取得手段に取得されるタイミングと、前記第２のピクチャが前記実符号化手段によって符号化されるタイミングとの間の期間に、前記先頭部分に含まれるピクチャに対する符号化を実行する。

これにより、実符号化手段による符号化（実符号化）が実行されない期間に、仮符号化手段による符号化（仮符号化）が実行されるため、仮符号化手段と実符号化手段とを単一の符号化回路で構成し、その符号化回路に、仮符号化と実符号化とを切り換えて実行させることができる。その結果、回路規模の増加をさらに抑えることができる。さらに、仮符号化手段による符号化を行っても、全体的な符号化処理に要する時間の増加を抑えることができる。

例えば、画像取得手段に取得された各ピクチャは、その取得された順に、先頭からＩピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャとして実符号化される。このような場合、ＩピクチャおよびＰピクチャ（第１および第２のピクチャ）を参照して符号化される２番目のＢピクチャ（第３のピクチャ）が動画像符号化手段に取得されるタイミングと、Ｐピクチャが実符号化手段に符号化されるタイミングとの間の期間では、３枚のピクチャを符号化できる時間があるものの、実符号化手段は先頭のＩピクチャしか符号化することができない。つまり、実符号化手段は、Ｉピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャの順でこれらのピクチャが画像取得手段に取得されても、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャの順でこれらのピクチャを符号化しようとするため、上述のようにＩピクチャしか符号化することができないのである。その結果、実符号化手段による符号化に空き時間が生じる。仮符号化手段は、このような空き時間を利用して、Ｉピクチャおよび２番のＢピクチャを符号化することにより、全体的な符号化処理に要する時間の増加を抑えることができる。

なお、本発明は、このような画像符号化装置として実現することができるだけでなく、その方法やプログラム、そのプログラムを格納する記憶媒体、集積回路としても実現することができる。

本発明の画像符号化装置は、回路規模や消費電力の増加を伴わずに、符号化された画像データのデータ量を最適化することができるという作用効果を奏する。

以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。

本実施の形態における画像符号化装置１００は、回路規模や消費電力の大幅な増加を防いで、符号化された画像データのデータ量を最適化するものであって、動画像を示す動画像信号Ｖｉｎを取得して符号化することにより動画像符号化信号Ｖｏｕｔを生成し、その動画像符号化信号Ｖｏｕｔを出力する。なお、動画像信号Ｖｉｎは、複数のピクチャを含んで構成され、ピクチャは１フレームまたは１フィールドを表す。

このような画像符号化装置１００は、画像入力部１０１、バッファ１０２、符号化ピクチャ選択部１０３、符号化条件生成部１０４、符号化部１０５、出力部１０６、および先頭検出部１０７を備えている。

画像入力部１０１は、例えばユーザによる録画開始の指示を受け付けると、動画像信号Ｖｉｎを取得してバッファ１０２に格納する。ここで、画像入力部１０１は、動画像信号Ｖｉｎに含まれるピクチャを順次取得して、ピクチャが取得されるごとに、そのピクチャをバッファ１０２に格納する。なお、本実施の形態では、画像入力部１０１およびバッファ１０２が動画像取得手段として構成されている。

先頭検出部１０７は、画像入力部１０１によって取得された動画像信号Ｖｉｎの先頭のピクチャを検出して、先頭ピクチャが検出されたことを、符号化ピクチャ選択部１０３および符号化条件生成部１０４に通知する。

符号化ピクチャ選択部１０３は、バッファ１０２に格納されたピクチャの中から、符号化すべきピクチャ（符号化対象ピクチャ）を１つずつ選択し、その符号化対象ピクチャを符号化部１０５に通知する。このような、符号化対象ピクチャの選択は、例えば、バッファ１０２にピクチャが格納されるタイミングで行われる。

ここで、符号化ピクチャ選択部１０３は、先頭ピクチャを含む、動画像信号Ｖｉｎの先頭部分の複数のピクチャを、それぞれ仮の符号化対象ピクチャとして選択するとともに、動画像信号Ｖｉｎに含まれる全てのピクチャを、それぞれ実際の符号化対象ピクチャ（実符号化対象ピクチャ）として選択する。

例えば、符号化ピクチャ選択部１０３は、先頭検出部１０７によって先頭ピクチャが検出されると、バッファ１０２に順次格納されるピクチャの参照関係を特定し、実符号化対象ピクチャとして選択されるピクチャの順番、つまり実際の符号化の順番（以下、実符号化順という）を決定する。

このように決定される実符号化順は、画像入力部１０１によって取得されてバッファ１０２に格納されるピクチャの順番（以下、入力順という）とは異なる。その結果、バッファ１０２にピクチャが順次格納されるタイミングで、実符号化対象ピクチャを連続的に選択できるように、最初の実符号化対象ピクチャの選択のタイミングを遅らせた場合には、先頭ピクチャがバッファ１０２に格納されてから後続のピクチャがバッファ１０２に順次格納されても、そのバッファ１０２に格納されたピクチャが実符号化対象ピクチャとして選択されない期間（実符号化待機期間）が生じる。

そこで、本実施の形態における符号化ピクチャ選択部１０３は、この実符号化待機期間を特定して、その実符号化待機期間にバッファ１０２に既に格納されたピクチャを仮符号化対象ピクチャとして選択する。このとき、符号化ピクチャ選択部１０３は、例えば、バッファ１０２に格納された順に仮符号化対象ピクチャを選択する。

符号化条件生成部１０４は、動画像信号Ｖｉｎのピクチャに対する符号化条件を生成する。ここで、符号化条件生成部１０４は、先頭検出部１０７によって先頭ピクチャが検出されると、仮符号化用の符号化条件を生成する。例えば、符号化条件生成部１０４は、画像符号化装置１００によって過去に符号化された動画像信号Ｖｉｎに適用された符号化条件を記録媒体に記録しておく。そして、符号化条件生成部１０４は、先頭のピクチャの通知を受けると、その符号化条件を記録媒体から読み出すことで、読み出された符号化条件を仮符号化用の符号化条件として生成する。

さらに、符号化条件生成部１０４は、仮符号化対象ピクチャに対する符号化によって得られた符号化情報を符号化部１０５から取得すると、その符号化情報に基づいて仮符号化用の符号化条件を修正して、実符号化用の符号化条件を生成する。そして、符号化条件生成部１０４は、その実符号化用の符号化条件を符号化部１０５に出力する。

符号化部１０５は、符号化ピクチャ選択部１０３で選択された符号化対象ピクチャをバッファ１０２から読み出すとともに、符号化条件生成部１０４によって生成されて出力された符号化条件を取得する。そして、符号化部１０５は、読み出された符号化対象ピクチャを、符号化条件生成部１０４から出力された符号化条件に従って符号化することにより、符号化の結果を示す符号化データを生成し、その符号化データを出力部１０６に出力する。

つまり、符号化部１０５は、符号化ピクチャ選択部１０３によって仮符号化対象ピクチャが選択されると、仮符号化用の符号化条件に従ってその仮符号化対象ピクチャを符号化（仮符号化）して符号化データを生成する。そして、符号化部１０５は、その符号化データのデータ量などを示す上述の符号化情報を生成してその符号化情報を符号化条件生成部１０４に出力する。なお、符号化部１０５は、仮符号化対象ピクチャが選択されたときには、その仮符号化対象ピクチャの符号化によって生成された符号化データを出力部１０６に出力しない。

さらに、符号化部１０５は、符号化ピクチャ選択部１０３によって実符号化対象ピクチャが選択されると、符号化ピクチャ選択部１０３で特定された参照関係と、実符号化用の符号化条件とに従ってその実符号化対象ピクチャを符号化（実符号化）する。

このように、本実施の形態では、符号化部１０５が仮符号化手段および実符号化手段として構成されている。

なお、バッファ１０２に格納された複数のピクチャは、仮符号化対象ピクチャとして選択されるとともに、実符号化対象ピクチャとしても選択される。符号化部１０５は、このような複数のピクチャに対して仮符号化および実符号化を行う場合、仮符号化時の複数のピクチャの参照関係を、実符号化時の複数のピクチャの参照関係と異ならせる。

出力部１０６は、符号化部１０５から符号化データを取得すると、その符号化データの出力先に応じた処理をその符号化データに対して行ない、処理後の符号化データを、符号化された画像データたる動画像符号化信号Ｖｏｕｔとして出力する。

ここで、符号化部１０５から符号化条件生成部１０４に出力される符号化情報としては、例えば、符号化時の量子化情報や、符号化後のデータ量、参照ピクチャに対する動きベクトル、仮符号化対象ピクチャと参照ピクチャとの残差信号等、様々な情報の利用が可能である。また、仮符号化用または実符号化用の符号化条件としては、量子化情報の初期値や、符号化モードの選択等、様々な条件の利用が可能である。

具体的に、符号化部１０５は、符号化データのデータ量または画質を示す符号化情報を出力する。この場合、符号化条件生成部１０４は、そのデータ量が所定の閾値よりも多ければ、またはその画質が所定の画質よりも過剰に良ければ、仮符号化用の符号化条件により示される量子化ステップよりも大きい量子化ステップを示す実符号化用の符号化条件を生成する。その結果、符号化部１０５は、実符号化対象ピクチャをその実符号化用の符号化条件に従って符号化すると、符号化データのデータ量を所定の閾値以下に抑えて、符号化データの画質を適切な程度に抑えることができる。逆に、符号化条件生成部１０４は、データ量が所定の閾値よりも少なければ、または画質が所定の画質よりも悪ければ、仮符号化用の符号化条件により示される量子化ステップよりも小さい量子化ステップを示す実符号化用の符号化条件を生成する。その結果、符号化部１０５は、実符号化対象ピクチャをその実符号化用の符号化条件に従って符号化すると、符号化データのデータ量を所定の閾値以上にして、符号化データにより示される画質を向上することができる。

また、符号化条件生成部１０４は、そのデータ量が所定の閾値よりも多ければ、またはその画質が所定の画質よりも過剰に良ければ、仮符号化用の符号化条件により示される画面内符号化に対して、画面間符号化を示す実符号化用の符号化条件を生成する。その結果、符号化部１０５は、実符号化対象ピクチャをその実符号化用の符号化条件に従って符号化すると、符号化データのデータ量を所定の閾値以下に抑えて、符号化データの画質を適切な程度に抑えることができる。逆に、符号化条件生成部１０４は、データ量が所定の閾値よりも少なければ、または画質が所定の画質よりも悪ければ、仮符号化用の符号化条件により示される画面間符号化に対して、画面内符号化を示す実符号化用の符号化条件を生成する。その結果、符号化部１０５は、実符号化対象ピクチャをその実符号化用の符号化条件に従って符号化すると、符号化データのデータ量を所定の閾値以上にして、符号化データにより示される画質を向上することができる。

また、符号化条件生成部１０４は、そのデータ量が所定の閾値よりも多ければ、またはその画質が所定の画質よりも過剰に良ければ、仮符号化用の符号化条件により示される量子化マトリックスよりも、高域の量子化値の係数が小さくなるような量子化マトリックスを示す実符号化用の符号化条件を生成する。その結果、符号化部１０５は、実符号化対象ピクチャをその実符号化用の符号化条件に従って符号化すると、符号化データのデータ量を所定の閾値以下に抑えて、符号化データの画質を適切な程度に抑えることができる。逆に、符号化条件生成部１０４は、データ量が所定の閾値よりも少なければ、または画質が所定の画質よりも悪ければ、仮符号化用の符号化条件により示される量子化マトリックスよりも、高域の量子化値の係数が大きくなるような量子化マトリックスを示す実符号化用の符号化条件を生成する。その結果、符号化部１０５は、実符号化対象ピクチャをその実符号化用の符号化条件に従って符号化すると、符号化データのデータ量を所定の閾値以上にして、符号化データにより示される画質を向上することができる。

図２は、本実施の形態の画像符号化装置１００による仮符号化および実符号化の一例を説明するための説明図である。なお、図２では、Ｉピクチャには「Ｉ」を付してそのピクチャを示し、Ｐピクチャには「Ｐ」を付してそのピクチャを示し、Ｂピクチャには「Ｂ」を付してそのピクチャを示す。さらに、図２では、各ピクチャに対して「０，１，２，３，…」の数字を付すことで、各ピクチャの入力順を示している。

図６を用いて説明したように、Ｂピクチャを用いた符号化が実施されるため、バッファ１０２へのピクチャの入力（格納）のタイミングと、そのピクチャの符号化のタイミングにずれが生じる。その結果、約２ピクチャを符号化するのに要する期間、符号化を実施することができない。

そこで、本実施の形態における画像符号化装置１００は、図２に示すように、最初の２つのピクチャ分の符号化期間を利用して、先頭に入力されるＩピクチャと、２番目（入力順＝１）に入力されるＢピクチャとに対して仮符号化を実施する。つまり、本実施の形態における符号化ピクチャ選択部１０３は、上述の実符号化待機期間を特定して、その実符号化待機期間にバッファ１０２に既に格納された先頭のＩピクチャと２番目のＢピクチャを仮符号化対象ピクチャとして順次選択する。

具体的に、符号化ピクチャ選択部１０３は、図２の（ａ）に示すように、バッファ１０２に順次格納（入力）されるピクチャが、入力順に「Ｉピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、…」として実符号化されるような参照関係を特定する。そして、符号化ピクチャ選択部１０３は、図２の（ｂ）に示すように、実符号化待機期間を特定する。つまり、符号化ピクチャ選択部１０３は、入力順＝０のＩピクチャおよび入力順＝３のＰピクチャを参照して実符号化される入力順＝１のＢピクチャが、そのＩピクチャがバッファ１０２に格納された後であって、且つＰピクチャがバッファ１０２に格納される前に、バッファ１０２に格納されるタイミングと、Ｐピクチャが実符号化されるタイミングとの間の期間を見つける。そして、符号化ピクチャ選択部１０３は、その期間のうちＩピクチャを実符号化し得る時間を差し引くことにより、実符号化待機期間を特定する。

そして、符号化ピクチャ選択部１０３は、例えば、その実符号化待機期間にバッファ１０２にピクチャが格納されるタイミングで、バッファ１０２に既に格納されているピクチャを入力順に仮符号化対象ピクチャとして選択する。すなわち、符号化ピクチャ選択部１０３は、バッファ１０２に格納された先頭（入力順＝０）のＩピクチャを１番目の仮符号化対象ピクチャとして選択し、その後に格納された２番目（入力順＝１）のＢピクチャを２番目の仮符号化対象ピクチャとして選択する。符号化部１０５は、このように１番目および２番目の仮符号化対象ピクチャが選択されると、１番目の仮符号化対象ピクチャをＩピクチャ（図２中、「Ｉ’」を付して示すピクチャ）として仮符号化し、次に、２番目の仮符号化対象ピクチャを、１番目の仮符号化対象ピクチャを参照するＰピクチャ（図２中、「Ｐ’」を付して示すピクチャ）として仮符号化する。

このように、符号化部１０５は、２番目（入力順＝１）に入力されるＢピクチャについては、先頭のＩピクチャを参照するＰピクチャとして仮符号化する。言い換えれば、符号化部１０５は、入力順＝１のピクチャを仮符号化するときには、そのピクチャに対して実符号化で参照される入力順＝３のピクチャ（Ｐピクチャ）を参照せずに、Ｐピクチャとして仮符号化する。つまり、符号化部１０５は、バッファ１０２に１番目と２番目に格納されたピクチャ（入力順＝０，１のピクチャ）に対して仮符号化および実符号化を行うが、仮符号化時におけるこれらのピクチャの参照関係を、実符号化時におけるピクチャの参照関係と異ならせている。

本実施の形態では、このような仮符号化を行うことによって、つまり、最初のＩピクチャとＰピクチャの符号化によって、最適な符号化条件を生成することが可能となる。

なお、上述の例では、参照関係を変えてＢピクチャをＰピクチャとして仮符号化しているが、Ｂピクチャの符号化処理がＰピクチャの符号化処理と類似しているため、このような仮符号化によっても最適な符号化条件を生成することができる。

図３は、本実施の形態の画像符号化装置１００による仮符号化および実符号化の他の例を説明するための説明図である。なお、図３では、図２と同様、Ｉピクチャには「Ｉ」を付してそのピクチャを示し、Ｐピクチャには「Ｐ」を付してそのピクチャを示し、Ｂピクチャには「Ｂ」を付してそのピクチャを示す。さらに、図３では、図２と同様、各ピクチャに対して「０，１，２，３，…」の数字を付すことで、各ピクチャの入力順を示している。

符号化ピクチャ選択部１０３は、図３の（ａ）に示すように、バッファ１０２に順次格納（入力）されるピクチャが、入力順に「Ｂピクチャ、Ｂピクチャ、Ｉピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、…」として実符号化されるような参照関係を特定する。

そして、符号化ピクチャ選択部１０３は、図３の（ｂ）に示すように、実符号化待機期間を特定すると、例えば、その期間にバッファ１０２にピクチャが格納されるタイミングで、バッファ１０２に既に格納されているピクチャを入力順に仮符号化対象ピクチャとして選択する。すなわち、符号化ピクチャ選択部１０３は、バッファ１０２に格納された先頭（入力順＝０）のＢピクチャを１番目の仮符号化対象ピクチャとして選択し、その後に格納された２番目（入力順＝１）のＢピクチャを２番目の仮符号化対象ピクチャとして選択する。符号化部１０５は、このように１番目および２番目の仮符号化対象ピクチャが選択されると、１番目の仮符号化対象ピクチャをＩピクチャ（図３中、「Ｉ’」を付して示すピクチャ）として仮符号化し、次に、２番目の仮符号化対象ピクチャを、１番目の仮符号化対象ピクチャを参照するＰピクチャ（図３中、「Ｐ’」を付して示すピクチャ）として仮符号化する。

このように、本実施の形態では、入力される最初（入力順＝０）のピクチャおよび２番目（入力順＝１）のピクチャがＢピクチャである場合、その最初に入力されるＢピクチャをＩピクチャとして仮符号化し、２番目に入力されるＢピクチャを、先頭のピクチャを参照するＰピクチャとして仮符号化する。つまり、符号化部１０５は、入力順＝１のピクチャを仮符号化するときには、そのピクチャに対して実符号化で参照されない入力順＝０のピクチャ（Ｂピクチャ）を参照して、Ｐピクチャとして仮符号化する。

このような場合にも、本実施の形態では、図２の例と同様に、先頭付近のピクチャに対する符号化によって最適な符号化条件を生成することが可能となり、最適な符号化が可能となる。

なお、本実施の形態における仮符号化および実符号化を、図２および図３に示す２つのケースを例に挙げて説明したが、本発明は、これらのケースに限定されるものではなく、これらのケース以外の様々な仮符号化および実符号化を行うことができる。

図４は、本実施の形態における画像符号化装置１００の動作を示すフローチャートである。

まず、画像符号化装置１００は、動画像信号Ｖｉｎを取得し（ステップＳ１００）、その動画像信号Ｖｉｎの先頭ピクチャを検出する（ステップＳ１０２）。そして、画像符号化装置１００は、動画像信号Ｖｉｎの実符号化待機期間に応じた先頭部分、つまり先頭ピクチャを含む複数のピクチャを、仮符号化用の符号化条件に従って仮符号化する（ステップＳ１０４）。

次に、画像符号化装置１００は、ステップＳ１０４の仮符号化によって得られた符号化情報に基づいて、実符号化用の符号化条件を生成する（ステップＳ１０６）。そして、画像符号化装置１００は、動画像信号Ｖｉｎに含まる先頭ピクチャからの複数のピクチャを、実符号化用の符号化条件に従って実符号化する（ステップＳ１０８）。

以上、本実施の形態では、先頭付近のピクチャに対する符号化によって最適な符号化条件を生成することが可能となり、最適な符号化が可能となる。また、本実施の形態では、図２に示すように、図５に示す符号化処理ができない期間を利用して仮符号化処理を実施しているため、仮符号化のために特別な符号化回路を備える必要がなく、通常の符号化回路で実現することが可能である。また、仮符号化処理は先頭付近のピクチャのみに実施すれば良いため、動画全体の処理量に対して、処理の増加量は無視できる量である。

したがって本発明では、回路規模、処理量、および消費電力を殆ど増加させることなく、先頭から常に最適な符号化条件に従って画像符号化を実施することができるため、必要なデータ量で最高の画質を実現することが可能となる。

（変形例）
以下、本実施の形態における変形例について説明する。

図５は、本変形例に係る画像符号化装置の構成を示すブロック図である。
本変形例に係る画像符号化装置１００ａは、画像入力部１０１、バッファ１０２、符号化ピクチャ選択部１０３、符号化条件生成部１０４、画像符号化部２０１、可変長符号化部２０２、出力部１０６、および先頭検出部１０７を備えている。つまり、本変形例に係る画像符号化装置１００ａは、Ｈ．２６４の規格に準じた画像符号化処理を行う装置であって、上記実施の形態の画像符号化装置１００の符号化部１０５の代わりに、画像符号化部２０１と可変長符号化部２０２とを備えている。

本変形例に係る画像符号化部２０１は、Ｈ．２６４の規格に準じた予測差分生成処理、直交変換、量子化処理、および２値化処理などを符号化として行い、その符号化の結果を示す第１符号化データを出力する。

また、本変形例に係る可変長符号化部２０２は、画像符号化部２０１から出力された第１符号化データを取得して、その第１符号化データに対して、Ｈ．２６４の規格に準じた算術符号化などの可変長符号化を行い、その算術符号化の結果を示す第２符号化データを出力部１０６に出力する。

出力部１０６は、上記実施の形態と同様、可変長符号化部２０２から第２符号化データを取得すると、その第２符号化データの出力先に応じた処理をその第２符号化データに対して行ない、処理後の第２符号化データを、符号化された画像データたる動画像符号化信号Ｖｏｕｔとして出力する。

なお、本変形例では、画像符号化部２０１が仮符号化手段として構成され、画像符号化部２０１および可変長符号化部２０２が実符号化手段として構成されている。

具体的に、画像符号化部２０１は、符号化部１０５と同様、符号化ピクチャ選択部１０３で選択された符号化対象ピクチャをバッファ１０２から読み出すとともに、符号化条件生成部１０４によって生成されて出力された符号化条件を取得する。そして、画像符号化部２０１は、読み出された符号化対象ピクチャを、符号化条件生成部１０４から出力された符号化条件に従って符号化することにより、符号化の結果を示す第１符号化データを生成し、その第１符号化データを出力部１０６に出力する。なお、符号化条件には、上記実施の形態と同様の条件が用いられる。

つまり、画像符号化部２０１は、符号化ピクチャ選択部１０３によって仮符号化対象ピクチャが選択されると、仮符号化用の符号化条件に従ってその仮符号化対象ピクチャを符号化（仮符号化）して第１符号化データを生成する。そして、画像符号化部２０１は、その第１符号化データのデータ量などを示す符号化情報を生成してその符号化情報を符号化条件生成部１０４に出力する。

なお、符号化情報には、上記実施の形態と同様の情報が用いられるが、画像符号化部２０１は、可変長符号化部２０２によって算術符号化された後のデータ量を推定して、その推定されたデータ量を符号化情報として生成してもよい。また、画像符号化部２０１は、仮符号化対象ピクチャが選択されたときには、その仮符号化対象ピクチャの符号化によって生成された第１符号化データを可変長符号化部２０２に出力しない。

さらに、画像符号化部２０１は、符号化ピクチャ選択部１０３によって実符号化対象ピクチャが選択されると、符号化ピクチャ選択部１０３で特定された参照関係と、実符号化用の符号化条件とに従ってその実符号化対象ピクチャを符号化（実符号化）する。

なお、バッファ１０２に格納された複数のピクチャが、仮符号化対象ピクチャとして選択されるとともに、実符号化対象ピクチャとしても選択される。画像符号化部２０１は、このような複数のピクチャに対して仮符号化および実符号化を行う場合、仮符号化時の複数のピクチャの参照関係を、実符号化時の複数のピクチャの参照関係と異ならせる。

このような本変形例に係る画像符号化装置１００ａでは、画像符号化部２０１によって生成された仮符号化対象ピクチャの第１符号化データが、可変長符号化部２０２に出力されず、その第１符号化データに対して算術符号化が行われない。これにより、本変形例では、上記実施の形態と同様の効果を得ることができるだけでなく、Ｈ．２６４の算術符号化のように非常に処理時間がかかる可変長符号化処理を仮符号化で実行しないことによって、仮符号化の処理時間を短縮することが可能となり、仮符号化による符号化全体の遅延を最小にすることができる。

以上、本発明に係る画像符号化装置について、実施の形態およびその変形例を用いて説明したが、本発明は、これらに限定されるものではない。

例えば、実施の形態およびその変形例では、本発明の画像符号化装置を、図２および図５に示す構成としたが、他の構成としてもよい。さらに、本発明の画像符号化装置を、図２および図５に示す構成要素のうちバッファ１０２を除く全てまたは一部の構成要素を、ＤＳＰ（Digital Signal Processor）や、ＬＳＩ（Large Scale Integration）などの半導体集積回路として構成してもよい。

また、本実施の形態およびその変形例では、仮符号化における符号化情報に基づいて、実符号化用の符号化条件を生成したが、符号化部１０５または画像符号化部２０１における実符号化が行われているときに、その実符号化における符号化情報に基づいて、実符号化用の符号化条件を随時変更してもよい。この場合、例えば、符号化部１０５は、仮符号化によって符号化情報を生成したのと同様に、実符号化対象ピクチャに対する実符号化を行うことによって、符号化データのデータ量などを示す符号化情報を生成して符号化条件生成部１０４に出力する。そして、符号化条件生成部１０４は、その符号化情報に基づいて、符号化部１０５で直前まで使用されていた実符号化用の符号化条件を修正する。そして、符号化条件生成部１０４は、修正された実符号化用の符号化条件を符号化部１０５に出力する。これにより、符号化部１０５は、直前まで使用されていた実符号化用の符号化条件を修正された符号化条件に切り換え、以後、その修正された符号化条件に従って実符号化対象ピクチャを符号化する。

本発明の画像符号化装置は、回路規模や消費電力の増加を伴わずに、符号化された画像データのデータ量を最適化することができるという効果を奏し、例えば、ビデオカメラや携帯電話などに適用することができる。

本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。 本発明の画像符号化装置による仮符号化および実符号化の一例を説明するための説明図である。 本発明の画像符号化装置による仮符号化および実符号化の他の例を説明するための説明図である。 本発明の画像符号化装置の動作を示すフローチャートである。 本発明の実施の形態の変形例に係る画像符号化装置の構成を示すブロック図である。 従来の画像符号化装置の動作のタイミングを示す説明図である。

符号の説明

１００ 画像符号化装置
１０１ 画像入力部
１０２ バッファ
１０３ 符号化ピクチャ選択部
１０４ 符号化条件生成部
１０５ 符号化部
１０６ 出力部
１０７ 先頭検出部
２０１ 画像符号化部
２０２ 可変長符号化部

Claims (4)

1. 動画像信号を符号化する画像符号化装置であって、
   前記動画像信号を取得する動画像取得手段と、
   前記取得した動画像信号を符号化し、２値化データを出力する第１符号化手段と、
   前記２値化データを少なくとも可変長符号化して出力する第２符号化手段と、
   前記動画像信号のうち先頭部分を検出する先頭検出手段と、
   前記第１符号化手段における仮符号化で利用した符号化条件に基づいて、前記動画像信号が前記第１符号化手段および前記第２符号化手段によって符号化された際に符号化後のデータ量が所望のデータ量に近づくように、実符号化用の符号化条件を生成する符号化条件生成手段と、を備え、
   前記第１符号化手段は、前記先頭検出手段で検出された先頭部分の動画像信号を仮符号化し、
   前記符号化条件生成手段は、前記第１符号化手段において前記先頭部分の動画像信号を仮符号化した際に利用した符号化条件に基づいて、前記実符号化用の符号化条件を生成し、
   前記第１符号化手段は、前記実符号化用の符号化条件に基づいて、前記取得した動画像信号の全体を実符号化して２値化データを出力し、
   前記第２符号化手段は、前記実符号化用の符号化条件に基づいて得られる２値化データを処理し、
   さらに、
   前記動画像取得手段は、ピクチャを順次取得することにより、複数のピクチャを含んで構成される前記動画像信号を取得し、
   前記第１符号化手段は、前記動画像取得手段で取得されたピクチャに対して前記実符号化が実行されない期間に、前記先頭部分に含まれるピクチャに対する仮符号化を実行する
   画像符号化装置。
2. 動画像信号を符号化する画像符号化装置であって、
   前記動画像信号を取得する動画像取得手段と、
   前記取得した動画像信号を符号化し、２値化データを出力する第１符号化手段と、
   前記２値化データを少なくとも可変長符号化して出力する第２符号化手段と、
   前記動画像信号のうち先頭部分を検出する先頭検出手段と、
   前記第１符号化手段における仮符号化で利用した符号化条件に基づいて、前記動画像信号が前記第1符号化手段および前記第２符号化手段によって符号化された際に符号化後のデータ量が所望のデータ量に近づくように、実符号化用の符号化条件を生成する符号化条件生成手段と、を備え、
   前記第１符号化手段は、前記先頭検出手段で検出された先頭部分の動画像信号を仮符号化し、
   前記符号化条件生成手段は、前記第１符号化手段において前記先頭部分の動画像信号を仮符号化した際に利用した符号化条件に基づいて、前記実符号化用の符号化条件を生成し、
   前記第１符号化手段は、前記実符号化用の符号化条件に基づいて、前記取得した動画像信号の全体を実符号化して２値化データを出力し、
   前記第２符号化手段は、前記実符号化用の符号化条件に基づいて得られる２値化データを処理し、
   さらに、
   前記第１符号化手段において、前記先頭部分の動画像に対応する先頭ピクチャを前記仮符号化する際に利用する前記先頭ピクチャの参照関係と、前記先頭ピクチャを前記実符号化する際に利用する前記先頭ピクチャの参照関係とは異なる
   画像符号化装置。
3. 動画像信号を符号化する画像符号化方法であって、
   前記動画像信号を取得する動画像取得ステップと、
   前記取得した動画像信号を符号化し、２値化データを出力する第１符号化ステップと、
   前記２値化データを少なくとも可変長符号化して出力する第２符号化ステップと、
   前記動画像信号のうち先頭部分を検出する先頭検出ステップと、
   前記第１符号化ステップにおける仮符号化で利用した符号化条件に基づいて、前記動画像信号が前記第1符号化ステップおよび前記第２符号化ステップによって符号化された際に符号化後のデータ量が所望のデータ量に近づくように、実符号化用の符号化条件を生成する符号化条件生成ステップと、を含み、
   前記第１符号化ステップでは、前記先頭検出ステップで検出された先頭部分の動画像信号を仮符号化し、
   前記符号化条件生成ステップでは、前記第１符号化ステップにおいて前記先頭部分の動画像信号を仮符号化した際に利用した符号化条件に基づいて、前記実符号化用の符号化条件を生成し、
   前記第１符号化ステップでは、前記実符号化用の符号化条件に基づいて、前記取得した動画像信号の全体を実符号化して２値化データを出力し、
   前記第２符号化ステップでは、前記実符号化用の符号化条件に基づいて得られる２値化データを処理し、
   さらに、
   前記動画像取得ステップでは、ピクチャを順次取得することにより、複数のピクチャを含んで構成される前記動画像信号を取得し、
   前記第１符号化ステップでは、前記動画像取得ステップで取得されたピクチャに対して前記実符号化が実行されない期間に、前記先頭部分に含まれるピクチャに対する仮符号化を実行する
   画像符号化方法。
4. 動画像信号を符号化する画像符号化方法であって、
   前記動画像信号を取得する動画像取得ステップと、
   前記取得した動画像信号を符号化し、２値化データを出力する第１符号化ステップと、
   前記２値化データを少なくとも可変長符号化して出力する第２符号化ステップと、
   前記動画像信号のうち先頭部分を検出する先頭検出ステップと、
   前記第１符号化ステップにおける仮符号化で利用した符号化条件に基づいて、前記動画像信号が前記第1符号化ステップおよび前記第２符号化ステップによって符号化された際に符号化後のデータ量が所望のデータ量に近づくように、実符号化用の符号化条件を生成する符号化条件生成ステップと、を含み、
   前記第１符号化ステップでは、前記先頭検出ステップで検出された先頭部分の動画像信号を仮符号化し、
   前記符号化条件生成ステップでは、前記第１符号化ステップにおいて前記先頭部分の動画像信号を仮符号化した際に利用した符号化条件に基づいて、前記実符号化用の符号化条件を生成し、
   前記第１符号化ステップでは、前記実符号化用の符号化条件に基づいて、前記取得した動画像信号の全体を実符号化して２値化データを出力し、
   前記第２符号化ステップでは、前記実符号化用の符号化条件に基づいて得られる２値化データを処理し、
   さらに、
   前記第１符号化ステップにおいて、前記先頭部分の動画像に対応する先頭ピクチャを前記仮符号化する際に利用する前記先頭ピクチャの参照関係と、前記先頭ピクチャを前記実符号化する際に利用する前記先頭ピクチャの参照関係とは異なる
   画像符号化方法。

Images