JP4795211B2

JP4795211B2 - 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体

Info

Publication number: JP4795211B2
Application number: JP2006327024A
Authority: JP
Inventors: 悟小林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-12-05
Filing date: 2006-12-04
Publication date: 2011-10-19
Anticipated expiration: 2026-12-04
Also published as: JP2007184909A

Description

本発明は、ピクチャ間のインター予測を行って、入力画像を圧縮符号化する画像符号化装置及び画像符号化方法に関する。

画像を高能率符号化するための技術として、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）や、動き予測及び動き補償を用いたＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）１，２といった符号化方式が確立されている。各メーカーはこれらの符号化方式を利用して画像を記録可能としたディジタルカメラやディジタルビデオカメラといった撮像装置或いはＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）レコーダなどを開発し、製品化している。ユーザはこれらの装置に加え、パーソナルコンピュータやＤＶＤプレーヤなどを用いて簡単に記録された画像を視聴することが可能となっている。

ところで、ディジタル化された動画像は膨大なデータ量となる。そこで、上記したＭＰＥＧ１，２などよりも更なる高圧縮が望める動画像の符号化方式が研究され続けてきている。ちなみに、近年、ＩＴＵ−Ｔ（国際電気通信連合の電気通信標準化部門）とＩＳＯ（国際標準化機構）によりＨ．２６４／ＭＰＥＧ−４ｐａｒｔ１０（ＡＶＣ）という符号化方式（以下、Ｈ．２６４と称す）が標準化された。

ここで、Ｈ．２６４におけるピクチャタイプ及びピクチャ間予測に用いる参照画像の選択について図２１及び図２２を参照して説明する。尚、図２１（ａ），（ｂ）及び（ｃ）並びに図２２（ａ）及び（ｂ）は入力画像ストリーム及びそのピクチャタイプを表し、各上段が左から順に表示される「表示順」、各下段が左から順に符号化される「符号化順」で示している。例えば、図２１（ａ）のＰ８ピクチャは９番目に表示されるＰピクチャのフレームであることを示している。また、図中の矢印は、参照関係を示している。例えば、図２１（ａ）の例では、Ｐ８ピクチャがＢ０ピクチャを参照していることを示す。図２１（ｂ）の例では、Ｂ０ピクチャがＰ２ピクチャとＢ７ピクチャを参照していることを示す。

Ｈ．２６４における画像フレームのピクチャタイプには、同一フレーム内の情報を用いて符号化するＩピクチャと、時間的に前のフレームとの差分を利用して符号化するＰピクチャと、時間的に前又は後のフレームとの差分を利用して符号化するＢピクチャとがある。

また、Ｈ．２６４では、ピクチャ間予測を行う際に画像ストリーム中の任意のピクチャ及びピクチャタイプを参照画像として利用することが可能である。例えば、図２１（ａ）のように、Ｐ８（Ｐピクチャ）は直前のＩピクチャであるＩ５を飛び越して他のピクチャを参照することが可能となる。同様に、図２１（ｂ）のように、Ｂ０（Ｂピクチャ）は直後のＩピクチャであるＩ５を飛び越して他のピクチャを参照することが可能となる。このように、Ｈ．２６４では柔軟な参照を許容しており、ＭＰＥＧ２のようにＰピクチャであれば当該Ｐピクチャの直前のＩピクチャもしくはＰピクチャしか参照できない方式と比較して、ピクチャ間の予測精度が向上し、符号化効率を向上させることができる。

一方で、上記のような柔軟な参照を許容したためにランダムアクセスが迅速に行えなくなる場合がある。例として図２１（ｃ）において、ランダムアクセスにより画像ストリームの途中のピクチャであるＩ５（Ｉピクチャ）より再生する場合について説明する。

画像ストリーム中のＩ５から再生を開始し、Ｐ８（Ｐピクチャ）を復号する場合、Ｐ８はＢ０（Ｂピクチャ）を参照しているため、Ｂ０を前以って復号しておく必要がある。さらにＢ０はＰ２（Ｐピクチャ）及びＢ７（Ｂピクチャ）を参照しているため、Ｐ２及びＢ７も前以って復号しておく必要がある。同様に、図示していないが、Ｐ２及びＢ７も他のピクチャを参照しているため、他のピクチャも前以って復号しておく必要がある。このように、ＩピクチャであるＩ５から再生を開始したい場合であっても、Ｉピクチャを飛び越しての参照を許容しているために、Ｉ５以前のデータまで遡って復号を開始する必要が生じ、迅速にＩ５から復号することが困難になる。

そこで、この問題を解消し迅速なランダムアクセスを可能とするために、定期的にＩピクチャに動き参照関係に関する制限を設ける方法が提案されている（例えば、特許文献１参照。）。この制限付きのＩピクチャをＨ．２６４ではＩＤＲピクチャという。

ここで、図２２（ａ）及び（ｂ）を参照してＩＤＲピクチャについて説明する。図２２（ａ）及び（ｂ）で示した画像ストリームは、図２１（ａ）及び（ｂ）と同様のストリームに対して、Ｉ５ピクチャをＩＤＲピクチャに設定した画像ストリームである。Ｉ５（Ｉピクチャ）をＩＤＲ５（ＩＤＲピクチャ）に設定すると、該ピクチャを符号化するときに参照画像を記録しているフレームメモリがクリアされる。そのため、ＩＤＲ５以降に符号化されるピクチャがＩＤＲ５以前に符号化されたピクチャを参照することができない。同様に、ＩＤＲ５以前に符号化されたピクチャがＩＤＲ５以降に符号化されるピクチャを参照することができない。

図２２（ａ）の例では、ＩＤＲ５以降に符号化されるＰピクチャ（Ｐ８など）やＢピクチャ（Ｂ６など）が、ＩＤＲ５以前に符号化されたＰピクチャ（Ｐ２など）やＢピクチャ（Ｂ０など）を参照することができないことを示している。同様に図２２（ｂ）の例では、ＩＤＲ５以前に符号化されるＰピクチャ（Ｐ２など）やＢピクチャ（Ｂ０など）が、ＩＤＲ５以降に符号化されるＰピクチャ（Ｐ８など）やＢピクチャ（Ｂ６など）を参照することができないことを示している。

すなわち、ＩＤＲピクチャによって参照関係がリセットされることになるので、ＩＤＲピクチャから再生を開始すれば、ＩＤＲピクチャ以前のピクチャまで遡って復号する必要がなく、容易にランダムアクセスを行うことができる。
特開２００３−１９９１１２号公報

前述のようにＨ．２６４では、ピクチャ間予測の参照関係を制限するＩＤＲピクチャを利用することでランダムアクセスを容易に行うことができる。そのため、画像ストリームの任意の場所からランダムアクセスを行うためには、数多くのＩＤＲピクチャが設定されている必要がある。しかし、ピクチャ内の情報を使って符号化を行うＩＤＲピクチャの発生符号量は大きく、数多くのピクチャをＩＤＲピクチャに設定すると符号化効率が悪化する可能性がある。また、ＩＤＲピクチャを多用した場合、Ｈ．２６４が本来有する柔軟な参照関係が制限され、ピクチャ間の符号化効率も悪化する可能性がある。

従って、ＩＤＲピクチャの設定は必要最低限であることが望ましい。従来例のように定期的にＩＤＲピクチャを設定する場合は、ランダムアクセスに必要のないピクチャもＩＤＲピクチャに設定されることになり、符号化効率が悪化してしまうという問題があった。

そこで本発明は、上記の如き問題点を鑑みてなされたものであり、符号化効率を損なわずに画像ストリームの途中からのランダムアクセスが可能な画像ストリームを生成する画像符号化装置及びその方法を提供することを目的とする。

また本発明の他の目的は、画像ストリーム中の注目すべきシーンにおけるランダムアクセスの任意性を向上させることである。

上述の目的は、画像データを圧縮符号化するための画像符号化装置であって、入力画像データに対する符号化処理の際に、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ内のイントラ予測符号化によって生成される第１の符号化ピクチャと、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ間のインター予測符号化によって生成される第２の符号化ピクチャとを設定可能な符号化手段を有し、前記符号化手段は、前記第１の符号化ピクチャの設定に連動して前記第２の符号化ピクチャの設定を行い、前記第１の符号化ピクチャの近傍に少なくとも１枚の前記第２の符号化ピクチャが配置された画像ストリームを生成することを特徴とする画像符号化装置によって達成される。

また、上述の目的は、画像データを圧縮符号化する画像符号化装置の制御方法であって、入力画像データに対する符号化処理の際に、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ内のイントラ予測符号化によって生成される第１の符号化ピクチャと、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ間のインター予測符号化によって生成される第２の符号化ピクチャとを設定可能な符号化工程と、前記符号化工程において、前記第１の符号化ピクチャの設定に連動して前記第２の符号化ピクチャの設定を行い、前記第１の符号化ピクチャの近傍に少なくとも１枚の前記第２の符号化ピクチャが配置された画像ストリームを生成するよう制御する制御工程とを有することを特徴とする画像符号化装置の制御方法によっても達成される。

さらに、上述の目的は、画像データを圧縮符号化する画像符号化装置の制御方法をコンピュータに実行させるためのプログラムであって、入力画像データに対する符号化処理の際に、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ内のイントラ予測符号化によって生成される第１の符号化ピクチャと、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ間のインター予測符号化によって生成される第２の符号化ピクチャとを設定可能な符号化工程と、前記符号化工程において、前記第１の符号化ピクチャの設定に連動して前記第２の符号化ピクチャの設定を行い、前記第１の符号化ピクチャの近傍に少なくとも１枚の前記第２の符号化ピクチャが配置された画像ストリームを生成するよう制御する制御工程とを有することを特徴とするプログラムによっても達成される。

本発明においては、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ内のイントラ予測符号化によって生成される第１の符号化ピクチャととともに、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ間のインター予測符号化によって生成される第２の符号化ピクチャを設定するように構成している。第２の符号化ピクチャは、インター予測符号化であるため、イントラ予測符号化である例えばＩＤＲピクチャ等と比べ符号化効率が損なわれない。従って、本発明によれば、符号化効率を損なわずに画像ストリームの途中からのランダムアクセスが可能な画像ストリームを生成することが可能となる。さらに、本発明によれば、画像ストリーム中の注目すべきシーンにおけるランダムアクセスの任意性を向上させることができる。

以下、図面を参照しながら本発明の好適な実施形態について詳細に説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。このような画像符号化装置は、ディジタルカメラ、ディジタルビデオカメラ（カメラ一体型ビデオレコーダ）、或いはカメラと符号化装置（パーソナルコンピュータ等）を接続して構成される撮像画像の符号化システムなどに適用できる。

本実施形態に係る画像符号化装置は、カメラ制御データにより視聴者の注目度の高いシーンにＩＤＲピクチャを設定し、ＩＤＲピクチャに連動してランダムアクセスを可能にするための動き参照関係制限付きＰピクチャ（以下、制限付きＰピクチャとも称す）を設定するものである。なお、動き参照関係制限付きＰピクチャについては後ほど説明する。

図１において、１０１は撮影を行うカメラ部であり、１０２はカメラ部からの非圧縮の画像データを圧縮符号化する符号化部である。１０３はカメラ部からカメラ制御データを取得して、カメラ制御データに基づきピクチャタイプをＩＤＲピクチャにするか判定するＩＤＲピクチャ判定部である。

次に、カメラ部１０１、符号化部１０２、ＩＤＲピクチャ判定部１０３について詳しく説明する。

（カメラ部１０１）
図２は、カメラ部１０１の構成を示すブロック図である。カメラ部１０１は、被写体光を入力し、非圧縮の画像データとカメラ制御データとを出力する。

レンズ２０１は、被写体光を撮像部２０２に導く。レンズ２０１は、後述のカメラ制御部２０７から出力される制御信号に対応してズーム動作や焦点整合動作などを行う。撮像部２０２は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサーを使って被写体を撮像し、得られた被写体光を電気信号に変換する。Ａ／Ｄ変換部２０３は、アナログ信号をディジタル信号に変換する。

カメラ信号処理部２０４は、Ａ／Ｄ変換部２０３より出力されたディジタル信号に対して、γ補正、ホワイトバランス等の処理を行い、非圧縮画像データを出力する。非圧縮画像データに対してフェードやワイプなどの特殊効果を付加する場合は、特殊効果付加部２０５により特殊効果を付加し、特殊効果付き非圧縮画像データを出力する。一方。特殊効果を付加しない場合は、非圧縮画像データをそのまま出力する。

スイッチ２０８は、カメラ信号処理部２０４により出力された非圧縮画像データに特殊効果を付加した特殊効果付き非圧縮画像データ、またはカメラ信号処理部２０４より出力されたそのままの非圧縮画像データのいずれを出力するかを選択する。つまり、スイッチ２０８は、特殊効果を付加するかしないか選択する。振動検出部２０６は、ジャイロ等を用いた周知の方式によりカメラ部１０１の振動を検出することにより、手ぶれやカメラ部１０１のパン・チルトを検出する。

カメラ制御部２０７は、カメラ部１０１の各部の動作を制御し、カメラ制御データを出力する。このカメラ制御データには、前述のカメラ部１０１を構成する各モジュールの制御データが含まれる。

なお、手ぶれ及びパン・チルトは、カメラ信号処理部２０４において特定フレームと該フレームの直前フレームとの差分を評価することにより検出する手法を用いてもよい。

以上がカメラ部１０１に関する説明である。

（符号化部１０２）
図３は、符号化部１０２の構成を示すブロック図である。符号化部１０２は、入力された非圧縮画像データを分割することによりブロックを構成し、ブロック単位に符号化処理を行い、符号化データを出力する。

フレーム並び替え部３０１は、表示順で入力された非圧縮の画像データを符号化順に並び替える。減算器３０２は、入力画像データから予測画像データを減算し画像残差データを出力する。予測画像データの生成については後述する。

整数変換部３０３は、減算器３０２から出力された画像残差データを直交変換処理して変換係数を出力する。そして、量子化部３０４は上記変換係数を所定の量子化パラメータを用いて量子化する。エントロピー符号化部３０５は、量子化部３０４で量子化された変換係数と動きベクトル情報とを入力し、これをエントロピー符号化して符号化データとして出力する。

一方、量子化部３０４で量子化された変換係数は予測画像データの生成にも使われる。逆量子化部３０６は、量子化部３０４で量子化された変換係数を逆量子化する。さらに、逆整数変換部３０７は逆量子化部３０６で逆量子化された変換係数を逆整数変換し、復号画像残差データとして出力する。加算器３０８は、復号画像残差データと予測画像データとを加算して、再構成画像データとして出力する。

加算器３０８から出力された再構成画像データは、フレームメモリ３０９に記録される。それとともに、再構成画像データに対してデブロッキングフィルタ処理を施す場合にはデブロッキングフィルタ３１２を介してフレームメモリ３１３に記録される。デブロッキングフィルタ処理を施さない場合にはデブロッキングフィルタ３１２を介さずフレームメモリ３１３に記録される。

スイッチ３１１は、加算器３０８から出力された再構成画像データに対してデブロッキングフィルタ処理を施すか否かを選択する選択部である。再構成画像データの中で、以降の予測処理で参照される可能性があるデータは、フレームメモリ３０９または３１３に暫くの期間保存される。

イントラ予測部３１０は、フレームメモリ３０９に記録された再構成画像データを用いてピクチャ内予測処理を行い、予測画像データを生成する。また、インター予測部３１４は、フレームメモリ３１３に記録された再構成画像データを用いて、動き検出部３１５によって検出された動きベクトル情報に基づいてピクチャ間予測処理を行い、予測画像データを生成する。動き検出部３１５は、入力画像データにおける動きベクトルを検出して、検出した動きベクトル情報をインター予測部３１４とエントロピー符号化部３０５へ出力する。

ピクチャタイプ決定部３１６は、後述のＩＤＲピクチャ判定部１０３からのＩＤＲピクチャ設定情報に応じて、符号化対象ピクチャがＩＤＲピクチャと判定された場合は、該ピクチャのピクチャタイプをＩＤＲピクチャと決定する。一方、ＩＤＲピクチャと判定されない場合は、Ｈ．２６４の符号化方法に準拠してピクチャタイプを決定する。スイッチ３１７は、イントラ予測、インター予測のどちらを用いるか選択するための選択部である。ピクチャタイプ決定部３１６によって決定されたピクチャタイプに応じてイントラ予測部３１０からの出力とインター予測部３１４からの出力のどちらか一方を選択して、選択された予測画像データを減算器３０２、加算器３０８へ出力する。

また、ピクチャタイプ決定部３１６は、符号化対象ピクチャがＩＤＲピクチャと判定された場合は、該ピクチャのピクチャタイプをＩピクチャと決定すると共に、該ピクチャに飛び越し参照禁止フラグを付加してもよい。これにより、インター予測部３１４により該Ｉピクチャを飛び越さないような参照関係が決定される。

以上が符号化部１０２に関する説明である。

次に、図４〜図９を参照してＩＤＲピクチャ判定部１０３について詳しく説明する。図４〜図９は、入力画像ストリーム、そのピクチャタイプ及びカメラ制御データを表し、各上段が左から順に表示される表示順、各下段が左から順に符号化される符号化順を示している。また、ピクチャタイプとして、ＰはＰピクチャを、ＢはＢピクチャを、ＩＤＲはＩＤＲピクチャであることを示している。例えば図４では、Ｐ１０ピクチャは１１番目に表示されるＰピクチャのフレーム画像であることを示している。図４及び図５のカメラ制御データは、焦点整合制御データを示している。

図４の例では、カメラ部１０１は、Ｐ０〜ＩＤＲ２及びＩＤＲ９〜Ｐ１１の間は焦点が合焦しており、焦点合焦画像を出力する。また、Ｐ３の時に焦点整合処理を開始し、Ｐ８の時に焦点整合処理を終了しているため、Ｐ３〜Ｐ８の間は焦点整合中であり、焦点非合焦画像を出力する。図５の例では、カメラ部１０１は、Ｂ０〜ＩＤＲ２及びＢ９〜ＩＤＲ１１の間は焦点が合焦しており、焦点合焦画像を出力する。また、Ｂ３の時に焦点整合処理を開始し、Ｐ８の時に焦点整合処理を終了しているため、Ｂ３〜Ｐ８ピクチャの間は焦点整合中であり、焦点非合焦画像を出力する。

ＩＤＲピクチャ判定部１０３は、カメラ部１０１から出力されるカメラ制御データを入力し、カメラ部１０１の動作を解析する。そして、下記（１）〜（５）の動作開始前のフレーム又は動作終了後のフレーム、もしくは動作開始前及び動作終了後の両フレームのピクチャタイプをＩＤＲピクチャと判定し、符号化部１０２にＩＤＲピクチャ設定情報を出力する。
（１）焦点整合
（２）ズーム
（３）パン・チルト
（４）手ぶれ
（５）特殊効果付加

図４のようにＢピクチャを含まない画像ストリームの例では、Ｐ３ピクチャ〜Ｐ８ピクチャまでの間、カメラ部１０１は焦点整合処理を行っている。従って、ＩＤＲピクチャ判定部１０３は、その処理動作開始直前及び動作終了直後の両フレームのピクチャタイプをＩＤＲピクチャと判定し、ＩＤＲ２及びＩＤＲ９を設定させる。

図５のようにＢピクチャを含む画像ストリームの例では、Ｂ３ピクチャ〜Ｐ８ピクチャまでの間、カメラ部１０１は焦点整合処理を行っている。従って、ＩＤＲピクチャ判定部１０３は、その処理動作期間を含むように、符号化順でＢ０の直前に位置するフレーム及び符号化順でＢ７の直後に位置するフレームのピクチャタイプをそれぞれＩＤＲピクチャと判定し、ＩＤＲ２及びＩＤＲ１１を設定させる。

前述の通り、図４及び図５の例のようにＩＤＲピクチャを設定すると、例えば、合焦したＩＤＲピクチャ（図４のＩＤＲ９及び図５のＩＤＲ１１）からのランダムアクセスが可能となる。また、焦点整合処理中のボケた画像ストリームの前後のフレームはＩＤＲピクチャに設定されているのでボケた画像を容易にカット編集することが可能となる。さらに、合焦画像（例えば、図４のＰ１０及び図５のＢ９）は非合焦画像（例えば、図４及び図５のＰ５）を参照したとしても、参照画像がボケてしまっているために、フレーム間予測精度が低下すると考えられる。焦点整合前後のフレームをＩＤＲピクチャに設定することにより合焦画像（例えば、図４のＰ１０及び図５のＢ９）から非合焦画像（例えば、図４及び図５のＰ５）の参照を禁止し、合焦画像のみを参照画像とするためフレーム間予測精度を向上させることができる。

以下、（１）焦点整合の場合と同様に、（２）ズームの場合では、図６のようにズーム動作開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。（３）パン・チルトの場合では、図７のようにパン・チルト開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。（４）手ぶれの場合では、図８のように手ぶれ開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。（５）特殊効果付加の場合では、図９のように特殊効果付加開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。

次に、上述したようにカメラ制御データによってＩＤＲピクチャを設定する場合における符号化処理について、図１及び図１０を参照して説明する。図１０は、本発明の第１の実施形態における符号化手順を示すフローチャートである。

まず、ステップＳ１００１において撮影を開始する。そして、カメラ部１０１は、ステップＳ１００２において非圧縮画像データを符号化部１０２に出力し、ステップＳ１００３においてカメラ制御データをＩＤＲピクチャ判定部１０３に出力する。

ＩＤＲピクチャ判定部１０３は、ステップＳ１００３において出力されたカメラ制御データが焦点整合動作開始又は終了であれば、ステップＳ１００４において符号化部１０２にＩＤＲピクチャ設定情報を出力する（ステップＳ１００９に進む）。

ステップＳ１００３において出力されたカメラ制御データが焦点整合開始又は終了でなく（ステップＳ１００４がｎｏのとき）、ズーム動作開始又は終了であれば、ＩＤＲピクチャ判定部１０３は、ステップＳ１００５において符号化部１０２にＩＤＲピクチャ設定情報を出力する（ステップＳ１００９に進む）。

ステップＳ１００３において出力されたカメラ制御データがズーム動作開始又は終了でなく（ステップＳ１００５がｎｏのとき）、パン・チルト開始又は終了であれば、ＩＤＲピクチャ判定部１０３は、ステップＳ１００６において符号化部１０２にＩＤＲピクチャ設定情報を出力する（ステップＳ１００９に進む）。

ステップＳ１００３において出力されたカメラ制御データがパン・チルト開始又は終了でなく（ステップＳ１００６がｎｏのとき）、手ぶれ開始又は終了であれば、ＩＤＲピクチャ判定部１０３は、ステップＳ１００７において符号化部１０２にＩＤＲピクチャ設定情報を出力する（ステップＳ１００９に進む）。

ステップＳ１００３において出力されたカメラ制御データが手ぶれ開始又は終了でなく（ステップＳ１００７がｎｏのとき）、特殊効果付加開始又は終了であれば、ＩＤＲピクチャ判定部１０３は、ステップＳ１００８において符号化部１０２にＩＤＲピクチャ設定情報を出力する（ステップＳ１００９に進む）。

ステップＳ１００４〜ステップＳ１００８においてＩＤＲピクチャ判定部１０３よりＩＤＲピクチャ設定情報が出力された場合（ステップＳ１００４〜Ｓ１００８のいずれがｙｅｓのとき）は、ステップＳ１００９において符号化部１０２のピクチャタイプ決定部３１６によりピクチャタイプがＩＤＲピクチャに設定される。

ステップＳ１００４〜ステップＳ１００８においてＩＤＲピクチャ判定部１０３よりＩＤＲピクチャ設定情報が出力されない場合（ステップＳ１００４〜Ｓ１００８の全てがｎｏのとき）、ステップＳ１０１０において符号化部１０２のピクチャタイプ決定部３１６にてＨ．２６４符号化方法に準拠したピクチャタイプが設定される。

ステップＳ１００９又はステップＳ１０１０により設定されたピクチャタイプに基づきながら、符号化部１０２によってインター予測とイントラ予測とを用いた符号化処理が行われる。このとき、ステップＳ１０１１において、設定されたＩＤＲピクチャの近傍のＰピクチャを参照関係が制限された制限付きＰピクチャに設定する。

ステップＳ１０１２において符号化データが出力される。この一連の処理をステップＳ１０１３において撮影終了までピクチャ単位に繰り返すことにより全ての入力画像データを符号化する。

以上がＩＤＲピクチャの設定及び符号化手順に関する説明である。次に本実施形態の特徴である前述の方法により設定したＩＤＲピクチャに連動し、制限付きＰピクチャを設定する方法について説明する。

まず、動き参照関係が制限された制限付きＰピクチャについて説明する。

動き参照関係制限付きＰピクチャとは、動き参照関係に制限が存在するＰピクチャのことである。即ち、制限付きＰピクチャは、該制限付きＰピクチャと参照関係にある少なくとも１枚の参照ピクチャを復号することにより該制限付きＰピクチャからの迅速なランダムアクセス再生を可能とするピクチャである。

以下、制限付きＰピクチャについて図１１の例を参照して詳しく説明する。図１１において、Ｐ８ピクチャが動き参照関係制限付きＰピクチャであり、その他のＰピクチャは通常のＰピクチャである。尚、簡単のためＩピクチャ及びＰピクチャから構成される画像ストリームに関して説明するが、Ｉピクチャ、Ｐピクチャ及びＢピクチャから構成される画像ストリームであっても同様の方法により制限付きＰピクチャからのランダムアクセスが可能である。

Ｐピクチャからランダムアクセスをする場合、前述のようにＨ．２６４符号化方法においては柔軟なフレーム間参照を許容しており、Ｉピクチャを飛び越しての参照も可能であるためにランダムアクセスが迅速に行えない可能性がある。そこで、例えば、動き参照関係に以下の２つの制限を付けることによりＰピクチャからの迅速なランダムアクセスが可能となる。
［１］動き参照関係制限付きＰピクチャと参照関係にあるピクチャは同一ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）内のＩ及びＰピクチャのみを参照する。
［２］動き参照関係制限付きＰピクチャを飛び越した動き参照は禁止する。

［１］の制限に関して図１１を参照して説明する。図１１のＰ８ピクチャが参照するピクチャは同一ＧＯＰ内のＩ及びＰピクチャに制限され、例えば、Ｐ８ピクチャはＰ０ピクチャを参照することができない。この制限により図１１の例だと、Ｐ８ピクチャは同一ＧＯＰ内のＰ６ピクチャを参照している。該Ｐ６ピクチャが参照するピクチャも同一ＧＯＰ内のＩ及びＰピクチャに制限される。図１１の例だと同一ＧＯＰ内のＰ３ピクチャを参照している。同様に該Ｐ３ピクチャの参照関係も制限され、図１１の例だと同一ＧＯＰ内のＩ２ピクチャを参照している。従って、Ｉ２、Ｐ３、Ｐ６ピクチャを前以って復号するたけで、Ｐ８ピクチャを復号することができる。

［２］の制限に関して図１１を参照して説明する。Ｐ８ピクチャ以降のピクチャ（Ｐ９〜Ｐ１１）はＰ８ピクチャを飛び越しての参照を禁止するよう制限され、例えば、Ｐ９、Ｐ１０、Ｐ１１ピクチャはＰ５ピクチャを参照することができない。この制限により図１１の例だと、Ｐ１１ピクチャはＰ１０ピクチャを参照し、Ｐ１０ピクチャはＰ９ピクチャを参照し、Ｐ９ピクチャはＰ８ピクチャを参照している。従って、Ｐ８ピクチャから再生する場合には、Ｐ８ピクチャ以降のピクチャは復号して得られたフレームメモリ内の再構成画像を用いた動き補償により順次復号することが可能となるため迅速に復号することが可能となる。

以上のような制限により、制限付きＰ８ピクチャと参照関係にあるＩ２、Ｐ３、Ｐ６ピクチャの合計３ピクチャのみを前以って復号することによりＰ８ピクチャを復号することが可能となる。また、制限付きＰ８ピクチャ以降のピクチャはＰ８ピクチャ以降のピクチャを復号して得られた再構成画像を用いた動き補償により順次復号することができる。従って、制限付きＰピクチャからの迅速なランダムアクセスが可能となる。

次にＩＤＲピクチャの設定に連動して、制限付きＰピクチャをＩＤＲピクチャの近傍に設定する方法について図１２を参照して説明する。図１２は、前述のズーム情報というカメラ制御データに応じて設定されたＩＤＲピクチャに連動して、制限付きＰピクチャを設定する一例である。撮影者は撮影したい被写体に向かってズームを行うため、ズーム動作終了後の画像は注目度が高い画像である。視聴者は、注目度の高い画像ストリーム部分からのランダムアクセスを所望するため注目度の高い画像ストリーム部分にはランダムアクセスポイントが多い方が良い。

そこで、前述の方法によってズーム動作終了直後に設定されたＩＤＲピクチャ（ＩＤＲ９）の直後のピクチャのうち、少なくとも１枚のＰピクチャを制限付きＰピクチャに設定することで、ランダムアクセスポイントを付加する。図１２の例だとＰ１０及びＰ１１が制限付きＰピクチャに設定される。すなわち、ピクチャタイプ決定部３１６は、ＩＤＲピクチャ判定部１０３によってＩＤＲピクチャと判定されるとまず、ピクチャタイプをＩＤＲピクチャに設定する。そして、ピクチャタイプ決定部３１６は、設定したＩＤＲピクチャ以降のピクチャのうち少なくとも１枚のピクチャを制限付きＰピクチャに設定する。これにより、ズーム動作終了直後のシーンにおいて、ＩＤＲピクチャと制限付きＰピクチャから成る複数のランダムアクセスポイントが設定される。

前述のカメラ制御データとしてズーム動作制御データを選択した場合と同様に、焦点整合制御データの場合は、図１３のように焦点整合直後に設定されたＩＤＲピクチャ（ＩＤＲ９）に連動して制限付きＰピクチャを設定する。図１３の例だとＰ１０及びＰ１１が制限付きＰピクチャに設定される。すなわち、ピクチャタイプ決定部３１６は、ＩＤＲピクチャ（ＩＤＲ９）以降のピクチャのうち、少なくとも１枚のＰピクチャを制限付きＰピクチャに設定する。これにより、焦点整合直後のシーンにおいて、ＩＤＲピクチャと制限付きＰピクチャから成る複数のランダムアクセスポイントが設定される。

パン・チルトの場合は、図１４のようにパン・チルト直後に設定されたＩＤＲピクチャ（ＩＤＲ９）に連動して制限付きＰピクチャを設定する。図１４の例だとＰ１０及びＰ１１が制限付きＰピクチャに設定される。すなわち、ピクチャタイプ決定部３１６は、ＩＤＲピクチャ（ＩＤＲ９）以降のピクチャのうち少なくとも１枚のピクチャを制限付きＰピクチャに設定する。これにより、パンやチルトの直後のシーンにおいて、ＩＤＲピクチャと制限付きＰピクチャから成る複数のランダムアクセスポイントが設定される。

手ぶれの場合は、図１５のように手ぶれの直後に設定されたＩＤＲピクチャ（ＩＤＲ９）に連動して制限付きＰピクチャを設定する。図１５の例だとＰ１０及びＰ１１が制限付きＰピクチャに設定される。すなわち、ピクチャタイプ決定部３１６は、ＩＤＲピクチャ（ＩＤＲ９）以降のピクチャのうち少なくとも１枚のピクチャを制限付きＰピクチャに設定する。これにより、手ぶれの直後のシーンにおいて、ＩＤＲピクチャと制限付きＰピクチャから成る複数のランダムアクセスポイントが設定される。

特殊効果の場合は、図１６のように特殊効果付加直後に設定されたＩＤＲピクチャ（ＩＤＲ９）に連動して制限付きＰピクチャを設定する。図１６の例だとＰ１０及びＰ１１が制限付きＰピクチャに設定される。すなわち、ピクチャタイプ決定部３１６は、ＩＤＲピクチャ（ＩＤＲ９）以降のピクチャのうち少なくとも１枚のピクチャを制限付きＰピクチャに設定する。これにより、特殊効果を付加した直後のシーンにおいて、ＩＤＲピクチャと制限付きＰピクチャから成る複数のランダムアクセスポイントが設定される。

なお、例えば、図１２においてズーム終了直後のＩＤＲピクチャ（ＩＤＲ９）以降だけでなく、ズーム動作開始直前のＩＤＲピクチャ（ＩＤＲ２）以降のピクチャのうち少なくとも１枚のピクチャを制限付きＰピクチャに設定してもよい。すなわち、図１２のＰ３〜Ｐ８のピクチャのうち少なくとも１枚のピクチャを制限付きＰピクチャに設定してもよい。これにより、ズーム途中の画像からのランダムアクセスが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図１７は、本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。本実施形態に係る画像符号化装置は、シーンチェンジに応じて設定されたＩＤＲピクチャに連動して制限付きＰピクチャを設定することが可能である。なお、第１の実施形態と同じ符号のものは第１の実施形態と同様の動作、処理を行うため、説明は省略する。

１７０１は、カメラ部１０１から出力された非圧縮画像データに対して、例えばフレーム間の画素値の差分値がある閾値より大きい場合は、シーンチェンジと判定するシーンチェンジ検出部である。シーンチェンジが検出されるとシーンチェンジ検出部１７０１からＩＤＲピクチャ設定情報が出力され、前記ピクチャタイプ決定部３１６によってピクチャタイプがＩＤＲピクチャに設定される。例えば、図１８のようにＰ６ピクチャの直後にシーンチェンジが発生した場合は、Ｐ６直後のピクチャのピクチャタイプがＩＤＲピクチャに設定される。

次に、上述したシーンチェンジによってＩＤＲピクチャを設定する場合における符号化処理について、図１７及び図１９を参照して説明する。図１９は、本発明の第２の実施形態における符号化手順を示すフローチャートである。なお、図１９において、ステップＳ１００１からＳ１００２は、図１０のフローチャートによって示された処理と同様である。

ステップＳ１９０１において、シーンチェンジ検出部１７０１は、カメラ部１０１より出力された非圧縮画像データのピクチャ間の画素値差分よりシーンチェンジの発生を検出する。ステップＳ１９０１においてシーンチェンジが検出された場合は、シーンチェンジ検出部１７０１は符号化部１０２にＩＤＲピクチャ設定情報を出力する。これにより、ステップＳ１００９において、符号化部１０２のピクチャタイプ決定部３１６によりピクチャタイプがＩＤＲピクチャに設定される。

ステップＳ１９０１において、シーンチェンジが検出されない場合は、ステップＳ１０１０において符号化部１０２のピクチャタイプ決定部３１６にてＨ．２６４符号化方法に準拠したピクチャタイプが設定される。

以上がシーンチェンジに応じたＩＤＲピクチャの設定及び符号化手順に関する説明である。次に本実施形態の特徴であるシーンチェンジに応じて設定されたＩＤＲピクチャに連動し、制限付きＰピクチャを設定する方法について図２０を参照して説明する。

図２０において、Ｐ９、Ｐ１１ピクチャが制限付きＰピクチャであり、その他のＰピクチャは通常のＰピクチャである。ここでは、Ｉピクチャ及びＰピクチャから構成される画像ストリームに関して説明するが、Ｉピクチャ、Ｐピクチャ及びＢピクチャから構成される画像ストリームであっても同様の方法により制限付きＰピクチャからのランダムアクセスが可能である。

シーンチェンジでは、シーンチェンジ直前の映像と直後の映像との変化が激しいため視聴者の注目度が高くなる。視聴者は、注目度の高い画像ストリーム部分からのランダムアクセスを所望するため注目度の高い画像ストリーム部分にはランダムアクセスポイントが多い方が良い。

そこで、シーンチェンジに応じて設定されたＩＤＲピクチャ直後の少なくとも１枚のピクチャを制限付きＰピクチャに設定することで、ランダムアクセスポイントを付加する。すなわち、ピクチャタイプ決定部３１６は、シーンチェンジ検出部１７０１によってシーンチェンジが検出されるとまず、ピクチャタイプをＩＤＲピクチャに設定する。そして、ピクチャタイプ決定部３１６は、設定したＩＤＲピクチャ以降のピクチャのうち少なくとも１枚のピクチャを制限付きＰピクチャに設定する。

図２０の例では、Ｐ６ピクチャ直後にシーンチェンジ検出部１７０１によりシーンチェンジが検出された例を示している。Ｐ６ピクチャ直後にシーンチェンジが検出されているため前述のようにＰ６直後のピクチャのピクチャタイプはＩＤＲピクチャ（ＩＤＲ７）となっている。本実施形態では該ＩＤＲピクチャ（ＩＤＲ７）に連動して該ＩＤＲピクチャ（ＩＤＲ７）以降のピクチャのうち少なくとも１枚のピクチャを制限付きＰピクチャに設定する。図２０の例ではＰ９及びＰ１１ピクチャを制限付きＰピクチャに設定し、Ｐ８及びＰ１０ピクチャを通常のＰピクチャに設定している。そのため、ＩＤＲ７、Ｐ９、Ｐ１１ピクチャからのランダムアクセスが可能となる。

また、早送りや逆送り再生などのシーク再生時には等速再生時よりも迅速な復号が要求される。前述のように制限付きＰピクチャは参照関係にある少なくとも１枚以上のピクチャを前以って復号するだけで迅速に復号することが可能である。従って、ピクチャ内符号化されているＩピクチャ及びＩＤＲピクチャに加えて制限付きＰピクチャもシーク再生時に表示される画像としても利用することができる。

本発明の第１及び第２の実施形態の方法においてＩＤＲピクチャに連動して設定される制限付きＰピクチャは、注目度の高い画像ストリーム部分に設定される。従って、注目度の高い画像ストリーム部分には他部分と比較してシーク再生時に表示できる画像数が多い。

例えば、図２０の例だとシーンチェンジ前の注目度が低いストリーム部分でシーク再生時に表示可能なピクチャがＩ２ピクチャ１枚である。これに対して、シーンチェンジ直後の注目度が高い画像ストリーム部分でシーク再生時に表示可能なピクチャはＩＤＲ７、Ｐ９及びＰ１１の３枚と多い。そのため、注目度の低い画像ストリーム部分のシーク再生を行う場合と比較して注目度の高い画像ストリーム部分のシーク再生を行う場合では低速のシーク再生を行うことができる。従って、視聴者は注目度の高い画像ストリーム部分においてどのような映像なのかより容易に判断することが可能となる。

上述した実施形態によれば、カメラ制御データやシーンチェンジに応じて、必要最低限のピクチャのピクチャタイプをＩＤＲピクチャに設定し、該ＩＤＲピクチャに連動してランダムアクセス可能な制限付きＰピクチャを設定している。これにより、注目度の高い画像ストリーム部分に多くのランダムアクセスポイントを設定することができる。このことにより、従来の定期的にＩＤＲピクチャを設定する場合に比べ、符号化効率を損なわずに制限付きＰピクチャからのランダムアクセスが可能な画像ストリームを得ることができるという効果がある。

さらに、上述した第１の実施形態では、カメラ制御データに基づいて、第２の実施形態ではシーンチェンジに基づいて、それぞれＩＤＲピクチャを設定する例を説明したが、ＩＤＲピクチャを符号化状態に応じて適宜設定する構成においても本発明は適用できる。このとき実行される符号化処理について、図２３を用いて説明する。図２３はＩＤＲピクチャとその前後のＰピクチャを制限付きＰピクチャに設定する例である。

ＩＤＲピクチャが設定されるタイミングが予め分っている場合には、ＩＤＲピクチャの直前及び直後に制限付きＰピクチャを設定することができる。ＩＤＲピクチャが設定されるタイミングが予め分っている場合とは、例えば、ピクチャタイプ決定部３１６が符号化状態に応じて自ら判断したタイミングで能動的にＩＤＲピクチャを設定するような場合や、いわゆる２パス符号化を行う場合である。このような場合、ピクチャタイプ決定部３１６がＩＤＲピクチャを設定することに連動して、符号化部１０２では該ＩＤＲピクチャの前後に位置する少なくとも１枚のＰピクチャを制限付きＰピクチャに設定した符号化を行うことができる。図２３では、ＩＤＲピクチャ（ＩＤＲ８）の直前のＰピクチャであるＰ５と、直後のＰピクチャであるＰ１１を制限付きＰピクチャとして符号化した例である。なお、図２３の例の場合、上述した［１］及び［２］の制限によって、Ｐ５を含むＧＯＰとＰ１１を含むＧＯＰでは、それぞれ参照関係が制限された符号化が行われることになる。このような構成によると、ＩＤＲピクチャとその周辺に配置された制限付きＰピクチャから成る複数のランダムアクセスポイントを設定することができる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム等のコンピュータが記憶媒体からプログラムコードを読み出し実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに接続された機能拡張ユニット等に備わるメモリに書込まれた後、そのプログラムコードの指示に基づきＣＰＵ等が実際の処理を行い、前述した実施形態の機能が実現される場合も含まれる。

本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。カメラ部の構成を示すブロック図である。符号化部の構成を示すブロック図である。焦点整合制御データに基づくＢピクチャを含まない画像ストリームにおけるＩＤＲピクチャ設定を説明するための図である。焦点整合制御データに基づくＢピクチャを含む画像ストリームにおけるＩＤＲピクチャ設定を説明するための図である。ズーム動作制御データに基づくＢピクチャを含まない画像ストリームにおけるＩＤＲピクチャ設定を説明するための図である。パン・チルト検出データに基づくＢピクチャを含まない画像ストリームにおけるＩＤＲピクチャ設定を説明するための図である。手ぶれ検出データに基づくＢピクチャを含まない画像ストリームにおけるＩＤＲピクチャ設定を説明するための図である。特殊効果付加制御データに基づくＢピクチャを含まない画像ストリームにおけるＩＤＲピクチャ設定を説明するための図である。本発明の第１の実施形態における符号化手順を示すフローチャートである。動き参照関係制限付きＰピクチャを説明するための図である。ズーム動作制御データに基づく動き参照関係制限付きＰピクチャの設定方法を説明するための図である。焦点整合制御データに基づく動き参照関係制限付きＰピクチャの設定方法を説明するための図である。パン・チルト検出データに基づく動き参照関係制限付きＰピクチャの設定方法を説明するための図である。手ぶれ検出データに基づく動き参照関係制限付きＰピクチャの設定方法を説明するための図である。特殊効果付加制御データに基づく動き参照関係制限付きＰピクチャの設定方法を説明するための図である。本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。本発明の第２の実施形態におけるＩＤＲピクチャの設定方法を説明するための図である。本発明の第２の実施形態における符号化手順を示すフローチャートである。本発明の第２の実施形態における動き参照関係制限付きＰピクチャの設定方法を説明するための図である。（ａ）、（ｂ）、（ｃ）は参照画像の関係を説明するための図である。（ａ）、（ｂ）はＩＤＲピクチャを説明するための図である。ＩＤＲピクチャとその前後のＰピクチャを動き参照関係制限付きＰピクチャに設定する例である。

符号の説明

１０１カメラ部
１０２符号化部
１０３ＩＤＲピクチャ判定部
１７０１シーンチェンジ検出部

Claims

画像データを圧縮符号化するための画像符号化装置であって、
入力画像データに対する符号化処理の際に、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ内のイントラ予測符号化によって生成される第１の符号化ピクチャと、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ間のインター予測符号化によって生成される第２の符号化ピクチャとを設定可能な符号化手段を有し、
前記符号化手段は、前記第１の符号化ピクチャの設定に連動して前記第２の符号化ピクチャの設定を行い、前記第１の符号化ピクチャの近傍に少なくとも１枚の前記第２の符号化ピクチャが配置された画像ストリームを生成することを特徴とする画像符号化装置。
前記符号化手段は、自身のピクチャを飛び越したピクチャ間予測処理における参照が許容され、かつピクチャ間のインター予測符号化によって生成される第３の符号化ピクチャを設定可能であって、前記第１の符号化ピクチャの近傍においては、少なくとも１枚の前記第３の符号化ピクチャに代えて前記第２の符号化ピクチャを設定することを特徴とする請求項１に記載の画像符号化装置。
前記第１の符号化ピクチャはＨ．２６４で規定されたＩＤＲピクチャであって、前記第２の符号化ピクチャは、同一ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）内のピクチャとしかピクチャ間予測処理における参照関係を築くことができないように参照関係の制限を有しているＰピクチャであって、前記第３の符号化ピクチャは前記参照関係の制限を有していない通常のＰピクチャであることを特徴とする請求項２に記載の画像符号化装置。
前記符号化手段は、設定された前記第１の符号化ピクチャ及び前記第２の符号化ピクチャの位置からランダムアクセスを可能とする画像ストリームを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
前記符号化手段は、前記第１の符号化ピクチャの直後の少なくとも１枚のＰピクチャを前記第２の符号化ピクチャに設定することを特徴とする請求項１に記載の画像符号化装置。
被写体像を撮像するカメラの制御データを取得し、前記制御データに基づく前記カメラの動作が前記第１の符号化ピクチャの設定条件に適合しているか否かを判定する判定手段をさらに有し、
前記符号化手段は、前記判定手段により前記第１の符号化ピクチャの設定条件に適合していると判定された場合、前記カメラから出力される符号化対象ピクチャを前記第１の符号化ピクチャに設定し、さらに前記第１の符号化ピクチャの設定に連動して、直後の複数枚の符号化対象ピクチャのうち少なくとも１枚のピクチャを前記第２の符号化ピクチャに設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
前記判定手段は、前記制御データによって示される前記カメラの動作状態の変化を検出することによって前記第１の符号化ピクチャの設定条件に適合しているか否かを判定し、前記符号化手段は、前記カメラの動作状態が変化した後の符号化対象ピクチャの一部を前記第１の符号化ピクチャ及び前記第２の符号化ピクチャに設定することを特徴とする請求項６に記載の画像符号化装置。
前記制御データによって示される前記カメラの動作状態とは、焦点整合、ズーム、手ぶれ、パン、チルト、及び、画像に対して特殊効果を付加する特殊効果付加のうちの少なくとも何れか１つを含むことを特徴とする請求項７に記載の画像符号化装置。
前記入力画像データに含まれる複数のピクチャ間における画素値の差分値を検出し、前記画素値の差分値が所定の閾値以上である場合に前記第１の符号化ピクチャを設定すると判定する判定手段をさらに有し、
前記符号化手段は、前記判定手段による判定結果に基づいて、該当する符号化対象ピクチャを前記第１の符号化ピクチャに設定し、さらに前記第１の符号化ピクチャの設定に連動して、直後の複数枚の符号化対象ピクチャのうち少なくとも１枚のピクチャを前記第２の符号化ピクチャに設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
画像データを圧縮符号化する画像符号化装置の制御方法であって、
入力画像データに対する符号化処理の際に、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ内のイントラ予測符号化によって生成される第１の符号化ピクチャと、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ間のインター予測符号化によって生成される第２の符号化ピクチャとを設定可能な符号化工程と、
前記符号化工程において、前記第１の符号化ピクチャの設定に連動して前記第２の符号化ピクチャの設定を行い、前記第１の符号化ピクチャの近傍に少なくとも１枚の前記第２の符号化ピクチャが配置された画像ストリームを生成するよう制御する制御工程とを有することを特徴とする画像符号化装置の制御方法。
画像データを圧縮符号化する画像符号化装置の制御方法をコンピュータに実行させるためのプログラムであって、
入力画像データに対する符号化処理の際に、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ内のイントラ予測符号化によって生成される第１の符号化ピクチャと、自身のピクチャを飛び越したピクチャ間予測処理における参照が禁止され、かつピクチャ間のインター予測符号化によって生成される第２の符号化ピクチャとを設定可能な符号化工程と、
前記符号化工程において、前記第１の符号化ピクチャの設定に連動して前記第２の符号化ピクチャの設定を行い、前記第１の符号化ピクチャの近傍に少なくとも１枚の前記第２の符号化ピクチャが配置された画像ストリームを生成するよう制御する制御工程とを有することを特徴とするプログラム。
請求項１１に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。