JP4585919B2

JP4585919B2 - 画像符号化装置及び画像符号化方法

Info

Publication number: JP4585919B2
Application number: JP2005161847A
Authority: JP
Inventors: 悟小林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-06-01
Filing date: 2005-06-01
Publication date: 2010-11-24
Anticipated expiration: 2025-06-01
Also published as: JP2006340001A

Description

本発明は、フレーム間予測を行って画像を圧縮符号化する画像符号化装置及び画像符号化方法に関する。

画像を高能率符号化するための技術として、ＪＰＥＧ方式の圧縮技術や動き予測・動き補償技術を用いたＭＰＥＧ１、２といった符号化方式が確立されている。各メーカーは、これらの符号化方式を利用して画像を記録媒体に記録可能としたディジタルカメラやディジタルビデオカメラといった撮像装置或いはＤＶＤレコーダーなどを開発し製品化している。一方、ユーザーは、これらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に画像を視聴することが可能となっている。

ところで、ディジタル化された動画像は膨大なデータ量となる。そこで、上記ＭＰＥＧ１，２などよりも更なる高圧縮が望める動画像の符号化方式が研究され続けてきており、近年、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）とＩＳＯ（国際標準化機構）により、Ｈ．２６４／ＭＰＥＧ−４ｐａｒｔ１０という符号化方式（以下、「Ｈ．２６４」と称す。）が標準化された。

ここで、Ｈ．２６４におけるピクチャタイプ及びフレーム間予測に用いる参照画像の選択について、図１１及び図１２を参照して説明する。なお、図１１（ａ）〜（ｃ）及び図１２（ａ）〜（ｂ）は、入力画像シーケンス及びそのピクチャタイプを表しており、上段が表示順序（左から順に表示）、下段が符号化順序（左から順に符号化）で示している。

例えば、図１１（ａ）において、Ｐ８ピクチャは９番目に表示されるＰピクチャのフレームであることを示している。また、図中の矢印は参照関係を示しており、例えば、図１１（ａ）に示した例では、Ｐ８ピクチャがＢ０ピクチャを参照していることを示す。また、図１１（ｂ）に示した例では、Ｂ０ピクチャがＰ２ピクチャとＢ７ピクチャとを参照していることを示す。

Ｈ．２６４における画像フレームのピクチャタイプは、同一フレーム内の情報のみから符号化するＩピクチャと、時間的に前のフレームとの差分を利用して符号化するＰピクチャと、さらに時間的に前のフレームとの差分に加えて時間的に後のフレームとの差分も利用できるＢピクチャがある。

Ｈ．２６４においては、フレーム間予測を行う際に画像シーケンス中の任意のフレーム及びピクチャタイプを参照画像として利用することが可能である。例えば、図１１（ａ）に示したようにＰピクチャ（Ｐ８）は、Ｉピクチャだけでなく、Ｉピクチャを飛び越してのフレームの参照が可能となる。同様に、図１１（ｂ）に示したようにＢピクチャ（Ｂ０）もＩピクチャだけでなく、Ｉピクチャを飛び越してのフレームの参照が可能となる。このように、Ｈ．２６４では柔軟な参照を許容しており、ＭＰＥＧ２のようにＰピクチャであれば当該Ｐピクチャの直前のＩピクチャもしくはＰピクチャしか参照できないような方式と比較して、Ｈ．２６４は、フレーム間予測精度が向上し、符号化効率を向上させることができる。

一方、上述したような柔軟な参照を許容したために、Ｈ．２６４においてはランダムアクセスが迅速に行えなくなる場合がある。例として図１１（ｃ）において、ランダムアクセスにより画像シーケンスの途中のフレームであるＩ５ピクチャより再生する場合について説明する。

画像シーケンス中のＩ５ピクチャから再生を開始して、Ｐ８ピクチャを復号する場合には、Ｐ８ピクチャがＢ０ピクチャを参照しているので、このＢ０ピクチャを前以って復号しておく必要がある。さらに、Ｂ０ピクチャはＰ２ピクチャとＢ７ピクチャとを参照しているので、Ｂ０ピクチャを復号するには、これらＰ２ピクチャ及びＢ７ピクチャを前以って復号しておく必要がある。

同様に、図示していないが、Ｐ２ピクチャ及びＢ７ピクチャもそれぞれ他のピクチャを参照しているので、Ｐ２ピクチャ及びＢ７ピクチャを復号するには、他のピクチャを前以って復号しておく必要がある。このように、Ｉ５ピクチャから再生を開始したい場合であっても、Ｉ５ピクチャを飛び越しての参照を許容しているために、Ｉ５ピクチャ以前のデータに遡って復号を開始する必要が生じ、迅速にＩ５ピクチャから再生を開始することが困難になる。

そこで、この問題を解消し迅速なランダムアクセスを実現可能とするために、定期的にＩピクチャに制限を設ける方法が提案されている（例えば、特許文献１参照）。この制限付きのＩピクチャは、Ｈ．２６４ではＩＤＲピクチャと呼ばれている。

ここで、図１２（ａ）及び（ｂ）を参照して、ＩＤＲピクチャについて説明する。図１２（ａ）及び（ｂ）に示した画像シーケンスは、図１１（ａ）及び（ｂ）と同様の画像シーケンスに対して、Ｉ５ピクチャをＩＤＲピクチャに設定した画像シーケンスである。
Ｉ５ピクチャをＩＤＲピクチャに設定すると、該ピクチャを符号化するときに参照画像を記録しているフレームメモリがクリアされる。したがって、ＩＤＲピクチャ以降に符号化されるピクチャが、そのＩＤＲピクチャ以前に符号化されたピクチャを参照することができない。同様に、ＩＤＲピクチャ以前に符号化されたピクチャが、そのＩＤＲピクチャ以降に符号化されるピクチャを参照することができない。

図１２（ａ）に示した例では、ＩＤＲ（ＩＤＲ５）ピクチャ以降に符号化されるＰピクチャ（Ｐ８など）やＢピクチャ（Ｂ６など）は、そのＩＤＲピクチャ以前に符号化されたＰピクチャ（Ｐ２など）やＢピクチャ（Ｂ０など）を参照することができない。逆に、図１２（ｂ）に示した例では、ＩＤＲ（ＩＤＲ５）ピクチャ以前に符号化されるＰピクチャ（Ｐ２など）やＢピクチャ（Ｂ０など）は、そのＩＤＲピクチャ以降に符号化されたＰピクチャ（Ｐ８など）やＢピクチャ（Ｂ６など）を参照することができない。

これにより、ＩＤＲピクチャから再生を開始すれば、ＩＤＲピクチャ以前の画像データまで遡って復号する必要がなく、迅速なランダムアクセスを実現して再生することができる。また、ＩＤＲピクチャを飛び越しての参照が禁止されるので、ＩＤＲピクチャを基準とした編集が可能となる。

特開２００３−１９９１１２号公報

上述したようにＨ．２６４では、フレーム間予測の参照関係を制限するＩＤＲピクチャを利用することでランダムアクセスを迅速に行うことができる。そのため、画像シーケンスの任意の場所から迅速な再生や容易な編集を行うには、数多くのＩＤＲピクチャが設定されている必要がある。しかし、ＩＤＲピクチャを設定することにより上述したように参照関係が制限されるために、数多くのＩＤＲピクチャを設定すると符号化効率は悪化する可能性がある。すなわち、符号化効率を考慮するならばＩＤＲピクチャの設定は必要最低限が望ましい。従来のように定期的にＩＤＲピクチャを設定する場合には、ランダムアクセスに必要のないフレームもＩＤＲピクチャに設定され、符号化効率は悪化してしまう。

本発明は、このような問題に鑑みてなされたものであり、符号化効率を損なわずに画像ストリーム途中からでも迅速な再生及び容易な編集が可能な画像ストリームを出力する画像符号化装置を提供することを目的とする。

本発明の画像符号化装置は、入力画像データをフレーム内予測処理及びフレーム間予測処理を用いて圧縮符号化する画像符号化装置であって、被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化手段と、前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得手段と、前記制御データ取得手段により取得した前記制御データに基づき、前記少なくとも１つの動作の内容が変化する時点において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定手段とを備え、前記設定手段による設定に従って、前記符号化手段は、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とする。
また、本発明の画像符号化装置は、入力画像データをフレーム内予測処理及びフレーム間予測処理を用いて圧縮符号化する画像符号化装置であって、被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化手段と、前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得手段と、前記制御データ取得手段により取得した前記制御データに基づき、前記少なくとも１つの動作を開始する時点、及び、前記少なくとも１つの動作を終了する時点の少なくとも一方において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定手段とを備え、前記設定手段による設定に従って、前記符号化手段は、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とする。
本発明の画像符号化方法は、入力画像データをフレーム内予測処理及びフレーム間予測処理を用いて圧縮符号化する画像符号化方法であって、被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化工程と、前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得工程と、前記制御データ取得工程にて取得した前記制御データに基づき、前記少なくとも１つの動作の内容が変化する時点において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定工程とを有し、前記設定工程での設定に従って、前記符号化工程では、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とする。
また、本発明の画像符号化方法は、入力画像データをフレーム内予測処理及びフレーム間予測処理を用いて圧縮符号化する画像符号化方法であって、被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化工程と、前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得工程と、前記制御データ取得工程にて取得した前記制御データに基づき、前記少なくとも１つの動作を開始する時点、及び、前記少なくとも１つの動作を終了する時点の少なくとも一方において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定工程とを有し、前記設定工程での設定に従って、前記符号化工程では、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とする。
本発明のプログラムは、被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームからフレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームからフレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化ステップと、前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得ステップと、前記制御データ取得ステップにて取得した前記制御データに基づき、前記少なくとも１つの動作の内容が変化する時点において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定ステップとをコンピュータに実行させ、かつ前記設定ステップでの設定に従って、前記符号化ステップでは、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とする。
また、本発明のプログラムは、被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームからフレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームからフレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化ステップと、前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得ステップと、前記制御データ取得ステップにて取得した前記制御データに基づき、前記少なくとも１つの動作を開始する時点、及び、前記少なくとも１つの動作を終了する時点の少なくとも一方において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定ステップとをコンピュータに実行させ、かつ前記設定ステップでの設定に従って、前記符号化ステップでは、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化ステップと、前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得ステップと、前記制御データ取得ステップにて取得した前記制御データに基づき、前記少なくとも１つの動作の内容が変化する時点において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定ステップとをコンピュータに実行させ、かつ前記設定ステップでの設定に従って、前記符号化ステップでは、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うプログラムを記録したことを特徴とする。
また、本発明のコンピュータ読み取り可能な記録媒体は、被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化ステップと、前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得ステップと、前記制御データ取得ステップにて取得した前記制御データに基づき、前記少なくとも１つの動作を開始する時点、及び、前記少なくとも１つの動作を終了する時点の少なくとも一方において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定ステップとをコンピュータに実行させ、かつ前記設定ステップでの設定に従って、前記符号化ステップでは、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うプログラムを記録したことを特徴とする。

本発明によれば、撮像手段の制御データに応じて、画像ストリームにおいて、フレーム間予測処理に関し、フレーム内予測処理によって生成するフレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行うことにより、従来に比べて、符号化効率を損なわずに画像を圧縮符号化し、画像ストリーム途中からであっても迅速な再生及び容易な編集が可能な画像ストリームを得ることができる。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態による画像符号化装置を適用した画像処理装置の構成例を示すブロック図である。本実施形態における画像処理装置は、カメラ制御データによりピクチャタイプをＩＤＲピクチャに設定するものであり、カメラ部１０１、符号化部１０２、及びＩＤＲピクチャ判定部１０３を有する。

カメラ部１０１は、被写体の撮影を行うためのものである。符号化部１０２は、カメラ部１０１からの非圧縮の画像データを圧縮符号化する。ＩＤＲピクチャ判定部１０３は、カメラ部１０１からのカメラ制御データによりピクチャタイプをＩＤＲピクチャにするか否かを判定する。また、ＩＤＲピクチャ判定部１０３は、判定結果を符号化部１０２に供給する。

次に、カメラ部１０１、符号化部１０２、及びＩＤＲピクチャ判定部１０３について詳しく説明する。

（カメラ部１０１）
まず、カメラ部１０１の構成例について、図２を参照して詳しく説明する。
図２は、カメラ部１０１の構成例を示すブロック図である。図２に示すように、カメラ部１０１は、レンズ２０１、撮像部２０２、Ａ／Ｄ（アナログ−ディジタル）変換部２０３、カメラ信号処理部２０４、特殊効果付加部２０５、振動検出部２０６、カメラ制御部２０７、及びスイッチ２０８を有し構成される。カメラ部１０１は、被写体光が入力され、非圧縮の画像データと、カメラ制御データとを出力する。

続いて、カメラ部１０１の動作について説明する。
まず、レンズ２０１は、被写体光を撮像部２０２に導く。レンズ２０１は、後述のカメラ制御部２０７から出力される制御信号に対応してズーム動作や焦点整合動作などを行う。撮像部２０２は、ＣＣＤやＣＭＯＳ等を使って被写体を撮像し、得られた被写体光を電気信号に変換してＡ／Ｄ変換部２０３に出力する。Ａ／Ｄ変換部２０３は、アナログ信号をディジタル信号に変換する。

カメラ信号処理部２０４は、Ａ／Ｄ変換部２０３より出力されたディジタル信号に対して、γ補正、ホワイトバランス等の処理を行い、非圧縮画像データを出力する。ここで、カメラ信号処理部２０４より出力される非圧縮画像データに対して、フェードやワイプなどの特殊効果を付加する場合には、特殊効果付加部２０５により特殊効果を付加して、特殊効果付き非圧縮画像データを出力する。一方、特殊効果を付加しない場合には、カメラ信号処理部２０４より出力される非圧縮画像データをそのまま出力する。

スイッチ２０８は、カメラ信号処理部２０４より出力された非圧縮画像データに特殊効果を付加した特殊効果付き非圧縮画像データ、またはカメラ信号処理部２０４より出力されたそのままの非圧縮画像データのいずれを出力するかを選択、つまり特殊効果を付加するかしないか選択する。振動検出部２０６は、ジャイロ等を用いた周知の方式を適用して撮像装置本体の振動を検出することにより、手ぶれや撮像装置本体のパン・チルトを検出する。

カメラ制御部２０７は、カメラ部１０１を制御してカメラ制御データを出力する。このカメラ制御データには、上述のカメラ部１０１を構成するモジュールの制御データが含まれる。

なお、手ぶれや撮像装置本体のパン・チルトは、カメラ信号処理部２０４により特定フレームと該フレームの直前フレームとの差分を評価することにより検出するようにしてもよい。
以上がカメラ部１０１に関する説明である。

（符号化部１０２）
次に、符号化部１０２の構成例について、図３を参照して詳しく説明する。
図３は、符号化部１０２の構成例を示すブロック図である。図３に示すように、符号化部１０２は、フレーム並び替え部３０１、減算器３０２、整数変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆整数変換部３０７、加算器３０８、フレームメモリ３０９及び３１３、イントラ予測部３１０、スイッチ３１１及び３１７、デブロッキングフィルタ３１２、インター予測部３１４、動き検出部３１５、ピクチャタイプ決定部３１６を有し構成される。符号化部１０２は、入力された非圧縮の画像データを分割することによりブロックを構成し、ブロック単位に符号化処理を行って符号化データを出力する。

続いて、符号化部１０２での符号化処理について説明する。
まず、フレーム並び替え部３０１は、表示順で入力された非圧縮の画像データを符号化順に並び替える。減算器３０２は、入力画像データから予測画像データを減算して画像残差データを出力する。なお、予測画像データの生成については後述する。

整数変換部３０３は、減算器３０２から出力された画像残差データを直交変換処理して変換係数を出力する。量子化部３０４は、整数変換部３０３より出力された変換係数を所定の量子化パラメータを用いて量子化する。エントロピー符号化部３０５は、量子化部３０４で量子化された変換係数を入力し、これをエントロピー符号化して符号化データとして出力する。

一方、量子化部３０４で量子化された変換係数は、上述した予測画像データの生成にも使われる。逆量子化部３０６は、量子化部３０４で量子化された変換係数を逆量子化する。逆整数変換部３０７は、逆量子化部３０６で逆量子化された変換係数を逆整数変換し、復号画像残差データとして出力する。加算器３０８は、逆整数変換部３０７より出力された復号画像残差データと、予測画像データとを加算して、再構成画像データとして出力する。

加算器３０８から出力された再構成画像データは、フレームメモリ３０９に記録される。それとともに、再構成画像データに対してデブロッキングフィルタ処理を施す場合にはデブロッキングフィルタ３１２を介してフレームメモリ３１３に記録され、デブロッキングフィルタ処理を施さない場合にはデブロッキングフィルタ３１２を介さずにフレームメモリ３１３に記録される。

スイッチ３１１は、加算器３０８から出力された再構成画像データに対してデブロッキングフィルタ処理を施すか否かを選択する選択部である。再構成画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ３０９または３１３に暫くの期間保存される。

イントラ予測部３１０は、フレームメモリ３０９に記録された再構成画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。また、インター予測部３１４は、フレームメモリ３１３に記録された再構成画像データを用いて動き検出部３１５により検出された動きベクトル情報に基づくフレーム間予測処理を行い、予測画像データを生成する。ここで、動き検出部３１５は、入力画像データにおける動きベクトルを検出して、検出した動きベクトル情報をエントロピー符号化部３０５及びインター予測部３１４にそれぞれ出力する。

ピクチャタイプ決定部３１６は、詳細は後述するＩＤＲピクチャ判定部１０３により符号化フレームをＩＤＲピクチャにすると判定された場合には、該フレームのピクチャタイプをＩＤＲピクチャと決定し、そうでない場合には、フレームのピクチャタイプを符号化方式に準拠したピクチャタイプに決定する。

スイッチ３１７は、予測画像データとしてイントラ予測部３１０で生成された予測画像データ又はインター予測部３１４で生成された予測画像データのどちらを用いるか、すなわちイントラ予測又はインター予測のどちらを用いるか選択するための選択部である。ピクチャタイプ決定部３１６によって決定されたピクチャタイプに応じてスイッチ３１７を制御して、イントラ予測部３１０からの出力とインター予測部３１４からの出力のどちらか一方を選択し、選択された予測画像データを減算器３０２、加算器３０８に出力する。

なお、ピクチャタイプ決定部３１６は、符号化フレームがＩＤＲピクチャと判定された場合には、該フレームのピクチャタイプをＩピクチャと決定すると共に、該フレームに飛び越し参照禁止フラグを付加し、インター予測部３１４により該Ｉピクチャを飛び越さないような参照関係を決定させても良い。
以上が符号化部１０２に関する説明である。

（ＩＤＲピクチャ判定部１０３）
次に、ＩＤＲピクチャ判定部１０３について、図４〜図９を参照して詳しく説明する。
図４〜図９は、入力画像シーケンス、そのピクチャタイプ、及びカメラ制御データを表しており、上段が表示順序（左から順に表示される）、下段が符号化順序（左から順に符号化される）で示している。

例えば、図４に示す例では、Ｐ１０ピクチャは１１番目に表示されるＰピクチャのフレームであることを示している。また、図４及び図５に示したカメラ制御データは、焦点整合制御データを示している。

図４に示した例では、カメラ部１０１は、表示順において、Ｐ０〜ＩＤＲ２ピクチャの間（Ｐ０→Ｐ１→ＩＤＲ２）及びＩＤＲ９〜Ｐ１１ピクチャの間（ＩＤＲ９→Ｐ１０→Ｐ１１）は焦点が合焦しており、焦点合焦画像を出力する。また、カメラ部１０１は、Ｐ３ピクチャの時に焦点整合処理を開始し、Ｐ８ピクチャの時に焦点整合処理を終了しているため、Ｐ３〜Ｐ８ピクチャの間（Ｐ３→Ｐ４→Ｐ５→Ｐ６→Ｐ７→Ｐ８）は焦点を整合中であり、焦点非合焦画像を出力する。

図５に示した例では、カメラ部１０１は、表示順において、Ｂ０〜ＩＤＲ２ピクチャの間（Ｂ０→Ｂ１→ＩＤＲ２）及びＢ９〜ＩＤＲ１１ピクチャの間（Ｂ９→Ｂ１０→ＩＤＲ１１）は焦点が合焦しており、焦点合焦画像を出力する。また、カメラ部１０１は、Ｂ３ピクチャの時に焦点整合処理を開始し、Ｐ８ピクチャの時に焦点整合処理を終了しているため、Ｂ３〜Ｐ８ピクチャの間（Ｂ３→Ｂ４→Ｐ５→Ｂ６→Ｂ７→Ｐ８）は焦点を整合中であり、焦点非合焦画像を出力する。

ＩＤＲピクチャ判定部１０３は、カメラ部１０１から出力されるカメラ制御データを入力し、カメラ部１０１の動作を解析する。そして、下記（１）〜（５）の動作開始前のフレーム又は動作終了後のフレームもしくは動作開始前及び動作終了後の各フレームのピクチャタイプをＩＤＲピクチャと判定し、符号化部１０２にＩＤＲピクチャ設定情報を出力する。
（１）焦点整合
（２）ズーム
（３）パン・チルト（移動）
（４）手ぶれ（振動）
（５）特殊効果付加

ここで、カメラ制御データに応じてピクチャタイプをＩＤＲピクチャと判定する動作について、（１）焦点整合の場合を一例に図４及び図５を参照して説明する。
図４に示した例のようにＢピクチャを含まない画像シーケンスでは、Ｐ３ピクチャ〜Ｐ８ピクチャまでの間、カメラ部１０１は焦点整合処理を行っているため、ＩＤＲピクチャ判定部１０３はその処理動作開始直前及び動作終了直後のフレームのピクチャタイプをＩＤＲピクチャ（ＩＤＲ２及びＩＤＲ９）と判定する。また、図５に示した例のように、時間的に後のフレームとの差分も利用可能なＢピクチャを含む画像シーケンスでは、Ｂ３ピクチャ〜Ｐ８ピクチャまでの間、カメラ部１０１は焦点整合処理を行っているため、ＩＤＲピクチャ判定部１０３はその処理動作開始直前及び動作終了後のＢピクチャ（Ｂ９、Ｂ１０）直後のフレームのピクチャタイプをＩＤＲピクチャ（ＩＤＲ２及びＩＤＲ１１）と判定する。

上述の通り、図４及び図５に示した例のようにＩＤＲピクチャを設定すると、例えば、合焦したＩＤＲピクチャ（図４におけるＩＤＲ９ピクチャ及び図５におけるＩＤＲ１１ピクチャ）からの迅速な再生が可能となる。また、焦点整合処理中のボケた画像シーケンスの前後のフレームはＩＤＲピクチャに設定されているので、例えば、ボケた画像を容易にカット編集することが可能となる。さらに、合焦画像（例えば、図４におけるＰ１０ピクチャ及び図５におけるＢ９ピクチャ）は、非合焦画像（例えば、図４及び図５におけるＰ５ピクチャ）を参照したとしても、画像がボケてしまっているために、フレーム間予測精度が低下すると考えられる。そこで、焦点整合処理前後のフレームをＩＤＲピクチャに設定することにより、ＩＤＲピクチャのフレームを飛び越した、合焦画像（図４におけるＰ１０ピクチャ及び図５におけるＢ９ピクチャ）から非合焦画像（図４及び図５におけるＰ５ピクチャ）の参照を禁止し、合焦画像のみを参照画像とするためフレーム間予測精度を向上させることができる。

以下、上述した（１）焦点整合の場合と同様に、（２）ズームの場合では、図６に示したようにズーム動作開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。また、（３）パン・チルトの場合では、図７に示したようにパン・チルト開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。また、（４）手ぶれの場合では、図８に示したように手ぶれ開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。また、（５）特殊効果付加の場合では、図９に示したように特殊効果付加開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。

また、カメラ部１０１におけるズーム速度やパン・チルト速度がある閾値よりも遅い場合は、撮影者が意図的に遅くしてそれらの動作を行っている可能性があるため、ズーム及びパン・チルトの動作開始前又は動作終了後もしくは動作開始前及び動作終了後のフレームをＩＤＲピクチャと判定しないようにしてもよい。

次に、上述したカメラ制御データに基づいてＩＤＲピクチャを設定する処理について、図１０に示すフローチャートを参照して説明する。
まず、ステップＳ１００１にて撮影が開始される。続いて、ステップＳ１００２にてカメラ部１０１は非圧縮画像データを符号化部１０２に出力し、ステップＳ１００３にてカメラ部１０１はカメラ制御データをＩＤＲピクチャ判定部１０３に出力する。

次に、ＩＤＲピクチャ判定部１０３は、ステップＳ１００３において出力されたカメラ制御データに基づいて、カメラ部１０１の動作が、焦点整合動作開始又は終了であるか、ズーム動作開始又は終了であるか、パン・チルト開始又は終了であるか、手ぶれ開始又は終了であるか、及び特殊効果付加開始又は終了であるかを順次判定する。言い換えれば、ＩＤＲピクチャ判定部１０３は、ステップＳ１００３において出力されたカメラ制御データに基づいて、カメラ部１０１の動作がフレームを飛び越した参照を禁止する条件に適合するか否かを判定する。

具体的には、ＩＤＲピクチャ判定部１０３は、ステップＳ１００３において出力されたカメラ制御データが焦点整合動作開始又は終了を示すものであれば、ステップＳ１００４にて符号化部１０２にＩＤＲピクチャ設定情報を出力する。ステップＳ１００３において出力されたカメラ制御データが焦点整合開始又は終了を示すものでなくズーム動作開始又は終了を示すものであれば、ステップＳ１００５にて符号化部１０２にＩＤＲピクチャ設定情報を出力する。

ステップＳ１００３において出力されたカメラ制御データがズーム動作開始又は終了を示すものでなくパン・チルト開始又は終了を示すものであれば、ステップＳ１００６にて符号化部１０２にＩＤＲピクチャ設定情報を出力する。ステップＳ１００３において出力されたカメラ制御データがパン・チルト開始又は終了を示すものでなく手ぶれ開始又は終了を示すものであれば、ステップＳ１００７にて符号化部１０２にＩＤＲピクチャ設定情報を出力する。ステップＳ１００３において出力されたカメラ制御データが手ぶれ開始又は終了を示すものでなく特殊効果付加開始又は終了を示すものであれば、ステップＳ１００８において符号化部１０２にＩＤＲピクチャ設定情報を出力する。

ステップＳ１００４〜ステップＳ１００８において、ＩＤＲピクチャ判定部１０３よりＩＤＲピクチャ設定情報が出力された場合には、ステップＳ１００９にて、符号化部１０２のピクチャタイプ決定部３１６によりピクチャタイプがＩＤＲピクチャに設定される。一方、ステップＳ１００４〜ステップＳ１００８において、ＩＤＲピクチャ判定部１０３よりＩＤＲピクチャ設定情報が出力されない場合には、ステップＳ１０１０にて、符号化部１０２のピクチャタイプ決定部３１６により符号化方式に準拠したピクチャタイプが設定される。

次に、ステップＳ１００９又はステップＳ１０１０において設定されたピクチャタイプに基づき符号化部１０２により符号化処理が行われ、ステップＳ１０１１において符号化データが出力される。この一連の処理を、ステップＳ１０１１に続くステップＳ１０１２にて撮影終了と判定されるまでフレーム単位に繰り返すことによりすべての入力画像を符号化する。

以上、説明したように本実施形態によれば、カメラ制御データに基づいて、カメラ部１０１の動作がフレームを飛び越した参照を禁止するほうが好ましい動作であると判定した場合には、その動作の開始前又は終了後もしくは開始前及び終了後のフレームをＩＤＲピクチャに設定することにより、迅速なランダムアクセスを実現することができる。例えば、焦点整合動作開始又は動作終了のカメラ制御データに応じて、ボケた非合焦画像シーケンスの前又は後もしくは前後のフレームをＩＤＲピクチャに設定することにより、焦点が整合した直後の画像フレームからの途中再生とボケた非合焦画像シーケンスのカット編集が可能となる。また、合焦画像から非合焦画像の参照を禁止するために、フレーム間予測精度を向上させることができる。したがって、符号化効率を損なわずに画像を圧縮符号化し、画像ストリーム途中からの迅速な再生及び容易な編集が可能な画像ストリームを得ることができる。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。また、そのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の一実施形態における画像処理装置の構成例を示す図である。カメラ部の構成例を示す図である。符号化部の構成例を示す図である。カメラ制御データ（焦点整合制御データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。カメラ制御データ（焦点整合制御データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。カメラ制御データ（ズーム動作制御データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。カメラ制御データ（パン・チルトによる移動検出データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。カメラ制御データ（手ぶれによる振動検出データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。カメラ制御データ（特殊効果付加制御データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。ＩＤＲピクチャを設定処理の流れを示すフローチャートである。フレーム間予測に用いる参照画像の選択について説明するための図である。ＩＤＲピクチャについて説明するための図である。

符号の説明

１０１カメラ部（撮像手段）
１０２符号化部（符号化手段）
１０３ＩＤＲピクチャ判定部（制御データ取得手段及び判定手段）

Claims

入力画像データをフレーム内予測処理及びフレーム間予測処理を用いて圧縮符号化する画像符号化装置であって、
被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化手段と、
前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得手段と、
前記制御データ取得手段により取得した前記制御データに基づき、前記少なくとも１つの動作の内容が変化する時点において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定手段とを備え、
前記設定手段による設定に従って、前記符号化手段は、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とする画像符号化装置。
前記基準フレームは前記フレーム内符号化ピクチャであって、
前記符号化手段は、前記フレーム内符号化ピクチャを前記基準フレームとして符号化するときは、前記フレーム内符号化ピクチャに飛び越し参照禁止フラグを付加することを特徴とする請求項１記載の画像符号化装置。
前記符号化手段は、前記画像データをＨ．２６４方式に準拠して圧縮符号化し、
前記基準フレームを符号化するときは、前記フレーム内符号化ピクチャをＩＤＲピクチャとして符号化することを特徴とする請求項１記載の画像符号化装置。
前記設定手段は、前記焦点整合に係る制御データに基づき、焦点整合中の状態から合焦状態に移る時点、及び、合焦状態から焦点整合中の状態に移る時点の少なくとも一方で、前記基準フレームの設定を行うことを特徴とする請求項１〜３の何れか１項に記載の画像符号化装置。
前記設定手段は、前記ズーム動作に係る制御データに基づき、前記ズーム動作が動作状態から停止に移る時点、及び、停止状態から動作開始する時点の少なくとも一方で、前記基準フレームの設定を行うことを特徴とする請求項１〜３の何れか１項に記載の画像符号化装置。
前記設定手段は、前記移動検出に係る制御データに基づき、撮像装置本体が移動中の状態から停止に移る時点、及び、停止状態から移動開始する時点の少なくとも一方で、前記基準フレームの設定を行うことを特徴とする請求項１〜３の何れか１項に記載の画像符号化装置。
前記設定手段は、前記特殊効果付加に係る制御データに基づき、特殊効果を付加していない状態から付加する状態に移る時点、及び、該特殊効果を付加していない状態から付加する状態に移る時点の少なくとも一方で、前記基準フレームの設定を行うことを特徴とする請求項１〜３の何れか１項に記載の画像符号化装置。
入力画像データをフレーム内予測処理及びフレーム間予測処理を用いて圧縮符号化する画像符号化装置であって、
被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化手段と、
前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得手段と、
前記制御データ取得手段により取得した前記制御データに基づき、前記少なくとも１つの動作を開始する時点、及び、前記少なくとも１つの動作を終了する時点の少なくとも一方において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定手段とを備え、
前記設定手段による設定に従って、前記符号化手段は、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とする画像符号化装置。
入力画像データをフレーム内予測処理及びフレーム間予測処理を用いて圧縮符号化する画像符号化方法であって、
被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化工程と、
前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得工程と、
前記制御データ取得工程にて取得した前記制御データに基づき、前記少なくとも１つの動作の内容が変化する時点において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定工程とを有し、
前記設定工程での設定に従って、前記符号化工程では、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とする画像符号化方法。
入力画像データをフレーム内予測処理及びフレーム間予測処理を用いて圧縮符号化する画像符号化方法であって、
被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化工程と、
前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得工程と、
前記制御データ取得工程にて取得した前記制御データに基づき、前記少なくとも１つの動作を開始する時点、及び、前記少なくとも１つの動作を終了する時点の少なくとも一方において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定工程とを有し、
前記設定工程での設定に従って、前記符号化工程では、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とする画像符号化方法。
被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームからフレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームからフレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化ステップと、
前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得ステップと、
前記制御データ取得ステップにて取得した前記制御データに基づき、前記少なくとも１つの動作の内容が変化する時点において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定ステップとをコンピュータに実行させ、
かつ前記設定ステップでの設定に従って、前記符号化ステップでは、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とするプログラム。
被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームからフレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームからフレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化ステップと、
前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得ステップと、
前記制御データ取得ステップにて取得した前記制御データに基づき、前記少なくとも１つの動作を開始する時点、及び、前記少なくとも１つの動作を終了する時点の少なくとも一方において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定ステップとをコンピュータに実行させ、
かつ前記設定ステップでの設定に従って、前記符号化ステップでは、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うことを特徴とするプログラム。
被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化ステップと、
前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得ステップと、
前記制御データ取得ステップにて取得した前記制御データに基づき、前記少なくとも１つの動作の内容が変化する時点において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定ステップとをコンピュータに実行させ、
かつ前記設定ステップでの設定に従って、前記符号化ステップでは、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
被写体像を撮像する撮像手段より入力される画像データを圧縮符号化して、前記画像データの第１のフレームから前記フレーム内予測処理によってフレーム内符号化ピクチャを生成し、さらに前記第１のフレームとは異なる第２のフレームから前記フレーム間予測処理によって前記フレーム内符号化ピクチャを飛び越してのフレーム参照関係を有するフレーム間符号化ピクチャを生成可能な符号化ステップと、
前記撮像手段で行われる焦点整合、ズーム動作、振動検出、移動検出、及び、特殊効果付加の各動作のうち少なくとも１つの動作に係る制御データを取得する制御データ取得ステップと、
前記制御データ取得ステップにて取得した前記制御データに基づき、前記少なくとも１つの動作を開始する時点、及び、前記少なくとも１つの動作を終了する時点の少なくとも一方において、前記フレーム間予測処理に関して、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための飛び越し参照禁止設定を行う設定ステップとをコンピュータに実行させ、
かつ前記設定ステップでの設定に従って、前記符号化ステップでは、前記フレーム内符号化ピクチャを飛び越してのフレーム参照を禁止するための基準フレームの符号化を行うプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。