JP4574530B2 - 画像符号化装置及び画像符号化方法 - Google Patents

Description

本発明は、入力画像の画像フレーム間予測を行い圧縮符号化する画像符号化装置及び画像符号化方法に関するものである。

画像を高能率符号化するための技術として、ＪＰＥＧや動き予測・動き補償技術を用いたＭＰＥＧ１，２といった符号化方式が確立されている。各メーカはこれらの符号化方式を利用して画像を記録可能としたディジタルカメラやディジタルビデオカメラといった撮像装置或いはＤＶＤレコーダなどを開発し、製品化している。ユーザはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤなどを用いて簡単に画像を視聴することが可能となっている。

ところで、ディジタル化された動画像は膨大なデータ量となる。そこで、上記したＭＰＥＧ１，２などよりも更なる高圧縮が望める動画像の符号化方式が研究され続けてきている。ちなみに、近年、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）とＩＳＯ（国際標準化機構）によりＨ．２６４／ＭＰＥＧ−４ ｐａｒｔ１０という符号化方式（以下、Ｈ．２６４と称す）が標準化された。

ここで、Ｈ．２６４におけるピクチャタイプ及びフレーム間予測に用いる参照画像の選択について図１６及び図１７を参照して説明する。尚、図１６（ａ）〜（ｃ）及び図１７（ａ）〜（ｂ）は入力画像ストリーム及びそのピクチャタイプを表し、上段が左から表示される順序、下段が左から符号化される順序で示している。例えば、図１６（ａ）のＰ８ピクチャは８番目に表示されるＰピクチャのフレームであることを示している。また、図中の矢印は、参照関係を示している。例えば、図１６（ａ）の例では、Ｐ８ピクチャがＢ０ピクチャを参照していることを示す。図１６（ｂ）の例では、Ｂ０ピクチャがＰ２ピクチャとＢ７ピクチャを参照していることを示す。

Ｈ．２６４における画像フレームのピクチャタイプは、同一フレーム内の情報から符号化するＩピクチャと、時間的に前のフレームとの差分を利用して符号化するＰピクチャ、さらに時間的に後のフレームとの差分も利用できるＢピクチャがある。

Ｈ．２６４では、フレーム間予測を行う際に画像ストリーム中の任意のフレーム及びピクチャタイプを参照画像として利用することが可能である。例えば、図１６（ａ）のようにＰピクチャ（Ｐ８）はＩピクチャだけでなく、Ｉピクチャを飛び越しての参照が可能となる。同様に、図１６（ｂ）のようにＢピクチャ（Ｂ０）もＩピクチャだけでなく、Ｉピクチャを飛び越しての参照が可能となる。このように、Ｈ．２６４では柔軟な参照を許容しており、ＭＰＥＧ２のようにＰピクチャであれば当該Ｐピクチャの直前のＩピクチャもしくはＰピクチャしか参照できないような方式と比較して、フレーム間予測精度が向上し、符号化効率を向上させることができる。

一方で、上記のような柔軟な参照を許容したためにランダムアクセスが迅速に行えなくなる場合がある。例として図１６(ｃ)において、ランダムアクセスにより画像ストリームの途中のフレームであるＩ５ピクチャより再生する場合について説明する。

画像ストリーム中のＩ５ピクチャから再生を開始し、Ｐ８ピクチャを復号する場合、Ｐ８ピクチャはＢ０ピクチャを参照しているため、Ｂ０ピクチャを前以って復号しておく必要がある。さらにＢ０ピクチャはＰ２及びＢ７ピクチャを参照しているため、Ｐ２及びＢ７ピクチャを前以って復号しておく必要がある。同様に、図示していないが、Ｐ２及びＢ７ピクチャも他ピクチャを参照しているため、他ピクチャを前以って復号しておく必要がある。このように、Ｉ５ピクチャから再生を開始したい場合であっても、Ｉ５ピクチャを飛び越しての参照を許容しているために、Ｉ５ピクチャ以前のデータに遡って復号を開始する必要が生じ、迅速にＩ５ピクチャから復号することが困難になる。

そこで、この問題を解消し迅速なランダムアクセスを可能とするために、定期的にＩピクチャに動き参照関係に関する制限を設ける方法が提案されている（例えば特許文献１参照）。この制限付きのＩピクチャをＨ．２６４ではＩＤＲピクチャという。

ここで、図１７（ａ）及び（ｂ）を参照してＩＤＲピクチャについて説明する。図１７（ａ）及び（ｂ）で示した画像ストリームは、図１６（ａ）及び（ｂ）と同様のストリームに対して、Ｉ５ピクチャをＩＤＲピクチャに設定した画像ストリームである。Ｉ５ピクチャをＩＤＲピクチャに設定すると、該ピクチャを符号化するときに参照画像を記録しているフレームメモリがクリアされる。そのため、ＩＤＲピクチャ以降に符号化されるピクチャがＩＤＲピクチャ以前に符号化されたピクチャを参照することができない。同様に、ＩＤＲピクチャ以前に符号化されたピクチャがＩＤＲピクチャ以降に符号化されるピクチャを参照することができない。

図１７（ａ）の例では、ＩＤＲピクチャ以降に符号化されるＰピクチャ（Ｐ８など）やＢピクチャ（Ｂ６など）は、ＩＤＲピクチャ以前に符号化されたＰピクチャ（Ｐ２など）やＢピクチャ（Ｂ０など）を参照することができない。反対に図１７（ｂ）の例では、ＩＤＲピクチャ以前に符号化されるＰピクチャ（Ｐ２など）やＢピクチャ（Ｂ０など）は、ＩＤＲピクチャ以降に符号化されたＰピクチャ（Ｐ８など）やＢピクチャ（Ｂ６など）を参照することができない。

これにより、ＩＤＲピクチャから再生を開始すれば、ＩＤＲピクチャ以前の画像データまで遡って復号する必要がなく迅速なランダムアクセスを行うことができる。

特開２００３−１９９１１２号公報

前述のようにＨ．２６４では、フレーム間予測の参照関係を制限するＩＤＲピクチャを利用することでランダムアクセスを迅速に行うことができる。そのため、画像ストリームの任意の場所からランダムアクセスを行うためには数多くのＩＤＲピクチャが設定されている必要がある。しかし、フレーム内符号化を行うＩＤＲピクチャの発生符号量は大きく、数多くのピクチャをＩＤＲピクチャに設定すると符号化効率は悪化する可能性がある。従って、ＩＤＲピクチャの設定は必要最低限であることが望ましい。従来例のように定期的にＩＤＲピクチャを設定する場合は、ランダムアクセスに必要のないピクチャもＩＤＲピクチャに設定され符号化効率は悪化してしまっていた。

そこで、本発明の目的は、符号化効率を損なわず画像ストリーム途中からのランダムアクセスが可能な画像ストリームを生成することにある。

本発明の画像符号化装置の第１の態様は、入力画像データをフレーム間予測処理を用いて圧縮符号化する画像符号化装置であって、撮像部より入力される画像データを圧縮符号化する符号化手段と、前記撮像部の所定の動作に係る制御データを取得し、前記制御データに基づいて前記所定の動作の状態が変化したときに、当該フレームを飛び越したフレーム間予測が禁止される特定フレームの設定を行う設定手段とを備え、前記符号化手段は、前記設定手段によって設定された前記特定フレームに該当するフレームを所定のフレーム間予測処理によって符号化することを特徴とする。
本発明の画像符号化装置の第２の態様は、入力画像データをフレーム間予測処理を用いて圧縮符号化する画像符号化装置であって、前記入力画像データを圧縮符号化する符号化手段と、前記入力画像データにおけるフレーム間の相関を判定する画像相関判定手段と、前記画像相関判定手段によって前記フレーム間の相関が無いと判定されたときに、当該フレームを飛び越したフレーム間予測が禁止される特定フレームの設定を行う設定手段とを備え、前記符号化手段は、前記設定手段によって設定された前記特定フレームに該当するフレームを所定のフレーム間予測処理によって符号化することを特徴とする。
本発明の画像符号化方法の第１の態様は、入力画像データをフレーム間予測処理を用いて圧縮符号化する画像符号化方法であって、撮像部の所定の動作に係る制御データを取得し、前記制御データに基づいて前記所定の動作の状態が変化したときに、当該フレームを飛び越したフレーム間予測が禁止される特定フレームの設定を行う設定ステップと、前記撮像部より入力される画像データを圧縮符号化するステップであって、前記設定ステップによって設定された前記特定フレームに該当するフレームを所定のフレーム間予測処理によって符号化する符号化ステップとを含むことを特徴とする。
本発明の画像符号化方法の第２の態様は、入力画像データをフレーム間予測処理を用いて圧縮符号化する画像符号化方法であって、前記入力画像データにおけるフレーム間の相関を判定する画像相関判定ステップと、前記画像相関判定ステップによって前記フレーム間の相関が無いと判定されたときに、当該フレームを飛び越したフレーム間予測が禁止される特定フレームの設定を行う設定ステップと、前記入力画像データを圧縮符号化するステップであって、前記設定ステップによって設定された前記特定フレームに該当するフレームを所定のフレーム間予測処理によって符号化する符号化ステップとを含むことを特徴とする。
本発明のプログラムは、前記画像符号化方法の第１の態様又は第２の態様をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。

本発明においては、撮像部の所定の動作に係る制御データに基づいて、当該所定の動作の状態が変化したときに、又は、入力画像データにおけるフレーム間の相関が無いと判定されたときに、当該フレームを飛び越したフレーム間予測が禁止される特定フレームの設定を行うように構成している。従って、例えば合焦した直後の画像やシーンチェンジ直後の画像等の注目度の高い画像部分に対して効率的にランダムアクセスポイントを設定することができる。よって、本発明によれば、符号化効率を損なわず画像ストリーム途中からのランダムアクセスが可能な画像ストリームを生成することが可能となる。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

−第１の実施形態−
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態に係る画像処理装置は、カメラ制御データによりピクチャタイプを動き参照関係制限付きＰピクチャに設定するものであり、カメラ部１０１、符号化部１０２及び動き参照関係制限付きＰピクチャ判定部１０３を有する。

カメラ部１０１は、被写体の撮影を行うためのものである。符号化部１０２は、カメラ部１０１からの非圧縮の画像データを圧縮符号化する。動き参照関係制限付きＰピクチャ判定部１０３は、カメラ部１０１からのカメラ制御データによりピクチャタイプを動き参照関係制限付きＰピクチャにするか否かを判定する。また、動き参照関係制限付きＰピクチャ判定部１０３は、判定結果を符号化部１０２に供給する。

次に、カメラ部１０１、符号化部１０２及び動き参照関係制限付きＰピクチャ判定部１０３について詳しく説明する。

（カメラ部１０１）
図２は、カメラ部１０１の構成を示すブロック図である。カメラ部１０１は、被写体光が入力され、非圧縮の画像データとカメラ制御データとを出力する。レンズ２０１は、被写体光を撮像部２０２に導く。レンズ２０１は、後述のカメラ制御部２０７から出力される制御信号に対応してズーム動作や焦点整合動作等を行う。撮像部２０２は、ＣＣＤやＣＭＯＳ等を使って被写体を撮像し、得られた被写体光を電気信号に変換してＡ／Ｄ変換部２０３に出力する。Ａ／Ｄ変換部２０３は、アナログ信号をディジタル信号に変換する。

カメラ信号処理部２０４は、Ａ／Ｄ変換部２０３より出力されたディジタル信号に対して、γ補正、ホワイトバランス等の処理を行い、非圧縮画像データを出力する。ここで、カメラ信号処理部２０４より出力される非圧縮画像データに対して、フェードやワイプなどの特殊効果を付加する場合には、特殊効果付加部２０５により特殊効果を付加して、特殊効果付き非圧縮画像データを出力する。一方、特殊効果を付加しない場合には、カメラ信号処理部２０４より出力される非圧縮画像データをそのまま出力する。

スイッチ２０８は、カメラ信号処理部２０４より出力された非圧縮画像データに特殊効果を付加した特殊効果付き非圧縮画像データ、またはカメラ信号処理部２０４より出力されたそのままの非圧縮画像データのいずれを出力するかを選択する。つまり、スイッチ２０８は特殊効果を付加するかしないか選択する。振動検出部２０６は、ジャイロ等を用いた周知の方式を適用して撮像装置本体の振動を検出することにより、手ぶれや撮像装置本体のパン・チルトを検出する。

カメラ制御部２０７は、カメラ部１０１を制御してカメラ制御データを出力する。このカメラ制御データには、上述のカメラ部１０１を構成するモジュールの制御データが含まれる。

なお、手ぶれや撮像装置本体のパン・チルトは、カメラ信号処理部２０４により特定フレームと該フレームの直前フレームとの差分を評価することにより検出するようにしてもよい。
以上がカメラ部１０１に関する説明である。

（符号化部１０２）
図３は、符号化部１０２の構成を示すブロック図である。符号化部１０２は、入力された非圧縮の画像データを分割することによりブロックを構成し、ブロック単位に符号化処理を行って符号化データを出力する。

フレーム並び替え部３０１は、表示順で入力された非圧縮の画像データを符号化順に並び替える。減算器３０２は、入力画像データから予測画像データを減算して画像残差データを出力する。なお、予測画像データの生成については後述する。

整数変換部３０３は、減算器３０２から出力された画像残差データを直交変換処理して変換係数を出力する。量子化部３０４は、整数変換部３０３より出力された変換係数を所定の量子化パラメータを用いて量子化する。エントロピー符号化部３０５は、量子化部３０４で量子化された変換係数を入力し、これをエントロピー符号化して符号化データとして出力する。

一方、量子化部３０４で量子化された変換係数は、上述した予測画像データの生成にも使われる。逆量子化部３０６は、量子化部３０４で量子化された変換係数を逆量子化する。逆整数変換部３０７は、逆量子化部３０６で逆量子化された変換係数を逆整数変換し、復号画像残差データとして出力する。加算器３０８は、逆整数変換部３０７より出力された復号画像残差データと、予測画像データとを加算して、再構成画像データとして出力する。

加算器３０８から出力された再構成画像データは、フレームメモリ３０９に記録される。それとともに、再構成画像データに対してデブロッキングフィルタ処理を施す場合にはデブロッキングフィルタ３１２を介してフレームメモリ３１３に記録される。デブロッキングフィルタ処理を施さない場合にはデブロッキングフィルタ３１２を介さずにフレームメモリ３１３に記録される。

スイッチ３１１は、加算器３０８から出力された再構成画像データに対してデブロッキングフィルタ処理を施すか否かを選択する選択部である。再構成画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ３０９または３１３に暫くの期間保存される。

イントラ予測部３１０は、フレームメモリ３０９に記録された再構成画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。また、インター予測部３１４は、フレームメモリ３１３に記録された再構成画像データを用いて動き検出部３１５により検出された動きベクトル情報に基づくフレーム間予測処理を行い、予測画像データを生成する。ここで、動き検出部３１５は、入力画像データにおける動きベクトルを検出して、検出した動きベクトル情報をエントロピー符号化部３０５及びインター予測部３１４にそれぞれ出力する。

ピクチャタイプ決定部３１６は、詳細は後述する動き参照関係制限付きＰピクチャ判定部１０３により符号化フレームを動き参照関係制限付きＰピクチャにすると判定された場合には、該フレームのピクチャタイプを動き参照関係制限付きＰピクチャと決定する。一方、参照関係制限付きＰピクチャ判定部１０３により符号化フレームを動き参照関係制限付きＰピクチャにすると判定されなかった場合には、ピクチャタイプ決定部３１６は、フレームのピクチャタイプを符号化方式に準拠したピクチャタイプに決定する。

スイッチ３１７は、予測画像データとしてイントラ予測部３１０で生成された予測画像データ又はインター予測部３１４で生成された予測画像データのどちらを用いるか、すなわちイントラ予測又はインター予測のどちらを用いるか選択するための選択部である。ピクチャタイプ決定部３１６によって決定されたピクチャタイプに応じてスイッチ３１７を制御して、イントラ予測部３１０からの出力とインター予測部３１４からの出力のどちらか一方を選択する。そして、ピクチャタイプ決定部３１６は、選択された予測画像データを減算器３０２、加算器３０８に出力する。
以上が符号化部１０２に関する説明である。

（動き参照関係制限付きＰピクチャ判定部１０３）
次に、動き参照関係制限付きＰピクチャ判定部１０３について、図４〜図１０を参照して詳しく説明する。

まず、動き参照関係制限付きＰピクチャについて図４を参照して説明する。
動き参照関係制限付きＰピクチャとは、動き参照関係に制限が存在するＰピクチャのことである。即ち、動き参照関係制限付きＰピクチャは、動き参照関係制限付きＰピクチャと参照関係にある少なくとも１枚の参照ピクチャを復号することにより動き参照関係制限付きＰピクチャからの迅速なランダムアクセスを可能とするピクチャである。

図４において、Ｐ８ピクチャが動き参照関係制限付きＰピクチャであり、その他のＰピクチャは通常のＰピクチャである。尚、簡単のためＩピクチャ及びＰピクチャから構成される画像ストリームに関して説明するが、Ｉピクチャ、Ｐピクチャ及びＢピクチャから構成される画像ストリームでも同様の方法により動き参照関係制限付きＰピクチャからのランダムアクセスが可能である。

Ｐピクチャからランダムアクセスをする場合、前述のようにＨ．２６４符号化方式においては柔軟なフレーム間参照を許容しており、Ｉピクチャを飛び越しての参照も可能であるためにランダムアクセスが迅速に行えない可能性がある。そこで、例えば、動き参照関係に以下の２つの制限を付けることによりＰピクチャからの迅速なランダムアクセスが可能となる。
（１）動き参照関係制限付きＰピクチャと参照関係にあるピクチャは同一ＧＯＰ内のＩ及びＰピクチャのみを参照する。
（２）動き参照関係制限付きＰピクチャを飛び越した動き参照は禁止する。

（１）の制限に関して図４を参照して説明する。図４の動き参照関係制限付きＰ８ピクチャが参照するピクチャは同一ＧＯＰ内のＩ及びＰピクチャに制限され、例えば、動き参照関係制限付きＰ８ピクチャはＰ０ピクチャを参照することができない。この制限により図４の例だと、動き参照関係制限付きＰ８ピクチャは同一ＧＯＰ内のＰ６ピクチャを参照している。該Ｐ６ピクチャが参照するピクチャも同一ＧＯＰ内のＩ及びＰピクチャに制限される。図４の例だと同一ＧＯＰ内のＰ３ピクチャを参照している。同様に該Ｐ３ピクチャの参照関係も制限され、図４の例だと同一ＧＯＰ内のＩ２ピクチャを参照している。従って、Ｉ２、Ｐ３、Ｐ６ピクチャを前以って復号するだけで、動き参照関係制限付きＰ８ピクチャを復号することができる。

（２）の制限に関して図４を参照して説明する。動き参照関係制限付きＰ８ピクチャ以降のピクチャ（Ｐ９〜Ｐ１１）は動き参照関係制限付きＰ８ピクチャを飛び越しての参照を禁止するよう制限され、例えば、Ｐ９、Ｐ１０、Ｐ１１ピクチャはＰ５ピクチャを参照することができない。この制限により図４の例だと、Ｐ１１ピクチャはＰ１０ピクチャを参照し、Ｐ１０ピクチャはＰ９ピクチャを参照し、Ｐ９ピクチャは動き参照関係制限付きＰ８ピクチャを参照している。従って、動き参照関係制限付きＰ８ピクチャから再生する場合には、動き参照関係制限付きＰ８ピクチャ以降のピクチャは復号して得られたフレームメモリ内の再構成画像を用いた動き補償により順次復号することが可能となるため迅速に復号することが可能となる。

以上のような制限により、動き参照関係制限付きＰ８ピクチャと参照関係にあるＩ２、Ｐ３、Ｐ６ピクチャの合計３ピクチャのみを前以って復号することにより動き参照関係制限付きP８ピクチャを復号することが可能となる。動き参照関係制限付きＰ８ピクチャ以降のピクチャは動き参照関係制限付きＰ８ピクチャ以降のピクチャを復号して得られた再構成画像を用いた動き補償により順次復号することができる。従って、動き参照関係制限付きＰピクチャからの迅速なランダムアクセスが可能となる。

図５〜図１０は、入力画像シーケンス、そのピクチャタイプ、及びカメラ制御データを表しており、上段が表示順序（左から順に表示される）、下段が符号化順序（左から順に符号化される）で示している。

例えば、図５に示す例では、Ｐ１０ピクチャは１１番目に表示されるＰピクチャのフレームであることを示している。また、図５及び図６に示したカメラ制御データは、焦点整合制御データを示している。

図５に示した例では、カメラ部１０１は、表示順において、Ｐ０〜動き参照関係制限付きＰ２ピクチャの間（Ｐ０→Ｐ１→動き参照関係制限付きＰ２）は焦点が合焦している。また、動き参照関係制限付きＰ８〜Ｐ１１ピクチャの間（動き参照関係制限付きＰ８→Ｐ９→Ｐ１０→Ｐ１１）も焦点が合焦しており、これらの期間は焦点合焦画像が出力される。

また、カメラ部１０１は、Ｐ３ピクチャの時に焦点整合処理を開始し、Ｐ７ピクチャの時に焦点整合処理を終了しているため、Ｐ３〜Ｐ７ピクチャの間（Ｐ３→Ｐ４→Ｐ５→Ｐ６→Ｐ７）は焦点を整合中であり、焦点非合焦画像を出力する。

図６に示した例では、カメラ部１０１は、表示順において、Ｂ０〜動き参照関係制限付きＰ２ピクチャの間（Ｂ０→Ｂ１→動き参照関係制限付きＰ２）は焦点が合焦している。また、動き参照関係制限付きＰ８ピクチャ〜Ｐ１１の間（動き参照関係制限付きＰ８→Ｂ９→Ｂ１０→Ｐ１１）も焦点が合焦しており、これらの期間は焦点合焦画像が出力される。

また、カメラ部１０１は、Ｂ３ピクチャの時に焦点整合処理を開始し、Ｂ７ピクチャの時に焦点整合処理を終了しているため、Ｂ３〜Ｂ７ピクチャの間（Ｂ３→Ｂ４→Ｐ５→Ｂ６→Ｂ７）は焦点を整合中であり、焦点非合焦画像を出力する。

動き参照関係制限付きＰピクチャ判定部１０３は、カメラ部１０１から出力されるカメラ制御データを入力し、カメラ部１０１の動作を解析する。そして、下記（１）〜（５）の動作開始前のフレーム又は動作終了後のフレームもしくは動作開始前及び動作終了後の各フレームのピクチャタイプを動き参照関係制限付きＰピクチャと判定し、符号化器１０２に動き参照関係制限付きＰピクチャ設定情報を出力する。
（１）焦点整合
（２）ズーム
（３）パン・チルト（移動）
（４）手ぶれ（振動）
（５）特殊効果付加

ここで、カメラ制御データに応じてピクチャタイプを動き参照関係制限付きＰピクチャと判定する動作について、（１）焦点整合の場合を一例に図５及び図６を参照して説明する。

図５に示した例のようにＢピクチャを含まない画像シーケンスでは、Ｐ３ピクチャ〜Ｐ７ピクチャまでの間、カメラ部１０１は焦点整合処理を行っている。従って、動き参照関係制限付きＰピクチャ判定部１０３は、その処理動作開始直前及び動作終了直後のフレームのピクチャタイプを動き参照関係制限付きＰピクチャ（動き参照関係制限付きＰ２及び動き参照関係制限付きＰ８）と判定する。また、図６に示した例のように、時間的に後のフレームとの差分も利用可能なＢピクチャを含む画像シーケンスでは、Ｂ３ピクチャ〜Ｂ７ピクチャまでの間、カメラ部１０１は焦点整合処理を行っている。従って、動き参照関係制限付きＰピクチャ判定部１０３は、その処理動作開始直前及び動作終了直後のフレームのピクチャタイプを動き参照関係制限付きＰピクチャ（動き参照関係制限付きＰ２及び動き参照関係制限付きＰ８）と判定する。

上述の通り、図５及び図６に示した例のように動き参照関係制限付きＰピクチャを設定すると、例えば、合焦した直後の注目度の高い動き参照関係制限付きＰピクチャ（図５及び図６における動き参照関係制限付きＰ８ピクチャ）からの迅速な再生が可能となる。また、合焦画像（例えば、図５におけるＰ１０ピクチャ及び図６におけるＢ９ピクチャ）は、非合焦画像（例えば、図５及び図６におけるＰ５ピクチャ）を参照したとしても、画像がボケてしまっているために、フレーム間予測精度が低下すると考えられる。そこで、焦点整合処理前後のフレームを動き参照関係制限付きＰピクチャに設定する。これにより、動き参照関係制限付きＰピクチャのフレームを飛び越した、合焦画像（図５におけるＰ１０ピクチャ及び図６におけるＢ９ピクチャ）から非合焦画像（図５及び図６におけるＰ５ピクチャ）の参照を禁止することができる。よって、合焦画像のみを参照画像とするためフレーム間予測精度を向上させることが可能となる。

以下、上述した（１）焦点整合の場合と同様に、（２）ズームの場合では、図７に示したようにズーム動作開始前及び終了後のフレームのピクチャタイプを動き参照関係制限付きＰピクチャに設定する。また、（３）パン・チルトの場合では、図８に示したようにパン・チルト開始前及び終了後のフレームのピクチャタイプを動き参照関係制限付きＰピクチャに設定する。また、（４）手ぶれの場合では、図９に示したように手ぶれ開始前及び終了後のフレームのピクチャタイプを動き参照関係制限付きＰピクチャに設定する。また、（５）特殊効果付加の場合では、図１０に示したように特殊効果付加開始前及び終了後のフレームのピクチャタイプを動き参照関係制限付きＰピクチャに設定する。

また、カメラ部１０１におけるズーム速度やパン・チルト速度がある閾値よりも遅い場合は、撮影者が意図的に遅くしてそれらの動作を行っている可能性がある。従って、ズーム及びパン・チルトの動作開始前又は動作終了後もしくは動作開始前及び動作終了後のフレームを動き参照関係制限付きＰピクチャと判定しないようにしてもよい。

次に、上述したカメラ制御データに基づいて動き参照関係制限付きＰピクチャを設定する処理について、図１１に示すフローチャートを参照して説明する。

まず、ステップＳ１１０１にて撮影が開始される。続いて、ステップＳ１１０２にてカメラ部１０１は非圧縮画像データを符号化部１０２に出力し、ステップＳ１１０３にてカメラ部１０１はカメラ制御データを動き参照関係制限付きＰピクチャ判定部１０３に出力する。

次に、ステップＳ１１０４にて、動き参照関係制限付きＰピクチャ判定部１０３は、ステップＳ１１０３において出力されたカメラ制御データに基づいて、カメラ部１０１の動作が焦点整合動作開始又は終了であるか否かを判定する。

次に、ステップＳ１１０５にて、動き参照関係制限付きＰピクチャ判定部１０３は、ステップＳ１１０３において出力されたカメラ制御データに基づいて、カメラ部１０１の動作がズーム動作開始又は終了であるか否かを判定する。

次に、ステップＳ１１０６にて、動き参照関係制限付きＰピクチャ判定部１０３は、ステップＳ１１０３において出力されたカメラ制御データに基づいて、カメラ部１０１の動作がパン・チルト開始又は終了であるか否かを判定する。

次に、ステップＳ１１０７にて、動き参照関係制限付きＰピクチャ判定部１０３は、ステップＳ１１０３において出力されたカメラ制御データに基づいて、カメラ部１０１の動作が手ぶれ開始又は終了であるか否かを判定する。

次に、ステップＳ１１０８にて、動き参照関係制限付きＰピクチャ判定部１０３は、ステップＳ１１０３において出力されたカメラ制御データに基づいて、カメラ部１０１の動作が特殊効果付加開始又は終了であるかを判定する。

言い換えれば、動き参照関係制限付きＰピクチャ判定部１０３は、ステップＳ１１０３において出力されたカメラ制御データに基づいて、カメラ部１０１の動作が動き参照関係制限付きＰピクチャを設定する条件に適合するか否かを判定する。

具体的には、動き参照関係制限付きＰピクチャ判定部１０３は、カメラ部１０１から出力されたカメラ制御データが焦点整合動作開始又は終了を示すものであれば、符号化部１０２に動き参照関係制限付きＰピクチャ設定情報を出力する。

カメラ部１０１から出力されたカメラ制御データが焦点整合開始又は終了を示すものでなくズーム動作開始又は終了を示すものであれば、動き参照関係制限付きＰピクチャ判定部１０３は、符号化部１０２に動き参照関係制限付きＰピクチャ設定情報を出力する。

カメラ部１０１から出力されたカメラ制御データがズーム動作開始又は終了を示すものでなくパン・チルト開始又は終了を示すものであれば、動き参照関係制限付きＰピクチャ判定部１０３は符号化部１０２に動き参照関係制限付きＰピクチャ設定情報を出力する。

カメラ部１０１から出力されたカメラ制御データがパン・チルト開始又は終了を示すものでなく手ぶれ開始又は終了を示すものであれば、動き参照関係制限付きＰピクチャ判定部１０３は、符号化部１０２に動き参照関係制限付きＰピクチャ設定情報を出力する。

カメラ部１０１から出力されたカメラ制御データが手ぶれ開始又は終了を示すものでなく特殊効果付加開始又は終了を示すものであれば、動き参照関係制限付きＰピクチャ判定部１０３は、符号化部１０２に動き参照関係制限付きＰピクチャ設定情報を出力する。

以上のように動き参照関係制限付きＰピクチャ設定情報が出力された場合には、ステップＳ１１０９にて、符号化部１０２のピクチャタイプ決定部３１６によりピクチャタイプが動き参照関係制限付きＰピクチャに設定される。一方、ステップＳ１１０４〜ステップＳ１１０８において、動き参照関係制限付きＰピクチャ設定情報が出力されない場合には、ステップＳ１１１０にて、符号化部１０２のピクチャタイプ決定部３１６により符号化方式に準拠したピクチャタイプが設定される。

次に、ステップＳ１１０９又はステップＳ１１１０において設定されたピクチャタイプに基づき符号化部１０２により符号化処理が行われ、ステップＳ１１１１において符号化データが出力される。この一連の処理を、ステップＳ１１１１に続くステップＳ１１１２にて撮影終了と判定されるまでフレーム単位に繰り返すことにより全ての入力画像を符号化する。

−第２の実施形態−
次に、本発明の第２の実施形態について説明する。図１２は、本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。本実施形態に係る画像処理装置は、画像の相関によりピクチャタイプを動き参照関係制限付きＰピクチャに設定するものであり、カメラ部１０１、符号化部１０２、画像相関判定部１２０１を有する。以下、本実施形態に係る画像処理装置の構成について図１２を参照して説明する。尚、第１の実施形態と同じ符号のものは第１の実施形態と同様の動作及び処理を行うため、説明は省略する。

画像相関判定部１２０１は、カメラ部１０１から出力された非圧縮画像に対して、例えばフレーム間における画素値の差分値を評価し、差分値がある閾値よりも大きいと画像の相関がなく、閾値よりも小さいと画像の相関があると判定する。画像相関判定部１２０１により画像の相関がないと判定された場合は、動き参照関係制限付きＰピクチャ設定情報が出力され、前記符号化部１０２の前記ピクチャタイプ決定部３１６によってピクチャタイプが動き参照関係制限付きＰピクチャに設定される。画像相関判定部１２０１により画像の相関があると判定された場合は、前記符号化部１０２の前記ピクチャタイプ決定部３１６により符号化方式に準拠したピクチャタイプが設定される。

画像の相関がないと判定される例としてはシーンチェンジやフラッシュが挙げられる。以下、この２つの例における動き参照関係制限付きＰピクチャの設定する方法について図１３及び１４を用いて詳しく説明する。

図１３は、Ｐ６ピクチャの時にシーンチェンジが発生した例であり、図１４は、Ｐ６の瞬間にフラッシュが焚かれた例である。ここでは、Ｉピクチャ及びＰピクチャから構成される画像ストリームに関して説明するが、Ｉピクチャ、Ｐピクチャ及びＢピクチャから構成される画像ストリームでも同様の方法により動き参照関係制限付きＰピクチャからのランダムアクセスが可能である。

シーンチェンジでは、シーンチェンジ直前の映像と直後の映像との変化が激しいため画像再生時の視聴者の注目度が高くなる。また、フラッシュは暗部での静止画撮影時等に焚かれる。動画撮影と同時に静止画撮影を行っている場合、静止画撮影によりフラッシュが焚かれることがある。静止画撮影は動画撮影と違い常に注目度の高い被写体を撮影するためフラッシュが焚かれた時の動画像も注目度の高い被写体であると考えられる。視聴者は、注目度の高い画像ストリーム部分からのランダムアクセスを所望するため注目度の高い画像ストリーム部分にはランダムアクセスポイントが多い方が良い。従って、シーンチェンジ直後又はフラッシュ直後の少なくとも１枚のピクチャを動き参照関係制限付きＰピクチャに設定し、ランダムアクセスポイントを付加する。即ち、前記ピクチャタイプ決定部３１６は、前記画像相関判定部１２０１によってシーンチェンジ又はフラッシュ等により画像の相関がないと判定されるとその直後のピクチャのうち少なくとも１枚の動き参照関係制限付きＰピクチャを設定する。

図１３の例では、Ｐ６ピクチャ直後にシーンチェンジが発生しているため前述のようにＰ６ピクチャ直後のピクチャのピクチャタイプは動き参照関係制限付きＰピクチャ（動き参照関係制限付きＰ７）に設定している。また、図１４の例では、Ｐ６ピクチャのタイミングでフラッシュが焚かれているため前述のようにＰ６ピクチャ直後のピクチャのピクチャタイプは動き参照関係制限付きＰピクチャ（動き参照関係制限付きＰ７）に設定している。図１３、１４の例では、シーンチェンジ又はフラッシュ直後の１ピクチャのみを動き参照関係制限付きＰピクチャ（動き参照関係制限付きＰ７）と設定している。これ以外に、本発明では、複数枚のピクチャを動き参照関係制限付きＰピクチャに設定（例えば、Ｐ７、Ｐ８、Ｐ９ピクチャを動き参照関係制限付きＰ７ピクチャに設定）してもよい。また、所定間隔毎に動き参照関係制限付きＰピクチャを設定（例えば、Ｐ７、Ｐ９、Ｐ１１ピクチャを動き参照関係制限付きＰ７ピクチャに設定）してもよい。

次に、上述したシーンチェンジにより動き参照関係制限付きＰピクチャを設定する処理について図１５のフローチャートを参照して説明する。

ステップ１５０１において、前記画像相関判定部１２０１は、カメラ部１０１より出力された非圧縮画像のフレーム間における画素値の差分値より画像の相関を判定する（例えば、シーンチェンジ又はフラッシュを判定する）。ステップ１５０１において画像の相関がないと判定された場合（例えば、シーンチェンジ又はフラッシュが発生した場合）は、前記画像相関判定部１２０１は前記符号化部１０２に動き参照関係制限付きＰピクチャ設定情報を出力する。これにより、ステップ１１０９において、前記符号化部１０２の前記ピクチャタイプ決定部３１６によりピクチャタイプが動き参照関係制限付きＰピクチャに設定される。ステップ１５０１において画像の相関があると判定された場合（例えば、シーンチェンジ又はフラッシュが発生していない場合）は、ステップ１１１０において符号化部１０２のピクチャタイプ決定部３１６により符号化方式に準拠したピクチャタイプが設定される。

次に、ステップＳ１１０９又はステップＳ１１１０において設定されたピクチャタイプに基づき符号化部１０２により符号化処理が行われ、ステップＳ１１１１において符号化データが出力される。この一連の処理を、ステップＳ１１１１に続くステップＳ１１１２にて撮影終了と判定されるまでフレーム単位に繰り返すことにより全ての入力画像を符号化する。

上述した実施形態においては、カメラ制御データや画像の相関に応じて、必要最低限の画像フレームのピクチャタイプを動き参照関係制限付きＰピクチャに設定している。これにより、合焦した直後の画像等の注目度の高い画像部分に多くのランダムアクセスポイントを設定することができる。従って、従来の定期的にＩＤＲピクチャを設定する場合に比べ、符号化効率を損なわずに動き参照関係制限付きＰピクチャからのランダムアクセスが可能な画像ストリームを得ることが可能となる。また、参照関係制限付きＰピクチャは、フレーム間予測によって符号化されるため、フレーム内予測による符号化が行われるＩＤＲピクチャに比べ更に符号化効率を向上させることができる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム等のコンピュータが記憶媒体からプログラムコードを読み出し実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに接続された機能拡張ユニット等に備わるメモリに書込まれた後、そのプログラムコードの指示に基づきＣＰＵ等が実際の処理を行い、前述した実施形態の機能が実現される場合も含まれる。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 カメラ部の構成を示すブロック図である。 符号化部の構成を示すブロック図である。 動き参照関係制限付きＰピクチャを説明するための図である。 焦点整合制御データに基づくＢピクチャを含まない画像ストリームにおける動き参照関係制限付きＰピクチャ設定を説明するための図である。 焦点整合制御データに基づくＢピクチャを含む画像ストリームにおける動き参照関係制限付きＰピクチャ設定を説明するための図である。 ズーム動作制御データに基づくＢピクチャを含まない画像ストリームにおける動き参照関係制限付きＰピクチャ設定を説明するための図である。 振動検出データに基づくＢピクチャを含まない画像ストリームにおける動き参照関係制限付きＰピクチャ設定を説明するための図である。 撮像装置移動検出データに基づくＢピクチャを含まない画像ストリームにおける動き参照関係制限付きＰピクチャ設定を説明するための図である。 特殊効果付加制御データに基づくＢピクチャを含まない画像ストリームにおける動き参照関係制限付きＰピクチャ設定を説明するための図である。 本発明の第１の実施形態における動き参照関係制限付きＰピクチャ設定方法を示すフローチャートである。 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第２の実施形態におけるシーンチェンジ時における動き参照関係制限付きＰピクチャ設定を説明するための図である。 本発明の第２の実施形態におけるフラッシュ時の動き参照関係制限付きＰピクチャ設定を説明するための図である。 本発明の第２の実施形態における動き参照関係制限付きＰピクチャ設定方法を示すフローチャートである。 参照画像の関係を説明するための図である。 ＩＤＲピクチャを説明するための図である。

符号の説明

１０１ カメラ部
１０２ 符号化部
１０３ 動き参照関係制限付きＰピクチャ判定部
２０１ レンズ
２０２ 撮像部
２０３ Ａ／Ｄ変換部
２０４ カメラ信号処理部
２０５ 特殊効果付加部
２０６ 振動検出部
２０７ カメラ制御部
２０８ スイッチ
３０１ フレーム並び替え部
３０２ 減算器
３０３ 整数変換部
３０４ 量子化部
３０５ エントロピー符号化部
３０６ 逆量子化部
３０７ 逆整数変換部
３０８ 加算器
３０９、３１３ フレームメモリ
３１０ イントラ予測部
３１１,３１７ スイッチ
３１２ デブロッキングフィルタ
３１４ インター予測部
３１５ 動き検出部
３１６ ピクチャタイプ決定部
１２０１ 画像相関判定部

Claims (14)

1. 入力画像データをフレーム間予測処理を用いて圧縮符号化する画像符号化装置であって、
   撮像部より入力される画像データを圧縮符号化する符号化手段と、
   前記撮像部の所定の動作に係る制御データを取得し、前記制御データに基づいて前記所定の動作の状態が変化したときに、当該フレームを飛び越したフレーム間予測が禁止される特定フレームの設定を行う設定手段とを備え、
   前記符号化手段は、前記設定手段によって設定された前記特定フレームに該当するフレームを所定のフレーム間予測処理によって符号化することを特徴とする画像符号化装置。
2. 前記設定手段は、前記所定の動作が開始又は終了したときに前記特定フレームの設定を行うことを特徴とする請求項１に記載の画像符号化装置。
3. 前記制御データは、焦点整合に係る制御データ、ズーム動作に係る制御データ、撮像装置本体の振動検出に係る振動検出データ、撮像装置本体の移動検出に係る移動検出データ、及び、前記画像データに対して特殊効果を付加したときの特殊効果付加制御データのうちの少なくとも何れか１つを含むことを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記制御データは、焦点整合に係る制御データであって、
   前記設定手段は、前記焦点整合に係る制御データに基づき、焦点整合中の状態から合焦状態に移る時点、及び、合焦状態から焦点整合中の状態に移る時点の少なくとも一方で、前記特定フレームの設定を行うことを特徴とする請求項１に記載の画像符号化装置。
5. 前記制御データは、ズーム動作に係る制御データであって、
   前記設定手段は、前記ズーム動作に係る制御データに基づき、前記ズーム動作が動作中の状態から停止状態に移る時点、及び、停止状態から動作開始する時点の少なくとも一方で、前記特定フレームの設定を行うことを特徴とする請求項１に記載の画像符号化装置。
6. 前記制御データは、撮像装置本体の移動に係る制御データであって、
   前記設定手段は、前記撮像装置本体の移動に係る制御データに基づき、前記撮像装置本体が移動中の状態から停止状態に移る時点、及び、停止状態から移動開始する時点の少なくとも一方で、前記特定フレームの設定を行うことを特徴とする請求項１に記載の画像符号化装置。
7. 前記制御データは、前記画像データに対する特殊効果の付加に係る制御データであって、
   前記設定手段は、前記特殊効果の付加に係る制御データに基づき、特殊効果を付加していない状態から付加する状態に移る時点、及び、該特殊効果を付加している状態から付加していない状態に移る時点の少なくとも一方で、前記特定フレームの設定を行うことを特徴とする請求項１に記載の画像符号化装置。
8. 入力画像データをフレーム間予測処理を用いて圧縮符号化する画像符号化装置であって、
   前記入力画像データを圧縮符号化する符号化手段と、
   前記入力画像データにおけるフレーム間の相関を判定する画像相関判定手段と、
   前記画像相関判定手段によって前記フレーム間の相関が無いと判定されたときに、当該フレームを飛び越したフレーム間予測が禁止される特定フレームの設定を行う設定手段とを備え、
   前記符号化手段は、前記設定手段によって設定された前記特定フレームに該当するフレームを所定のフレーム間予測処理によって符号化することを特徴とする画像符号化装置。
9. 前記設定手段は、前記画像相関判定手段によって前記フレーム間の相関が無いと判定された直後のフレームを、前記特定フレームに設定することを特徴とする請求項８に記載の画像符号化装置。
10. 前記符号化手段は、前記特定フレームに該当するフレームを、前記フレーム間予測処理における参照関係に制限のあるＰピクチャとして符号化することを特徴とする請求項１乃至９の何れか１項に記載の画像符号化装置。
11. 入力画像データをフレーム間予測処理を用いて圧縮符号化する画像符号化方法であって、
    撮像部の所定の動作に係る制御データを取得し、前記制御データに基づいて前記所定の動作の状態が変化したときに、当該フレームを飛び越したフレーム間予測が禁止される特定フレームの設定を行う設定ステップと、
    前記撮像部より入力される画像データを圧縮符号化するステップであって、前記設定ステップによって設定された前記特定フレームに該当するフレームを所定のフレーム間予測処理によって符号化する符号化ステップとを含むことを特徴とする画像符号化方法。
12. 入力画像データをフレーム間予測処理を用いて圧縮符号化する画像符号化方法であって、
    前記入力画像データにおけるフレーム間の相関を判定する画像相関判定ステップと、
    前記画像相関判定ステップによって前記フレーム間の相関が無いと判定されたときに、当該フレームを飛び越したフレーム間予測が禁止される特定フレームの設定を行う設定ステップと、
    前記入力画像データを圧縮符号化するステップであって、前記設定ステップによって設定された前記特定フレームに該当するフレームを所定のフレーム間予測処理によって符号化する符号化ステップとを含むことを特徴とする画像符号化方法。
13. 請求項１１又は１２に記載の画像符号化方法をコンピュータに実行させるためのプログラム。
14. 請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images