JP6497874B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法、及びプログラムに関し、特に時間階層識別子を用いる技術に関する。

動画像の圧縮記録の符号化方式であるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、動画像を低品質のものから高品質のものに階層的に符号化するスケーラブル映像符号化が拡張仕様として採用されている。スケーラブル映像符号化は、階層化される情報の種類の観点から、空間スケーラビリティ、時間スケーラビリティ、ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）スケーラビリティに分類されることもある。ここで時間スケーラビリティは、時間的な規模（スケール）の変化、即ち画像符号化においては単位時間ごとのフレーム数（フレームレート）に対応して、階層化する技術である。そして、階層構造であるデータの一部を切り出すことでフレームレートを調整することができる。即ち、複数のフレームレートを実現可能なように動画像を符号化することで、ネットワーク送信や再生（復号）処理といった、環境により異なる制限事項に合わせてフレームレートの柔軟な切り替えが可能になる。

上述した時間スケーラビリティに対応した階層符号化を実現するため、ＨＥＶＣでは、動画像の各フレームに、時間的な階層における各階層を識別するための情報である時間階層識別子（Ｔｅｍｐｏｒａｌ ＩＤ）を設けて符号化することが規定されている。各階層のフレームは、設定されたＴｅｍｐｏｒａｌ ＩＤの値、及びそれより小さい値に対応するフレームを参照して再生可能な構成となっている。そしてこのＴｅｍｐｏｒａｌ ＩＤをもとに、時間的な階層を選択して再生（復号及び表示）を行う。

以下、図９（ａ）を用いて、Ｔｅｍｐｏｒａｌ ＩＤと選択的に再生可能な動画像のフレームレートの関係を説明する。図９（ａ）には、Ｉフレーム、Ｐフレーム、又はＢフレームからなるフレームを、４つの階層に分けて示している。図９（ａ）の各階層に存在するフレームには、上から、Ｔｅｍｐｏｒａｌ ＩＤ＝３、Ｔｅｍｐｏｒａｌ ＩＤ＝２、Ｔｅｍｐｏｒａｌ ＩＤ＝１、Ｔｅｍｐｏｒａｌ ＩＤ＝０が付与されている。このようにしてＴｅｍｐｏｒａｌ ＩＤを付与されて符号化されたフレームを、送信時および再生時にＴｅｍｐｏｒａｌ ＩＤに基づいて選択することで、図９（ａ）では４種類のフレームレートの動画像を形成可能である。例えば、Ｔｅｍｐｏｒａｌ ＩＤ＝０のみ（図９（ａ）の９０４で示したフレーム群）を選択した場合、フレームレートは７．５ＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ，フレーム／秒）となる。また、Ｔｅｍｐｏｒａｌ ＩＤ＝０、１（図９（ａ）の９０４と９０３とで示したフレーム群）を選択した場合、フレームレートは１５ＦＰＳとなる。さらに、Ｔｅｍｐｏｒａｌ ＩＤ＝０、１、２（図９（ａ）の９０２〜９０４で示したフレーム群）を選択した場合のフレームレートは３０ＦＰＳとなる。そして、Ｔｅｍｐｏｒａｌ ＩＤ＝０、１、２、３の全ての階層（図９（ａ）の９０１〜９０４で示したフレーム群）を選択した場合のフレームレートは６０ＦＰＳとなる。このように、Ｔｅｍｐｏｒａｌ ＩＤに基づいて、動画像を再生する際のフレームレートを受信側で選択することができる。

次に、送信側においてフレームレートを制御する技術として、動画像の各フレームに、フレーム間の処理の優先度を付与し、当該優先度に基づいた伝送を行う技術がある（特許文献１）。特許文献１では、画面内参照フレーム（以下、Ｉフレーム）、画面間参照フレーム（以下、Ｐフレーム）、双方向画面間参照フレーム（以下、Ｂフレーム）といったフレームの予測形式（以下、フレームタイプ）に応じて各フレームに関する処理の優先度を付与する。ここで優先度の大きさは、予測画像として使用されるフレーム間の依存関係に基づく。即ち、ＩフレームはＰフレームとＢフレームの双方から参照されうるために、３つのフレームタイプのうち最大の優先度となり、Ｂフレームは参照画像として使用されないために最低の優先度となる。そして、ＰフレームはＢフレームから参照されうるため、Ｉフレームの優先度より小さくＢフレームの優先度より大きい、中程度の優先度となる。

そして特許文献１の技術では、各フレームに付与した優先度に応じて一時的にフレームを間引く（即ちフレームレートを低下させる）ことで、通信経路の伝送状況に基づいたビットレート制御を行う。具体的には、通信経路の伝送状況（即ち実効ビットレート）に応じて閾値未満の低優先度のフレームを間引いて伝送する。伝送されるフレームは（１）全フレーム、（２）［優先度：高］（Ｉフレーム）及び［優先度：中］（Ｐフレーム）のみ、（３）［優先度：高］（Ｉフレーム）のみ、というように各フレームの優先度と通信経路の伝送状況とに応じて閾値を用いて選択される。

特許３５１９７２２号公報

上述したように特許文献１は、各フレームに対応するフレームタイプに基づいて付与された優先度と、通信経路の伝送状況とに基づいて、実効伝送レートを超えそうな場合に優先度のより低いフレームを切り捨てることにより、送信フレームレートを制御する。そして、優先度の数はフレームタイプの種類の数に基づいて制限されている。

このため、特許文献１に記載のように送信側でフレームレート制御された動画像データを、Ｔｅｍｐｏｒａｌ ＩＤに基づいて再生のためにフレームレートを選択する場合、以下のような課題がある。例えば、図９（ｂ）に示すようにＴｅｍｐｏｒａｌ ＩＤ＝１の階層がＢフレームであって、且つ、各フレームタイプに対してＩフレーム［優先度：高］、Ｐフレーム［優先度：中］、Ｂフレーム［優先度：低］のように優先度が設定されていると仮定する。この場合、特許文献１の方法では、Ｔｅｍｐｏｒａｌ ＩＤ＝１の階層に含まれるＢフレーム群は、その優先度がＴｅｍｐｏｒａｌ ＩＤ＝２の階層に含まれるＰフレーム群の優先度よりも低いため、送信の際に優先的に間引かれてしまう可能性がある。従って、Ｔｅｍｐｏｒａｌ ＩＤ＝１のＢフレームが間引かれたことで、図９（ｂ）のフレーム群９１２に示した３０ＦＰＳでの正常な再生ができなくなる。

さらに、図９（ｂ）に示すように、フレーム群９１１のうち各フレーム９１４〜９１７は、間引かれたフレーム群９１２のＢフレームを参照フレームとしているため、これらの各フレーム９１４〜９１７も再生できない。このように、Ｔｅｍｐｏｒａｌ ＩＤ＝２のフレームが、間引かれたＴｅｍｐｏｒａｌ ＩＤ＝１のフレームを参照する場合、Ｔｅｍｐｏｒａｌ ＩＤ＝２フレームも再生できなくなるため、フレーム群９１１で示した６０ＦＰＳでの正常な再生もできなくなる。

以上のように、特許文献１の方法を用いると、Ｔｅｍｐｏｒａｌ ＩＤに基づいて時間スケーラビリティ符号化された動画像データを、所望のビットレートやフレームレートに制御することが難しいという課題がある。

上述の課題を解決するため、本発明の画像処理装置は、以下の構成を有する。即ち、複数の階層に基づいて、動画像を構成する各フレームを符号化することが可能な画像処理装置であって、符号化対象のフレームに対応する階層を示す情報を取得する取得手段と、前記取得手段によって取得された情報に基づいて、動画像を構成する各フレームを符号化する符号化手段と、前記符号化手段によって符号化された動画像の符号化データを送信する送信手段とを有し、前記複数の階層に含まれる第１の階層に対応するフレーム群によって、第１のフレームレートの動画像を構成可能であり、前記第１の階層に対応するフレーム群と、前記第１の階層とは異なる第２の階層に対応するフレーム群とによって前記第１のフレームレートよりも高い第２のフレームレートの動画像を構成可能であり、前記第１の階層に対応するフレーム群と、前記第２の階層に対応するフレーム群と、前記第１及び第２の階層とは異なる第３の階層に対応するフレーム群とによって前記第２のフレームレートよりも高い第３のフレームレートの動画像を構成可能であり、前記符号化手段は、前記取得手段によって取得された情報に基づいて、符号化対象のフレームが前記第２の階層又は前記第３の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを、第１のビットレート以下とするための制限を行い、符号化対象のフレームが前記第１の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを前記第１のビットレート以下とするための制限を行わずに前記第１のビットレートを超えることを可能として、前記動画像を構成する各フレームを符号化し、前記制限を行う場合において、前記第３の階層に対応するフレームのビットレートを削減する割合は、前記第２の階層に対応するフレームのビットレートを削減する割合よりも大きく、前記第１のビットレートは、符号化対象のフレームを符号化した符号データを伝送する通信経路の実際のビットレートである実効伝送レートである。

通信経路の実効伝送レート及びＴｅｍｐｏｒａｌ ＩＤ等を考慮して適応的なビットレート制御及びフレームレート制御を実現可能である。

実施形態１におけるフレーム単位の符号化処理を示したフローチャート 実施形態１におけるＩフレーム、Ｐフレーム、Ｂフレームからなる各フレームレートに対応する階層の説明図 実施形態１における符号化パラメータ決定処理を示したフローチャート 実施形態１におけるＩフレーム、Ｐフレームからなる各フレームレートに対応する階層の説明図 実施形態１におけるビットレート推移の説明図 実施形態２におけるフレーム単位の符号化処理を示したフローチャート 実施形態２における符号化パラメータ決定処理を示したフローチャート 実施形態１及び実施形態２に係る動画像送受信システムの構成例を示すブロック図 時間階層識別子と各フレームレート階層とに係る説明図 画像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図 実施形態１における画像送信装置８００の構成例を示すブロック図

以下、添付の図面を参照して、本発明をその実施形態の一例に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
［実施形態１］
以下、本実施形態に係る画像処理装置について、図面を参照して説明する。まず、本実施形態における画像処理システムの構成について、図８を用いて説明する。図８は、撮影した動画像に対応する動画像データを、通信経路を介して送信し、これを受信した側で表示を行うための動画像送受信システムの機能ブロック図であり、動画像送信装置８００（画像処理装置）と動画像受信装置８１０とを含む。尚、図８の各処理部（８０１〜８０３、８１１〜８１３）は１つの物理的な回路（ハードウェア）によって構成されていてもよいし、複数の回路で構成されていてもよい。また、いくつかの処理部を統合して１つの回路としてもよい。

動画像送信装置８００は、本実施形態における画像処理装置の一例である。動画像送信装置８００において、カメラ等の撮像部８０１は被写体を撮影して動画像データを作成し、符号化部８０２へ出力する。撮像部８０１は所定時間毎にフレーム単位で画像を撮像し、複数フレームで構成される動画像データを生成する。そして、符号化部８０２は、Ｈ．２６４やＨＥＶＣ等の動画像符号化方式で、撮像部８０１によって作成された動画像データを圧縮して符号化データを生成し、ネットワーク送信部８０３へ出力する。ネットワーク送信部８０３は、符号化部８０２によって出力された符号化データを、通信経路を介して動画像受信装置８１０に転送する。次に動画像受信装置８１０において、ネットワーク受信部８１１は符号化データを受信し、復号部８１２へ出力する。復号部８１２は、ネットワーク受信部８１１から出力された符号化データに復号（伸張）処理を施し、動画像データを生成（再生）する。そして表示制御部８１３は、復号部８１２によって生成された動画像データを、ＴＶ受信機やＰＣモニタ、携帯機器のディスプレイ等に可視画像として表示させるよう制御する。尚、図示していないが動画像送信装置８００及び動画像受信装置８１０はそれぞれ記憶装置を有し、この記憶装置を各種設定用の記憶領域や一時記憶用のバッファ領域として使用しながら処理を進める。

符号化部８０２によって符号化された後の動画像のデータ量は、符号化時に用いられた量子化パラメータ（ＱＰ：Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）等の符号化パラメータ（画質設定）により変動する。尚、符号化時に用いるＱＰが大きいほど量子化ステップが大きくなるため、符号化された符号データのデータ量（符号量）は小さくなるが、画質劣化が大きくなる（画質が低下する）。一方、符号化時に用いるＱＰが小さいほど、画質劣化が小さくなるが、符号量は大きくなる。

また、仮に符号化時に用いる符号化パラメータを固定にしたとしても、符号化対象の動画像の内容に依存した予測のしやすさに従って、符号化部８０２によって符号化された後の動画像データのデータ量は変動する。加えて、通信経路の実際の伝送レート（実効伝送レート）は、通信経路の混雑状況、あるいは無線通信であれば電波状況のような環境要因によって変動する可能性がある。例えば、通信経路の実効伝送レートが符号化後の動画像データのビットレートを下回る場合、動画像送信装置８００は動画像データを符号化した符号化データを伝送することが出来ない。この場合、受信側の表示制御部８１３によって表示を制御される表示部８２０は、通信経路の実効伝送レートが動画像データのビットレート以上に回復するまでの間、何も再生されないか、部分的に途切れ途切れの動画像データしか再生できないといった状況が生じる。

尚、表示部８２０は図８において動画像受信装置８１０の外部にあるがこれに限定されず、動画像受信装置８１０の内部に構成されていてもよい。

次に、図２を用いて本実施形態における動画像データのフレーム構成について説明する。図２には、Ｉフレーム、Ｐフレーム、及びＢフレームが、３つの階層（Ｔｅｍｐｏｒａｌ ＩＤ＝０、１、２）に分けて示されている。ここで、Ｔｅｍｐｏｒａｌ ＩＤとは、動画像の各フレームに付与される、時間的な階層における各階層を識別するための情報である時間階層識別子（時間的階層の識別子）のことである。図中の矢印は、フレーム間の予測の方向（即ち、当該フレームが予測のために参照するフレーム）を示している。尚、動画像符号化方式としてＨＥＶＣを用いた場合、複数のＩフレームを跨いだ予測が可能である。このため、フレーム間予測に際しては、Ｉフレームではなく、予測の自由度を制限されたＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）フレームを用いるのが好ましい。ただし本実施形態ではＩフレームとＩＤＲフレームとを区別せず、便宜的にどちらもＩフレームと記述する。

図２に示すように、各フレームは時間順（再生順）に、フレーム２０１（Ｉフレーム、以下Ｉと略記）、フレーム２０２（Ｂフレーム、以下Ｂと略記）、フレーム２０３（Ｐフレーム、以下Ｐと略記）と続く。以下、フレーム２０４（Ｂ）、２０５（Ｐ）、２０６（Ｂ）、２０７（Ｐ）、２０８（Ｂ）、２０９（Ｐ）、２１０（Ｂ）、２１１（Ｐ）、２１２（Ｂ）、２１３（Ｐ）の順となる。全てのフレームには、当該フレームの属するＴｅｍｐｏｒａｌ ＩＤが付与される。本実施形態においては、各フレーム２０２、２０４、２０６、２０８、２１０、及び２１２には、それぞれＴｅｍｐｏｒａｌ ＩＤ＝２が付与されている。また、各フレーム２０３、２０７、及び２１１にはそれぞれＴｅｍｐｏｒａｌ ＩＤ＝１が付与され、各フレーム２０１、２０５、２０９、及び２１３にはそれぞれＴｅｍｐｏｒａｌ ＩＤ＝０が付与されている。

次に、動画像データを所定の時間的階層を境界として、低フレームレート層、中間フレームレート層、又は高フレームレート層の何れかに分類する階層選択処理について説明する。本実施形態では、Ｔｅｍｐｏｒａｌ ＩＤ＝０（最小値）であるフレーム群の階層を低フレームレート層２１４と分類する。さらに、Ｔｅｍｐｏｒａｌ ＩＤ＝１の階層を中間フレームレート層２１５、Ｔｅｍｐｏｒａｌ ＩＤ＝２の階層を高フレームレート層２１６とそれぞれ分類する。

本実施形態では、低フレームレート層２１４を区別するためのＴｅｍｐｏｒａｌ ＩＤの第１の閾値（第１の時間的階層閾値）は、０に規定される。また、中間フレームレート層２１５を区別するためのＴｅｍｐｏｒａｌ ＩＤの第２の閾値（第２の時間的階層閾値）は１に、それぞれ規定される。即ち、Ｔｅｍｐｏｒａｌ ＩＤが第１の閾値（０）より小さいフレームを低フレームレート層２１４に分類し、Ｔｅｍｐｏｒａｌ ＩＤが第１の閾値以上であって且つ第２の閾値（１）より小さいフレームを中間フレームレート層２１５に分類する。本実施形態では各フレームレート層は、それぞれ１つのＴｅｍｐｏｒａｌ ＩＤの層から構成されるが、これに限定されるものではない。１つのフレームレート層を複数のＴｅｍｐｏｒａｌ ＩＤの層で構成してもよい。例えば、図９（ａ）のフレーム群９０２（Ｔｅｍｐｏｒａｌ ＩＤ≦２）とフレーム群９０３（Ｔｅｍｐｏｒａｌ ＩＤ≦１）の二つの層を、中間フレームレート層としてもよい。尚、閾値の決定方法は、外部からユーザによる指定に基づいて決定しても良いし、所定のアルゴリズムに基づいて決定しても良いし、予め決定しておいた所定値を用いてもよい。

次に、図１及び図１１を用いて、階層選択処理を施された各階層の符号化処理について説明する。図１１は、本実施形態における動画像送信装置８００の各処理部を示す機能ブロック図である。図１は、本実施形態における動画像送信装置８００で実行される符号化処理のフローチャートである。撮像部８０１による動画の撮影が開始されると図１の処理が開始される。

符号化処理が開始されると、符号化部８０２のフレーム取得部１１０１は、撮像部８０１が撮影した動画像データに対応する符号化対象のフレームを、動画像送信装置８００の記憶装置から取得する（ステップＳ１０１）。フレーム取得部１１０１は複数のフレームを保持可能なバッファを含んでもよい。次に、属性情報取得部１１０２は、ステップＳ１０１において取得された符号化対象のフレームに対応するＴｅｍｐｏｒａｌ ＩＤであって、全体制御部１１０７によって設定されたＴｅｍｐｏｒａｌ ＩＤを記憶装置から読み出す（取得する）（ステップＳ１０２）。尚、属性情報取得部１１０２は、全体制御部１１０７によって設定されたＴｅｍｐｏｒａｌ ＩＤを、記憶装置を介さずに受け取ってもよい。そして、属性情報取得部１１０２は、ステップＳ１０２で読み出したＴｅｍｐｏｒａｌ ＩＤに基づいて、符号化対象のフレームが属するフレーム群を判定する（ステップＳ１０３）。ここで、本実施形態において属性情報取得部１１０２は、図２に示すＴｅｍｐｏｒａｌ ＩＤ＝０、１、２のうちいずれかを、符号化対象のフレームが属するフレーム群として判定し、符号化対象のフレームが属するフレーム群に関する情報を取得する。また、ステップＳ１０２又はステップＳ１０３において属性情報取得部１１０２は、再生順序と符号化順序とに基づいて、フレームの順序を並び替えてフレーム取得部１１０１から読み出しても構わない。

次に、制御方法決定部１１０３は、ステップＳ１０３において属性情報取得部１１０２によって取得された、符号化対象のフレームが属するフレーム群に基づいて、ビットレート制御方法を決定する（ステップＳ１０４）。これにより、Ｔｅｍｐｏｒａｌ ＩＤに基づいてビットレート制御方法を決定することができる。

ここでビットレート制御方法としては、動画像送信装置８００が符号化対象のフレームを符号化した後、動画像受信装置８１０へ転送する際の通信経路の実効伝送レートに基づき、階層ごとにビットレートを制御する方法が挙げられる。また、ユーザによる指示によって設定された目標画質に基づいて階層ごとにビットレートを制御する方法、動画像受信装置８１０内のバッファ（不図示）の残容量に基づいて階層ごとにビットレートを制御する方法等が挙げられる。また、ネットワーク送信部８０３に含まれる送信バッファ（不図示）の蓄積量（充填率）に基づきビットレートを制御してもよい。尚、これに限定されず、制御方法決定部１１０３は、前述した制御方法のうち少なくとも一つの方法を決定すればよい。本実施形態では、制御方法決定部１１０３は、通信経路の実効伝送レートに基づく制御方法をビットレート制御方法として決定する場合について説明する。より具体的には、本実施形態では、所定の閾値より大きいＴｅｍｐｏｒａｌ ＩＤを有すフレームのビットレートが、実効伝送レートを超えないように、符号化時のビットレートを制御する方法を用いる。

次に、パラメータ決定部１１０４は、ステップＳ１０４において決定されたビットレート制御方法に基づいて、符号化対象のフレーム以前に符号化されたフレームに関する符号化履歴データ（過去の符号化履歴データ）を記憶装置から読み出す（ステップＳ１０５）。符号化履歴データには、複数のフレームで構成される一連の動画シーケンスの符号化に用いた符号化パラメータ（画質パラメータ）としてＱＰに関する情報が含まれる。さらに、符号化履歴データには、符号化パラメータに対応付けられた発生符号量（符号化後のデータ量）、累積発生符号量、及びＩフレーム、Ｐフレーム、及びＢフレームごとの平均発生符号量等に関する情報が含まれる。例えば、符号化履歴データには、各Ｔｅｍｐｏｒａｌ ＩＤに対応する階層の、Ｉフレーム、Ｐフレーム、及びＢフレームの発生符号量（又は平均発生符号量）、対応するＱＰ（もしくは平均ＱＰ）、又は累積発生符号量のうち少なくともいずれかが、符号化に際して記憶装置に保持される。尚、本実施形態はこれらに限定されず、パラメータ決定部１１０４は符号化パラメータに対応する他の情報を記憶装置に保持しておき、これを読み出しても構わない。ステップＳ１０５の処理後、パラメータ決定部１１０４は、ステップＳ１０４において決定されたビットレート制御方法と、ステップＳ１０５において読み出された過去の符号化履歴データとに基づいて、符号化パラメータを決定する（ステップＳ１０６）。

そして、データ符号化部１１０５は、ステップＳ１０６においてパラメータ決定部１１０４によって決定された符号化パラメータを用いて、フレーム取得部１１０１によって取得された符号化対象フレームを符号化する（ステップＳ１０７）。また、ステップＳ１０７においてデータ符号化部１１０５は、再生順序と符号化順序とに基づいて、フレームの順序を並び替えてフレーム取得部１１０１から読み出すことにより、符号化対象フレームを符号化しても構わない。

そして、履歴データ保持部１１０６は、ステップＳ１０７において符号化対象のフレームが符号化された後の発生符号量（データ量）、及び符号化において用いられた符号化パラメータを、符号化履歴データとして更新する（ステップＳ１０８）。そして、符号化部８０２は、符号化対象のフレームが動画像データの最終フレームでない場合（ステップＳ１０９のＮｏ）、ステップＳ１０１に進み、次のフレームの符号化処理に移行する。以上の処理を、動画像データの最終フレームになるまで繰り返し、最終フレームになったら（ステップＳ１０９のＹｅｓ）、符号化処理を終了する。

さらに、図１におけるステップＳ１０６で決定される符号化パラメータであるＱＰの設定処理のフローチャートを図３に示す。本フローの実行に先立って、動画像送信装置８００はネットワーク送信部８０３による送信に関する現在の実効伝送レートあるいは許容できる実効伝送レートを特定しておくものとする。図１におけるステップＳ１０６の処理が開始されると、パラメータ決定部１１０４は、符号化対象のフレームのＴｅｍｐｏｒａｌ ＩＤが、所定の閾値以下であるか否かを判定する（ステップＳ３０１）。ここで、本実施形態では所定の閾値を第一の閾値（＝０）とする。

まず、ステップＳ３０１において、符号化対象のフレームのＴｅｍｐｏｒａｌ ＩＤが０である場合（ステップＳ３０１のＹｅｓ）について説明する。この場合、パラメータ決定部１１０４は、画質を最優先した低いＱＰであるＱＰ１を、符号化対象のフレームを符号化する場合に用いるＱＰとして設定する（ステップＳ３０２）。尚、ステップＳ３０２でＱＰ１を設定したが、これに限定されない。即ち、符号化履歴データとして保持されている、符号化対象のフレーム以前に符号化されたフレームのうちＴｅｍｐｏｒａｌ ＩＤ＝０であるフレームのＱＰを、そのまま符号化対象のフレームのＱＰとして利用してもよい。尚、ステップＳ３０２におけるＱＰの設定処理は、実効伝送レートの値に依存せず行われる。

一方、ステップＳ３０１において、符号化対象のフレームのＴｅｍｐｏｒａｌ ＩＤが０でない場合（ステップＳ３０１のＮｏ）、パラメータ決定部１１０４はステップＳ３０３の処理を行う。ステップＳ３０３においてパラメータ決定部１１０４は、符号化履歴データから算出された現時点（符号化対象のフレーム）までの平均ビットレートが、実効伝送レートを超えているか否かを判定する。ステップＳ３０３において平均ビットレートが実効伝送レートを超えている場合（ステップＳ３０３のＹｅｓ）、パラメータ決定部１１０４はステップＳ３０４の処理を行う。ステップＳ３０４においてパラメータ決定部１１０４は、平均ビットレートの超過量と、平均ビットレートが実効伝送レート以下になるような符号化履歴データのＱＰに対応する発生符号量とに基づいて、符号化対象のフレームを符号化する時に用いるＱＰを設定する。尚、ステップＳ３０３においてパラメータ決定部１１０４は、符号量を最優先した高いＱＰであるＱＰ２を、符号化対象のフレームを符号化する場合に用いるＱＰとして設定する。

また、ステップＳ３０３において平均ビットレートが実効伝送レートを超えていない場合（ステップＳ３０３のＮｏ）、パラメータ決定部１１０４はステップＳ３０５の処理を行う。ステップＳ３０５においてパラメータ決定部１１０４は、符号化履歴データに保持されている、符号化対象のフレーム以前のフレームを符号化する際に用いられた過去のＱＰに基づくＱＰ３を、符号化対象のフレームを符号化する場合のＱＰとして設定する。尚、ＱＰ３を過去のＱＰと等しい値としてもよい。

そして、各ステップＳ３０２、Ｓ３０４、又はＳ３０５によってＱＰを設定した後、ＱＰの設定処理を終了する。尚、各ステップＳ３０４、及びステップＳ３０５において用いられた各量子化パラメータＱＰ２、及びＱＰ３は、ＱＰ３≦ＱＰ２である。

次に、図１、及び図３のフローチャートで制御されるビットレートの遷移の一例を、図５に示す。尚、符号化対象の動画像データのフレーム構成は図４に示すものとする。図５において、横軸は各フレームを再生する再生時刻を示し、縦軸は各フレームの符号化時のビットレートを示す。尚、図５ではＴｅｍｐｏｒａｌ ＩＤを単にＩＤと標記している。

時刻Ｔ０におけるフレーム４０１はＴｅｍｐｏｒａｌ ＩＤ＝０（所定の閾値＝０以下）であるため、符号化部８０２のパラメータ決定部１１０４は、図３のステップＳ３０１においてＹｅｓと判定し、ステップＳ３０２において画質優先のＱＰを設定する。

続く時刻Ｔ１におけるフレーム４０２は、Ｔｅｍｐｏｒａｌ ＩＤ＝２（所定の閾値＝０より大きい）であり、且つ符号化履歴データから算出される現時点でまでの平均ビットレートである時刻Ｔ０の時点で平均ビットレートが、実効伝送レートを超えている。このため符号化部８０２のパラメータ決定部１１０４は、ステップＳ３０１においてＮｏと判定し、ステップ３０３においてＹｅｓと判定するため、ステップＳ３０４において、平均ビットレートの超過量に基づくＱＰを設定する。

続く時刻Ｔ２におけるフレーム４０３はＴｅｍｐｏｒａｌ ＩＤ＝１（所定の閾値＝０より大きい）であり、且つ時刻Ｔ１の時点で平均ビットレートは実効伝送レート以下である。このため符号化部８０２のパラメータ決定部１１０４は、ステップＳ３０１においてＮｏと判定し、ステップＳ３０３においてＮｏと判定するため、ステップＳ３０５の処理を行う。ステップＳ３０５において符号化部８０２のパラメータ決定部１１０４は、過去の符号化履歴データに保持されている、符号化対象のフレームより前に符号化されたフレームに対するＱＰと同一のＱＰを、符号化対象のフレームのＱＰとして設定する。

以上の処理によって図５に示すように、所定の閾値以下のＴｅｍｐｏｒａｌ ＩＤを有す階層については、画質を優先するため当該フレームの符号化時のビットレート（もしくは当該フレームまでの平均ビットレート）が実効伝送レートを超えることが許容される。また、所定の閾値より大きいＴｅｍｐｏｒａｌ ＩＤを有す階層については、符号化時のビットレート（もしくは当該フレームまでの平均ビットレート）が実効伝送レートを超えないように制御される。これにより、局所的には符号化時のビットレートが実効伝送レートを超えつつも、全階層（Ｔｅｍｐｏｒａｌ ＩＤが０から２の全フレーム）に対する平均ビットレートは実効伝送レート以下に抑えることができる。即ち、本実施形態により、平均ビットレートを平準化することが可能である。

本実施形態のような制御を行わず、Ｔｅｍｐｏｒａｌ ＩＤの異なる階層であっても、フレームタイプが同じであれば同じ優先度で間引いた場合、次のような問題が生じるかもしれない。例えば、図９（ｂ）のＴｅｍｐｏｒａｌ ＩＤ＝１の階層のＢフレームとＴｅｍｐｏｒａｌ ＩＤ＝２の階層のＢフレームとが同じ優先度で間引いてしまうと、Ｔｅｍｐｏｒａｌ ＩＤ＝１、２に関して３０ＦＰＳ、６０ＦＰＳが得られない。しかしながら、本実施形態によりＴｅｍｐｏｒａｌ ＩＤと通信経路の状況に基づいて量子化パラメータを設定し、ビットレートを制御することができる。これにより、Ｔｅｍｐｏｒａｌ ＩＤを考慮して所望のフレームレートに制御しつつ、所望のビットレートに制御することができる。

尚、本実施形態において、図３のステップＳ３０１においてＴｅｍｐｏｒａｌ ＩＤと比較する所定の閾値は第１の閾値であるとしたが、これに限定されず、第１の閾値とは異なる第２の閾値としてもよい。

尚、本実施形態では、通信経路の実効伝送レートに基づく制御方法について説明したが、通信経路の実効伝送レートに限定されない。即ち、動画像受信装置８１０において受信された所定時間当たりのデータ量を計測して動画像送信装置８００にフィードバックするようにして動画像送信装置８００がこれに基づきＱＰを決定してもよい。また、動画像送信装置８００において出力された所定時間当たりの符号化データのデータ量を計測したり、送信バッファの容量から送信された符号化データのデータ量を算出したりし、これに基づきＱＰを決定してもよい。

［実施形態２］
上述した実施形態１では、図３において、所定の閾値以下のＴｅｍｐｏｒａｌ ＩＤが付与されたフレーム（図４のフレーム４０１）で発生したビットレートの超過量を直後のフレーム（図４のフレーム４０２）で調整する制御である。本実施形態では、発生したビットレートの超過量を、所定の閾値より大きい階層に属するフレームの、Ｔｅｍｐｏｒａｌ ＩＤに応じて分配することで平均ビットレートを調整する。本実施形態に係る動画像送受信システムの構成に関しては、実施形態１と同じ構成を利用できるため、ここでの説明を省略する。

まず、図６は、本実施形態における符号化処理フローチャートである。尚、図６のステップＳ６０１以外の各処理は図１のそれと同様であるため、ここでの説明を省略する。ステップＳ６０１において符号化部８０２は、符号化対象のフレームが属するフレーム群、過去の符号化履歴データ、及び後述の重み付け係数に基づいて、符号化対象のフレームを符号化する際に用いる符号化パラメータ（ＱＰ）を決定する。

次に、図６におけるステップＳ６０１で決定される符号化パラメータであるＱＰの設定フローチャートを図７に示す。図６におけるステップＳ６０１の処理が開始されると、符号化部８０２は符号化対象フレームのＴｅｍｐｏｒａｌ ＩＤが所定の閾値以下であるか否かを判定する（ステップＳ７０１）。ここで、本実施形態では所定の閾値は第１の閾値（＝０）とする。

まず、ステップＳ７０１において、符号化対象のフレームのＴｅｍｐｏｒａｌ ＩＤが閾値以下（即ち、Ｔｅｍｐｏｒａｌ ＩＤ＝０）である場合（ステップＳ７０１のＹｅｓ）、ステップＳ７０２の処理を行う。ステップＳ７０２において符号化部８０２は、画質を最優先した低いＱＰを、符号化対象フレームに対応するＱＰとして設定し、処理を終了する。尚、ステップＳ７０２において、符号化履歴データに保持されている、符号化対象のフレーム以前に符号化されたフレームのうち同じＴｅｍｐｏｒａｌ ＩＤ（即ち、Ｔｅｍｐｏｒａｌ ＩＤ＝０）のフレームのＱＰをそのまま利用してもよい。

一方、ステップＳ７０１において、符号化対象フレームのＴｅｍｐｏｒａｌ ＩＤが閾値より大きい場合（ステップＳ７０１のＮｏ）、符号化部８０２はステップＳ７０３の処理を行う。即ち、ステップＳ７０３において符号化部８０２は、符号化履歴データから算出された現時点までの平均ビットレートが実効伝送レートを超えているか否かを判定する。そして、ステップＳ７０３において平均ビットレートが実効伝送レートを超えている場合（ステップＳ７０３のＹｅｓ）、符号化部８０２は符号化対象のフレームの目標ビットレートを算出する（ステップＳ７０４）。

以下、ステップＳ７０４における目標ビットレートの算出方法について説明する。ここで、目標ビットレートの決定には平均ビットレートの超過量初期値、及び符号化対象フレームのＴｅｍｐｏｒａｌ ＩＤを用いることとする。また、平均ビットレートの超過量初期値は、Ｔｅｍｐｏｒａｌ ＩＤが所定の閾値以下であるフレームの、符号化直後の実効伝送レートに対する平均ビットレートの超過量を表す。平均ビットレートが実行伝送レートを超過していない場合、超過量初期値は０となる。尚、Ｔｅｍｐｏｒａｌ ＩＤが所定の閾値より大きいフレームの符号化直後の平均ビットレートの超過量と区別するため、超過量初期値と呼称する。

まず、ビットレートの超過量に応じたフレーム毎のビットレート削減量をＴｅｍｐｏｒａｌ ＩＤに応じた重み付けで決定する。重み付け係数をα（０≦α＜０．５）、超過量初期値をＢとすると、Ｔｅｍｐｏｒａｌ ＩＤ＝１のフレーム群でαＢだけ平均ビットレートを削減するように、各フレームに対する目標符号量を決定する。同様にＴｅｍｐｏｒａｌ ＩＤ＝２のフレーム群で（１−α）Ｂだけ平均ビットレートをさらに削減するように、各フレームの目標符号量を決定する。本実施形態では、αを０≦α＜０．５とすることで、Ｔｅｍｐｏｒａｌ ＩＤ＝１のフレーム群における平均ビットレートの削減量よりも、Ｔｅｍｐｏｒａｌ ＩＤ＝２のフレーム群における平均ビットレートの削減量が多くなるように重み付けしている。即ち、Ｔｅｍｐｏｒａｌ ＩＤに応じた重み付けを行っている。

図４を用いてさらに説明する。フレーム４０１の符号化完了時点（符号化直後）の平均ビットレートの超過量初期値Ｂに対して、各フレーム４０２、４０４の符号化終了時点でそれぞれ（１−α）Ｂ／２だけ平均ビットレートが削減されるように、各フレームの目標符号量を設定する。これは、Ｔｅｍｐｏｒａｌ ＩＤ＝２のフレーム群（フレーム４０２、４０４の２つ）でαＢだけ平均ビットレートを削減するための設定値である。同様にフレーム４０３の符号化終了時点でαＢだけ平均ビットレートが削減されるように、フレーム４０３に対する目標符号量を決定する。即ち、ステップ７０４の処理により、平均ビットレートは、各フレーム４０２、４０３の符号化終了時点では実効伝送レートを超えうるが、フレーム４０４の符号化終了時点で実効伝送レートを下回ることとなる。

次に、ステップＳ７０５により、ステップＳ７０４において設定された目標符号量以下となるように、符号化履歴データに保持された当該フレーム群のＱＰと対応する発生符号量に基づいて符号化対象のフレームのＱＰを決定し、処理を終了する。

また、ステップＳ７０３において平均ビットレートが実効伝送レートを超えていない場合（ステップＳ７０３のＮｏ）、符号化部８０２はステップＳ７０６の処理を行う。ステップＳ７０６において符号化部８０２は、符号化履歴データに保持されている過去のＱＰを、符号化対象のフレームのＱＰとして設定し、処理を終了する。

以上の処理によってＴｅｍｐｏｒａｌ ＩＤ＝０の階層については、画質を優先するため当該フレームの符号化時のビットレート（もしくは当該フレームまでの平均ビットレート）が実効伝送レートを超えることが許容される。しかしながら、ここで発生した平均ビットレートの超過分は、Ｔｅｍｐｏｒａｌ ＩＤ≧１の階層のフレームの符号化時に重み付けして反映される。これにより、次のＴｅｍｐｏｒａｌ ＩＤ＝０の階層のフレームの符号化までには平均ビットレートが実効伝送レートを下回るように制御される。従って実施例１と同様に、局所的には符号化時のビットレートが実効伝送レートを超えつつも、全階層（Ｔｅｍｐｏｒａｌ ＩＤが０から２の全フレーム）に対する平均ビットレートは実効伝送レートを超えることはない。

また、本実施形態によりＴｅｍｐｏｒａｌ ＩＤと通信経路の状況とに基づいて量子化パラメータを設定し、ビットレートを制御することができる。これにより、Ｔｅｍｐｏｒａｌ ＩＤを考慮して所望のフレームレートに制御しつつ、所望のビットレートに制御することができる。

尚、本実施形態で示した重み付けの方法は、一例であり、これに限定されない。即ち、図９（ａ）に示すフレーム構造の場合、Ｔｅｍｐｏｒａｌ ＩＤ＝０のフレームで発生したビットレートの超過量を、Ｔｅｍｐｏｒａｌ ＩＤ＝１、２、３のフレームで調整するように制御してもよい。また、重み付けにおいて各階層に属するフレーム数を加味してもよい。例えば、フレーム数の比から決定される重み付け係数をβ（０≦β≦１）とする。Ｔｅｍｐｏｒａｌ ＩＤ＝１の階層の１フレームと、Ｔｅｍｐｏｒａｌ ＩＤ＝２の階層の２フレームとで平均ビットレートを調整する場合、β＝１／２と定義し、Ｔｅｍｐｏｒａｌ ＩＤ＝１のフレーム群でαβＢだけ平均ビットレートを削減してもよい。同様にＴｅｍｐｏｒａｌ ＩＤ＝２のフレーム群で（１−αβ）Ｂだけ平均ビットレートをさらに削減するようにしてもよい。

［実施形態３］
図８に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。以下、図１０を用いて本実施形態について説明する。図１０は、上記各実施形態に係る画像処理システムに適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理システムが行うものとして上述した各処理を実行する。即ち、ＣＰＵ１００１は、図８に示した各処理部として機能することになる。

ＲＡＭ１００２は、外部記憶装置１００６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１００７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１００２は、例えば、ピクチャメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１００３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１００４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１００１に対して入力することができる。出力部１００５は、ＣＰＵ１００１による処理結果を表示する。また出力部１００５は例えば液晶ディスプレイで構成される。

外部記憶装置１００６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１００６には、ＯＳ（オペレーティングシステム）や、図８に示した各部の機能をＣＰＵ１００１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１００６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１００６に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１による制御に従って適宜、ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。Ｉ／Ｆ１００７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１００７を介して様々な情報を取得したり、送出したりすることができる。１００８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した処理をＣＰＵ１００１が中心となってその制御を行う。

［その他の実施形態］
実施形態１及び実施形態２では、Ｔｅｍｐｏｒａｌ ＩＤ＝０である低フレームレート層のみ（第１の閾値以下のＴｅｍｐｏｒａｌ ＩＤを持つフレームのみ）、符号化時のビットレートが実効伝送レートを超えることを許容したが、これに限定されるものではない。例えば、Ｔｅｍｐｏｒａｌ ＩＤ＝０、１からなる中間フレームレート層のフレームのみ（第２の閾値以下の時間階層識別子を持つフレームのみ）、符号化時のビットレートが実効伝送レートを超えることを許容してもよい。この場合はその他のフレームの符号化時にその超過量を調整するように制御することが可能である。

また、実施形態１及び実施形態２では、局所的には符号化時のビットレートが実効伝送レートを超えつつも、全階層（Ｔｅｍｐｏｒａｌ ＩＤが０から２の全フレーム）に対する平均ビットレートは実効伝送レートを超えないように符号化される。即ち、Ｔｅｍｐｏｒａｌ ＩＤに対応する各層は、各々可変ビットレートで符号化されているが、これに限定されるものではない。各フレームレート層に各々目標ビットレートを設定し、閾値以下のＴｅｍｐｏｒａｌ ＩＤについては目標ビットレートに対して固定ビットレートで符号化し、その他のフレームレート層を可変ビットレートで符号化するようにしてもよい。

例えば、図２における高フレームレート層２１６、中間フレームレート層２１５、低フレームレート層２１４の順に、目標ビットレートを４０Ｍｂｐｓ、２０Ｍｂｐｓ、１０Ｍｂｐｓと段階的に設定する。低フレームレート層２１４は１０Ｍｂｐｓに収まるように符号化パラメータを決定し、固定ビットレートで符号化する。中間フレームレート層２１５は２０Ｍｂｐｓに納まるように符号化パラメータを決定し、可変ビットレートで符号化する。同様に高フレームレート層２１６は４０Ｍｂｐｓに収まるように符号化パラメータを決定し、可変ビットレートで符号化する。

これにより、低フレームレート層に対しては平均ビットレートが実効伝送レートを超えないように、その他のフレームレート層に対しては局所的には実効伝送レートを超えることを許容した符号化が各々行われる。即ち、局所的には符号化時のビットレートが実効伝送レートを超えつつも、低フレームレート層（Ｔｅｍｐｏｒａｌ ＩＤ＝０の階層）の平均ビットレートは実効伝送レートを超えないように符号化することが可能となる。これにより、通信経路の実効伝送レートや受信側の処理能力に応じて送信および受信可能なフレームレート層を容易に選択することも可能となる。例えば、実効伝送レートが１０Ｍｂｐｓを維持している限りは、低フレームレート層２１４の伝送を保証する、といった処理が可能となる。

上述した実施形態１及び実施形態２において、図８に示す動画像送信装置８００は、撮像部８０１、符号化部８０２、及びネットワーク送信部８０３を有しているが、これに限定されない。即ち、撮像部８０１と符号化部８０２とが分離して、異なる装置が各処理部を備えていても構わない。

上述した実施形態１及び実施形態２において、図１１に示す符号化部８０２の各処理部は、１つの物理的な回路によって構成されていてもよいし、複数の回路で構成されていてもよい。また、図１１に示す符号化部８０２の各処理部は、１つの全体制御部１１０７によって制御されても構わないし、複数の制御部によって制御されても構わない。また、全体制御部１１０７が符号化部８０２外の処理部（例えば、撮像部８０１及びネットワーク送信部８０３）を制御しても構わないし、符号化部８０２外に備わる全体制御部１１０７が符号化部８０２の各処理部を制御しても構わない。

上述した実施形態１及び実施形態２においては、符号化パラメータとしてＱＰの制御方法に言及したが、これに限定されるものではない。所定のＱＰに対する量子化結果である量子化係数の打ち切り処理（量子化係数を切捨てる処理）を加えてもよい。例えば、実効伝送レートが所定の打ち切り閾値を超えると、量子化係数の打ち切り処理を適用するように制御することで、画質を低下するかわりに符号化時のビットレートを下げることが可能となる。また、イントラ予測の予測モード決定アルゴリズムや、インター予測の動きベクトル決定アルゴリズムを適応的に切り替える処理を加えてもよい。例えば、実効伝送レートが所定の閾値を超えると、決定アルゴリズムを切り替える、あるいはアルゴリズムが決定したパラメータを強制的に上書きするような処理を加えてもよい。
同様に予測ブロックサイズや符号化ブロックサイズを決定するアルゴリズムを加えてよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

８００ 動画像送信装置
８０１ 撮像部
８０２ 符号化部
８０３ ネットワーク送信部

Claims (11)

1. 複数の階層に基づいて、動画像を構成する各フレームを符号化することが可能な画像処理装置であって、
   符号化対象のフレームに対応する階層を示す情報を取得する取得手段と、
   前記取得手段によって取得された情報に基づいて、動画像を構成する各フレームを符号化する符号化手段と、
   前記符号化手段によって符号化された動画像の符号化データを送信する送信手段と
   を有し、
   前記複数の階層に含まれる第１の階層に対応するフレーム群によって、第１のフレームレートの動画像を構成可能であり、
   前記第１の階層に対応するフレーム群と、前記第１の階層とは異なる第２の階層に対応するフレーム群とによって前記第１のフレームレートよりも高い第２のフレームレートの動画像を構成可能であり、
   前記第１の階層に対応するフレーム群と、前記第２の階層に対応するフレーム群と、前記第１及び第２の階層とは異なる第３の階層に対応するフレーム群とによって前記第２のフレームレートよりも高い第３のフレームレートの動画像を構成可能であり、
   前記符号化手段は、
   前記取得手段によって取得された情報に基づいて、
   符号化対象のフレームが前記第２の階層又は前記第３の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを、第１のビットレート以下とするための制限を行い、
   符号化対象のフレームが前記第１の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを前記第１のビットレート以下とするための制限を行わずに前記第１のビットレートを超えることを可能として、
   前記動画像を構成する各フレームを符号化し、
   前記制限を行う場合において、前記第３の階層に対応するフレームのビットレートを削減する割合は、前記第２の階層に対応するフレームのビットレートを削減する割合よりも大きく、
   前記第１のビットレートは、符号化対象のフレームを符号化した符号データを伝送する通信経路の実際のビットレートである実効伝送レートである
   ことを特徴とする画像処理装置。
2. 符号化対象のフレームが前記第１の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化対象のフレームより前に符号化された１以上の過去フレームのビットレートに基づかない符号化パラメータを用いる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記符号化手段は、符号化対象のフレームより前に符号化された１以上の過去フレームのビットレートに基づく符号化パラメータを用いて、符号化対象のフレームを符号化することで、前記第１のビットレート以下とするための制限を行う
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記１以上の過去フレームのビットレートに基づく符号化パラメータは、前記１以上の過去のフレームの符号化後のデータ量に基づく符号化パラメータである
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記１以上の過去フレームのビットレートに基づく符号化パラメータは、前記１以上の過去のフレームのうちのいずれかを符号化するために用いた符号化パラメータである
   ことを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記符号化パラメータは量子化パラメータを含む
   ことを特徴とする請求項２〜５のいずれか１項に記載の画像処理装置。
7. 前記符号化手段は、前記第１の階層のフレームの符号化時のビットレートが、前記第１のビットレートよりも大きい場合に、前記第２及び第３の階層のフレームの符号化時のビットレートが、前記第１のビットレート以下になるように、前記第２の階層のフレームを符号化する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記符号化対象のフレームに対応する階層に属するフレーム群をビットレート制御するための制御方法を決定する決定手段を有し、
   前記決定手段は、
   前記符号化データを伝送する通信経路の実際のビットレートである実効伝送レートに基づいて階層ごとにビットレートを制御する方法、
   目標の画質に基づいて階層ごとにビットレートを制御する方法、
   符号化データを受信する装置における記憶手段の記憶可能な残量に基づいて階層ごとにビットレートを制御する方法、及び
   送信対象の符号化データを記憶する送信バッファの蓄積量に基づいてビットレートを制御する方法のうち、
   少なくともいずれか１つを前記制御方法として決定する
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記決定手段は、前記取得手段によって取得された情報に基づいて、前記符号化対象のフレームを符号化するためのビットレート制御の方法を決定し、当該ビットレート制御の方法に基づいて、前記符号化対象のフレームを符号化するための符号化パラメータを決定する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 複数の階層に基づいて、動画像を構成する各フレームを符号化することが可能な画像処理方法であって、
    符号化対象のフレームに対応する階層を示す情報を取得する取得工程と、
    前記取得工程において取得された情報に基づいて、動画像を構成する各フレームを符号化する符号化工程と、
    前記符号化工程において符号化された動画像の符号化データを送信する送信工程と
    を有し、
    前記複数の階層に含まれる第１の階層に対応するフレーム群によって、第１のフレームレートの動画像を構成可能であり、
    前記第１の階層に対応するフレーム群と、前記第１の階層とは異なる第２の階層に対応するフレーム群とによって前記第１のフレームレートよりも高い第２のフレームレートの動画像を構成可能であり、
    前記第１の階層に対応するフレーム群と、前記第２の階層に対応するフレーム群と、前記第１及び第２の階層とは異なる第３の階層に対応するフレーム群とによって前記第２のフレームレートよりも高い第３のフレームレートの動画像を構成可能であり、
    前記符号化工程において、
    前記取得工程において取得された情報に基づいて、
    符号化対象のフレームが前記第２の階層又は前記第３の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを、第１のビットレート以下とするための制限を行い、
    符号化対象のフレームが前記第１の階層に対応する場合、その符号化対象のフレームの符号化処理において、符号化された動画像のビットレートを前記第１のビットレート以下とするための制限を行わずに前記第１のビットレートを超えることを可能として、
    前記動画像を構成する各フレームを符号化し、
    前記制限を行う場合において、前記第３の階層に対応するフレームのビットレートを削減する割合は、前記第２の階層に対応するフレームのビットレートを削減する割合よりも大きく、
    前記第１のビットレートは、符号化対象のフレームを符号化した符号データを伝送する通信経路の実際のビットレートである実効伝送レートである
    ことを特徴とする画像処理方法。
11. コンピュータを、請求項１〜９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images