JP6690254B2 - 画像符号化装置、方法及びプログラム - Google Patents

Description

本発明は、画像符号化装置、方法及びプログラムに関し、注目領域と非注目領域とを区分して画像を符号化する画像符号化装置、方法及びプログラムに適用し得るものである。

近年、監視カメラの普及は進み、さらなる高フレームレート化、高解像度化、多視点化も望まれている。しかし、高フレームレート化、高解像度化、多視点化は、動画像のデータ量増大を引き起こし、通信コストやストレージコストの増加を招く。この問題を緩和するため、例えば、人物画像の動画像より顔領域を検出し、顔領域の圧縮に多くのビット数を配分する方式が提案されている。

特許文献１には、顔領域に多くのビット数を配分する方式が開示されている。より具体的には、特許文献１の記載技術は、注目領域と非注目領域で動画像に異なるビット数を配分することで、符号量を削減するシステムにおいて、量子化パラメータＱＰの決定する方法を提案している。

つまり、特許文献１の記載技術は、顔領域の面積の大きさを顔領域ごとに算出し、顔領域が大きいほど顔領域と非顔領域の品質の差を小さくする。これにより、顔領域が大きいときに顔領域にほとんどの符号量を割いてしまい、非顔領域の品質が著しく低下するという課題を解決している。

図２は、従来の画像符号化システム８０の内部構成を示す構成図である。図２において、画像符号化システム８０は、入力画像と注目画素とを入力データとし、ストリームを出力する。

画像符号化システム８０は、入力した注目画素を含む注目ブロックを出力する注目ブロック判定部８１と、注目ブロックを入力し、注目領域面積を計算し出力する注目領域面積計算部８２と、注目領域面積からオフセットを求める圧縮率制御部８３と、ターゲットビットレート（目標ビットレート）とオフセットから注目領域ＱＰと非注目領域ＱＰとを決定し出力するレート制御部８４と、注目ブロックと注目領域ＱＰと非注目領域ＱＰとに基づき、入力画像をＪＰＥＧやＨ．２６４、Ｈ．２６５などの方式で圧縮しストリームを出力する圧縮部８５とを有する。

また、レート制御部８４は、ターゲットビットレートから非注目領域ＱＰを生成するＱＰ制御部８１１と、非注目領域ＱＰとオフセットから注目領域ＱＰを生成する注目領域ＱＰ算出部８１２とを有する。

ここで、オフセットとは、注目領域ＱＰの値と非注目領域ＱＰの値の差分である。

レート制御部８４は、ＱＰ制御部８１１により決定された量子化パラメータにオフセットを加減算し、注目領域ＱＰと非注目領域ＱＰを生成する。

この例では、レート制御部８４は、ＱＰ制御部８１１により決定された非注目領域ＱＰからオフセット分減じた値を注目領域ＱＰとして出力する場合を例示する。しかし、レート制御部８４は、ＱＰ制御部８１１により決定された注目領域ＱＰからオフセット分加えた値を非注目領域ＱＰとする構成などのバリエーションも考えられる。

特許文献１の記載技術は、ＱＰ制御部の詳細な実現形態について、特に明記していないが、例えば、図２に例示したように圧縮部８５から出力されるフィードバック（ＦＢ：Ｆｅｅｄ ｂａｃｋ）情報に基づき制御する方法が考えられる。

ここで、ＦＢ情報とは、例えば使用した量子化パラメータやそのときの符号量である。

具体的には、以下の２つの制御方法が考えられる。

１つ目の制御方法は、ＱＰ制御部８１１は、直前フレームの符号量とターゲットビットレートを比較して、直前の符号量がターゲットビットレートを満足させる符号量よりも多ければ非注目領域ＱＰを上げて、少なければ非注目領域ＱＰを下げるという方法である。

２つ目の制御方法は、ＱＰ制御部８１１は、過去の量子化パラメータと符号量のデータを用いて、量子化パラメータと符号量の関係を学習したモデルを生成し、当該モデルを使って、ターゲットビットレートを満足させる符号量を発生しうる量子化パラメータを選択する方法である。

一方、注目領域と非注目領域との量子化パラメータに差を設ける方法として次の方法が考えられる。

図３は、従来の画像符号化システム９０の内部構成を示す構成図である。

図３の画像符号化システム９０は、注目領域及び非注目領域のいずれか一方の領域の量子化パラメータを固定し、他方の量子化パラメータを変動させることでレート制御を行なう。

画像符号化システム９０は、入力された注目画素を含む注目ブロックを出力とする注目ブロック判定部９１と、ターゲットビットレートと固定ＱＰとから注目領域ＱＰと非注目領域ＱＰとを決定して出力するレート制御部９２と、注目ブロックと注目領域ＱＰと非注目領域ＱＰとに基づき、入力画像をＪＰＥＧやＨ．２６４、Ｈ．２６５などの方式で圧縮しストリームを出力する圧縮部９３とを有する。

また、レート制御部９２は、ターゲットビットレートから非注目領域ＱＰを生成し出力するＱＰ制御部９２１を有する。

この例では、注目領域ＱＰを固定としたが、非注目領域ＱＰを固定とするバリエーションも考えられる。

図２に例示する画像符号化システム８０は、オフセットが量子化パラメータの制約条件となっているため、注目領域あるいは非注目領域の品質が保証されない代わりに、注目領域及び非注目領域の品質が著しく乖離することもない。これに対して、図３に例示する画像符号化システム９０は、注目領域あるいは非注目領域の品質が保証される代わりに、注目領域と非注目領域の品質が著しく乖離することもありうる。

ＱＰ制御部９２１の詳細な実現形態については、特に明記しないが、例えば図３に示したように圧縮部９３から出力されるＦＢ情報に基づき制御する方法が考えられる。

具体的には、たとえば、以下の２つの制御方法が考えられる。

１つ目の制御方法は、図３のように注目領域ＱＰを固定し、非注目領域ＱＰを可変とする場合、ＱＰ制御部９２１は、直前フレームの符号量とターゲットビットレートとを比較して、直前の符号量がターゲットビットレートを満足させる符号量よりも多ければ非注目領域ＱＰを上げて、少なければ非注目領域ＱＰを下げるという方法である。

２つ目の制御方法は、ＱＰ制御部９２１は、過去の量子化パラメータと符号量のデータとを用いて、量子化パラメータと符号量の関係を学習したモデルを生成し、当該モデルを使って、ターゲットビットレートを満足させる符号量を発生しうる量子化パラメータを選択する方法である。

過大な符号量や過小な符号量は、デバイスが持つバッファや伝送路で、データの損失を発生させたり、資源を有効に活用できなかったりといった問題を引き起こすため、解決が望まれる課題である。

特開２０１０−１９３４４１号公報

しかしながら、上述した従来の画像符号化システムには、以下のような課題が生じ得る。

より具体的には、図２に例示する画像符号化システム８０の２つのＱＰ制御方法には、以下の課題が生じ得る。

１つ目の制御方法については、漸近的な符号量の調整となるため、急激な映像の変化や急激な注目領域面積の変化に追従できず、過大な符号量や過少な符号量が発生しうるという課題がある。

２つ目の制御方法についても、モデルはＱＰ固定領域の存在を知らないため、学習データから離れた符号量やＱＰに制御しようとしたときに、予測と実測に必ず隔たりが発生し、過大な符号量や過少な符号量が発生しうるという課題がある。加えて、急激な注目領域面積の変化にも追従できず、過大な符号量や過少な符号量が発生しうるという課題もある。

また、図３に例示する画像符号化システム９０の２つのＱＰ制御方法には、以下の課題が生じ得る。

１つ目の制御方法については、漸近的な符号量の調整となるため、急激な映像の変化や急激な注目領域面積の変化に追従できず、過大な符号量や過少な符号量が発生しうるという課題がある。

２つ目の制御方法についても、モデルはＱＰ固定領域の存在を知らないため、学習データから離れた符号量やＱＰに制御しようとしたときに、予測と実測に必ず隔たりが発生し、過大な符号量や過少な符号量が発生しうるという課題がある。加えて、急激な注目領域面積の変化にも追従できず、過大な符号量や過少な符号量が発生しうるという課題もある。

過大な符号量や過小な符号量は、デバイスが持つバッファや伝送路で、データの損失を発生させたり、資源を有効に活用できなかったりといった問題を引き起こすため、解決が望まれる課題である。

そのため、過大な符号量や過少な符号量が発生しうるという問題を緩和し、注目領域の面積や映像の性質の変化が発生してもビットレートの変動幅を小さくすることができる画像符号化装置、方法及びプログラムが求められている。

上記課題を解決するために、第１の本発明に係る画像符号装置は、（１）注目画素を含む注目ブロックか否かを判定する注目ブロック判定手段と、（２）注目ブロック判定手段による判定結果に基づいて、注目領域面積比率を求める注目領域面積比率算出手段と、（３）画像全体を注目領域として符号化した場合の符号量を表す注目領域モデルと、画像全体を非注目領域として符号化した場合の符号量を表す非注目領域モデルとを出力するモデル提供部と、（４）圧縮データのビットレートと注目領域面積比率とに基づいて、注目領域面積比率と注目領域モデルとを乗じた値と、非注目領域面積比率と非注目領域モデルとを乗じた値とに基づいて画像全体の符号量を導出し、画像全体の符号量が、圧縮データのビットレートを満たす、注目領域量子化パラメータと、非注目領域量子化パラメータとを決定するレート制御手段と、（５）注目ブロックと注目領域量子化パラメータと非注目領域量子化パラメータとを用いて、所定の符号化方式により入力された画像を圧縮する圧縮手段とを備えることを特徴とする。

第２の本発明に係る画像符号化方法は、（１）注目ブロック判定手段が、注目画素を含む注目ブロックか否かを判定し、（２）注目領域面積比率算出手段が、注目ブロック判定手段による判定結果に基づいて、注目領域面積比率を求め、（３）モデル提供部が、画像全体を注目領域として符号化した場合の符号量を表す注目領域モデルと、画像全体を非注目領域として符号化した場合の符号量を表す非注目領域モデルとを出力し、（４）レート制御手段が、圧縮データのビットレートと注目領域面積比率とに基づいて、注目領域面積比率と注目領域モデルとを乗じた値と、非注目領域面積比率と非注目領域モデルとを乗じた値とに基づいて画像全体の符号量を導出し、画像全体の符号量が、圧縮データのビットレートを満たす、注目領域量子化パラメータと、非注目領域量子化パラメータとを決定し、（５）圧縮手段が、注目ブロックと注目領域量子化パラメータと非注目領域量子化パラメータとを用いて、所定の符号化方式により入力された画像を圧縮することを特徴とする。

第３の本発明に係る画像符号プログラムは、コンピュータを、（１）注目画素を含む注目ブロックか否かを判定する注目ブロック判定手段と、（２）注目ブロック判定手段による判定結果に基づいて、注目領域面積比率を求める注目領域面積比率算出手段と、（３）画像全体を注目領域として符号化した場合の符号量を表す注目領域モデルと、画像全体を非注目領域として符号化した場合の符号量を表す非注目領域モデルとを出力するモデル提供部と、（４）圧縮データのビットレートと所定の制約条件と注目領域面積比率とに基づいて、注目領域面積比率と注目領域モデルとを乗じた値と、非注目領域面積比率と非注目領域モデルとを乗じた値とに基づいて画像全体の符号量を導出し、画像全体の符号量が、圧縮データのビットレート及び所定の制約条件を満たす、注目領域量子化パラメータと、非注目領域量子化パラメータとを決定するレート制御手段と、（５）注目ブロックと注目領域量子化パラメータと非注目領域量子化パラメータとを用いて、所定の符号化方式により入力された画像を圧縮する圧縮手段として機能させることを特徴とする。

本発明によれば、過大な符号量や過少な符号量が発生しうるという問題を緩和し、注目領域の面積や映像の性質の変化が発生してもビットレートの変動幅を小さくすることができる。

第１の実施形態に係る画像符号化装置の内部構成を示す構成図である。 従来の画像符号化システムの内部構成を示す構成図である。 従来の画像符号化システムの内部構成を示す構成図である。 第１の実施形態に係る画像符号化方法の動作を示すフローチャートである。 第１の実施形態に係る注目ブロックの判定方法を説明する説明図である。 第１の実施形態に係るレート制御部による注目領域ＱＰ及び非注目領域ＱＰの生成処理の動作を示すフローチャートである。 第２の実施形態に係る画像符号化装置の内部構成を示す構成図である。 第２の実施形態に係るレート制御部のモデル提供部における処理の動作を示すフローチャートである。

（Ａ）第１の実施形態
以下では、本発明に係る画像符号化装置、方法及びプログラムの第１の実施形態を、図面を参照しながら詳細に説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る画像符号化装置の内部構成を示す構成図である。

なお、画像符号化装置１００のハードウェア構成は、図示しないが、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インタフェース等を有する演算処理装置を適用でき、ＣＰＵが、ＲＯＭに格納される処理プログラム（画像符号化プログラム）を実行することにより実現できる。処理プログラム（画像符号化プログラム）が装置にインストールすることで画像符号化システムを構築できるようにしてもよく、その場合でも画像符号化プログラムは図１に例示する処理ブロックで示すことができる。

図１において、第１の実施形態に係る画像符号化装置１００は、注目ブロック判定部１、注目領域面積比率計算部２、レート制御部３、圧縮部４を有する。

また、レート制御部３は、ＱＰ制御部３１、注目領域符号量計算部３２、非注目領域符号量計算部３３、総符号量推定部３４、モデル提供部３５を有する。

画像符号化装置１００は、画像信号を入力し、入力された画像データを、例えばＪＰＥＧ、Ｈ．２６４、Ｈ．２６５等の圧縮方式で圧縮し、圧縮後の画像をストリームデータとして出力するものである。図１には図示しないが、画像符号化装置１００は、例えば画像データを蓄積する画像メモリ等と接続しており、画像メモリ等に蓄積されている１フレームの画像に関するデータが画像符号化装置１００に入力される。

注目ブロック判定部１は、注目画素を入力し、入力された注目画素を含むブロック（以下、注目ブロックと呼ぶ。）を判定するものである。注目ブロック判定部１は、判定して得られた注目ブロックを、注目領域面積比率計算部２、圧縮部４に与える。注目ブロック判定部１は、例えば１フレームの画像を単位ブロックに区分し、注目画素を含む単位ブロックを注目ブロックとして判定する。

注目領域面積比率計算部２は、注目ブロック判定部１により判定された注目ブロックを入力し、画像全体の中で注目ブロックが面積の割合を注目領域面積比率として導出するものである。また、注目領域面積比率計算部２は、導出した注目領域面積比率をレート制御部３に与える。

レート制御部３は、ターゲットビットレートと制約条件と注目領域面積比率とを入力し、これらターゲットビットレートと制約条件と注目領域面積比率に基づいて、注目領域の量子化パラメータ（ＱＰ：以下、注目領域ＱＰと呼ぶ。）と非注目領域の量子化パラメータ（ＱＰ：以下、非注目領域ＱＰと呼ぶ。）とを決定して圧縮部４に与える。

ここで、制約条件とは、例えばオフセットや固定量子化パラメータを含むものである。

レート制御部３は、ターゲットビットレートを満足させる画像全体の符号量をＲ、注目領域ＱＰをＱｒ、非注目領域ＱＰをＱｅ、画像全体を注目領域として符号化した場合の符号量を表す注目領域モデルをＭｒ（Ｑｒ）、画像全体を非注目領域として符号化した場合の符号量を表す非注目領域モデルをＭｅ（Ｑｅ）、前記注目領域面積比率をαとすると、式（１）と制約条件とを満たす注目領域ＱＰ、非注目領域ＱＰを導出することでレートを制御する。
Ｒ＝α×Ｍｒ（Ｑｒ）＋（１−α）×Ｍｅ（Ｑｅ） …（１）

モデル提供部３５は、注目領域モデルと非注目領域モデルとを提供するものである。つまり、モデル提供部３５は、注目領域モデルを注目領域符号量計算部３２に出力し、非注目領域モデルを非注目領域符号量計算部３３に出力する。

モデル提供部３５は、例えば、後述する圧縮部４から出力されるＦＢ（Ｆｅｅｄ Ｂａｃｋ）情報に基づいて、注目領域モデルと非注目領域とを生成する。

ここで、ＦＢ情報は、例えば、使用した量子化パラメータ（注目領域ＱＰ、非注目領域ＱＰ）やその時点の符号量（注目領域符号量、非注目領域符号量）、注目領域面積比率等を含む情報である。

つまり、モデル提供部３５は、圧縮部４からのＦＢ情報に基づき、過去の量子化パラメータや符号量のデータを用いて、量子化パラメータと符号量との関係を学習して、注目領域モデル、非注目領域モデルを生成する。なお、注目領域モデル、非注目領域モデルの学習方法は、例えば、最小二乗法を用いたフィッティングを実施できる。

また、量子化パラメータと符号量との関係モデルは、種々の方法が提供されているが、採用するモデルに応じて、量子化パラメータや符号量、注目領域面積比率以外の情報も入力してよい。

さらに、この実施形態では、注目領域モデルと非注目領域モデルとを分けているが、モデル提供部３５は、注目領域モデル及び非注目領域モデルに共通の１つのモデルであっても良い。

モデル提供部３５が学習用のデータとしてＦＢ情報を取得する方法には、例えば、予め全画面を一様な量子化パラメータＱＰで符号化する期間を設け、当該符号化時のＦＢ情報に基づき注目領域モデルと非注目領域モデルを生成する方法を適用できる。

ＱＰ制御部３１には、ターゲットビットレートと制約条件とが入力される。また、ＱＰ制御部３１には、総符号量推定部３４から推定総符号量が入力される。ＱＰ制御部３１は、ターゲットビットレートと推定総符号量とを比較し、当該推定総符号量が当該ターゲットビットレートを満たすまで、制約条件を満たす注目領域ＱＰ候補と非注目領域ＱＰ候補を生成する。そして、推定総符号量がターゲットビットレートを満たす注目領域ＱＰ候補と非注目領域ＱＰ候補が見つかれば、ＱＰ制御部３１は、注目領域ＱＰ候補及び非注目領域ＱＰ候補を、注目領域ＱＰ及び非注目領域ＱＰとして出力する。また、ＱＰ制御部３１は、注目領域ＱＰ候補を注目領域符号量計算部３２に与え、非注目領域ＱＰ候補を非注目領域符号量計算部３３に与える。

注目領域符号量計算部３２は、ＱＰ制御部３１からの注目領域ＱＰ候補と、モデル提供部３５からの注目領域モデルとに基づいて、注目領域推定符号量を導出して総符号量推定部３４に与える。注目領域符号量計算部３２は、例えば、画像全体を注目領域として符号化した場合の符号量を表す注目領域モデルに、注目領域ＱＰ候補を与えることで、注目領域推定符号量を生成する。

非注目領域符号量計算部３３は、ＱＰ制御部３１からの非注目領域ＱＰ候補と、モデル提供部３５からの非注目領域モデルとに基づいて、非注目領域推定符号量を導出して総符号量推定部３４に与える。非注目領域符号量計算部３３は、例えば、画像全体を非注目領域として符号化した場合の符号量を表す非注目領域モデルに、非注目領域ＱＰ候補を与えることで、非注目領域推定符号量を生成する。

総符号量推定部３４は、注目領域面積比率計算部２からの注目領域面積比率と、注目領域符号量計算部３２からの注目領域推定符号量と、非注目領域符号量計算部３３からの非注目領域推定符号量とに基づいて、推定総符号量を導出し、導出した推定総符号量をＱＰ制御部３１に与える。

総符号量推定部Ｃ４は、例えば、注目領域推定符号量に注目領域面積比率の値を乗じ、非注目領域推定符号量に「１から注目領域面積比率を減じた値」を乗じることで、推定総符号量を生成する。

圧縮部４は、注目ブロックと注目領域ＱＰと非注目領域ＱＰとに基づいて、入力された入力画像を、例えばＪＰＥＧ、Ｈ．２６４、Ｈ．２６５などの圧縮方式で圧縮してストリームを出力する。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る画像符号化装置１００における画像符号化方法の動作を、図面を参照しながら詳細に説明する。

図４は、第１の実施形態に係る画像符号化方法の動作を示すフローチャートである。

ＳＴＥＰ１０１で、注目ブロック判定部１は、入力された注目画素に基づいて、ブロックが注目ブロックであるか否かを判定し、注目ブロック判定結果を注目ブロックとして出力する。

図５は、第１の実施形態に係る注目ブロックの判定方法を説明する説明図である。図５においてハッチが付されている領域が注目領域であることを示している。

ここで、注目ブロックの判定方法は、種々の方法を広く適用できる。例えば、変換ブロック内に１画素でも注目画素が含まれている場合、当該変換ブロックを注目ブロックとして判定するようにしてもよい。また例えば、変換ブロック内の画素数のうち、半数以上が注目領域に含まれているときに、当該変換ブロックを注目ブロックとして判定するようにしてもよい。さらに例えば、変換ブロック内のすべての画素が注目領域に含まれている場合に、当該変換ブロックを注目ブロックであると判定するようにしてもよい。いずれにしても、注目ブロックの判定方法は、ブロック内の全部又は一部の画素が注目領域に含まれている場合に、当該ブロックを注目ブロックとして判定する。

図５では、例えば縦４画素×横４画素の１６画素からなる変換ブロック内の画素のうち半数以上が注目領域であるときに、当該変換ブロックを注目ブロックとして判定する場合を例示する。

ＳＴＥＰ１０２で、注目領域面積比率計算部２は、画像全体のなかで注目領域が占める面積の割合を注目領域面積比率として出力する。

ＳＴＥＰ１０３で、レート制御部３は、ターゲットビットレートと制約条件と注目領域面積比率とＦＢ情報とに基づいて、注目領域ＱＰと非注目領域ＱＰとを導出して出力する。

ＳＴＥＰ１０４で、圧縮部４は、注目ブロックに基づき、注目領域については注目領域ＱＰで、非注目領域については非注目領域ＱＰで、入力画像を圧縮し、ストリームを出力する。また、圧縮部４は、圧縮処理の結果として得られたＦＢ情報は、レート制御部３のモデル提供部３５に出力する。

図６は、第１の実施形態に係るレート制御部３による注目領域ＱＰ及び非注目領域ＱＰの生成処理の動作を示すフローチャートである。図６を用いて、ＳＴＥＰ１０３の処理動作を詳細に説明する。

ＳＴＥＰ１５１で、ＱＰ制御部３１は、制約条件を満たす注目領域ＱＰ候補と非注目領域ＱＰ候補を決めて出力する。

ＳＴＥＰ１５２で、注目領域符号量計算部３２は、注目領域ＱＰ候補とモデル提供部３５から提供される注目領域モデルに基づき、注目領域推定符号量を算出して出力する。

ＳＴＥＰ１５３で、非注目領域符号量計算部３３は、非注目領域ＱＰ候補とモデル提供部３５から提供される非注目領域モデルとに基づき、非注目領域推定符号量を算出し出力する。

ＳＴＥＰ１５４で、総符号量推定部３４は、注目領域面積比率と注目領域推定符号量、非注目領域推定符号量から推定総符号量を算出して出力する。

ＳＴＥＰ１５５で、ＱＰ制御部３１は、推定総符号量がターゲットビットレートを満たす符号量になっているかどうか判定する。

推定総符号量がターゲットビットレートを満たす符号量になっている場合、ＳＴＥＰ１５６に進む。

推定総符号量がターゲットビットレートを満たす符号量になっていない場合、ＳＴＥＰ１５７に進む。

ここで、推定総符号量がターゲットレートを満たす符号量となっているか否かの判定方法は、次のような方法を適用できる。例えば、ターゲットビットレートがＴ［ｂｐｓ］であったとして、３０ｆｐｓの動画像を圧縮している場合、αを予め設定する値として、推定総符号量がＴ／３０±α［ｂｉｔ］を満たす場合に、ターゲットビットレートを満たす符号量であると判定する方法がある。

なお、ターゲットビットレートを満たす符号量の決定方法については幾多の方法が提案されているが、本発明は種々の方法に依存するものではないため、ここで詳細な説明を省略する。

ＳＴＥＰ１５６で、ＱＰ制御部３１は、推定総符号量がターゲットビットレートを満たしている符号量になっている場合、当該注目領域ＱＰ候補及び非注目領域ＱＰ候補を、注目領域ＱＰと非注目領域ＱＰとして出力し、本動作を終了とする。

ＳＴＥＰ１５７で、ＱＰ制御部３１は、推定総符号量がターゲットビットレートを満たしていない場合、制約条件を満たす新しい注目領域ＱＰ候補と非注目領域ＱＰ候補とを生成して出力する。その後、ＳＴＥＰ１５２に戻る。

ここで、新しい注目領域ＱＰ候補と非注目領域ＱＰ候補を生成する方法は、例えば、推定総符号量が、ターゲットビットレートを満たす符号量よりも大きい場合は量子化パラメータＱＰの値を下げて、推定総符号量が、ターゲットビットレートを満たす符号量よりも少ない場合は量子化パラメータＱＰの値を上げる方法を適用できる。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、ターゲットビットレートのみでなく、注目領域面積比率も用いて、量子化パラメータを制御することで、過大な符号量や過少な符号量が発生しうるという問題を緩和し、注目領域の面積や映像の性質の変化が発生してもビットレートの変動幅を小さくすることができる。

（Ｂ）第２の実施形態
次に、本発明に係る画像符号化装置、方法及びプログラムの第２の実施形態を、図面を参照しながら詳細に説明する。

（Ｂ−１）第２の実施形態の構成
図７は、第２の実施形態に係る画像符号化装置の内部構成を示す構成図である。

図７において、第２の実施形態に係る画像符号化装置１００Ａは、注目ブロック判定部１、注目領域面積比率計算部２、レート制御部３Ａ、圧縮部４を有する。

また、レート制御部３Ａは、ＱＰ制御部３１、注目領域符号量計算部３２、非注目領域符号量計算部３３、総符号量推定部３４、モデル提供部４０を有する。

さらに、モデル提供部４０は、記録部４１、注目領域符号量抽出部４２、非注目領域符号量抽出部４３、注目領域面積比率抽出部４４、注目領域学習用符号量生成部４５、非注目領域学習用符号量生成部４６、注目領域ＱＰ抽出部４７、非注目領域ＱＰ抽出部４８、モデル学習部４９を有する。モデル学習部４９は、注目領域モデル学習部４９１、非注目領域モデル学習部４９２を有する。

なお、注目ブロック判定部１、注目領域面積比率計算部２、圧縮部４、ＱＰ制御部３１、注目領域符号量計算部３２、非注目領域符号量計算部３３、総符号量推定部３４は、第１の実施形態で説明したものを適用できる。

従って、第２の実施形態では、第１の実施形態とは異なる第２の実施形態に特徴的なモデル提供部４０の構成を中心に説明する。

モデル提供部４０は、圧縮部４から圧縮処理の結果として得られるＦＢ情報を蓄積し、その蓄積データから過去の注目領域符号量及び非注目領域符号量を抽出して、注目領域モデル及び非注目領域モデルを生成して出力する。

記録部４１は、圧縮部４からのＦＢ情報を蓄積するものである。記録部４１は、蓄積しているＦＢ情報を蓄積データとして出力する。

注目領域符号量抽出部４２は、記録部４１の蓄積データから過去の注目領域符号量を抽出し、過去の注目領域符号量を注目領域学習用符号量生成部４５に与える。

非注目領域符号量抽出部４３は、記録部４１の蓄積データから過去の非注目領域符号量を抽出し、過去の非注目領域符号量を非注目領域学習用符号量生成部４６に与える。

注目領域面積比率抽出部４４は、記録部４１の蓄積データから過去の注目領域面積比率を抽出し、過去の注目領域面積比率を、注目領域符号量抽出部４２及び非注目領域符号量抽出部４３に与える。

注目領域学習用符号量生成部４５は、過去の注目領域符号量と、過去の注目領域面積比率とに基づいて、過去の注目領域学習用符号量を導出する。また、注目領域学習用符号量生成部４５は、過去の注目領域学習用符号量を、モデル学習部４９の注目領域モデル学習部４９１に与える。

非注目領域学習用符号量生成部４６は、過去の非注目領域符号量と、過去の注目領域面積比率とに基づいて、過去の非注目領域学習用符号量を、モデル学習部４９の非注目領域モデル学習部４９２に与える。

注目領域ＱＰ抽出部４７は、記録部４１の蓄積データから過去の注目領域ＱＰを抽出し、過去の注目領域ＱＰを、モデル学習部４９の注目領域モデル学習部４９１に与える。

非注目領域ＱＰ抽出部４８は、記録部４１の蓄積データから過去の非注目領域ＱＰを抽出し、過去の注目領域ＱＰを、モデル学習部４９の非注目領域モデル学習部４９２に与える。

モデル学習部４９は、過去の注目領域学習用符号量及び過去の注目領域ＱＰに基づいて、過去の非注目領域学習用符号量と過去の非注目領域ＱＰとから注目領域モデルと非注目領域モデルを生成し出力するモデル学習部Ｅとから構成される。

モデル学習部４９は、過去の注目領域学習用符号量及び過去の注目領域ＱＰと、過去の非注目領域学習用符号量及び過去の非注目領域ＱＰとに基づいて、注目領域モデルと非注目領域とを学習して出力するものである。

ここで、この実施形態では、モデル学習部４９が、過去の注目領域ＱＰ及び過去の注目領域学習用符号量に基づいて、注目領域モデルを学習する注目領域モデル学習部４９１と、過去の非注目領域ＱＰ及び過去の非注目領域学習用符号量に基づいて、非注目領域モデルを学習する非注目領域モデル学習部４９２とを備える場合を例示する。

なお、モデル学習部４９は、過去の量子化パラメータと符号量とに基づいて、注目領域モデル及び非注目領域モデルを学習して生成するものであれば、種々の方法を適用できる。

例えば、モデル学習部４９は、過去の注目領域学習用符号量及び過去の注目領域ＱＰを１組のデータとして扱い、過去の非注目領域学習用符号量及び過去の非注目領域ＱＰをもう１組のデータとして扱い、これら２組のデータを同等の別データとして１つの共通モデルの学習に使用し、共通モデルを、注目領域モデルと非注目領域モデルとして出力して良い。

前記１つの共通モデルの学習を使用して注目領域及び非注目領域を生成する方法は、学習を支えるデータ数（ブロック数）が多いため、図７に例示する構成の場合よりも、十分な学習を行なえるという利点がある。これに対して、図７に例示する構成の場合、学習を支えるデータ数（ブロック数）は前者よりも少ないため、学習の安定性という点では前記共通モデルの学習を使用する場合より劣るが、学習が注目領域と非注目領域とにそれぞれ特化されるという利点がある。

例えば、顔領域を注目領域とする場合、顔領域の動画像の性質と非顔領域の動画像の性質が異なる可能性は十分高く、領域ごとに特化したモデルを生成ことにも一定の利点がある。

注目領域学習用符号量生成部４５は、例えば、過去の注目領域符号量から、過去の注目領域面積比率の値を割ることで、過去の注目領域学習用符号量を生成する。

非注目領域学習用符号量生成部４６は、例えば、過去の非注目領域符号量から、「１から過去の注目領域面積比率を減じた値」を割ることで、過去の非注目領域学習用符号量を生成する。

なお、第２の実施形態では、注目領域面積比率は、圧縮部４からのＦＢ情報を通して、記録部４１に入力されるようにしているが、注目領域面積比率計算部２から直接記録部４１に直接入力される構成をとっても良い。

（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態に係る画像符号化装置１００Ａにおける画像符号化処理の動作を、図面を参照しながら詳細に説明する。

画像符号化装置１００Ａは、基本的には、第１の実施形態の図４及び図６に示す処理と同様の処理を行なうため、以下では、レート制御部３Ａのモデル提供部４０による処理動作を詳細に説明する。

図８は、第２の実施形態に係るレート制御部３Ａのモデル提供部４０における処理の動作を示すフローチャートである。

ＳＴＥＰ２０１で、ＦＢ情報が、記録部４１に記録されて、記録部４１に記録されたデータは蓄積データとして出力される。

ＳＴＥＰ２０２で、注目領域符号量抽出部４２は、蓄積データから過去の注目領域符号量を取り出し出力する。

ＳＴＥＰ２０３で、非注目領域符号量抽出部４３は、蓄積データから過去の非注目領域符号量を取り出し出力する。

ＳＴＥＰ２０４で、注目領域面積比率抽出部４４は、蓄積データから過去の注目領域面積比率を取り出し出力する。

ＳＴＥＰ２０５で、注目領域学習用符号量生成部４５は、過去の注目領域符号量と過去の注目領域面積比率とに基づいて、過去の注目領域学習用符号量を計算し出力する。

ＳＴＥＰ２０６で、非注目領域学習用符号量生成部４６は、過去の非注目領域符号量と過去の注目領域面積比率とに基づいて、過去の非注目領域学習用符号量を計算し出力する。

ＳＴＥＰ２０７で、注目領域ＱＰ抽出部４７は、蓄積データから過去の注目領域ＱＰを取り出し出力する。

ＳＴＥＰ２０８で、非注目領域ＱＰ抽出部４８は、蓄積データから過去の非注目領域ＱＰを取り出し出力する。

ＳＴＥＰ２０９で、モデル学習部４９は、過去の注目領域学習用符号量と過去の注目領域ＱＰと、過去の非注目領域学習用符号量と過去の非注目領域ＱＰとから注目領域モデルと非注目領域モデルを学習および出力する。

例えば、図7に示すように、注目領域モデル学習部４９１は、過去の注目領域学習用符号量と過去の注目領域ＱＰとから注目領域モデルを学習および出力し、非注目領域モデル学習部４９２は、過去の非注目領域学習用符号量と過去の非注目領域ＱＰとから非注目領域モデルを学習および出力する。

（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、総符号量推定部のモデルに応じた加工をデータに対して施すようにしていることで、圧縮とともに随時学習をおこなったとしても効果的な学習が可能になっている。

これにより、映像の性質が時刻の経過とともに変化したとしても、レート制御の精度を維持することが可能である。

（Ｃ）他の実施形態
上述した第１及び第２の実施形態において、ＦＢ情報に含む符号量として、残差成分の伝送にかかる符号量を用いても本発明の効果は得られる。

上述した第１及び第２の実施形態において、注目領域を入力する構成で説明しているが、非注目領域を入力する構成でも本発明の効果は得られる。

１００及び１００Ａ…画像符号化装置、１…注目ブロック判定部、２…注目領域面積比率計算部、３及び３Ａ…レート制御部、４…圧縮部、
３１…ＱＰ制御部、３２…注目領域符号量計算部、３３…非注目領域符号量計算部、３４…総符号量推定部、３５及び４０…モデル提供部、
４１…記録部、４２…注目領域符号量抽出部、４３…非注目領域符号量抽出部、４４…注目領域面積比率抽出部、４５…注目領域学習用符号量生成部、４６…非注目領域学習用符号量生成部、４７…注目領域ＱＰ抽出部、４８…非注目領域ＱＰ抽出部、４９…モデル学習部、４９１…注目領域モデル学習部、４９２…非注目領域モデル学習部。

Claims (17)

1. 注目画素を含む注目ブロックか否かを判定する注目ブロック判定手段と、
   上記注目ブロック判定手段による判定結果に基づいて、注目領域面積比率を求める注目領域面積比率算出手段と、
   画像全体を注目領域として符号化した場合の符号量を表す注目領域モデルと、画像全体を非注目領域として符号化した場合の符号量を表す非注目領域モデルとを出力するモデル提供部と、
   圧縮データのビットレートと上記注目領域面積比率とに基づいて、上記注目領域面積比率と上記注目領域モデルとを乗じた値と、非注目領域面積比率と上記非注目領域モデルとを乗じた値とに基づいて画像全体の符号量を導出し、上記画像全体の符号量が、上記圧縮データの上記ビットレートを満たす、注目領域量子化パラメータと、非注目領域量子化パラメータとを決定するレート制御手段と、
   上記注目ブロックと上記注目領域量子化パラメータと上記非注目領域量子化パラメータとを用いて、所定の符号化方式により入力された画像を圧縮する圧縮手段と
   を備えることを特徴とする画像符号化装置。
2. 上記レート制御手段が、上記ビットレートと所定の制約条件と上記注目領域面積比率とに基づいて、上記注目領域の量子化パラメータと、上記非注目領域の量子化パラメータとを決定することを特徴とする請求項１に記載の画像符号化装置。
3. 上記レート制御手段は、上記ビットレートを満足させる画像全体の符号量をＲ、上記注目領域量子化パラメータをＱｒ、上記非注目領域量子化パラメータをＱｅ、画像全体を注目領域として符号化した場合の符号量を表す注目領域モデルをＭｒ（Ｑｒ）、画像全体を非注目領域として符号化した場合の符号量を表す非注目領域モデルをＭｅ（Ｑｅ）、上記注目領域面積比率をαとすると、式（Ａ）と上記所定の制約条件とを満たす、上記注目領域量子化パラメータと上記非注目領域量子化パラメータとを決定することを特徴とする請求項２に記載の画像符号装置。
   Ｒ＝α×Ｍｒ（Ｑｒ）＋（１−α）×Ｍｅ（Ｑｅ）…（Ａ）
4. 上記レート制御手段が、
   上記ビットレートと推定総符号量とを比較し、当該推定総符号量が上記ビットレートを満たすまで、上記所定の制約条件を満たす注目領域量子化パラメータ候補と非注目領域量子化パラメータ候補を生成し、上記推定総符号量が上記ビットレートを満たす上記注目領域量子化パラメータ候補と上記非注目領域量子化パラメータ候補とを検出すると、当該注目領域量子化パラメータ候補と当該非注目領域量子化パラメータ候補を、上記注目領域量子化パラメータと上記非注目領域量子化パラメータとする量子化パラメータ制御部
   を有することを特徴とする請求項３に記載の画像符号化装置。
5. 上記レート制御手段が、
   上記注目領域量子化パラメータ候補と上記注目領域モデルとに基づいて、注目領域推定符号量を計算する注目領域符号量計算部と、
   上記非注目領域量子化パラメータ候補と上記非注目領域モデルとに基づいて、非注目領域推定符号量を計算する非注目領域符号量計算部と、
   上記注目領域面積比率と上記注目領域推定符号量と上記非注目領域推定符号量とに基づいて、上記推定総符号量を計算する総符号量推定部と
   を有することを特徴とする請求項４に記載の画像符号化装置。
6. 上記注目領域符号量計算部は、上記注目領域モデルに上記注目領域量子化パラメータ候補を与えて上記注目領域推定符号量を生成し、
   上記非注目領域符号量計算部は、上記非注目領域モデルに上記非注目領域量子化パラメータ候補を与えて上記非注目領域推定符号量を生成する
   ことを特徴とする請求項５に記載の画像符号化装置。
7. 上記総符号量推定部は、上記注目領域推定符号量に上記注目領域面積比率を乗じ、上記非注目領域推定符号量に１から上記注目領域面積比率を減じた値を乗じることで、上記推定総符号量を生成することを特徴とする請求項５又は６に記載の画像符号化装置。
8. 上記モデル提供部が、上記圧縮手段による符号化処理に得られた所定のフィードバック情報に基づいて、上記注目領域モデルと上記非注目領域モデルとを生成することを特徴とする請求項１〜７のいずれかに記載の画像符号化装置。
9. 上記モデル提供部が、予め全画面を一様な量子化パラメータで符号化する期間を設け、符号化処理により得られたフィードバック情報に基づき上記注目領域モデルと上記非注目領域モデルを生成することを特徴とする請求項１〜８のいずれかに記載の画像符号化装置。
10. 上記モデル提供部が、上記注目領域モデルと上記非注目領域モデルを共通モデルにより生成することを特徴とする請求項１〜９のいずれかに記載の画像符号化装置。
11. 上記モデル提供部が、
    上記圧縮手段による符号化処理に得られた所定のフィードバック情報を蓄積する記録部と、
    上記記録部に蓄積される情報から過去の注目領域符号量を抽出する注目領域符号量抽出部と、
    上記記録部に蓄積される情報から過去の非注目領域符号量を抽出する非注目領域符号量抽出部と、
    上記記録部に蓄積される情報から過去の注目領域面積比率を抽出する注目領域面積比率抽出部と、
    上記過去の注目領域符号量と上記過去の注目領域面積比率とに基づいて、過去の注目領域学習用符号量を計算する注目領域学習用符号量生成部と、
    上記過去の非注目領域符号量と上記過去の注目領域面積比率とに基づいて、過去の非注目領域学習用符号量を計算する非注目領域学習用符号量生成部と、
    上記記録部に蓄積される情報からから過去の注目領域量子化パラメータを抽出する注目領域量子化パラメータ拙出部と、
    上記記録部に蓄積される情報から過去の非注目領域量子化パラメータを抽出する非注目領域量子化パラメータ抽出部と、
    上記過去の注目領域学習用符号量と、上記過去の注目領域量子化パラメータと、上記過去の非注目領域学習用符号量と、上記過去の非注目領域量子化パラメータとに基づいて、上記注目領域モデルと上記非注目領域モデルを生成するモデル学習部と
    を有することを特徴とする請求項１〜１０のいずれかに記載の画像符号化装置。
12. 上記モデル学習部は、上記過去の注目領域学習用符号量と上記過去の注目領域量子化パラメータを１組の第１のデータとして扱い、上記過去の非注目領域学習用符号量と上記過去の非注目領域量子化パラメータを１組の第２のデータとして扱い、２組の上記第１のデータ及び上記第２のデータを同等の別データとして共通モデルの学習に使用し、当該共通モデルを、上記注目領域モデルと上記非注目領域モデルとして出力することを特徴とする請求項１１に記載の画像符号化装置。
13. 上記モデル学習部は、
    上記過去の注目領域学習用符号量と上記過去の注目領域とに基づいて、上記注目領域モデルを学習する注目領域モデル学習部と、
    上記過去の非注目領域学習用符号量と上記過去の非注目領域とに基づいて、上記非注目領域モデルを学習する非注目領域モデル学習部と
    を有することを特徴とする請求項１１に記載の画像符号化装置。
14. 上記注目領域学習用符号量生成部は、上記過去の注目領域符号量から、上記過去の注目領域面積比率を割ることで、上記過去の注目領域学習用符号量を生成し、
    上記非注目領域学習用符号量生成部は、上記過去の非注目領域符号量から、１から上記過去の注目領域面積比率を減じた値を割ることで、上記過去の非注目領域学習用符号量を生成することを特徴とする請求項１１〜１３のいずれかに記載の画像符号化装置。
15. 上記注目領域面積比率算出手段が、画像全体のなかで注目ブロックが占める割合を求めることで、上記注目領域面積比率を求めることを特徴とする請求項１〜１４のいずれかに記載の画像符号化装置。
16. 注目ブロック判定手段が、注目画素を含む注目ブロックか否かを判定し、
    注目領域面積比率算出手段が、上記注目ブロック判定手段による判定結果に基づいて、注目領域面積比率を求め、
    モデル提供部が、画像全体を注目領域として符号化した場合の符号量を表す注目領域モデルと、画像全体を非注目領域として符号化した場合の符号量を表す非注目領域モデルとを出力し、
    レート制御手段が、圧縮データのビットレートと上記注目領域面積比率とに基づいて、上記注目領域面積比率と上記注目領域モデルとを乗じた値と、非注目領域面積比率と上記非注目領域モデルとを乗じた値とに基づいて画像全体の符号量を導出し、上記画像全体の符号量が、上記圧縮データの上記ビットレートを満たす、注目領域量子化パラメータと、非注目領域量子化パラメータとを決定し、
    圧縮手段が、上記注目ブロックと上記注目領域量子化パラメータと上記非注目領域量子化パラメータとを用いて、所定の符号化方式により入力された画像を圧縮する
    ことを特徴とする画像符号化方法。
17. コンピュータを、
    注目画素を含む注目ブロックか否かを判定する注目ブロック判定手段と、
    上記注目ブロック判定手段による判定結果に基づいて、注目領域面積比率を求める注目領域面積比率算出手段と、
    画像全体を注目領域として符号化した場合の符号量を表す注目領域モデルと、画像全体を非注目領域として符号化した場合の符号量を表す非注目領域モデルとを出力するモデル提供部と、
    圧縮データのビットレートと上記注目領域面積比率とに基づいて、上記注目領域面積比率と上記注目領域モデルとを乗じた値と、非注目領域面積比率と上記非注目領域モデルとを乗じた値とに基づいて画像全体の符号量を導出し、上記画像全体の符号量が、上記圧縮データの上記ビットレートを満たす、注目領域量子化パラメータと、非注目領域量子化パラメータとを決定するレート制御手段と、
    上記注目ブロックと上記注目領域量子化パラメータと上記非注目領域量子化パラメータとを用いて、所定の符号化方式により入力された画像を圧縮する圧縮手段と
    して機能させることを特徴とする画像符号化プログラム。

Images