本発明は、動画像のデータを圧縮する、ビデオカメラ等の動画像圧縮装置に関する。より具体的には、本発明は、動画像のデータを圧縮する際に、デブロックフィルタを利用する動画像圧縮装置に関する。
近年、動画像圧縮方式として、MPEG2(ITU−T H.262)など、フレーム間相関を用いた高効率の動画像圧縮方式の発達が著しい。これらの動画像圧縮方式は、ビデオカメラの分野においても用いられるようになってきている。
ビデオカメラに用いられる動画像圧縮技術では、動画像の圧縮状態を適切に制御するため、カメラの動作状態情報を圧縮する際に利用する。たとえば特許文献1は、そのような技術を開示している。特許文献1の他にも、その関連技術は数多く検討、提案されている。それらの多くは、画質改善のため、あるいは符号量削減のためにフィルタを制御するという構成の共通点をもっている。その基本的な構成を従来例として以下に説明する。
図9は、従来例の動画像圧縮装置の構成を示す。光学系を含むカメラ部101から出力された動画像データは前処理フィルタ102を経由して動画圧縮部103に送られて、圧縮された動画ストリームが出力される。また、カメラ部101から別途出力されるカメラ制御情報はフィルタ制御部104に送られる。フィルタ制御部104は、フィルタ処理指令を前処理フィルタ102に供給する。
以下、図9に示す従来例による動画像圧縮装置の動作を説明する。
カメラ部101は、光学系を介して撮像された動画像の信号をディジタル信号処理し、ディジタル映像データである動画像データとして出力する。またこのときカメラ部101はフォーカス制御やズーム制御、絞りやシャッター速度のEV制御、手ぶれ補正制御など多くの光学系制御とディジタル信号処理制御を実行し、その制御状態をカメラ制御情報として出力する。
前処理フィルタ102が動画像データを帯域制限した後、動画圧縮部103はMPEG2規格に基づいて動画像データを圧縮処理し、動画ストリームとして出力する。一方、フィルタ制御部104は、カメラ制御情報を用いて、現在の動画像の特性がMPEG2方式の圧縮処理には厳しく、圧縮歪みが比較的多く発生するか否かを判断する。圧縮歪みが多く発生すると判断した場合には、フィルタ制御部104は、フィルタの帯域をより制限するようにフィルタ処理指令を発行する。前処理フィルタ102はフィルタ制御指令を受けるとフィルタ処理する動画像データの高域成分をより減衰させるようにフィルタ処理を実行する。その結果、その動画像データの情報量は削減されるため圧縮歪みの増加を防止することができる。
特表平11−509701号公報
しかしながら、上述した従来の動画像圧縮装置によれば、カメラ情報を利用して圧縮歪みの増加を防止できる効果を有するものの、再生映像は解像度やディテールを失ってしまい画質が大きく劣化してしまうという課題があった。それは、前処理フィルタ102にて画面全体を帯域制限して被圧縮画像の映像データとしての情報量を削減したためである。しかも、前処理フィルタ102は被圧縮画像全体(画面全体)を一律にフィルタ処理している。これも、画質が大きく劣化する要因であった。
近年広がりを見せているMPEG−4 AVC/H.264規格では、ブロック歪みを除去するデブロックフィルタが圧縮機構に組み込まれた。この規格は、圧縮処理中の参照画像のブロック歪みも緩和するというMPEG2とは異なる新たな特徴を有している。しかしながら、規格上はデブロックフィルタを設けることが定められたのみであり、どのように適用するか(どのように制御するか)については規定されていない。現時点では、効果的な制御方法はまだ提案されていない。
本発明は上記の問題点に鑑みてなされたものであり、その目的は、MPEG−4 AVC/H.264規格に示されたようなデブロックフィルタを効果的に制御し、圧縮歪みの増大を防止しながら、解像度やディテールを保存して高画質の動画像の圧縮を実現することにある。
本発明による動画像圧縮装置は、光学系と、前記光学系を介して被写体の動画像を撮影し、動画像データを出力する撮像部と、撮像時の前記光学系および前記撮像部の少なくとも一方の動作を制御するための制御情報を出力するカメラ制御部と、前記動画像を構成する被圧縮画像と参照画像との相関性を利用して前記動画像データを圧縮する動画圧縮部であって、設定されたデブロックフィルタ強度条件にしたがって前記参照画像のブロック歪みを緩和するデブロックフィルタを有する動画圧縮部と、前記制御情報に基づいて、前記デブロックフィルタ強度条件を設定するデブロックフィルタ制御部と、前記デブロックフィルタ強度条件を圧縮後の出力データに埋め込むストリーム生成部とを備えている。
前記カメラ制御部は、前記制御情報として、ズーム倍率を制御するためのズーム動作制御情報を出力してもよい。
前記カメラ制御部は、電子ズームおよび光学ズームの少なくとも一方に関するズーム倍率を制御するためのズーム動作制御情報を出力してもよい。
前記カメラ制御部は、前記制御情報として、露出を制御するための露出情報を出力してもよい。
前記カメラ制御部は、複数種類の制御情報を出力し、前記デブロックフィルタ制御部は、前記複数種類の制御情報の各々に対応する前記デブロックフィルタ強度条件を求め、求めた複数種類のデブロックフィルタ強度条件のうちデブロックフィルタ効果を最も強く与えるデブロックフィルタ強度条件を設定してもよい。
前記デブロックフィルタ制御部は、前記制御情報の変化速度に応じて、前記デブロックフィルタ強度条件を求めてもよい。
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、前記デブロックフィルタ制御部は、前記変化速度が増加しているときは、前記変化速度に略比例したデブロックフィルタ強度条件を求めてもよい。
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、前記デブロックフィルタ制御部は、前記変化速度が減少しているときは、前記変化速度が減少を開始する前に求めた前記デブロックフィルタ強度条件を設定し、その後、前記デブロックフィルタ強度条件を緩和させてもよい。
前記デブロックフィルタ制御部は、前記デブロックフィルタ強度条件を段階的に緩和させてもよい。
前記カメラ制御部は、前記制御情報として、前記撮像部において撮影された前記動画像の信号振幅を増幅させるためのゲイン情報を出力してもよい。
前記被圧縮画像がイントラスライスの場合には、前記デブロックフィルタ制御部は、前記ゲイン情報のみに基づいて前記デブロックフィルタ強度条件を設定してもよい。
前記動画像圧縮装置は、前記被圧縮画像の特徴に基づいて、前記動画像データの圧縮に関する難易度を検出する難易度検出部をさらに備え、前記デブロックフィルタ制御部は、前記難易度に基づいて決定される基本値と、前記制御情報から求めたデブロックフィルタ強度条件とに基づいて、前記デブロックフィルタ強度条件を設定してもよい。
前記難易度検出部は、前記被圧縮画像の各画素値の分散の総和に応じて前記基本値を求め、前記制御情報から求めたデブロックフィルタ強度条件と加算して、前記デブロックフィルタ強度条件を設定してもよい。
本発明の動画像圧縮装置は、ブロック歪みの発生が予見される映像に対してデブロックフィルタの強度条件を適切に設定することからブロック歪みの発生を防止し、また過剰にデブロックフィルタ強度条件を上げることを防止できるため、再生映像の解像度やディテールを損なうこともなく、高画質の動画像圧縮を実現することができる。
本発明の実施形態による動画像圧縮装置100の構成を示す図である。
復号処理部12から出力された復号画像の、あるブロック境界を含む水平8画素の配置を示す図である。
パラメータindexAとパラメータαの関係を示すグラフである。
パラメータindexBとパラメータβの関係を示すグラフである。
ワイド端からテレ端へのズーム動作中のズーム倍率の時間変化を示すグラフである。
ズーム倍率変化速度とズーム動作によるフィルタ強度オフセットの関係を示すグラフである。
EV情報の時間変化の一例を示すグラフである。
EV情報変化速度(絶対値)および露出情報によるフィルタ強度オフセットの関係を示すグラフである。
デブロックフィルタ強度要件の決定則を示すフローチャートである。
従来例の動画像圧縮装置の構成を示す図である。
符号の説明
1 光学系
2 絞り
3 レンズ
4 撮像素子
5 撮像部
6 アンプ
7 信号処理部
8 カメラ制御部
9 動画圧縮部
10 動き補償処理部
11 圧縮符号化処理部
12 復号処理部
13 デブロックフィルタ
14、15 参照画像メモリ
16 ストリーム生成部
17 難易度検出部
18 デブロックフィルタ制御部
100 動画像圧縮装置
以下、添付の図面を参照しながら、本発明による動画像圧縮装置の実施形態を説明する。
図1は、本実施形態による動画像圧縮装置100の構成を示す。
動画像圧縮装置100は、光学系1と、撮像部5と、カメラ制御部8と、動画圧縮部9と、ストリーム生成部16と、難易度検出部17と、デブロックフィルタ制御部18とを備えている。以下、各構成要素を詳細に説明し、その後、動画像圧縮装置100において行われる処理を説明する。
光学系1は、絞り2とズーム可能なレンズ群3とを含む。光学系1は、被写体からの光を、絞り2およびレンズ群3により、次に説明する撮像部5の撮像素子4上に結像するように構成されている。
撮像部5は、撮像素子4と、増幅器(アンプ)6と、信号処理部7とを含む。撮像部5は、入射した光を受けて被写体を撮影し、その被写体の動画像データを出力する。撮像素子4のアナログ出力がアンプ6によって増幅されて信号処理部7に供給される。信号処理部7は、受け取ったアナログ信号に基づいて動画像データを生成して出力する。動画像データは、動画圧縮部9および難易度検出部17に入力される。
カメラ制御部8は、複数種類のカメラ制御情報を生成して、各制御対象に指示する。「複数種類のカメラ制御情報」は、例えば、絞り2を制御対象とする開口率設定値、レンズ群3を制御対象とする光学ズーム設定値、撮像素子4を制御対象とするシャッター速度設定値、アンプ6を制御対象とするAGC(Auto Gain Control)設定値、信号処理部7を制御対象とする電子ズーム設定値である。
カメラ制御部8から開口率設定値が絞り2に、光学ズーム設定値がレンズ群3に、シャッター速度設定値が撮像素子4に、AGC設定値がアンプ6に、電子ズーム設定値が信号処理部7にそれぞれ供給されている。さらに、これらカメラ制御情報は、後述するデブロックフィルタ制御部18にも供給される。デブロックフィルタ制御部18の動作の詳細は後述する。
動画圧縮部9は、外部から動画像データを受け取り、圧縮符号化して出力する。動画圧縮部9は、動き補償処理部10と、圧縮符号化処理部11と、復号処理部12と、デブロックフィルタ13と、参照画像メモリ14および15とを備えている。
動き補償処理部10は、動画像データおよび、参照画像メモリ14および15から参照画像データを受け取り、その差分である残差データを出力する。
圧縮符号化処理部11は、動画像データおよび残差データに基づいて、圧縮符号化されたデータ(圧縮データ)を出力する。この圧縮データは、例えば、動画像を構成する1枚のピクチャーのデータを圧縮符号化して得られる。
復号処理部12は、圧縮データを受け取り、いったん復号化して出力する。
デブロックフィルタ13には、デブロックフィルタ強度条件および復号された画像データが入力される。デブロックフィルタ13は、デブロックフィルタ強度条件に従って、復号された画像データのブロック歪み除去処理を行う。
参照画像メモリ14および15は、参照画像の画像データを一時的に格納する。
次に、ストリーム生成部16は、各ピクチャーの圧縮データを受け取り、複数のピクチャーの圧縮データを含んだ圧縮ストリームを生成して出力する。
難易度検出部17は、動画像データを受け取り、デブロックフィルタ強度条件基本値を出力する。
デブロックフィルタ制御部18は、デブロックフィルタ強度条件基本値、カメラ制御情報を受け取り、デブロックフィルタ強度条件を出力する。デブロックフィルタ強度条件は、デブロックフィルタ13およびストリーム生成部16に入力される。
以下、本実施形態による動画像圧縮装置100の動作を説明する。まず、撮像から圧縮ストリーム生成までの基本動作を説明し、次にデブロックフィルタの処理を説明し、最後に本発明の主要な特徴のひとつである、カメラ制御情報を用いたデブロックフィルタ制御部18の動作を説明する。
まず、動画像圧縮装置100の基本動作は以下のとおりである。
撮像素子4は、光学系1により撮像素子4に結像された映像を撮影する。アンプ6が撮像素子4からのアナログ出力を増幅したのち、信号処理部7がその信号に対してAD変換とディジタル処理を施し、ディジタルデータである動画像データとして出力する。
このときカメラ制御部8は、光学ズーム設定信号を用いてレンズ群3の光学ズーム状態の制御と、電子ズーム設定信号を用いて信号処理部7の電子ズーム倍率の制御とからなるズーム制御を実行する。また、カメラ制御部8は開口率設定信号を用いて絞り2を設定し、シャッター速度設定信号を用いて撮像素子4のシャッター速度を設定して総合的に撮像素子4の露光量を調節する露光指数(exposure value;EV)制御も実行している。カメラ制御部8は、EV制御で開口率を充分に大きくかつシャッター速度を充分遅くしても露出が不足して撮像素子4のアナログ出力の振幅が小さいと判断した場合には、AGC設定信号を用いてアンプ6の利得(ゲイン)を上げて動画像信号の振幅を補うAGC制御も担っている。カメラ制御部8により常に適切な状態に制御された光学系1と撮像部5から得られた動画像データは動画圧縮部9に供給され、動画圧縮部9が圧縮符号化の処理を実行する。
動画圧縮部9は入力画像と参照画像との相関性を利用可能な動画像圧縮を行う動画圧機構を持っており、ここではMPEG−4 AVC/H.264規格に従って動作しているものとする。
なお、この本実施形態では説明の簡単化のため動画圧縮処理が動画像を構成する画像(ピクチャー)単位で行われるとする。そして、データの圧縮の対象とされる画像(被圧縮画像)をIピクチャー、Pピクチャー、Bピクチャー、参照Bピクチャーとして扱うものとし、参照画像は最大2枚とする。Iピクチャー、Pピクチャー、Bピクチャーは、それぞれ以下のように定義される。
Iピクチャー:1枚のピクチャーのデータのみを用いて圧縮符号化されたピクチャー。Iピクチャーは、そのデータのみで1枚のピクチャーを復号化可能である。すなわち、被圧縮画像の全ての構成ブロックの圧縮は、被圧縮画像の範囲内で完結しており、イントラスライスとも呼ばれる。
Pピクチャー:過去のピクチャーから一方向のピクチャー間予測が行われて、差分値が符号化されたピクチャー。Pピクチャーは、時間的に前に表示されるIピクチャーまたは他のPピクチャーのいずれか1つのピクチャーを参照して圧縮符号化されている。したがって、Pピクチャーは参照ピクチャーであるIピクチャーまたは他のPピクチャーを参照して復号化が可能である。
Bピクチャー:過去および未来のピクチャーから二方向のピクチャー間予測が行われて、差分値が符号化されたピクチャー。Bピクチャーは、時間的に前に表示されるピクチャーおよび時間的に後に表示されるピクチャーの少なくとも2つのピクチャーを参照して圧縮符号化される。参照されるピクチャーは、Iピクチャー、Pピクチャーまたは過去のBピクチャーである。特にBピクチャーからの参照を許されるBピクチャーを参照Bピクチャーと呼ぶ。
また、動画圧縮部9は、被圧縮画像を処理順に並べ替えるリオーダリング処理も行っている。しかし、これは本件発明の本質的に無関係であるから図1の構成からは省略した。動画圧縮部9には圧縮処理順に動画像データが入力されているものと仮定して説明する。
まず、Iピクチャーとなるべき動画像データが動画圧縮部9に入力されたとき、動き補償処理部10は休止して圧縮符号化処理部11のみが被圧縮映像としてその動画像データを受け取る。
圧縮符号化処理部11は動画像データに対してMPEG−4 AVC/H.264規格に従って直交変換、量子化、高効率符号化などの処理を実行して、圧縮データを出力する。圧縮データは復号処理部12が復号し、復号画像データとしてデブロックフィルタ13に供給する。デブロックフィルタ13はデブロックフィルタ制御部18から与えられたデブロックフィルタ強度条件に従って復号画像データのブロック歪み除去処理を行い、その結果得られる参照画像データを参照画像メモリ14または参照画像メモリ15に記憶させる。
ストリーム生成部16は圧縮データを入力としてヘッダ付与やデブロックフィルタ強度条件をはじめとする各種付加情報を埋め込み、規格に従った圧縮ストリームを出力する。たとえば一例としてMPEG−4 AVC/H.264規格を挙げると、ストリームはNALユニット単位に構成され、各種付加情報はその内容に応じてピクチャーパラメータセットや各種SEIと呼ばれるNALユニットに格納され、あるいは各スライスの圧縮データの先頭部分に付与するスライスヘッダ内に直接埋め込まれる。デブロックフィルタ強度条件はスライス単位にスライスヘッダの内部に埋め込まれる。
Pピクチャー、Bピクチャーあるいは参照Bピクチャーとなるべき動画像のデータが動画圧縮部9に入力されたとき、動き補償処理部10は入力された被圧縮画像データと参照画像メモリ14および参照画像メモリ15が記憶する参照画像データを用いて動きベクトル探索を実行し、予測画像を生成して被圧縮画像との差分を求め、その残差データを圧縮符号化処理部11に伝送する。残差データに対する圧縮符号化処理部11、ストリーム生成部16、復号処理部12、デブロックフィルタ13の動作は上述したIピクチャーの場合と同様であるが、Bピクチャーの場合のみ参照画像とはならないため、復号処理部12とデブロックフィルタ13が動作を休止している。
以上のようにして撮像から圧縮ストリーム生成までの基本動作が実行される。
次にデブロックフィルタ13の処理を説明する。
デブロックフィルタ13は圧縮符号化処理部11の圧縮処理により発生したブロック歪みを除去する為に導入されたフィルタである。その処理内容はMPEG−4 AVC/H.264規格に詳細に場合分けして定義されており、本実施形態のデブロックフィルタ13もその定義に従って動作する。
ここで、ブロック歪みを除去するための具体的な処理を説明する。
図2は、復号処理部12から出力された復号画像の、あるブロック境界を含む水平8画素の配置を示す。画素p3〜p0がブロックPに属し、画素q0〜q3がブロックQに属し、画素p0と画素q0の境界がブロック境界である。ブロック歪みはこのブロック境界の段差として現れる。ここでいう「段差」とは、画素値(たとえば輝度の値、色の値)の差を意味する。特に人間の視覚によって感知し得る程度の差が存在すれば、人間は「ブロック歪み」の存在を感じることになる。
デブロックフィルタ13は最大この8画素の範囲内を処理する。デブロックフィルタ13はブロック境界ごとにデブロック処理の内容を決定するため、まずパラメータαとパラメータβを求める。
後に数3に関連して詳述するように、パラメータαおよびβは、ブロック境界に対してデブロック処理を適用するか否かを決定する基準として利用される。また、数4〜数6に関連して詳述するように、パラメータαおよびβは、デブロック処理の具体的な内容を決定する基準としても利用される。
本願発明者らは、デブロック処理に関連する重要なパラメータαおよびβを決定する条件の一つとして「デブロックフィルタ強度条件」を採用し、この「デブロックフィルタ強度条件」を、たとえばカメラの制御情報を利用して決定することとした。以下、具体的に説明する。
いまブロックPの量子化指標qPと、ブロックQの量子化指標qPの平均値をqPavとし、デブロックフィルタ強度条件をパラメータFilterOffsetAと表記したとき、(数1)に示すようにパラメータindexAを求める。
(数1)
indexA = qPav + FilterOffsetA
図3AはパラメータindexAとパラメータαの関係を示すグラフである。デブロックフィルタ13は、図3Aのグラフに従ってパラメータindexAからパラメータαを求める。
パラメータβについても同様である。デブロックフィルタ13は、パラメータβについても同様にqPavとデブロックフィルタ強度条件FilterOffsetBから(数2)に従ってパラメータindexBを求める。
(数2)
indexB = qPav + FilterOffsetB
図3BはパラメータindexBとパラメータβの関係を示すグラフである。デブロックフィルタ13は、図3Bのグラフに従ってパラメータindexBからパラメータβを求める。
そしてデブロックフィルタ13は、求めたパラメータαおよびβを下記(数3)に適用し、(数3)が成立するか否かを判断する。
(数3)
|p0−q0|<α かつ |p1−p0|<β かつ |q1−q0|<β
上述の(数1)および(数2)における、パラメータFilterOffsetAおよびFilterOffsetBは、たとえば−6から+6までの13個の整数のうちのいずれかとして、それぞれ与えられる。なお、両パラメータは、同じ数値であるとして説明している。
(数1)によれば、このパラメータFilterOffsetAの大きさ如何によりパラメータindexAの大きさが変化することが理解される。そして図3Aから明らかなように、パラメータindexAの大きさに応じてパラメータαの大きさも変化する。
求めたパラメータαとパラメータβ及び図2の各画素の値が、もし(数3)の条件式を満足しない場合デブロックフィルタ13は図2の8画素に対するデブロック処理を実施しない。一方、(数3)を満足する場合にはデブロックフィルタ13はデブロック処理を実施する。
デブロック処理が実施される場合、デブロック処理の具体的内容は更に詳細に場合分けされた条件判断に進み、やはりパラメータα、パラメータβ、図2の各画素の値を判断材料として、使用するフィルタの係数や処理する画素の範囲を決定することとなる。
ここで、詳細に場合分けされた条件判断の一例を説明する。
以下では、ある条件において、画素p0、p1、p2の画素値(便宜的に画素値をp0、p1、p2として説明する。)がデブロックフィルタ処理によってp’0、p’1、p’2に更新されるとして説明する。
まず、パラメータαおよびβを用いて(数4)による条件判定を行う。
(数4)
|p2−p0| < β かつ |p0−q0| < ((α/4)+2)
(数4)の条件を満たした場合、画素値p’0、p’1、p’2は、画素値p0、p1、p2、p3、q0、q1に基づく(数5)によるフィルタ処理によって算出される。
(数5)
p’0 = (p2+2×p1+2×p0+2×q0+q1+4) / 8
p’1 = (p2+p1+p0+q0+2) / 4
p’2 = (2×p3+3×p2+p1+p0+q0+4) / 8
一方、(数4)の条件を満たさなかった場合、画素値p’0、p’1、p’2は、画素値p0、p1、p2、q1に基づく(数6)によるフィルタ処理によって算出される。
(数6)
p’0 = (2×p1+p0+q1+2) / 4
p’1 = p1
p’2 = p2
(数5)と(数6)とを比較してみると、(数5)の方が算出対象とする画素以外の画素の値を多く用いて計算しており、より周辺画素の影響を強く受けるフィルタ処理となっている。また(数6)はp’0以外は元の画素の値がそのまま使用され更新されていないが、(数5)はp’0だけでなくp’1、p’2も値の更新が行われる処理となっている。
つまり、αおよびβの値が大きいとより多くのブロック境界で(数4)を満たすこととなり、その結果、(数5)によってより強度の強い広範囲のわたるフィルタ処理が適用されることとなる。
(数3)ではパラメータαおよびパラメータβの値が大きいほど、容易にデブロックフィルタの処理がかかることを示している。そして、更に詳細に場合分けされた条件判断においても(数4)から明らかなとおり、パラメータα、βの値が大きいほど、より広範囲により強度の強いフィルタが採用されるように定義されている。
いま、(数1)において、デブロックフィルタ強度条件FilterOffsetAがゼロに固定されていると仮定する。このとき、図3Aの横軸は平均qPを示すことになる。図3Aは平均qPが大きいほどパラメータαの値が大きくなることを示している。量子化パラメータqPが大きい場合は一般にブロック歪みが大きく発生するが、このとき同時にパラメータα(およびパラメータβ)の値も自動的に大きくなり、より強度の強いデブロックフィルタ処理が採用されることとなる。量子化パラメータqPが大きく、ブロック歪みが大きく発生する場合、MPEG−4 AVC/H.264規格に従うデブロックフィルタ13は、自動的にデブロック処理をきつく掛けブロック歪みを除去するという基本特性をもっている。
(数1)および(数2)によれば、デブロックフィルタ13の外部からデブロックフィルタ13に対して与えられるデブロックフィルタ強度条件FilterOffsetA、FilterOffsetBはデブロック処理の強度調節をオフセットすることが可能である。
再び図1を参照する。難易度検出部17は動画像データを入力して動画圧縮部9が処理しようとする被圧縮画像の特徴を抽出し、その特徴から動画圧縮部9の圧縮処理の困難の程度を判断する。そして難易度検出部17は、発生するブロック歪みの量を推定してデブロックフィルタ強度条件基本値をデブロックフィルタ制御部18に与える。これにより、たとえば、カメラ制御動作に依存して発生するブロック歪みと相乗的に発生する映像固有の特徴によるブロック歪みに対してデブロックフィルタ強度条件をよりきつく設定することが可能になる。
圧縮動作の困難の程度の判断方法として、本実施形態では被圧縮画像の各画素値をもとに分散の総和を求め、その値に応じて−6から0の値をデブロックフィルタ強度条件基本値として採用する。
なお、圧縮動作の困難の程度の判断方法としては数々の方法が提案実用化されているが、本実施形態においては、そのいずれの方法を用いてもよい。具体的方法は、本実施形態の説明とは特に大きな関連はないため、その説明は省略する。また難易度検出部17はデブロックフィルタ強度条件基本値として常に固定値を出力してもよい。
次に、デブロックフィルタ制御部18が、カメラ制御情報をどのように利用してデブロックフィルタ強度条件を決定するかを説明する。
デブロックフィルタ制御部18はカメラ制御部8から伝送されたカメラ制御情報と、デブロックフィルタ強度条件基本値とを用いてデブロックフィルタ強度条件を決定する。カメラ制御情報として、本実施形態では、ズーム情報、EV情報およびAGC情報の少なくとも1つを利用する例を説明する。いずれの情報も、数値として表現されているとする。各情報を用いた処理を以下順に説明する。
まずズーム情報を用いた処理を説明する。
カメラ制御情報に含まれるズーム情報には毎フレームのズーム倍率が示されている。図4はワイド端からテレ端へのズーム動作中のズーム倍率の時間変化を示すグラフである。図4は、カメラ制御部8が光学ズームから電子ズームへと制御を継続させ最終的に20倍ズームで停止した状態を示している。デブロックフィルタ制御部18はズーム倍率の変化速度VZOOMを求め、VZOOMの値をもとにデブロックフィルタ強度条件に寄与させる程度としてフィルタ強度オフセットOffsetZOOMを決定する。なお、ズーム倍率の変化速度VZOOMは、倍率変化量/時間変化量によって定義される。
図5はズーム倍率変化速度とズーム動作によるフィルタ強度オフセットの関係を示すグラフである。デブロックフィルタ制御部18は、VZOOMの立ち上がり期間中、つまり加速中はVZOOMにほぼ比例するようにOffsetZOOMの値を決定する。なおOffsetZOOMのグラフが階段状であるのは0から4の整数値としているからである。
一方、デブロックフィルタ制御部18は、VZOOMの立ち下がり期間中、つまり減速に転じるとその前のOffsetZOOMの値を一定期間保持し、その後、徐々に、たとえば段階的に減少するようにOffsetZOOMの値を決定する。
ズーム動作中は一般に映像の情報量は減少するものの、動き補償で適正な予測を実現することが難しく、結果として量子化パラメータqPはやや高くなる。そのため、上述したようにデブロックフィルタ13を自動的に少しきつく適用し、ブロック歪みを除去するように作用させる。
しかしながら、ズーム中は映像が見かけ上放射方向へ移動するのに対して、ブロック歪みは被写体の動きとは無関係に画面上の同じ位置に発生している。したがって、ブロック歪みが視覚的に非常に目立ちやすく、デブロックフィルタ13の自動的な強度調節だけではフィルタ強度が不足する。ブロック歪みが視覚的に非常に目立ちやすい理由をより詳しく説明する。ブロック歪みを発生するのはブロックの境界である。画面全体の中でブロックの位置は固定されているため、ブロック境界も画面の中で常に同じ位置に存在する。映像(被写体)がどのように動いても1画面内のブロック境界位置は変化しない。したがって、ズーム中は映像が見かけ上放射方向へ移動するにもかかわらず、ブロック歪みは被写体とともに動くことはないため、ブロック歪みが視覚的に非常に目立ちやすくなる。
本実施形態においては、デブロックフィルタ制御部18がOffsetZOOMの値を決定することによって、不足するデブロックフィルタ強度を適切に補うことが可能になる。またズーム動作完了直後は映像の状態が急激に変化するため大きなブロック歪みを発生する場合が多い。特にズーム速度が速い場合に顕著に発生する。
本実施形態では、ズーム動作完了直後にもデブロックフィルタ制御部18がズーム速度に応じたOffsetZOOMの値を保持する。したがって、ブロック歪みを適切に除去することができる。なお、デブロックフィルタ強度を急激に変化させた場合、オートフォーカス機構が振動を起こしたような不安定な映像に見えることがある。しかし、そのような場合であっても、デブロックフィルタ制御部18がOffsetZOOMの値を徐々に減少させることにより、不安定な映像に見える弊害も防止できている。
なお、図4および図5ではワイド端からテレ端へのズーム動作を説明したが、テレ端からワイド端へのズーム動作についてもズーム倍率変化速度が絶対値であるから全く同じ処理である。よって、その説明は省略する。
なお、本実施形態ではデブロックフィルタ制御部18がズーム倍率からズーム倍率変化速度を求める処理とした。しかしながら、カメラ制御部8がズーム情報としてズーム期間を示すフラグを出力し、デブロックフィルタ制御部18がそのフラグで示された期間中は一律かつ一定のOffsetZOOMの値を採用してもよい。これは、ズーム速度が遅い場合には充分な効果を発揮することができる。また図4,図5に示したズーム倍率及びズーム倍率変化速度は光学ズームと電子ズームを総合したズーム倍率に対して処理するとして説明した。しかしながら、光学ズーム倍率のみを使用する構成として電子ズーム中は光学ズーム動作中のOffsetZOOMの値を保持するとしてもよい。電子ズーム中には、光学ズーム中よりもブロック歪みの発生が大きくなるということはないので、電子ズーム中の処理を簡易化しても効果が得られる。
次に、EV情報を用いた処理を説明する。
本実施形態のカメラ制御情報に含まれるEV情報とは、絞り2(図1)のF値とシャッター速度とから求められるEV値におよそ比例する、0から254の整数で表現された数値情報である。EV情報は、フレームごとにカメラ制御部8から伝送されるとする。
図6は、EV情報の時間変化の一例を示すグラフである。図6は、被写体の照度が上がるなどして露出過剰になったときに絞り2を絞ることにより、EV情報の数値が増加したことを示している。
デブロックフィルタ制御部18はEV情報の変化速度VEVを求め、VEVの値に基づいてデブロックフィルタ強度条件に寄与させるべき程度としてフィルタ強度オフセットOffsetEVを決定する。
図7は、EV情報変化速度(絶対値)および露出情報によるフィルタ強度オフセットの関係を示すグラフである。デブロックフィルタ制御部18の、VEVに対するOffsetEVの決定方法は図5に示したズーム動作の場合と全く同じ方法であり、OffsetEVの数値が異なっているのみである。
自動露出制御あるいは操作者による絞り操作などにより露光量が変化した場合、動き補償で適正な予測を実現することが難しく、ブロック歪みが発生する。しかしながら、自動的なデブロックフィルタ13のフィルタ強度調節のみではフィルタ強度が不足する。
本実施形態においては、EV情報の変化速度を用いてデブロックフィルタ制御部18がOffsetEVの値を決定することによって、不足するデブロックフィルタ強度を適切に補うことができる。なお、露出制御の動作直後のブロック歪みやデブロックフィルタ強度を急激に変化させた場合の影響を防止する効果を発揮することも上述したズーム動作の場合と全く同じである。
EV情報の代用として、例えば難易度検出部17で被圧縮画像の平均輝度を求めるという方法も考えられる。しかしながら、自動露出制御により露光量が調節された後の映像で露出状態を推定することになるため、適切な制御実現は非常に困難である。特に被写体の明るさが変わらないままゆっくりパンするなどして画面内の明暗比率が変化する場合などは、画像データから露出状態を正しく求めることは不可能であり、デブロックフィルタ強度条件を適切に制御することは出来ない。本実施形態では露出情報を直接使用することで映像データからは制御困難なデブロックフィルタ強度設定を容易にかつ適切に実現している。
なお、本実施形態ではデブロックフィルタ制御部18がEV情報からOffsetEV値を決定するとしたが、自動露出制御がシャッター速度制御優先で動作するよう設定されている等の理由により、通常絞り2があまり変化しない場合は、シャッター速度情報のみでOffsetEV値を決定してもよい。逆に、絞り制御優先であったり絞り制御が操作者のマニュアル操作である場合などは、絞り2の開口率設定情報あるいはF値情報のみを用いてOffsetEV値を決定してもよい。いずれも、先に述べた効果と同様の効果が得られる。またEV値の定義に必然性はなく、異なる定義の露出状態を表現するパラメータを用いてもよく、やはり同様の効果を得ることができる。
次にAGC情報を用いた処理を説明する。
本実施形態のカメラ制御情報に含まれるAGC情報とは、アンプ6(図1)に対する設定利得を意味し、3dB単位の数値で表現された数値情報である。AGC情報は、フレームごとにカメラ制御部8から伝送されるとする。
表1はAGC情報とフィルタ強度オフセットOffsetAGCの対応関係を示す。デブロックフィルタ制御部18は、表1に従ってデブロックフィルタ強度条件に寄与させるべき程度として、AGC制御によるフィルタ強度オフセットOffsetAGCを決定する。
カメラ制御部8がアンプ6に撮像素子4のアナログ出力を増幅するよう利得を増加させるとき、動画像データは既にS/N比が悪化してノイズが目立つ映像となっており、ブロック歪みは発生するものの比較的目立ちにくくなっている。従って、上述したEV情報の場合とは異なり、AGC情報の変化速度を求めOffsetAGCを求めても効果が小さい。
しかしながら、AGC情報の値がある程度以上大きくなるとやはりブロック歪みが目立つようになる。そこで、表1に示すようにAGC情報の値が大きい場合にのみ不足するデブロックフィルタ強度を補うことで適切なブロック歪み除去効果を得ることができる。
なお、AGC情報とOffsetAGCとの関係を示した表1は例である。たとえば、表形式ではなく、AGC情報の値を代入すると、OffsetAGCが特定されるよう、関数形式で表現してもよい。また、AGC情報は3dB単位の数値で表現されるとしたが、この単位も例である。3dB単位より小さくてもよい。
最後に、デブロックフィルタ強度条件の決定方法を説明する。
デブロックフィルタ制御部18(図1)は決定した3種類のフィルタ強度オフセットの値と、難易度検出部17から与えられたデブロックフィルタ強度条件基本値とから、デブロックフィルタ13に供給するデブロックフィルタ強度条件FilterOffsetAおよびFilterOffsetBを決定する。
図8は、デブロックフィルタ強度要件の決定則を示すフローチャートである。まずステップS1において、OffsetZOOMの値、OffsetEVの値、OffsetAGCの値が特定される。ステップS2において、被圧縮画像がIピクチャーの場合には、デブロックフィルタ制御部18は、OffsetZOOMおよびOffsetEVの値を0とする。ステップS3において、デブロックフィルタ制御部18は、OffsetZOOMの値、OffsetEVの値、OffsetAGCの値を比較し、そのうちの最大値を選択する。
ステップS4において、デブロックフィルタ制御部18は、選択した値に対して別途特定されたデブロックフィルタ強度条件基本値を加算し、ステップS5において、加算結果をデブロックフィルタ強度条件FilterOffsetA、FilterOffsetBの値として決定する。
カメラ制御情報より求めた3つのオフセット値はいずれも動き補償処理部10の動き補償処理の困難の程度に起因するブロック歪みを補正しようとするものである。しかし、動き補償の困難の程度はこれら3つの要因が加算的に影響するのではなく最も影響の大きい要素の影響が支配的になる傾向が強い。従って3つのオフセット値の最大値を採用することで適切なブロック歪み除去が実現できる。
またこれらは動き補償に起因するブロック歪みに関する歪みの低減処理であるが、被圧縮映像がIピクチャーの場合は動き補償処理が行われない。3つのオフセット値の中でOffsetAGCの値は動き補償に起因するブロック歪だけではなく圧縮符号化処理部11の困難の程度に起因するブロック歪にも影響する。従ってIピクチャーの場合はOffsetAGCの値のみを残し、OffsetZOOMの値とOffsetEVの値とを0に変更することで過度のデブロック処理がかかってしまう副作用を防止することができる。
一方、難易度検出部17が求めたデブロックフィルタ強度条件基本値は、被圧縮映像のもつ情報量の程度など圧縮符号化処理部11の困難の程度に起因して発生するブロック歪みを除去しようとするものである。これはカメラ制御の状態や動き補償処理の困難の程度とは関係が薄く、どちらかが支配的になるのではなく、ブロック歪みに対して加算的影響をもつものである。従ってカメラ情報より選択決定したオフセット値にデブロックフィルタ強度条件基本値を加算することで適切なブロック歪み除去を実現することができるものである。
なお、被圧縮映像がBピクチャーである場合、デブロックフィルタ13は上述したように休止しているが、デブロックフィルタ強度条件を再生時に使用できるようにするため、デブロックフィルタ制御部13はBピクチャーの場合にも上記デブロックフィルタ強度条件を決定してストリーム生成部16に供給している。
また、図8でデブロックフィルタ強度条件FilterOffsetA、FilterOffsetBは同じ値を採用するとしたが異なる値を採用しても良い。FilterOffsetBを小さくするとブロック内部の情報量が多い場合にデブロックフィルタ13の処理がかかりにくくなる。従ってFilterOffsetA、FilterOffsetBの具体的数値の設定、比率の設定を調節することで光学系1や撮像部5のS/N比や解像度などの装置固有の性能に適合させることができる。
なお、図1に示した本実施形態の動作では、カメラ制御情報としてズーム情報とEV情報とAGC情報との3種類を用いてその動作を説明したが、合焦動作の情報など他のカメラ情報を利用する構成としても良い。
本実施形態ではデブロックフィルタ制御部が、図3Aおよび図3Bに示した自動的なデブロックフィルタの強度調節ではデブロック強度が不足する場合に、その補強としてカメラ制御情報からFilterOffsetA、FilterOffsetBを設定して不足分を補う動作を説明した。逆に自動的なデブロックフィルタの強度調節ではデブロック効果が効きすぎる場合にその抑制として作用させても良い。
以上のように本実施形態によれば、カメラ制御により参照画像に発生するブロック歪みを的確かつ大幅に除去することができる。
また、デブロックフィルタ制御部18がズーム動作制御情報を用いてデブロックフィルタ13を制御することにより、ズーム動作の場合に発生する特に顕著なブロック歪みを確実に除去することができる。
また、露出情報(露光指数EV)を用いることにより、露出状態が変化する場合に発生する特に顕著なブロック歪みを確実に除去できる。
なおかつカメラ制御情報の複数の要素それぞれから求めたブロックフィルタ強度条件の最大値を採用する構成によりデブロックフィルタ13の強度を過剰に効かせすぎて参照画像の解像度やディテールを損ねることがない。
また、デブロックフィルタ13の強度の程度を適切な値に設定し、光学系制御の終了直後に発生するブロック歪みまで除去できる。被圧縮画像がイントラスライスの場合は、デブロックフィルタ制御部18は、カメラ制御情報のうちズーム動作制御情報と露出情報とを用いずにデブロックフィルタ強度条件を設定する。これによりカメラ制御の影響を受けにくいIピクチャーに過度のデブロックフィルタを掛けて解像度を損ねる副作用も防止できる。また、これにより特に大きなブロック歪みを発生しやすいズーム速度が速い場合や露光量変化速度が速い場合に、よりデブロックフィルタをきつく掛けるように制御することが可能になる。つまりカメラ制御動作に依存するブロック歪みの発生が特に顕著である参照画像との相関による動画圧縮の場合に限定してデブロックフィルタ強度条件を制御することが可能になる。
また本発明によれば、カメラ制御とは無関係の映像条件により発生するブロック歪みの除去も効果的に組み合わせて実現することも出来る。そのためデブロック処理の強度が不足してブロック歪みが目立つことが無く、逆に過剰になって解像度、ディテールを失うこともなく、常に適正なブロック歪み除去を実現して、参照画像の画質を大幅に改善できる。そして、参照画像の画質改善により動き補償処理部10の残差データが減少して量子化指標qPが改善されるから総合的に圧縮映像の画質を大きく改善できる。また、本実施形態で最適に制御されたデブロックフィルタ強度条件はストリーム生成部16で圧縮ストリームに埋め込まれているから、再生時にも記録時の最適なデブロック処理が再現でき高画質が実現できる。
本発明にかかる動画像圧縮装置は、カメラ制御情報を利用して参照画像にかかるデブロックフィルタ処理の強度を制御して常に適切なブロック歪み除去を実現するものであるから、MPEG−4 AVC/H.264規格など、参照画像にブロック歪み除去を行う機構を有する動画像圧縮を行う装置に適応できる。
本発明は、動画像のデータを圧縮する、ビデオカメラ等の動画像圧縮装置に関する。より具体的には、本発明は、動画像のデータを圧縮する際に、デブロックフィルタを利用する動画像圧縮装置に関する。
近年、動画像圧縮方式として、MPEG2(ITU−T H.262)など、フレーム間相関を用いた高効率の動画像圧縮方式の発達が著しい。これらの動画像圧縮方式は、ビデオカメラの分野においても用いられるようになってきている。
ビデオカメラに用いられる動画像圧縮技術では、動画像の圧縮状態を適切に制御するため、カメラの動作状態情報を圧縮する際に利用する。たとえば特許文献1は、そのような技術を開示している。特許文献1の他にも、その関連技術は数多く検討、提案されている。それらの多くは、画質改善のため、あるいは符号量削減のためにフィルタを制御するという構成の共通点をもっている。その基本的な構成を従来例として以下に説明する。
図9は、従来例の動画像圧縮装置の構成を示す。光学系を含むカメラ部101から出力された動画像データは前処理フィルタ102を経由して動画圧縮部103に送られて、圧縮された動画ストリームが出力される。また、カメラ部101から別途出力されるカメラ制御情報はフィルタ制御部104に送られる。フィルタ制御部104は、フィルタ処理指令を前処理フィルタ102に供給する。
以下、図9に示す従来例による動画像圧縮装置の動作を説明する。
カメラ部101は、光学系を介して撮像された動画像の信号をディジタル信号処理し、ディジタル映像データである動画像データとして出力する。またこのときカメラ部101はフォーカス制御やズーム制御、絞りやシャッター速度のEV制御、手ぶれ補正制御など多くの光学系制御とディジタル信号処理制御を実行し、その制御状態をカメラ制御情報として出力する。
前処理フィルタ102が動画像データを帯域制限した後、動画圧縮部103はMPEG2規格に基づいて動画像データを圧縮処理し、動画ストリームとして出力する。一方、フィルタ制御部104は、カメラ制御情報を用いて、現在の動画像の特性がMPEG2方式の圧縮処理には厳しく、圧縮歪みが比較的多く発生するか否かを判断する。圧縮歪みが多く発生すると判断した場合には、フィルタ制御部104は、フィルタの帯域をより制限するようにフィルタ処理指令を発行する。前処理フィルタ102はフィルタ制御指令を受けるとフィルタ処理する動画像データの高域成分をより減衰させるようにフィルタ処理を実行する。その結果、その動画像データの情報量は削減されるため圧縮歪みの増加を防止することができる。
しかしながら、上述した従来の動画像圧縮装置によれば、カメラ情報を利用して圧縮歪みの増加を防止できる効果を有するものの、再生映像は解像度やディテールを失ってしまい画質が大きく劣化してしまうという課題があった。それは、前処理フィルタ102にて画面全体を帯域制限して被圧縮画像の映像データとしての情報量を削減したためである。しかも、前処理フィルタ102は被圧縮画像全体(画面全体)を一律にフィルタ処理している。これも、画質が大きく劣化する要因であった。
近年広がりを見せているMPEG−4 AVC/H.264規格では、ブロック歪みを除去するデブロックフィルタが圧縮機構に組み込まれた。この規格は、圧縮処理中の参照画像のブロック歪みも緩和するというMPEG2とは異なる新たな特徴を有している。しかしながら、規格上はデブロックフィルタを設けることが定められたのみであり、どのように適用するか(どのように制御するか)については規定されていない。現時点では、効果的な制御方法はまだ提案されていない。
本発明は上記の問題点に鑑みてなされたものであり、その目的は、MPEG−4 AVC/H.264規格に示されたようなデブロックフィルタを効果的に制御し、圧縮歪みの増大を防止しながら、解像度やディテールを保存して高画質の動画像の圧縮を実現することにある。
本発明による動画像圧縮装置は、光学系と、前記光学系を介して被写体の動画像を撮影し、動画像データを出力する撮像部と、撮像時の前記光学系および前記撮像部の少なくとも一方の動作を制御するための制御情報を出力するカメラ制御部と、前記動画像を構成する被圧縮画像と参照画像との相関性を利用して前記動画像データを圧縮する動画圧縮部であって、設定されたデブロックフィルタ強度条件にしたがって前記参照画像のブロック歪みを緩和するデブロックフィルタを有する動画圧縮部と、前記制御情報に基づいて、前記デブロックフィルタ強度条件を設定するデブロックフィルタ制御部と、前記デブロックフィルタ強度条件を圧縮後の出力データに埋め込むストリーム生成部とを備えている。
前記カメラ制御部は、前記制御情報として、ズーム倍率を制御するためのズーム動作制御情報を出力してもよい。
前記カメラ制御部は、電子ズームおよび光学ズームの少なくとも一方に関するズーム倍率を制御するためのズーム動作制御情報を出力してもよい。
前記カメラ制御部は、前記制御情報として、露出を制御するための露出情報を出力してもよい。
前記カメラ制御部は、複数種類の制御情報を出力し、前記デブロックフィルタ制御部は、前記複数種類の制御情報の各々に対応する前記デブロックフィルタ強度条件を求め、求めた複数種類のデブロックフィルタ強度条件のうちデブロックフィルタ効果を最も強く与えるデブロックフィルタ強度条件を設定してもよい。
前記デブロックフィルタ制御部は、前記制御情報の変化速度に応じて、前記デブロックフィルタ強度条件を求めてもよい。
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、前記デブロックフィルタ制御部は、前記変化速度が増加しているときは、前記変化速度に略比例したデブロックフィルタ強度条件を求めてもよい。
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、前記デブロックフィルタ制御部は、前記変化速度が減少しているときは、前記変化速度が減少を開始する前に求めた前記デブロックフィルタ強度条件を設定し、その後、前記デブロックフィルタ強度条件を緩和させてもよい。
前記デブロックフィルタ制御部は、前記デブロックフィルタ強度条件を段階的に緩和させてもよい。
前記カメラ制御部は、前記制御情報として、前記撮像部において撮影された前記動画像の信号振幅を増幅させるためのゲイン情報を出力してもよい。
前記被圧縮画像がイントラスライスの場合には、前記デブロックフィルタ制御部は、前記ゲイン情報のみに基づいて前記デブロックフィルタ強度条件を設定してもよい。
前記動画像圧縮装置は、前記被圧縮画像の特徴に基づいて、前記動画像データの圧縮に関する難易度を検出する難易度検出部をさらに備え、前記デブロックフィルタ制御部は、前記難易度に基づいて決定される基本値と、前記制御情報から求めたデブロックフィルタ強度条件とに基づいて、前記デブロックフィルタ強度条件を設定してもよい。
前記難易度検出部は、前記被圧縮画像の各画素値の分散の総和に応じて前記基本値を求め、前記制御情報から求めたデブロックフィルタ強度条件と加算して、前記デブロックフィルタ強度条件を設定してもよい。
本発明の動画像圧縮装置は、ブロック歪みの発生が予見される映像に対してデブロックフィルタの強度条件を適切に設定することからブロック歪みの発生を防止し、また過剰にデブロックフィルタ強度条件を上げることを防止できるため、再生映像の解像度やディテールを損なうこともなく、高画質の動画像圧縮を実現することができる。
本発明の実施形態による動画像圧縮装置100の構成を示す図である。
復号処理部12から出力された復号画像の、あるブロック境界を含む水平8画素の配置を示す図である。
パラメータindexAとパラメータαの関係を示すグラフである。
パラメータindexBとパラメータβの関係を示すグラフである。
ワイド端からテレ端へのズーム動作中のズーム倍率の時間変化を示すグラフである。
ズーム倍率変化速度とズーム動作によるフィルタ強度オフセットの関係を示すグラフである。
EV情報の時間変化の一例を示すグラフである。
EV情報変化速度(絶対値)および露出情報によるフィルタ強度オフセットの関係を示すグラフである。
デブロックフィルタ強度要件の決定則を示すフローチャートである。
従来例の動画像圧縮装置の構成を示す図である。
以下、添付の図面を参照しながら、本発明による動画像圧縮装置の実施形態を説明する。
図1は、本実施形態による動画像圧縮装置100の構成を示す。
動画像圧縮装置100は、光学系1と、撮像部5と、カメラ制御部8と、動画圧縮部9と、ストリーム生成部16と、難易度検出部17と、デブロックフィルタ制御部18とを備えている。以下、各構成要素を詳細に説明し、その後、動画像圧縮装置100において行われる処理を説明する。
光学系1は、絞り2とズーム可能なレンズ群3とを含む。光学系1は、被写体からの光を、絞り2およびレンズ群3により、次に説明する撮像部5の撮像素子4上に結像するように構成されている。
撮像部5は、撮像素子4と、増幅器(アンプ)6と、信号処理部7とを含む。撮像部5は、入射した光を受けて被写体を撮影し、その被写体の動画像データを出力する。撮像素子4のアナログ出力がアンプ6によって増幅されて信号処理部7に供給される。信号処理部7は、受け取ったアナログ信号に基づいて動画像データを生成して出力する。動画像データは、動画圧縮部9および難易度検出部17に入力される。
カメラ制御部8は、複数種類のカメラ制御情報を生成して、各制御対象に指示する。「複数種類のカメラ制御情報」は、例えば、絞り2を制御対象とする開口率設定値、レンズ群3を制御対象とする光学ズーム設定値、撮像素子4を制御対象とするシャッター速度設定値、アンプ6を制御対象とするAGC(Auto Gain Control)設定値、信号処理部7を制御対象とする電子ズーム設定値である。
カメラ制御部8から開口率設定値が絞り2に、光学ズーム設定値がレンズ群3に、シャッター速度設定値が撮像素子4に、AGC設定値がアンプ6に、電子ズーム設定値が信号処理部7にそれぞれ供給されている。さらに、これらカメラ制御情報は、後述するデブロックフィルタ制御部18にも供給される。デブロックフィルタ制御部18の動作の詳細は後述する。
動画圧縮部9は、外部から動画像データを受け取り、圧縮符号化して出力する。動画圧縮部9は、動き補償処理部10と、圧縮符号化処理部11と、復号処理部12と、デブロックフィルタ13と、参照画像メモリ14および15とを備えている。
動き補償処理部10は、動画像データおよび、参照画像メモリ14および15から参照画像データを受け取り、その差分である残差データを出力する。
圧縮符号化処理部11は、動画像データおよび残差データに基づいて、圧縮符号化されたデータ(圧縮データ)を出力する。この圧縮データは、例えば、動画像を構成する1枚のピクチャーのデータを圧縮符号化して得られる。
復号処理部12は、圧縮データを受け取り、いったん復号化して出力する。
デブロックフィルタ13には、デブロックフィルタ強度条件および復号された画像データが入力される。デブロックフィルタ13は、デブロックフィルタ強度条件に従って、復号された画像データのブロック歪み除去処理を行う。
参照画像メモリ14および15は、参照画像の画像データを一時的に格納する。
次に、ストリーム生成部16は、各ピクチャーの圧縮データを受け取り、複数のピクチャーの圧縮データを含んだ圧縮ストリームを生成して出力する。
難易度検出部17は、動画像データを受け取り、デブロックフィルタ強度条件基本値を出力する。
デブロックフィルタ制御部18は、デブロックフィルタ強度条件基本値、カメラ制御情報を受け取り、デブロックフィルタ強度条件を出力する。デブロックフィルタ強度条件は、デブロックフィルタ13およびストリーム生成部16に入力される。
以下、本実施形態による動画像圧縮装置100の動作を説明する。まず、撮像から圧縮ストリーム生成までの基本動作を説明し、次にデブロックフィルタの処理を説明し、最後に本発明の主要な特徴のひとつである、カメラ制御情報を用いたデブロックフィルタ制御部18の動作を説明する。
まず、動画像圧縮装置100の基本動作は以下のとおりである。
撮像素子4は、光学系1により撮像素子4に結像された映像を撮影する。アンプ6が撮像素子4からのアナログ出力を増幅したのち、信号処理部7がその信号に対してAD変換とディジタル処理を施し、ディジタルデータである動画像データとして出力する。
このときカメラ制御部8は、光学ズーム設定信号を用いてレンズ群3の光学ズーム状態の制御と、電子ズーム設定信号を用いて信号処理部7の電子ズーム倍率の制御とからなるズーム制御を実行する。また、カメラ制御部8は開口率設定信号を用いて絞り2を設定し、シャッター速度設定信号を用いて撮像素子4のシャッター速度を設定して総合的に撮像素子4の露光量を調節する露光指数(exposure value;EV)制御も実行している。カメラ制御部8は、EV制御で開口率を充分に大きくかつシャッター速度を充分遅くしても露出が不足して撮像素子4のアナログ出力の振幅が小さいと判断した場合には、AGC設定信号を用いてアンプ6の利得(ゲイン)を上げて動画像信号の振幅を補うAGC制御も担っている。カメラ制御部8により常に適切な状態に制御された光学系1と撮像部5から得られた動画像データは動画圧縮部9に供給され、動画圧縮部9が圧縮符号化の処理を実行する。
動画圧縮部9は入力画像と参照画像との相関性を利用可能な動画像圧縮を行う動画圧機構を持っており、ここではMPEG−4 AVC/H.264規格に従って動作しているものとする。
なお、この本実施形態では説明の簡単化のため動画圧縮処理が動画像を構成する画像(ピクチャー)単位で行われるとする。そして、データの圧縮の対象とされる画像(被圧縮画像)をIピクチャー、Pピクチャー、Bピクチャー、参照Bピクチャーとして扱うものとし、参照画像は最大2枚とする。Iピクチャー、Pピクチャー、Bピクチャーは、それぞれ以下のように定義される。
Iピクチャー:1枚のピクチャーのデータのみを用いて圧縮符号化されたピクチャー。Iピクチャーは、そのデータのみで1枚のピクチャーを復号化可能である。すなわち、被圧縮画像の全ての構成ブロックの圧縮は、被圧縮画像の範囲内で完結しており、イントラスライスとも呼ばれる。
Pピクチャー:過去のピクチャーから一方向のピクチャー間予測が行われて、差分値が符号化されたピクチャー。Pピクチャーは、時間的に前に表示されるIピクチャーまたは他のPピクチャーのいずれか1つのピクチャーを参照して圧縮符号化されている。したがって、Pピクチャーは参照ピクチャーであるIピクチャーまたは他のPピクチャーを参照して復号化が可能である。
Bピクチャー:過去および未来のピクチャーから二方向のピクチャー間予測が行われて、差分値が符号化されたピクチャー。Bピクチャーは、時間的に前に表示されるピクチャーおよび時間的に後に表示されるピクチャーの少なくとも2つのピクチャーを参照して圧縮符号化される。参照されるピクチャーは、Iピクチャー、Pピクチャーまたは過去のBピクチャーである。特にBピクチャーからの参照を許されるBピクチャーを参照Bピクチャーと呼ぶ。
また、動画圧縮部9は、被圧縮画像を処理順に並べ替えるリオーダリング処理も行っている。しかし、これは本件発明の本質的に無関係であるから図1の構成からは省略した。動画圧縮部9には圧縮処理順に動画像データが入力されているものと仮定して説明する。
まず、Iピクチャーとなるべき動画像データが動画圧縮部9に入力されたとき、動き補償処理部10は休止して圧縮符号化処理部11のみが被圧縮映像としてその動画像データを受け取る。
圧縮符号化処理部11は動画像データに対してMPEG−4 AVC/H.264規格に従って直交変換、量子化、高効率符号化などの処理を実行して、圧縮データを出力する。圧縮データは復号処理部12が復号し、復号画像データとしてデブロックフィルタ13に供給する。デブロックフィルタ13はデブロックフィルタ制御部18から与えられたデブロックフィルタ強度条件に従って復号画像データのブロック歪み除去処理を行い、その結果得られる参照画像データを参照画像メモリ14または参照画像メモリ15に記憶させる。
ストリーム生成部16は圧縮データを入力としてヘッダ付与やデブロックフィルタ強度条件をはじめとする各種付加情報を埋め込み、規格に従った圧縮ストリームを出力する。たとえば一例としてMPEG−4 AVC/H.264規格を挙げると、ストリームはNALユニット単位に構成され、各種付加情報はその内容に応じてピクチャーパラメータセットや各種SEIと呼ばれるNALユニットに格納され、あるいは各スライスの圧縮データの先頭部分に付与するスライスヘッダ内に直接埋め込まれる。デブロックフィルタ強度条件はスライス単位にスライスヘッダの内部に埋め込まれる。
Pピクチャー、Bピクチャーあるいは参照Bピクチャーとなるべき動画像のデータが動画圧縮部9に入力されたとき、動き補償処理部10は入力された被圧縮画像データと参照画像メモリ14および参照画像メモリ15が記憶する参照画像データを用いて動きベクトル探索を実行し、予測画像を生成して被圧縮画像との差分を求め、その残差データを圧縮符号化処理部11に伝送する。残差データに対する圧縮符号化処理部11、ストリーム生成部16、復号処理部12、デブロックフィルタ13の動作は上述したIピクチャーの場合と同様であるが、Bピクチャーの場合のみ参照画像とはならないため、復号処理部12とデブロックフィルタ13が動作を休止している。
以上のようにして撮像から圧縮ストリーム生成までの基本動作が実行される。
次にデブロックフィルタ13の処理を説明する。
デブロックフィルタ13は圧縮符号化処理部11の圧縮処理により発生したブロック歪みを除去する為に導入されたフィルタである。その処理内容はMPEG−4 AVC/H.264規格に詳細に場合分けして定義されており、本実施形態のデブロックフィルタ13もその定義に従って動作する。
ここで、ブロック歪みを除去するための具体的な処理を説明する。
図2は、復号処理部12から出力された復号画像の、あるブロック境界を含む水平8画素の配置を示す。画素p3〜p0がブロックPに属し、画素q0〜q3がブロックQに属し、画素p0と画素q0の境界がブロック境界である。ブロック歪みはこのブロック境界の段差として現れる。ここでいう「段差」とは、画素値(たとえば輝度の値、色の値)の差を意味する。特に人間の視覚によって感知し得る程度の差が存在すれば、人間は「ブロック歪み」の存在を感じることになる。
デブロックフィルタ13は最大この8画素の範囲内を処理する。デブロックフィルタ13はブロック境界ごとにデブロック処理の内容を決定するため、まずパラメータαとパラメータβを求める。
後に数3に関連して詳述するように、パラメータαおよびβは、ブロック境界に対してデブロック処理を適用するか否かを決定する基準として利用される。また、数4〜数6に関連して詳述するように、パラメータαおよびβは、デブロック処理の具体的な内容を決定する基準としても利用される。
本願発明者らは、デブロック処理に関連する重要なパラメータαおよびβを決定する条件の一つとして「デブロックフィルタ強度条件」を採用し、この「デブロックフィルタ強度条件」を、たとえばカメラの制御情報を利用して決定することとした。以下、具体的に説明する。
いまブロックPの量子化指標qPと、ブロックQの量子化指標qPの平均値をqPavとし、デブロックフィルタ強度条件をパラメータFilterOffsetAと表記したとき、(数1)に示すようにパラメータindexAを求める。
(数1)
indexA = qPav + FilterOffsetA
図3AはパラメータindexAとパラメータαの関係を示すグラフである。デブロックフィルタ13は、図3Aのグラフに従ってパラメータindexAからパラメータαを求める。
パラメータβについても同様である。デブロックフィルタ13は、パラメータβについても同様にqPavとデブロックフィルタ強度条件FilterOffsetBから(数2)に従ってパラメータindexBを求める。
(数2)
indexB = qPav + FilterOffsetB
図3BはパラメータindexBとパラメータβの関係を示すグラフである。デブロックフィルタ13は、図3Bのグラフに従ってパラメータindexBからパラメータβを求める。
そしてデブロックフィルタ13は、求めたパラメータαおよびβを下記(数3)に適用し、(数3)が成立するか否かを判断する。
(数3)
|p0−q0|<α かつ |p1−p0|<β かつ |q1−q0|<β
上述の(数1)および(数2)における、パラメータFilterOffsetAおよびFilterOffsetBは、たとえば−6から+6までの13個の整数のうちのいずれかとして、それぞれ与えられる。なお、両パラメータは、同じ数値であるとして説明している。
(数1)によれば、このパラメータFilterOffsetAの大きさ如何によりパラメータindexAの大きさが変化することが理解される。そして図3Aから明らかなように、パラメータindexAの大きさに応じてパラメータαの大きさも変化する。
求めたパラメータαとパラメータβ及び図2の各画素の値が、もし(数3)の条件式を満足しない場合デブロックフィルタ13は図2の8画素に対するデブロック処理を実施しない。一方、(数3)を満足する場合にはデブロックフィルタ13はデブロック処理を実施する。
デブロック処理が実施される場合、デブロック処理の具体的内容は更に詳細に場合分けされた条件判断に進み、やはりパラメータα、パラメータβ、図2の各画素の値を判断材料として、使用するフィルタの係数や処理する画素の範囲を決定することとなる。
ここで、詳細に場合分けされた条件判断の一例を説明する。
以下では、ある条件において、画素p0、p1、p2の画素値(便宜的に画素値をp0、p1、p2として説明する。)がデブロックフィルタ処理によってp’0、p’1、p’2に更新されるとして説明する。
まず、パラメータαおよびβを用いて(数4)による条件判定を行う。
(数4)
|p2−p0| < β かつ |p0−q0| < ((α/4)+2)
(数4)の条件を満たした場合、画素値p’0、p’1、p’2は、画素値p0、p1、p2、p3、q0、q1に基づく(数5)によるフィルタ処理によって算出される。
(数5)
p’0 = (p2+2×p1+2×p0+2×q0+q1+4) / 8
p’1 = (p2+p1+p0+q0+2) / 4
p’2 = (2×p3+3×p2+p1+p0+q0+4) / 8
一方、(数4)の条件を満たさなかった場合、画素値p’0、p’1、p’2は、画素値p0、p1、p2、q1に基づく(数6)によるフィルタ処理によって算出される。
(数6)
p’0 = (2×p1+p0+q1+2) / 4
p’1 = p1
p’2 = p2
(数5)と(数6)とを比較してみると、(数5)の方が算出対象とする画素以外の画素の値を多く用いて計算しており、より周辺画素の影響を強く受けるフィルタ処理となっている。また(数6)はp’0以外は元の画素の値がそのまま使用され更新されていないが、(数5)はp’0だけでなくp’1、p’2も値の更新が行われる処理となっている。
つまり、αおよびβの値が大きいとより多くのブロック境界で(数4)を満たすこととなり、その結果、(数5)によってより強度の強い広範囲のわたるフィルタ処理が適用されることとなる。
(数3)ではパラメータαおよびパラメータβの値が大きいほど、容易にデブロックフィルタの処理がかかることを示している。そして、更に詳細に場合分けされた条件判断においても(数4)から明らかなとおり、パラメータα、βの値が大きいほど、より広範囲により強度の強いフィルタが採用されるように定義されている。
いま、(数1)において、デブロックフィルタ強度条件FilterOffsetAがゼロに固定されていると仮定する。このとき、図3Aの横軸は平均qPを示すことになる。図3Aは平均qPが大きいほどパラメータαの値が大きくなることを示している。量子化パラメータqPが大きい場合は一般にブロック歪みが大きく発生するが、このとき同時にパラメータα(およびパラメータβ)の値も自動的に大きくなり、より強度の強いデブロックフィルタ処理が採用されることとなる。量子化パラメータqPが大きく、ブロック歪みが大きく発生する場合、MPEG−4 AVC/H.264規格に従うデブロックフィルタ13は、自動的にデブロック処理をきつく掛けブロック歪みを除去するという基本特性をもっている。
(数1)および(数2)によれば、デブロックフィルタ13の外部からデブロックフィルタ13に対して与えられるデブロックフィルタ強度条件FilterOffsetA、FilterOffsetBはデブロック処理の強度調節をオフセットすることが可能である。
再び図1を参照する。難易度検出部17は動画像データを入力して動画圧縮部9が処理しようとする被圧縮画像の特徴を抽出し、その特徴から動画圧縮部9の圧縮処理の困難の程度を判断する。そして難易度検出部17は、発生するブロック歪みの量を推定してデブロックフィルタ強度条件基本値をデブロックフィルタ制御部18に与える。これにより、たとえば、カメラ制御動作に依存して発生するブロック歪みと相乗的に発生する映像固有の特徴によるブロック歪みに対してデブロックフィルタ強度条件をよりきつく設定することが可能になる。
圧縮動作の困難の程度の判断方法として、本実施形態では被圧縮画像の各画素値をもとに分散の総和を求め、その値に応じて−6から0の値をデブロックフィルタ強度条件基本値として採用する。
なお、圧縮動作の困難の程度の判断方法としては数々の方法が提案実用化されているが、本実施形態においては、そのいずれの方法を用いてもよい。具体的方法は、本実施形態の説明とは特に大きな関連はないため、その説明は省略する。また難易度検出部17はデブロックフィルタ強度条件基本値として常に固定値を出力してもよい。
次に、デブロックフィルタ制御部18が、カメラ制御情報をどのように利用してデブロックフィルタ強度条件を決定するかを説明する。
デブロックフィルタ制御部18はカメラ制御部8から伝送されたカメラ制御情報と、デブロックフィルタ強度条件基本値とを用いてデブロックフィルタ強度条件を決定する。カメラ制御情報として、本実施形態では、ズーム情報、EV情報およびAGC情報の少なくとも1つを利用する例を説明する。いずれの情報も、数値として表現されているとする。各情報を用いた処理を以下順に説明する。
まずズーム情報を用いた処理を説明する。
カメラ制御情報に含まれるズーム情報には毎フレームのズーム倍率が示されている。図4はワイド端からテレ端へのズーム動作中のズーム倍率の時間変化を示すグラフである。図4は、カメラ制御部8が光学ズームから電子ズームへと制御を継続させ最終的に20倍ズームで停止した状態を示している。デブロックフィルタ制御部18はズーム倍率の変化速度VZOOMを求め、VZOOMの値をもとにデブロックフィルタ強度条件に寄与させる程度としてフィルタ強度オフセットOffsetZOOMを決定する。なお、ズーム倍率の変化速度VZOOMは、倍率変化量/時間変化量によって定義される。
図5はズーム倍率変化速度とズーム動作によるフィルタ強度オフセットの関係を示すグラフである。デブロックフィルタ制御部18は、VZOOMの立ち上がり期間中、つまり加速中はVZOOMにほぼ比例するようにOffsetZOOMの値を決定する。なおOffsetZOOMのグラフが階段状であるのは0から4の整数値としているからである。
一方、デブロックフィルタ制御部18は、VZOOMの立ち下がり期間中、つまり減速に転じるとその前のOffsetZOOMの値を一定期間保持し、その後、徐々に、たとえば段階的に減少するようにOffsetZOOMの値を決定する。
ズーム動作中は一般に映像の情報量は減少するものの、動き補償で適正な予測を実現することが難しく、結果として量子化パラメータqPはやや高くなる。そのため、上述したようにデブロックフィルタ13を自動的に少しきつく適用し、ブロック歪みを除去するように作用させる。
しかしながら、ズーム中は映像が見かけ上放射方向へ移動するのに対して、ブロック歪みは被写体の動きとは無関係に画面上の同じ位置に発生している。したがって、ブロック歪みが視覚的に非常に目立ちやすく、デブロックフィルタ13の自動的な強度調節だけではフィルタ強度が不足する。ブロック歪みが視覚的に非常に目立ちやすい理由をより詳しく説明する。ブロック歪みを発生するのはブロックの境界である。画面全体の中でブロックの位置は固定されているため、ブロック境界も画面の中で常に同じ位置に存在する。映像(被写体)がどのように動いても1画面内のブロック境界位置は変化しない。したがって、ズーム中は映像が見かけ上放射方向へ移動するにもかかわらず、ブロック歪みは被写体とともに動くことはないため、ブロック歪みが視覚的に非常に目立ちやすくなる。
本実施形態においては、デブロックフィルタ制御部18がOffsetZOOMの値を決定することによって、不足するデブロックフィルタ強度を適切に補うことが可能になる。またズーム動作完了直後は映像の状態が急激に変化するため大きなブロック歪みを発生する場合が多い。特にズーム速度が速い場合に顕著に発生する。
本実施形態では、ズーム動作完了直後にもデブロックフィルタ制御部18がズーム速度に応じたOffsetZOOMの値を保持する。したがって、ブロック歪みを適切に除去することができる。なお、デブロックフィルタ強度を急激に変化させた場合、オートフォーカス機構が振動を起こしたような不安定な映像に見えることがある。しかし、そのような場合であっても、デブロックフィルタ制御部18がOffsetZOOMの値を徐々に減少させることにより、不安定な映像に見える弊害も防止できている。
なお、図4および図5ではワイド端からテレ端へのズーム動作を説明したが、テレ端からワイド端へのズーム動作についてもズーム倍率変化速度が絶対値であるから全く同じ処理である。よって、その説明は省略する。
なお、本実施形態ではデブロックフィルタ制御部18がズーム倍率からズーム倍率変化速度を求める処理とした。しかしながら、カメラ制御部8がズーム情報としてズーム期間を示すフラグを出力し、デブロックフィルタ制御部18がそのフラグで示された期間中は一律かつ一定のOffsetZOOMの値を採用してもよい。これは、ズーム速度が遅い場合には充分な効果を発揮することができる。また図4,図5に示したズーム倍率及びズーム倍率変化速度は光学ズームと電子ズームを総合したズーム倍率に対して処理するとして説明した。しかしながら、光学ズーム倍率のみを使用する構成として電子ズーム中は光学ズーム動作中のOffsetZOOMの値を保持するとしてもよい。電子ズーム中には、光学ズーム中よりもブロック歪みの発生が大きくなるということはないので、電子ズーム中の処理を簡易化しても効果が得られる。
次に、EV情報を用いた処理を説明する。
本実施形態のカメラ制御情報に含まれるEV情報とは、絞り2(図1)のF値とシャッター速度とから求められるEV値におよそ比例する、0から254の整数で表現された数値情報である。EV情報は、フレームごとにカメラ制御部8から伝送されるとする。
図6は、EV情報の時間変化の一例を示すグラフである。図6は、被写体の照度が上がるなどして露出過剰になったときに絞り2を絞ることにより、EV情報の数値が増加したことを示している。
デブロックフィルタ制御部18はEV情報の変化速度VEVを求め、VEVの値に基づいてデブロックフィルタ強度条件に寄与させるべき程度としてフィルタ強度オフセットOffsetEVを決定する。
図7は、EV情報変化速度(絶対値)および露出情報によるフィルタ強度オフセットの関係を示すグラフである。デブロックフィルタ制御部18の、VEVに対するOffsetEVの決定方法は図5に示したズーム動作の場合と全く同じ方法であり、OffsetEVの数値が異なっているのみである。
自動露出制御あるいは操作者による絞り操作などにより露光量が変化した場合、動き補償で適正な予測を実現することが難しく、ブロック歪みが発生する。しかしながら、自動的なデブロックフィルタ13のフィルタ強度調節のみではフィルタ強度が不足する。
本実施形態においては、EV情報の変化速度を用いてデブロックフィルタ制御部18がOffsetEVの値を決定することによって、不足するデブロックフィルタ強度を適切に補うことができる。なお、露出制御の動作直後のブロック歪みやデブロックフィルタ強度を急激に変化させた場合の影響を防止する効果を発揮することも上述したズーム動作の場合と全く同じである。
EV情報の代用として、例えば難易度検出部17で被圧縮画像の平均輝度を求めるという方法も考えられる。しかしながら、自動露出制御により露光量が調節された後の映像で露出状態を推定することになるため、適切な制御実現は非常に困難である。特に被写体の明るさが変わらないままゆっくりパンするなどして画面内の明暗比率が変化する場合などは、画像データから露出状態を正しく求めることは不可能であり、デブロックフィルタ強度条件を適切に制御することは出来ない。本実施形態では露出情報を直接使用することで映像データからは制御困難なデブロックフィルタ強度設定を容易にかつ適切に実現している。
なお、本実施形態ではデブロックフィルタ制御部18がEV情報からOffsetEV値を決定するとしたが、自動露出制御がシャッター速度制御優先で動作するよう設定されている等の理由により、通常絞り2があまり変化しない場合は、シャッター速度情報のみでOffsetEV値を決定してもよい。逆に、絞り制御優先であったり絞り制御が操作者のマニュアル操作である場合などは、絞り2の開口率設定情報あるいはF値情報のみを用いてOffsetEV値を決定してもよい。いずれも、先に述べた効果と同様の効果が得られる。またEV値の定義に必然性はなく、異なる定義の露出状態を表現するパラメータを用いてもよく、やはり同様の効果を得ることができる。
次にAGC情報を用いた処理を説明する。
本実施形態のカメラ制御情報に含まれるAGC情報とは、アンプ6(図1)に対する設定利得を意味し、3dB単位の数値で表現された数値情報である。AGC情報は、フレームごとにカメラ制御部8から伝送されるとする。
表1はAGC情報とフィルタ強度オフセットOffsetAGCの対応関係を示す。デブロックフィルタ制御部18は、表1に従ってデブロックフィルタ強度条件に寄与させるべき程度として、AGC制御によるフィルタ強度オフセットOffsetAGCを決定する。
カメラ制御部8がアンプ6に撮像素子4のアナログ出力を増幅するよう利得を増加させるとき、動画像データは既にS/N比が悪化してノイズが目立つ映像となっており、ブロック歪みは発生するものの比較的目立ちにくくなっている。従って、上述したEV情報の場合とは異なり、AGC情報の変化速度を求めOffsetAGCを求めても効果が小さい。
しかしながら、AGC情報の値がある程度以上大きくなるとやはりブロック歪みが目立つようになる。そこで、表1に示すようにAGC情報の値が大きい場合にのみ不足するデブロックフィルタ強度を補うことで適切なブロック歪み除去効果を得ることができる。
なお、AGC情報とOffsetAGCとの関係を示した表1は例である。たとえば、表形式ではなく、AGC情報の値を代入すると、OffsetAGCが特定されるよう、関数形式で表現してもよい。また、AGC情報は3dB単位の数値で表現されるとしたが、この単位も例である。3dB単位より小さくてもよい。
最後に、デブロックフィルタ強度条件の決定方法を説明する。
デブロックフィルタ制御部18(図1)は決定した3種類のフィルタ強度オフセットの値と、難易度検出部17から与えられたデブロックフィルタ強度条件基本値とから、デブロックフィルタ13に供給するデブロックフィルタ強度条件FilterOffsetAおよびFilterOffsetBを決定する。
図8は、デブロックフィルタ強度要件の決定則を示すフローチャートである。まずステップS1において、OffsetZOOMの値、OffsetEVの値、OffsetAGCの値が特定される。ステップS2において、被圧縮画像がIピクチャーの場合には、デブロックフィルタ制御部18は、OffsetZOOMおよびOffsetEVの値を0とする。ステップS3において、デブロックフィルタ制御部18は、OffsetZOOMの値、OffsetEVの値、OffsetAGCの値を比較し、そのうちの最大値を選択する。
ステップS4において、デブロックフィルタ制御部18は、選択した値に対して別途特定されたデブロックフィルタ強度条件基本値を加算し、ステップS5において、加算結果をデブロックフィルタ強度条件FilterOffsetA、FilterOffsetBの値として決定する。
カメラ制御情報より求めた3つのオフセット値はいずれも動き補償処理部10の動き補償処理の困難の程度に起因するブロック歪みを補正しようとするものである。しかし、動き補償の困難の程度はこれら3つの要因が加算的に影響するのではなく最も影響の大きい要素の影響が支配的になる傾向が強い。従って3つのオフセット値の最大値を採用することで適切なブロック歪み除去が実現できる。
またこれらは動き補償に起因するブロック歪みに関する歪みの低減処理であるが、被圧縮映像がIピクチャーの場合は動き補償処理が行われない。3つのオフセット値の中でOffsetAGCの値は動き補償に起因するブロック歪だけではなく圧縮符号化処理部11の困難の程度に起因するブロック歪にも影響する。従ってIピクチャーの場合はOffsetAGCの値のみを残し、OffsetZOOMの値とOffsetEVの値とを0に変更することで過度のデブロック処理がかかってしまう副作用を防止することができる。
一方、難易度検出部17が求めたデブロックフィルタ強度条件基本値は、被圧縮映像のもつ情報量の程度など圧縮符号化処理部11の困難の程度に起因して発生するブロック歪みを除去しようとするものである。これはカメラ制御の状態や動き補償処理の困難の程度とは関係が薄く、どちらかが支配的になるのではなく、ブロック歪みに対して加算的影響をもつものである。従ってカメラ情報より選択決定したオフセット値にデブロックフィルタ強度条件基本値を加算することで適切なブロック歪み除去を実現することができるものである。
なお、被圧縮映像がBピクチャーである場合、デブロックフィルタ13は上述したように休止しているが、デブロックフィルタ強度条件を再生時に使用できるようにするため、デブロックフィルタ制御部13はBピクチャーの場合にも上記デブロックフィルタ強度条件を決定してストリーム生成部16に供給している。
また、図8でデブロックフィルタ強度条件FilterOffsetA、FilterOffsetBは同じ値を採用するとしたが異なる値を採用しても良い。FilterOffsetBを小さくするとブロック内部の情報量が多い場合にデブロックフィルタ13の処理がかかりにくくなる。従ってFilterOffsetA、FilterOffsetBの具体的数値の設定、比率の設定を調節することで光学系1や撮像部5のS/N比や解像度などの装置固有の性能に適合させることができる。
なお、図1に示した本実施形態の動作では、カメラ制御情報としてズーム情報とEV情報とAGC情報との3種類を用いてその動作を説明したが、合焦動作の情報など他のカメラ情報を利用する構成としても良い。
本実施形態ではデブロックフィルタ制御部が、図3Aおよび図3Bに示した自動的なデブロックフィルタの強度調節ではデブロック強度が不足する場合に、その補強としてカメラ制御情報からFilterOffsetA、FilterOffsetBを設定して不足分を補う動作を説明した。逆に自動的なデブロックフィルタの強度調節ではデブロック効果が効きすぎる場合にその抑制として作用させても良い。
以上のように本実施形態によれば、カメラ制御により参照画像に発生するブロック歪みを的確かつ大幅に除去することができる。
また、デブロックフィルタ制御部18がズーム動作制御情報を用いてデブロックフィルタ13を制御することにより、ズーム動作の場合に発生する特に顕著なブロック歪みを確実に除去することができる。
また、露出情報(露光指数EV)を用いることにより、露出状態が変化する場合に発生する特に顕著なブロック歪みを確実に除去できる。
なおかつカメラ制御情報の複数の要素それぞれから求めたブロックフィルタ強度条件の最大値を採用する構成によりデブロックフィルタ13の強度を過剰に効かせすぎて参照画像の解像度やディテールを損ねることがない。
また、デブロックフィルタ13の強度の程度を適切な値に設定し、光学系制御の終了直後に発生するブロック歪みまで除去できる。被圧縮画像がイントラスライスの場合は、デブロックフィルタ制御部18は、カメラ制御情報のうちズーム動作制御情報と露出情報とを用いずにデブロックフィルタ強度条件を設定する。これによりカメラ制御の影響を受けにくいIピクチャーに過度のデブロックフィルタを掛けて解像度を損ねる副作用も防止できる。また、これにより特に大きなブロック歪みを発生しやすいズーム速度が速い場合や露光量変化速度が速い場合に、よりデブロックフィルタをきつく掛けるように制御することが可能になる。つまりカメラ制御動作に依存するブロック歪みの発生が特に顕著である参照画像との相関による動画圧縮の場合に限定してデブロックフィルタ強度条件を制御することが可能になる。
また本発明によれば、カメラ制御とは無関係の映像条件により発生するブロック歪みの除去も効果的に組み合わせて実現することも出来る。そのためデブロック処理の強度が不足してブロック歪みが目立つことが無く、逆に過剰になって解像度、ディテールを失うこともなく、常に適正なブロック歪み除去を実現して、参照画像の画質を大幅に改善できる。そして、参照画像の画質改善により動き補償処理部10の残差データが減少して量子化指標qPが改善されるから総合的に圧縮映像の画質を大きく改善できる。また、本実施形態で最適に制御されたデブロックフィルタ強度条件はストリーム生成部16で圧縮ストリームに埋め込まれているから、再生時にも記録時の最適なデブロック処理が再現でき高画質が実現できる。
本発明にかかる動画像圧縮装置は、カメラ制御情報を利用して参照画像にかかるデブロックフィルタ処理の強度を制御して常に適切なブロック歪み除去を実現するものであるから、MPEG−4 AVC/H.264規格など、参照画像にブロック歪み除去を行う機構を有する動画像圧縮を行う装置に適応できる。
1 光学系
2 絞り
3 レンズ
4 撮像素子
5 撮像部
6 アンプ
7 信号処理部
8 カメラ制御部
9 動画圧縮部
10 動き補償処理部
11 圧縮符号化処理部
12 復号処理部
13 デブロックフィルタ
14、15 参照画像メモリ
16 ストリーム生成部
17 難易度検出部
18 デブロックフィルタ制御部
100 動画像圧縮装置