JP4682990B2 - カメラ画像圧縮処理装置及び圧縮処理方法 - Google Patents

Description

本発明はカメラ画像圧縮処理装置及び圧縮処理方法に係り、特に撮影画像をデジタルデータに変換して画像圧縮処理を行ったのちデータ伝送あるいは記録媒体への記録を行うためのカメラ画像圧縮処理装置及び圧縮処理方法に関する。

従来、工場等の監視装置では、所定の監視区域を映像に撮るためにビデオカメラを設置して必要な監視区域の映像を得ている。特に広いフロアを監視する場合、複数のビデオカメラを所定の角度に設置して全体の監視映像を得る方法があるが、この場合多数のビデオカメラが必要となり、コストパフォーマンスに難点がある。そこで、魚眼レンズ（fish‐eye lens）のような超広角レンズを用いて、低コストでより広範囲の監視が行えるような監視システムが提案されている（例えば、特許文献１参照）。

超広角レンズによる撮影画像は、画面フレームの中心部は拡大され、フレーム周辺部は縮小されたような画像になるのが特徴である。この画面フレーム内の位置によって、撮影被写体が拡大・縮小を起こす様子を、レンズの歪曲収差と呼ぶ。従って、画面フレームの中心部は被写体が高解像度で撮影される代わりに画面上の移動量は大きくなる。一方、フレーム周辺部はその反対に低解像度で撮影される代わりに画面上の移動量は小さい。

なお、歪曲収差を補正してから画像圧縮処理を行うものとして、光学レンズの収差情報を含む光学特性に対して補正を行うことを特徴とする電子スチルカメラが知られている（例えば、特許文献２参照）。

一方、画像圧縮方式について、その基本動作（空間変換、フレーム間予測、量子化、エントロピー符号化）のうちのフレーム間予測について述べると、ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２では動き補償は横方向１６画素、縦方向１６画素（以下、これを１６×１６画素という。他も同様。）ブロック単位で行っていたが、Ｈ.２６４では１６×１６画素、１６×８画素、８×１６画素、８×８画素の４種類のブロックから選択可能になり、更に８×８画素のブロックについては、８×８画素、８×４画素、４×８画素、４×４画素の４種類のサブブロック分割も指定できる。従って、Ｈ.２６４では画像圧縮時に最適な精度を選択するための判定処理が必要になるものの、符号化効率が向上して低転送レートでも画質劣化の少ない効果があることが確認されている。

一般に画像圧縮では、画像圧縮データの転送速度を一定に設定した場合、動き補償の精度と画像の解像度の高低とは相反する関係にある。すなわち、動き補償の精度が細かい場合（換言すると、動き補償の検出精度をより細かな画素単位で行う場合）は、予測画像の品質が向上するが画像の解像度は低くなり、動き補償の精度が粗い場合（換言すると、動き補償の検出精度をより大まかな画素単位で行う場合）は、予測画像の品質は劣化するものの画像の解像度は高くなる。

特開平１１−３５５７６３号公報 特開平０６−３１９１０６号公報

上記特許文献１記載の監視システムでは、超広角レンズにより撮影した画像をＶＴＲにより磁気テープに記録し、ＶＴＲにより磁気テープから再生した画像データから特定の画面位置の画像について画像処理を行って超広角レンズの歪曲収差による画面の歪みを修正して画面出力する監視システムについて開示している。

しかしながら、この特許文献１記載の監視システムによれば、ＶＴＲにより記録される画像については、超広角レンズで撮影された画像をそのまま記録しており、超広角レンズの歪曲収差に対する補償は何ら実施されていない。

一方、特許文献２記載の電子スチルカメラでは、歪曲収差を補正してから画像圧縮処理を行うものであるが、歪曲収差の補正により画像周辺部の画像領域伸長を行った部分、及び画像中心部の画像領域圧縮を行った部分に、それぞれ同一のパラメータによる画像圧縮処理を行うと、画面中心部は領域圧縮により画像解像度の劣化が少なく、また動きベクトル量が収縮される一方、画面周辺部では領域伸長による解像度の劣化及び動きベクトル量の拡大が発生するため、画像圧縮処理を行うことで画面周辺部の画像情報が画面中心部に比べて著しく劣化する。

本発明は以上の点に鑑みなされたもので、超広角レンズで撮影した撮像データをデジタルデータ化し、画像圧縮処理を行う場合に、超広角レンズのもつ歪曲収差特性情報を基に画像圧縮時の設定値を増減させることにより、画面フレーム上の中心部では動き補償の検出精度を高くして、被写体の動きにすばやく追従するように画像圧縮を行い、一方画面フレーム上の周辺部では動き補償の検出精度を低くして、被写体の動きには反応しにくい代わりに画像圧縮による解像度の劣化を抑えるように、画面中心部と画面周辺部の解像度のバランスをできるだけ維持したまま画像圧縮を行うことで、画面全体で高品位の画像圧縮データを得るカメラ画像圧縮処理装置及び圧縮処理方法を提供することを目的とする。

上記目的を達成するため、本発明のカメラ画像圧縮処理装置は、超広角レンズで集光された被写体からの入射光を撮像素子で光電変換して得た撮像信号を、デジタル画像データに変換した後、所定の画素数のブロック単位で動き補償フレーム間予測処理を適用したデジタル画像データの圧縮符号化処理を行って圧縮画像データを生成するカメラ画像圧縮処理装置において、画面フレームに対して圧縮符号化処理におけるブロック単位でエリア分割し、その分割エリア毎に動き補償フレーム間予測処理における選択範囲を基にステップ化した超広角レンズの歪曲収差特性データを予め記憶した記憶手段と、記憶手段から読み出した歪曲収差特性データに基づき、動き補償フレーム間予測処理における動き補償の検出精度を可変するための制御信号を生成して出力する制御手段と、デジタル画像データの圧縮符号化処理を行う際に、デジタル画像データの符号化対象ブロックの画面フレームにおける分割エリアの位置に対応した歪曲収差特性データに基づき生成された制御手段からの制御信号に基づいて、符号化対象ブロックの位置が画面フレームの中心部よりも周辺部のエリア位置であるほど、動き補償フレーム間予測処理における動き補償の検出精度を低く設定して圧縮符号化処理を行う画像圧縮手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明のカメラ画像圧縮処理方法は、超広角レンズで集光された被写体からの入射光を撮像素子で光電変換して得た撮像信号を、デジタル画像データに変換した後、所定の画素数のブロック単位で動き補償フレーム間予測処理を適用したデジタル画像データの圧縮符号化処理を行って圧縮画像データを生成するカメラ画像圧縮処理方法において、画面フレームに対して圧縮符号化処理におけるブロック単位でエリア分割し、その分割エリア毎に動き補償フレーム間予測処理における選択範囲を基にステップ化した超広角レンズの歪曲収差特性データを記憶手段に記憶する第１のステップと、記憶手段から読み出した歪曲収差特性データに基づき、動き補償フレーム間予測処理における動き補償の検出精度を可変するための制御信号を生成して出力する第２のステップと、デジタル画像データの圧縮符号化処理を行う際に、デジタル画像データの符号化対象ブロックの画面フレームにおける分割エリアの位置に対応した歪曲収差特性データに基づき第２のステップで生成された制御信号に基づいて、符号化対象ブロックの位置が画面フレームの中心部よりも周辺部のエリア位置であるほど、動き補償フレーム間予測処理における動き補償の検出精度を低く設定して圧縮符号化処理を行う第３のステップとを含むことを特徴とする。

本発明のカメラ画像圧縮処理装置及び圧縮処理方法では、画面フレームに対して圧縮符号化処理におけるブロック単位でエリア分割し、その分割エリア毎に動き補償フレーム間予測処理における選択範囲を基にステップ化した超広角レンズの歪曲収差特性データを予め記憶しておき、画像データの圧縮符号化処理を行う際に、画像データの符号化対象ブロックの画面フレームにおける分割エリアの位置に対応した歪曲収差特性データに基づき生成された制御信号に基づいて、符号化対象ブロックの位置が画面フレームの中心部よりも周辺部のエリア位置であるほど、動き補償フレーム間予測処理における動き補償の検出精度を低く設定して圧縮符号化処理を行うようにしたため、画像データの圧縮符号化処理の際に、画面フレームの中心部では動き補償の検出精度を高くして、被写体の動きにすばやく追従するように画像圧縮を行い、一方画面フレームの周辺部では動き補償の検出精度を低くして、被写体の動きには反応しにくい代わりに画像圧縮による解像度の劣化を抑えることができる。

本発明によれば、画像データの圧縮符号化処理の際に、画面フレームの中心部では動き補償の検出精度を高くして、被写体の動きにすばやく追従するように画像圧縮を行い、一方画面フレームの周辺部では動き補償の検出精度を低くして、被写体の動きには反応しにくい代わりに画像圧縮による解像度の劣化を抑えるようにしたため、画面中心部と画面周辺部の解像度のバランスをできるだけ維持したまま画像圧縮を行うことができ、画面全体で高品位の画像圧縮データを得ることができる。

また、本発明によれば、動き補償の検出精度を可変させているが、画面フレーム内で可変させているだけで時間軸方向には可変しておらず、かつ、画面フレーム上での変化位置は固定であるため、動き補償の検出精度固定の方式に比べて画像処理回路への負荷の増加は殆ど無い。

次に、本発明を実施するための最良の形態について図面に基づいて詳細に説明する。図１は本発明になるカメラ画像圧縮処理装置の一実施の形態の要部のブロック図を示す。同図において、本実施の形態は、被写体からの入射光を集光する少なくとも画角が９０°以上の超広角レンズ１と、超広角レンズ１で集光されて撮像面に結像された被写体像を光電変換して撮像信号を出力するＣＣＤ（Charge Coupled Devise;電荷結合素子）などからなる撮像素子２と、撮像素子２からの撮像信号をデジタルデータである画像データに変換するＡ／Ｄ変換器３と、Ａ／Ｄ変換器３からの画像データを例えばＨ.２６４による圧縮符号化方式により圧縮符号化する画像圧縮処理装置４とより構成されている。

また、画像圧縮処理装置４は、Ａ／Ｄ変換器３からの画像データが書き込まれるバッファメモリ４ａと、後述するＣＰＵ（中央処理装置）４ｄからのデータを受けて画像圧縮処理を行う画像圧縮回路４ｂと、超広角レンズ１の歪曲収差特性データを予め記憶すると共に、ＣＰＵ４ｄに所定の動作を実行させるためのプログラムを記憶しているメモリ４ｃと、メモリ４ｃからの歪曲収差特性データを受けて画像圧縮時の動き補償の設定値を可変するためのＣＰＵ４ｄとからなる。

次に、この実施の形態の動作について説明する。いま、図３に示すような格子状パターンの被写体を図１の超広角レンズ１で受光し、撮像素子２で撮影した場合、撮像素子２から出力される撮像信号は例えば図４に示すような画面フレームの中心部は拡大され、画面フレーム周辺部は縮小されたような歪曲した画像となる。このように超広角レンズ１の像倍率の差により撮像画像の歪み（歪曲収差）が発生する。

本実施の形態では、この歪曲収差特性を予め測定し、画面フレームに対して画像圧縮における所定のブロック単位でエリア分割し、さらに動き補償フレーム間予測処理における選択範囲を基にステップ化した歪曲収差特性データを、分割したエリア毎に例えば図２のような値として、図１のメモリ４ｃに予め記憶する。なお、図２中のａ〜ｅは、各ブロックにおけるステップ化された歪曲収差特性データ値を示したものであり、画面フレーム中心部では歪曲収差特性データ値はａであり、画面フレーム周辺部では歪曲収差特性データ値はｅである。図４の歪曲収差特性による像の歪みに対応する形で、歪曲収差特性データ値が設定されている。

図１において、超広角レンズ１で受光され、撮像素子２によって光電変換により得られた撮像信号は、Ａ／Ｄ変換器３によって画像データにデジタル化され、画像圧縮処理装置４に入力される。この画像圧縮処理装置４において、入力された撮影画像データは一旦バッファメモリ４ａに格納された後、画像圧縮回路４ｂにおいて撮影画像データの画素ブロック単位で画像圧縮処理が行われる。この時、圧縮処理を行うブロック毎に、超広角レンズ１の歪曲収差特性をブロック単位でステップ化してデータ化した歪曲収差特性データ値を記憶したメモリ４ｃから、ＣＰＵ４ｄが該当するブロックに当たる歪曲収差特性データ値を読み出し、読み出した歪曲収差特性データ値からＣＰＵ４ｄにより動き補償の設定値（動き補償の検出精度）を可変させるための制御信号を生成して、画像圧縮回路４ｂに供給して動き補償の検出精度の可変制御を行う。

画像圧縮回路４ｂは、バッファメモリ４ａから供給される画像データに対して、公知のＨ.２６４に基づいて、画像データを所定の画素数からなるブロック毎に分割し、各ブロック単位で空間変換、動き補償フレーム間予測、量子化、エントロピー符号化により圧縮符号化を行うが、そのうちの動き補償フレーム間予測では、良く知られているように、ブロック単位で符号化対象画像データと、符号化済みの符号化画像データを局部復号して得られた参照画像データのうち符号化対象画像データに類似しているブロックとの間の差分情報を求め、符号化対象画像データのブロックと符号化対象画像データに類似しているブロックとの相対位置を示す動きベクトルと共に上記の差分情報を符号化する。

ここで、画像圧縮回路４ｂは、上記の動きベクトルを求める際に、ＣＰＵ４ｄの制御の下に、画像データの符号化対象ブロックの画面フレームにおける位置が、図２に示した各分割エリアのうちのどの分割エリアであるかに応じて、その分割エリアに割り当てられた上記の歪曲収差特性データ値に基づいて、動きベクトルを検出する画素ブロック単位のサイズを変更設定することで、動き補償の検出精度単位を変化させる。

このとき、超広角レンズ１を用いて撮像した時に動きが大きく写る画面中心部では、被写体の動きにすばやく追従するように動き補償の検出精度単位を例えば１／４画素精度などのような、より細かな画素ブロック単位の高精度で行って予測画像の品質を向上させるが、その品質向上の分符号量も増加するので、解像度に当たる画像情報を削減（フィルタリングによる情報削減）し、他方、動きが大まかに写る画面周辺部にいくほど、動き補償の検出精度単位をおおまかな画素ブロック単位の精度で行って予測画像の品質を低下させ、その品質低下の分符号量も減少するので、解像度に当たる画像情報を増加させて解像度劣化を抑える。図５は本実施の形態の動き検出情報と画像情報との符号量の割合の概念図を示す。横軸は画面位置、縦軸は符号量である。

このようにして、画像圧縮回路４ｂにて画面中心部はやや解像度が低いが被写体の動きが滑らかであり、かつ、画面周辺部ほど解像度はあるが被写体の動きがやや大まかな、画面中心部と画面周辺部の解像度のバランスをできるだけ維持した、画面全体で高品位の画像圧縮データが得られる。なお、本実施の形態では動き補償の検出精度を可変させているが、画面フレーム内で可変させているだけで時間軸方向には可変しておらず、かつ、画面フレーム上での変化位置は固定であるため、動き補償の検出精度が固定の方式に比べて画像処理回路への負荷の増加はほとんど無い。

この画像圧縮データは、図示しない記憶装置に記憶されたり、あるいは図示しないネットワークを介して配信されたりする。この画像圧縮データは、本方式の画像圧縮の復号のみを行った場合にモニタに表示される画像はレンズの歪曲収差特性を帯びた画像となるが、このとき得られる画像は、画面中心部では動き検出精度を高くすることで被写体の動きによる画像ブレが少なく、画面周辺部では解像度の劣化を抑えるようにするため、被写体の認識が行いやすいものとなる。また、前記特許文献１に記載された方法で画像圧縮／伸長されることで超広角レンズ１の歪曲収差を取り除いた画像とした後にモニタに表示する場合、画面中心部は領域圧縮されて解像度感が向上し、画面周辺部は領域伸長されるものの、本実施の形態により元から解像度を保持しているので、伸長しても十分高品位であり、従って画面全体が平均的な解像度感のある画像となる。

なお、メモリ４ｃに記憶される歪曲収差特性データは、超広角レンズ１の持つ歪曲収差特性に基づくものであるため、超広角レンズ１を別のレンズに交換した場合は、メモリ４ｃに記憶された歪曲収差特性データ値を改めて実測し、記憶し直すか、あるいは、メモリ４ｃを、新たに交換する超広角レンズに基づく歪曲収差特性データを記憶した別のメモリと交換する必要がある。

なお、本発明は上記の実施の形態に限定されるものではなく、例えば、歪曲収差を取り除く画像圧縮／伸長を行うことを前提とした場合は、解像度及び動き補償の検出精度共に画面中心部は平均設定値よりも低く設定し、画面周辺部ほど平均設定値よりも高く設定するようにしてもよい。この設定により、画面周辺部の領域伸長に伴う解像度の劣化と画像の動きによるブレとの双方による画質の劣化を補償できる。この場合の動き検出情報と画像情報との符号量の割合の概念図を図６に示す。横軸は画面位置、縦軸は符号量である。ただし、この図６は分かり易くするために符号量の配分を極端に変えて図示している。

本発明のカメラ画像圧縮処理装置の一実施の形態の要部のブロック図である。 図１中のメモリに記憶する光学レンズの歪曲収差特性データ値を、画面フレーム上に置換えて表した一例の図である。 超広角レンズを用いた撮像装置で撮像する被写体の一例を示す図である。 超広角レンズを用いた撮像装置で図３の被写体を撮影したときに得られる撮影画像を示す図である。 本発明による動き検出情報と画像情報との符号量の割合の一例の概念図である。 本発明による動き検出情報と画像情報との符号量の割合の他の例の概念図である。

符号の説明

１ 超広角レンズ
２ 撮像素子
３ Ａ／Ｄ変換器
４ 画像圧縮処理装置
４ａ バッファメモリ
４ｂ 画像圧縮回路
４ｃ メモリ
４ｄ ＣＰＵ（中央処理装置）

Claims (2)

1. 超広角レンズで集光された被写体からの入射光を撮像素子で光電変換して得た撮像信号を、デジタル画像データに変換した後、所定の画素数のブロック単位で動き補償フレーム間予測処理を適用した前記デジタル画像データの圧縮符号化処理を行って圧縮画像データを生成するカメラ画像圧縮処理装置において、
   画面フレームに対して前記圧縮符号化処理における前記ブロック単位でエリア分割し、その分割エリア毎に前記動き補償フレーム間予測処理における選択範囲を基にステップ化した前記超広角レンズの歪曲収差特性データを予め記憶した記憶手段と、
   前記記憶手段から読み出した前記歪曲収差特性データに基づき、前記動き補償フレーム間予測処理における動き補償の検出精度を可変するための制御信号を生成して出力する制御手段と、
   前記デジタル画像データの前記圧縮符号化処理を行う際に、前記デジタル画像データの符号化対象ブロックの画面フレームにおける前記分割エリアの位置に対応した前記歪曲収差特性データに基づき生成された前記制御手段からの前記制御信号に基づいて、前記符号化対象ブロックの位置が前記画面フレームの中心部よりも周辺部のエリア位置であるほど、前記動き補償フレーム間予測処理における動き補償の検出精度を低く設定して圧縮符号化処理を行う画像圧縮手段と
   を有することを特徴とするカメラ画像圧縮処理装置。
2. 
   超広角レンズで集光された被写体からの入射光を撮像素子で光電変換して得た撮像信号を、デジタル画像データに変換した後、所定の画素数のブロック単位で動き補償フレーム間予測処理を適用した前記デジタル画像データの圧縮符号化処理を行って圧縮画像データを生成するカメラ画像圧縮処理方法において、
   画面フレームに対して前記圧縮符号化処理における前記ブロック単位でエリア分割し、その分割エリア毎に前記動き補償フレーム間予測処理における選択範囲を基にステップ化した前記超広角レンズの歪曲収差特性データを記憶手段に記憶する第１のステップと、
   前記記憶手段から読み出した前記歪曲収差特性データに基づき、前記動き補償フレーム間予測処理における動き補償の検出精度を可変するための制御信号を生成して出力する第２のステップと、
   前記デジタル画像データの前記圧縮符号化処理を行う際に、前記デジタル画像データの符号化対象ブロックの画面フレームにおける前記分割エリアの位置に対応した前記歪曲収差特性データに基づき前記第２のステップで生成された前記制御信号に基づいて、前記符号化対象ブロックの位置が前記画面フレームの中心部よりも周辺部のエリア位置であるほど、前記動き補償フレーム間予測処理における動き補償の検出精度を低く設定して圧縮符号化処理を行う第３のステップと
   を含むことを特徴とするカメラ画像圧縮処理方法。

Images