JP5081729B2 - 画像符号化装置 - Google Patents

Description

本発明は、画像情報の符号化装置に関わり、特に被写体の照度が低いときに撮影した画像を、リアルタイムで符号化する場合の画質劣化の低減に関する。

映像監視分野では、昼間、夜間を問わず監視映像を２４時間、遠隔監視するようなシステムが普及している。例えば、交通状況を監視する交差点や夜間には人通りがまばらな場所に設置された監視カメラが取得する監視映像を、監視（モニタリング）を行なうセンタに監視映像を送信する場合には、その監視映像は、FPU（ Field Pickup Unit ）等の中継伝送装置を使って送信されるか、若しくはネットワーク等の伝送路を使ってセンタに送信される。
このような中継伝送装置若しくはネットワーク等の伝送路は、送信されるチャンネルで使用可能な伝送路帯域幅が制限されている。このため、監視カメラ側では、撮影した映像を中継伝送装置若しくは伝送路で許容される伝送ビットレートまで圧縮して送っているのが普通である。これら監視映像の圧縮には、例えば、MPEG-2 符号化方式や H.264 符号化方式が採用されている。

MPEG-2 方式や H.264 方式等による画像符号化方式では、符号化の際、イントラ予測を行うイントラ予測部と、動き補償予測を行う動き補償予測部によって参照予測画像を生成する。イントラ予測とは、フレーム間予測を用いないマクロブロックに対して、上側や左側に隣接する隣接画素をもとに予測画像を生成し、その予測画像との差分を符号化する予測方法である。一方、動き補償予測とは、時間軸方向に前後するフレームを探索して必要な予測画像を生成し、入力画像とその予測画像との差分を符号化する方法である。イントラ予測による符号化ピクチャを I ピクチャ（イントラ符号化フレーム）、また、動き補償予測を使った符号化したピクチャを P ピクチャ、B ピクチャ（時間軸方向に前後の参照予測画像をもとに符号化したピクチャを B ピクチャ（双方向予測符号化フレーム）、それ以外を P ピクチャ（順方向予測符号化フレーム））とよび、IPB と呼ばれる符号化ピクチャ構造を持つ上記画像符号化方式は、動画に適した符号化方式と認識されている。

符号化ピクチャ構造を決定するイントラ予測部と動き補償予測部の動作を切替えるための選択制御は、設定されたビットレートをもとに一定の周期で I ピクチャが挿入されるようにイントラ予測部を周期的に選択したり、若しくは入力画像をもとに動きベクトルを算出する。例えば、動きが少ないシーンでは優先的に前後のフレームを使った長い予測間隔（動き補償予測部）を優先的に選択して P ピクチャ若しくは B ピクチャを多く生成し、一方、動きが激しいシーンではフレーム内の短い予測間隔（イントラ予測部）を優先的に選択して I ピクチャを生成すると言うように、入力画像のシーン変化に合わせて効率的に符号化ピクチャ構造を変更する方法がとられている。

特開平５−２９２４８１号公報

ところで、近年、監視映像を撮影するテレビカメラには、照度の低い被写体を鮮明に映し出すために、カメラ内部で輪郭強調処理や、強制的に信号感度を上げるための AGC（ Automatic Gain Control ）処理といった自動補正を行なうテレビカメラも出現している。これら自動補正機能を有するテレビカメラを交差点等に設置して、交通量の少ない夜間の監視をした場合には、テレビカメラは自動的に感度を上げようとする。即ち、カメラ内部の自動補正機能が働き、例えば、輝度信号や色差信号レベルのゲインを上げる AGC 処理機能が動作を開始する。
この場合、信号レベルのゲインが上がると同時に、これまでは目立たなかった輝度信号や色差信号に重畳していたノイズ成分も大きくなり、画面一様に雑音ノイズが目立ち始め、結果的にノイズっぽい映像出力となる。このため、シーンとしては動きが少ない映像に見えてしまう。

このような映像を MPEG-2 符号化方式若しくは H.264 符号化方式で符号化圧縮した場合には、シーンとしては動きが少ないため、前後のフレームを使った長い予測間隔が優先的に選択されることになる。このため、ノイズ成分だけが、前フレームからの変化分として符号化されることになる。この結果、センタ側で再生された復号映像が、著しく劣化したものとなっていた。そこで、夜間のように、暗闇でも画質劣化の少ない画像符号化装置、若しくは画像符号化方法を実現することが望まれている。

特許文献１は、送信すべき映像を量子化する際に、フレーム内処理若しくはフレーム間処理のどちらが効率的かを判定し、より効率的な処理にて量子化が行われてその量子化された画像データに対して可変長符号化を施す場合に、複数の符号化テーブルを用意して最短の平均符号長を選ぶようにしている。しかし、本願発明のように、照度の低い被写体の映像を鮮明に映し出すために、画質劣化の少ない画像符号化を実現しようとするものではない。
本発明は、被写体の照度が低い特定の監視環境下においては、カメラ内部での補正機能によるノイズ成分の増加に起因して発生する圧縮画像の劣化を抑え、画質劣化の少ない映像を提供することを目的とする。

上記の目的を達成するために、本発明は、符号化部の前段に設けられたカメラ部からの補正信号（補正情報）に応じて、当該フレームの被写体照度が低く不明瞭な画像と判断した場合には、選択部の制御を変更し、フレーム間で符号化情報（主にノイズ成分）が伝播しないイントラ予測を強制的に選択し、監視センタ側で送信されてきたノイズ成分の蓄積による復号画像に画質劣化を避けるようにするものである。

即ち、本発明の画像符号化装置は、テレビカメラが被写体を撮像して得られた映像信号を入力し、入力された映像信号をイントラ予測してイントラ符号化フレームを生成するイントラ予測部と動き補償予測を行い予測符号化フレームを生成する動き補償予測部とを備え、入力された映像信号を１フレーム毎にイントラ符号化フレーム若しくは予測符号化フレームのいずれかに符号化して出力する画像符号化装置において、上記被写体を撮像して得られた映像信号の１フレーム毎の輝度信号の１フレーム毎の最大値と最小値の差が所定の第１の値より小さい場合、若しくは平均値が所定の第２の値より小さい場合のいずれかの場合には、当該フレームの映像信号から上記イントラ符号化フレームを生成して出力するものである。
また、本発明の画像符号化装置は、低照度時に感度アップ動作をするテレビカメラが被写体を撮像して得られた映像信号を入力し、入力された映像信号をイントラ予測してイントラ予測画像を生成するイントラ予測部と動き補償予測を行い動き予測画像を生成する動き補償予測部と、入力された映像信号をマクロブロック毎にイントラ予測画像若しくは動き予測画像のいずれかを選択する選択部と、を備え、上記選択された予測画像と入力画像との差分を符号化して出力する画像符号化装置において、上記テレビカメラが上記感度アップ動作をしていることを示す信号が上記映像信号とは別に入力されると、上記選択部は、フレーム単位若しくはフレームを所定の大きさに分割したサブフレーム単位で、上記イントラ予測画像を選択するように強制されるものである。

また即ち、本発明の画像符号化装置は、テレビカメラが被写体を撮像して得られた映像信号を入力し、入力された映像信号をイントラ予測してイントラ符号化フレームを生成するイントラ予測部と動き補償予測を行い予測符号化フレームを生成する動き補償予測部とを備え、入力された映像信号を１フレーム毎にイントラ符号化フレーム若しくは予測符号化フレームのいずれかに符号化して出力する画像符号化装置において、上記テレビカメラがゲインコントロール機能によってゲインを上げた場合には、当該ゲインを上げたフレームの映像信号を上記イントラ符号化フレームを生成して出力するものである。

本発明によれば、テレビカメラから送信された圧縮符号化画像について、ノイズ成分の蓄積による復号画像の画質劣化を防ぐことができる。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、各図において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略する。

本発明を説明する前に、先ず、H.264 符号化方式について、図３を用いて説明する。図３は従来の画像符号化装置の構成例を示すブロック図である。図３の画像符号化装置は、例えば、H.264 符号化方式による符号化を行う。350 は撮像装置（テレビカメラ）、300 は画像符号化装置、51 はテレビカメラ 350 の撮像部、52 はテレビカメラ 350 の信号補正部、101 は画像符号化装置 300 の入力 I/F（ Interface ）部、102 は画像符号化装置 300 の出力 I/F（ Interface ）部、3 は画像符号化装置 300 のマクロブロック分割（ MB 分割）部、4 は画像符号化装置 300 の減算部、5 は画像符号化装置 300 の直交変換部、6 は画像符号化装置 300 の量子化部、7 は画像符号化装置 300 の画像符号化装置 300 の可変長符号化部、8 は画像符号化装置 300 の逆量子化部、9 は画像符号化装置 300 の逆直交変換部、10 は画像符号化装置 300 の加算部、11 は画像符号化装置 300 のデブロッキングフィルタ部、12 は画像符号化装置 300 の記憶部、13 は画像符号化装置 300 の動き補償予測部、14 は画像符号化装置 300 のイントラ予測部、15 は画像符号化装置 300 の選択部、16 は画像符号化装置 300 の動き検出部である。

図３において、テレビカメラ 350 の撮像部 51 は、視野範囲内の被写体を撮像し、電気信号に変換して信号補正部 52 に出力する。信号補正部 52 は、入力された電気信号に AGC（ Automatic Gain Control ）処理を含む映像信号の所定の補正処理を行い、信号補正した映像信号を画像符号化装置 300 の入力 I/F 部 101 に出力する。
画像符号化装置 300 の入力 I/F 部 101 には、映像信号が、輝度信号成分 Y と２種類の色差信号成分 Cb と Cr の映像データが分離されて入力され、入力 I/F 部 101 を介して MB 分割部 3 に入力される。MB 分割部 3 は、これら入力された輝度信号成分 Y と２種類の色差信号成分 Cb と Cr の映像データを 16 × 16 画素ブロックの輝度信号 Y と 8 × 8 画素ブロックの色差信号 Cb と Cr のマクロブロック（ MB ）単位の符号化対象信号 MBS に変換し減算部 4 の被減算入力端子に出力する。減算部 4 は、これらマクロブロック単位の符号化対象信号 MBS を、後述する予測画像信号 PV で減算し、予測差分画像信号 P△V1 として直交変換部 5 に出力する。

なお、画像符号化装置 300 に入力されて処理される映像データは、16 × 16 画素ブロックの輝度信号 Y と、8 × 8 画素ブロックの色差信号 Cb 及び Cr であり、これら３種類の信号がそれぞれの信号毎に符号化処理される。しかし、説明を簡単にするために以下の説明では、16 × 16 画素ブロックの輝度信号 Y のみを符号化対象として説明する。

直交変換部 5 は、入力された水平方向と垂直方向の画像輝度データを水平方向と垂直方向の周波数スペクトル（空間周波数スペクトル）に変換し量子化部 6 に出力する。量子化部 6 は、空間周波数スペクトルに変換された映像データを量子化し、可変長符号化部 7 と逆量子化部 8 に出力する。
量子化部 6 では、人の視覚特性が高周波成分に鈍感である特性を利用し、高周波成分側と低周波成分側とで量子化の荒さを変え、データ量の削減を行っている。
可変長符号化部 7 は、量子化部 6 で量子化されたデータを符号化して、出力 I/F 部 102 を介して出力する。即ち、マクロブロック（ MB ）単位の符号化対象信号 MBS は、符号量を減少させてから圧縮され、出力 I/F 部 102 から次段の信号処理装置へと伝達される。

一方、逆量子化部 8 は、量子化部 6 において空間周波数スペクトルに変換された映像データを、輝度信号 Y と色差信号 Cb と Cr の変換係数に対し逆量子化処理を行ない、逆直行変換部 9 に出力する。更に、逆直行変換部 9 は、予測差分信号（ P△V1 ）を復元し、再生予測差分信号 P△V2 として加算部 10 に出力する。
加算部 10 は、この再生予測信号 P△V2 と後述する予測画像信号 PV とを加算することにより画像信号を再生し、復号画像信号 RV として、デブロッキングフィルタ部 11 を介して記憶部 12 に出力すると共に、イントラ予測部 14 に出力する。
イントラ予測部 14 に入力された復号画像信号 RV は、選択部 15 を介して減算部 4 の減算入力端子に出力される。そして、前述したように、減算部 4 は、被減算入力端子に入力されたマクロブロック（ MB ）単位の符号化対象信号 MBS から減算入力端子に入力された復号画像信号 RV を減算して、予測差分信号 P△V1 として直交変換部 5 に出力する。

次に、動き補償予測部 13 と動き検出部 16 について説明する。
デブロッキングフィルタ部 11 は、動き補償を行なうために、入力された復号画像信号 RV から、ブロックひずみを除去し、ブロックひずみの除去された復号信号を記憶部 12 に出力する。記憶部 12 は、入力された復号信号を記憶し、この記憶された復号画像信号 RV を、参照画像として動き補償部 13 及び動き検出部 16 に出力する。
動き検出部 16 は、符号化対象信号 MBS を動き検索の対象とする 16 × 16 、16 × 8 、8 × 16 、8 × 8 、8 × 4 、4 × 8 、4 × 4 画素ブロックに分割し、各々のブロックに対し探索を行なう。

図４は、動き検出部（図３の動き検出部 16 参照）の内部の構成例を示すブロック図である。401 は入力端子、402 は出力端子、411 は 16 × 16 ブロック分割部、412 は 16 × 8 ブロック分割部、413 は 8 × 16 ブロック分割部、414 は 8 × 8 ブロック分割部、415 は 8 × 4 ブロック分割部、416 は 4 × 8 ブロック分割部、417 は 4 × 4 ブロック分割部、420 は動きベクトル検索部、421 は 16 × 16 ブロック動きベクトル検索部、422 は 16 × 8 ブロック動きベクトル検索部、423 は 8 × 16 ブロック動きベクトル検索部、424 は 8 × 8 ブロック動きベクトル検索部、425 は 8 × 4 ブロック動きベクトル検索部、426 は 4 × 8 ブロック動きベクトル検索部、427 は 4 × 4 ブロック動きベクトル検索部、430 は動き最適予測画像選択部である。

図４の動き検出部 16 において、例えば、16 × 16 画素ブロックの符号化対象信号 MBS は、入力端子 401 を介して、ブロック分割部 411 〜 417 にそれぞれ入力される。そして、例えば、8 × 8 ブロック分割部 414 では４個のブロックに分割され、その４個のブロックについて参照画像と比較され一致するブロック若しくは類似するブロックを探索する。
16 × 16 画素ブロックの符号化対象信号 MBS を中心として、例えば、縦横 16 画素± 16 画素の範囲を探索範囲とした場合には、分割した 8 × 8 画素ブロックを探索範囲の中を順次画素単位に移動して一致するブロック若しくはもっとも類似するブロックを探索する。つまり、分割した 8 × 8 画素ブロックの各画素の輝度値と探索範囲のなかの 8 × 8 画素ブロックの中の各画素の輝度値との差分値を演算し、8 × 8 画素ブロックの各画素の差分値が最小のものを選択する。このようにして、４個のブロックのすべてについて探索を行なう。

上記のような方法で動きベクトル探索部 420 ではそれぞれの画素ブロック分割部 421 〜 427 での各画素ブロックごとに最小の輝度の差分値が算出されるので、その出力が動き最適画像選択部 430 に出力される。つまり、動きベクトル探索部 420 でそれぞれ探索された７個のブロックが、動き最適画像選択部 430 に供給され、動き最適画像選択部 430 ではこれら７個のブロックから最も差分値の小さい分割ブロックを最適予測画像の分割ブロックとして選択する。
動き最適画像選択部 430 の出力（即ち、動き検出部 16 の出力）である最適予測画像の分割ブロック情報は、出力端子 402 を介して動き補償予測部 13 と選択部 15 に出力される。
動き補償予測部 13 は、動き検出部 16 の動き最適画像選択部 430 の検出結果（最適予測画像の分割ブロック情報）に基づいて最適予測画像を選択し、選択した最適予測画像を選択部 15 を介して減算部 4 と加算部 10 に出力する。

選択部 15 は、先に説明したように動き検出部 16 の動きベクトル探索部 420 での差分値が予め設定していたしきい値よりも大きければ、探索範囲内に対象とする符号化対象信号 MBS と一致するブロック、若しくは類似するブロックは無いと判断し、この場合は動き検出部 16 から出力信号は出ない。この場合は、先に説明したイントラ予測部 14 の出力が選択部 15 で選択され、減算部 4 と加算部 10 に出力される。また、動き検出部 16 の動きベクトル探索部 420 で最も小さい差分値の小さい分割ブロックが選択された場合には、選択部 15 は動き補償予測部 13 の出力を選択し、減算部 4 および加算部 10 に出力する。なお、上記説明では、輝度信号 Y についてのみ説明したが、色差信号については、4 × 4 の固定画素に分割する場合を除き、輝度信号と同様の処理を行なっているので詳細な説明は省略する。
なお、しきい値は、例えば、実験的に、若しくは経験的に決定する。

次に、本発明の一実施形態を図１を用いて説明する。図１は、本発明の画像符号化装置の一実施例の構成を示すブロック図である。150 はテレビカメラ、152 はテレビカメラ 150 の信号補正部、100 は画像符号化装置、115 は画像符号化装置 100 の選択部である。図１の実施例は、図３の従来例に対して、信号補正部 52 を信号補正部 152 に替え、従ってテレビカメラ 350 をテレビカメラ 150 に替えたもので、更に、選択部 15 を選択部 115 に替え、従って、画像符号化装置 300 を本発明の一実施例の画像符号化装置 100 としたものである。他の構成は、図３と同じものには同じ符号が付けられている。

図１に示す本発明の一実施形態の基本的な原理を先ず説明する。
図３で説明した H.264 符号化方式による画像符号化装置 300 では、選択部 15 は、動き検出部 16 の動きベクトル探索部 420 での差分値が予め定めていたしきい値よりも大きければ、探索範囲内に対象とする符号化対象信号 MBS と一致するブロック、若しくは類似するブロックは無いと判断する。
この場合には、動き検出部 16 は、出力信号は出力せず、イントラ予測部 14 の出力を選択し、減算部 4 と加算部 10 に出力する。
また、動き検出部 16 の動きベクトル探索部 420 で最も小さい差分値の小さい分割ブロックが選択された場合には、動き補償予測部 13 の出力を選択し、減算部 4 と加算部 10 に出力する。
また、入力 I/F 部 101 には、テレビカメラが撮像した映像信号が入力されることを説明した。

例えば、監視対象の被写体が２４時間にわたる道路交差点の状況である場合を考える。
昼間は自然光により被写体の照度も高く、交通量が比較的多い状況では、被写体は鮮明に映るため、テレビカメラのゲインアップ等の信号補正機能は動作しない。従って、後段の画像符号化装置には比較的ノイズの少ない映像が入力端子 101 より入力されることになる。この場合には、選択部 15 の動作は画質劣化を起こさない。
一方、夜間は自然光が少なくなり被写体の照度も下がる。そして、交通量がほとんどなくなった状況では、被写体を鮮明に映すために、テレビカメラは映像信号のゲインを上げるように信号補正機能が動作する。この時、映像信号のゲインの上昇に伴い、映像信号に重畳されていたノイズ成分も大きくなる。このため、画像符号化装置にはノイズが一様に目立つが、動きの少ない映像が入力されることになる。この結果、画像符号化装置における選択部 15 は、動き検出部 16 の動きベクトル探索部 420 での差分値が、予め定めていたしきい値よりも小さい場合には、探索範囲内に対象とする符号化対象信号 MBS と一致するブロック若しくは、類似するブロックがあると判断し、動き検出部 16 から出力信号を出し、主にノイズ成分だけが符号化されて監視センタ側へ送られる。このため、監視センタ側では、画質劣化の著しい復号画像が再生されることになる。

そこで、本発明の画像符号化装置は、図１に示すように、被写体像を電気信号に変換する撮像部 51 と、撮像部 51 から供給される電気信号に対し、感度アップを目的としたゲイン調整を行なう信号補正部 152 からなるテレビカメラ（撮像装置）150 を用い、信号補正部 152 の処理内容（ゲイン調整）の情報をテレビカメラ 150 から画像符号化装置 100 に出力し、画像符号化装置 100 の動き検出部 16 における動き検出結果に応じて選択制御を決定するものである。

図１の実施例において、信号補正部 152 は、撮像部 51 から入力されるそれぞれのフレーム毎に、輝度信号の最大値と最低値の差が予め設定した所定のしきい値よりも小さいか否かを判定する。そして、輝度信号の最大値と最低値の差が予め設定した所定のしきい値よりも小さい場合には、当該フレームの被写体照度が低い不明瞭な画像であると判断し、輝度信号と色差信号のゲインを上げた映像を画像符号化装置 100 に出力する。またそれと共に、テレビカメラ 150 の信号補正部 152 は、ゲイン調整の処理内容の情報（補正情報 p：即ち、各フレーム毎に、輝度信号の最大値と最低値の差が予め設定した所定のしきい値よりも小さいか否かの情報）を画像符号化装置 100 に出力する。
画像符号化装置 100 の選択部 115 は、テレビカメラ 150 の信号補正部 152 から入力された補正情報 p と、動き検出部 16 が検出した動き検出結果とに応じて選択制御を決定する。
即ち、例えば、信号補正部 152 は、当該フレームは被写体照度が低く不明瞭と判断した場合には、補正情報 p として、“ HI ”信号を出力し、否の場合には、補正情報 p として、“ LO ”信号を出力する。選択部 115 は、もし、補正情報 p として“ HI ”信号が入力された場合には、フレーム間で符号化情報（主にノイズ成分）が伝播しないイントラ予測を強制的に選択し I ピクチャを生成して、監視センタ側に送信する。これによって、監視センタ側では、送信されてきた映像について、ノイズ成分の蓄積による復号画像に画質劣化を防ぐことができる。また、選択部 115 は、もし、補正情報 p として“ LO ”信号が入力された場合には、周知（従来）の通常の符号化処理を実行して生成した画像（ I ピクチャ、P ピクチャ、若しくは B ピクチャ）を、監視センタ側に送信する。

なお、上記実施例では、信号補正部 152 は、当該フレームの被写体照度が低く不明瞭と判断した場合には、補正情報 p として、“ HI ”信号を出力し、否の場合には、補正情報 p として、“ LO ”信号を出力した。しかし、信号補正部 152 は、当該フレームの被写体照度が低く不明瞭と判断した場合だけ、補正情報 p を出力し、否の場合には補正情報 p を出力しなくても良い。
以降の説明では、信号補正部 152 は、当該フレームの被写体照度が低く不明瞭と判断した場合だけ、補正情報 p を出力する実施例で説明する。

次に、本発明の一実施形態の信号補正部を図２によって説明する。図２は、本発明の画像符号化装置の一実施例で使用する信号補正部の具体的な構成を示すブロック図である。21 は切換器 c 、22 は記憶器 a 、23 は記憶器 b 、24 は切換器d 、25 はレベル差検出器、26 はしきい値設定器、27 はゲイン調整器、28 は比較器、29 はタイミング生成器である。
図２において、信号補正部 152 は、撮像部 51 から入力される映像信号を、切替器 c21を通して、記憶器 a 22 又は記憶器 b 23 にフレーム単位で交互に出力する。記憶器 a 22 と記憶器 b 23 は、入力された画像をフレーム単位で交互に記憶する。記憶器 a 22 と記憶器 b 23 は、時間的に互いに相反する処理動作を行ない、片方（例えば、記憶器 a 22 ）がデータを記憶動作中には、もう片方（記憶器 b 23 ）は、切替器 d 24 及びレベル差検出器 25 に記憶していた１フレーム分の画像データを読出して出力する。そして、次のタイミングには、記憶器 b 23 がデータの記憶動作を実行し、記憶器 a 22 は、切替器 d 24 及びレベル差検出器 25 に記憶していた１フレーム分の画像データを出力する。
切替器 c 21 と切替器 d 24 の切替制御、及び、記憶器 a 22 と記憶器 b 23 の記憶動作若しくは読出し動作の切換えは、タイミング生成器 29 が発生するクロック信号のタイミングに従い行なわれる。タイミング生成器 29 は、撮像部 51 から入力されるデータをもとにフレーム周期のタイミングを生成する。

また、しきい値設定器 26 は、予め設定したしきい値を生成し、比較器 28 に出力する。
レベル差検出器 25 は、記憶器 a 22 若しくは記憶器 b 23 から入力される画像データを解析し、輝度信号レベルの最大値及び最小値、並びに輝度信号レベルの１フレームあたりの平均値を算出し、それらの情報を比較器 28 に出力する。比較器 28 は、この輝度信号レベルの最大値及び最小値、並びに輝度信号レベルの１フレームあたりの平均値の情報と、しきい値設定器 26 から入力されるしきい値とを比較する。もし、輝度信号の１フレームあたりの最大値と最低値の差がしきい値よりも小さい場合には、当該フレームの被写体照度が低く不明瞭と判断し、ゲイン調整器 27 に、輝度信号と色差信号のゲインを上げるための補正情報 p を出力すると共に、後段の画像符号化装置 100 に出力する。

一方、画像符号化装置 100 は、入力された補正情報 p が選択部 115 に入力される。選択部 115 は、イントラ予測部 14 の出力、若しくは、動き補償予測部 13 の出力を選択する際の優先情報として、補正情報 p を使用する。つまり、補正情報 p が入力された場合には、被写体を鮮明に映すため、テレビカメラ 150 はゲインを上げる等の信号補正機能が動作し、映像信号のゲインの上昇に伴い、映像信号に重畳されていたノイズ成分も大きくなった画像が入力 I/F 部 101 を介して入力されると判断する。即ち、選択部 115 に補正情報 p が入力されると、選択部 115 は、動き検出部 16 から入力される信号をマスクし、強制的にイントラ予測部 14 の出力信号を選択し I ピクチャを生成して、監視センタ側に送信するようにする。これによって、監視センタ側では、送信されてきた映像について、ノイズ成分の蓄積による復号画像に画質劣化を防ぐことができる。

上述したように、本発明の図１に係る実施形態は、被写体を撮像するカメラユニット（テレビカメラ）と、カメラユニットが撮像した映像を符号化する符号化ユニット（符号化装置）とで構成される。
カメラユニットは、光信号を電気信号に変換して映像データとして出力する撮像部と、撮像部の映像データの輝度信号の変化から照度を検出し、被写体の照度が低い場合には感度アップをする（輝度信号のゲインをそれぞれ上げる）ための AGC 制御部を具備した信号補正部とから構成される。また、信号補正部は、輝度信号の変化から照度の変化を検出し、被写体の照度が実験的に設定したしきい値より低い状態が、所定時間続いていると判断した場合には、符号化ユニットに補正信号（補正情報）を出力する機能を有する。
また、符号化ユニットは、映像データを入力する入力（入力 I/F ）部と、入力された映像データをマクロブロックに分割するマクロブロック分割部と、マクロブロックに分割された映像データと予測画像との差分画像を直交変換する直交変換部と、直交変換された差分画像を符号化する符号化部と、直交変換された差分画像を逆直交変換する逆直交変換部と、逆直交変換の出力と予測画像を加算し復号画像を生成する加算部と加算部の出力から予測画像を生成するイントラ予測部を有する。更に、イントラ予測部は、復号画像データから複数の予測画像を生成し、マクロブロックに分割された映像データに基づいて所定の予測画像を選択する予測モード選択部と、復号画像データを複数の画素ブロック分割部のいずれの画素ブロック分割に供給するかを制御する切替え部とで構成される。

また、例えば、本発明の一実施形態の符号化ユニット（画像符号化装置）は、更に、動き検出部と動き補償予測部で構成されている。そして、動き検出部は、マクロブロックに分割された映像データを複数の画素ブロックに分割する複数の画素ブロック分割部、複数の画素ブロックに分割された画素ブロックと復号画像データとを比較し、所定の予測画像を探索するベクトル探索部、及びベクトル探索部の出力を選択する予測画像選択部とを具備する。また、動き補償予測部は、予測画像選択部の出力に基づいて復号画像データから所定の予測画像を出力する動き補償予測部を具備する。

また、例えば、本発明の符号化ユニット（画像符号化装置）は、イントラ予測部若しくは動き補償予測部から出力される予測画像は、動き検出部からの制御信号に加えて、カメラ内部の信号自動補正機能からの補正情報をもとに選択部にて切替えて出力するように構成され、圧縮処理時の符号化ピクチャ構造を変更し、符号化処理を行う。
なお、上述の実施例では、輝度信号レベルの最大値及び最小値について判断したが、輝度信号レベルの１フレームあたりの平均値を算出し、所定のしきい値より小さい場合には、当該フレームの被写体照度が低く不明瞭と判断し、予測符号化フレームを生成するように選択部の制御がなされても良い。またあるいは、輝度信号レベルの最大値及び最小値と、輝度信号レベルの平均値のいずれかがそれぞれの所定のしきい値より小さい場合に、当該フレームの被写体照度が低く不明瞭と判断し、予測符号化フレームを生成するように選択部の制御がなされても良い。

なおまた、上述の実施例では、ほとんどの処理をマクロブロック単位で実行していた。しかし、本発明で実行する処理の単位をマクロブロック単位に限るものではない。
また例えば、輝度信号レベルの最大値と最小値の差を、１フレーム単位で判断したが、１フレームを所定の大きさのサブフレームに分割し、サブフレーム単位で輝度信号レベルの最大値と最小値の差を算出し、又は、輝度信号の平均値を算出することによってイントラ予測による符号化を選択するようにしても良い。

なお、上述の実施例では、テレビカメラ（撮像装置）と画像符号化装置とが分離した構成であった。しかし、信号補正部からの補正情報が、選択部に入力されるように構成されていれば、例えば、Web カメラ等、テレビカメラ（撮像装置）と画像符号化装置とが一体化したテレビカメラ（撮像装置）であっても良いことは自明である。

更に、テレビカメラ（撮像装置）からの補正情報が入力されるように構成された画像符号化装置であれば、テレビカメラがどのようなものであっても構わないのであるから、画像符号装置に切替え機能を備え、接続するテレビカメラ（撮像装置）から、補正情報が得られる場合と得られない場合とで切替える動作を設けるようにしても良い。
また、更に、画像符号化装置単体で考えた場合に、接続するテレビカメラの AGC 機能と同一のしきい値でゲイン調整する輝度信号検出器を加え、補正情報をこの輝度信号検出器から選択部出力することによって、選択部が強制的にイントラ予測部からの出力信号を選択し I ピクチャを生成して、監視センタ側に送信するようにしても良い。

上述の実施例では、監視カメラを用いたが、監視用途に限らず、被写体の照度が低いときに撮影した映像をリアルタイムで符号化する場合なら、例えば、放送用途の映像や学術用途の映像の送信に対する符号化であっても良いことは勿論である。
また、上述の図１及び図２の実施例の画像符号化方式は、H.264 符号化方式に限るものではなく、例えば、MPEG-2 等でも良い。

以上説明したように、上記実施例によれば、画像符号化装置の前段に設けられたテレビカメラからの補正情報に応じて、選択部が制御を変更し、当該フレームは被写体照度が低く不明瞭な画像と判断した場合には、フレーム間で符号化情報（主にノイズ成分）が伝播しないイントラ予測を強制的に選択し、I ピクチャだけを生成して送信するため、受信側では、ノイズ成分の蓄積による画質劣化が無い復号画像を得ることができる。

本発明の画像符号化装置の一実施例の構成を示すブロック図。 本発明の画像符号化装置の一実施例で使用する信号補正部の具体的な構成を示すブロック図。 従来の画像符号化装置の構成例を示すブロック図。 従来の画像符号化方式における動き検出部の内部の構成例を示すブロック図。

符号の説明

3：マクロブロック分割（MB分割）部、 4：減算部、 5：直交変換部、 6：量子化部、 7：可変長符号化部、 8：逆量子化部、 9：逆直交変換部、 10：加算部、 11：デブロッキングフィルタ部、 12：記憶部、 13：動き補償予測部、 14：イントラ予測部、 15：選択部、 16：動き検出部、 21：切換器c、 22：記憶器a、 23：記憶器b、 24：切換器d、 25：レベル差検出器、 26：しきい値設定器、 27：ゲイン調整器、 28：比較器、 29：タイミング生成器、 51：撮像部、 52：信号補正部、 100：画像符号化装置、 101：入力I/F部、 102：出力I/F部、 115：選択部、 150：撮像装置（テレビカメラ）、 152：信号補正部、 300：画像符号化装置、 350：撮像装置（テレビカメラ）、 401：入力端子、 402：出力端子、 411：16×16ブロック分割部、 412：16×8ブロック分割部、 413：8×16ブロック分割部、 414：8×8ブロック分割部、 415：8×4ブロック分割部、 416：4×8ブロック分割部、 417：4×4ブロック分割部、 420：動きベクトル検索部、 421：16×16ブロック動きベクトル検索部、 422：16×8ブロック動きベクトル検索部、 423：8×16ブロック動きベクトル検索部、 424：8×8ブロック動きベクトル検索部、 425：8×4ブロック動きベクトル検索部、 426：4×8ブロック動きベクトル検索部、 427：4×4ブロック動きベクトル検索部、 430：動き最適予測画像選択部。

Claims (1)

1. テレビカメラが被写体を撮像して得られた映像信号を入力し、入力された映像信号をイントラ予測してイントラ符号化フレームを生成するイントラ予測部と動き補償予測を行い予測符号化フレームを生成する動き補償予測部とを備え、入力された映像信号を１フレーム毎にイントラ符号化フレーム若しくは予測符号化フレームのいずれかに符号化して出力する画像符号化装置において、
   上記被写体を撮像して得られた映像信号の１フレーム毎の輝度信号の１フレーム毎の最大値と最小値の差が所定の第１の値より小さい場合、若しくは平均値が所定の第２の値より小さい場合のいずれかの場合には、当該フレームの映像信号から上記イントラ符号化フレームを生成して出力することを特徴とする画像符号化装置。

Images