以下、添付図面を適宜参照しながら、本開示に係る動画像符号化システム及び動画像符号化方法を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
以下の各実施の形態では、例えば店舗、工場、オフィス、役所や図書館などの公共施設(以下、これらの場所を総称して「被監視スペース」という)において人通りの目立つ箇所に設置された監視目的のカメラ(いわゆる、監視カメラ)が被写体の撮像画像(言い換えると、動画像)のデータをネットワークを介して、被監視スペースのバックヤードもしくは外部の監視センター(以下、これらの場所を総称して「監視室」という)に設けられたレコーダもしくはクライアント端末に送信するユースケースを例示して説明する。但し、各実施の形態のユースケースは上述した例に限定されないことは言うまでもない。
(実施の形態1)
図1は、各実施の形態に係る動画像符号化システム100のシステム構成例を示すブロック図である。動画像符号化システム100は、例えば監視用途のために被監視スペース(上述参照)の天井面もしくは壁面に設置された少なくとも1台のカメラ10と、監視室(上述参照)に設置されたレコーダ30と、監視室(上述参照)に設置されたクライアント端末50とを含む構成である。図1ではカメラ10は1台のみ図示されているが、同様な構成を有する複数台のカメラ10がネットワークNWに接続されてよい。レコーダ30とクライアント端末50は同一の監視室に設置されてもよいし、異なる監視室において設置されてもよい。
図1において、少なくとも1台のカメラ10と、レコーダ30と、クライアント端末50とは、それぞれネットワークNWを介して接続される。ネットワークNWは、インターネットもしくはイントラネットなどの有線ネットワーク(例えばLAN(Local Area Network))を用いて構成されてよいし、無線ネットワーク(例えばWifi(登録商標)などの無線LAN)を用いて構成されてよい。
動画像送信装置の一例としてのカメラ10は、カメラ10が設置された被監視スペースにおける被写体を撮像し、この撮像により得られた被写体像の電気信号に対して各種の信号処理を施した上で動画像のデータを生成する。実施の形態1では、カメラ10は、動画像のデータを送信する前、動画像のデータを符号化する時の符号量を低減するため、被写体像の電気信号に対して上述した各種の信号処理の中で必要最小限の信号処理を行って動画像のデータを生成する。言い換えると、カメラ10は、クライアント端末50における動画像を用いた処理(例えば認証処理)を行うのに適する所定の視認性(つまり、例えばゲイン調整やエッジ強調などの信号処理によって得られる高い動画像の良好度を示す指標としての画質)より低い視認性(言い換えると、動画像の画質。以下同様。)を有する動画像(以下、「第1の動画像」という)のデータを生成する。なお、本明細書において、「視認性」の用語は、適宜「画質」の用語に置き換えても構わない。第1の動画像のデータは、上述した所定の視認性を有する動画像のデータに比べてサイズが小さいため、カメラ10が符号化する時の符号量の低減が可能となる。なお、上述したクライアント端末50における動画像を用いた認証処理は、例えば、顔検出、人数カウント、ライセンスプレート認証が該当する。これにより、カメラ10は、ネットワークNWの負荷の増大を抑えながら、動画像のデータを送信できる。カメラ10は、上述した第1の動画像のデータと、第1の動画像の視認性を上述した所定の視認性と同等となるように視認性(言い換えると、画質)を調整するための画像処理パラメータ(例えば、エッジ強調におけるフィルタ係数)を含む画質調整指示と、を符号化して送信する。なお、カメラ10は、第1の動画像のデータを符号化し、符号化された第1の動画像のデータと上述した画質調整指示とを送信してよい。つまり、カメラ10は、画質調整指示自体を符号化しないでレコーダ30もしくはクライアント端末50に送信してよい。
カメラ10は、それぞれ予め設置された際に設定された画角で被写体(例えば人の出入りが目立つような、店舗の出入り口の自動ドア付近の場所)を撮像可能な監視カメラである。カメラ10は、動画像のデータをその撮像日時に関する情報と対応付けてレコーダ30、クライアント端末50、もしくはレコーダ30及びクライアント端末50の両方に送信する。カメラ10がデータを送信する宛先は、例えば動画像符号化システム100の運用開始前などの初期設定の段階で、カメラ10に対して予め設定される。
動画像出力装置、記録装置もしくは受信装置の一例としてのレコーダ30は、カメラ10から送信された(例えば、カメラ10により生成された)動画像のデータを、ネットワークNWを介して受信して記録する。レコーダ30は、受信された動画像のデータと画質調整指示とを復号(例えば、デコード)して取得する。なお、レコーダ30は、カメラ10により画質調整指示が符号化されていないでそのまま送信された場合には、動画像のデータのみ復号してもよい。また、レコーダ30は、取得された画質調整指示に基づいて、画質調整指示に含まれる画像処理パラメータを用いて第1の動画像の視認性を、上述した所定の視認性と同等となるように画質調整の処理を行う(言い換えると、レコーダ30において行われる処理(例えば認識処理)に適する動画像を得るために、動画像の高画質化の処理を行う)。これにより、レコーダ30は、カメラ10が上述した所定の視認性を得るために各種の信号処理(例えば、ゲイン調整やエッジ強調)を行ったことで得られる所定の視認性(高画質)と同等の視認性を有する動画像のデータを復元できて取得できる。レコーダ30は、この取得された動画像のデータを、レコーダ30に接続された出力部DP1(例えば、LCD(Liquid Crystal Display)もしくは有機EL(Electroluminescence)などのディスプレイ装置)に出力して表示してよい。なお、出力部DP1は、レコーダ30に内蔵されてもよい。
動画像出力装置、記録装置もしくは受信装置の一例としてのクライアント端末50は、カメラ10から送信された(例えば、カメラ10により生成された)動画像のデータを、ネットワークNWを介して受信して記録する。クライアント端末50は、受信された動画像のデータと画質調整指示とを復号(例えば、デコード)して取得する。なお、クライアント端末50は、カメラ10により画質調整指示が符号化されていないでそのまま送信された場合には、動画像のデータのみ復号してもよい。また、クライアント端末50は、取得された画質調整指示に基づいて、画質調整指示に含まれる画像処理パラメータを用いて第1の動画像の視認性を、上述した所定の視認性と同等となるように画質調整の処理を行う(言い換えると、クライアント端末50において行われる認識処理に適する動画像を得るために、動画像の高画質化の処理を行う)。これにより、クライアント端末50は、カメラ10が上述した所定の視認性を得るために各種の信号処理(例えば、ゲイン調整やエッジ強調)を行ったことで得られる所定の視認性(高画質)と同等の視認性を有する動画像のデータを復元できて取得できる。クライアント端末50は、この取得された動画像のデータを、クライアント端末50に接続された出力部DP2(例えば、LCDもしくは有機ELなどのディスプレイ装置)に出力して表示してよい。なお、出力部DP2は、クライアント端末50に内蔵されてもよい。
図2は、実施の形態1に係るカメラ10の内部構成例を示すブロック図である。カメラ10は、撮像部11と、信号処理部13と、符号化部15と、暗号化部17と、通信部19と、メモリM1とを少なくとも含む構成である。暗号化部17は、信号処理部13の内部に設けられてもよい。
撮像部11は、集光用のレンズと、CCD(Charge Coupled Device)型イメージセンサもしくはCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等の固体撮像素子とを有する構成である。撮像部11は、カメラ10の電源がオンである間、固体撮像素子による撮像に基づいて得られた被写体像の電気信号を常時、信号処理部13に出力する。また、撮像部11は、カメラ10の撮像方向や撮像時のズーム倍率を変更させる機構(例えばパンチルトズーム機構)を備えてよい。
信号処理部13は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)もしくはFPGA(Field-Programmable Gate Array)などのプロセッサを用いて構成される。
信号処理部13は、カメラ10の制御部として機能し、カメラ10の各部の動作を全体的に統括するための制御処理、カメラ10の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。信号処理部13は、メモリM1に記憶されたプログラム及びデータに従って動作する。信号処理部13は、例えばタイマ(図示略)を有し、現在の時刻情報を取得する。
信号処理部13は、動作時にメモリM1を使用し、撮像部11から出力された被写体像の電気信号に対して各種の信号処理を施した上で、上述した所定の視認性より低い視認性を有する第1の動画像のデータ、あるいは、上述した所定の視認性と同等の視認性を有する動画像(以下、「第2の動画像」という)のデータを生成する。これにより、第1の動画像もしくは第2の動画像のデータは、撮像部11により撮像された日時の情報が含まれて生成される。図2では、信号処理部13が行う各種の信号処理の内容を示すため、信号処理部13の構成が例示的に図示されている。
具体的には、信号処理部13は、ゲイン制御部131と、NR(Noise Reduction)部132と、エッジ強調部133と、信号処理制御部134とを有する。信号処理部13には、撮像部11の出力(つまり、撮像部11により撮像された被写体像の電気信号)が入力される。信号処理部13の出力が符号化部15に入力される。
信号処理部13は、第1の動画像のデータを生成する場合には、カメラ10と接続されるレコーダ30もしくはクライアント端末50において第1の動画像の視認性を上述した所定の視認性と同等となるように画質調整するための画像処理パラメータ(後述参照)を含む画質調整指示を生成する。信号処理部13は、生成された第1の動画像のデータと画質調整指示とを符号化部15に出力する。一方で、信号処理部13は、第2の動画像のデータを生成する場合には、上述した画質調整指示を生成せず、生成された第2の動画像のデータを符号化部15に出力する。
ゲイン制御部131は、信号処理制御部134から自動ゲイン制御の実行指示を受けると、撮像部11の出力を用いて、自動ゲイン制御(AGC:Auto Gain Control)の処理を行う。これにより、ゲイン制御部131は、撮像部11の出力である被写体像の電気信号(言い換えると、固体撮像素子の撮像面を構成する一つ一つの画素における輝度値)に対応する撮像画像の明るさを適度に調整できる(図5B参照)。一方、ゲイン制御部131は、信号処理制御部134から自動ゲイン制御の不実行指示を受けると、上述した自動ゲイン制御の処理を省略して、撮像部11の出力をNR部132に出力する。
NR部132は、ゲイン制御部131の出力を用いて、被写体像の電気信号に重畳されているノイズ成分を低減するためのノイズリダクション処理を行う。NR部132におけるノイズリダクション処理は公知技術で構成されるので、詳細な説明は割愛する。カメラ10の信号処理部13において、NR部132におけるノイズリダクション処理は省略されないことが好ましい。これは、カメラ10の撮像時点においてノイズ成分が被写体像の電気信号に重畳される可能性があり、符号化部15における符号化の前に予めノイズリダクション処理が行われることで不要なノイズ成分が低減されて、結果的に符号化部15における符号量の削減につながるためである。
エッジ強調部133は、信号処理制御部134からエッジ強調の実行指示を受けると、NR部132の出力を用いて、エッジ強調の処理を行う。エッジ強調の処理は、いわゆる公知技術で構成され、例えば3*3の画素に応じたサイズであってそれぞれの画素に応じたフィルタ係数を有するフィルタ(画像処理パラメータの一例)を用いて実行される。*(アスタリスク)は、乗算の演算子である。エッジ強調の処理により、例えば動画像の中で文字、数字、人の顔、輪郭などの被写体部分(言い換えると、背景部分ではない部分)が目立って視認性の高い動画像が得られる。一方、エッジ強調部133は、信号処理制御部134からエッジ強調の不実行指示を受けると、上述したエッジ強調の処理を省略して、NR部132の出力を符号化部15に出力する。
信号処理制御部134は、例えばメモリM1にて保持されている設定情報を参照し、ゲイン制御部131に対する自動ゲイン制御の実行指示あるいは不実行指示を出力する。メモリM1にて保持されている設定情報には、自動ゲイン制御の実行の有無を示す情報が含まれる。また、信号処理制御部134は、例えばメモリM1にて保持されている設定情報を参照し、エッジ強調部133に対するエッジ強調の実行指示あるいは不実行指示を出力する。なお、信号処理制御部134は、エッジ強調の実行指示をエッジ強調部133に出力する際、メモリM1にて保持されている設定情報に含まれるフィルタ係数(画像処理パラメータの一例)を実行指示に含めてエッジ強調部133に出力してよい。
ここで、信号処理部13の信号処理制御部134における画質調整指示(例えばレコーダ30もしくはクライアント端末50におけるエッジ強調の際に用いるフィルタ係数の指示)の生成について簡単に説明する。
信号処理制御部134は、カメラ10の現在の動作モードが第2の動画像を生成するためのモード(以下、「第2のモード」という)に設定されており、エッジ強調部133におけるエッジ強調の強度の値A(例えばA=16)でエッジ強調を行うとする。カメラ10の現在の動作モードは、信号処理部13が第1の動画像を生成するためのモード(以下、「第1のモード」という)か、あるいは第2のモードのうちいずれかであり、現在の動作モードを示す情報はメモリM1において保持されている。また、信号処理制御部134は、現在の動作モードを第2のモードに設定する際、エッジ強調部133におけるエッジ強調の強度の値Aに対応する3*3のフィルタ係数として、次の内容のフィルタ係数(F1)を画像処理パラメータとしてエッジ強調部133に設定する。このフィルタ係数(F1)は、エッジ強調の処理対象となる画素を中心として、3*3の計9個の画素の中央の画素の画素値が2倍となり、その周囲の計8個の画素の画素値が(-4/32)倍となってそれぞれの画素値の加算値によってエッジ強調がなされることを示す。
(強度の値Aに対応する3*3のフィルタ係数)
-4/32 -4/32 -4/32
-4/32 64/32 -4/32 ・・・(F1)
-4/32 -4/32 -4/32
ここで、例えば動作モードを変更するためのトリガ処理(後述参照)が実行されたとすると、カメラ10の信号処理部13は、現在の動作モードを、第2のモードから第1のモードに変更する。この場合、信号処理制御部134は、エッジ強調部133におけるエッジ強調の強度の値を、A(例えばA=16)からB(例えばB=10)に変更する。これに伴い、信号処理制御部134は、エッジ強調部133におけるエッジ強調の強度の値Bに対応する3*3のフィルタ係数として、次の内容のフィルタ係数(F2)を画像処理パラメータとしてエッジ強調部133に設定する。このフィルタ係数(F2)は、エッジ強調の処理対象となる画素を中心として、3*3の計9個の画素の中央の画素の画素値が等倍(つまり、1倍)となり、その周囲の計8個の画素の画素値が0(=-0/32)倍となるため、結果的にエッジ強調がされないことを示す。
(強度の値Bに対応する3*3のフィルタ係数)
-0/32 -0/32 -0/32
-0/32 32/32 -0/32 ・・・(F2)
-0/32 -0/32 -0/32
従って、信号処理制御部134は、現在の動作モードを第1のモードに変更した場合、エッジ強調の強度の値Bに対応するフィルタ係数(F2)をエッジ強調部133に設定した(言い換えると、エッジ強調を実行しない)場合には、レコーダ30もしくはクライアント端末50における画質調整指示に含める画像処理パラメータとして、例えば「分子4、分母32」という情報を生成する。つまり、信号処理制御部134は、レコーダ30もしくはクライアント端末50に対し、「分子4、分母32」という情報を用いて、上述した(強度の値Aに対応する3*3のフィルタ係数(F1))と同じフィルタ係数(F1)によって、第1の動画像のデータを上述した所定の視認性と同等の視認性を有する動画像を生成するように指示する。
なお上述したように、信号処理部13内で実行される信号処理は図2で示した自動ゲイン制御、NR処理、エッジ強調に限定されない。符号化部15における符号化の前に、撮像部11の出力にノイズが重畳される可能性があることに配慮して、信号処理部13は、NR処理を行うが、この他、電気的な揺れ補正(EIS:Electric Image Stabilizer)、光学的な揺れ補正(OIS:Optical Image Stabilizer)、歪み補正、固体撮像素子の画素の傷補正などの処理(いずれも公知技術であり個々の技術の詳細な説明は割愛)については、レコーダ30側やクライアント端末50側ではなくカメラ10側で行うことが好ましい。これにより、撮像部11から得られた被写体像の電気信号に重畳されるノイズ成分が低減されたり、カメラ10自体が揺れている場合の動画像の内容を適切に補正できて不要なノイズ成分が低減されたりするので、符号化部15におけるデータの符号量が削減可能となる。
一方、以下に示す信号処理(いずれも公知技術であり個々の技術の詳細な説明は割愛)については、カメラ10側で実行されず、レコーダ30側もしくはクライアント端末50側で行われることが好ましい。具体的には、エッジ強調、自動ゲイン制御、ホワイトバランス処理、γ補正(上述した所定の視認性と同等の視認性を有する動画像を得るためのγ値)、階調補正(例えば、霧補正、暗部補正、明部補正)、動画像を構成するフレームの周辺部分の光量落ちに対する補正、動画像を構成するフレームの周辺部分の解像度の低下に対する補正などの処理が該当する。但し、エッジ強調については、カメラ10からレコーダ30もしくはクライアント端末50に送信される画質調整指示に含まれる画像処理パラメータ(例えば、レコーダ30もしくはクライアント端末50における画質調整のためのエッジ強調の際に使用されるフィルタ係数)は、カメラ10側で指示されることが好ましい。
符号化部15は、例えばCPU、MPU、DSPもしくはFPGAなどのプロセッサを用いて構成される。符号化部15は、例えばメモリM1にて保持されている設定情報を参照し、設定情報に含まれる符号化パラメータ(例えば、符号化率又は圧縮率)を用いて、信号処理部13により生成された第1の動画像もしくは第2の動画像のデータを符号化する。符号化部15は、符号化が施された第1の動画像もしくは第2の動画像のデータを暗号化部17もしくは通信部19に出力する。符号化部15は、設定情報においてカメラ10から送信されるデータが暗号化される旨の設定がされている場合には、符号化が施された第1の動画像もしくは第2の動画像のデータを暗号化部17に出力する。一方で、符号化部15は、設定情報においてカメラ10から送信されるデータが暗号化される旨の設定がされていない場合には、符号化が施された第1の動画像もしくは第2の動画像のデータを通信部19に出力する。
暗号化部17は、例えばCPU、MPU、DSPもしくはFPGAなどのプロセッサを用いて構成される。暗号化部17は、例えばレコーダ30やクライアント端末50との間で共通の暗号化鍵を用いて、符号化部15の出力を暗号化して通信部19に出力する。なお、暗号化の処理において、共通の暗号化鍵ではなく、例えば公開鍵暗号方式を用いてもよい。なお後述するように、設定情報において、カメラ10から送信されるデータが暗号化される旨の設定がされている場合には、信号処理部13は第1の動画像のデータを生成する。これは、動画像のデータが暗号化部17において暗号化される場合には、そのデータがレコーダ30もしくはクライアント端末50において復号されるまで動画像の中身が第三者に見られることが無く、レコーダ30もしくはクライアント端末50において上述した所定の視認性(高画質)と同等の視認性を有する動画像に復元されれば良く、カメラ10においてわざわざ上述した所定の視認性(高画質)の動画像を生成してカメラ10の符号量を増大させる必要がないからである。なお、カメラ10において、第1の動画像のデータが生成されるのが、動画像のデータが暗号化部17において暗号化される場合に限らず、カメラ10とレコーダ30もしくはクライアント端末50との間でネットワーク経路(言い換えると、通信経路)を暗号化した通信(例えばSSL(Secure Socket Layer)通信)を行う場合でも構わない。この場合、カメラ10とレコーダ30もしくはクライアント端末50との間では、予め既定の通信規約に従って、通信経路自体が暗号化されたSSL通信が行われる。なお、以下の説明では、動画像のデータが暗号化部17において暗号化される場合に、カメラ10は、第1の動画像のデータを生成するとしている。
また、本明細書において、カメラ10において、符号化部15における符号化の処理と暗号化部17における暗号化の処理とは、その処理順序は限定されない。つまり、符号化の処理が先に行われた後に暗号化の処理が行われてもよいし、その逆、即ち、暗号化の処理が行われた後に符号化の処理が行われてもよい。この場合には、暗号化部17は、信号処理部13により生成された第1の動画像もしくは第2の動画像のデータを暗号化し、その出力を符号化部15に送る。符号化部15は、暗号化された第1の動画像もしくは第2の動画像のデータを符号化する。
通信部19は、符号化部15もしくは暗号化部17の出力である第1の動画像のデータ又は第2の動画像のデータを、レコーダ30もしくはクライアント端末50に送信する。また、通信部19は、クライアント端末50からカメラ10の動作に関する設定情報を受信してメモリM1に保存してよい。
メモリM1は、例えばRAM(Random Access Memory)とROM(Read Only Memory)を用いて構成され、カメラ10の動作の実行に必要なプログラムやデータ、更には、動作中に生成された情報又はデータ等を一時的に保存する。RAMは、例えば信号処理部13の動作時に使用されるワークメモリである。ROMは、例えば信号処理部13を制御するためのプログラム及びデータを予め記憶する。また、メモリM1は、例えばカメラ10を識別する識別情報(例えばシリアル番号)及び各種設定情報を記憶する。メモリM1は、上述した符号化パラメータ(例えば、符号化率)、エッジ強調におけるフィルタ係数(画像処理パラメータの一例)、暗号化の有無、自動ゲイン制御もしくはエッジ強調の有無、暗号化鍵などを含む設定情報を保持する。
図3は、実施の形態1に係るレコーダ30の内部構成例を示すブロック図である。レコーダ30は、受信部31と、記録部33と、デコード部35と、解析部37と、信号処理部39と、出力制御部41と、再配信部43と、メモリM2とを少なくとも含む構成である。上述したように、出力部DP1は、レコーダ30とは別体の構成でもよいし、レコーダ30に内蔵された構成としてもよい。
受信部31は、カメラ10から送信されたデータを受信して記録部33に保存する。カメラ10から送信されたデータは、第1の動画像のデータ及び画質調整指示、第1の動画像のデータ及び画質調整指示が暗号化されたデータ、第2の動画像のデータ、又は、第2の動画像のデータが暗号化されたデータ、のうちいずれかである。なお、画質調整指示そのものは、カメラ10により暗号化されないでレコーダ30に送信されても構わない。
記録部33は、レコーダ30に内蔵される半導体メモリ(例えばフラッシュメモリ)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はレコーダ30に内蔵されないメモリカード(例えばSDカード)などの外部記憶媒体を用いて構成される。記録部33は、受信部31により受信されたデータを記録する。なお、記録部33がメモリカードで構成される場合、レコーダ30の筐体に挿抜自在に装着される。また、記録部33は、受信部31により受信されたデータがデコード部35によって復号されたデータ、又は信号処理部39によって上述した所定の視認性と同等の視認性を有する程に画質調整(復元)された動画像のデータが保存されてよい。
デコード部35は、例えばCPU、MPU、DSPもしくはFPGAなどのプロセッサを用いて構成される。デコード部35は、記録部33に保存されたデータ(つまり、受信部31により受信されたデータ)を読み出してデコード(復号)する。デコード部35は、受信部31により受信されたデータがカメラ10によって暗号化(エンクリプト)されていた場合には、例えばカメラ10との間で共通の暗号化鍵を用いて、そのデータを復号(デクリプト)した上で、符号化されたデータを復号(デコード)する。
解析部37は、例えばCPU、MPU、DSPもしくはFPGAなどのプロセッサを用いて構成される。解析部37は、デコード部35の出力に画質調整指示が含まれているかどうかを判断する。解析部37は、画質調整指示が含まれていると判断した場合には、その内容を解析し、デコード部35の出力に含まれる第1の動画像のデータに対してどのようなフィルタ係数を用いてエッジ強調をすればよいか、更には、他にどのような信号処理(例えば自動ゲイン制御)を行えば良いかを解析する。解析部37は、第1の動画像のデータと画質調整の処理に関する解析結果とを信号処理部39に出力する。また、解析部37は、画質調整の処理に関する解析結果を、メモリM2に保持される設定情報に追加して書き込む。この追加された解析結果が信号処理部59における画質調整の処理の際に参照されて用いられる。なお、解析部37は、デコード部35の出力に画質調整指示が含まれていない(言い換えると、カメラ10により第2の動画像が生成された)と判断した場合には、第2の動画像のデータを出力制御部41に直接に出力してよい。
信号処理部39は、例えばCPU、MPU、DSPもしくはFPGAなどのプロセッサを用いて構成される。信号処理部39は、レコーダ30の制御部として機能し、レコーダ30の各部の動作を全体的に統括するための制御処理、レコーダ30の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。信号処理部39は、メモリM2に記憶されたプログラム及びデータに従って動作する。信号処理部39は、例えばタイマ(図示略)を有し、現在の時刻情報を取得する。
信号処理部39は、記録部33に記録された動画像のデータを用いて、所定の認識処理(例えば、顔検出、人数カウント、車両のライセンスプレートや鉄道のヘッドマークの認識)を行う。
信号処理部39は、動作時にメモリM2を使用し、解析部37から出力された画質調整指示に基づいて、その画質調整指示に含まれる画像処理パラメータ(例えばフィルタ係数を特定するための情報)を用いて第1の動画像のデータを、上述した所定の視認性と同等の視認性を有する動画像のデータを生成する。図3では、信号処理部39が行う各種の信号処理の内容を示すため、信号処理部39の構成が例示的に図示されている。
具体的には、信号処理部39は、ゲイン制御部391と、NR部392と、エッジ強調部393と、信号処理制御部394とを有する。信号処理部39には、解析部37の出力(つまり、デコード部35によりデコードされた第1の動画像のデータとカメラ10により生成された画質調整指示)が入力される。信号処理部39の出力が出力制御部41に入力される。
ゲイン制御部391は、信号処理制御部394から自動ゲイン制御の実行指示を受けると、解析部37の出力(第1の動画像のデータ)を用いて、自動ゲイン制御(AGC:Auto Gain Control)の処理を行う。これにより、ゲイン制御部391は、解析部37の出力である第1の動画像のデータの明るさを適度に調整できる(図5B参照)。一方、ゲイン制御部391は、信号処理制御部394から自動ゲイン制御の不実行指示を受けると、上述した自動ゲイン制御の処理を省略して、解析部37の出力(第1の動画像のデータ)をNR部332に出力する。
NR部392は、ゲイン制御部391の出力を用いて、第1の動画像のデータに重畳されているノイズ成分を低減するためのノイズリダクション処理を行う。NR部392におけるノイズリダクション処理は公知技術で構成されるので、詳細な説明は割愛する。レコーダ30の信号処理部39において、NR部392におけるノイズリダクション処理は省略されてよいし、省略されずに実行されてもよい。
エッジ強調部393は、信号処理制御部394からエッジ強調の実行指示を受けると、NR部392の出力(第1の動画像のデータ)を用いて、第1の動画像の視認性が上述した所定の視認性(高画質)と同等となるようにエッジ強調の処理を行う。エッジ強調の処理は、いわゆる公知技術で構成され、例えば3*3の画素に応じたサイズであってそれぞれの画素に応じたフィルタ係数を有するフィルタ(画像処理パラメータの一例)を用いて実行される。エッジ強調の処理により、例えば動画像の中で文字、数字、人の顔、輪郭などの被写体部分(言い換えると、背景部分ではない部分)が目立って視認性の高い動画像が得られる。一方、エッジ強調部393は、信号処理制御部394からエッジ強調の不実行指示を受けると、上述したエッジ強調の処理を省略して、NR部392の出力を出力制御部41に出力する。
信号処理制御部394は、例えばメモリM2にて保持されている設定情報を参照し、ゲイン制御部391に対する自動ゲイン制御の実行指示あるいは不実行指示を出力する。メモリM2にて保持されている設定情報には、自動ゲイン制御の実行の有無を示す情報が含まれる。また、信号処理制御部394は、例えばメモリM2にて保持されている設定情報を参照し、エッジ強調部393に対するエッジ強調の実行指示あるいは不実行指示を出力する。なお、信号処理制御部394は、エッジ強調の実行指示をエッジ強調部393に出力する際、メモリM2にて保持されている設定情報に含まれる、フィルタ係数を特定するための情報(言い換えると、解析部37により解析された、フィルタ係数を特定するための情報)に基づいてフィルタ係数を特定して求め、そのフィルタ係数を実行指示に含めてエッジ強調部393に出力してよい。
ここで、信号処理部39の信号処理制御部394における画質調整(例えばレコーダ30におけるエッジ強調)の処理について簡単に説明する。
信号処理制御部394は、解析部37の出力(解析結果)から、エッジ強調部393におけるエッジ強調に用いる、フィルタ係数を特定するための情報(言い換えると、解析部37により解析された、フィルタ係数を特定するための情報)を抽出する。例えば、信号処理制御部394は、フィルタ係数を特定するための情報(言い換えると、解析部37により解析された、フィルタ係数を特定するための情報)として、「分子4、分母32」という情報を抽出する。信号処理制御部394は、この抽出された「分子4、分母32」という情報に基づいて、フィルタ係数(F1)と同じフィルタ係数を含むエッジ強調の実行指示を生成してエッジ強調部393に出力する。
エッジ強調部393は、信号処理制御部394からの実行指示に含まれるフィルタ係数を使用するように設定し、NR部392の出力(第1の動画像のデータ)と信号処理制御部394からの実行指示に基づいて設定されたフィルタ係数とを用いて、第1の動画像の視認性が上述した所定の視認性(高画質)と同等となるようにエッジ強調の処理を行う。これにより、レコーダ30の信号処理部39は、カメラ10により生成された第1の動画像の視認性を、上述した所定の視認性(高画質)と同等の視認性を有する動画像に画質調整を行うことができ、視認性の高い動画像のデータを得ることができる。
出力制御部41は、信号処理部39により生成された上述した所定の視認性(高画質)と同等の視認性を有する動画像のデータを出力部DP1に出力したり、その動画像のデータを記録部33に記録したりする。
再配信部43は、所定のタイミング(例えば、定期的なタイミングもしくはユーザの入力操作に基づく指示情報が入力されたタイミング)になると、記録部33に記録されているデータをクライアント端末50に送信する。
メモリM2は、例えばRAMとROMを用いて構成され、レコーダ30の動作の実行に必要なプログラムやデータ、更には、動作中に生成された情報又はデータ等を一時的に保存する。RAMは、例えば信号処理部39の動作時に使用されるワークメモリである。ROMは、例えば信号処理部39を制御するためのプログラム及びデータを予め記憶する。また、メモリM2は、例えばレコーダ30を識別する識別情報(例えばシリアル番号)及び各種設定情報を記憶する。メモリM2は、暗号化(エンクリプト)に対する復号(デクリプト)の有無、自動ゲイン制御もしくはエッジ強調の有無、暗号化鍵などを含む設定情報を保持する。
図4は、実施の形態1に係るクライアント端末50の内部構成例を示すブロック図である。クライアント端末50は、受信部51と、記録部53と、デコード部55と、解析部57と、信号処理部59と、出力制御部61と、メモリM3とを少なくとも含む構成である。上述したように、出力部DP2は、クライアント端末50とは別体の構成でもよいし、クライアント端末50に内蔵された構成としてもよい。
受信部51は、カメラ10から送信又はレコーダ30から再配信されたデータを受信して記録部53に保存したり、デコード部55に出力したりする。カメラ10から送信されたデータは、第1の動画像のデータ及び画質調整指示、第1の動画像のデータ及び画質調整指示が暗号化されたデータ、第2の動画像のデータ、又は、第2の動画像のデータが暗号化されたデータ、のうちいずれかである。なお、画質調整指示そのものは、カメラ10により暗号化されないでクライアント端末50に送信されても構わない。レコーダ30から再配信されたデータは、第1の動画像のデータ及び画質調整指示、第1の動画像のデータ及び画質調整指示が暗号化されたデータ、第2の動画像のデータ、第2の動画像のデータが暗号化されたデータ、又は、レコーダ30により画質調整された後の動画像のデータ、のうちいずれかである。
記録部53は、クライアント端末50に内蔵される半導体メモリ(例えばフラッシュメモリ)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はクライアント端末50に内蔵されないメモリカード(例えばSDカード)などの外部記憶媒体を用いて構成される。記録部53は、受信部51により受信されたデータを記録する。なお、記録部53がメモリカードで構成される場合、クライアント端末50の筐体に挿抜自在に装着される。また、記録部53は、受信部51により受信されたデータがデコード部55によって復号されたデータ、又は信号処理部59によって上述した所定の視認性と同等の視認性を有する程に画質調整(復元)された動画像のデータが保存されてよい。
デコード部55は、例えばCPU、MPU、DSPもしくはFPGAなどのプロセッサを用いて構成される。デコード部55は、記録部53に保存されたデータ(例えば、受信部51により受信されたデータ)を読み出してデコード(復号)する。デコード部55は、受信部51により受信されたデータがカメラ10によって暗号化(エンクリプト)されていた場合には、例えばカメラ10との間で共通の暗号化鍵を用いて、そのデータを復号(デクリプト)した上で、符号化されたデータを復号(デコード)する。
解析部57は、例えばCPU、MPU、DSPもしくはFPGAなどのプロセッサを用いて構成される。解析部57は、デコード部55の出力に画質調整指示が含まれているかどうかを判断する。解析部57は、画質調整指示が含まれていると判断した場合には、その内容を解析し、デコード部55の出力に含まれる第1の動画像のデータに対してどのようなフィルタ係数を用いてエッジ強調をすればよいか、更には、他にどのような信号処理(例えば自動ゲイン制御)を行えば良いかを解析する。解析部57は、第1の動画像のデータと画質調整の処理に関する解析結果とを信号処理部59に出力する。また、解析部57は、画質調整の処理に関する解析結果を、メモリM3に保持される設定情報に追加して書き込む。この追加された解析結果が信号処理部59における画質調整の処理の際に参照されて用いられる。なお、解析部57は、デコード部55の出力に画質調整指示が含まれていない(言い換えると、カメラ10により第2の動画像が生成された)と判断した場合には、第2の動画像のデータを出力制御部41に直接に出力してよい。
信号処理部59は、例えばCPU、MPU、DSPもしくはFPGAなどのプロセッサを用いて構成される。信号処理部59は、クライアント端末50の制御部として機能し、クライアント端末50の各部の動作を全体的に統括するための制御処理、クライアント端末50の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。信号処理部59は、メモリM2に記憶されたプログラム及びデータに従って動作する。信号処理部59は、例えばタイマ(図示略)を有し、現在の時刻情報を取得する。
信号処理部59は、記録部53に記録された動画像のデータを用いて、所定の認識処理(例えば、顔検出、人数カウント、車両のライセンスプレートや鉄道のヘッドマークの認識)を行う。
信号処理部59は、動作時にメモリM3を使用し、解析部57から出力された画質調整指示に基づいて、その画質調整指示に含まれる画像処理パラメータ(例えばフィルタ係数を特定するための情報)を用いて第1の動画像のデータを、上述した所定の視認性と同等の視認性を有する動画像のデータを生成する。図4では、信号処理部59が行う各種の信号処理の内容を示すため、信号処理部39の構成が例示的に図示されている。
具体的には、信号処理部59は、ゲイン制御部591と、NR部592と、エッジ強調部593と、信号処理制御部594とを有する。信号処理部59には、解析部57の出力(つまり、デコード部55によりデコードされた第1の動画像のデータとカメラ10により生成された画質調整指示)が入力される。信号処理部59の出力が出力制御部61に入力される。
ゲイン制御部591は、信号処理制御部594から自動ゲイン制御の実行指示を受けると、解析部57の出力(第1の動画像のデータ)を用いて、自動ゲイン制御(AGC:Auto Gain Control)の処理を行う。これにより、ゲイン制御部591は、解析部57の出力である第1の動画像のデータの明るさを適度に調整できる(図5B参照)。一方、ゲイン制御部591は、信号処理制御部594から自動ゲイン制御の不実行指示を受けると、上述した自動ゲイン制御の処理を省略して、解析部57の出力(第1の動画像のデータ)をNR部532に出力する。
NR部592は、ゲイン制御部591の出力を用いて、第1の動画像のデータに重畳されているノイズ成分を低減するためのノイズリダクション処理を行う。NR部592におけるノイズリダクション処理は公知技術で構成されるので、詳細な説明は割愛する。クライアント端末50の信号処理部59において、NR部592におけるノイズリダクション処理は省略されてよいし、省略されずに実行されてもよい。
エッジ強調部593は、信号処理制御部594からエッジ強調の実行指示を受けると、NR部592の出力(第1の動画像のデータ)を用いて、第1の動画像の視認性が上述した所定の視認性(高画質)と同等となるようにエッジ強調の処理を行う。エッジ強調の処理は、いわゆる公知技術で構成され、例えば3*3の画素に応じたサイズであってそれぞれの画素に応じたフィルタ係数を有するフィルタ(画像処理パラメータの一例)を用いて実行される。エッジ強調の処理により、例えば動画像の中で文字、数字、人の顔、輪郭などの被写体部分(言い換えると、背景部分ではない部分)が目立って視認性の高い動画像が得られる。一方、エッジ強調部593は、信号処理制御部594からエッジ強調の不実行指示を受けると、上述したエッジ強調の処理を省略して、NR部592の出力を出力制御部61に出力する。
信号処理制御部594は、例えばメモリM3にて保持されている設定情報を参照し、ゲイン制御部591に対する自動ゲイン制御の実行指示あるいは不実行指示を出力する。メモリM3にて保持されている設定情報には、自動ゲイン制御の実行の有無を示す情報が含まれる。また、信号処理制御部594は、例えばメモリM3にて保持されている設定情報を参照し、エッジ強調部593に対するエッジ強調の実行指示あるいは不実行指示を出力する。なお、信号処理制御部594は、エッジ強調の実行指示をエッジ強調部593に出力する際、メモリM3にて保持されている設定情報に含まれる、フィルタ係数を特定するための情報(言い換えると、解析部57により解析された、フィルタ係数を特定するための情報)に基づいてフィルタ係数を特定して求め、そのフィルタ係数を実行指示に含めてエッジ強調部593に出力してよい。
ここで、信号処理部59の信号処理制御部594における画質調整(例えばクライアント端末50におけるエッジ強調)の処理について簡単に説明する。
信号処理制御部594は、解析部57の出力(解析結果)から、エッジ強調部593におけるエッジ強調に用いる、フィルタ係数を特定するための情報(言い換えると、解析部57により解析された、フィルタ係数を特定するための情報)を抽出する。例えば、信号処理制御部594は、フィルタ係数を特定するための情報(言い換えると、解析部57により解析された、フィルタ係数を特定するための情報)として、「分子4、分母32」という情報を抽出する。信号処理制御部594は、この抽出された「分子4、分母32」という情報に基づいて、フィルタ係数(F1)と同じフィルタ係数を含むエッジ強調の実行指示を生成してエッジ強調部593に出力する。
エッジ強調部593は、信号処理制御部594からの実行指示に含まれるフィルタ係数を使用するように設定し、NR部592の出力(第1の動画像のデータ)と信号処理制御部594からの実行指示に基づいて設定されたフィルタ係数とを用いて、第1の動画像の視認性が上述した所定の視認性(高画質)と同等となるようにエッジ強調の処理を行う。これにより、クライアント端末50の信号処理部59は、カメラ10により生成された第1の動画像の視認性を、上述した所定の視認性(高画質)と同等の視認性を有する動画像に画質調整を行うことができ、視認性の高い動画像のデータを得ることができる。
出力制御部61は、信号処理部59により生成された上述した所定の視認性(高画質)と同等の視認性を有する動画像のデータを出力部DP2に出力したり、その動画像のデータを記録部53に記録したりする。
メモリM3は、例えばRAMとROMを用いて構成され、クライアント端末50の動作の実行に必要なプログラムやデータ、更には、動作中に生成された情報又はデータ等を一時的に保存する。RAMは、例えば信号処理部59の動作時に使用されるワークメモリである。ROMは、例えば信号処理部59を制御するためのプログラム及びデータを予め記憶する。また、メモリM3は、例えばクライアント端末50を識別する識別情報(例えばシリアル番号)及び各種設定情報を記憶する。メモリM3は、暗号化(エンクリプト)に対する復号(デクリプト)の有無、自動ゲイン制御もしくはエッジ強調の有無、暗号化鍵などを含む設定情報を保持する。
図5Aは、エッジ強調により、第1の動画像IMG1から所定の視認性と同等の視認性を有する動画像IMG2に復元した例を示す図である。図5Bは、自動ゲイン制御により、明るさが適切でない動画像IMG3から明るさが適切に調整された動画像IMG4に復元した例を示す図である。
図5Bに示すように、例えば暗所もしくは夜間などでのカメラ10の撮像により得られた動画像IMG3は、カメラ10において自動ゲイン制御が行われなければ、明るさが適切に調整されない。このため、動画像IMG3の視認性が劣化し、動画像IMG3は、レコーダ30もしくはクライアント端末50における動画像を用いた認識処理に適する動画像とならない。しかし、実施の形態1のように、カメラ10において自動ゲイン制御が行われなくても、レコーダ30もしくはクライアント端末50において自動ゲイン制御が行われれば、レコーダ30もしくはクライアント端末50における動画像を用いた認識処理に適する動画像となる。
図5Aに示すように、例えばカメラ10の撮像により得られた第1の動画像IMG1は、カメラ10においてエッジ強調が行われなければ、第1の動画像IMG1内の文字などの輪郭が鮮明にかつユーザなどの人が閲覧してその文字を判別可能な程度に映し出されない。例えば、第1の動画像IMG1における、駐車場を示す「P」のマークBF1、セールを示す「SALE」の文字BF2、24時間営業を示す「24」の文字BF3はいずれもぼやけているため、解像度が低く、視認性が劣化した状態である。このため、第1の動画像IMG1は、レコーダ30もしくはクライアント端末50における動画像を用いた認識処理に適する動画像とならない。しかし、実施の形態1のように、例えばカメラ10においてエッジ強調が行われなくても、レコーダ30もしくはクライアント端末50において上述した所定の視認性(高画質)と同等の視認性を有するようにエッジ強調が行われれば、レコーダ30もしくはクライアント端末50における動画像を用いた認識処理に適する動画像IMG4となる。例えば、動画像IMG4における、駐車場を示す「P」のマークAF1、セールを示す「SALE」の文字AF2、24時間営業を示す「24」の文字AF3はいずれも鮮明で解像度が高く、視認性が良好な状態である。
次に、実施の形態1におけるカメラ10、レコーダ30、クライアント端末50の各信号処理部13,39,59(図2,図3,図4参照)の動作手順の一例について、図6及び図7を参照して説明する。
図6は、実施の形態1に係るカメラ10、レコーダ30、クライアント端末50の各信号処理部13,39,59の動作手順の一例を示すフローチャートである。図6の説明では、それぞれの一連の処理(ステップ)の実行主体であるカメラ10、レコーダ30、クライアント端末50の順に、それぞれの実行主体である場合の動作手順として説明する。また、図6に示す一連の処理は、動画像を構成する1画像(1フレーム)を処理単位として実行される。このため、例えばカメラ10のフレームレートが30fps(frame per second)である場合には、図6に示す一連の処理が1秒間に30回繰り返して実行される。
(カメラ10の信号処理部13の動作)
図6において、信号処理部13は、例えばメモリM1に保持されている設定情報に含まれる自動ゲイン制御の実行の有無に関する情報に基づいて、自動ゲイン制御(例えばゲインアップ)を実行するかどうかを判断する(S1)。自動ゲイン制御を実行しないと判断された場合には(S1、NO)、信号処理部13の処理はステップS3に進む。一方、信号処理部13は、自動ゲイン制御を実行すると判断した場合には(S1、YES)、自動ゲイン制御(例えばゲインアップ)をゲイン制御部131において実行する(S2)。これにより、カメラ10は、例えば図5Bに示すように、レコーダ30もしくはクライアント端末50における動画像を用いた認識処理に適する明るさを有した動画像のデータを得ることができる。
信号処理部13は、ステップS2の後、又は自動ゲイン制御を実行しないと判断された場合に、ゲイン制御部131の出力を用いて、被写体像の電気信号に重畳されているノイズ成分を低減するためのノイズリダクション処理を行う(S3)。これにより、カメラ10は、例えば撮像部11の撮像時点においてノイズ成分が被写体像の電気信号に重畳された場合でも、符号化部15における符号化の前に不要なノイズ成分を低減でき、符号化部15におけるデータの符号量を削減できる。
信号処理部13は、ステップS3の後、例えばメモリM1に保持されている設定情報に含まれるエッジ強調の実行の有無に関する情報に基づいて、エッジ強調を実行するかどうかを判断する(S4)。エッジ強調を実行しないと判断された場合には(S4、NO)、信号処理部13の処理は終了する。一方、信号処理部13は、エッジ強調を実行すると判断した場合には(S4、YES)、例えばメモリM1に保持されている設定情報に含まれる、エッジ強調の処理に用いるフィルタ係数をエッジ強調部133に設定するとともに、そのフィルタ係数を用いてNR部132の出力(動画像のデータ)をエッジ強調部133において実行する(S5)。また、信号処理部13は、ステップS5の処理後の動画像(第1の動画像)の視認性を上述した所定の視認性と同等となるように画質調整するための画像処理パラメータ(例えば、「分子4、分母32」などの上述したフィルタ係数(F1)を特定するための情報)を含む画質調整指示を生成する(S5)。これにより、カメラ10は、カメラ10自身において、レコーダ30もしくはクライアント端末50における動画像を用いた認識処理に適する視認性よりも低い(言い換えると、データの符号量の低い)動画像のデータを得ることができ、データの送信に伴うネットワークNWのトラフィックの負荷の増大を抑制できる。
(レコーダ30の信号処理部39,クライアント端末50の信号処理部59の動作)
図6において、信号処理部39,59は、例えばメモリM2,M3に保持されている設定情報に含まれる自動ゲイン制御の実行の有無に関する情報に基づいて、自動ゲイン制御(例えばゲインアップ)を実行するかどうかを判断する(S1)。自動ゲイン制御を実行しないと判断された場合には(S1、NO)、信号処理部39,59の処理はステップS3に進む。
一方、信号処理部39,59は、自動ゲイン制御を実行すると判断した場合には(S1、YES)、自動ゲイン制御(例えばゲインアップ)をゲイン制御部391,591において実行する(S2)。これにより、レコーダ30もしくはクライアント端末50は、例えば図5Bに示すように、自装置における動画像を用いた認識処理に適する明るさを有した動画像のデータを得ることができる。
信号処理部39,59は、ステップS2の後、又は自動ゲイン制御を実行しないと判断された場合に、ゲイン制御部391,591の出力を用いて、被写体像の電気信号に重畳されているノイズ成分を低減するためのノイズリダクション処理を行う(S3)。これにより、レコーダ30もしくはクライアント端末50は、例えば自装置における動画像を用いた認識処理に適する視認性(例えば不要なノイズ成分が低減された画質)を有した動画像のデータを得ることができる。なお、レコーダ30の信号処理部39やクライアント端末50の信号処理部59においては、ステップS3のノイズリダクション処理は省略されてよい。
信号処理部39,59は、ステップS3の後、例えばメモリM2,M3に保持されている設定情報に含まれるエッジ強調の実行の有無に関する情報に基づいて、エッジ強調を実行するかどうかを判断する(S4)。エッジ強調を実行しないと判断された場合には(S4、NO)、信号処理部39,59の処理は終了する。一方、信号処理部39,59は、エッジ強調を実行すると判断した場合には(S4、YES)、例えばメモリM2,M3に保持されている設定情報に含まれる、エッジ強調の処理に用いるフィルタ係数をエッジ強調部133に設定するとともに、そのフィルタ係数を用いてNR部392,592の出力(動画像のデータ)をエッジ強調部393,593において実行する(S5)。これにより、レコーダ30もしくはクライアント端末50は、例えば図5Aに示すように、自装置における動画像を用いた認識処理に適する視認性を有した動画像のデータを得ることができる。
図7は、実施の形態1の変形例に係るカメラ10、レコーダ30、クライアント端末50の各信号処理部13,39,59の動作手順の一例を示すフローチャートである。図7の説明でも図6の説明と同様に、それぞれの一連の処理(ステップ)の実行主体であるカメラ10、レコーダ30、クライアント端末50の順に、それぞれの実行主体である場合の動作手順として説明する。また、図7に示す一連の処理は、動画像を構成するそれぞれの画像の1フレームを処理単位として実行される。このため、例えばカメラ10のフレームレートが30fps(frame per second)である場合には、図6に示す一連の処理が1秒間に30回繰り返して実行される。また、図7の説明において、図6の説明と重複する処理については同一のステップ番号を付与して説明を簡略化又は省略し、異なる内容について説明する。
(カメラ10の信号処理部13の動作)
図7において、信号処理部13は、例えばメモリM1に保持されている設定情報に含まれる暗号化の実行の有無に関する情報に基づいて、符号化部15により符号化された動画像のデータを暗号化するかどうかを判断する(S11)。信号処理部13は、符号化部15により符号化された動画像のデータを暗号化すると判断した場合には(S11、YES)、自動ゲイン制御(例えばゲインアップ)を実行しないと判断する(S12)。これは、前述したように、動画像のデータが暗号化部17において暗号化される場合には、そのデータがレコーダ30もしくはクライアント端末50において復号されるまで動画像の中身が第三者に見られる可能性が低く、レコーダ30もしくはクライアント端末50において上述した所定の視認性(高画質)と同等の視認性を有する動画像に復元されれば良く、カメラ10においてわざわざ上述した所定の視認性(高画質)の動画像を生成してカメラ10の符号量を増大させる必要がないからである。ステップS12の後、信号処理部13の処理はステップS3に進む。
信号処理部13は、符号化部15により符号化された動画像のデータを暗号化しないと判断した場合には(S11、NO)、例えばメモリM1に保持されている設定情報に含まれる自動ゲイン制御の実行の有無に関する情報に基づいて、自動ゲイン制御(例えばゲインアップ)を実行するかどうかを判断する(S1)。自動ゲイン制御を実行しないと判断された場合には(S1、NO)、信号処理部13の処理はステップS12→ステップS3の順に進む。一方、自動ゲイン制御を実行すると判断された場合の以降の処理は図6のステップ2以降の内容と同一であるため、説明を省略する。
(レコーダ30の信号処理部39,クライアント端末50の信号処理部59の動作)
図7において、信号処理部39,59は、例えばメモリM2,M3に保持されている設定情報に含まれる暗号化(エンクリプト)に対する復号(デクリプト)の実行の有無に関する情報に基づいて、暗号化に対する復号を実行するかどうかを判断する(S11)。信号処理部39,59は、暗号化に対する復号を実行すると判断した場合には(S11、YES)、自動ゲイン制御(例えばゲインアップ)を実行すると判断する(S12)。これは、カメラ10において動画像のデータに対して暗号化が行われた場合には、自動ゲイン制御(例えばゲインアップ)が行われておらず、レコーダ30もしくはクライアント端末50において所定の視認性(高画質)と同等の視認性を有する動画像が得られるように画質調整が必要となるからである。ステップS12の後、信号処理部39,59の処理はステップS3に進む。
一方、信号処理部39,59は、暗号化に対する復号を実行しないと判断した場合には(S11、NO)、例えばメモリM2,M3に保持されている設定情報に含まれる自動ゲイン制御の実行の有無に関する情報に基づいて、自動ゲイン制御(例えばゲインアップ)を実行するかどうかを判断する(S1)。自動ゲイン制御を実行しないと判断された場合には(S1、NO)、信号処理部39,59の処理はステップS12→ステップS3の順に進む。一方、自動ゲイン制御を実行すると判断された場合の以降の処理は図6のステップ2以降の内容と同一であるため、説明を省略する。
なお、図7においてステップS1の処理は省略されてもよい。つまり、動画像のデータの暗号化の実行の有無の判断そのものが、図6のステップS1における自動ゲイン制御(例えばゲインアップ)の実行の有無の判断そのものに相当するものであってよい。具体的には、図7のステップS11において暗号化を行う場合は、図6のステップS1において自動ゲイン制御(例えばゲインアップ)を行わない場合に相当し、一方、図7のステップS11において暗号化を行わない場合は、図6のステップS1において自動ゲイン制御(例えばゲインアップ)を行う場合に相当する。
以上により、実施の形態1の動画像符号化システム100は、動画像を撮像するカメラ10と、カメラ10により撮像された動画像を出力するレコーダ30もしくはクライアント端末50(動画像出力装置の一例)と、が互いに通信可能に接続された構成である。カメラ10は、レコーダ30もしくはクライアント端末50における動画像を用いた認識処理に適する所定の視認性より低い視認性を有する第1の動画像を生成し、生成された第1の動画像を符号化し、符号化された第1の動画像と、第1の動画像の視認性を所定の視認性と同等となるように調整するための画像処理パラメータ(例えばフィルタ係数を特定するための情報)を含む画質調整指示とをレコーダ30もしくはクライアント端末50に送信する。レコーダ30もしくはクライアント端末50は、カメラ10から送信された第1の動画像及び画質調整指示を取得し、画質調整指示に基づいて、画像処理パラメータを用いて第1の動画像の視認性を所定の視認性と同等となるように画質調整し、画質調整後の動画像を出力部DP1,DP2に出力する。
これにより、動画像符号化システム100は、カメラ10などの画像送信装置から送信される撮像画像の視認性を極力低下して、カメラ10における撮像画像の符号化時の処理量(符号量)を低減でき、その符号量の低減された撮像画像がレコーダ30もしくはクライアント端末50などの画像受信装置により受信された後にその撮像画像の視認性を所望の視認性(例えば、上述した所定の視認性)と同等となるように調整できる。つまり、カメラ10は、自動ゲイン制御(例えばゲインアップ)による動画像の明るさを自動調整したり、動画像中の輪郭などの端部分を目立たせるようなエッジ強調を行ったりするような、符号量の増大に伴う余分な処理の実行を省略してできる限り視認性を低くした第1の動画像のデータを生成できる。なお、極力低下するとは、例えばカメラ10が第1の動画像の視認性を、レコーダ30もしくはクライアント端末50において画質調整指示に基づいてその低下された視認性を所定の視認性と同等となるように調整(言い換えると、回復)できる程度に低下するという意味である。
従って、動画像符号化システム100は、カメラ10から送信される動画像のデータのサイズを低減できるので(例えば10%~50%程度のサイズ削減が可能)、ネットワークNWを介したデータ伝送時の負荷の増大を抑制できる。また、レコーダ30もしくはクライアント端末50は、カメラ10から送信された画質調整指示に基づいて、レコーダ30もしくはクライアント端末50における動画像を用いた認識処理に適する所定の視認性(高画質)と同等の視認性を有する動画像を生成できる。
なお、実施の形態1において、カメラ10は、上述した画質調整指示を生成しないで、生成された第1の動画像を符号化してレコーダ30もしくはクライアント端末に送信してもよい。レコーダ30もしくはクライアント端末50は、カメラ10から送信された第1の動画像を取得し、この第1の動画像に基づいて(例えば、第1の動画像のデータの明るさに基づいて)、第1の動画像の視認性を所定の視認性と同等となるように画質調整し、画質調整後の動画像を出力部DP1,DP2に出力してよい。
これにより、カメラ10は、画質調整指示を符号化する必要が無いので、レコーダ30もしくはクライアント端末50に送信するデータの符号量を相対的に低減できる。また、レコーダ30もしくはクライアント端末50は、画質調整指示を受信しなくても、単にゲイン調整を行えば良いだけで自装置における処理に適する視認性を得ることができる場合があるので、レコーダ30もしくはクライアント端末50における第1の動画像の視認性を向上する処理を簡易化できる。
また、カメラ10は、レコーダ30もしくはクライアント端末50に送信するデータに対する暗号化の有無を示す設定情報をメモリM1に保持する。カメラ10は、暗号化を行う旨の設定情報がメモリM1に保持される場合に、第1の動画像を暗号化してから符号化する。ここで、動画像のデータが暗号化部17において暗号化される場合には、そのデータがレコーダ30もしくはクライアント端末50において復号されるまで動画像の中身が第三者に見られる可能性が低く、レコーダ30もしくはクライアント端末50において上述した所定の視認性(高画質)と同等の視認性を有する動画像に復元されれば良い。これにより、カメラ10は、動画像のデータを符号化する前に暗号化する際、わざわざ上述した所定の視認性(高画質)の動画像を生成してカメラ10の符号量を増大させる必要を無くすことができ、カメラ10において自動ゲイン制御やエッジ強調の処理を必要以上に行うことがない点でカメラ10の処理負荷を軽減することが可能となる。
また、カメラ10は、カメラ10が第1の動画像を生成するための第1のモードと、カメラ10が所定の視認性と同等の視認性を有する第2の動画像を生成するための第2のモードと、のうちいずれかに切り替えるためのスイッチ(図示略)、を更に有してよい。カメラ10は、現在の動作モードが第2のモードに切り替えられた場合に、第2の動画像を生成し、生成された第2の動画像を符号化してレコーダ30もしくはクライアント端末50に送信する。これにより、動画像符号化システム100の管理者(ユーザの一例)は、例えばネットワークNWのトラフィックの負荷状況に鑑みて、カメラ10における符号量を低減するための第1のモードに変更したり、カメラ10において第2の動画像のデータを生成するための第2のモードに変更したり、カメラ10の動作モードを簡易且つ臨機応変に変更自在にできる。なお、スイッチは、物理的なハードウェアとしての管理者が操作可能なスイッチがカメラ10に設けられてもよいし、例えば管理者の操作に基づいてレコーダ30もしくはクライアント端末50から送信される切替信号でもよい。カメラ10におけるモードの変更は、例えば信号処理部13によって行われる。
また、カメラ10は、現在の動作モード(モードの一例)が第1のモード又は第2のモードのいずれであるかを示す情報を設定情報として保持するメモリM1を有する。これにより、カメラ10は、現在の動作モードを正確に把握できる。
また、カメラ10は、レコーダ30もしくはクライアント端末50に送信するデータに対する暗号化の実行の指示に応じて、現在の動作モード(モードの一例)を第1のモードに切り替える。これにより、カメラ10が動画像のデータを暗号化する場合には、カメラ10は、わざわざ所定の視認性(高画質)と同等の視認性を有する動画像のデータを生成する必要が無くなるので、符号化部15における動画像のデータの符号量を削減でき、ネットワークNW上のデータ伝送時における負荷の増大を抑制可能となる。
また、レコーダ30もしくはクライアント端末50は、接続されるカメラ10に関する情報(例えばカメラの品番、製造番号)を取得してメモリM2,M3に保存するとともに、メモリM2,M3を参照し、取得されたカメラ10に関する情報が所定の条件を満たす場合に、現在の動作モード(モードの一例)を、カメラ10が第1の動画像を生成するための第1のモードに切り替える旨の切替指示をカメラ10に送信する。ここで、所定の条件は、例えばカメラ10が動作モードとして、第1の動画像のデータを生成可能な第1のモードと、第2の動画像のデータを生成可能な第2のモードとの両方の動作モードに対応して動作できることであり、この条件を満たすカメラの品番や製造番号がメモリM2,M3において予め登録されている。カメラ10は、レコーダ30もしくはクライアント端末50から送信された切替指示に応じて、現在の動作モード(モードの一例)を第1のモードに切り替える。これにより、レコーダ30もしくはクライアント端末50は、接続されるカメラ10が第1の動画像のデータを生成可能なものであると判別できたので、カメラ10における符号量の削減やネットワークNW上のデータ伝送時における負荷の増大を抑制可能である。
また、カメラ10により生成される画質調整指示に含まれる画像処理パラメータは、カメラ10において行われるエッジ強調の処理におけるフィルタ係数に関する情報(例えば、フィルタ係数を特定するための情報)を含む。これにより、レコーダ30もしくはクライアント端末50は、接続されたカメラ10から送信された第1の動画像の視認性を、自装置において行う認識処理に適する視認性と同等の視認性を有する動画像のデータを再現(復元)して取得することができる。
(実施の形態2)
実施の形態2では、レコーダ30もしくはクライアント端末50が画質調整指示に基づいて画質調整(言い換えると、再現、復元)して取得した動画像のデータを用いて認識処理を行った結果としてその認識処理が失敗した場合に、カメラ10における符号化パラメータや画像処理パラメータの変更を指示する例を説明する。
図8は、実施の形態2に係るカメラ10Aの内部構成例を示すブロック図である。カメラ10Aは、撮像部11と、信号処理部13Aと、符号化部15と、暗号化部17と、通信部19Aと、メモリM1とを少なくとも含む構成である。図8の説明において、図2の対応する各部と同一の構成である場合には、同一の符号を用いて説明を簡略化又は省略し、異なる内容について説明する。
通信部19Aは、クライアント端末50Aから送信された制御量変更指示(後述参照)を受信すると、その制御量変更指示を信号処理部13Aに出力する。
信号処理部13Aは、制御量変更指示を取得すると、制御量変更指示に含まれる特定のパラメータの変更指示に基づいて、例えば、エッジ強調部133におけるエッジ強調の強度を低下するようにフィルタ係数を変更したり、符号化部15における符号化パラメータ(例えば符号化率)を低下するように変更したりする。また、信号処理部13Aは、制御量変更指示を取得すると、制御量変更指示に含まれる特定の処理の実行指示に基づいて、例えばゲイン制御部131における自動ゲイン制御の実行の有無を、実行無しから実行有りに設定情報を変更してもよい。
信号処理制御部134Aは、例えばエッジ強調部133におけるエッジ強調の強度を低下するようにフィルタ係数を変更した場合には、変更後のフィルタ係数を、エッジ強調部133に設定するとともに、メモリM1の設定情報に書き込んで更新する。
信号処理制御部134Aは、例えば符号化部15における符号化パラメータを低下するように変更した場合には、変更後の符号化パラメータを、符号化部15に設定するとともに、メモリM1の設定情報に書き込んで更新する。
信号処理制御部134Aは、例えばゲイン制御部131における自動ゲイン制御の実行の有無を実行無しから実行有りに変更した場合には、ゲイン制御部131に実行指示を出力するとともに、メモリM1の設定情報に自動ゲイン制御の実行指示に関する情報を書き込んで更新する。
図9は、実施の形態2に係るクライアント端末50Aの内部構成例を示すブロック図である。クライアント端末50Aは、受信部51と、記録部53と、デコード部55と、解析部57と、信号処理部59と、出力制御部61と、認識処理部63と、制御量指示部65と、メモリM3とを少なくとも含む構成である。図9の説明において、図4の対応する各部と同一の構成である場合には、同一の符号を用いて説明を簡略化又は省略し、異なる内容について説明する。
認識処理部63は、例えばCPU、MPU、DSPもしくはFPGAなどのプロセッサを用いて構成される。認識処理部63は、記録部53に記録された動画像のデータを用いて、所定の認識処理(例えば、顔検出、人数カウント、車両のライセンスプレートや鉄道のヘッドマークの認識)を行う。なお、実施の形態2のクライアント端末50Aでは、実施の形態1のクライアント端末50の構成と比べて、認識処理部63の構成が明示的に追加されているので、実施の形態1のクライアント端末50とは異なり、実施の形態2のクライアント端末50Aの信号処理部59においては、認識処理は実行されなくてよい。
認識処理部63は、認識処理(例えば顔検出)が成功したと判断した場合には、動画像のデータ中の顔検出で得られた顔を含む矩形などの枠部分を切り出して、出力制御部61を介して外部のサーバ装置(図示略)に送信する。これにより、外部のサーバ装置は、クライアント端末50Aから送信された顔部分の動画像のデータと、予めそのサーバ装置の記録装置に登録されている顔部分の動画像のデータと一致するかどうかを照合でき、一致したと判断した場合に、アラームを出力することで、セキュリティの確保に努めることができる。なお、サーバ装置は、一致した判断した場合に、その顔の属性(例えば、年齢、性別、表情)を推定しても構わない。
一方、認識処理部63は、認識処理(例えば顔検出)が失敗したと判断した場合には、例えばカメラ10において適切な符号化やエッジ強調がなされていなかったとして、符号化パラメータ(例えば、符号化率)もしくはエッジ強調に用いたフィルタ係数のうちいずれかを変更する旨の制御量変更指示を生成して制御量指示部65に出力する(図11参照)。
制御量指示部65は、認識処理部63により生成された制御量変更指示を取得した場合に、その制御量変更指示をカメラ10に送信する。
次に、実施の形態2におけるクライアント端末50Aの動作手順の一例について、図10及び図11を参照して説明する。
図10は、実施の形態2に係るクライアント端末50Aの認識処理の動作手順の一例を示すフローチャートである。図10では、認識処理として、顔検出の処理を例示して説明するが、顔検出の処理に限らず、例えば人数カウント、車両のライセンスプレートや鉄道のヘッドマークの認識処理でもよい。
図10において、クライアント端末50Aの信号処理部59は、顔検出の前処理として、カメラ10Aもしくはレコーダ30から送信されたデータを用いて、画質調整指示に基づいて、第1の動画像の視認性を上述した所定の視認性と同等の視認性を有する動画像に画質調整(言い換えると、再現、復元)する処理(例えば、自動ゲイン制御、エッジ強調)を行う(S21)。
クライアント端末50Aの認識処理部63は、ステップS21において生成された画質調整後の動画像のデータを用いて、顔検出の処理(つまり、その画質調整後の動画像の中に人物の顔を検出する処理)を行う(S22)。
クライアント端末50Aの認識処理部63は、ステップS22の処理が成功したと判断した場合には(S23、YES)、顔検出の後処理(成功)として、例えば動画像のデータ中の顔検出で得られた顔を含む矩形などの枠部分を切り出して、出力制御部61を介して外部のサーバ装置(図示略)に送信する(S24)。ステップS24の後、図10に示す処理は終了する。
一方、クライアント端末50Aの認識処理部63は、ステップS22の処理が失敗したと判断した場合には(S23、NO)、顔検出の後処理(失敗)として、例えばカメラ10において適切な符号化やエッジ強調がなされていなかったとして、符号化パラメータ(例えば、符号化率)もしくはエッジ強調に用いたフィルタ係数のうちいずれかを変更する旨の制御量変更指示を生成して制御量指示部65に出力する(S25)。認識処理部63における制御量変更指示の生成の詳細については、図11を参照して説明する。ステップS25の後、図10に示す処理は終了する。
図11は、実施の形態2に係るクライアント端末50Aの制御量変更指示の生成処理の動作手順の一例を示すフローチャートである。
図11において、クライアント端末50Aの認識処理部63は、顔検出の後処理(失敗)として、認識処理部63が用いる顔検出のアルゴリズムにとって、現在のカメラ10Aで使用されている符号化パラメータ(例えば、符号化率)が適正な値であるかどうかを判別する(S251)。これは、カメラ10Aにおける動画像のデータを符号化する際に、符号化パラメータ(例えば、符号化率)が大きくて符号化に伴うノイズが多くなると、クライアント端末50Aにおいて顔検出の前処理によって得られた動画像の視認性が、顔検出に適する視認性に至らなかったためである。認識処理部63が用いる顔検出のアルゴリズムにとって適正な符号化パラメータ(例えば、符号化率)は、例えばメモリM1に保持される設定情報に設定されていてもよいし、外部の参照サーバ(図示略)などから取得してもよい。また、現在のカメラ10Aで使用されている符号化パラメータ(例えば、符号化率)の値は、例えばメモリM1に保持される設定情報に設定されていてもよいし、カメラ10Aに対して直接に問い合わせして取得してもよい。
クライアント端末50Aの認識処理部63は、現在のカメラ10Aにおいて実行された符号化パラメータ(例えば、符号化率)が適正な値であると判断した場合には(S251、YES)、符号化パラメータ(例えば、符号化率)を変更する必要は無いので、カメラ10Aのエッジ強調部133におけるエッジ強調の強度を低下するようにフィルタ係数を変更する旨の制御量変更指示を生成する(S252)。クライアント端末50Aの認識処理部63は、ステップS252により生成された制御量変更指示を、制御量指示部65を介してカメラ10Aに送信する(言い換えると、制御量変更指示をカメラ10Aにフィードバックする)。
一方で、クライアント端末50Aの認識処理部63は、現在のカメラ10Aにおいて実行された符号化パラメータ(例えば、符号化率)が適正な値ではないと判断した場合には(S251、NO)、符号化パラメータ(例えば、符号化率)を変更する必要があるので、カメラ10Aの符号化部15における符号化パラメータを低下するように変更する旨の制御量変更指示を生成する(S253)。クライアント端末50Aの認識処理部63は、ステップS253により生成された制御量変更指示を、制御量指示部65を介してカメラ10Aに送信する(言い換えると、制御量変更指示をカメラ10Aにフィードバックする)。
以上により、実施の形態2の動画像符号化システム100では、レコーダ30もしくはクライアント端末50Aは、画質調整後の動画像を用いた認識処理が失敗した場合に、第1の動画像の視認性より低い視認性を有する動画像を生成可能に画像処理パラメータを変更する旨の変更指示(制御量変更指示)をカメラ10Aに送信する。カメラ10Aは、レコーダ30もしくはクライアント端末50Aから送信された制御量変更指示に応じて、画像処理パラメータ(例えば、フィルタ係数)を変更し、変更後の画像処理パラメータ(例えば、フィルタ係数)を用いて、第1の動画像の視認性より低い視認性を有する動画像を生成する。
これにより、レコーダ30もしくはクライアント端末50Aにおける認識処理が失敗したとしても、レコーダ30もしくはクライアント端末50Aからの制御量変更指示に基づいて、カメラ10Aは、第1の動画像より強度の低いエッジ強調によって得られた、より低い視認性(言い換えると、符号化部15における符号化の処理時にノイズの発生が抑制される視認性)を有する動画像を生成できる。従って、例えばレコーダ30もしくはクライアント端末50Aにおける認識処理が成功するまで、レコーダ30もしくはクライアント端末50Aは、カメラ10Aに対し、符号化ノイズのできるだけ低い視認性の動画像を生成させることができる。
また、実施の形態2の動画像符号化システム100では、レコーダ30もしくはクライアント端末50Aは、画質調整後の動画像を用いた認識処理が失敗した場合に、第1の動画像の符号化に用いた符号化パラメータを低く変更する旨の変更指示(制御量変更指示)をカメラ10Aに送信する。カメラ10Aは、レコーダ30もしくはクライアント端末50Aから送信された制御量変更指示に応じて、符号化パラメータ(例えば、符号化率)を変更し、変更後の符号化パラメータ(例えば、符号化率)を用いて、第1の動画像を符号化する。
これにより、レコーダ30もしくはクライアント端末50Aにおける認識処理が失敗したとしても、レコーダ30もしくはクライアント端末50Aからの制御量変更指示に基づいて、カメラ10Aは、第1の動画像の視認性より低い視認性(言い換えると、レコーダ30もしくはクライアント端末50Aにおける認識処理にとって適正な符号化パラメータを用いて、符号化部15における符号化の処理時にノイズの発生が抑制される画質)を有する動画像を生成できる。従って、例えばレコーダ30もしくはクライアント端末50Aにおける認識処理が成功するまで、レコーダ30もしくはクライアント端末50Aは、カメラ10Aに対し、符号化ノイズのできるだけ低い視認性の動画像を生成させることができる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。