JP7250433B2 - 撮像装置、制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置、制御方法及びプログラムに関する。

近年、監視カメラのような設置型の撮像装置を用いて映像を取得し、取得した映像からユーザが要求している情報を容易に確認できるようになっている。ユーザが必要としている映像や情報を提供するためには、映像や撮像装置から取得できるメタデータを付加しておく必要があり、複数の種類のメタデータが必要となる。メタデータを生成するためには、メタデータの種類に応じて、物体検知、色抽出、文字認識、顔認識等様々な画像解析処理が必要となる。

特許文献１には、撮像装置と外部の解析サーバとの間でやり取りを行い、解析サーバにメタデータ解析可能な分野(人用、車用等)がある場合には、解析サーバが処理を行い、不可能な場合には撮像装置が処理を行う技術が開示されている。

特開２０１０－２７３１２５号公報

しかしながら、撮像装置のリソースは限られているため、メタデータの生成を頻繁に行うと、撮像装置に対して必要以上に負荷をかけることになる。また、撮像装置によって得られた画像の質は、常に良好であるとは限らず、撮影時の設定条件や設置場所の環境によって低下することがあり、この場合には、メタデータの信頼度は低い可能性がある。

本発明はこのような問題点に鑑みなされたもので、撮像画像のメタデータを適切な頻度で生成するよう制御することを目的とする。

そこで、本発明は、撮像装置であって、撮像画像の画像解析を行う解析手段と、前記画像解析の結果に基づき、前記撮像画像に対して付加するメタデータの生成頻度を設定する設定手段と、前記設定手段により設定された生成頻度で、前記メタデータを生成するよう制御する制御手段と、を有し、前記解析手段は、前記撮像画像に含まれる物体の大きさを特定し、前記設定手段は、前記物体の大きさが閾値以上であり、処理対象のメタデータの種類が第１のグループに属するメタデータである場合において、前記第１のグループと異なる第２のグループに属するメタデータを生成する場合の生成頻度と比べて大きい値を、前記処理対象のメタデータの生成頻度として設定することを特徴とする。

本発明によれば、撮像画像のメタデータを適切な頻度で生成するよう制御することができる。

第１の実施形態に係る撮像装置のハードウェア構成図である。 撮像装置の機能構成図である。 メタデータの種類の一例を示す図である。 設定処理を示すフローチャートである。 第１の調整処理を示すフローチャートである。 第２の調整処理を示すフローチャートである。 メタデータの生成頻度の増減の一例を示す図である。 装置設定処理を示すフローチャートである。 第３の調整処理を示すフローチャートである。 メタデータ用領域毎の生成頻度設定処理を示すフローチャートである。 送信頻度設定処理を示すフローチャートである。 メタデータの表示例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、第１の実施形態に係る撮像装置１００のハードウェア構成図である。図１において、レンズ群１０１は、被写体からの入射した光を撮像素子１０３上に集光する光学系である。レンズ群１０１には、被写体に対するピント合わせを行うフォーカスレンズや、画角を調整するズームレンズ等が含まれる。レンズ群１０１を通過した光は光学フィルタ１０２を通過し、撮像素子１０３に入射する。光学フィルタ１０２として、例えば赤外線カットフィルタ（ＩＲＣＦ）等が設置されている。そして撮像映像の情報は、撮像素子１０３の受光面の画素毎に所定の順序で配列されたカラーフィルタを通り、撮像素子１０３で受光される。撮像素子１０３は、撮影対象の映像をアナログ信号として出力する。

撮像素子１０３で結像された映像は、ＡＧＣ１０４でゲインコントロールされ映像信号の輝度の調整が行われ、Ａ／Ｄ変換部１０５でアナログ信号からデジタル信号に変換される。映像信号処理部１０６は、Ａ／Ｄ変換部１０５からのデジタル信号に所定の処理を施し、画素毎の輝度信号と色信号を出力し、出力用の映像を作るとともに、撮像装置１００の制御を行うための各パラメータを作成する。撮像装置１００の制御を行うためのパラメータとしては、例えば絞りの制御や、ピント合わせの制御、色味を調整するホワイトバランス制御において使用されるパラメータが挙げられる。

露出制御部１０７は、映像信号処理部１０６から出力される輝度情報から撮影画面内の輝度情報を算出し、撮像画像を所望の明るさに調整すべく絞り及びＡＧＣを制御する。操作部１０８は、ユーザ操作を受け付ける。振れ検出部１０９は、撮像装置１００の振れの有無及び振れの量を検出する。振れ検出部１０９は、例えば加速度センサである。制御部１１０は、撮像装置１００の全体を制御する。通信部１２０は、外部装置の通信部１２１との通信を行う。通信部１２０は、例えば、映像信号処理部１０６で作成された映像信号を外部装置に送信する。また、通信部１２０から、撮像装置１００で生成したメタデータを外部装置に送信してもよい。外部装置は、制御部１２２で通信部１２１から受信した映像信号やメタデータを処理し、表示部１２３で映像やメタデータを表示する。

制御部１１０のＣＰＵ１１１は、ＲＯＭ１１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、後述する撮像装置１００の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ１１１は、ＲＯＭ１１２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。

また、他の例としては、撮像装置１００の機能や処理の少なくとも一部は、例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させることにより実現してもよい。また、他の例としては、撮像装置１００の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。

図２は、撮像装置１００の機能構成図である。画像解析部２０１は、映像信号処理部１０６により得られた映像に対し画像解析処理を施す。画像解析処理としては、物体認識、動体検知、色抽出、顔認識、文字認識等が挙げられる。メタデータ生成部２０２は、画像解析部２０１の解析結果からメタデータを生成し、これを映像に付加する。なお、メタデータを映像に対応付けるための具体的な方法は実施形態に限定されるものではない。他の例としては、メタデータ生成部２０２は、映像とメタデータに、両者を紐付けるような識別子を割り当ててもよい。ここで、メタデータ生成部２０２によるメタデータを生成する処理は、メタデータを生成するよう制御する制御処理及びメタデータを生成する生成処理の一例である。

生成管理部２０３は、メタデータ生成部２０２によるメタデータの生成を管理する。具体的には、生成管理部２０３は、メタデータの種類毎に、メタデータの生成頻度を設定する。図３は、メタデータの種類の一例を示す図である。本実施形態においては、メタデータは、人体に関するものと車に関するもの、その他に大別されるものとする。人体に関するメタデータとしては、服の色、身長、性別、年齢、移動方向等が挙げられる。また、車に関するメタデータとしては、色、ナンバープレートの表示、車種、移動方向等が挙げられる。その他のメタデータとしては、映像を撮影した撮像装置１００のＩＤ、設置位置、向き、撮影パラメータ（ズーム、シャッタースピード等）、天候、温度等が挙げられる。また、生成管理部２０３は、撮像装置１００が外部装置にメタデータを送信している場合には、メタデータの送信頻度の設定処理も行う。

ここで、例えば、その他のメタデータである撮像装置１００のＩＤや設置位置は、撮影毎に替わることのない不変的なメタデータである。一方で、人が着用する服の色や車のナンバープレートの表示等は撮影毎に替わる可能性のあるメタデータである。不変的なメタデータは、変化する可能性はないため、一度取得してしまえば、何度も生成する必要がない。また、人の服の色、車の色等は、比較的高精度に判別することができるため、繰り返し、メタデータの生成を行う必要がない。一方で、ナンバープレートに表示された文字等の認識や、人物の年齢の推定等の画像解析の精度は、得られた映像に依存するところが大きい。

本実施形態の撮像装置１００は、図３に示す複数のメタデータを所定の間隔おきに生成し、これを映像に付加する。さらに、撮像装置１００は、このメタデータの生成頻度をメタデータ毎に設定する。図４は、撮像装置１００による、設定処理を示すフローチャートである。設定処理は、メタデータの生成頻度を設定する処理である。なお、生成頻度設定処理の開始時において、図３に示す各メタデータの生成頻度として、予め設定された初期値が割り当てられており、設定処理では、初期値を適宜増加させることで生成頻度が設定される。

Ｓ４０１において、画像解析部２０１は、映像を取得する。次に、Ｓ４０２において、画像解析部２０１は、映像において動体の検出を行う。画像解析部２０１は、動体が検出された場合には（Ｓ４０２でＹｅｓ）、処理をＳ４０３へ進める。画像解析部２０１は、動体が検出されなかった場合には（Ｓ４０２でＮｏ）、処理をＳ４０１へ進める。Ｓ４０３において、画像解析部２０１はさらに、動体が人体であるか車であるかの認識処理を行う。画像解析部２０１は、動体が人体の場合には（Ｓ４０３で人体）、処理をＳ４０４へ進める。画像解析部２０１は、動体が車の場合には（Ｓ４０３で車）、処理をＳ４０５へ進める。

Ｓ４０４において、生成管理部２０３は、人体に関するメタデータの生成頻度をｎ増加させる。一方、Ｓ４０５においては、生成管理部２０３は、車に関するメタデータの生成頻度をｍ増加させる。以上で、処理が終了する。ここで、ｍは、ｎよりも大きい値とする。人体と車では、車の方が移動速度が速い。したがって、車に関するメタデータの生成頻度を人体に関するメタデータの生成頻度よりも大きい値に設定する。これにより、速度の速い車に対しても、メタデータを取りこぼすのを防ぐことができる。Ｓ４０３、Ｓ４０４、Ｓ４０５の処理は、物体が動体の場合に、動体でない場合に比べて生成頻度を増加させる処理である。すなわち、Ｓ４０３、Ｓ４０４、Ｓ４０５の処理は、物体の大きさに基づいて生成頻度を設定する処理の一例である。

図５は、撮像装置１００による、第１の調整処理を示すフローチャートである。第１の調整処理は、設定処理において設定されたメタデータの生成頻度を調整する処理である。Ｓ５０１において、画像解析部２０１は、認識された動体の大きさを特定する。次に、Ｓ５０２において、生成管理部２０３は、Ｓ５０１において特定された動体の大きさと、予め設定された閾値とを比較する。生成管理部２０３は、動体の大きさが閾値以上の場合には（Ｓ５０２でＹｅｓ）、処理をＳ５０３へ進める。生成管理部２０３は、動体の大きさが閾値未満の場合には（Ｓ５０２でＮｏ）、処理を終了する。

Ｓ５０３において、生成管理部２０３は、図３に示すメタデータのうち処理対象のメタデータが第１のグループに属するメタデータであるか否かを確認する。生成管理部２０３は、第１のグループに属するメタデータである場合には（Ｓ５０３でＹｅｓ）、処理をＳ５０４へ進める。生成管理部２０３は、第１のグループに属するメタデータでない場合には（Ｓ５０３でＮｏ）、処理を終了する。Ｓ５０４において、生成管理部２０３は、処理対象のメタデータの生成頻度を所定量だけ増加させる。以上で、処理が終了する。なお、Ｓ５０４の処理は、物体の大きさが閾値以上の場合に、第１のグループのメタデータに、第１のグループのメタデータ以外の他のメタデータに比べて大きい生成頻度を設定する設定処理の一例である。

ここで、第１のグループに属するメタデータは、動体の大きさが一定以上の場合にメタデータの精度、信頼度が増すようなメタデータであり、これらのメタデータが第１のグループに属するものとして、撮像装置１００において予め設定されているものとする。第１のグループに属するメタデータとしては、例えば、車のナンバープレートの表示や人体の年齢等がある。例えば、ナンバープレートでは、車が大きい方が、文字つぶれ等がなく文字認識し易く、精度が上がり、メタデータの信頼性が向上する。したがって、メタデータの生成頻度を増加することで正確な情報を増やすことができる。一方で、例えば、車の色は、車が小さくても色抽出ができ、また車が大きいからといって精度が向上するとは限らない。このため、大きさが一定以上の場合にも生成頻度を増加させる必要はない。したがって、車の色は、第１のグループには属さないメタデータとして設定される。

なお、Ｓ５０４において生成頻度を増加させる程度は特に限定されるものではない。他の例としては、生成管理部２０３は、Ｓ５０４の処理前に設定されている生成頻度を基準とした所定の割合分増加させてもよい。また、他の例としては、生成管理部２０３は、大きさに応じて、増加の程度を変化させてもよい。

図６は、撮像装置１００による、第２の調整処理を示すフローチャートである。第２の調整処理は、第１の調整処理と同様、設定処理において設定されメタデータの生成頻度を調整する処理である。第２の調整処理は、第１の調整処理の後に行われるものとする。他の例としては、第２の調整処理を先に行うこととしてもよい。

Ｓ６０１において、生成管理部２０３は、振れ検出部１０９によって検出された振れ量を取得する。なお、振れ量は、振れ検出部１０９が検出するのに替えて、画像解析部２０１が画像から動きベクトルを算出することで得ることとしてもよい。次に、Ｓ６０２において、振れ量と、予め設定された閾値とを比較する。生成管理部２０３は、振れ量が閾値以上の場合には（Ｓ６０２でＹｅｓ）、処理をＳ６０３へ進める。生成管理部２０３は、振れ量が閾値未満の場合には（Ｓ６０２でＮｏ）、処理を終了する。

Ｓ６０３において、生成管理部２０３は、図３に示すメタデータのうち、処理対象のメタデータが第２のグループに属するメタデータであるか否かを確認する。生成管理部２０３は、第２のグループに属するメタデータである場合には（Ｓ６０３でＹｅｓ）、処理をＳ６０４へ進める。生成管理部２０３は、第２のグループに属するメタデータでない場合には（Ｓ６０３でＮｏ）、処理を終了する。Ｓ６０４において、生成管理部２０３は、処理対象のメタデータの生成頻度を所定量だけ減少させる。以上で、処理が終了する。なお、Ｓ６０４の処理は、振れ量が閾値以上の場合に、第２のグループのメタデータに、第２のグループのメタデータ以外の他のメタデータに比べて小さい生成頻度を設定する設定処理の一例である。

ここで、第２のグループに属するメタデータは、振れが生じている場合にメタデータの信頼度が低下するようなメタデータであり、これらのメタデータが第２のグループに属するものとして、撮像装置１００において予め設定されているものとする。第２のグループに属するメタデータとしては、例えば、車のナンバープレートの表示がある。ナンバープレートでは、文字がぶれることによって文字認識の精度は低下する。そこで、一定値以上の振れ量を検出した場合、精度の低いメタデータの生成のための処理負荷を軽減すべく、生成頻度を減少させる。一方で、車の色は、画像にぶれが生じていても精度よく抽出することができる。したがって、車の色は、第２のグループには属さないメタデータとして設定される。

なお、Ｓ６０４において生成頻度を減少させる程度は特に限定されるものではない。他の例としては、生成管理部２０３は、Ｓ６０４の処理前に設定されている生成頻度を基準とした所定の割合分を減じることとしてもよい。また、他の例としては、生成管理部２０３は、振れ量に応じて、減少の程度を変化させてもよい。

図７は、設定処理（図３）、第１の調整処理（図５）及び第２の調整処理（図６）によるメタデータの生成頻度の増減の一例を示す図である。第１の調整処理における動体の大きさを検出する処理や第２の調整処理における振れ量を検出する処理は、画像解析処理の一例である。そして、設定処理、第１の調整処理及び第２の調整処理は、画像解析の結果に基づいて、生成頻度を設定する設定処理の一例である。

以上のように、第１の実施形態に係る撮像装置１００は、メタデータの種類や、画像の解析結果、振れ量等に応じてメタデータの生成頻度を設定する。これにより、撮像装置１００は、メタデータの過剰な生成や、メタデータの不足を防ぐような、適切な頻度でメタデータを生成するよう制御することができる。ズーム量や設置環境は頻繁に変更されることはないと想定すると、動体の大きさや振れ量は頻繁には変化しないと考えられる。このため、撮像装置１００は、一度設定した生成頻度を使い続けることもできる。

第１の実施形態の第１の変形例としては、第１の調整処理（図５）のＳ５０４においては、生成頻度を増加することとしている。これは、生成頻度を上げることで、正確な情報を多く蓄積するためである。ただし、大きさが閾値以上で、第１のグループのメタデータである場合には、メタデータの信頼性は高い。このため、メタデータの生成を繰り返す必要がない場合もある。このような場合には、Ｓ５０４において、生成頻度を減少させることとしてもよい。これにより、メタデータの生成に係る処理負荷を軽減することができる。

また、第２の変形例としては、生成頻度を設定する際に参照する画像解析結果は、動体の大きさや振れ量に限定されるものではない。他の例としては、低照度時のノイズ等であってもよい。すなわち、撮像装置１００は、ノイズに応じて生成頻度を設定してもよい。

第３の変形例としては、撮像装置１００は、ユーザ操作に応じて、メタデータの生成頻度を設定してもよい。この場合には、撮像装置１００は、ユーザによる設定を優先し、上記のような生成頻度の設定に係る処理は、ユーザにより生成頻度の設定が行われなかった種類のメタデータに対して行うものとする。

第４の変形例としては、撮像装置１００は、図４に示すＳ４０２における動体検知の頻度は特に限定されるものではない。例えば、撮像装置１００は、動画検知は映像の毎フレームで行い、これ以外の画像解析はメタデータの生成頻度で行うこととしてもよく、また他の例としては、動画検知もメタデータの生成頻度で行うこととしてもよい。

第５の変形例としては、実施形態においては、メタデータを付加する撮像画像が映像である場合を例に説明いたが、不可する対象は静止画でもよい。

第６の変形例としては、撮像装置１００は、映像中の動体に限らず、静止した物体（人及び車）に対するメタデータに関しても、実施形態において説明した処理により生成頻度を設定してもよい。撮像装置１００は、例えば、図５のＳ５０１において動体に替えて物体の大きさを取得するようにすればよい。

（第２の実施形態）
次に、第２の実施形態に係る撮像装置１００について、第１の実施形態に係る撮像装置１００と異なる点について説明する。第２の実施形態に係る撮像装置１００は、メタデータの生成処理を適宜外部装置に実行させる。図８は、メタデータの生成処理を実行する装置を設定する装置設定処理を示すフローチャートである。Ｓ８０１において、生成管理部２０３は、メタデータ生成部２０２によるメタデータ生成に係る処理負荷が予め設定された閾値以上か否かを確認する。生成管理部２０３は、処理負荷が閾値以上の場合には（Ｓ８０１でＹｅｓ）、処理をＳ８０２へ進める。生成管理部２０３は、処理負荷が閾値未満の場合には（Ｓ８０１でＮｏ）、処理をＳ８０４進める。生成管理部２０３は、例えば、メタデータ生成に係る画像解析部２０１やメタデータ生成部２０２の処理実行時のリソース使用割合や処理時間を処理負荷の評価値として用いる。

Ｓ８０２において、生成管理部２０３は、処理対象のメタデータに対して設定されている生成頻度を確認する。生成管理部２０３は、生成頻度が予め設定された閾値以上の場合には（Ｓ８０２でＹｅｓ）、処理をＳ８０３へ進める。生成管理部２０３は、生成頻度が閾値未満の場合には（Ｓ８０２でＮｏ）、処理をＳ８０４へ進める。Ｓ８０３において、生成管理部２０３は、外部装置をメタデータの生成処理を実行する装置として決定する。以上で処理は終了する。この場合、生成管理部２０３は、通信部１２０を介して外部装置に映像と共にメタデータの生成指示を送信する。本処理は、メタデータを生成するよう制御する制御処理の一例である。

また、Ｓ８０４において、生成管理部２０３は、撮像装置１００がメタデータ生成に使用可能なリソースが予め設定された閾値以上か否かを確認する。生成管理部２０３は、リソースが閾値以上の場合には（Ｓ８０４でＹｅｓ）、処理をＳ８０５へ進める。生成管理部２０３は、リソースが閾値未満の場合には（Ｓ８０４でＮｏ）、処理をＳ８０３へ進める。Ｓ８０５において、生成管理部２０３は、撮像装置１００をメタデータの生成処理を実行する装置として決定する。以上で処理は終了する。なお、第２の実施形態に係る撮像装置１００のこれ以外の構成及び処理は、第１の実施形態に係る撮像装置１００の構成及び処理と同様である。

以上のように、第２の実施形態に係る撮像装置１００は、撮像装置１００と外部装置とにメタデータの生成処理を分散させることができる。これにより、メタデータの生成処理における負荷が撮影時の機能に影響を及ぼすのを防ぐことができる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態においては、画像解析部２０１は、取得した映像から動体検出を行い、検出した動体毎に、動体を識別するためのＩＤを取得して付与する。動体の識別情報である物体ＩＤをメタデータとしてもよいが、ここでは動体ＩＤ以外のメタデータの生成頻度を設定するために用いている。

図９は、第３の実施形態に係る撮像装置１００による、第３の調整処理を示すフローチャートである。Ｓ９０１において、画像解析部２０１は、動体ＩＤの取得の状態を判定する。画像解析部２０１は、動体ＩＤを取得していない場合には（Ｓ９０１でＮｏ）、処理をＳ９０４へ進める。画像解析部２０１は、動体ＩＤを取得している場合には（Ｓ９０１でＹｅｓ）、処理をＳ９０２へ進める。Ｓ９０２において、画像解析部２０１はさらに、取得している動体ＩＤの信頼度を確認する。動体ＩＤの信頼度が予め設定された閾値以上である場合には（Ｓ９０２でＹｅｓ）、処理をＳ９０３へ進める。動体ＩＤの信頼度が予め設定された閾値以上ではない場合には（Ｓ９０２でＮｏ）、処理をＳ９０４へ進める。なお、動体ＩＤの信頼度は、各フレーム内において検出された動体の空間的な位置の近さ、あるいは動体の輝度、色の類似度合いなどの公知の手法から算出することができる。

Ｓ９０３において、生成管理部２０３は、信頼度が予め設定された閾値以上の動体ＩＤを取得している動体のメタデータの生成頻度を所定量だけ減少させる。一方、Ｓ９０４においては、生成管理部２０３は、メタデータの生成頻度を所定量だけ増加させる。なお、第３の実施形態に係る撮像装置１００のこれ以外の構成及び処理は、他の実施形態に係る撮像装置１００の構成及び処理と同様である。

異なるフレーム間でも同じ動体ＩＤが付与された動体は、同じ動体とみなすようにすることができる。第３の実施形態においては、同じ動体ＩＤが付与されて同じ動体とみなされた場合、画像解析部２０１において動体が人であると認識された場合、認識された着用している服の色や年齢といった種類のメタデータを繰り返し生成しないようにする。また、画像解析部２０１において動体が車であると認識された場合、ナンバープレートや車の色といった種類のメタデータを繰り返し生成しないようにする。

ただし、同じ動体ＩＤが付与されているからといって、一様にメタデータを繰り返し生成しないようにしてしまうと、付与された動体ＩＤが誤っている場合にメタデータを取りこぼしてしまうことになる。そこで、上記のように同じ動体ＩＤが付与されていても、動体ＩＤの信頼度が予め設定された閾値未満と判断された場合には、メタデータの生成頻度を増加することとする。これにより、誤った動体ＩＤが付与されていてもメタデータの取りこぼしを防ぐことができる。

また、撮影映像から動体が検出されていても、動体ＩＤの付与を行っていない場合、動体ＩＤによる同一動体かの判断ができないため、ＩＤを付与されている動体よりもメタデータの生成頻度を増加させておく。

一方で、撮影映像から検出された動体に付与された動体ＩＤの精度や信頼度が予め設定された閾値より高いと判断された場合には、異なるフレームにおいて、同一の動体が存在する。そこで、例えば、動体が人であれば年齢や身長といったメタデータは変化する可能性がないと判断することができる。この場合には、メタデータの生成頻度を減少させることで処理負荷を減少させることができ、撮影時の機能に影響を及ぼすのを防ぐことができる。同一動体であると判断しても、変化する可能性がある人の動作方向といったメタデータの生成頻度は減少させないでおく。

（第４の実施形態）
次に、第４の実施形態について説明する。第１の実施形態においては、撮像装置１００は、取得した映像の全領域を対象として、検出された人や車に対してメタデータの生成頻度の調整を行っていた。これは、メタデータ用領域が映像全体ということを示している。これに対し、第４の実施形態の撮像装置１００はメタデータ用領域を映像全体とはせず、部分的なメタデータ用領域を映像の任意の位置に１個又は複数個設定する。任意の位置に設定できるメタデータ用の領域の個数の上限は、予め撮像装置１００で設定しておいてもよいし、メタデータの個数やデータ量、メタデータを生成する対象物体の個数から決定してもよい。

図１０は、メタデータ用領域毎の生成頻度設定処理を示すフローチャートである。Ｓ１００１において、生成管理部２０３は、メタデータ用領域を設定しない場合には（Ｓ１００１でＮｏ）、処理を終了する。生成管理部２０３は、メタデータ用領域を設定する場合には（Ｓ１００１でＹｅｓ）、処理をＳ１００２へ進める。生成管理部２０３は、メタデータ用領域毎でメタデータの生成頻度を異なる頻度に設定しない場合には（Ｓ１００２でＮｏ）、処理を終了する。生成管理部２０３は、メタデータ用領域毎でメタデータの生成頻度を異なる頻度に設定する場合には（Ｓ１００２でＹｅｓ）、処理をＳ１００３へ進める。生成管理部２０３は、メタデータ用領域内でイベントが発生していない場合には（Ｓ１００３でＮｏ）、処理を終了する。生成管理部２０３は、メタデータ用領域内でイベントが発生した場合には（Ｓ１００３でＹｅｓ）、処理をＳ１００４へ進める。Ｓ１００４において、生成管理部２０３は、イベントが発生したメタデータ用領域内に存在する動体に関するメタデータの生成頻度を所定量だけ増加させる。

メタデータ用領域の任意の位置への設定は、ユーザ操作に応じて複数設定することも可能であり、画像解析部２０１による画像解析の結果から、自動でメタデータ用領域を設定することも可能である。自動でメタデータ用領域を設定する場合、例えば、画像解析部２０１は、動体が頻繁に通過する道路や出入り口を画像解析で認識することによって、メタデータ用領域の設定を行う。また、他の例としては、画像解析部２０１は、動体の数が多くなる領域をメタデータ用領域として設定してもよい。発生するイベントとしては、例えば、物体がある領域に侵入する異常侵入や所定の場所に置かれていた物体が持ち去られることや、物体が置いたままにされる置き去りといったイベントが挙げられる。なお、第４の実施形態に係る撮像装置１００のこれ以外の構成及び処理は、他の実施形態に係る撮像装置１００の構成及び処理と同様である。

上記のように、映像全体ではなく領域を絞り、さらにイベントが発生している部分を対象としてメタデータを生成することで、より効率よくメタデータを取得することが可能となる。

第４の実施形態の第１の変形例としては、生成管理部２０３は、任意の位置に設定されたメタデータ用領域内に、対象物体の数が、予め設定された閾値以上存在する場合、メタデータの生成頻度を所定量だけ減少させてもよい。これにより、群集監視のようにメタデータ用領域内に対象物体が相当数存在することが予想される場合に、処理負荷を軽減することができる。

第４の実施形態の第２の変形例としては、群集監視を想定して、生成管理部２０３は、対象物体の数が予め設定された閾値以上存在する場合、生成するメタデータの種類を減少させて、さらに生成頻度を所定量だけ減少させてもよい。

（第５の実施形態）
次に、第５の実施形態について図１１を用いて説明する。生成管理部２０３は、撮像装置１００が外部装置と通信を行わない撮像装置単体の構成である場合には（Ｓ１１０１でＮｏ）、処理を終了する。生成管理部２０３は、撮像装置１００と外部装置とが通信を行う構成である場合には（Ｓ１１０１でＹｅｓ）、処理をＳ１１０２へ進める。生成管理部２０３は、撮像装置１００が撮像装置内で生成したメタデータを外部装置へ送信しない場合には（Ｓ１１０２でＮｏ）、処理を終了する。生成管理部２０３は、撮像装置１００が撮像装置内で生成したメタデータを外部装置へ送信する場合には（Ｓ１１０２でＹｅｓ）、処理をＳ１１０３へ進める。

生成管理部２０３は、撮像装置１００から外部装置へ送信するメタデータの量が予め設定された閾値以上ではない場合には（Ｓ１１０３でＮｏ）、処理を終了する。生成管理部２０３は、撮像装置１００から外部装置へ送信するメタデータの量が予め設定された閾値以上である場合には（Ｓ１１０３でＹｅｓ）、処理をＳ１１０４へ進める。Ｓ１１０４において、生成管理部２０３は、外部装置へ送信するメタデータの送信頻度を所定量だけ減少させる。

撮像装置１００から外部装置へメタデータが送信されることによって外部装置側のメタデータが更新される。撮像装置から外部装置間の通信では、メタデータ以外にも映像やデータの送受信を行っているので、メタデータが大量になってしまうと通信を圧迫してしまう。そこで、上記のように外部装置へ送信するメタデータの量が予め設定された閾値以上の場合に送信頻度を減少させることとする。これにより、通信への影響を及ぼすのを防ぐことができる。

第５の実施形態の変形例としては、撮像装置１００は、撮像装置から外部装置へメタデータを送信する手段として撮像画像に付加して送信するか、メタデータのみをテキストデータとして別で送信するかを選択してもよい。選択の方法としては、メタデータの生成対象の数が予め設定された閾値より大きい場合は、メタデータのみでテキストデータとして送信する方法を選択してもよい。

ここまでメタデータの生成頻度の設定に関して述べたが、図１２では生成されたメタデータの表示例を示す。図１２の上図のように、表示映像とは別にナンバープレートや車種のメタデータを表示する方法や、図１２下図のように、表示映像上に重畳してメタデータを表示することも可能であり、ユーザ操作に応じて変更してもよい。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
２０１ 画像解析部
２０２ メタデータ生成部
２０３ 生成管理部

Claims (14)

1. 撮像画像の画像解析を行う解析手段と、
   前記画像解析の結果に基づき、前記撮像画像に対して付加するメタデータの生成頻度を設定する設定手段と、
   前記設定手段により設定された生成頻度で、前記メタデータを生成するよう制御する制御手段と、を有し、
   前記解析手段は、前記撮像画像に含まれる物体の大きさを特定し、
   前記設定手段は、
   前記物体の大きさが閾値以上であり、処理対象のメタデータの種類が第１のグループに属するメタデータである場合において、
   前記第１のグループと異なる第２のグループに属するメタデータを生成する場合の生成頻度と比べて大きい値を、前記処理対象のメタデータの生成頻度として設定する
   ことを特徴とする撮像装置。
2. 前記メタデータを生成する生成手段をさらに有し、
   前記制御手段は、前記生成手段による前記メタデータの生成を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記解析手段は、前記撮像画像における物体が動体か否かを特定し、
   前記設定手段は、前記物体が動体か否かに基づいて、前記生成頻度を設定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記設定手段は、前記物体が動体である場合に、動体でない場合の前記物体に関するメタデータの生成頻度に比べて大きい値を、前記物体に関するメタデータの生成頻度として設定することを特徴とする請求項３に記載の撮像装置。
5. 前記第１のグループに属するメタデータは、文字に関するメタデータ又は人体の年齢に関するメタデータであることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記設定手段は、さらに前記撮像装置の振れ量に基づいて、前記生成頻度を設定することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 前記撮像装置の前記振れ量を検知する検知手段をさらに有することを特徴とする請求項６に記載の撮像装置。
8. 前記撮像画像に基づいて、前記振れ量を取得する取得手段をさらに有することを特徴とする請求項６に記載の撮像装置。
9. 前記メタデータの生成に係る処理負荷に基づいて、前記メタデータの生成処理を行う装置を前記撮像装置とするか外部装置とするかを決定する決定手段をさらに有し、
   前記制御手段は、前記決定手段が決定した装置が前記メタデータの生成を行うよう制御することを特徴とする請求項１乃至８の何れか１項に記載の撮像装置。
10. 前記決定手段は、前記処理負荷が予め設定された閾値以上の場合に、前記生成処理を行う装置を外部装置に決定することを特徴とする請求項９に記載の撮像装置。
11. 前記決定手段は、さらにメタデータの生成頻度に基づいて、前記生成処理を行う装置を決定することを特徴とする請求項１０に記載の撮像装置。
12. 前記決定手段は、前記処理負荷が予め設定された閾値以上で、かつ前記生成頻度が予め設定された閾値以上の場合に、前記生成処理を行う装置を外部装置に決定することを特徴とする請求項１１に記載の撮像装置。
13. 撮像画像の画像解析を行う解析ステップと、
    前記画像解析の結果に基づき、前記撮像画像に対して付加するメタデータの生成頻度を設定する設定ステップと、
    前記設定ステップにおいて設定された生成頻度で、前記メタデータを生成するよう制御する制御ステップと、を含み、
    前記解析ステップでは、前記撮像画像に含まれる物体の大きさを特定し、
    前記設定ステップでは、
    前記物体の大きさが閾値以上であり、処理対象のメタデータの種類が第１のグループに属するメタデータである場合において、
    前記第１のグループと異なる第２のグループに属するメタデータを生成する場合の生成頻度と比べて大きい値を、前記処理対象のメタデータの生成頻度として設定する
    ことを特徴とする制御方法。
14. コンピュータを、請求項１乃至１２の何れか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images