JP5456175B2 - 映像監視装置 - Google Patents

Description

本発明は、映像監視装置に関するものである。

画像を用いて監視作業を実施する際に、効率的な監視作業を実現するため、監視カメラ映像に対して追加情報（テキスト、画像、音声など）を重畳させる場合がある。例えば、プラントの保守・管理業務においては、作業手順の指示や注意部位の確認をスムーズに行うために、監視カメラ映像に情報を重畳させることが望まれている。

監視カメラ映像に情報を重畳表示する際に、その情報の用途に合わせて、画面内の適切な位置に情報を表示する必要がある。したがって、現在の画面がどのような映像を表示しているかを特定する必要が生じる。現在の映像を特定する手法として、各種センサ（磁気センサ、ジャイロセンサ、赤外線センサ、ＧＰＳ）を用いてカメラの位置姿勢を求める、センサベースの位置合わせ手法が知られている。

下記特許文献１には、コンパスを用いてカメラの姿勢を決定する姿勢決定手段と、カメラの緯度及び経度からカメラの位置を決定する位置決定手段を用いて、ディスプレイフィールド領域の情報の内容または形状を変化させる、グラフィック・ユーザ・インタフェイス生成装置が示されている。この技術を用いれば、任意の実空間上にメッセージなどの情報を対応付け、ディスプレイに表示することができる。

下記特許文献２には、磁界発生手段と磁界検出手段を用いて３次元空間座標を演算し、その３次元空間座標に基づいて、３次元の仮想物体をカメラ映像上に重畳させた合成画像を生成する方法が記載されている。

一方で、センサ情報を用いずに、カメラから取得した映像を解析することによりカメラの位置姿勢を求める、ビジョンベースの位置合わせ手法が知られている。ビジョンベースの位置合わせ手法として、画像認識しやすい特定パターンのマーカを使用する方法が知られている。

下記特許文献３には、所定の画像パターンを認識することにより、画像パターンに応じた情報を、カメラから取得した画像に重畳して描画する方法が記載されている。

下記非特許文献１には、特定のマーカを用いずに、カメラから取得した画像から検出した特徴的な点や線を利用することで、カメラの位置姿勢を推定し、カメラ映像に情報を重畳させる方法が記載されている。

以上の手法は、カメラの設置位置が変化することを想定して姿勢位置を決定する方法である。しかし、カメラが固定されている場合、より単純な方法を用いることができる。

下記特許文献４には、架台角・ズーム情報をもとにカメラ映像上で付加情報を表示するための位置を決定する手法が記載されている。同文献では、被写体と説明文字が重ならないように、重畳させる説明文字の外枠に囲まれる範囲で隣り合う画素間の輝度差の総和が最小になる説明文字の外枠の配置位置を探し出している。

下記特許文献５には、カメラ制御情報を用いて合成映像を表示する手法が記載されている。同文献では、ズーム倍率に応じて、付加情報を表示させるか否かを判定している。

特許第４２９４０９３号公報 特許第３５５８１０４号公報 特許第３７８６１６６号公報 特開２００５−３５４４６１号公報 特開平１０−３３６５０３号公報

G. Klein and D. Murray. Parallel tracking and mapping for small AR workspaces. In Proc. Sixth IEEE and ACM Int’l Symp. Mixed and Augmented Reality, 2007.

上記各文献に記載されている技術では、同じ場所の監視カメラ映像に対して多数の追加情報が登録される可能性がある。このとき、多数の追加情報のなかから重畳表示すべきものを選び出すための処理負荷が大きくなり、装置に負担をかける。

本発明は、上記のような課題を解決するためになされたものであり、監視カメラ映像に追加情報を効率的に重畳させることのできる映像監視装置を提供することを目的とする。

本発明に係る映像監視装置は、カメラが撮像する画像を特定する画像特定情報と追加情報を対応付けて保持しておく。追加情報を画像に重畳する際には、対応する画像間の距離が所定範囲内に収まる追加情報を検索し、そのなかから、カメラが現在撮像している画像内に収まるものをカメラ画像に重畳する。

本発明に係る映像監視装置によれば、対応する画像間の距離が所定範囲内に収まる追加情報を先に検索することにより、重畳表示する候補となる追加情報を限定することができる。これにより、全ての追加情報について重畳表示する必要があるか否かを判断する必要がなくなるので、処理負荷を軽減することができる。

実施形態１に係る映像監視装置１００の機能ブロック図である。 データベース１０９の構成とデータ例を示す図である。 映像制御部１０５がカメラ映像へメッセージを重畳する様子を示す図である。 メッセージ登録部１０６がデータベース１０９に登録するメッセージを、ユーザがシステムに入力するための画面例を示す図である。 メッセージ登録部１０６がメッセージをデータベース１０９に登録する処理を説明するフローチャートである。 映像制御部１０５がカメラ映像へメッセージを重畳表示する動作を示すフローチャートである。 パン、チルト、ズーム値によってメッセージをクラスタリングする概念を説明する図である。 クラスタ情報の構造とデータ例を示す図である。 映像監視装置１００が監視画像上に重畳すべきメッセージを絞り込む処理を示すフローチャートである。 画像が類似しているメッセージの優先度を高くすることにより、重畳表示するメッセージを絞り込む様子を示す図である。 カメラ１０１が撮像した画像の部分画像と類似するカメラ映像フィールド２０７を検索する様子を示す図である。 カメラ１０１が撮像した画像の部分画像と類似するカメラ映像フィールド２０７を検索する処理フローである。 実施形態４におけるデータベース１０９が格納している画像特徴量情報１３０１と、これを用いて画像間の類似度を算出する様子を示す図である。 ユーザがメッセージを選択することによりカメラ１０１の撮像視野を制御する様子を示す図である。 映像監視装置１００がカメラ１０１のパン、チルト、ズーム値を補正する処理を示す図である。

＜実施の形態１＞
図１は、本発明の実施形態１に係る映像監視装置１００の機能ブロック図である。映像監視装置１００は、監視映像にテキストや画像などの追加情報を重畳して表示する装置である。以下では追加情報としてテキストを用いて説明するが、その他の追加情報を用いることもできる。以下では、特に区別する場合を除いて映像と画像は概ね同義で用いる。

映像監視装置１００は、カメラ１０１、カメラ制御部１０２、カメラ情報取得部１０３、カメラ映像取得部１０４、映像制御部１０５、メッセージ登録部１０６、特徴量抽出部１０７、データベース制御部１０８、データベース１０９、映像出力部１１０、操作情報入力部１１１、表示装置１１２、入力装置１１３を備える。

カメラ１０１は、監視画像を撮像する装置であり、撮像視野を変更する駆動装置を有する。例えば、パン、チルト、ズームなどの撮像パラメータを変更することができる。カメラ１０１は、外部から制御信号を受け取り、その制御信号に応じて撮像パラメータ（パン、チルト、ズームの値）を変更する。また、現在の撮像パラメータを外部に通知することができる。市販の監視カメラなどをカメラ１０１として用いることができる。

カメラ制御部１０２は、カメラ１０１のパン、チルト、ズームを変更するための制御信号をカメラ１０１に送信する。カメラ制御部１０２は、カメラ１０１の機種間の通信プロトコル差異を吸収し、カメラ１０１の仕様に応じた制御信号を送信するように構成することもできる。

カメラ情報取得部１０３は、カメラ１０１の駆動装置の状態（パン、チルト、ズームの値）を取得する要求をカメラ１０１に対して送信し、取得した情報を映像制御部１０５、メッセージ登録部１０６に出力する。

カメラ映像取得部１０３は、カメラ１０１が撮像した映像（静止画像）を取得し、映像制御部１０５、メッセージ登録部１０６に出力する。

映像制御部１０５は、操作情報入力部１１１からユーザのシステムに対する操作指示を受け取り、カメラ情報取得部１０３から受け取ったカメラ１０１の駆動装置の現在の状態（パン、チルト、ズームの値）に応じてカメラ制御部１０２にパン、チルト、ズームの制御指示を出す。また、映像制御部１０５は、カメラ映像取得部１０４からカメラ映像を取得し、データベース制御部１０８からデータベース１０９に登録されているテキストメッセージを取得し、これらを重畳して映像出力部１１０に出力する。また、映像制御部１０５は、データベース制御部１０８からテキストメッセージを取得する際に、カメラ映像を特徴量抽出部１０７に出力し、特徴量抽出部１０７が計算したカメラ映像の画像特徴量を条件としてテキストメッセージを絞り込む。

メッセージ登録部１０６は、操作情報入力部１１１からデータベース１０９に登録するテキストメッセージとその監視画面上の位置情報を受け取る。メッセージ登録部１０６は、カメラ情報取得部１０３から取得したカメラ１０１のパン、チルト、ズーム値と、テキストメッセージの監視画面上の位置情報とを用いて、テキストメッセージを監視画面中央に表示させるためのパン、チルト、ズーム値を計算し、カメラ映像取得部１０４から取得したカメラ映像と併せてデータベース制御部１０８に出力する。また、画像特徴量を計算するため、カメラ映像を特徴量抽出部１０７に出力する。

特徴量抽出部１０７は、映像制御部１０５やメッセージ登録部１０６から送られてきたカメラ映像の画像特徴量を計算し、データベース制御部１０８に出力する。

データベース制御部１０８は、メッセージ登録部１０６から送られてきたメッセージ、カメラ映像、パン、チルト、ズームの値、特徴量抽出部１０７が計算したカメラ映像の画像特徴量、および登録時刻などの書誌情報を関連付けてデータベース１０９に登録する。データベース制御部１０８は、これらの情報をデータベース１０９に登録する際に、パン、チルト、ズーム値によってデータをクラスタリングする。クラスタリングについては図５を用いて後述する。またデータベース制御部１０８は、映像制御部１０５からの要求に応じて、データベース１０９から条件に一致するテキストメッセージを読み出す。この条件としては、例えば、パン、チルト、ズームの値、時刻、画像特徴量の類似度などがある。

データベース１０９は、テキストメッセージ、カメラ映像、パン、チルト、ズームの値、画像特徴量、時刻などの情報を関連づけて格納する。たとえば、ハードディスクや半導体メモリなどの記憶装置上に上記データを保持するデータを格納することによって構築される。データベース１０９の詳細は、後述の図３で改めて説明する。

映像出力部１１０は、映像制御部１０５が生成した監視映像を表示装置１１２に出力する。

操作情報入力部１１１は、入力装置１１３から入力されたユーザによる操作指示を、映像制御部１０５やメッセージ登録部１０６に出力する。

表示装置１１２は、液晶ディスプレイなどの画面表示部を備えた表示デバイスであり、映像出力部１１０から受け取った監視映像を画面表示する。

入力装置１１３は、マウス、キーボード、タッチデバイスなど、ユーザの操作をシステムに伝えるための入力インタフェースである。

図２は、データベース１０９の構成とデータ例を示す図である。ここではテーブル形式の構成例を示したが、データ形式は任意でよい。

データベース１０９は、メッセージＩＤフィールド２０１、メッセージフィールド２０２、時刻フィールド２０３、パンフィールド２０４、チルトフィールド２０５、ズームフィールド２０６、カメラ映像フィールド２０７、画像特徴量フィールド２０８を有する。

メッセージＩＤフィールド２０１は、各テキストメッセージの識別番号を保持する。メッセージフィールド２０２は、監視画像に重畳表示するためユーザが入力したメッセージを保持する。例えばテキストメッセージであれば、そのメッセージ文字列を保持する。時刻フィールド２０３は、メッセージフィールド２０２が保持するメッセージがデータベース１０９に登録された日時を保持する。

パンフィールド２０４、チルトフィールド２０５、ズームフィールド２０６は、メッセージフィールド２０２が保持するメッセージを表示装置１１２の監視画面中央に表示するときのカメラ１０１のパン、チルト、ズーム値を保持する。これらフィールドが保持するパラメータは、カメラ１０１の撮像視野を特定することにより、カメラ１０１が撮像する画像を特定する、画像特定情報としての意義を有する。これら以外のパラメータ、例えばカメラ１０１の地理的位置や設置角度などを画像特定情報として用いてもよい。

カメラ映像フィールド２０７は、メッセージフィールド２０２が保持するメッセージを監視画面中央に表示するときの、カメラ映像の静止画（バイナリデータ）を保持する。画像特徴量フィールド２０８は、カメラ映像フィールド２０７が保持するカメラ映像から抽出した画像特徴量を保持する。画像特徴量は、色特徴や形状特徴など画像そのものが有する特徴を数値化したものであり、例えば固定長のベクトルデータで表される。

メッセージの画面上位置を指定する場合は、図２で説明した各フィールドに加え、画面上位置を記述する座標フィールドを設けてもよい。画面上位置を指定しない場合は、例えば画面中央などの固定位置にメッセージを表示すればよい。

図３は、映像制御部１０５がカメラ映像へメッセージを重畳する様子を示す図である。映像制御部１０５は、カメラ１０１から取得したカメラ映像３０１に対して、データベース１０９に登録されているメッセージ３０３を重畳描画し、表示装置１１２に監視画面３０４として表示する。これにより、監視画面３０４上でカメラ映像にメッセージを重畳して表示することができる。

映像制御部１０５は、カメラ１０１の駆動装置の状態（パン、チルト、ズーム値）３０２、メッセージ３０３に関連付けられたパン、チルト、ズーム値、およびカメラ１０１の仕様である水平画角３０５と垂直画角３０６から、メッセージ３０３の表示場所を計算する。

図３の例では、カメラ１０１のズーム値が１．０の時の水平画角３０５が７０°、垂直画角３０６が５０°である。カメラ１０１のパン、チルトがそれぞれ０．０、０．０であるため、重畳表示するメッセージは関連付けられたパンの値が−３５．０〜３５．０の範囲かつチルトの値が−２５．０〜２５．０の範囲であることが条件となる。映像制御部１０５は、この条件を満たすテキストメッセージをデータベース１０９から検索する。

ｍｅｓｓａｇｅ２は、パン＝０．０、チルト＝０．０であるため、画面中央に表示する。ｍｅｓｓａｇｅ１は、パン＝−１５．０、チルト＝−１０．０であるため、画面左下に表示する。メッセージ３０３として、文字列そのものを単純表示してもよいし、メッセージが収まるボックスや吹き出しで囲んで表示してもよい。また、例えばズーム１．５で登録されたｍｅｓｓａｇｅ１は、ズーム１．０で登録されたｍｅｓｓａｇｅ２より小さく表示する、というように、ズーム値に応じてメッセージの表示サイズを変えてもよい。

図４は、メッセージ登録部１０６がデータベース１０９に登録するメッセージを、ユーザがシステムに入力するための画面例を示す図である。ユーザは、メッセージをデータベース１０９に登録する際に、表示装置１１２、入力装置１１３を用いる。ここでは入力装置１１３として、キーボード４０６とマウス４０７を例示するが、これに限られるものではない。

ユーザは、監視画面４０１の任意の場所にマウスカーソル４０２を移動させ、クリックボタンを押す。映像制御部１０５は、監視画面４０１上にメッセージの表示範囲４０３を描画する。ユーザは、キーボード４０６を用いて、メッセージボックス４０４に、重畳表示させたいメッセージを入力する。このとき、キーボード４０６が押されるたびに画面上に入力中のメッセージを描画することにより、入力後の画面表示を確認できるようにしてもよい。ユーザは、メッセージを入力し終わったら、マウス４０７を操作して登録ボタン４０５をクリックする。この結果、ユーザが入力したテキストメッセージが、操作情報入力部１１１を通じてメッセージ登録部１０６へ送信される。

図５は、メッセージ登録部１０６がメッセージをデータベース１０９に登録する処理を説明するフローチャートである。以下、図５の各ステップについて説明する。

（図５：ステップＳ５０１）
操作情報入力部１１１は、ユーザが入力したメッセージと画面上の位置を取得し、メッセージ登録部１０６に出力する。

（図５：ステップＳ５０２）
メッセージ登録部１０６は、カメラ情報取得部１０３から、カメラ１０１のパン、チルト、ズームの値を取得する。

（図５：ステップＳ５０３）
メッセージ登録部１０６は、ステップＳ５０１で取得したメッセージの画面上の位置、ステップＳ５０２で取得したカメラのパン、チルト、ズーム値、およびカメラの水平画角と垂直画角から、メッセージをカメラ映像の中央に表示するためのパン、チルト値を計算する。具体的には、後述する図６のステップＳ６０７において、パン、チルト値からカメラ映像上の座標を求める計算の逆計算を実施すればよい。

（図５：ステップＳ５０４）
メッセージ登録部１０６は、カメラ映像取得部１０４から、カメラ映像を取得する。

（図５：ステップＳ５０５）
メッセージ登録部１０６は、ステップＳ５０４で取得したカメラ映像を特徴量抽出部１０７に出力する。特徴量抽出部１０７は、画像特徴量を計算する。

（図５：ステップＳ５０６）
メッセージ登録部１０６は、ステップＳ５０１で取得したメッセージ本文とズーム値、ステップＳ５０２で求めたパン、チルトの値、ステップＳ５０４で取得したカメラ映像、ステップＳ５０５で計算した画像特徴量を、データベース制御部１０８に出力する。データベース制御部１０８は、これらデータを関連付けて、データベース１０９に登録する。

図６は、映像制御部１０５がカメラ映像へメッセージを重畳表示する動作を示すフローチャートである。以下、図６の各ステップについて説明する。

（図６：ステップＳ６０１）
映像制御部１０５は、カメラ映像取得部１０３からカメラ映像を取得する。

（図６：ステップＳ６０２）
映像制御部１０５は、カメラ情報取得部１０４からカメラ１０１のパン、チルト、ズーム値を取得する。

（図６：ステップＳ６０３）
映像制御部１０５は、表示するメッセージのパン、チルト値の条件を計算する。カメラの水平画角と垂直画角は、カメラの仕様とステップＳ６０２で取得したズーム値から求める。パンの条件Ｒｐは、ステップＳ６０２で取得したパンの値ｐと水平画角Ａｈから、ｐ−Ａｈ／２〜ｐ＋Ａｈ／２と計算される。チルトの条件Ｒｔは、ステップＳ６０２で取得したチルトの値ｔと水平画角Ａｖから、ｔ−Ａｖ／２〜ｔ＋Ａｖ／２と計算される。

（図６：ステップＳ６０４）
映像制御部１０５は、ステップＳ６０３で求めたパン条件Ｒｐとチルト条件Ｒｔを満たすメッセージをデータベース１０９から取得し、メッセージのリストを作成する。

（図６：ステップＳ６０３〜Ｓ６０４：補足）
映像制御部１０５は、データベース１０９に登録されている全てのメッセージを検索するのではなく、所定範囲内にあるメッセージのみを検索する。詳細は後述する図７で改めて説明する。

（図６：ステップＳ６０５）
映像制御部１０５は、条件を満たすメッセージが存在しない場合は本処理フローを終了する。この場合、ステップＳ６０１で取得したカメラ映像をそのまま映像出力部１１０へ出力する。条件を満たすメッセージが１つでも存在している場合は、ステップＳ６０６へ進む。

（図６：ステップＳ６０６）
映像制御部１０５は、ステップＳ６０４で取得したメッセージのリストから１つのメッセージを選択する。

（図６：ステップＳ６０７）
映像制御部１０５は、メッセージに関連付けられたパン値ｐ’とチルト値ｔ’、およびカメラ映像の幅ｗと高さｈから、カメラ映像上でメッセージを表示する座標を計算する。例えば、カメラ映像の左上の座標（ｘ，ｙ）を（０，０）としたとき、メッセージの表示座標（ｘ，ｙ）は、下記式で近似計算することができる。

（図６：ステップＳ６０７：計算式）
ｘ＝（ｐ’−（ｐ−Ａｈ／２））／Ａｈ×ｗ
ｙ＝ｈ−（ｔ’−（ｔ−Ａｔ／２））／Ａｔ×ｈ

（図６：ステップＳ６０８）
映像制御部１０５は、ステップＳ６０１で取得したカメラ映像に対して、ステップＳ６０７で計算した座標上で、ステップＳ６０６で選択したメッセージを重畳描画する。

（図６：ステップＳ６０９）
映像制御部１０５は、ステップＳ６０４でデータベース１０９から取得した全メッセージの重畳表示処理が完了した場合は、本処理フローを終了する。処理が済んでいないメッセージが残っている場合は、ステップＳ６０６に戻り次のメッセージを処理する。

以上、映像監視装置１００の構成と全体動作について説明した。次に、データベース１０９に登録されている多数のメッセージのなかから重畳表示すべきメッセージを効率的に検索する手法を説明する。

映像監視装置１００は、ユーザがカメラのパン、チルト、ズームを操作するたびに、画面に表示するメッセージをデータベース１０９から取得してくる必要がある。データベース１０９に登録されたメッセージ数が増加すると、全データに対して重畳表示すべきか否かの条件を判定する処理コストが増大し、描画処理に支障を来す可能性がある。

そこで、映像監視装置１００は、データベース１０９に登録されているメッセージを、そのパン、チルト、ズーム値によって、あらかじめクラスタリングしておく。メッセージを重畳表示する際は、データベース１０９に登録されている全メッセージについて条件判定するのではなく、クラスタの要素平均がカメラのパン、チルト、ズーム値の現在値と近いクラスタに属する要素についてのみ条件判定する。

図７は、パン、チルト、ズーム値によってメッセージをクラスタリングする概念を説明する図である。監視画像に重畳するメッセージは、その時点でカメラ１０１が撮像している画像の撮像視野、すなわちカメラ１０１のパン、チルト、ズーム値と対応付けることができる。そこでデータベース制御部１０８は、データベース１０９に登録するメッセージを、パン、チルト、ズームの３軸座標値によってクラスタリングする。クラスタリングとは、座標が近いメッセージをグループ化する処理である。クラスタリングの結果は、後述する図８で説明するクラスタ情報として、データベース１０９に別途登録される。

図７に示すパン、チルト、ズームの３軸で表される空間上には、○で記された位置においてデータベース１０９上にメッセージが登録されているものとする。図７の例では、領域７０１、７０２、７０３に示す３つのクラスタが形成されている。

データベース制御部１０８は、各クラスタについて、その要素の平均であるクラスタ平均（図７の×印）を計算しておく。また、映像制御部１０５は、カメラ１０１のパン、チルト、ズーム値がクラスタに属するか否かを判定する閾値をあらかじめ保持しておく。例えば、データベース１０９上の任意の領域などに格納しておけばよい。図７の点線は、クラスタ中心からこの閾値の範囲内にある距離を示す。

図７において、カメラ１０１の駆動装置のパン、チルト、ズーム値が座標７０４にあると仮定する。座標７０４に対応する表示装置１１２上の画面表示範囲７０５は、座標７０４を中心とする矩形領域で表される。このとき、クラスタ７０１のクラスタ中心と座標７０４の間の距離は、点線で示す閾値以下の距離にある。

映像制御部１０５は、クラスタ７０１に属するメッセージが画面表示範囲７０５に含まれるかどうかを判定する。この処理により、映像制御部１０５は、データベース１０９に登録されている全てのデータを調べることなく、画面表示範囲７０５内に重畳表示すべきメッセージを効率的に抽出することができる。

図８は、クラスタ情報の構造とデータ例を示す図である。クラスタ情報は、図７で説明したクラスタリングの結果を保持するデータであり、クラスタＩＤフィールド８０１、クラスタ中心フィールド８０２、メッセージＩＤリストフィールド８０３を有する。

クラスタＩＤフィールド８０１は、各クラスタの識別番号を保持する。クラスタ中心フィールド８０２は、クラスタＩＤフィールド８０１の値で識別されるクラスタに属するメッセージのパン、チルト、ズーム値を平均した値を表すベクトルを保持する。メッセージＩＤリストフィールド８０３は、クラスタＩＤフィールド８０１の値で識別されるクラスタに属するメッセージの識別番号のリストを保持する。各メッセージの識別番号は、図２のメッセージＩＤフィールド２０１の値に対応している。

映像制御部１０５は、図６のステップＳ６０３〜Ｓ６０４において、カメラ１０１が現在撮像している画像がいずれのクラスタに属するかを判断する。このとき、まずカメラ１０１のパン、チルト、ズーム値をカメラ情報取得部１０３から取得し、クラスタ中心フィールド８０２が保持している各座標との間の距離を求める。その距離が図７の点線で示す所定範囲内にある場合、カメラ１０１が現在撮像している画像はそのクラスタに属すると判断する。次に映像制御部１０５は、そのクラスタに属するメッセージＩＤをメッセージＩＤリストフィールド８０３から取得する。各メッセージが画面表示範囲７０５に含まれるか否かは、カメラ１０１の現在のパン、チルト、ズーム値などのパラメータを用いて撮像視野を算出し、その撮像視野内に各メッセージが収まるか否かによって判断すればよい。

以上、映像監視装置１００が重畳表示すべきメッセージを効率的に検索する手法を説明した。同手法は、特にデータベース１０９に登録されているメッセージ間の画面上距離がカメラ１０１の撮像画像サイズ未満であるものが複数存在する場合において、画面内に各メッセージを重畳すべきか否かを判断する対象をクラスタ範囲内に限定することができる点で効率的である。一方、各クラスタに属するメッセージが１つのみである場合は、全メッセージについて重畳表示するか否かを判断することになるため、同手法の効果は従来と同程度であると考えられる。

＜実施の形態１：まとめ＞
以上のように、本実施形態１に係る映像監視装置１００は、カメラ１０１が現在撮像している画像との間の距離が所定範囲内にあるメッセージ、すなわちクラスタ中心と現在の撮像画像との間の距離が所定範囲内にあるクラスタを、データベース１０９が格納しているパン、チルト、ズーム値に基づき検索する。次に、そのクラスタに含まれるメッセージのうち、カメラ１０１が現在撮像している画像範囲に含まれるものを抽出し、画像に重畳表示する。これにより、重畳表示すべきメッセージを検索する処理回数は、クラスタ個数とクラスタ内のメッセージ個数に準じることとなり、全てのメッセージについて重畳表示の要否を判断する必要はなくなるので、検索処理負荷を軽減することができる。

＜実施の形態２＞
実施形態１では、重畳表示するメッセージをクラスタリングして検索負荷を軽減する手法を説明した。一方、１画面内に重畳表示すべきメッセージが多数存在する場合、全てのメッセージを監視カメラ映像に重畳させると、監視カメラ映像がテキスト情報によって覆われ、本来監視すべき映像の視認性を損ねてしまう。

そこで本発明の実施形態２では、メッセージに優先度を付与し、優先度の高いメッセージのみを画像に重畳表示する手法を説明する。映像監視装置１００の構成は実施形態１と同様であるため、以下では差異点を中心に説明する。

図９は、映像監視装置１００が監視画像上に重畳すべきメッセージを絞り込む処理を示すフローチャートである。図９の処理は、図６のステップＳ６０６〜Ｓ６０９において重畳描画するメッセージを絞り込むために実施するものである。以下、図９の各ステップについて説明する。

（図９：ステップＳ９０１）
本ステップは、ステップＳ６０６と同様である。

（図９：ステップＳ９０２）
映像制御部１０５は、ステップＳ９０１で選択したメッセージの優先度を計算する。優先度の計算手法として、以下のような例が挙げられる。

（図９：ステップＳ９０２：計算例その１）
カメラ１０１が現在撮像している画像との間の距離が近いメッセージほど、優先度を高くする。画像とメッセージの間の距離は、例えばカメラ１０１の現在のパン、チルト、ズーム値と、各メッセージに対応付けられているパン、チルト、ズーム値とを用いて算出することができる。

（図９：ステップＳ９０２：計算例その２）
データベース１０９に登録された日時が新しいメッセージほど、優先度を高くする。

（図９：ステップＳ９０２：計算例その３）
カメラ１０１が現在撮像している画像と、カメラ映像フィールド２０７が保持している画像とが類似しているメッセージほど、優先度を高くする。

（図９：ステップＳ９０３）
ステップＳ９０２で計算した優先度が所定閾値以上であればステップＳ９０４へ進み、それ以外であればステップＳ９０６へスキップする。

（図９：ステップＳ９０４〜Ｓ９０６）
これらのステップは、図６のステップＳ６０６〜Ｓ６０８と同様である。

図１０は、画像が類似しているメッセージの優先度を高くすることにより、重畳表示するメッセージを絞り込む様子を示す図である。図１０に示す手法は、ステップＳ９０２において計算例３を採用した場合に相当する。

映像制御部１０５は、メッセージを絞り込まない場合、カメラ映像１００１に対して、その画角に収まるメッセージをデータベース１０９から読み出し、重畳描画する。これにより、表示装置１１２に監視画面１００２を表示する。

このとき、データベース１０９に該当するメッセージが多数登録されていると、図１０の監視画面１００２に例示するように、メッセージ同士が重なって表示され、カメラ映像自体の視認性が損なわれる。

そこで、映像制御部１０５は、現在のカメラ映像１００１に類似する画像を、データベース１０９のカメラ映像フィールド２０７から検索する。映像制御部１０５は、カメラ映像フィールド２０７が保持する画像を、画像特徴量のベクトル間距離（特徴量距離）が小さい順にソートする。図１０の検索結果１００３は、特徴量間の距離が小さい順（＝類似度の高い順）に並んだ画像のリストとなる。

カメラ映像フィールド２０７の類似度が高いほどメッセージの優先度を高くするのは、同フィールドの類似度が高いほど、そのメッセージは現在のカメラ映像と同じような状況において登録されたメッセージであると考えられるからである。

映像制御部１０５は、類似度が高い順に優先度を高くするなどの基準によって検索結果１００３内のメッセージに優先度を付与し、優先度が所定閾値以上のメッセージをカメラ映像に重畳描画する。これにより、監視画面１００４に例示するように、監視映像の視認性を保つことができる。

＜実施の形態２：まとめ＞
以上のように、本実施形態２に係る映像監視装置１００は、重畳すべきメッセージをデータベース１０９から検索した後、各メッセージの優先度を算出し、優先度の高いメッセージのみを画像に重畳する。これにより、多数のメッセージを同時に重畳表示して監視画像の視認性を妨げることを回避できる。

＜実施の形態３＞
実施形態２において、カメラ１０１が現在撮像している画像と類似するカメラ映像フィールド２０７を検索し、類似度が高いものを優先することを説明した。この場合、画像全体が類似するか否かによって類似度を算出しているため、メッセージ表示位置が画面端部に設定されている場合には、画像間の類似度は必然的に低くなり、そのメッセージが選択されにくくなる傾向がある。

そこで本発明の実施形態３では、カメラ１０１が撮像した画像の部分画像と類似するカメラ映像フィールド２０７を検索し、画面上位置に応じて適切な類似度を算出することにより、表示位置が画面端部に設定されているメッセージも選択できるようにする。

図１１は、カメラ１０１が撮像した画像の部分画像と類似するカメラ映像フィールド２０７を検索する様子を示す図である。

図１１において、カメラ画像１１０１に対して多数のメッセージが対応付けられているため、重畳表示するメッセージを絞り込まない場合、監視画面１１０２のように多数のメッセージが重畳されて監視画像の視認性を損なう。

そこで映像制御部１０５は、カメラ画像１１０１の部分画像１１０３を複数の部分について生成し、これら部分画像と類似するカメラ映像フィールド２０７を検索する。映像制御部１０５は、検索結果１１０４を類似度順にソートし、類似度が所定閾値以上であるカメラ映像フィールド２０７を抽出する。映像制御部１０５は、抽出結果１１０５に関連付けられたメッセージのみをカメラ映像に重畳描画し、監視画面１１０６を構成する。

図１２は、カメラ１０１が撮像した画像の部分画像と類似するカメラ映像フィールド２０７を検索する処理フローである。図１２の処理フローは、図１１で説明した手法の詳細を説明するものである。以下、図１２の各ステップについて説明する。

（図１２：ステップＳ１２０１〜Ｓ１２０３）
これらのステップは、図６のステップＳ６０１〜Ｓ６０４と同様である。

（図１２：ステップＳ１２０４）
映像制御部１０５は、ステップＳ１２０３で取得したメッセージ候補に関連付けられたパン、チルト、ズーム値を元に、メッセージの周辺領域の位置とサイズを計算する。この周辺領域は、後のステップＳ１２０５において、図１１で説明した部分画像として用いられる。

（図１２：ステップＳ１２０４：補足）
本ステップにおいて、重複する部分画像については適宜除外してもよい。また、メッセージ候補のパン、チルト、ズーム値を用いて実施形態１で説明したようなクラスタリング処理を実施し、各クラスタの中心値のみを用いることにより、部分画像の数を減らすこともできる。すなわち、各クラスタの中心値に最も近い部分画像のみを、データベース１０９が格納しているカメラ映像フィールド２０７と比較する対象としてもよい。

（図１２：ステップＳ１２０５）
映像制御部１０５は、ステップＳ１２０４で求めた周辺領域を１つ選び、部分画像として取得する。

（図１２：ステップＳ１２０６）
映像制御部１０５は、部分画像と類似するカメラ映像フィールド２０７を検索する。

（図１２：ステップＳ１２０７）
映像制御部１０５は、検索結果をリストに追加する。リストには、メッセージＩＤと特徴量距離（類似度）をセットで登録しておく。

（図１２：ステップＳ１２０８）
映像制御部１０５は、全周辺領域を処理済みであればステップＳ１２０９へ進み、処理が済んでいない周辺領域があればステップＳ１２０５へ戻って同様の処理を繰り返す。

（図１２：ステップＳ１２０９）
映像制御部１０５は、検索結果のリストを特徴量距離（類似度）でソートする。また、メッセージＩＤが重複した場合は、特徴量距離がもっとも小さい（最も類似度が高い）メッセージだけをリストに残す。この結果、特徴量距離が小さい（類似度が高い）順に並べられたメッセージＩＤのリストが得られる。映像制御部１０５は、このリストに記載されているメッセージを、重畳表示する候補とすることができる。

＜実施の形態３：まとめ＞
以上のように、本実施形態３に係る映像監視装置１００は、カメラ１０１が撮像している画像の部分画像と類似するカメラ映像フィールド２０７を検索し、類似度が高いカメラ映像フィールド２０７に対応するメッセージほど優先度を高くする。これにより、表示位置が画面端部に設定されているメッセージであっても、その周辺画像がカメラ映像と類似する場合には類似度が高いものと判定される。したがって、画面端部のメッセージであっても類似度を適切に判定し、重畳表示する対象として選択することができる。

＜実施の形態４＞
実施形態２〜３では、カメラ１０１のパン、チルト、ズーム値とカメラ映像フィールド２０７を対応付け、カメラ映像フィールド２０７が保持している画像の特徴量を用いて画像間の類似度を算出することを説明した。カメラ１０１のパン、チルト、ズーム値が変化したとき、特定の画像特徴量のみが大きく変化し、その他の画像特徴量はあまり変化しない場合には、大きく変化する画像特徴量のみを用いて類似度を算出することもできる。

そこで本発明の実施形態４では、カメラ１０１の現在のパン、チルト、ズーム値に応じて、一部の画像特徴量のみを用いて画像間の類似度を算出する手法を説明する。

図１３は、本実施形態４におけるデータベース１０９が格納している画像特徴量情報１３０１と、これを用いて画像間の類似度を算出する様子を示す図である。本実施形態４において、データベース１０９は、図２で説明した各データに加え、画等特徴量情報１３０１を格納している。図１３の例では、画像特徴量１３０１の前半部分１３０２は色特徴量を保持し、後半部分１３０３は形状特徴量を保持する。

監視対象空間１３０４において、その上部１３０５については構造的な変化が起きにくく、ライトなどの明暗の差異が類似シーン検索において重要な意味を持つ。そこで、カメラ１０１のチルトが画面上部１３０５に相当する値である場合、映像制御部１０５は、特徴量距離を計算する際に色特徴を表す前半部分１３０２のみを使用する。

一方で、監視対象空間１３０４の下部１３０６においては、明度の変化よりも、人や機材が存在するか否かといった形状的な特徴が類似度算出において大きな影響を有する。そこで、カメラ１０１のチルトが画面下部１３０６に相当する値である場合、映像制御部１０５は、特徴量距離を計算する際に形状特徴を表す後半部分１３０３のみを使用する。

カメラ１０１の撮像視野と、上記のような画像特徴量との関係は、カメラ１０１の設置場所によってあらかじめ定まる。カメラ１０１のパン、チルト、ズーム値がどの範囲のときにどの画像特徴量を使用して類似度を算出するかについては、映像監視装置１００にプリセットしておいてもよいし、表示装置１１２が表示する監視画面からユーザが指定できるようにしてもよい。

＜実施の形態４：まとめ＞
以上のように、本実施形態４に係る映像監視装置１００は、カメラ１０１が現在撮像している撮像視野に応じて、画像類似度を算出するために用いるパラメータを変更する。これにより、カメラ画像の特性に合わせて適切なパラメータを選択し、効率的に画像類似度を算出することができる。

＜実施の形態５＞
以上の実施形態１〜４において、映像監視装置１００が監視画像とメッセージを表示装置１１２上で表示しているとき、ユーザがメッセージの内容に着目し、その周辺を観察しようとする場合が考えられる。本発明の実施形態５では、ユーザがメッセージを選択することによってカメラ１０１の撮像視野を移動させる動作例を説明する。

図１４は、ユーザがメッセージを選択することによりカメラ１０１の撮像視野を制御する様子を示す図である。図１４において、表示装置１１２には、監視画面１４０１と登録メッセージ一覧１４０２が並べて表示してある。

ユーザは、マウス４０７を用いてマウスカーソル１４０３を操作し、メッセージ一覧から１つのメッセージをクリックする。映像制御部１０５は、その操作指示を受け取り、クリックされたメッセージに関連付けられているパン、チルト、ズーム値に合致するようにカメラ１０１の撮像視野を制御する。これにより、監視画面１４０４に示すように、クリックされたメッセージが画面中央に表示される。

図１４では、メッセージに関連づけられたパン、チルト、ズーム値を用いてカメラ１０１を制御しているが、例えば図７で説明したパン、チルト、ズーム値によるクラスタリングを利用して、選択されたメッセージが属するクラスタの中心値に合致するようにカメラ１０１を制御してもよい。これにより、選択されたメッセージだけでなく、周辺のメッセージも画面表示することができる。

また、映像制御部１０５は、登録メッセージ一覧１４０２にメッセージ一覧を表示する際に、クラスタに属するメッセージをパン、チルト、ズーム値でソートして表示するようにしてもよい。これにより、近接するメッセージが順序よく画面表示されるので、ユーザにとって便宜である。

また、ユーザが選択するメッセージの個数は１つに限られない。ユーザが複数のメッセージを選択した場合、映像制御部１０５は、それらのメッセージができる限り１画面内に収まるようにカメラ１０１を制御するようにしてもよい。

＜実施の形態６＞
以上の実施形態１〜５において、メッセージを重畳表示する位置は、カメラ１０１のパン、チルト、ズーム値のように、カメラ１０１が撮像している画像を特定する画像特定情報を対応付けられている。しかし、振動などの周辺環境の変化やカメラ駆動装置の劣化により微少な位置ずれがおきると、メッセージの表示位置が狂ってしまう可能性がある。

そこで本発明の実施形態６では、データベース１０９に登録されているパン、チルト、ズーム値と、画像または画像特徴量を使用することにより、パン、チルト、ズーム値を補正する。

図１５は、映像監視装置１００がカメラ１０１のパン、チルト、ズーム値を補正する処理を示す図である。以下、補正手順について説明する。

（補正手順１）映像制御部１０５は、データベース１０９から任意のデータを１件選び、パン、チルト、ズーム値を取得する。

（補正手順２）映像制御部１０５は、このパン、チルト、ズーム値に合致するように、カメラ１０１を制御する。

（補正手順３）映像制御部１０５は、カメラ１０１からカメラ映像１５０１を取得する。

（補正手順４）映像制御部１０５は、取得したカメラ映像１５０１と、データベース１０９が格納しているカメラ映像フィールド２０７（カメラ映像１５０２）との間でマッチングを実施し、位置ずれ量を推定する。

（補正手順５）映像制御部１０５は、この結果得られた画像上の位置ずれを、パン、チルトのずれに換算して、補正パラメータを求める。

（補正手順６）データベース制御部１０８は、以後メッセージをデータベース１０９に登録する際は補正パラメータを引いてから登録し、カメラ映像にメッセージを重畳させる際には、補正パラメータを足してから表示位置を計算する。これにより、補正後の正しい位置にメッセージを表示することができる。

以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

また、上記各構成、機能、処理部などは、それらの全部または一部を、例えば集積回路で設計することによりハードウェアとして実現することもできるし、プロセッサがそれぞれの機能を実現するプログラムを実行することによりソフトウェアとして実現することもできる。各機能を実現するプログラム、テーブルなどの情報は、メモリやハードディスクなどの記憶装置、ＩＣカード、ＤＶＤなどの記憶媒体に格納することができる。

１００：映像監視装置、１０１：カメラ、１０２：カメラ制御部、１０３：カメラ情報取得部、１０４：カメラ映像取得部、１０５：映像制御部、１０６：メッセージ登録部、１０７：特徴量抽出部、１０８：データベース制御部、１０９：データベース、１１０：映像出力部、１１１：操作情報入力部、１１２：表示装置、１１３：入力装置、２０１：メッセージＩＤフィールド、２０２：メッセージフィールド、２０３：時刻フィールド、２０４：パンフィールド、２０５：チルトフィールド、２０６：ズームフィールド、２０７：カメラ映像フィールド、２０８：画像特徴量フィールド、８０１：クラスタＩＤフィールド、８０２：クラスタ中心フィールド、８０３：メッセージＩＤリストフィールド。

Claims (13)

1. 画像を撮像するカメラと、
   前記カメラが撮像した画像に追加情報を重畳した画像を生成する映像制御部と、
   前記映像制御部が生成した画像を出力する画像出力部と、
   前記カメラが撮像する画像を特定する画像特定情報と前記追加情報を関連付けるレコードを格納するデータベースと、
   を備え、
   前記データベースは、
   前記画像特定情報が特定する画像間の距離が前記カメラの撮像画像サイズ未満である前記レコードを複数格納しており、
   前記映像制御部は、
   前記画像特定情報のうち、前記画像特定情報が特定する画像と、前記カメラが現在撮像している画像との間の距離が所定範囲内にある、１以上の前記画像特定情報を前記データベースから検索し、
   前記検索の結果得られた１以上の前記画像特定情報のなかから、前記画像特定情報が特定する画像が、前記カメラが現在撮像している画像内に収まるものを抽出し、
   前記抽出した前記画像特定情報に対応する前記追加情報を、前記カメラが撮像した画像に重畳する
   ことを特徴とする映像監視装置。
2. 前記映像制御部は、
   前記抽出した前記画像特定情報に対応する前記追加情報の優先度を算出し、
   前記優先度が所定閾値以上の前記追加情報のみを、前記カメラが撮像した画像に重畳する
   ことを特徴とする請求項１記載の映像監視装置。
3. 前記映像制御部は、
   前記抽出した前記画像特定情報のうち、前記抽出した前記画像特定情報が特定する画像と、前記カメラが現在撮像している画像との間の距離が近いものほど、前記優先度を高くする
   ことを特徴とする請求項２記載の映像監視装置。
4. 前記映像制御部は、前記データベースに格納された日時が新しい前記追加情報ほど、前記優先度を高くする
   ことを特徴とする請求項２記載の映像監視装置。
5. 前記レコードを前記データベースに格納するデータベース制御部を備え、
   前記データベース制御部は、
   前記カメラの撮像視野を特徴付けるパラメータを前記画像特定情報として前記データベースに格納し、
   前記パラメータをクラスタリング処理することにより、前記パラメータが特定する前記画像のうち互いに所定範囲内の距離にあるものをクラスタ化する
   ことを特徴とする請求項１記載の映像監視装置。
6. 前記データベースは、
   前記カメラが撮像した画像を前記画像特定情報と関連付けて格納しており、
   前記映像制御部は、
   前記カメラが撮像した画像と類似する画像を前記データベースから検索し、類似度の高い画像に対応する前記追加情報ほど前記優先度を高くする
   ことを特徴とする請求項２記載の映像監視装置。
7. 前記データベースは、
   前記カメラが撮像した画像を前記画像特定情報と関連付けて格納しており、
   前記映像制御部は、
   前記カメラが撮像した画像から一部を取り出して生成した部分画像と類似する画像を前記データベースが格納している画像から検索し、類似度の高い画像に対応する前記追加情報ほど前記優先度を高くする
   ことを特徴とする請求項２記載の映像監視装置。
8. 前記レコードを前記データベースに格納するデータベース制御部を備え、
   前記データベース制御部は、
   前記カメラの撮像視野を特徴付けるパラメータを前記画像特定情報として前記データベースに格納し、
   前記パラメータをクラスタリング処理することにより、前記パラメータが特定する前記画像のうち互いに所定範囲内の距離にあるものをクラスタ化し、
   前記映像制御部は、
   前記部分画像のうち前記クラスタの中心に最も近いもののみを、前記データベースが格納している画像との間で類似度を判定する対象とする
   ことを特徴とする請求項７記載の映像監視装置。
9. 前記映像制御部は、
   前記カメラが現在撮像している画像の撮像視野に応じて、類似度を算出するために用いるパラメータを変更する
   ことを特徴とする請求項６記載の映像監視装置。
10. 前記レコードを前記データベースに格納するデータベース制御部と、
    前記画像出力部が出力している前記画像に対する操作を受け取る操作入力部と、
    を備え、
    前記データベース制御部は、
    前記カメラの撮像視野を特徴付けるパラメータを前記画像特定情報として前記データベースに格納し、
    前記映像制御部は、
    前記画像出力部が出力している前記画像に重畳されている前記追加情報が画面中央領域に位置するように指示する前記操作を前記操作入力部が受け取ると、
    前記追加情報に対応する前記パラメータを用いて、前記追加情報が画面中央領域に位置する前記カメラの撮像視野を特定し、その撮像視野を撮像するように前記カメラを制御する
    ことを特徴とする請求項１記載の映像監視装置。
11. 前記データベース制御部は、
    前記パラメータをクラスタリング処理することにより、前記パラメータが特定する前記画像のうち互いに所定範囲内の距離にあるものをクラスタ化し、
    前記映像制御部は、
    前記画像出力部が出力している前記画像に重畳されている前記追加情報が画面中央領域に位置するように指示する前記操作を前記操作入力部が受け取ると、
    その追加情報が属する前記クラスタの中心が画面中央に合致するように前記カメラを制御する
    ことを特徴とする請求項１０記載の映像監視装置。
12. 前記映像制御部は、
    前記クラスタに属する前記追加情報を前記パラメータの値で整列し、整列した前記追加情報のリストを前記画像と併せて前記画像出力部から出力する
    ことを特徴とする請求項１１記載の映像監視装置。
13. 前記データベースは、
    前記カメラが撮像した画像を前記画像特定情報と関連付けて格納しており、
    前記映像制御部は、
    前記画像特定情報が特定する画像を撮像するように前記カメラへ指示し、
    前記カメラが現在撮像している画像と前記データベースが格納している画像を比較することにより両者の差分を求め、
    前記追加情報を重畳する際に前記差分を適用して表示位置を補正する
    ことを特徴とする請求項１記載の映像監視装置。

Images