JP5669552B2 - 監視映像生成装置 - Google Patents

Description

本発明は、例えば広域な撮像範囲の映像に監視対象物の情報を重畳して画面上に表示させる監視映像生成装置に関するものである。

従来の監視映像生成装置としては、例えば特許文献１のような情報表示方法が開示されている。例えば、特許文献１の情報表示方法によれば、固定された情報を表示する固定表示部を背景映像とし、可変な情報を表示する複数の可変表示部の映像を指定された順に合成して表示映像を生成している。このような情報表示方法においては、表示映像を生成する際、固定表示部の表示情報の座標に対応させて可変情報の表示情報を一定の大きさで配置し、可変表示部の映像毎に固定化してから合成している。
また、多数の情報を表示するための方法が、例えば特許文献２に開示されている。特許文献２によれば、多数の情報データをカードデータとして管理し、一定の大きさのカードデータをスタック状に表示する映像を生成することで、限られた表示領域上に重なり度合いがわかるように表示させている。また、閲覧者が表示映像上の各カードデータをマウスにより選択して移動させることで各情報データの表示位置を変更できるよう構成されている。

特開２００７−３１６８１３号公報（第７頁、第１図） 特開２０００−０７５９７７号公報（第３８頁、第１図）

しかしながら、特許文献１，２においては、表示領域上の各情報データを一定の大きさで表示しているため、閲覧者が着目する情報データと他の情報データとの判別を容易に行えないという課題があった。また、特許文献２においては、閲覧者がスタック状に重ねられた多数の情報データの中からマウスを用いて複数回の操作を行って着目する情報データを取り出す必要があり、操作が煩雑であるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、閲覧者が少ない操作で多数の情報データの中から、着目する情報データを他の情報データと分離して判別を容易に行うことができる監視映像生成装置を提供することを目的とする。

この発明に係る監視映像生成装置は、旋回ズーム制御可能な撮像手段と、撮像手段の旋回ズームを制御して旋回ズーム制御値を出力する画角制御手段と、旋回ズーム制御値に対応した撮像対象物毎の位置および内容を含む対象物情報を格納するデータベースと、画角制御手段が出力した旋回ズーム制御値に対応する対象物情報をデータベースから読み出し、外部の入力装置により示される撮像範囲内の座標に基づいて、該座標を含む一定範囲内に存在する撮像対象物の対象物情報をそれぞれ重ならない座標に配置するとともに該対象物情報の表示形態を強調する情報表示制御手段と、撮像手段からの映像に情報表示制御手段からの対象物情報を重畳表示する映像出力手段とを備えたものである。

この発明に係る監視映像生成装置によれば、上記構成により、表示映像上の指示記号の近傍に位置する監視対象物の情報データを閲覧しやすいよう動的に配置して表示することができる。その結果、閲覧者が着目する情報データを他の情報データと分離して容易に判別することができる。また、閲覧者による少ない操作で多数の情報データの中から所望の情報データを判別することができる。

この発明の実施の形態１に係る監視映像生成装置を含む映像監視表示システムの構成を示すブロック図である。 この発明の実施の形態１の監視映像生成装置における映像入力手段の処理を示すフロー図である。 この発明の実施の形態１の監視映像生成装置における画角制御手段の処理を示すフロー図である。 この発明の実施の形態１の監視映像生成装置における画角制御手段の処理を示すフロー図である。 この発明の実施の形態１の監視映像生成装置における強調表示処理前の監視映像を示す図である。 この発明の実施の形態１の監視映像生成装置における強調表示処理を説明するための監視映像を示す図である。 この発明の実施の形態１の監視映像生成装置が撮像可能な全方位座標空間における現在の撮像範囲の位置を示す図である。 この発明の実施の形態１の監視映像生成装置における情報表示制御手段の処理を示すフロー図である。 この発明の実施の形態１の監視映像生成装置における情報表示制御手段の処理の細部を示すフロー図である。 この発明の実施の形態１の監視映像生成装置における情報表示制御手段の処理の細部を示すフロー図である。 図１０の処理動作の具体的一例を説明する図である。 この発明の実施の形態１の監視映像生成装置における映像出力手段の処理を示すフロー図である。 この発明の実施の形態３に係る監視映像生成装置を含む映像監視表示システムの構成を示すブロック図である。 この発明の実施の形態３の監視映像生成装置における特徴的な処理を示すフロー図である。 この発明の実施の形態４に係る監視映像生成装置を含む映像監視表示システムの構成を示すブロック図である。 この発明の実施の形態４の監視映像生成装置における特徴的な処理を示すフロー図である。 この発明の実施の形態５に係る監視映像生成装置を含む映像監視表示システムの構成を示すブロック図である。 この発明の実施の形態５の監視映像生成装置における特徴的な処理を示すフロー図である。

以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る監視映像生成装置を含む映像監視表示システムの構成を示している。
映像監視表示システム１は、図１に示すように、監視映像生成装置１０、表示装置８０、操作入力装置９０で構成されている。

表示装置８０は、後述する監視映像生成装置１０で生成された監視映像を表示するものであり、例えばディスプレイで構成される。

操作入力装置９０は、閲覧者（外部）による操作により、表示装置８０の監視映像上に重畳表示された指示記号を操作させる操作信号を監視映像生成装置１０へ出力するものであり、例えば監視映像上の指示記号としてのマウスカーソルを操作するマウスやキーボードで構成される。

監視映像生成装置１０は、図１に示すように、カメラ１１、映像入力手段１２、画角制御手段１３、データベース１４、情報表示制御手段１５、映像出力手段１６で構成されている。
カメラ１１は、既知の技術を用いて横方向に旋回するパン動作、縦方向に旋回するチルト動作、ズーム制御可能であり、撮像可能な全範囲からパン・チルト・ズーム動作（旋回・ズーム動作）による画角に応じた範囲（撮像範囲）内の監視対象物を撮像する。カメラ１１は、撮像した映像の信号を垂直または水平同期信号とともに監視映像生成装置１０へ出力するよう構成されている。

映像入力手段１２は、カメラ１１で撮像された映像を、垂直／水平同期信号を含むアナログの映像信号で入力し、垂直／水平同期信号に基づき映像信号を映像フレーム毎にＡ／Ｄ（アナログ／デジタル）変換するよう構成されている。
映像入力手段１２は、フレーム毎にデジタル化した映像信号の輝度値と色信号値からＲＧＢ信号を得て、内蔵のメモリ（図示せず）に格納するとともに映像出力手段１６に出力する。

画角制御手段１３は、閲覧者から図示しないグラフィカルユーザインタフェースの操作により与えられた指示Ａにしたがってカメラ１１のパン・チルト・ズーム（旋回・ズーム）を制御する。画角制御手段１３は、情報表示制御手段１５からの要求に応じてカメラ１１の制御値としてのパン・チルト・ズーム値（以下、ＰＴＺ値）を出力する。

データベース１４は、予め監視対象物毎に、カメラ１１のＰＴＺ値に対応して表示する情報データ１４ａを格納している。情報データ１４ａは、カメラ１１が撮像可能な全範囲内の監視対象物毎に対応する情報であり、例えば各監視対象物を識別するための名称情報、監視対象物毎の異常発生を示すアラーム情報、監視対象物毎の状態を示す状態情報が該当する。情報データ１４ａには付属情報として、カメラ１１が撮像可能な全撮像範囲（全方位座標空間）に対する監視対象物の相対座標（登録座標）を示す位置情報と、情報データ１４ａの表示サイズ、形状、色等の表示形態を示す表示属性情報が付加されている。
データベース１４は、要求に応じて情報データ１４ａを情報表示制御手段１５へ出力する。

情報表示制御手段１５は、閲覧者からの操作入力に基づいて該閲覧者に提示する情報データと付属データをデータベースから読み出し、閲覧者が外部の操作入力装置９０から指定した座標に基づき、閲覧者が指定した座標近傍の情報データの表示形態を動的に変更するとともに、該情報データが重ならないよう表示座標を配置して出力するよう機能する。
具体的には、情報表示制御手段１５は、画角制御手段１３から入力したＰＴＺ値に基づきカメラ１１の撮像範囲を算出し、データベース１４の情報データ１４ａに含まれる位置情報を参照して撮像範囲内に含まれる監視対象物に対応する情報データ１４ａをデータベース１４から取得する。情報表示制御手段１５は、情報データ１４ａに含まれる位置情報とカメラ１１の撮像範囲に基づき、監視映像表示領域としてのカメラ１１の撮像範囲における情報データ１４ａの表示座標を算出し、情報データ１４ａに表示座標を付加して映像出力手段１６へ出力して監視映像の表示を指示する。
また、情報表示制御手段１５は、操作入力装置９０から後述する映像出力手段１６を介して、監視映像上に重畳表示された指示記号としてのマウスカーソルの座標（指示記号座標）を取得し、このマウスカーソル座標と情報データ１４ａの表示座標に基づきマウスカーソルの近傍領域（指示記号近傍領域）に表示される情報データ１４ａを抽出する。情報表示制御手段１５は、抽出した情報データ１４ａに含まれる表示属性情報に対し、強調表示情報としての強調フラグをオンにするとともに強調表示形態を示す情報を付加して更新する。
さらに、情報表示制御手段１５は、抽出した情報データ１４ａの表示座標に基づき、後述する再配置処理を行い情報データ１４ａ同士が重ならないよう座標をずらして表示座標を更新する。

映像出力手段１６は、カメラ１１からの映像に情報表示制御手段１５からの情報データと付属データを重畳表示するとともに、閲覧者が指定した座標近傍の情報データを動的に配置して重畳表示するよう機能する。
具体的には、映像出力手段１６は、情報表示制御手段１５から表示座標と表示属性情報を含む情報データ１４ａを入力し、情報データ１４ａを表示属性情報に沿った表示形態に加工処理する。このとき、映像出力手段１６は、例えば、情報データ１４ａを太字で表示する処理や情報データ１４ａの表示色を変える処理を行う。
また、映像出力手段１６は、映像入力手段１２から映像（映像信号）を入力し、情報データ１４ａの表示座標を用いて、加工処理後の情報データ１４ａを映像表示領域の座標位置に重畳配置する。このとき、映像出力手段１６は、強調フラグがオンになっている情報データ１４ａに対し、情報データ１４ａ同士が重ならないよう各座標を変更して閲覧者が見易くなるよう動的に配置する処理を行う。
さらに、映像出力手段１６は、操作入力装置９０から監視映像上の指示記号を操作させる操作信号を入力し、操作信号に基づき、監視映像上の指示記号としてのマウスカーソルを生成して監視映像に重畳する。映像出力手段１６は、生成した監視映像を表示装置８０へ出力して表示させる。

次に、図２から図１２を用いて監視映像生成装置１０における処理動作について説明する。図２は、映像入力手段１２の処理を示している。
映像入力手段１２は、カメラ１１から映像信号、垂直／水平同期信号を入力すると処理を開始（スタート）し、垂直／水平同期信号に基づき、映像信号を既知の技術を用いてＡ／Ｄ変換してデジタル化する（ステップＳＴ１００）。このとき、デジタル化した映像信号には輝度値と色信号値が含まれる。
映像入力手段１２は、映像信号の輝度値と色信号値を用いてＲＧＢ信号を得て（ステップＳＴ１０１）、映像信号としてのＲＧＢ信号を図示しないメモリに格納するとともに映像出力手段１６へ出力する（ステップＳＴ１０２）。
映像入力手段１２は、次の垂直同期信号が入力されるのを待機するとともに（ステップＳＴ１０３）、カメラ１１からの映像信号の入力が終了したかどうかを判定し（ステップＳＴ１０４）、ステップＳＴ１０４において映像信号の入力が終了していないと判定した場合（ステップＳＴ１０４“ＮＯ”）、ステップＳＴ１００からの処理を繰り返す。
一方、映像入力手段１２は、ステップＳＴ１０４において映像信号の入力が終了したと判定すると（ステップＳＴ１０４“ＹＥＳ”）、処理を終了する（エンド）。

図３は、画角制御手段１３におけるカメラ１１のパン・チルト・ズーム動作の制御（旋回・ズーム制御）処理を示している。
画角制御手段１３は、外部から指示が与えられると処理を開始する（スタート）。画角制御手段１３は、与えられた指示に含まれるＰＴＺ値を取得すると（ステップＳＴ１１０）、カメラ１１へＰＴＺ値を出力する（ステップＳＴ１１１）。
カメラ１１では、画角制御手段１３からＰＴＺ値が与えられると、ＰＴＺ値にしたがって図示しないモータによりパン・チルト・ズームを変化させる。

図４は、画角制御手段１３においてカメラ１１から旋回・ズーム値を取得する処理を示している。
画角制御手段１３は、情報表示制御手段１５から要求を受けると処理を開始し（スタート）、カメラ１１へＰＴＺ値（旋回・ズーム値）を問い合わせる信号を送信する（ステップＳＴ１２０）。画角制御手段１３は、カメラ１１から問い合わせ信号に応じた応答信号を受信しＰＴＺ値を取得すると（ステップＳＴ１２１）、ＰＴＺ値を図示しないメモリに格納する（ステップＳＴ１２２）。画角制御手段１３は、メモリに格納したＰＴＺ値を情報表示制御手段１５へ出力し、旋回・ズーム値を取得する処理を終了する（エンド）。

図５は、監視映像生成装置１０における強調表示処理前の監視映像を示している。
監視映像として表示された映像表示領域１００には、監視対象物の映像１０１として、例えば川、橋、山、ビルが表示されている。映像表示領域１００には、各監視対象物の映像１０１に対応する情報データの映像１０２と、各監視対象物の映像１０１を指し示す矢印１０３が重畳されている。この表示状態の監視映像は、図５に示すように、各監視対象物の情報データが周囲の情報データと重なって表示され、閲覧者が読み取れない情報データが存在している。

図６は、監視映像生成装置１０における強調表示処理を説明するための監視映像（ａ）、（ｂ）を示している。
監視映像（ａ）は、図５の映像表示領域１００上にマウスカーソル（指示記号）１０４が重畳された映像である。マウスカーソル１０４は、閲覧者（外部）から操作入力装置９０を介して入力した操作信号に基づき映像表示領域１００上を指し示すものであり、例えば監視映像上に表示されるマウスカーソルである。ここで、マウスカーソル１０４が監視映像（ａ）の位置から監視映像（ｂ）の位置に移動すると、マウスカーソル１０４の座標から所定範囲内（マウスカーソル座標近傍領域１０５）に表示されている監視対象物の情報データに対して後述する強調表示処理を行う。

監視映像（ｂ）は、図６に示すように、マウスカーソル１０４を監視対象物の位置に移動した場合の表示例を示しており、監視映像上におけるマウスカーソル１０４の座標から所定範囲内（マウスカーソル座標近傍領域１０５）に表示される監視対象物（ビル１１５、ビル１１８、ビル１１９、ビル１２０）の情報データ１０７が、それぞれ太枠で囲まれ、マウスカーソル座標近傍領域１０５外に表示される監視対象物の情報データ１０６に対し最前面に表示されるとともに、それぞれの位置が重ならないよう再配置される。

図７は、監視映像生成装置１０が撮像可能な全方位座標空間における現在の撮像範囲の位置を示している。
全方位座標空間１１０は、カメラ１１で撮像可能な全範囲を示しており、カメラ１１においてＰＴＺ値に対応する画角で撮像された現在の撮像範囲１１１を含んでいる。この全方位座標空間１１０においては、チルト値原点（Ｔ_０）１１２、チルト値最大値（Ｔｍａｘ）１１３、パン値原点（Ｐ_０）１１４、パン値最大値（Ｐｍａｘ）１１５、全方位座標空間１１０の高さ（Ｈｅｉｇｈｔ）１１６、全方位座標空間１１０の幅（Ｗｉｄｔｈ）１１７、チルト値原点１１２およびパン値原点１１４に対する現在の撮像範囲１１１の座標としてのＰＴＺ値（Ｐｎ，Ｔｎ）１１８、撮像範囲１１１の幅（Ｗｎ）１１９、撮像範囲１１１の高さ（Ｈｎ）１２０が定義付けられており、これらの値を用いて後述する強調表示処理を行う。

図８は、監視映像生成装置１０における情報表示制御手段１５の処理を示している。
情報表示制御手段１５は、所定の周期で画角制御手段１３に対してＰＴＺ値（旋回・ズーム値）を要求して処理を開始し（スタート）、カメラ１１から画角制御手段１３を介して要求に応じたＰＴＺ値を受信する（ステップＳＴ１３０）。
情報表示制御手段１５は、ＰＴＺ値に基づき全監視対象範囲におけるカメラ１１の現在の撮像範囲を算出し、データベース１４内を参照して現在の撮像範囲内に含まれる情報データ１４ａを抽出する（ステップＳＴ１３１）。このとき、情報表示制御手段１５は、上述した図７に示すチルト値最大値（Ｔｍａｘ）１１３、パン値最大値（Ｐｍａｘ）１１５、全方位座標空間１１０の高さ（Ｈｅｉｇｈｔ）１１６、全方位座標空間１１０の幅（Ｗｉｄｔｈ）１１７、現在のＰＴＺ値（Ｐｎ，Ｔｎ）１１８、撮像範囲１１１の幅（Ｗｎ）１１９、撮像範囲１１１の高さ（Ｈｎ）１２０に基づき、次の（式１）により全方位座標空間１１０におけるカメラ１１の撮像範囲１１１の座標値（ｘ，ｙ）を算出する。なお、（式１）において、（Ｗｉｄｔｈ）と（Ｈｅｉｇｈｔ）の値は、ＰＴＺ値のズーム値に対応する値を用いる。

ｘ＝Ｐｎ／Ｐｍａｘ・Ｗｉｄｔｈ
ｙ＝Ｔｎ／Ｔｍａｘ・Ｈｅｉｇｈｔ ・・・（式１）

情報表示制御手段１５は、抽出した情報データ１４ａをデータベース１４から取得し、カメラ１１の撮像範囲１１１と情報データ１４ａの位置情報に基づき映像表示領域１００における情報データ１４ａの表示座標を算出するとともに、情報データ１４ａの表示属性情報を用いて情報データ１４ａの表示属性を設定する（ステップＳＴ１３２）。
情報表示制御手段１５は、情報データ１４ａに表示座標と表示属性を付加して映像出力手段１６へ出力し、監視映像の表示を指示する（ステップＳＴ１３３）。

情報表示制御手段１５は、操作入力装置９０から映像出力手段１６を介してマウスカーソル座標（指示記号座標）を入力すると、マウスカーソル座標が映像表示領域１００内にあるかを判定する（ステップＳＴ１３４）。判定方法は、例えば、以下の（式２）を満たす場合にマウスカーソル座標が映像表示領域１００内にあると判定する。
ここで、情報表示制御手段１５が入力するマウスカーソル座標は、図５，６に示す映像表示領域１００における相対座標（ｘ、ｙ）である。また、（式２）のＳｗは映像表示領域１００における幅を示し、Ｓｈは映像表示領域１００における高さを示している。

ｘ≧０ かつ ｘ ＜ Ｓｗ かつ ｙ≧０ かつ ｙ ＜ Ｓｈ ・・・（式２）

情報表示制御手段１５は、ステップＳＴ１３４において、マウスカーソルが映像表示領域１００内に存在しないと判定すると（ステップＳＴ１３４“ＮＯ”）、処理を終了する（エンド）。
一方、情報表示制御手段１５は、ステップＳＴ１３４において、マウスカーソルが映像表示領域１００内に存在すると判定すると（ステップＳＴ１３４“ＹＥＳ”）、マウスカーソル座標とＰＴＺ値と情報データ１４ａの位置情報に基づき、後述する抽出処理を行って、マウスカーソルの座標から所定範囲（指示座標近傍領域１０５）内に表示された情報データ１０７を抽出し、その情報データ１０７の表示属性情報に含まれる強調フラグ（強調表示情報）をオンにする（ステップＳＴ１３５）。ここで、マウスカーソルの座標の所定範囲より外側に表示された監視対象物の情報データ１０６の強調フラグはオフに設定される。

情報表示制御手段１５は、後述する再配置処理を行い、強調フラグをオンにした情報データ１０７の映像を再配置するための座標を算出し、表示座標を置き換えて更新する（ステップＳＴ１３６）とともに、強調表示形態を示す情報を表示属性情報に書き込んで更新し、情報データの表示属性の設定を行う（ステップＳＴ１３７）。情報表示制御手段１５は、更新した表示座標と表示属性情報を含む情報データ１４ａを映像出力手段１６へ出力し、監視映像の表示を指示する（ステップＳＴ１３８）。情報表示制御手段１５は、ステップＳＴ１３８において監視映像の表示を指示すると処理を終了する（エンド）。

ここで、ステップＳＴ１３５におけるマウスカーソル座標近傍領域１０５内の監視対象物に対応する情報データ１０７を抽出する方法の詳細について図９を用いて説明する。
情報表示制御手段１５は、マウスカーソル座標を入力すると抽出処理を開始し（スタート）、画角制御手段１３にＰＴＺ値を要求する信号を出力して画角制御手段１３からＰＴＺ値を取得する。
情報表示制御手段１５は、マウスカーソル座標とＰＴＺ値に基づきマウスカーソル座標を変換して、全方位座標空間１１０内におけるマウスカーソル座標を取得する（ステップＳＴ１４０）。

情報表示制御手段１５は、データベース１４を参照して各情報データ１４ａの位置情報に示された登録座標を取得し（ステップＳＴ１４１）、全方位座標空間１１０内におけるマウスカーソル座標からの所定範囲（マウスカーソル座標近傍領域１０５）に各情報データ１４ａの位置情報としての登録座標が含まれているかどうか重なり判定を行う（ステップＳＴ１４２、ステップＳＴ１４３）。重なり判定は、例えば、次の（式３）を満たす場合、重なると判定するものとする。

（式３）において、Ｍｘ，Ｍｙはマウスカーソル座標、Ｉｘ，Ｉｙは情報データ１４ａの位置情報が示す登録座標、ｒは規定の大きさである。規定の大きさｒは、マウスカーソル座標近傍領域１０５の範囲に応じて適宜設定される数値であり、例えば１０とする。

情報表示制御手段１５は、マウスカーソル座標近傍領域１０５に情報データ１４ａの登録座標が含まれていないと判定した場合（ステップＳＴ１４３“ＮＯ”）、抽出処理を終了（エンド）してステップＳＴ１３６へ進む。
一方、情報表示制御手段１５は、マウスカーソル座標近傍領域１０５に情報データ１４ａのが含まれていると判定した場合（ステップＳＴ１４３“ＹＥＳ”）、その情報データ１４ａの登録座標を映像表示領域１００の座標に変換して出力し（ステップＳＴ１４４）、抽出処理を終了（エンド）してステップＳＴ１３６へ進む。

ここで、ステップＳＴ１３６における情報データの再配置処理の詳細について図１０、図１１を用いて説明する。ここで再配置処理の説明においては、マウスカーソル座標近傍領域１０５内の監視対象物に対応する情報データを、単に「情報データ」と記載して説明する。
情報表示制御手段１５は、上述したステップＳＴ１３５の抽出処理を終了すると、各情報データの表示座標を用いて、各情報データ相互の距離を算出する（ステップＳＴ１５０）。情報表示制御手段１５は、図１１（ａ）に示すように４つの情報データ２００，２０２，２０４，２０６に対して再配置処理を行う場合、各情報データ２００，２０２，２０４，２０６の表示座標２０１，２０３，２０５，２０７を用いて、図１１（ｂ）に示す各表示座標間の距離２１０，２１１，２１２，２１３，２１４，２１５を求める。このとき、例えば、ユークリッド距離による距離算出方法を用いて距離を算出する。
情報表示制御手段１５は、各表示座標間の距離２１０，２１１，２１２，２１３，２１４，２１５に基づき、次の（式４）を用いて情報データ相互間のクーロン力を算出する（ステップＳＴ１５１）。

Ｆ＝ｋ／Ｌ ・・・（式４）

（式４）においては、クーロン力Ｆ、定数ｋ、各表示座標間の距離Ｌを示している。

情報表示制御手段１５は、クーロン力Ｆを情報データ間の距離を遠ざける斥力として働くよう用いて、表示座標２０１，２０３，２０５，２０７のずらし量を算出する（ステップＳＴ１５２）。このとき、情報表示制御手段１５は、例えば図１１（ｃ）に示すように、情報データ２０２と情報データ２０６間の距離２１３の延長線上にクーロン力Ｆの大きさでベクトル２２０，２２３を定め、このベクトル２２０，２２３をずらし量とする。

情報表示制御手段１５は、ずらし量を用いて表示座標をずらし、各情報データ２００，２０２，２０４，２０６の表示座標２０１，２０３，２０５，２０７を更新する（ステップＳＴ１５３）。このとき、情報表示制御手段１５は、例えば図１１（ｃ）に示すように、表示座標２０３をベクトル２２０ずらし表示座標２２２に更新し、表示座標２０７をベクトル２２３ずらし表示座標２２５に更新する。
このように再配置処理により更新された表示座標２２２，２２５を用いて後述する映像出力処理を行うことにより、情報データ２０２が情報データ２２１の位置に表示され、情報データ２０６が情報データ２２４の位置に表示されるので、情報データを動的に配置することができる。

情報表示制御手段１５は、表示座標を更新すると、更新した表示座標を用いて情報データの表示領域間の重なりを判定する（ステップＳＴ１５４）。このとき、情報表示制御手段１５は、例えば２つの情報データの表示領域における右上端の座標を示す始点座標（ｉＸ，ｉＹ）と（ｉＸｒ，ｉＹｂ）、左下端の座標を示す終点座標（ｊＸ，ｊＹ）と（ｊＸｒ，ｊＹｂ）を用いて、次の（式５）を満たす場合、重なり有りと判定する。

ｉＸ ＜ ｊＸｒ かつ
ｊＹ ＜ ｉＹｂ かつ
ｉＸｒ ＜ ｊＸ かつ
ｊＹｂ ＜ ｉＹ ・・・（式５）

情報表示制御手段１５は、重なり有りと判定した場合（ステップＳＴ１５４“ＹＥＳ”）、ステップＳＴ１５０からの処理を繰り返す。
一方、情報表示制御手段１５は、重なりが無いと判定した場合（ステップＳＴ１５４“ＮＯ”）、情報データの再配置処理を終了し（エンド）、上述のステップＳＴ１３７の処理へ進む。

図１２は、映像出力手段１６の処理を示している。映像出力手段１６は、図１２に示すように、カメラ１１で撮像された映像を映像入力手段１２を介して入力することで処理を開始する（スタート、ステップＳＴ１６０）。
映像出力手段１６は、情報表示制御手段１５から情報データ、表示属性情報、表示座標を入力すると、カメラ１１で撮像された映像を背景として、情報データを表示属性情報に沿った表示形態に加工処理し、表示座標で指定された映像表示領域の座標に重畳して監視映像を描画する（ステップＳＴ１６１）。このとき、映像出力手段１６は、例えば、上述した図５，６に示すように、表示属性情報に基づいて矩形を描画し、矩形内に情報データの内容を文字列として描画するとともに、矩形から表示座標の間を結ぶ矢印を描画する。また、強調フラグがオンにされた情報データは、表示属性情報に付加された表示形態で強調表示される。このとき、映像出力手段１６は、例えば、情報データを示す文字列を囲む矩形の大きさを変更したり強調色で描画し、最前面で表示する監視映像を表示装置８０へ出力する（ステップＳＴ１６２、エンド）。

以上のように、実施の形態１の監視映像生成装置１０は、旋回・ズーム制御可能なカメラ１１と、カメラ１１の旋回・ズームを制御して該旋回・ズーム値を出力する画角制御手段１３と、旋回・ズーム値に対応して表示する情報データを格納するデータベース１４と、画角制御手段１３から入力した旋回・ズーム値に対応する情報データ１４ａをデータベース１４から読み出し、閲覧者が外部の操作入力装置９０から指定した座標に基づき、閲覧者が指定した座標近傍の情報データの表示形態を動的に変更するとともに、該情報データが重ならないよう表示座標を配置して出力する情報表示制御手段１５と、カメラ１１からの映像に情報表示制御手段１５から入力した情報データを重畳表示し、閲覧者が指定した座標近傍の情報データを動的に配置する映像出力手段１６とを備えたことにより、閲覧者による操作入力装置９０からのマウスカーソルの操作に応じて、画面上のマウスカーソルの近傍に表示された監視対象物の情報データを動的に強調するよう変更して表示し、監視対象物の情報データを閲覧しやすいよう動的に配置して表示することができる。その結果、閲覧者が着目する情報データを他の情報データと分離して容易に判別することができる。また、閲覧者が少ない操作で多数の情報データの中から所望の情報データを判別することができる。

実施の形態２．
上記実施の形態１においては、情報データ内容としての文字列を重畳した監視映像を表示する構成を説明した。実施の形態２は、図形を重畳した監視映像を表示する構成について説明する。なお、実施の形態２の監視映像生成装置１０は、実施の形態１における情報データ１４ａに含まれる表示属性情報と映像出力手段１６における処理が異なるので、図示を省略して説明するとともに、映像出力手段１６以外の説明を省略する。

実施の形態２における情報データ１４ａに付加した表示属性情報は、監視対象物に対応した図形を示す図形情報を含んでおり、図形情報は例えば３Ｄグラフィクス、映像、アイコンを示す情報である。
映像出力手段１６は、情報表示制御手段１５から情報データ１４ａを入力すると、情報データ１４ａに付加された表示属性情報に含まれる図形情報に基づき図形を描画し、表示座標に基づき図形を映像表示領域上の座標に重畳し、監視映像を生成する。

次に実施の形態２の監視映像生成装置１０における特徴的な処理について説明する。
実施の形態２の情報表示制御手段１５は、実施の形態１の情報データ１４ａに付加された表示属性情報に換えて図形情報を含む表示属性情報を取得する以外の処理が実施の形態１の図８の処理と同様であるため、情報表示制御手段１５の処理の説明を省略する。

実施の形態２の映像出力手段１６は、実施の形態１の図１２におけるステップＳＴ１６１以外の処理が同様であるため、ステップＳＴ１６１以外の処理の説明を省略する。
映像出力手段１６は、情報表示制御手段１５から情報データ、図形情報を含む表示属性情報、表示座標を入力すると、カメラ１１で撮像された映像を背景として、情報データを表示属性情報に沿った表示形態に加工処理し、表示座標で指定された映像表示領域の座標に重畳して監視映像を描画する（ステップＳＴ１６１）。このとき、映像出力手段１６は、例えば、表示属性情報に基づいて矩形を描画するとともに図形情報に基づき図形を描画する。また、映像出力手段１６は、矩形内に情報データの内容を文字列として描画するとともに矩形から表示座標の間を結ぶ矢印を描画する。

以上のように、実施の形態２の監視映像生成装置１０は、実施の形態１の効果に加え、情報データの表示内容として図形を映像出力手段に出力する映像出力手段１６を備えたことにより、監視対象物に対応する図形を表示する監視映像を生成することができる。その結果、閲覧者が監視映像における図形により、情報データをより視覚的に容易に判別することができるという効果を奏する。

実施の形態３．
上記実施の形態１においては、カメラ１１の撮像画角を外部の図示しないグラフィカルユーザインタフェースを用いて操作する構成について説明した。実施の形態３は、閲覧者が操作入力装置を操作することによりカメラの旋回・ズーム動作を制御する構成について説明する。

図１３は、実施の形態３に係る監視映像生成装置を含む映像監視表示システムの構成を示している。
映像監視表示システム３は、図１３に示すように、監視映像生成装置３０、カメラ１１、表示装置８０、操作入力装置９３で構成されており、監視映像生成装置３０と操作入力装置９３以外の構成は実施の形態１と同様であるため、監視映像生成装置３０と操作入力装置９３以外の構成は図１と同一の符号を付しての説明を省略する。

操作入力装置９３は、閲覧者（外部）による操作により、表示装置８０の監視映像上に重畳表示された指示記号を操作させる操作信号を監視映像生成装置３０へ出力する。また、操作入力装置９３は、カメラ１１の旋回・ズームを操作させる操作信号を監視映像生成装置３０へ出力する。

監視映像生成装置３０は、図１３に示すように、カメラ１１、映像入力手段１２、画角制御手段３３、データベース１４、情報表示制御手段１５、映像出力手段３６で構成されており、画角制御手段３３と映像出力手段３６以外の構成が実施の形態１と同様であるため、図１と同一の符号を付して説明を省略する。

映像出力手段３６は、実施の形態１の映像出力手段１６の構成に加え、操作入力装置９３からカメラ１１の撮像画角を操作させる操作信号を入力すると、監視映像上の指示記号の座標と操作信号に基づくＰＴＺ値を示す制御信号を画角制御手段３３へ出力する。

画角制御手段３３は、映像出力手段３６から制御信号を入力すると、制御信号にしたがって、カメラ１１にＰＴＺ値を与えることによりカメラ１１の旋回・ズーム動作を制御するよう機能する。

次に図１４を用いて、実施の形態３の監視映像生成装置３０における特徴的な処理を説明する。
監視映像生成装置３０は、操作入力装置９３からカメラ１１の撮像画角を操作させる操作信号を入力すると、処理を開始する（スタート）。このとき、操作入力装置９３から操作される指示記号がマウスである場合、例えば、マウス左ボタンクリックにおいてはカメラ１１をズーム動作（拡大）して撮像するよう操作され、マウス右クリックにおいてはズーム動作縮小を行うようにする。映像出力手段３６は、操作入力装置９３からの操作信号に基づき、監視映像上のマウスカーソル（指示記号）の座標を求め、マウスカーソルの座標と操作信号を画角制御手段３３へ出力する。

画角制御手段３３は、映像出力手段３６からマウスカーソルの座標を取得する（ステップＳＴ３００）とともに、操作信号を入力し操作信号が示す画角制御の種類を判定する（ステップＳＴ３０１）。画角制御手段３３は、マウスカーソルの座標と操作信号が示す画角制御の種類に基づきＰＴＺ値を算出してカメラ１１へ出力する（ステップＳＴ３０２）。カメラ１１では、ＰＴＺ値を入力すると、ＰＴＺ値にしたがってカメラ１１の旋回・ズームを変更して処理を終了する（エンド）。

以上のように、実施の形態３の監視映像生成装置３０は、実施の形態１の効果に加え、外部から操作入力装置９３を介して操作された監視映像上のマウスカーソルの座標と、その操作内容を示す操作信号に基づき、情報データ上を外部の操作入力装置９３から指示された場合、画角制御手段３３に対して旋回・ズーム制御を指示する映像出力手段３６を備えるよう構成したことにより、監視者が監視映像上の監視対象物、情報データを指して撮像画角を変更させるよう操作することができるので、閲覧者が注目する情報を精査することができるという効果が得られる。

実施の形態４．
上記実施の形態１〜３において、カメラ１１から入力した映像を直接用いて監視映像を生成する構成について説明したが、この構成では、カメラ１１の故障等の原因により映像入力が中断した場合、監視映像を生成できない。そこで、実施の形態４は、カメラ１１からの映像入力が中断した場合にも監視映像を生成できる構成について説明する。

図１５は、実施の形態４に係る監視映像生成装置を含む映像監視表示システムの構成を示している。図１５において、映像監視表示システム４の構成は、監視映像生成装置４０以外の構成は実施の形態１と同様であるため、図１と同一の符号を付して説明を省略する。

監視映像生成装置４０は、図１５に示すように、映像入力手段１２、画角制御手段４３、データベース１４、情報表示制御手段１５、映像出力手段４６、記録手段４９で構成されている。ここで、映像入力手段１２、データベース１４、情報表示制御手段１５の構成については実施の形態１と同様であるため図１と同一の符号を付して説明を省略する。

画角制御手段４３は、実施の形態１の画角制御手段１３または実施の形態３の画角制御手段３３で示した構成に加え、カメラ１１の旋回・ズーム値としてのＰＴＺ値を監視しており、ＰＴＺ値を映像出力手段４６へ出力する。

映像出力手段４６は、実施の形態１の映像出力手段１６で示した構成に加え、映像入力手段１２を介してカメラ１１からの映像を入力したかどうかを判定し、映像出力手段４６は、カメラ１１から映像入力があると判定した場合、入力した映像を記録手段４９へ出力して記憶させる。一方、カメラ１１からの映像入力が無いと判定した場合、画角制御手段４３から入力した現在のＰＴＺ値に基づき記録手段４９に保存されたＰＴＺ値を参照して現在のＰＴＺ値に対応するＰＴＺ値で撮像された映像を取得する。

記録手段４９は、映像出力手段４６から映像とともに映像撮像時のＰＴＺ値（撮像画角値）を取得し、映像と映像撮像時のＰＴＺ値を対応付けて記憶する。

次に、図１６を用いて、監視映像生成装置４０における特徴的な処理を説明する。
監視映像生成装置４０の映像出力手段４６は、映像入力手段１２からの映像入力の有無を判定しており（ステップＳＴ４００）、映像入力手段１２からの映像入力があると判定すると（ステップＳＴ４００“ＹＥＳ”）、映像入力手段１２から映像を入力して通常の監視映像生成処理を行うとともに、画角制御手段４３から映像撮像時のＰＴＺ値を取得する（ステップＳＴ４０１）。映像出力手段４６は、映像入力手段１２から入力した映像と画角制御手段４３から取得したＰＴＺ値を対応付けて記録手段４９へ出力して保存する（ステップＳＴ４０２）。
一方、映像出力手段４６は、映像入力手段１２からの映像入力が無いと判定すると（ステップＳＴ４００“ＮＯ”）、画角制御手段４３から現在のＰＴＺ値を取得し（ステップＳＴ４０３）、記録手段４９に保存されたＰＴＺ値を参照して現在のＰＴＺ値に対応するＰＴＺ値で撮像された映像を取得する（ステップＳＴ４０４）。映像出力手段４６は、取得した映像を用いて生成した監視映像を出力して表示装置８０に表示する（ステップＳＴ４０５、エンド）。

以上のように、実施の形態４の監視映像生成装置４０は、実施の形態１の効果に加え、カメラ１１で撮像された映像と、画角制御手段４３から入力した映像撮像時の旋回・ズーム値を保存する記録手段４９と、カメラ１１で撮像された映像を入力したか否かを判定し、カメラ１１から映像が入力されない場合、現在の旋回・ズーム値に対応する過去に撮像した映像を記録手段４９から取得して表示する映像出力手段４６とを備えるよう構成したことにより、カメラ１１からの映像が何らかの障害により入力できない場合においても撮像画角値に対応する過去に撮像した映像を用いて監視映像を生成できるという効果が得られる。

実施の形態５．
上記実施の形態１〜４において、入力した映像が暗い場合でもその映像を用いて監視映像を生成する構成について説明したが、暗い映像を用いた監視映像では監視対象物が不鮮明に表示され判別し難い。そこで、実施の形態５は、暗い映像を用いずに監視映像を生成する構成について説明する。

図１７は、実施の形態５に係る監視映像生成装置を含む映像監視表示システムの構成を示している。
映像監視表示システム５は、図１７に示すように、監視映像生成装置５０、カメラ１１、表示装置８０、操作入力装置９０で構成されており、監視映像生成装置５０以外の構成は実施の形態１と同様であるため、同一の符号を付して監視映像生成装置５０以外の構成の説明を省略する。

監視映像生成装置５０は、図１７に示すように、映像入力手段１２、画角制御手段４３、データベース１４、情報表示制御手段１５、映像出力手段５６、明るさ判定手段５７で構成されている。ここで、監視映像生成装置５０においては、映像出力手段５６と明るさ判定手段５７以外の構成が実施の形態４と同様の構成であるため、図１５と同一の符号を付して映像出力手段５６と明るさ判定手段５７以外の構成の説明を省略する。

明るさ判定手段５７は、要求に応じて映像の明度が所定の閾値を超えているかどうかを判定するよう機能する。
映像出力手段５６は、実施の形態１の映像出力手段１６で示した構成に加え、映像入力手段１２を介してカメラ１１からの映像を入力すると、図示しない内蔵の時計から時刻を取得して現在時刻が予め設定された時刻間（指定時間）内であるかを判定する。指定時間は、開始時刻と終了時刻で構成される時間帯を示している。映像出力手段５６は、現在時刻が指定時間内でない場合、映像入力手段１２から入力した映像と画角制御手段４３から取得したＰＴＺ値を対応付けて記録手段４９へ出力して保存し、現在時刻が指定時間内である場合、入力した映像を明るさ判定手段５７へ出力して明るさ判定を要求する。
映像出力手段５６は、明るさ判定手段５７から判定結果を入力すると、映像の明度が所定の閾値を超えている場合、映像入力手段１２から入力した映像と画角制御手段４３から取得したＰＴＺ値を対応付けて記録手段４９へ出力して保存し、映像の明度が所定の閾値以下の場合、画角制御手段４３から入力した現在のＰＴＺ値に基づき記録手段４９に保存されたＰＴＺ値を参照して現在のＰＴＺ値に対応するＰＴＺ値で撮像された映像を取得する。

次に、図１８を用いて、監視映像生成装置５０における特徴的な処理を説明する。
監視映像生成装置５０の映像出力手段５６は、映像入力手段１２から映像を入力すると処理を開始する（スタート）。映像出力手段５６は、図示しない内蔵の時計から現在時刻を取得し、現在時刻が予め設定された時刻間（指定時間）内であるかを判定する（ステップＳＴ５００）。ここでは、指定時間は昼間の時間帯を示す開始時刻と終了時刻であり、指定時間により昼間の時間帯か夜間の時間帯であるかが判定される。

映像出力手段５６は、現在時刻が指定時間内であると判定した場合（ステップＳＴ５００“ＹＥＳ”）、明るさ判定手段５７へ映像を出力して明度判定を要求し、明るさ判定手段５７による判定結果を受け取ると、映像の明度が閾値以下であるかを判定する（ステップＳＴ５０１）。

映像出力手段５６は、ステップＳＴ５００において現在時刻が指定時間以内でないと判定した場合（ステップＳＴ５００“ＮＯ”）またはステップＳＴ５０１において映像の明るさが閾値以下でないと判定した場合（ステップＳＴ５０１“ＮＯ”）、映像入力手段１２から映像を入力して通常の監視映像生成処理を行うとともに、画角制御手段４３から映像撮像時のＰＴＺ値を取得する（ステップＳＴ５０２）。映像出力手段５６は、映像入力手段１２から入力した映像と画角制御手段４３から取得したＰＴＺ値を対応付けて記録手段４９へ出力して保存する（ステップＳＴ５０３）。

一方、映像出力手段５６は、映像の明度が閾値以下であると判定した場合（ステップＳＴ５０１“ＹＥＳ”）、画角制御手段４３から現在のＰＴＺ値を取得し（ステップＳＴ５０４）、記録手段４９に保存されたＰＴＺ値を参照して現在のＰＴＺ値に対応するＰＴＺ値で撮像された映像を取得する（ステップＳＴ５０５）。映像出力手段５６は、取得した映像を用いて生成した監視映像を出力して表示装置９０に表示する（ステップＳＴ５０６、エンド）。

以上のように、実施の形態５の監視映像生成装置５０は、実施の形態１の効果に加え、カメラ１１で撮像された映像と、画角制御手段４３から映像撮像時の撮像画角値を入力して記録する記録手段４９と、カメラ１１からの映像の明るさに基づき映像中の情景の状況を判別できるか判断し、映像中の情景の状況を判別できない場合、現在の旋回・ズーム値に対応する映像を記録手段４９から取得して重畳表示する映像出力手段５６を備えるよう構成したので、夜間や撮像空間が暗い場合に、明度が所定値を超える映像を用いて監視映像を生成することができる。その結果、閲覧者は、監視映像におけるカメラ１１からの映像が状況を判別できない明度である場合でも、着目すべき監視対象物を判別することができるという効果が得られる。なお、映像出力手段５６において、カメラ１１からの映像を入力した時刻に基づき映像中の情景の状況を判別できるか判断するよう構成してもよい。

なお、上述した実施の形態における操作入力装置９０は、映像出力手段１６を介して監視映像上に重畳表示された指示記号としてのマウスカーソルの座標を情報表示制御手段１５等に入力するものとして説明したが、座標を情報表示制御手段１５等に直接入力する構成であってもよい。その場合、操作入力装置９０は、例えば映像監視システム上で動作するＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のウィンドウマネージャを用いて表示画面上のクライアント領域（アプリケーションの表示を行う領域）におけるマウスカーソルの相対座標を情報表示制御手段１５等に入力する。
また、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１，３，４，５ 映像監視表示システム、１０，３０，４０，５０ 監視映像生成装置、１１ カメラ、１２ 映像入力手段、１３，３３，４３ 画角制御手段、１４ データベース、１４ａ 情報データ、１５ 情報表示制御手段、１６，３６，４６，５６ 映像出力手段、４９ 記録手段、５７ 明るさ判定手段、８０ 表示装置、９０，９３ 操作入力装置、１００ 映像表示領域、１０１ 監視対象物の映像、１０２ 情報データの映像、１０３ 矢印、１０４ マウスカーソル、１０５ マウスカーソル座標近傍領域、１０６ 強調対象領域外にある監視対象物の情報データ、１０７ 強調対象領域内にある監視対象物の情報データ、１１０ 全方位座標空間、１１１ 現在取得した映像の撮像範囲、１１２ チルト値原点、１１３ チルト値の最大値、１１４ パン値原点、１１５ パン値最大値、１１６ 全方位座標空間の高さ、１１７ 全方位座標空間の幅、１１８ 原点に対する現在取得した映像の撮像範囲の座標（現在のＰＴＺ値）、１１９ 現在取得した映像の撮像範囲の幅、１２０ 現在取得した映像の撮像範囲の高さ、２００，２０２，２０４，２０６ 情報データ表示領域、２０１，２０３，２０５，２０７ 情報データ表示領域の座標、２１０〜２１５ 座標間の距離、２２０，２２３ クーロン力、２２１，２２４ 再配置後の情報データ表示領域、２２２，２２５ 再配置後の情報データ表示領域の座標。

Claims (7)

1. 旋回ズーム制御可能な撮像手段と、
   前記撮像手段の旋回ズームを制御して旋回ズーム制御値を出力する画角制御手段と、
   前記旋回ズーム制御値に対応した撮像対象物毎の位置および内容を含む対象物情報を格納するデータベースと、
   前記画角制御手段が出力した旋回ズーム制御値に対応する対象物情報を前記データベースから読み出し、外部の入力装置により示される撮像範囲内の座標に基づいて、該座標を含む一定範囲内に存在する撮像対象物の対象物情報をそれぞれ重ならない座標に配置するとともに該対象物情報の表示形態を強調する情報表示制御手段と、
   前記撮像手段からの映像に前記情報表示制御手段からの対象物情報を重畳表示する映像出力手段と
   を備えた監視映像表示装置。
2. 前記情報表示制御手段は、前記座標を含む一定範囲内の対象物情報を他の対象物情報より前面に配置することを特徴とする請求項１記載の監視映像表示装置。
3. 前記対象物情報は、表示形態を示す表示属性情報を含んでおり、
   前記情報表示制御手段は、前記表示属性情報に応じて、表示サイズ、形状および色の少なくともいずれかを前記他の対象物情報と異ならせた表示形態で、前記座標を含む一定範囲内に存在する撮像対象物の対象物情報を表示させるよう制御することを特徴とする請求項１または請求項２記載の監視映像表示装置。
4. 前記対象物情報は、撮像対象物に応じた図形情報を含んでおり、
   前記情報表示制御手段は、前記図形情報が示す図形を用いた表示形態で対象物情報を表示させるよう制御することを特徴とする請求項１から請求項３のうちのいずれか１項記載の監視映像表示装置。
5. 前記映像出力手段は、表示した対象物情報上を外部の入力装置から指示された場合、前記画角制御手段に対して旋回ズーム制御を指示することを特徴とする請求項１から請求項４のうちのいずれか１項記載の監視映像表示装置。
6. 前記撮像手段で撮像された映像と、前記画角制御手段から入力した映像撮像時の旋回ズーム制御値を記録する記録手段を備え、
   前記映像出力手段は、前記撮像手段から映像が入力されない場合、現在の旋回ズーム制御値に対応する過去に撮像した映像を前記記録手段から取得して表示することを特徴とする請求項１から請求項５のうちのいずれか１項記載の監視映像表示装置。
7. 前記撮像手段で撮像された映像と、前記画角制御手段から入力した映像撮像時の旋回ズーム制御値を記録する記録手段を備え、
   前記映像出力手段は、前記撮像手段からの映像に基づき映像中の情景の状況を判別できるか判断し、映像中の情景の状況を判別できない場合、現在の旋回ズーム制御値に対応する映像を前記記録手段から取得して表示することを特徴とする請求項１から請求項５のうちのいずれか１項記載の監視映像表示装置。

Images