JP6261191B2 - 表示制御装置、表示制御方法、プログラム - Google Patents

Description

本発明は、監視カメラの撮像画像のライブ表示と、録画画像の録画像表示を行なう監視システムに関するものである。

従来、監視カメラが撮像した監視映像を録画する監視カメラシステムが知られている。
また従来、監視カメラが現在撮像しているライブ画像を表示制御装置に表示させる監視カメラシステムが知られている（例えば、特許文献１）。

従来の監視システムの構成例を図１２に示す。図１２において１１０１は監視カメラであり、一般的には一台あるいは複数台の監視カメラがＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１１０２などのネットワークを介して録画装置１１０３および表示制御装置１１０４に接続されている。

録画装置１１０３は、監視カメラから受信した監視映像を録画する。表示制御装置１１０４は、監視カメラが現在撮影している監視映像を受信して表示する。また、表示制御装置１１０４は録画装置１１０３から録画映像を受信して録画映像を再生する。

また従来、表示制御装置１１０４などからパン角度、チルト角度、ズーム率などを調整して監視カメラの撮像範囲を変更可能な監視カメラが知られている。

また従来、監視カメラから受信した監視映像や録画装置から受信した録画映像の一部領域を切り出して拡大表示させる表示制御装置１１０４が知られている。

図１３に、撮像画像１２０１の一部の領域の画像を切り出したのち、切り出した画像を拡大して表示制御装置１１０４の表示部に表示させる例を示す。ユーザは表示制御装置１１０４において、撮像画像１２０１における切出領域１２０２を指定する。表示制御装置１１０４は、指定された領域の画像を切り出して拡大した画像１２０３を表示する。

図１４は、従来の表示制御装置１１０４による操作画面の一例を示している。図１４において、操作画面１３０１にはツールバー１３０２と、カメラリスト１３０３と、映像表示領域１３０４とが表示されている。

ツールバー１３０２には、表示画像の拡大や表示レイアウト変更等の操作を行うための、表示制御に関する各種操作を行なうアイコンが表示される。また、カメラリスト１３０３には操作可能な監視カメラの一覧が表示される。そして、映像表示領域１３０４には、カメラリスト１３０３において選択された監視カメラが撮像したライブ映像や録画映像が表示される。

特開２００６−１２９５１９号公報

従来の方法では、監視カメラが現在撮像している撮像画像（ライブ画像）と、監視カメラが過去に撮像した撮像画像（録画画像）とを一覧表示する場合に、ライブ画像の撮像領域と録画画像の撮像領域が異なる場合があった。

図１４の例では、Ｃａｍｅｒａ１、Ｃａｍｅｒａ２、Ｃａｍｅｒａ３の現在の監視画像と、Ｃａｍｅｒａ３が過去に撮像した録画画像が操作画面上に表示される。

ライブ画像１３０５は、Ｃａｍｅｒａ３が現在撮像している画像である。また、録画画像１３０６は、Ｃａｍｅｒａ３が過去に撮像し録画装置に録画された録画画像を、表示制御装置１１０４が録画装置から読み出して再生した画像である。

図１４の例では、Ｃａｍｅｒａ３のライブ画像１３０５と、Ｃａｍｅｒａ３の録画画像１３０６とで、カメラが撮影を行ったときの画角が異なっている。

従来、ライブ画像１３０５と録画画像１３０６とを同時に閲覧する場合において両者の画角や撮像方向を一致させるためには、ユーザがカメラに対し個別にパン・チルト・ズーム操作を行なわなければならなかった。

そこで本発明は、監視カメラが過去に録画した録画画像と、当該録画画像の画角又は撮像方向で撮像されるライブ画像とを、ユーザが煩雑な処理を行うことなく一覧表示できるようにすることを目的とする。

上述の目的を達成するため、本発明に係る表示制御装置は、撮像手段が撮像する撮像画像を取得する第１の取得手段と、撮像画像を記録する記録手段から撮像画像を取得する第２の取得手段と、表示手段の表示画面における第１の表示領域に前記第１の取得手段が取得した撮像画像を表示させ、前記表示画面における第２の表示領域に前記第２の取得手段が取得した撮像画像を表示させる場合に、前記第２の取得手段が取得した撮像画像に対応する撮像領域を撮影するように前記撮像手段の撮像方向を向ける制御を行う制御手段と、前記制御手段によって制御された撮像方向において前記撮像手段が撮像する撮像画像を前記第１の表示領域に表示させ、前記第２の取得手段が取得した撮像画像を前記第２の表示領域に表示させる制御を行う表示制御手段と、前記撮像手段の撮像方向を変更するための制御権を表示制御装置が有するか否かを判定する判定手段と、前記第１の取得手段が取得した撮像画像の一部を切り出す切出手段と、を有し、前記制御権を前記表示制御装置が有さないと判定した場合、前記制御手段は、前記撮像手段の撮像方向を変更する制御を行わず、前記制御権を前記表示制御装置が有さないと判定した場合、前記切出手段は、前記第１の取得手段が取得した撮像画像から前記第２の取得手段が取得した撮像画像に対応する撮像領域の撮像画像を切出し、前記制御権を前記表示制御装置が有さないと判定した場合、前記表示制御手段は、前記切出手段が切り出した前記撮像画像を前記第１の表示領域に表示させ、前記第２の取得手段が取得した撮像画像を前記第２の表示領域に表示させる制御を行うことを特徴とする。

本発明によれば、監視カメラが過去に録画した録画画像と、当該録画画像の画角又は撮像方向で撮像されるライブ画像とを、ユーザが煩雑な処理を行うことなく一覧表示することができる。

実施例１における監視システムの構成例 実施例１における表示制御処理を説明するための画像表示例 実施例１における表示制御処理を説明するためのフローチャート 実施例２における監視システムの構成例 実施例２における表示制御処理を説明するための画像表示例 実施例２における表示制御処理を説明するためのフローチャート 実施例３における表示制御処理を説明するためのフローチャート 実施例３における表示制御処理を説明するための第１の画像表示例 実施例３における表示制御処理を説明するための第２の画像表示例 実施例３における表示制御処理を説明するための第３の画像表示例 実施例４における表示制御処理を説明するためのフローチャート 従来の監視システムの構成例 撮像画像から切り出し画像を切り出す切出処理を説明するための図 従来の監視システムの表示制御画面の例 実施例１における表示制御装置の他の構成例を説明するための図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。

＜実施例１＞
図１は、本発明の実施例１に係るネットワーク監視システム（表示制御システム）の構成の一例を示す図である。図１に示すネットワーク監視システムは、カメラ（撮像装置）１０１と、録画装置１０２と、表示制御装置１０３と、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク１０４によって構成される。

カメラ１０１は、撮像した画像データをネットワーク１０４に配信する。また、マイクや各種センサーから取得した音声データやセンサー検知情報、およびそれらデータから生成された各種検知データを配信してもよい。

録画装置１０２は、カメラ１０１からネットワーク１０４を介して配信された各種データを、ハードディスクなどの記録媒体に記録する。この例では記録媒体は、録画装置１０２内のハードディスクとするが、録画装置１０２に外部接続された記録媒体でもよいし、ネットワーク１０４に別途接続されたＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）であってもよい。

本実施例では、カメラ１０１と録画装置１０２を異なる装置として構成する場合について説明するが、カメラ１０１と録画装置１０２は一体の装置として構成してもよい。すなわち、カメラ１０１が撮像した撮像画像をカメラ１０１内に蓄積することとしてもよい。この場合カメラ１０１は撮像した撮像画像を記録するための記録部を有する。この記録部は、録画装置１０２内のハードディスク、あるいは、メモリカード等のリムーバブルメディア等とすることができる。

あるいは、録画装置１０２と後述の表示制御装置１０３とを一体の装置として構成してもよい。すなわち、カメラ１０１が撮像した撮像画像を表示制御装置１０３内に蓄積することとしてもよい。この場合表示制御装置１０３は、カメラ１０１が撮像した撮像画像を記録するための記録部を有する。この記録部は、表示制御装置１０３内のハードディスク、あるいは、メモリカード等のリムーバブルメディア等として構成することができる。

表示制御装置１０３は、カメラ１０１が撮影中の画像データを表示（以下、「ライブ表示」という）する。また表示制御装置１０３は、録画装置１０２に記録された録画データを表示（以下、「録画像表示」という）する装置である。上述のように、表示制御装置１０３は、録画機能を有し、自装置内に録画した録画データを表示することとしてもよい。

ネットワーク１０４は、カメラ１０１と、録画装置１０２と、表示制御装置１０３とが相互に通信可能に接続される。また、この例ではＬＡＮとしたが無線あるいは専用ケーブルを使用したネットワークを構築しても良い。図１では、カメラ１０１と、録画装置１０２と、表示制御装置１０３がそれぞれ１台ずつネットワークに接続される例を示したが、それぞれの装置は複数台ネットワークに接続することとしてもよい。また、インターネットとＬＡＮなど、異なる複数のネットワークを介してそれぞれの装置が接続されることとしてもよい。

本実施例にかかる表示制御装置１０３は、現在のカメラ１０１の撮像方向及び画角が、録画像表示される録画像が過去に撮像された時のカメラ１０１の撮像方向及び画角と対応するようにして、ライブ表示と録画像表示を行う。

ライブ表示と録画表示の例について図２を用いて説明する。図２に示した表示２０１、及び、表示２０２は表示制御装置１０３の表示部１２１の表示画面に表示される画像の例である。図２の例では表示画面の左側（第１の表示領域）に、カメラ１０１から取得されたライブ画像を表示させる。また表示画面の右側（第２の表示領域）に録画装置１０２から取得された録画画像を表示させる。

図２の表示２０１に示すように、カメラ１０１の現在の撮像方向と、録画像表示される録画像が撮像された撮像方向が異なる場合に、表示制御装置１０３のコマンド生成部１１７はカメラ１０１の撮像方向を変更するコマンドを生成する。このコマンドは、録画装置１０２から取得している画像データに付加されているカメラ情報に基づいて、録画像が撮像された撮像方向に、表示制御装置１０３の撮像方向を一致させるようにカメラ１０１に要求するためのコマンドである。カメラ情報には、例えば、撮像部１０７のパン角度、チルト角度、ズーム値、撮影時刻、カメラ１０１の識別情報等が含まれる。

表示制御装置１０３は、このようにして生成したコマンドをカメラ１０１に送信して、カメラ１０１の撮像方向を変更する。表示制御装置１０３は、撮像方向を変更した後のカメラ１０１が撮像した画像データを受信することにより、図２の表示２０２に示したような表示を行うことができる。このようにして表示制御装置１０３は、録画装置１０２から取得した撮像画像に対応する撮像領域を撮影するようにカメラ１０１の撮像方向を向ける制御を行う。そして、表示制御装置１０３がカメラ１０１の撮像方向を制御した後の撮像方向においてカメラ１０１が撮像するライブ画像を表示画面の第１の表示領域に表示させる。また、録画装置１０２から取得した録画画像を第２の表示領域に表示させる。

このようにして、ユーザは、煩雑な処理を行うことなく、撮像領域が対応した状態でライブ画像と録画像を閲覧することができる。

次に図１に示した各装置の構成について説明する。まず、カメラ１０１の構成について説明する。

通信制御部１０５は、表示制御装置１０３や録画装置１０２と、ネットワークを介して画像データやコマンドの送受信を行う。通信制御部１０５は、表示制御装置１０３や録画装置１０２から画像データの送信要求を受信した場合、送信要求を行った装置に対して、撮像部１０７が撮像した画像データを配信する。また通信制御部１０５は、表示制御装置１０３からカメラ制御要求を受信する。カメラ制御要求は、例えば、ネットワークカメラの撮像方向をパン方向、チルト方向に変更したり、ズームを行ってネットワークカメラの画角を変更したりすることをカメラ１０１に対して要求する。

撮像部１０７は、被写体の撮像を行う。画像入力部１０６は、撮像部１０７が撮像した撮像画像（動画または静止画）をデータ処理部１０８に入力する。

データ処理部１０８は、入力された撮像画像の圧縮符号化を行って画像データを生成する。また、データ処理部１０８は、カメラ１０１の現在のカメラ情報を画像データに付加する。カメラ情報には、例えば、撮像部１０７のパン角度、チルト角度、ズーム値、撮影時刻、カメラ１０１の識別情報等が含まれる。データ処理部１０８が圧縮符号化し、カメラ情報を付加した画像データは通信制御部１０５を介してネットワーク１０４に送出される。

データ処理部１０８は、例えば、撮像画像をＭｏｔｉｏｎＪＰＥＧ圧縮処理する。符号化方式は特に限定せず、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）等の符号化方式を用いることとしてもよい。またデータ処理部１０８は、撮像部１０７のパン角度、チルト角度、ズーム値、撮影時刻、カメラの識別情報などのカメラ情報を撮像画像の画像データのヘッダ部に付加する。カメラ情報は画像データのヘッダに付加する場合に限られず、画像データと関連付けた状態で、カメラ情報と録画データとを別々に録画装置１０２に保持させることとしてもよい。

駆動部１０９は、撮像部１０７の撮像方向（例えば、パン・チルト角度）を変更する。駆動制御部１１０は、通信制御部１０５が受信したカメラ制御要求で指定された内容に応じて、駆動部１０９を制御して撮像部１０７の撮像方向を変更させる。また、駆動制御部１１０は撮像部１０７を構成するレンズを制御し、撮像部１０７が撮像する撮像画像の画角を制御する。

次に、録画装置１０２の構成について説明する。コマンド生成部１１７は、カメラ１０１から画像データを取得するためのコマンドを生成する。このコマンドは、カメラ１０１が撮像した画像データを要求するための要求コマンドである。生成されたコマンドは、通信制御部１１２によってネットワーク１０４を介してカメラ１０１に送信される。

データ処理部１１３は、カメラ１０１から受信した画像データの形式を、録画装置１０２が記録可能な形式に変換する。ここで記録対象となるデータには、カメラ１０１のデータ処理部１０８で付加された、パン、チルト、ズーム値、撮影時刻、カメラ１０１の識別情報等のカメラ情報が含まれる。記録制御部１１４は、カメラ情報を含む画像データを、記録部１１５に記録する。

次に、表示制御装置１０３の構成について説明する。操作入力部１１６は、ユーザによる指示を取得する。例えば、ユーザから表示制御装置１０３に入力される指示として、カメラ１０１が現在撮像しているライブ画像の表示指示や、カメラ１０１の撮像方向の変更指示が含まれる。さらに、ユーザから表示制御装置１０３に入力される指示として、録画装置１０２に記録された画像データを再生する録画像表示指示が含まれる。

コマンド生成部１１７は、操作入力部１１６によって取得された指示に応じて、各種コマンドを生成する。コマンド生成部１１７は、カメラ１０１が現在撮像しているライブ画像の表示指示を取得した場合、カメラ１０１に対して現在撮像している撮像画像の画像データの送信を要求するコマンドを生成する。コマンド生成部１１７が生成したコマンドは、通信制御部１１８を介してカメラ１０１に対して送信される。

またコマンド生成部１１７は、カメラ１０１の撮像方向又は画角の変更指示を受信した場合、カメラ１０１に対して撮像方向又は画角の変更を要求するコマンドを生成する。コマンド生成部１１７が生成したコマンドは、通信制御部１１８を介してカメラ１０１に対して送信される。

また、コマンド生成部１１７は、操作入力部１１６が録画像表示を行わせるための指示を取得した場合、録画装置１０２に対して録画データを要求するコマンドを生成する。コマンド生成部１１７が生成したコマンドは、通信制御部１１８を介して録画装置１０２に対して送信される。

通信制御部１１８は、画像データの送信を要求するコマンドの送信に応じて、カメラ１０１が現在撮像している画像データを、カメラ１０１から受信する。このようにして、カメラ１０１（撮像装置）からカメラ１０１が撮像する撮像画像を取得する。

また通信制御部１１８は、録画データの送信を要求するコマンドの送信に応じて、録画装置１０２が記録している画像データを、録画装置１０２から受信する。このようにして、通信制御部１１８は、撮像画像を記録する録画装置（記録装置）から撮像画像を取得する。

データ処理部１１９は、操作入力部１１６がライブ表示指示を取得した場合、カメラ１０１から受信した画像データの伸長処理（復号処理）を行う。また、データ処理部１１９は、操作入力部１１６が録画像表示を行わせるための指示を取得した場合、録画装置１０２から受信した画像データの伸長処理を行う。

表示処理部１２０は、データ処理部１１９が処理した画像データを表示部１２１に表示させる。表示処理部１２０はカメラ１０１が現在撮像している撮像画像のライブ表示と、録画装置１０２から取得した画像データの録画像表示を同一画面上で同時に行うことができる。ライブ表示もしくは録画像表示の一方を行うか、又は、ライブ表示と録画像表示とを同時に行うか、又は、ユーザが選択できることとしてもよい。ライブ表示と録画像表示を同時に行う場合の画面の表示例を図２の２０２に示す。

表示処理部１２０は、ライブ画像と、録画画像を識別可能にして管理する。例えば、画像データを識別するためのフラグをそれぞれの画像データに関連付けて保持する。通信制御部１１８が受信した画像データがカメラ１０１から受信されたものである場合、フラグを０にして、当該画像データをライブ画像として管理する。また、通信制御部１１８が受信した画像データが録画装置１０２から受信されたものである場合、フラグを１にして、当該画像データを録画画像として管理する。

次に、表示制御装置１０３が実行する表示制御処理について、図３のフローチャートを用いて説明する。本実施例において、図３のフローチャートは、コマンド生成部１１７が行うものとする。図３のフローチャートで示した処理は、例えば、表示制御装置１０３が定期的に行う処理である。また、図３のフローチャートで示した処理は、表示制御装置１０３が録画装置に記録された録画データの表示を行っている場合であって、表示させる録画データがユーザの指示等により変更された場合に行われることとしてもよい。

まずコマンド生成部１１７は、表示制御装置１０３がライブ表示を行っているか否かを判定する（Ｓ３０１）。例えば、コマンド生成部１１７は、表示制御装置１０３が表示部１２１に表示させている画像データに関連付けられているフラグを確認して、表示部１２１に表示されている画像データにライブ画像が含まれるか否かを判定する。表示部１２１に表示される画像データにライブ画像が含まれる場合にはライブ画像を行っていると判定する。また、表示部１２１に表示される画像データにライブ画像が含まれない場合には、ライブ画像を行っていないと判定する。ライブ表示を行っていない場合（Ｓ３０１でＮＯの場合）、処理は終了する。

ライブ表示を行っている場合、コマンド生成部１１７は、ライブ表示とともに録画像表示を行っているか判定する（Ｓ３０２）。例えば、コマンド生成部１１７は、表示制御装置１０３が表示部１２１に表示させている画像データに関連付けられているフラグを確認して、表示部１２１に表示されている画像データに録画画像が含まれるか否かを判定する。表示部１２１に表示されている画像データに録画画像が含まれる場合、録画像表示を行っていると判定する。一方、表示部１２１に表示されている画像データに録画画像が含まれない場合は、録画像表示を行っていないと判定する。ライブ表示とともに録画像表示を行わない場合（ステップＳ３０２でＮＯの場合）、コマンド生成部１１７は、処理を終了する。

ライブ表示とともに録画像表示を行う場合（ステップＳ３０２でＹＥＳの場合）、コマンド生成部１１７は録画像表示の対象となる画像データに付加されたカメラ情報を読み出す（Ｓ３０３）。カメラ制御情報として、録画像表示の対象となる録画画像データを撮像したカメラ１０１の識別情報、当該画像データが撮像された時のカメラ１０１の撮像方向（パン値、チルト値、ズーム値等）が読み出される。

録画画像データのカメラ情報を読み出すと、コマンド生成部１１７は、ライブ表示している画像データを撮像しているカメラ１０１の識別情報と、録画画像データを撮像したカメラ１０１の識別情報とが一致するか判定する（Ｓ３０４）。撮影中のカメラ１０１の識別情報と、録画画像データを撮像したカメラ１０１の識別情報とが一致しない場合（Ｓ３０４でＮＯの場合）、処理を終了する。

撮影中のカメラ１０１の識別情報と、録画画像データを撮像したカメラ１０１の識別情報とが一致した場合、コマンド生成部１１７は、撮影中のカメラ１０１の撮像方向を変更するコマンドを生成する（Ｓ３０５）。

コマンド生成部１１７は、ステップＳ３０３において読み出したカメラ情報のうち、撮像方向及び画角の情報（パン値、チルト値、ズーム値）と、撮影中のカメラ１０１の撮像方向及び画角が一致するようにコマンドを生成する。すなわち、録画像表示の対象となる画像データが撮像された撮像方向及び画角に、カメラ１０１の撮像方向及び画角を一致させるためのコマンドを生成する。ステップＳ３０５において生成されたコマンドは、通信制御部１１８に出力され、ネットワーク１０４を介してカメラ１０１に送信される。

ステップＳ３０５において生成されたコマンドがカメラ１０１によって実行され、カメラ１０１の撮像方向が変更される。このようにして、録画装置１０２から取得した撮像画像が撮像された撮像方向に対応する撮像方向に、カメラ１０１の撮像方向を向ける制御を行う。

そして、撮像方向変更後の撮像画像が表示制御装置１０３に送信され、表示部１２１に表示される。このようにして、ライブ表示される画像の撮像方向及び画角と、録画像表示される画像の撮像方向及び画角が一致した状態で、ライブ表示と録画像表示を同時に行うことができる。

第１の実施例では、駆動部１０９を有するカメラ１０１に関して説明したが、駆動部１０９を持たない固定式のカメラであってもよい。固定式カメラであって、撮像した全画像から任意の領域を画像データとして切り出して外部に送信する電子的なパン・チルト・ズーム機能が備わっているカメラを用いてもよい。この場合、撮影時のカメラ情報として電子的なパン値・チルト値・ズーム値を用いても同様の効果を奏することができる。

表示制御装置１０３の表示部１２１の表示画面の第１の表示領域に、カメラ１０１が撮像するライブ画像の一部を表示させ、表示画面の第２の表示領域に、録画装置１０２から取得した録画画像を表示させる場合について説明する。このような形態において、表示制御装置１０３は、カメラ１０１から取得した第１の撮像画像から、電子的なパン、チルト、ズームを行って画像の切出しを行う切出処理部を有する。切出処理部については、実施例２において詳細を説明する。切出処理部は、録画装置１０２から取得した撮像画像対応する撮像領域の画像を第１の撮像画像から切り出す。

そして、表示処理部１２０は、第１の撮像画像（ライブ画像）から切り出した画像を第１の表示領域に表示させる。また、表示処理部１２０は、録画装置から取得した第２の撮像画像（録画画像）を第２の表示領域に表示させる。

このようにしてユーザは、録画時と現在とで同一の監視領域の状況を即座に比較することが可能となる。

本実施例では、ライブ画像と録画画像が撮像される撮像方向及び画角を一致させる場合について説明したが、表示制御装置１０３は、撮像方向又は画角の一方のみを一致させることとしてもよい。

また、録画像表示されている撮像領域に対応する撮像領域の画像をライブ表示させるか否かを、ユーザが選択できるようにしてもよい。この場合、録画像表示される撮像領域に対応する撮像領域のライブ表示を行うことをユーザが指示した場合のみ、上述の処理を行う。一方、録画像表示される撮像領域に対応する撮像領域のライブ表示を行うユーザが指示しない場合には、表示制御装置１０３は、カメラ１０１の撮像方向及び画角の制御を行わないこととしてもよい。

実施例１では、図３のフローチャートの処理を図１に示した表示制御装置１０３内のコマンド生成部１１７が実行する場合について説明したが、これに限られない。例えば、図１５（ａ）に示すように、表示制御装置１０３がプロセッサを内蔵する形態では、図３の処理フローは、図３に示す手順をプロセッサ１５０１に実行させるためのソフトウエア（プログラム）を示す。表示制御装置１０３が内蔵するプロセッサはコンピュータであり、表示制御装置１０３が内蔵する記憶部１５０２から読み出したプログラムを実行する。プロセッサとして例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることができる。

あるいは、プロセッサがプログラムを実行して行う処理と、実施例で上述したハードウェアによる処理とを協同させて、図３に示した処理を実行させることとしてもよい。

図１５（ｂ）は、プロセッサ１５０１が記憶部１５０２に記憶されたプログラムを実行して表示制御装置１０３の各種機能を実現する場合の、記憶部１５０２に記憶されるデータを説明するための概念図である。記憶部１５０２は、プログラム格納領域１５１０、プログラム作業用領域１５２０、通信バッファ領域１５３０を有する。ただし、記憶部１５０２に記憶される内容はこれらに限られるものではない。

プログラム格納領域１５１０は図３に示したフローチャートの処理をプロセッサ１５０１に実行させるためのプログラムを格納する。

また、プログラム作業用領域１５２０は、記憶部１５０２に格納されたプログラムをプロセッサ１５０１が実行するために用いる作業用領域である。例えば、プログラム作業用領域１５２０は、ステップＳ３０１、ステップＳ３０２におけるライブ表示、録画像表示判定に用いるフラグ保持の領域として用いられる。またプログラム作業用領域１５２０は、ステップＳ３０３におけるカメラ情報読み出し用領域として用いられる。またプログラム作業用領域１５２０は、ステップＳ３０４におけるカメラ識別情報の一致判定に用いられる領域である。またプログラム作業用領域１５２０は、ステップＳ３０５におけるライブ表示領域／録画像表示領域の対応判定に用いられる領域である。またプログラム作業用領域１５２０は、カメラ制御コマンドを生成するために用いられる領域である。プログラム作業用領域１５２０の用途はこれらに限られない。

また、通信バッファ領域１５３０は、通信制御部１５０３が通信を行う際に、各種コマンドや画像データなどを一時的に保持するために用いられる領域である。通信制御部１５０３の用途はこれらに限られない。

＜実施例２＞
次に、本発明の第２の実施例について説明する。第２の実施例では、表示制御装置４０３の切出処理部４０５が、画像の切り出し拡大表示をする例について説明する。

本発明の第２の実施例に係るネットワーク監視システム（表示制御システム）の構成を図４に示す。図４におけるカメラ４０１と録画装置４０２とネットワーク４０４については、第１の実施例に係るネットワーク監視システムの構成と同様であるため説明を省略する。

本実施例にかかる表示制御装置４０３は、第１の実施例の構成に加え、画像の切り出し、拡大表示を行う切出処理部４０５を有する。切出処理部４０５は、録画装置４０２から受信した録画画像の一部を切り出す第１の切出処理を行う。また、切出処理部４０５は、カメラ１０１から受信した撮像画像から画像データを切り出す第２の切出処理を行う。

本実施例において、切出処理には、撮像画像から一部の画像を切り出す処理に加えて、切り出した画像を電子的に拡大して表示させる拡大処理を含むものとして説明する。

切出処理部４０５は、録画画像に対して切出処理を行った場合、録画装置４０２から受信した録画画像において画像を切り出す領域の位置、及び、切り出した画像を拡大する拡大倍率を、切出処理の対象である録画画像と関連付けてカメラ情報として記憶する。

通信制御部４０６で受信した画像データは、データ処理部４０７で伸長され、切出処理部４０５に入力される。ここで、ユーザによる撮像画像における画像の切出し位置、及び、拡大倍率が設定されている場合は、設定された値に従い、画像の切り出しと拡大を行なう。切出処理部４０５において切り出された画像は、表示処理部４０８に渡され、表示部４０９に表示される。

第２の実施例の切出処理の一例を図５に示す。録画装置４０２から受信した画像データであって、切出処理を行う前の画像５０１を図５（ａ）に示す。本実施例では、ユーザの指定により、領域５０２の画像を電子的に切出して拡大表示するものとする。

領域５０２を切出して拡大表示した様子を図５（ｂ）の領域５０３に示す。録画画像とともにライブ画像を表示する場合は、第１の実施例と同様にして、録画装置４０２から受信した録画画像データに関連付けられたカメラ情報を読み出し、カメラ１０１の撮像方向及び画角を録画時のカメラ情報に対応させる。

カメラ１０１の撮像方向が変更された場合に表示制御装置４０３が受信するライブ画像５０５の様子を図５（ｃ）に示す。続いて、切出処理部４０５は、図５（ｃ）のライブ画像５０５に対する切出処理を行う。この切出処理においては、録画画像５０１に対して行った切出処理と同じ切出位置、同じ拡大倍率を用いて、ライブ画像５０５から画像を切り出し、拡大する。このようにして、録画画像５０１から切り出した切出し画像５０３と撮像領域が対応する画像５０６を、カメラ１０１が撮像したライブ画像５０５から切り出す。

ライブ画像５０５に対して切出処理を行った後のライブ表示される画像を図５（ｄ）の画像５０６に示す。カメラ１０１が撮像したライブ画像５０５から切り出された切出し画像５０６を表示画面の左側（第１の表示領域）に表示させ、録画画像５０１から切り出した切出し画像５０３を表示画面の右側（第２の表示領域）に表示させる。以上の処理により、切り出された録画画像５０３と切り出されたライブ画像５０６が同一の撮像領域を表示するようにして、ライブ表示と録画像表示を行うことができる。

第２の実施例において、表示制御装置４０３の操作入力部１１６が、ライブ表示を行わせる指示を取得した場合の表示制御装置４０３の処理について、図６のフローチャートを用いて説明する。本実施例において、図６のフローチャートは、コマンド生成部１１７が行うものとする。また、図６のフローチャートで示した処理は、表示制御装置４０３が録画装置に記録された録画データの表示を行っている場合であって、表示させる録画データがユーザの指示等により変更された場合に行われることとしてもよい。

ステップＳ３０１からステップＳ３０５の処理、及びステップＳ３０６については実施例１において図３を用いて説明した内容と同じであるため、同じ符号を付して説明を省略する。

コマンド生成部１１７がステップＳ３０５においてカメラの撮像方向及び画角を録画像の撮像方向及び画角と一致させるコマンドを出力した場合、続いてステップＳ６０１の処理を実行する。ステップＳ６０１では、録画装置４０２から取得した録画画像に対して切出処理部４０５が切出処理を行っているか判定する。

ステップＳ６０１において、録画画像に対する切出処理を行っていないと判定した場合には、ステップＳ３０６進む。一方、ステップＳ６０１において録画画像に対する切出処理が行われていると判定した場合には、コマンド生成部１１７は、切出処理部４０５にライブ画像の切出処理を実行させる。コマンド生成部１１７は、録画像表示している録画画像に関連付けられた切出し情報に基づき、切出処理部４０５に、録画画像５０１に対して行った切出処理と同じ切出位置、同じ拡大倍率で、ライブ画像５０５から画像を切り出し、拡大させる（Ｓ６０２）。

第２の実施例では、録画画像で切り出し拡大処理を行なっている場合にライブ画像でも切り出し拡大を行う。しかし、ライブ画像では切り出しを行なわずにカメラのパン・チルト・ズーム操作によりライブ画像の切り出すべき画角をカメラで実際に撮影させるようにしても良い。この場合は、録画時のパン・チルト・ズーム値と、録画画像の切り出し座標から、撮影画角を同期させるためのパン・チルト・ズーム値の制御量を算出する。

実施例２において図６を用いて説明した処理は、実施例１と同様に、表示制御装置１０３の記憶部に記憶されたプログラムを、表示制御装置１０３の内部のプロセッサが実行することにより実現することとしてもよい。

＜実施例３＞
次に、本発明の第３の実施例について説明する。本実施例では、カメラ１０１が表示制御装置１０３に対して制御権を付与する場合について説明する。制御権とは、カメラ１０１の撮像方向及び画角（パン、チルト、ズーム）を表示制御装置１０３が変更するために必要とする権限のことをいう。制御権は各カメラ１０１が管理し、各カメラ１０１は、ネットワーク１０４に接続された複数の表示制御装置１０３のうちいずれかに制御権を付与している間は、制御権を付与した表示制御装置１０３からのみ、撮像方向及び画角の変更指示を受け付ける。

本実施例における表示制御装置１０３の処理について、図８から図１０を用いて説明する。図８では、録画像表示により表示される撮像領域の全体を、ライブ画像を用いて表示することができる場合について説明する。

図８において、録画画像８０１は切出処理を行っていない録画画像を示している。また、領域８０２は録画画像８０１に対して切出処理を行う領域を示している。また、録画画像８０３は、録画画像８０１に対して切出処理を行った後の録画画像を示している。

ライブ画像８０４はカメラ１０１が現在撮影中のライブ画像を示している。また、領域８０５は、録画画像８０１上の領域８０２に対応する領域を示している。領域８０５は、録画画像８０１に対する切出処理の内容（切出位置、拡大倍率など）と録画画像が撮影された撮像方向及び画角（パン値、チルト値、ズーム値）と、ライブ画像の撮像方向及び画角とから求められる。

表示制御装置１０３は、ライブ画像８０４の領域８０５に対して切出処理を行うことにより、録画像表示されている撮像領域と同じ撮像領域の画像を表示すすることができる。

次に、図９を用いて、録画像表示により表示される撮像領域の一部を、ライブ画像を用いて表示することができる場合について説明する。

図９において、録画画像９０１は切出処理を行う前の録画画像を示している。また領域９０２は、録画画像において切出処理を行う領域を示している。また、録画画像９０３は切出処理が行われ録画像表示されている画像を示している。

ライブ画像９０４はカメラ１０１が現在撮影している画像を示す。また、領域９０５は、ライブ画像９０４において領域９０２の一部対応する領域を示している。ライブ画像９０６は、領域９０５について切出処理を行った後の画像である。録画像表示された録画画像に含まれる撮像領域であって、ライブ表示されるライブ画像には含まれない領域が存在する場合、画像９０６のようにライブ画像に含まれない領域の表示を制限する処理を行う。例えば、画像９０６の例では、録画像表示される録画画像に含まれ、ライブ画像に含まれない領域を黒く塗りつぶす処理を行う。

次に、図１０を用いて、録画像表示により表示される撮像領域を、ライブ画像を用いて表示することができない場合について説明する。

録画画像１００１は切出処理を行う前の録画画像を示している。領域１００２は録画画像１００１から切出処理を行う領域を示している。録画画像１００３は、領域１００２について切出処理を行った後に録画像表示されている画像を示している。

ライブ画像１００４はカメラ１０１が現在撮影しているライブ画像を示している。録画像表示されている録画画像１００３に対応する領域が、ライブ画像１００４に含まれない場合、ライブ画像１００５のように、ライブ表示部分の全体の表示を制限する処理を行う。図１０の例では、ライブ表示部分の全体を黒く塗りつぶす処理を行う。ライブ画像１００５には、録画像表示している撮像領域に対応する撮像領域がライブ画像に含まれていない旨のメッセージなどを表示してもよい。

第３の実施例に係るネットワーク監視システム（表示制御システム）の構成は、図４に示した第２の実施例のネットワーク監視システムの構成と同様である。本実施例に係るコマンド生成部１１７は、表示制御装置４０３が上述の制御権を有するか否かを判定する。

第３の実施例の表示制御処理を説明するためのフローチャートを図７に示す。ステップＳ３０１からステップＳ３０４までの処理は、実施例１において図３を用いて説明した処理と同じであるため、同じ符号を付して、説明を省略する。本実施例におけるカメラ情報には、撮像画像において切出処理を行った領域の位置と拡大倍率が含まれる。

ライブ画像を受信中のカメラ１０１の識別情報と、表示している録画像データを撮像したカメラ１０１の識別情報が一致する場合（Ｓ３０４でＹｅｓの場合）、コマンド生成部１１７はカメラ１０１の制御権の取得要求コマンドを生成する（Ｓ７０１）。コマンド生成部１１７は、録画像表示を行っている画像を撮影したカメラ１０１と識別情報が対応する識別情報を有するカメラ１０１の制御権を取得するためのコマンドを生成する。コマンド生成部１１７が生成した制御権の取得要求コマンドは、通信制御部４０６を介してカメラ１０１に送信される。

次にコマンド生成部１１７は、要求した制御権が取得できたか否かを判定する（Ｓ７０２）。カメラの制御権が取得できた場合（Ｓ７０２においてＹｅｓの場合）、実施例２において図６を用いて説明した処理と同様に、ステップＳ３０５、Ｓ６０１、及び、Ｓ６０２の処理を行う。

一方、ステップＳ７０２において制御権を取得できない場合（Ｓ７０２においてＮｏの場合）、録画像表示している領域の少なくとも一部がライブ画像に含まれているか判定する（Ｓ７０３）。録画像表示している領域の少なくとも一部がライブ画像に含まれている場合は、ライブ画像から、録画像表示している領域に対応する領域を切出して拡大表示する。この際、録画像表示している領域であってライブ画像に含まれない領域は表示制限を行って表示する（Ｓ７０４）。例えば、録画像表示している領域であってライブ画像に含まれない領域は図９に示したライブ画像９０６や図１０に示したライブ画像１００５のように黒く塗りつぶす処理を行うことができる。

このように、制御権を表示制御装置１０３が有さないと判定した場合は、カメラ１０１の撮像方向を変更する制御を行わない。そして、録画装置４０２から取得された録画像表示されている撮像画像に対応する撮像領域の撮像画像を、カメラ１０１から取得したライブ画像から切り出す処理を行う。ライブ画像から切り出された画像は、図８のように表示画面の左側（第１の表示領域）に表示させ、録画画像は表示画面の右側（第２の表示領域）に表示させる。

さらに、ライブ画像から切り出した領域９０５が、録画表示されている録画画像９０３の一部のみに対応する場合は、ライブ画像から切り出した領域９０５と所定の画像（例えば、黒塗り画像）とを第１の表示領域に表示させる。

このようにして、ライブ画像表示及び録画像表示において、対応する撮像領域の画像が表示されるようにすることができる。

以上、本発明の好ましい実施例について説明したが、それぞれの実施例は、他の実施例と合わせて実施してもよい。また、本発明は上記の実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

実施例３において図７を用いて説明した処理は、実施例１と同様に、表示制御装置１０３の記憶部に記憶されたプログラムを、表示制御装置１０３の内部のプロセッサが実行することにより実現することとしてもよい。

＜実施例４＞
実施例４では、録画像表示されている画像データの撮像領域に対応する撮像領域を撮影しているカメラ１０１をネットワーク１０４から検出する。そして検出したカメラ１０１のライブ画像を録画画像と共に表示する例について説明する。

本発明の第４の実施例に係るネットワーク監視システム（表示制御システム）の構成は、第１の実施例に係るネットワーク監視システムの構成と同様であるため説明を省略する。

本実施例にかかる表示制御処理について図１１を用いて説明する。本実施例において、図１１のフローチャートは、コマンド生成部１１７が行うものとする。

ステップＳ３０１においてＹｅｓの場合の処理については、実施例１で図３を用いて説明した処理と同様であるため、説明を省略する。

表示部１２１においてライブ表示を行っていない場合（Ｓ３０１においてＮｏの場合）、ステップＳ３１０へ進む。ステップＳ３１０では、録画像表示を行っているか否かを判定する。判定の内容は実施例１において図３を用いて説明したステップＳ３０２の処理と同様であるため説明を省略する。録画像表示を行っていない場合（Ｓ３１０においてＮｏの場合）、コマンド生成部１１７は処理を終了する。

録画像表示を行っている場合（Ｓ３１０においてＹｅｓの場合）、コマンド生成部１１７は、録画像データに関連付けられたカメラ情報の読出しを行う（Ｓ３１１）。ステップＳ３１１の処理は、実施例１において説明した図３のステップＳ３０３の処理と同様であるため説明を省略する。

次にコマンド生成部１１７は、ネットワーク１０４に接続された複数のカメラ１０１のから、録画画像のカメラ情報に含まれるカメラ識別情報と一致する識別情報を有するカメラ１０１を選択する（Ｓ３１２）。コマンド生成部１１７は、ネットワークに接続されているカメラの識別情報を取得するための検出コマンドを生成し、通信制御部１１８を介してネットワーク１０４に出力する。そして、検出コマンドの応答として通信制御部１１８が受信した識別情報のうち、録画画像のカメラ情報に含まれるカメラ識別情報に対応する識別情報が存在するか判定する。判定の結果、対応する識別情報を有するカメラが存在する場合には、当該カメラを選択してステップＳ３１４に進む。

ネットワーク１０４に接続された装置の識別情報を取得する処理は、表示制御装置１０３がネットワーク１０４に接続された時に行うこととしてもよい。この場合、表示制御装置１０３の不図示の記憶部が識別情報の取得結果を保持する。そして、取得した識別情報に対応する装置との通信が継続されているか否かを、通信制御部１１８が定期的に判定する。ステップＳ３１２において、録画画像のカメラ識別情報に対応する識別情報を有する装置との通信が継続されている場合、当該カメラを選択してステップＳ３１４に進む。

ステップＳ３１４では、選択したカメラの撮像方向及び画角が、録画像データが撮像された時の撮像方向及び画角と一致するように、選択したカメラの撮像方向及び画角を変更させるコマンドを生成する。

一方、ネットワーク１０４に接続されたカメラの識別情報のうち、録画画像のカメラ情報に含まれるカメラ識別情報に対応する識別情報が存在しない場合、ステップＳ３１３の処理を行う。

ステップＳ３１３ではコマンド生成部１１７は、録画画像と同じ領域を撮像可能なカメラ１０１を選択する。すなわち、録画画像を撮像した第１のカメラ１０１と異なる識別情報を有する第２のカメラ１０１を選択し、第２のカメラ１０１からライブ画像を取得する。

コマンド生成部１１７は、ネットワーク１０４に接続された複数のカメラ１０１の設置位置と撮像可能範囲を予め保持する。そして、各カメラ１０１の設置位置及び撮像可能範囲に基づいて、録画画像の撮像領域と同じ領域を撮像可能なカメラ１０１を選択する。

録画画像と同じ領域を撮像可能なカメラ１０１を選択した場合、コマンド生成部１１７は、選択したカメラ１０１の撮像領域が録画画像の撮像領域に対応するように、選択したカメラ１０１の撮像方向及び画角を制御するコマンドを生成する（Ｓ３１４）。録画画像と同じ領域を撮像可能なカメラ１０１が存在しない場合、コマンド生成部１１７は処理を終了する。

このようにして、ネットワーク１０４に接続された複数のカメラ１０１のうちから、録画画像の撮像領域と対応する領域を撮像するカメラを選択して、録画像表示と共にライブ表示を実行することができる。

実施例４において図１１を用いて説明した処理は、実施例１と同様に、表示制御装置１０３の記憶部に記憶されたプログラムを、表示制御装置１０３の内部のプロセッサが実行することにより実現することとしてもよい。

１０１ カメラ
１０２ 録画装置
１０３ 表示制御装置
１０４ ネットワーク
１０７ 撮像部
１１５ 記録部
１１７ コマンド生成部
１１８ 通信制御部
１２０ 表示処理部

Claims (7)

1. 撮像手段が撮像する撮像画像を取得する第１の取得手段と、
   撮像画像を記録する記録手段から撮像画像を取得する第２の取得手段と、
   表示手段の表示画面における第１の表示領域に前記第１の取得手段が取得した撮像画像を表示させ、前記表示画面における第２の表示領域に前記第２の取得手段が取得した撮像画像を表示させる場合に、前記第２の取得手段が取得した撮像画像に対応する撮像領域を撮影するように前記撮像手段の撮像方向を向ける制御を行う制御手段と、
   前記制御手段によって制御された撮像方向において前記撮像手段が撮像する撮像画像を前記第１の表示領域に表示させ、前記第２の取得手段が取得した撮像画像を前記第２の表示領域に表示させる制御を行う表示制御手段と、
   前記撮像手段の撮像方向を変更するための制御権を表示制御装置が有するか否かを判定する判定手段と、
   前記第１の取得手段が取得した撮像画像の一部を切り出す切出手段と、を有し、
   前記制御権を前記表示制御装置が有さないと判定した場合、前記制御手段は、前記撮像手段の撮像方向を変更する制御を行わず、
   前記制御権を前記表示制御装置が有さないと判定した場合、前記切出手段は、前記第１の取得手段が取得した撮像画像から前記第２の取得手段が取得した撮像画像に対応する撮像領域の撮像画像を切出し、
   前記制御権を前記表示制御装置が有さないと判定した場合、前記表示制御手段は、前記切出手段が切り出した前記撮像画像を前記第１の表示領域に表示させ、前記第２の取得手段が取得した撮像画像を前記第２の表示領域に表示させる制御を行うことを特徴とする表示制御装置。
2. 前記第１の取得手段は、第１の撮像手段から撮像画像を取得し、
   前記第２の取得手段は、前記記録手段から前記第１の撮像手段が撮像した撮像画像を取得し、
   前記制御手段は、前記第１の表示領域に前記第１の取得手段が取得した撮像画像を表示させ、前記第２の表示領域に前記第２の取得手段が取得した撮像画像を表示させる場合に前記第２の取得手段が取得した撮像画像が撮像された撮像方向に対応する撮像方向に前記撮像手段の撮像方向を向ける制御を行うことを特徴とする請求項１に記載の表示制御装置。
3. 前記第２の取得手段が取得した撮像画像の一部を切り出す第１の切出手段と、
   前記第１の切出手段が切り出した撮像画像と撮像領域が対応する撮像画像を前記第１の取得手段が取得した撮像画像から切り出す第２の切出手段とを有し、
   前記第１の取得手段は、第１の撮像手段から撮像画像を取得し、
   前記第２の取得手段は、前記記録手段から前記第１の撮像手段が撮像した撮像画像を取得し、
   前記表示制御手段は、前記第１の切出し手段が切り出した撮像画像を前記第２の表示領域に表示させ、前記第２の切出手段が切り出した撮像画像を前記第１の表示領域に表示させる制御を行う
   ことを特徴とする請求項１に記載の表示制御装置。
4. 前記判定手段が前記制御権を前記表示制御装置が有さないと判定した場合であって、前記切出手段が前記第１の取得手段が取得した撮像画像から前記第２の取得手段が取得した撮像画像の一部に対応する撮像領域の撮像画像を切出した場合、前記表示制御手段は、前記切出手段が切り出した前記撮像画像と所定の画像とを前記第１の表示領域に表示させることを特徴とする請求項１に記載の表示制御装置。
5. 前記第１の取得手段は第１の撮像手段から撮像画像を取得し、
   前記第２の取得手段は、前記記録手段から前記第１の撮像手段と異なる第２の撮像手段が撮像した撮像画像を取得することを特徴とする請求項１に記載の表示制御装置。
6. 撮像手段が撮像する撮像画像を取得する第１の取得工程と、
   撮像画像を記録する記録手段から撮像画像を取得する第２の取得工程と、
   表示手段の表示画面における第１の表示領域に前記第１の取得工程によって取得した撮像画像を表示させ、前記表示画面における第２の表示領域に前記第２の取得工程によって取得した撮像画像を表示させる場合に、前記第２の取得工程によって取得した撮像画像に対応する撮像領域を撮影するように前記撮像手段の撮像方向を向ける制御を行う制御工程と、
   前記制御工程によって制御された撮像方向において前記撮像手段が撮像する撮像画像を前記第１の表示領域に表示させ、前記第２の取得工程によって取得した撮像画像を前記第２の表示領域に表示させる制御を行う表示制御工程と、
   前記撮像手段の撮像方向を変更するための制御権を表示制御装置が有するか否かを判定する判定工程と、
   前記第１の取得工程において取得した撮像画像の一部を切り出す切出工程と、を有し、
   前記制御権を前記表示制御装置が有さないと判定した場合、前記制御工程において、前記撮像手段の撮像方向を変更する制御を行わず、
   前記制御権を前記表示制御装置が有さないと判定した場合、前記切出工程において、前記第１の取得工程において取得した撮像画像から前記第２の取得工程において取得した撮像画像に対応する撮像領域の撮像画像を切出し、
   前記制御権を前記表示制御装置が有さないと判定した場合、前記表示制御工程において、前記切出工程において切り出した前記撮像画像を前記第１の表示領域に表示させ、前記第２の取得工程において取得した撮像画像を前記第２の表示領域に表示させる制御を行うことを特徴とする表示制御方法。
7. 請求項１〜６のいずれか１項に記載の表示制御装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images