JP5264274B2 - 通信装置、カメラシステム、制御方法およびプログラム - Google Patents

Description

本発明は複数のカメラを用いた通信装置等に関する。

インターネットの普及に伴い、遠隔地の映像をインターネットを経由して見ることを可能にしたネットワークカメラの利用が普及し始めており、遠隔地の映像を複数の利用者が同時に見ることが可能となっている。パン（横方向）回転、チルト（縦方向）回転、ズーム（望遠）といった機能を有するネットワークカメラは、遠隔操作で撮影条件や撮影姿勢を制御して撮影可能である。また、複数のネットワークカメラの映像をグループ化し、同時に表示することができる（例えば、特許文献１参照）。

特開平９−２１２３２３号公報

しかしながら、カメラの台数が増えれば増えるほど、所望の映像を撮影しているカメラを選択することが困難になる。さらに、多数のカメラが自動制御もしくは手動制御されている場合、所望の範囲を所望の位置から撮影している映像を選択することは極めて難しいという問題がある。
本発明の上述したような問題点に鑑みてなされたものであり、ユーザが見たい範囲とその範囲を撮影する方角を指定し、条件を満たすカメラ画像を表示することで、複数あるカメラ映像からユーザが所望するカメラ映像を視聴することを目的とする。

本発明の通信装置は、ネットワークに接続された複数のカメラのうち所定のカメラによる撮像画像を表示する表示手段と、前記表示手段に表示された前記撮像画像上で指定された範囲に対応する範囲情報を取得する取得手段と、前記取得した範囲情報に応じた撮像範囲を撮像中のカメラを前記複数のカメラの中から特定する特定手段と、前記特定されたカメラによる撮像映像を出力する出力手段とを有することを特徴とする。

本発明によれば、複数のカメラが撮影している範囲の地図上で、ユーザが見たい範囲とその範囲を撮影する方角を指定し、条件を満たすカメラ画像を表示することで、複数あるカメラ映像からユーザ所望のカメラ映像を得ることができる。

以下、図面を参照して、本発明の実施形態について詳細に説明する。
（第１の実施形態）
図１は、第１の実施形態に係るシステムの全体の概略構成を示すブロック図である。
１０は、映像データ及びカメラ制御情報（ステータス情報も含む）をディジタル伝送するディジタル・ネットワークであり、ｎ台の映像送信端末１２（１２−１〜１２−ｎ）が接続されている。
各映像送信端末１２（１２−１〜１２−ｎ）には、カメラ制御装置１４（１４−１〜１４−ｎ）を介してビデオカメラ（以下、カメラという）１６（１６−１〜１６−ｎ）が接続されている。
カメラ制御装置（１４−１〜１４−ｎ）は、映像送信端末１２から制御信号に従い、接続するカメラ１６（１６−１〜１６−ｎ）のパン、チルト、ズーム、フォーカス及び絞り等を制御する。

また、ネットワーク１０には、映像送信端末１２（１２−１〜１２−ｎ）からネットワーク１０に送信された映像を含むカメラ情報を受信し、カメラ情報を管理してネットワーク１０にカメラ情報を送信する管理サーバ１１が接続されている。
また、ネットワーク１０には、管理サーバ１１からネットワーク１０に送信されたカメラ情報を受信し、表示する映像受信端末１８（１８−１〜１８−ｍ）が接続されている。
さらに、ネットワーク１０には、各映像要求端末１９（１９−１〜１９−ｍ）が接続されている。各映像受信端末１８（１８−１〜１８−ｍ）と各映像要求端末１９（１９−１〜１９−ｎ）とには、モニタ・ディスプレイ（以下、モニタという）２０（２０−１〜２０−ｍ）が接続されている。以下では、映像受信端末１８と映像要求端末１９とを合わせて監視端末という。

映像送信端末１２は、接続するカメラ１６の出力映像をＨ．２６１等所定の圧縮方式で圧縮し、ネットワーク１０を介して、管理サーバ１１に送信する。
映像を受信した管理サーバ１１は１又は１以上の映像を管理し、映像要求端末１９からの映像要求により、必要な映像を映像受信端末１８に送信する。
映像を受信した映像受信端末１８は、受信した映像をモニタ２０の映像表示領域に表示する。
なお、映像送信端末１２にモニタを設け、圧縮映像を伸張する映像伸張装置を設けることで、映像受信端末とすることができる。また、同様に、映像受信端末１８にカメラ制御装置１４及びカメラ１６を接続し、映像圧縮装置を設けることで、映像送信端末とすることができる。また、映像送信又は映像受信に必要なソフトウェアを装備する必要があることは言うまでもない。

図２は、映像送信端末１２の概略構成を示すブロック図である。
２２は、全体を制御するＣＰＵである。２４は、主記憶装置である。２６は、フロッピー（登録商標）ディスク又はＣＤ−ＲＯＭ等の取り外し可能な外部記憶装置である。２８は、ハードディスク等の２次記憶装置である。３０は、ポインティングデバイスとしてのマウスである。３２は、キーボードである。

また、３４は、カメラ制御装置１４を接続し、カメラ制御信号を送受信するＩ／Ｏボードである。３６は、カメラ１６のビデオ出力信号を取り込むビデオキャプチャ装置である。本実施形態のビデオキャプチャ装置３６は、アナログビデオ信号をディジタル信号に変換するＡ／Ｄ変換機能と情報圧縮する映像圧縮機能とを具備する。
３８は、映像情報をモニタ４０の画面上に表示するビデオボードである。４２は、ネットワークインタフェースである。４４は、映像送信端末１２の各構成要素を相互に接続するシステムバスである。
なお、映像送信端末１２を映像送信専用にする場合、図３に示すように、カメラ制御装置１４、カメラ１６及び映像送信機能を一体化にしたネットワークカメラ１３にする。以上の構成で、映像送信端末１２は、ネットワークを経由して管理サーバ１１に映像とカメラ１６の状態とを送信する。

図４は、映像受信端末１８及び映像要求端末１９を合わせた監視端末の概略構成を示すブロック図である。
１２２は、全体を制御するＣＰＵである。１２４は、主記憶装置である。１２６は、フロッピーディスク又はＣＤ−ＲＯＭ等の取り外し可能な外部記憶装置である。１２８は、ハードディスク等の２次記憶装置である。１３０は、ポインティングデバイスとしてのマウスである。１３２は、キーボードである。

また、１３８は、映像情報をモニタ１４０の画面上に表示するビデオボードである。ビデオボードは、地図表示手段の一例に対応する。
１４２は、ネットワークインタフェースである。１４４は、圧縮映像情報を伸張する圧縮デコーダである。１４６は、監視端末の各構成要素を相互に接続するシステムバスである。
なお、監視端末１８、１９は、カメラを制御しカメラ映像を取り込む機能がないことと、圧縮映像を伸張する圧縮デコーダ１４４を具備することと、システム・ソフトウェアの相違とを除き、図２に示す映像送信端末１２の構成と同じである。

図５は、管理サーバ１１の概略構成を示すブロック図である。
２２２は、全体を制御するＣＰＵである。２２４は、主記憶装置である。２２８は、ハードディスク等の二次記憶装置である。２４６は、管理サーバ１１の各構成要素を相互に接続するシステムバスである。
管理サーバ１１は、映像送信端末１２から送信されるカメラ１６（１６−１〜１６−ｎ）の状態を保持し、映像要求端末１９からの要求を満たす１つ以上のカメラの圧縮された映像を所定の形式で映像受信端末１８に送信する。
映像受信端末１８は、映像送信端末１２から送信される１つ以上の映像データを受信して、モニタ画面に同時に並べて表示する。

図６は、本実施形態に係るソフトウェアの構成を示す図である。
まず、監視端末１８、１９には管理サーバ１１からの圧縮映像データを伸長し、モニタ画面に表示する映像受信ソフトウェア５０がインストールされている。また、監視端末１８、１９には、管理サーバ１１が管理する地図情報や各カメラの情報を表示するマップ表示ソフトウェア５２がインストールされている。また、監視端末１８、１９には、表示されたマップ上で被撮影範囲指定と被撮影方角指定とを行い、ユーザの所望の映像を要求する映像要求ソフトウェア５４がインストールされている。

映像送信端末１２には、カメラ１６の圧縮された出力映像とカメラ１６の状態情報とを、所定形式でネットワーク１０を介して管理サーバ１１に送信する映像送信ソフトウェア５６がインストールされている。
管理サーバ１１には映像送信端末１２から送信されるカメラ１６の圧縮された出力映像とカメラ１６の現状の状態情報とをネットワーク１０を介して、所定の形式で受信する映像受信ソフトウェア５８がインストールされている。また、管理サーバ１１には、カメラ１６の予め決められた位置情報と地図情報とを管理するマップ管理ソフトウェア６０がインストールされている。また、管理サーバ１１には、映像要求端末１９からの要求を満たすカメラを、地図情報とカメラ１６の現状の状態情報とから選択するカメラ選択ソフトウェア６２がインストールされている。

また、管理サーバ１１には、選択されたカメラ１６の圧縮された出力映像を所定の形式でネットワーク１０を介して要求元に送信する映像送信ソフトウェア６４がインストールされている。なお、映像受信ソフトウェア５８は、ネットワーク１０に接続された全ての映像送信端末１２に接続するカメラ１６の情報を管理するソフトウェアでもある。各カメラ１６の固定情報及び種々の変動情報（例えば、カメラ名、カメラ１６が接続されているコンピュータのホスト名、パン／チルト及びズームなどのカメラ状態、制御可能か否か、カメラの位置を示す座標、カメラが撮影している範囲等）を保有する。これらの情報はマップ管理ソフトウェア６０及びカメラ選択ソフトウェア６２にも供給され、カメラ・シンボルの表示変更や、条件を満たすカメラの選択等に利用される。

図７は、映像受信端末１８のモニタ画面の表示内容の一例を示す図である。７０は、スタジアムの地図及びスタジアムに配置されるカメラ１６を示す。また、７６は複数の映像表示領域を具備する映像表示ウィンドウである。
ユーザは、地図７０上で見たい範囲を被撮影範囲として指定し、更にその範囲がどの方角から撮影されるかを被撮影方角として指定する。具体的な指定方法は後述する。地図７０において、個々のカメラ１６の配置場所は白丸７２で示され、それらがカメラの設置場所に相当する位置となる。また、映像表示領域７６に映像が表示されているカメラは識別可能に黒丸７４で示される。

本実施形態では、地図７０上で被撮影範囲と被撮影方角とをマウスで指定し、その範囲を所望の方角から撮影するカメラを自動的に選択し、その映像を表示する。映像表示領域７６は４個の映像を表示しているが、これに限定されることはなく、例えば、受信した全ての映像を表示することも可能である。

図８に、地図７０上で被撮影範囲と被撮影方角とをマウスで指定する際のＧＵＩ表示の一例を示す図である。地図７０上をマウスでドラッグして被撮影範囲８０を指定し、その後、方角を示すアイコンを、マウスのシングルクリックで選択することで被撮影方角８２を指定する。

図９は、マップ表示ソフトウェア５２と映像要求ソフトウェア５４の処理を示すフローチャートである。以下は、監視端末１８、１９のＣＰＵ１２２が処理を行う。
まず、ステップＳ９１において、マウスがドラッグされたか否かを検知する。
ステップＳ９２において、それが地図７０上で行われたのかどうか判定する。地図７０上以外であれば、通常の処理と同様であるため、ここでは説明を省略する。地図７０上であった場合、ステップＳ９３に進み、選択範囲の周り８方向に方角を示すアイコンを表示する。
次に、テップＳ９４において、マウスがシングルクリックされたか否かを検知する。
ステップＳ９５において、シングルクリックが方角を示すアイコン上で行われたのか否かを判定する。
ステップＳ９６において、選択された範囲の座標情報と方角情報とを、ネットワーク１０を介して管理サーバ１１に映像要求として送信する。

次に、映像要求を受け取った管理サーバの動作処理について説明する。
図１０は、管理サーバ１１が保持するカメラ状態データベースである。カメラ状態データベースは、カメラＩＤ、設置位置、カメラパラメータ及び撮影範囲１０２等の情報を有している。撮影範囲１０２は、カメラ１６が撮影している範囲を４点の座標で示している。この４点の座標は、映像送信端末１２から送信されるカメラ１６の出力映像、カメラ１６の位置情報、カメラパラメータ及び地図情報より、管理サーバ１１が算出する。

図１１は、管理サーバ１１が映像要求端末１９からの映像要求とカメラ状態データベースとからカメラを選択する処理を示すフローチャートである。以下では、管理サーバ１１のＣＰＵ２２２が処理を行う。
まず、ステップＳ１０１において、映像要求端末１９から送信された座標情報と方角情報とを受信する。
次に、ステップＳ１０２において、チェックされていないカメラを１台選択して、次のステップＳ１０３に処理を進める。
ステップＳ１０３において、受信した４点の座標が示す被撮影範囲が、ステップＳ１０２で選択したカメラの撮影範囲に全て含まれるか否かを、カメラ状態データベースの撮影範囲１０２を参照して判定する。含まれる場合はステップＳ１０４に進み、含まれない場合はステップＳ１０６に進む。

ステップＳ１０４では、受信した方角情報から、ステップＳ１０２で選択したカメラがその方角に存在するか否かを判定する。存在するか否かを判定するために必要なカメラ検索範囲の生成は、後述する。存在する場合はステップＳ１０５に進み、存在しない場合はステップＳ１０６に進む。
ステップＳ１０５では、ステップＳ１０２で選択されたカメラを送信カメラリストに追加してステップＳ１０６に進む。
ステップＳ１０６では、チェックされていないカメラが存在するかどうか判定し、存在するならステップＳ１０２に戻り、存在しないならステップＳ１０７に進む。
ステップ１０７では、送信カメラリストの全ての圧縮された映像と状態情報とを要求のあった監視端末の映像受信端末１８に送信する。

本実施形態では、ステップＳ１０３において、ユーザが選択した被撮影範囲がカメラの撮影範囲に全て含まれることを条件としたが、例えば被撮影範囲の一部が含まれているという条件や被撮影範囲が含まれる割合を条件にすることも可能である。また、カメラ状態情報データベースに、制御可能か否か、制御待ち人数及び映像閲覧者数等の情報を付加し、それらを参照する条件を加えて、カメラを選択することも可能である。

図１２は、受信した方角情報から生成されるカメラ位置検索範囲の一例を示す図である。上下左右の方角が指定された場合は、被撮影範囲の中心から指定方角の１８０度がカメラ位置検索範囲１２１となる。また、右上、右下、左上、左下の方角が指定された場合は、被撮影範囲の対角線を基準に指定方角の１８０度がカメラ検索範囲１２３となる。

管理サーバ１１から送信される圧縮された映像を受信した映像受信端末１８は、受け取ったデータを伸長し、モニタの表示領域に表示する。また、映像受信端末１８は、管理サーバ１１から送信されるカメラの状態情報より、地図７０上の映像を撮影しているカメラアイコンを黒丸で表示する。
このように、本実施形態によれば、ユーザが地図上で見たい範囲とその範囲が撮影される方角とを指定することにより、指定した範囲を撮影している全てのカメラの映像をモニタに表示させることができる。

（第２の実施形態）
第１の実施形態では、管理サーバ１１のマップ管理ソフトウェア６０が予め決められた範囲の地図を管理し、映像受信端末１８のマップ表示ソフトウェア５２がカメラ情報と地図情報とを元に地図を表示していた。
第２の実施形態では、この予め決められた範囲の地図の代わりに、ある固定されたカメラの映像を用いるものである。
例えば、ユーザが見たい場所が頻繁に変わる場合、固定されたカメラの映像を用いることにより、対象とする地図全体の状態を俯瞰することができるため、ユーザが見たい被撮影範囲と被撮影角度との指定が容易になる。

（第３の実施形態）
第１の実施形態では、ユーザが被撮影角度を指定する際に、８方向の方角アイコンを選択して角度１８０度の範囲をカメラ位置検索範囲としていた。
第３の実施形態では、任意の方角と角度とを指定するものである。
図１３は任意の角度と方角とを指定する際に、地図上に表示されるインタフェースの一例を示す図である。１３０はカメラ位置検索範囲を示し、既に選択された被撮影範囲の重心（対角線の交点）を中心とした弦が境界線となる。境界線上でマウスをドラッグし、任意の方角と角度を指定する。方角が決定したら決定アイコン１３２をマウスでシングルクリックする。

図１４は、任意の角度と方向を決定するときのマップ表示ソフトウェア５２と映像要求ソフトウェア５４の処理を示すフローチャートである。
図１４に示すフローチャートの処理は、図９に示すフローチャートにおいて、ステップＳ９５とステップＳ９６との間に挿入されるものである。ステップＳ９５で、方角アイコンかどうか判定し、ステップＳ１４１に進む。
ステップＳ１４１において、境界線及びカメラ位置検索範囲を表示する。
ステップＳ１４２において、マウスがシングルクリックされたかどうか判定し、シングルクリックであった場合はステップＳ１４５へ進み、シングルクリックでない場合はステップＳ１４３へ進む。

ステップＳ１４３ではマウスがドラッグされたかどうか判定し、ドラッグされた場合はステップＳ１４４へ進み、ドラッグされていない場合はステップＳ１４２へ戻る。
ステップＳ１４４では、ドラッグが境界線上であるか判定し、境界線上である場合はステップＳ１４１へ戻り、境界線とカメラ位置検索範囲とを更新し、境界線上でない場合はステップＳ１４２へ戻る。
ステップＳ１４５では、マウスのシングルクリックが決定アイコン１３２上であるかを判定し、決定アイコン１３２上であればステップＳ９６へ進み、決定アイコン１３２上でなければステップＳ１４２へ戻る。
上述のように、図１３に示すインタフェースと図１４に示すフローチャートの処理により、任意の方角を指定することが可能になる。

（第４の実施形態）
第１の実施形態及び第３の実施形態では、ユーザが被撮影範囲と被撮影角度とを指定するときのポインティングデバイスとして、マウスを用いる場合について説明した。
第４の実施形態では、マウスの代わりに十字キーボタンと複数のボタンとが設けられたポインティングデバイスを用いる。
図１５は、本実施形態に係るポインティングデバイスの一例を示す図である。ポインティングデバイスは、十字キー１５０、Ｘボタン１５２及びＹボタン１５４が設けられている。

例えば、被撮影範囲の指定にはＸボタン１５２を押しながら十字キーを押す操作を割り当て、被撮影方角の指定には十字キーを押す操作を割り当てる。また、右上、右下、左上及び左下を指定する場合、十字キーの二つ方向を同時に押すことにより行う。また、第３の実施形態で上述したように、任意の方角を指定する場合、カメラ位置検索範囲の境界線上でＹボタン１５４を押しながら十字キーを押す操作を割り当てる。このような操作により、十字キーボタンと複数のボタンとが設けられたポインティングデバイスを用いて、被撮影範囲と被撮影角度とを指定することが可能になる。
なお、本実施形態では、十字キーボタンと２つのボタンとを有するポインティングデバイスを用いたが、これに限定されず、十字キーの操作は、スティック状のものやトラックボール等であってもよい。

上述した本発明の実施形態における通信装置を構成する各手段、並びに通信方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明に係るシステムの全体の概略構成を示すブロック図である。 映像送信端末の概略構成を示すブロック図である。 ネットワークカメラの概略構成を示すブロック図である。 監視端末の概略構成を示すブロック図である。 管理サーバの概略構成を示すブロック図である。 本実施形態に係るソフトウェアの構成を示す図である。 映像受信端末のモニタ画面の表示内容の一例を示す図である。 地図上で被撮影範囲と被撮影方角とをマウスで指定する際のＧＵＩ表示の一例を示す図である。 範囲と方角とを決定するときのマップ表示ソフトウェアと映像要求ソフトウェアとの処理を示すフローチャートである。 管理サーバが保持するカメラ状態データベースを示す図である。 管理サーバがカメラを選択する処理を示すフローチャートである。 カメラ位置検索範囲の一例を示す図である。 任意の角度と方角とを指定する際の地図上に表示するインタフェースの一例を示す図である。 任意の角度と方角とを決定するときのマップ表示ソフトウェアと映像要求ソフトウェアとの処理を示すフローチャートである。 ポインティングデバイスの一例を示す図である。

符号の説明

１０ ネットワーク
１２ 映像送信端末
１４ カメラ制御部
１６ ビデオカメラ
１８ 映像受信端末
１９ 映像要求端末
２０ 表示モニタ
２２ ＣＰＵ

Claims (6)

1. ネットワークに接続された複数のカメラのうち所定のカメラによる撮像画像を表示する表示手段と、
   前記表示手段に表示された前記撮像画像上で指定された範囲に対応する範囲情報を取得する取得手段と、
   前記取得した範囲情報に応じた撮像範囲を撮像中のカメラを前記複数のカメラの中から特定する特定手段と、
   前記特定されたカメラによる撮像映像を出力する出力手段とを有することを特徴とする通信装置。
2. 前記範囲情報には、撮像方向に関する情報が含まれ、
   前記特定手段は、前記範囲情報に応じた撮像範囲を前記範囲情報に応じた撮像方向から撮像中のカメラを、前記複数のカメラの中から特定することを特徴とする請求項１に記載の通信装置。
3. 前記複数のカメラのそれぞれの撮像範囲を座標値で記憶する記憶手段を有し、
   前記特定手段は、前記取得した範囲情報に応じた撮像範囲を、前記記憶手段に記憶されている撮像範囲に含むカメラを、前記範囲情報に応じた撮像範囲を撮像中のカメラとして特定することを特徴とする請求項１又は２に記載の通信装置。
4. ネットワークに接続された複数のカメラのうち所定のカメラによる撮影画像を表示する表示手段と、
   前記表示手段に表示された前記撮像画像上で指定された範囲に対応する範囲情報を取得する取得手段と、
   前記取得した範囲情報に応じた撮像範囲を撮像中のカメラを前記複数のカメラの中から特定する特定手段と、
   前記特定されたカメラによる撮像映像を出力する出力手段とを有することを特徴とするカメラシステム。
5. 通信装置の制御方法であって、
   ネットワークに接続された複数のカメラのうち所定のカメラによる撮像画像を表示する表示ステップと、
   表示された前記撮像画像上で指定された範囲に対応する範囲情報を取得する取得ステップと、
   前記取得した範囲情報に対応する範囲を撮像中のカメラを前記複数のカメラの中から特定する特定ステップと、
   前記特定されたカメラによる撮像映像を出力する出力ステップとを有することを特徴とする制御方法。
6. コンピュータに、
   ネットワークに接続された複数のカメラのうち所定のカメラによる撮像画像を表示する表示手順と、
   表示された前記撮像画像上で指定された範囲に対応する範囲情報を取得する取得手順と、
   前記取得した範囲情報に対応する範囲を撮像中のカメラを前記複数のカメラの中から特定する特定手順と、
   前記特定されたカメラによる撮像映像を出力する出力手順とを実行させることを特徴とするプログラム。

Images