JP3679620B2

JP3679620B2 - 撮像装置の遠隔制御装置、撮像システム、および撮像装置の遠隔制御方法

Info

Publication number: JP3679620B2
Application number: JP25001898A
Authority: JP
Inventors: 賢一郎田中; 洋岡崎
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-09-03
Filing date: 1998-09-03
Publication date: 2005-08-03
Anticipated expiration: 2018-09-03
Also published as: JP2000083245A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置からの映像信号を取込んでネットワークを介してクライアントに配送する撮像制御方法と装置および撮像システムと、前記方法を実行するプログラムを記憶した記憶媒体に関するものである。
【０００２】
【従来の技術】
インターネットなどのネットワークを介してビデオカメラを接続し、このビデオカメラにより撮像された映像や音声などのメディアデータを、そのネットワークを介して複数のクライアントに送信する映像伝送システムが開発されている。
【０００３】
また、キヤノン株式会社よりカメラＶＣ−Ｃ１、ＶＣ−Ｃ３等、コンピュータに接続して制御可能なカメラが登場している。以下、このようなカメラを「コムカメラ」と呼ぶ。
【０００４】
ネットワークにコムカメラを接続して、遠隔からパン、チルト、ズームを制御し、その映像をネットワークを介して伝送・ブラウズする遠隔モニタリングシステムが存在する。このシステムに関しては、特開平１０−４２２７９に示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のこのような伝送システムでは、遠隔地からカメラを操作するため、実際にカメラがどのような場所に置かれ、現在どの位置を向いているのか、把握しにくい。従って、自分が見たい映像を速やかにブラウズすることが難しいという問題があった。
【０００６】
本発明は上記問題点を鑑みてなされたものであり、遠隔地からより簡単にカメラ制御を行えるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、撮像条件を変更して撮像装置を制御する本発明の撮像装置の制御装置は、前記撮像装置の位置を示すアイコンを地図情報上に表示する表示手段と、前記地図情報上のアイコン以外の領域で外部入力装置により指示された一連の軌跡を含む撮影領域を求め、求めた撮影領域の中心位置と大きさに基づいて、前記撮像装置の画角を制御する為の制御値を算出する制御値算出手段とを有する。
【０００８】
また、撮像条件を変更して撮像装置を制御する本発明の撮像装置の制御方法は、前記撮像装置の位置を示すアイコンを地図情報上に表示する表示工程と、前記地図情報上のアイコン以外の領域で外部入力装置により指示された一連の軌跡を含む撮影領域を求め、求めた撮影領域の中心位置と大きさに基づいて、前記撮像装置の画角を制御する制御工程とを有する。
【０００９】
上記構成により、撮像装置の現在位置および撮影状態を分かりやすくカメラアイコンで表示し、また、見たい領域を直接マーキングすることで、その領域にあわせてカメラの向き、ズーム値を容易に制御することができる。
【００１０】
本発明の好適な一様態によれば、前記制御値算出手段は、前記撮像装置の向きを制御するための制御値を算出する。
【００１１】
また、本発明の好適な一様態によれば、一定時間毎に前記撮像装置のパラメータを取得する手段を更に有する。この構成により、前記撮像装置の最新の情報が表示される。
【００１２】
また、本発明の好適な一態様によれば、前記パラメータは、前記撮像装置の向きを含む。
【００１３】
また、本発明の好適な一態様によれば、前記パラメータは、前記撮像装置の画角を含む。
【００１４】
また、本発明の好適な一様態によれば、前記制御値算出手段は、指示された撮影領域に外接する矩形領域を求め、その矩形領域の地図情報上における頂点全てのＸ座標およびＹ座標を求め、該矩形領域の中心方向を前記撮像装置の向きとし、該矩形領域の頂点を全て含む最も狭い画角を制御値として算出する。
【００１５】
【発明の実施の形態】
図１は、本発明の実施の形態における撮像システムの構成を示すブロック図である。同図において、１０１は撮像装置であり、コムカメラを使用する。１０２はカメラサーバであり、パーソナルコンピュータをベースにして実現され、コムカメラ１０１に接続する。カメラサーバ１０２はカメラ制御サーバ１０３および映像サーバ１０４を含み、カメラ制御サーバによりコムカメラを制御する。また映像サーバ１０４は、コムカメラの映像をキャプチャする。このカメラサーバ１０２は、ネットワークに接続して使用することが可能であり、その場合、ネットワークを介して接続される外部コンピュータ等から、カメラ制御のためのパラメータを受信し、そのパラメータに基づいてカメラ制御サーバ１０３によりコムカメラ１０１を制御したり、また、映像サーバ１０４によりキャプチャした画像をネットワークを介して外部コンピュータに送信することができる。このカメラサーバ１０２のより詳しい説明は特開平１０−４２２７９に開示されている。
【００１６】
また、１０５はクライアントマシンであり、パーソナルコンピュータをベースにして実現される。クライアントマシン１０５において、１０６はＣＰＵ、１０７はＲＯＭ、１０８は通信インタフェース、１０９は入出力インタフェース、１１２はＲＡＭであり、ＲＡＭ１１２には本実施の形態を実現するためのプログラムおよび実行に必要なデータが格納される。具体的には、マップ制御部１１３および第１〜第Ｎカメラアイコン１１４−１〜１１４−Ｎのオブジェクトが記憶されている。また、１１０はディスプレイ、１１１はマウス、キーボードなどの操作部である。また、１１５は外部記憶装置であり、フロッピディスクやＣＤ−ＲＯＭといった外部記憶媒体を駆動するためのもので、予めＲＡＭ１１２に制御プログラムを保持する代わりに外部記憶媒体に記憶されている場合に、それを読み出してダウンロードする。
【００１７】
図２は本発明の実施の形態におけるＧＵＩ（グラフィカルユーザインターフェース）を示す図である。
【００１８】
上段はカメラビューワであり、カメラサーバ１０２から送信された映像を表示し、また、映像の右部および下部に配置されたスクロールバーを用いて、カメラの向き、パン、チルトなどを指示することができる。このカメラビューワに関しても特開平１０−４２２７９により詳しく説明されている。
【００１９】
下段にあるのが、マップガイド部とカメラアイコンであり、ＲＡＭ１１２に記憶されたマップ制御部および第１〜第Ｎカメラアイコン１１４−１〜１１４−Ｎに基づいて、表示が行われる。マップガイド部はユーザからのマウス入力を受け取って、カメラ制御を行うためのものである。カメラアイコンは現在のカメラの状態（パン、ズーム）を、マップガイド部の地図上にグラフィカルに表示するものである。
【００２０】
図３は、カメラアイコンが示す状態例を説明するための図である。図３では、カメラアイコンは現在の視野を扇形の領域で表示する。（ａ）はズームアウト時の状態を表し、（ｂ）はズームイン時の状態を表している。
【００２１】
図３（ａ）および（ｂ）に示すように、現在写している領域を扇形でグラフィカルに表示することで、現在カメラが何処を写しているのか、どの向きを向いているのか、といった情報を容易に把握することが可能となる。
【００２２】
なお、コムカメラは同時に複数のユーザからアクセスされることを想定しており、その場合、複数のユーザが同時にカメラ操作を試みると混乱が生じる。従って、制御権という概念を導入し、制御権を持つユーザのみがカメラを制御できるようになっている。
【００２３】
例えば、あるユーザがコムカメラの制御を希望する場合、カメラサーバに対して制御権を要求し、その時点で当該コムカメラの制御権を有するクライアントが存在しない場合には、制御権を要求したユーザに対して制御権が与えられる。制御権は一定時間与えられ、制御権を有している間は、当該コムカメラを制御することができる。また、制御権を要求した時に、他のクライアントが当該コムカメラの制御権を有している場合、そのクライアントの制御権が切れた後に制御権が与えられる。なお、制御権が与えられる時間、クライアントの優先順位などは様々に設定することが可能である。制御権の詳しい説明についても、特開平１０−４２２７９に開示されている。
【００２４】
また、本発明では、制御権の有無を視覚的にあらわすため、制御権を保持しているときは、そのカメラアイコンの周囲を黄色等、目立つ色の枠で囲むように示されている。図３（ｃ）は制御権を保持していない時の状態を表し、（ｄ）は制御権を保持している時の状態を表している。なお、制御権保持を示す方法はカメラアイコンの周囲を色枠で囲むことに限るものでは無く、例えば、制御権を保持していない場合には点線でカメラアイコンを表示し、保持している場合には実線で表示を行ったり、カメラアイコン自体の色を変更するなど、カメラ制御権の有無をユーザに示すことができればよい。
【００２５】
次に、図４を用いてカメラアイコンの表示手順について説明する。
【００２６】
まず、ステップＳ４０１において初期設定を行う。ここでは、アイコンイメージの作成、各種変数の初期化等を行う。次に、ステップＳ４０２において、カメラ制御サーバ１０３へ接続し、ステップＳ４０３へ進む。
【００２７】
ステップＳ４０３において、カメラ制御サーバ１０３への接続が切断したか否かを調べる。切断した場合、ステップＳ４０４へ進み、処理を終了する。切断されていない場合はステップＳ４０５へ進み、カメラ制御サーバ１０３に現在のコムカメラのパン値、ズーム値を問い合わせ、ステップＳ４０６において、取得したパン値およびズーム値に応じてカメラアイコンを回転させて、図２に示すマップガイド部の地図上に表示する。
【００２８】
続いて、図５を用いてマップ制御部１１３の動作について説明する。
【００２９】
まずステップＳ５０１において、初期設定を行う。ここでは、地図イメージの作成、各種編集機能の初期化等を行う。次にステップＳ５０２において、カメラサーバ１０２へ接続し、ステップＳ５０３において、カメラアイコンを作成する。作成されたカメラアイコンは図４のフローチャートに従って、マップガイド部の地図上に表示される。
【００３０】
ステップＳ５０４において、ユーザからのマウス押下イベントの有無を調べる。イベントがあった場合はステップＳ５０５へ、無かった場合はステップＳ５０８へ進む。
【００３１】
ステップＳ５０５において、ユーザからのマウス押下イベントがカメラアイコンの上で起きたものか否か調べる。カメラアイコン上のマウス押下イベントであった場合（ステップＳ５０５でＹｅｓ）、ステップＳ５０６へ進み、カメラ制御サーバ１０３に対し制御権を要求する。カメラアイコン以外の領域へのマウス押下イベントであった場合（ステップＳ５０５でＮｏ）、ステップＳ５０７へ進み、後述のマウス軌跡保存用ベクトルを初期化する。
【００３２】
ステップＳ５０８では、ユーザからのマウスドラッグイベントの有無を調べる。イベントがあった場合、ステップＳ５０９で、一定時間毎にマウスポインタ位置の座標をマウス軌跡保存用ベクトルとして記憶し、ステップＳ５１５でマウスポインタの示す軌跡をマップガイド部の地図上に表示する。この軌跡の表示例は、後で図７を参照して説明する。また、ドラッグイベントが無かった場合、ステップＳ５１０へ進む。
【００３３】
ステップＳ５１０において、ユーザからのマウスリリースイベント（マウスを押していた状態から離した状態にするイベント）の有無を調べる。イベントが無ければ、ステップＳ５１５へ進み、イベントがあった場合はステップＳ５１１へ進む。ステップＳ５１１では、クライアントマシンが制御権を有しているか否かを判断し、無い場合にはステップＳ５１５へ進む。
【００３４】
制御権を有している場合には、ステップＳ５１２において、マウス軌跡保存用ベクトルとして保持されたデータから、Ｘ軸、Ｙ軸のそれぞれについて、最小値、最大値、中央値を求める。これらの値を求めることで、マウスの軌跡を含む最小の大きさの矩形領域を求めることができる。
【００３５】
ステップＳ５１３において、ステップＳ５１２で求めた矩形領域とカメラアイコンの座標を比較し、カメラのパン、ズーム値を求める。
【００３６】
上記ステップＳ５１２とＳ５１３の手順の一例について図６を参照して具体的に説明する。
【００３７】
まず、カメラアイコンの座標と、矩形領域の左上角の座標の差分から、視野角の左限界θ１を求め、カメラアイコンの座標と、矩形領域の右下角の座標の差分から、視野角の右限界θ２を求める。更に、カメラアイコンの座標と、矩形領域の中心座標の差分から、カメラの向き（中心角度）θ３を求める。
【００３８】
上記の手順は、ＣＰＵ１０６によりＲＡＭ１１２に記憶されたプログラムを実行することで実現することができる。
【００３９】
ステップＳ５１４において、上記のようにしてステップＳ５１３で求めた値に基づいて、カメラを操作する。つまり、カメラの向きをθ３度回転させ、その視野角（ズーム）を（θ１−θ２）にするように、カメラ制御サーバ１０３へ要求する。その後、マウス軌跡保存用ベクトルをすべてクリアし、ステップＳ５１５へ進む。
【００４０】
ステップＳ５１５において、背景地図、カメラアイコン、マウスの軌跡（マウス軌跡保存用ベクトルが空でない場合、つまり、ステップＳ５０９，５１０からステップＳ５１５に処理が進んだ場合）の順に再描画する。
【００４１】
ステップＳ５１６において、カメラ制御サーバ１０３との接続が切断したか否かを調べる。切断した場合は、ステップＳ５１７へ進み、処理を終了する。切断していない場合はステップＳ５０４へ戻り、ステップＳ５０４からステップＳ５１６を繰り返す。
【００４２】
このように動作することで、コムカメラの状態をカメラアイコンでリアルタイムに表示することが可能となる。
【００４３】
図６では説明を簡略化するため、カメラアイコンが右を向いている状況を例として取り上げたが、実際にカメラが設置される向きは多様であるため、角度の計算はカメラの向きを考慮して行う必要がある。
【００４４】
次に、図４および５のフローチャートに従って制御された場合に、マップガイド部に表示される画像の例を図７を参照して説明する。
【００４５】
カメラアイコンが図７（ａ）の左図の状態にあり、マウスで「ロビー」の右上の領域を図示のようにマーキングすると、右図に示すように、マーキングされた領域を写すように、コムカメラのパン、ズームが制御され、制御後のパン、ズームの状態がマップガイド部に表示される。
【００４６】
カメラアイコンが図７（ｂ）の左上図または左下図の状態にあり、撮影範囲を狭めたい場合、即ち、ズームインしたい場合、見たい領域を狭く限定するようにマーキングすると、右図に示すように、指定された領域を写すようにコムカメラはズームインし、ズームイン後の状態がマップガイド部に表示される。
【００４７】
カメラアイコンが図７（ｃ）の左上図または左下図の状態にあり、撮影範囲を広げたい場合、即ち、ズームアウトしたい場合、見たい領域を広くするようにマーキングすると、右図に示すように、指定された領域を写すようにコムカメラはズームアウトし、ズームアウト後の状態がマップガイド部に表示される。
【００４８】
なお、上記実施の形態においては、マウスの動作により撮影範囲などを指定する場合を説明したが、本発明はこれに限るものではなく、例えばタッチセンサをディスプレイ上に設けるなど、上記指定ができるものであれば、どのような形態を取っても構わない。
【００４９】
【他の実施形態】
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５０】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５１】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５２】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５３】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図８のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。
すなわち、少なくとも地図表示モジュール、パラメータ取得モジュール、カメラアイコン描画ジュール、撮影領域入力モジュールおよび撮像装置制御モジュールの各モジュールのプログラムコードを記憶媒体に格納すればよい。
【００５５】
【発明の効果】
以上説明したように、上記構成によれば、コムカメラの現在位置および撮影状態を分かりやすくカメラアイコンで表示することができ、また、見たい領域を直接マーキングすることで、その領域にあわせてカメラの向き、ズーム値を容易に制御することが可能となる。
【００５６】
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる撮像システムの構成を表すブロック図である。
【図２】本発明のユーザインタフェースを説明する図である。
【図３】カメラアイコンが示す状態を説明する図である。
【図４】カメラアイコンの表示手順を示すフローチャートである。
【図５】マップ制御部の動作を説明するフローチャートである。
【図６】パン、ズーム値を求める手順を説明する図である。
【図７】撮影領域の指定と、指定後の表示例を示す図である。
【図８】本発明の撮像装置の遠隔制御に用いられるプログラムコードのメモリマップ図である。
【符号の説明】
１０１撮像装置
１０２カメラサーバ
１０３カメラ制御サーバ
１０４映像サーバ
１０５クライアントマシン
１０６ＣＰＵ
１０７ＲＯＭ
１０８通信インタフェース
１０９入出力インタフェース
１１０ディスプレイ
１１１操作部
１１２ＲＡＭ
１１３マップ制御部
１１４−１〜１１４−Ｎカメラアイコン
１１５外部記憶装置

Claims

撮像条件を変更して撮像装置を制御する撮像装置の制御装置であって、
前記撮像装置の位置を示すアイコンを地図情報上に表示する表示手段と、
前記地図情報上のアイコン以外の領域で外部入力装置により指示された一連の軌跡を含む撮影領域を求め、求めた撮影領域の中心位置と大きさに基づいて、前記撮像装置の画角を制御する為の制御値を算出する制御値算出手段とを有することを特徴とする撮像装置の制御装置。
前記制御値算出手段は、更に、前記撮像装置の向きを制御するための制御値を算出することを特徴とする請求項１に記載の撮像装置の制御装置。
一定時間毎に前記撮像装置のパラメータを取得する手段を更に有することを特徴とする請求項１又は２に記載の撮像装置の制御装置。
前記パラメータは、前記撮像装置の向きを含むことを特徴とする請求項３に記載の撮像装置の制御装置。
前記パラメータは、前記撮像装置の画角を含むことを特徴とする請求項３又は４に記載の撮像装置の制御装置。
前記制御値算出手段は、指示された撮影領域に外接する矩形領域を求め、その矩形領域の地図情報上における頂点全てのＸ座標およびＹ座標を求め、該矩形領域の中心方向を前記撮像装置の向きとし、該矩形領域の頂点を全て含む最も狭い画角を制御値として算出することを特徴とする請求項２乃至５のいずれかに記載の撮像装置の制御装置。
撮像条件を変更して撮像装置を制御する撮像装置の制御方法であって、
前記撮像装置の位置を示すアイコンを地図情報上に表示する表示工程と、
前記地図情報上のアイコン以外の領域で外部入力装置により指示された一連の軌跡を含む撮影領域を求め、求めた撮影領域の中心位置と大きさに基づいて、前記撮像装置の画角を制御する制御工程とを有することを特徴とする撮像装置の制御方法。
前記制御工程では、更に、前記撮像装置の向きを制御することを特徴とする請求項７に記載の撮像装置の制御方法。
一定時間毎に前記撮像装置のパラメータを取得する工程を更に有することを特徴とする請求項７または８に記載の撮像装置の制御方法。
前記パラメータは、前記撮像装置の向きを含むことを特徴とする請求項９に記載の撮像装置の制御方法。
前記パラメータは、前記撮像装置の画角を含むことを特徴とする請求項１０に記載の撮像装置の制御方法。
指示された撮影領域に基づいて、前記撮像装置を制御する為の制御値を算出し、該制御値を出力する制御値算出工程を更に有し、前記制御値算出工程では、指示された撮影領域に外接する矩形領域を求め、その矩形領域の地図情報上における頂点全てのＸ座標およびＹ座標を求め、該矩形領域の中心方向を前記撮像装置の向きとし、該矩形領域の頂点を全て含む最も狭い画角を制御値として算出することを特徴とする請求項７乃至１１のいずれかに記載の撮像装置の制御方法。
撮像条件を変更して撮像装置を制御するためのプログラムコードが格納されたコンピュータ可読メモリであって、
地図情報を表示する地図表示工程のコードと、
前記撮像装置の位置を示すアイコンを、前記地図表示工程で表示された前記地図情報上に表示する状態表示工程のコードと、
前記地図情報上のアイコン以外の領域で外部入力装置により指示された一連の軌跡を含む撮影領域を求め、求めた撮影領域の中心位置と大きさに基づいて、前記撮像装置を制御する制御工程のコードとを有することを特徴とするコンピュータ可読メモリ。