JP4131340B2

JP4131340B2 - 制御装置、制御方法、および受信装置

Info

Publication number: JP4131340B2
Application number: JP18651797A
Authority: JP
Inventors: 研玉山; 忠房富高; 正和小柳; 利幸飯島; 直泰細沼
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-11
Filing date: 1997-07-11
Publication date: 2008-08-13
Anticipated expiration: 2017-07-11
Also published as: JPH1132246A; US6545708B1

Description

【０００１】
【発明の属する技術分野】
本発明は、制御装置、制御方法、および受信装置に関し、特に、撮像装置の撮像範囲を制御する制御装置、制御方法、および受信装置に関する。
【０００２】
【従来の技術】
ビデオカメラなどの撮像装置を遠隔操作して監視などを行う場合は、操作者側の制御装置と撮像装置を通信回線で結び、伝送されて来る画像を見ながら所望の画像が得られるように操作者が制御装置を制御していた。
【０００３】
また、撮像装置が記録装置を有している場合には、撮像装置によって記録された静止画像または動画像は、フィルムや磁気テープなどの記録媒体に記録された後に通信回線を介して操作者側に伝送されるようになっていた。
【０００４】
【発明が解決しようとする課題】
ところで、従来の技術においては、通信回線としては、アナログ回線やＩＳＤＮなどが使用されることが多いが、これらの回線は、画像に対する伝送速度は充分に速くないので、所望の画像が得られたか否かを確認するために多大な時間が必要になるという課題があった。
【０００５】
また、通信回線の遅れや伝送速度が必ずしも一定でない場合があり、そのような場合には、操作者を含むフィードバックループが不安定になり、思うような制御が困難になるという課題があった。
【０００６】
更に、前述のような理由により、意図した結果を実現するための操作を見つけるまでに試行錯誤を繰り返すことになるので、無駄な通信や撮像装置の動作が発生するという課題もあった。
【０００７】
また、記録装置に記録された静止画像や動画像の中から、所望のシーンを検索しようとする場合、前述のように記録媒体はフィルムや磁気テープであるので、ランダムアクセスが困難であり、その結果、所望のシーンに到達するまでに多大の時間を要するという課題があった。
【０００８】
本発明は、以上のような状況に鑑みてなされたものであり、通信回線を介して撮像装置を制御する場合において、円滑な制御を行うことを可能とするものである。
【０００９】
【課題を解決するための手段】
請求項１に記載の制御装置は、撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像を記録する記録手段と、撮影装置を設定するための設定情報が入力される入力手段と、入力手段から入力された設定情報に応じて撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、記録手段に記録されたパノラマ画像を参照して予測する撮像範囲予測手段と、撮像範囲予測手段により得られた画像を１つの表示装置に出力する出力手段と、表示装置に表示されている画像を参照して、入力手段より入力された設定情報に対応する制御を実行するか否かを決定する決定手段と、決定手段によって制御を実行することが決定された場合には、入力手段より入力された設定情報に対応する制御信号を伝送媒体を介して撮像装置に送信する送信手段とを備え、前記撮像装置は、少なくともパン機能、チルト機能及びズーム機能をさらに備え、前記撮像範囲予測手段は、前記入力手段より入力されたパン量、チルト量及びズーム量より再設定された撮像範囲の画像を予測することを特徴とする。
【００１０】
請求項５に記載の制御方法において、少なくともパン機能、チルト機能及びズーム機能を備える撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像を記録する記録ステップと、撮像装置を設定するための設定情報が入力される入力ステップと、設定情報として入力ステップから入力されたパン量、チルト量及びズーム量により撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、記録ステップで記録されたパノラマ画像を参照して予測する撮像範囲予測ステップと、撮像範囲予測ステップにより得られた画像を表示装置に出力する出力ステップと、表示装置に表示されている画像を参照して、入力ステップより入力された設定情報に対応する制御を実行するか否かを決定する決定ステップと、決定ステップによって制御を実行することが決定された場合には、入力ステップより入力された設定情報に対応する制御信号を伝送媒体を介して撮像装置に送信する送信ステップとを備えることを特徴とする。
【００１２】
請求項６に記載の受信装置は、少なくともパン機能、チルト機能及びズーム機能を備える撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像を記録する記録手段と、制御装置から伝送媒体を介して伝送されてきた撮像装置の設定情報を受信する受信手段と、設定情報として受信手段により受信された、パン量、チルト量及びズーム量により撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、記録手段に記録されたパノラマ画像を参照して予測する撮像範囲予測手段と、撮像範囲予測手段により得られた画像を制御装置に送信する送信手段と、制御装置から設定情報に応じて撮像装置を設定する制御命令を受信した場合には、設定情報に応じて撮像装置を設定する設定手段とを備えることを特徴とする。
【００１８】
請求項１に記載の制御装置および請求項５に記載の制御方法においては、撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像が記録され、撮像装置を設定するための設定情報が入力され、入力された設定情報に応じて撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、記録されたパノラマ画像を参照して予測し、撮像範囲予測ステップにより得られた画像を１つの表示装置に出力し、表示装置に表示されている画像を参照して、入力された設定情報に対応する制御を実行するか否かを決定し、制御を実行することが決定された場合には、入力された設定情報に対応する制御信号を伝送媒体を介して撮像装置に送信する。例えば、撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像を記録し、撮像装置により被写体を撮像する際の新たな設定情報が入力され、入力された設定情報に応じて撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、記録されたパノラマ画像より抜き出して撮像範囲を予測し、予測された画像を表示装置に出力し、表示装置に表示されている画像を参照して、入力された設定情報に対応する制御を実行するか否かを決定し、制御を実行することが決定された場合には、入力された設定情報を伝送媒体を介して撮像装置に送信し、撮像装置は、少なくともパン機能、チルト機能及びズーム機能をさらに備え、パン量、チルト量及びズーム量より再設定された撮像範囲の画像を予測する。
【００１９】
請求項６に記載の受信装置においては、少なくともパン機能、チルト機能及びズーム機能を備える撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像が記録され、制御装置から伝送媒体を介して伝送されてきた撮像装置の設定情報を受信し、設定情報として受信された、パン量、チルト量及びズーム量により撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、記録されたパノラマ画像を参照して予測し、予測された画像を制御装置に送信し、制御装置から設定情報に応じて撮像装置を設定する制御命令を受信した場合には、設定情報に応じて撮像装置を設定する。例えば、撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像を記録し、制御装置から伝送媒体を介して伝送されてきた撮像装置の設定情報を受信し、受信された設定情報に応じて撮像装置が再設定された場合に得られる被写体の画像を予測し、予測された画像を制御装置に送信し、制御装置から設定情報に応じて撮像装置を設定する制御命令を受信した場合には、設定情報に応じて撮像装置を設定する。
【００２１】
【発明の実施の形態】
図１は、本発明の実施の形態の構成例を示すブロック図である。
【００２２】
この図において、テレビカメラ１は、被写体の光画像を対応する電気信号（例えば、ＮＴＳＣ信号）に光電変換し、得られたビデオ信号を出力するようになされている。また、テレビカメラ１は、ワークステーション３からＲＳ２３２Ｃ端子を介して伝送されてきた制御信号に応じて、ズーム、フォーカス、露出、ホワイトバランスなどを適宜設定することが可能とされている。
【００２３】
パンチルタ２は、ビデオカメラ１の光軸を左右方向にパンニング（左右移動）させるとともに、上下方向にチルティング（上下移動）させるようになされている。
【００２４】
ワークステーション３は、パーソナルコンピュータ５から伝送されてきた制御コマンドに基づいてビデオカメラ１およびパンチルタ２を制御するとともに、ビデオカメラ１から出力されたビデオ信号を記録する。また、ワークステーション３は、インターネット４を介して、ビデオ信号や制御コマンドなどをパーソナルコンピュータ５との間で授受するようになされている。
【００２５】
パーソナルコンピュータ５は、ビデオカメラ１により撮像され、ワークステーション３およびインターネット４を介して伝送されてきた画像データをＣＲＴモニタ６に表示するとともに、マウス７（入力手段）などの入力装置から入力された情報に対応する制御コマンドを、インターネット４を介してワークステーション３に伝送するようになされている。
【００２６】
図２は、図１に示すワークステーション３の詳細な構成例を示すブロック図である。
【００２７】
この図において、インタフェース３０（設定手段）は、パンチルタ２に対して制御信号を出力してビデオカメラ１をパンニングまたはチルティングさせるとともに、現在のパンチルタ２の状態（パンニングおよびチルティングの状態）を取得するようになされている。ＣＰＵ３１（予測手段、設定手段、検索手段、変換手段、合成手段）は、装置の各部を制御するとともに、各種演算処理を実行するようになされている。
【００２８】
ビデオキャプチャ３２は、ビデオカメラ１から出力されるＮＴＳＣ規格に準拠したビデオ信号をディジタル信号（画像データ）に変換するようになされている。ハードディスクドライブ３３（第１の記憶手段、第２の記憶手段）は、ビデオキャプチャ３２より入力された画像データを必要に応じて記録するとともに、各種プログラムなどを記録するようになされている。
【００２９】
ＲＯＭ３４は、例えば、ＩＰＬ（Initial Program Loader）などの基本的なプログラムや各種データなどを格納している。ＲＡＭ３６は、例えば、ＣＰＵ３１が所定の処理を実行する際に、演算途中のデータやプログラム等を格納するようになされている。
【００３０】
ネットワークインターフェース３７（受信手段、送信手段）は、ワークステーション３の内部形式のデータをインターネットプロトコルに準じたデータ変換して出力するとともに、インターネット４を介して伝送されてきたデータを、ワークステーション３の内部形式のデータに変換するようになされている。
【００３１】
なお、ワークステーション３は、正確には、イーサネットを介してインターネット４に接続されている。以下では、このワークステーション３を、適宜、サーバと呼ぶことにする。
【００３２】
図３は、図１に示すパーソナルコンピュータ５の詳細な構成例を示すブロック図である。
【００３３】
この図において、ネットワークインタフェース５０（送信手段）は、インターネット４を介して伝送されてきたデータをパーソナルコンピュータ５の内部形式のデータに変換するとともに、パーソナルコンピュータ５の内部形式のデータをインターネットプロトコルに準じたデータに変換し、インターネット４に出力するようになされている。
【００３４】
ＣＰＵ５１（予測手段、決定手段、選択手段）は、装置の各部を制御するとともに、各種演算処理を実行するようになされている。ＲＯＭ５２は、例えば、ＩＰＬなどの基本的なソフトウエアやデータなどを格納するようになされている。
【００３５】
フレームメモリ５５（出力手段）は、ハードディスクドライブ５６（第１の記憶手段、第２の記憶手段）に記録されている画像データや、インターネット４を介して伝送されてきた画像データが書き込まれると、これをＲＧＢ信号に変換してＣＲＴモニタ６に出力するようになされている。
【００３６】
ＲＡＭ５４は、ＣＰＵ５１が種々の演算を行う際の途中経過のデータやプログラムなどを格納するようになされている。ハードディスクドライブ５６は、インターネット４を介して伝送されてきた画像データや各種プログラムなどを記録するようになされている。
【００３７】
インタフェース５７は、マウス７などの入力装置から出力されるデータを受信し、ＣＰＵ５１に対して供給するようになされている。
【００３８】
なお、パーソナルコンピュータ５は、ブラウザソフト並びにサーバから送られてくるJAVA言語で記述されたソフトウエアにより、画像表示、操作入力の受け付け、記録または再生、および、通信などの処理を行うようになされている。
【００３９】
次に、以上の実施の形態の動作について、図４に示すフローチャートを参照して説明する。
【００４０】
図４は、図３に示すパーソナルコンピュータ５において実行される処理の一例を説明するフローチャートである。
【００４１】
この処理が実行されると、パーソナルコンピュータ５のＣＰＵ５１は、ステップＳ１において、初期化処理を行う。即ち、ＣＰＵ５１は、例えば、公衆回線などを介してインターネット４と接続してワークステーション（サーバ）３との間で情報の授受を開始する。
【００４２】
続くステップＳ２では、ＣＰＵ５１は、カメラ１が撮影可能な範囲の画像（以下、パノラマ画像と言う）を伝送するように、ワークステーション３に対して要求を行う。その結果、ワークステーション３のＣＰＵ３１は、ビデオカメラ１によって予め撮像されてハードディスクドライブ３３に格納されているパノラマ画像を読み出して、ネットワークインタフェース３７を介して送信する。パーソナルコンピュータ５のＣＰＵ５１は、ワークステーション３から送信されたパノラマ画像をネットワークインタフェース５０により受信して、ハードディスクドライブ５６に記録させるとともに、ＣＲＴモニタ６に表示させる。
【００４３】
図５は、このとき、ＣＲＴモニタ６に表示される画像の表示例である。この表示例では、パノラマ画像１００が表示され、その中央にビデオカメラ１により現在撮影されている画像が枠１０１で囲繞されて示されている。この枠１０１は、ＣＲＴモニタ６の画面と同一のアスペクト比となるようにされている。また、枠１０１内部の画像は、画面の右上部に拡大されて、現在撮影中の画像１０２として表示される。操作実行前のプレビュー画像（以下、適宜プレビュー画像という）１０４および枠１０２に関しては後述する。
【００４４】
なお、長方形の枠を表示する代わりに、枠内部の領域の色調を他の部分とは異なるようにし、この領域が目立つようにしてもよい。
【００４５】
ステップＳ３において、ＣＰＵ５１は、イベント待ち状態となる。即ち、ＣＰＵ５１は、例えば、マウス７が移動されたり、ボタンが操作されるなどのイベントが発生するまで待機する。そして、イベントが発生した場合には、ステップＳ４に進む。
【００４６】
ステップＳ４では、ＣＰＵ５１は、マウス７のボタンが押された（プレスされた）か否かを判定する。その結果、ボタンが押された（ＹＥＳ）と判定した場合には、ステップＳ５に進む。また、ボタンが押されていない（ＮＯ）と判定した場合は、ステップＳ１２に進む。
【００４７】
ステップＳ４において、マウス７のボタンが押された（ＹＥＳ）と判定された場合には、ステップＳ５に進む。ステップＳ５では、マウス７の画面上における位置が取得され、ステップＳ６に進む。
【００４８】
ステップＳ６では、ＣＰＵ５１は、マウス７のボタンが押された位置が図４に示す枠１０１の上（または、枠の近傍）であるか否かを判定する。その結果、マウス７のボタンが押された位置が枠１０１の上ではない（ＮＯ）と判定した場合には、ステップＳ７に進む。また、枠１０１の上である（ＹＥＳ）と判定した場合には、ステップＳ１０に進む。
【００４９】
ステップＳ１０では、画角変更のためのドラッグ処理が開始される。即ち、ＣＰＵ５１は、図６に示すように、マウス７の移動距離に応じて枠１０１を拡大または縮小して新たな枠１０２として表示する。このとき、枠１０２は、枠１０１と同一の中心点とされるとともに、元の枠１０１と相似形になるように描画される。そして、ステップＳ９に進む。
【００５０】
ステップＳ６において、枠１０１の上ではない（ＮＯ）と判定された場合には、ステップＳ７に進み、枠１０１の内部でマウス７のボタンが押されたか否かを判定する。その結果、枠１０１の内部ではない（ＮＯ）と判定された場合には、ステップＳ８に進む。また、枠１０１の内部である（ＹＥＳ）と判定した場合には、ステップＳ１１に進み、画角を一定に保ったままのドラッグが開始される。即ち、ＣＰＵ５１は、マウス７の移動に応じて、同じ大きさの枠１０２を新たに描画するとともに、以前の枠１０２を消去する。その結果、枠１０２は、マウス７に追従するように移動されることになる。そして、ステップＳ９に進む。
【００５１】
ステップＳ７において、枠１０１の内部ではない（ＮＯ）と判定された場合には、ステップＳ８に進む。ステップＳ８においては、ＣＰＵ５１は、マウス７のボタンが押された位置を中心として新たな枠１０２を表示する。そして、マウス７が移動されている場合には、新たに表示された枠１０２の移動を開始する。即ち、枠１０１の位置とは無関係に枠１０２（枠１０１と同サイズの枠）が描画される。
【００５２】
続くステップＳ９においては、ＣＰＵ５１は、ハードディスクドライブ５６に格納されているパノラマ画像から、枠１０２により囲繞されている領域に対応する画像データを読み出し、拡大または縮小などの処理を施した後、図５に示すように、画面の左上部に操作実行前のプレビュー画像１０４として表示する。そして、ステップＳ３に戻り、前述の場合と同様の処理を繰り返すことになる。
【００５３】
また、ステップＳ４において、マウス７のボタンが押されていない（ＮＯ）とＣＰＵ５１が判定した場合には、ステップＳ１２に進む。ステップＳ１２では、マウス７のボタンがリリースされた（離された）か否かを判定する。その結果、マウス７のボタンがリリースされた（ＹＥＳ）と判定した場合にはステップＳ１３に進み、また、ボタンがリリースされていない（ＮＯ）と判定した場合には、ステップＳ１７に進む。なお、以下では、ステップＳ１８乃至ステップＳ２１の処理をステップＳ１３乃至ステップＳ１６の処理に優先して説明する。
【００５４】
ステップＳ１７では、ＣＰＵ５１は、マウス７が移動されているか否かを判定する。その結果、マウス７が移動されていない（ＮＯ）と判定した場合には、ステップＳ２３に進む。また、マウス７が移動されている（ＹＥＳ）と判定した場合には、ステップＳ１８に進む。
【００５５】
ステップＳ１８では、ＣＰＵ５１は、マウス７がドラッグ中（ボタンが押されたまま移動されている状態）であるか否かを判定する。その結果、マウス７がドラッグ中ではない（ＮＯ）と判定した場合には、ステップＳ３の処理に戻り、前述の場合と同様の処理を繰り返す。また、ドラッグ中である（ＹＥＳ）と判定した場合にはステップＳ１９に進む。
【００５６】
ステップＳ１９では、画角の変更処理を現在実行中であるか否かが判定される。即ち、ＣＰＵ５１は、前回の処理のステップＳ６において、枠１０１の上でマウス７のボタンが押されたと判定した場合には、ＹＥＳと判定して、ステップＳ２２に進む。また、その他の場合には、ステップＳ２０に進む。
【００５７】
ステップＳ２０では、ＣＰＵ５１は、マウス７の移動方向に対応して大きさの等しい新たな枠１０２を描画するとともに、以前の枠１０２を消去する。その結果、枠１０２がマウス７に追従して移動することになる。
【００５８】
また、ステップＳ１９において、ＮＯと判定された場合には、ステップＳ２２に進み、ＣＰＵ５１は、マウス７のボタンが押された時点における枠１０２（または枠１０１）の大きさを基準とし、マウス７の移動距離に応じて、枠１０２を縮小または拡大して描画する。そして、ステップＳ２１に進む。
【００５９】
ステップＳ２１では、ＣＰＵ５１は、ステップＳ２０またはステップＳ２２において描画された新たな枠１０２によって囲繞される領域に対応する画像データを、ハードディスクドライブ５６から読み出して、フレームメモリ５５の所定の領域に書き込む。その結果、枠１０２によって指定される領域の画像が、プレビュー画像１０４として表示されることになる。そして、ステップＳ３に戻り、前述の場合と同様の処理が繰り返される。
【００６０】
ところで、ステップＳ１２において、マウス７のボタンがリリースされた（ＹＥＳ）と判定された場合には、ステップＳ１３に進むことになる。
【００６１】
ステップＳ１３では、ＣＰＵ５１は、ドラッグ処理を終了する。即ち、新たな枠１０２の描画処理とプレビュー画像１０４の表示処理とを中断する。その結果、枠１０２はパノラマ画像１００の所定の位置に表示されたままの状態となり、また、プレビュー画像１０４としては、枠１０２により囲繞された領域の画像が表示された状態となる。
【００６２】
続くステップＳ１４では、ＣＰＵ５１は、枠１０２の位置および大きさから、パンチルタ２の移動させるべき方向と画角をそれぞれ算出する。即ち、枠１０２の中心位置を算出し、その方向にビデオカメラ１の光軸が向くように、パンチルタ２のパン量とチルト量とを算出する。また、枠１０２の大きさを元にして、ビデオカメラ１のズーム量を算出する。そして、ステップＳ１５に進む。
【００６３】
ステップＳ１５では、ＣＰＵ５１は、ステップＳ１４において算出したパン量、チルト量、および、ズーム量をネットワークインタフェース３７に供給し、インターネット４を介してワークステーション３に伝送させる。
【００６４】
その結果、ワークステーション３では、ネットワークインタフェース３７により伝送されてきたデータを受信する。そして、ＣＰＵ３１は、受信したパン量とチルト量とをインタフェース３０を介して、パンチルタ２に供給する。その結果、パンチルタ２は、パン量に応じた角度だけビデオカメラ１を左右方向に移動させるとともに、チルト量に応じた角度だけ上下方向にビデオカメラ１を上下方向に移動させる。
【００６５】
更に、ＣＰＵ３１は、ズーム量をインターフェース３０を介してビデオカメラ１に対して出力する。その結果、ビデオカメラ１の光学系が制御されて、ズーム量に対応した分だけズーミングが行われることになる。
【００６６】
ビデオカメラ１およびパンチルタ２の設定が終了すると、ＣＰＵ３１は、ビデオカメラ１から出力される画像をビデオキャプチャ３２によりディジタルデータ（画像データ）に変換し、ネットワークインタフェース３７を介して、パーソナルコンピュータ５に対して送信する。このようにして送信された画像データは、ステップＳ２３以降の処理により受信されて表示されることになる。なお、その詳細については後述する。
【００６７】
図４に戻って、ステップＳ１６では、枠１０２およびプレビュー画像１０４が画面上から消去される。即ち、現在撮影されている画像のみが画面上に表示されることになる。そして、ステップＳ３の処理に戻り、前述の場合と同様の処理を繰り返すことになる。
【００６８】
ところで、ステップＳ１７において、マウス７が移動されていない（ＮＯ）と判定された場合には、ステップＳ２３に進むことになる。
【００６９】
ステップＳ２３では、ＣＰＵ５１は、ワークステーション３から伝送されてきた画像データを受信したか否かを判定する。その結果、画像データを受信していない（ＮＯ）と判定した場合には、ステップＳ２６に進み、エラーが生じたことを示すメッセージ（例えば、「通信エラーが発生しました。」）をＣＲＴモニタ６に表示し（イベントが発生している場合に、ステップＳ４，Ｓ１２，Ｓ１７，Ｓ２３の全てにおいてＮＯと判定されることはあり得ないので）、ステップＳ３に戻って、前述の場合と同様の処理を繰り返す。また、ステップＳ２３において、画像データを受信した（ＹＥＳ）と判定した場合にはステップＳ２４に進む。
【００７０】
ステップＳ２４においては、ＣＰＵ５１は、ネットワークインタフェース５０により受信した画像データを、現在撮影中の画像１０２として、ＣＲＴモニタ６に表示する。そして、ステップＳ２５に進み、ＣＰＵ５１は、次の画像の送信を要求するコマンドを、ネットワークインタフェース５０を介して、ワークステーション３に対して送出する。そして、ステップＳ３に戻り、前述の場合と同様の処理を繰り返すことになる。
【００７１】
次に、以上の処理を更に具体的に説明する。
【００７２】
いま、パーソナルコンピュータ５の電源が投入されたとすると、ステップＳ１において、初期化が実行されるとともに、ワークステーション３との間に回線が閉結される。そして、ステップＳ２において、パーソナルコンピュータ５は、ワークステーション３に対してパノラマ画像を伝送するように要求するコマンドを送信し、その結果として受信されたパノラマ画像をＣＲＴモニタ６に表示する（図５参照）とともに、ハードディスクドライブ５６に格納する。
【００７３】
ステップＳ３では、イベント待ちの状態となり、マウスが操作されたり、画像データが受信されるまで待機状態となる。
【００７４】
いま、例えば、図５に示す画面（正確には、プレビュー画像１０４と枠１０２とが表示されていない画面）において、枠１０１の上においてマウス７のボタンが押されたとすると、ステップＳ３からステップＳ４に進み、そこでＹＥＳと判定されて、ステップＳ５に進む。
【００７５】
ステップＳ５では、マウス７の位置が取得され、ステップＳ６では、この取得された位置により、マウスカーソルが枠１０１の上に存在しているか否かが判定される。いま、枠１０１の上に存在しているので、ＹＥＳと判定されてステップＳ１０に進む。
【００７６】
ステップＳ１０では、枠１０２が画面上に新たに表示され（枠１０１と同じ位置に表示され）、マウス７の動きに応じて枠１０２の画角（大きさ）が適宜変更される処理が開始されることになる。
【００７７】
また、枠１０１の枠内にマウスカーソルがある場合に、マウス７のボタンが押されたときには、ステップＳ７においてＹＥＳと判定され、ステップＳ１１に進む。ステップＳ１１では、枠１０２が新たに表示され（枠１０１と同じ位置に表示され）、画角が一定に保たれたままで、枠１０２がマウス７に追従して移動される処理が開始されることになる。
【００７８】
更に、枠１０１とは異なる領域においてマウス７のボタンが押された場合には、ボタンが押された場合のカーソルの位置を中心として、枠１０１と同様の大きさの枠１０２が表示される。そして、ステップＳ９では、プレビュー画像１０４が生成され、ＣＲＴモニタ６の画面上に表示されることになる。
【００７９】
そして、新たな枠１０２が表示された状態において、マウス７がドラッグされると、ボタンはリリースされていないので、ステップＳ１２ではＮＯと判定され、ステップＳ１７に進み、そこで、ＹＥＳと判定され、ステップＳ１８に進む。
【００８０】
ステップＳ１８では、ドラッグ中であるのでＹＥＳと判定され、ステップＳ１９に進む。ステップＳ１９では、画角を変更する処理が行われているか否かが判定され、画角を変更する処理を実行中である場合（ドラッグの開始点が枠１０１の上であった場合）には、ステップＳ２２に進み、枠１０２の大きさがマウス７移動距離に応じて変更される。また、その他の場合（ドラッグの開始点が枠１０２の内部または外部である場合）は、枠１０２をマウス７に応じて移動させる。そして、ステップＳ２１において、プレビュー画像１０４が画面上に表示されることになる。
【００８１】
従って、マウス７がドラッグされている際には、枠１０２により囲繞されている領域に対応する画像が、プレビュー画像１０４として画面上に次々と表示されるので、操作者は、この画像を参照しながら、実際に見たい部分を検索することが可能となる。
【００８２】
そして、実際に見たい部分が決定した場合には、マウス７のドラッグが中止されて、ボタンがリリースされるので、ステップＳ１２においてＹＥＳと判定され、ステップＳ１４において、現在の枠１０２の大きさと位置からズーム量、パン量、および、チルト量が算出され、ワークステーション３に対して送信される。その結果、ビデオカメラ１の光軸の方向が制御されるとともに、ズーミングが行われ、得られた画像データがインターネット４を介して伝送されてくる。
【００８３】
画像データを受信したパーソナルコンピュータ５は、ステップＳ２３において、画像を受信した（ＹＥＳ）と判定し、ステップＳ２４に進み、受信した画像をＣＲＴモニタ６に表示する。そして、ステップＳ２５に進み、次の画像の送信を要求する。以下、同様の処理が繰り返され、ビデオカメラ１により撮像された画像が次々と伝送され、ＣＲＴ６の画面に現在撮影中の画像１０２として表示されることになる。
【００８４】
なお、図７に示すように、枠１０１と枠１０２の一部が重なっている場合には、重なっている部分の領域の画像は、ビデオカメラ１により現在撮影されて伝送されてきている画像を表示し、また、それ以外の領域は、パノラマ画像から抽出して表示するようにしてもよい。そのような方法によれば、枠１０２と枠１０１の領域が重なっている場合には、一部動画を表示することが可能となる。
【００８５】
更に、図８に示すように、現在撮影中の画像の一部の領域を拡大（ズーミング）する場合には、パノラマ画像を用いずに、ビデオカメラ１により撮像されて伝送されて来ている画像データを拡大して表示するようにしてもよい。その場合、元の画像を構成している各画素を所定倍数の画素により表現する処理（アップコンバート処理）を行うようにすれば、画像を動画として表示することも可能である。
【００８６】
更にまた、図９に示すように、ワークステーション３側から複数の画像が既に伝送されきている場合には、パノラマ画像を用いる代わりに、これらの画像を用いてプレビュー画像１０４を表示させることも可能である。
【００８７】
即ち、パーソナルコンピュータ５において、何回かの操作（ビデオカメラ１を制御する操作）が実行され、ワークステーション３から異なる複数の画像が伝送された場合には、ハードディスクドライブ５６には、例えば、図９に示すように画像Ａ乃至Ｌが格納されている。そのような場合には、パノラマ画像の代わりに最新の画像である画像Ａ乃至Ｌを用いることができる。
【００８８】
そのような場合の動作について、図１０および図１１のフローチャートを参照して説明する。
【００８９】
なお、以下の実施の形態においては、ワークステーション３から伝送されてくる画像データには、その画像データの撮影情報を示す付帯情報が付加されおり、パーソナルコンピュータ５のＣＰＵ５１は、付帯情報が付加された画像データを受信して、ハードディスクドライブ５６に格納する。付加情報は、パンチルタの制御量（パン量およびチルト量）、ホワイトバランス値、露出値、ズーム値、フォーカス値、および、撮影がなされた日時などから構成される情報である。
【００９０】
図１０に示す処理は、図４に示すステップＳ９およびステップＳ２１に該当する処理であり、これらの処理を以下に示す処理により置換することにより、パノラマ画像の代わりに最新の画像を用いてプレビュー画像を表示することが可能となる。
【００９１】
図１０に示す処理が実行されると、ステップＳ４０において、パーソナルコンピュータ５のＣＰＵ５１は、生成しようとするプレビュー画像（以下、適宜目的画像と記述する）の設定情報を取得する。即ち、図４のステップＳ８，Ｓ１９，Ｓ２２において取得された枠１０２の画角および位置を取得する。また、生成しようとする目的画像の撮像条件（例えば、ホワイトバランス値、露出値、ズーム値など）を、例えば、図１２に示すような設定画面において入力する。
【００９２】
図１２に示す設定画面では、ホワイトバランス値、露出値、および、ズーム値がそれぞれ対応するスライダを適宜上下することにより入力されるようになされている。例えば、画面左端のホワイトバランスでは、スライダ２００を上端まで移動させた場合には、ホワイトバランス値は６０００゜Ｋに設定される。また、スライダ２００を下端まで移動させた場合には、ホワイトバランス値は、３０００゜Ｋに設定される。
【００９３】
図１０に戻って、ステップＳ４１では、ＣＰＵ５１は、ハードディスクドライブ５６に格納されている付帯情報を参照し、目的画像を生成する際に必要な画角を含んでいる画像データ（以下、適宜、元画像と記述する）を検索する。即ち、図１３に示すように、太枠で示す目的画像を生成する場合には、画像Ａ乃至Ｄが検索されることになる。
【００９４】
続くステップＳ４２においては、生成しようとする目的画像を、同一の元画像から生成することができる領域に分割する。即ち、図１３に示すように、目的画像に対応する領域を領域１乃至領域１０に分割する。そして、ステップＳ４３に進む。
【００９５】
ステップＳ４３では、領域１乃至１０のそれぞれの領域において最適な元画像を選択し、選択した元画像に対して所定の変換処理を施して合成する。なお、この処理の詳細については図１１を参照して後述する。
【００９６】
ステップＳ４４においては、ステップＳ４３において合成された画像がＣＲＴモニタ６に表示されることになる。
【００９７】
次に、図１１を参照してステップＳ４３の処理の詳細について説明する。
【００９８】
この処理が実行されるとステップＳ６０において、ＣＰＵ５１は、変数Ｄに対して分割された領域の数（図１３の例では値“１０”）を代入する。そして、ステップＳ６１に進む。
【００９９】
ステップＳ６１では、ＣＰＵ５１は、処理回数を格納する変数ｉを値０に初期設定する。
【０１００】
続くステップＳ６２においては、ＣＰＵ５１は、第ｉ番目の領域において、最適な元画像を選択する。例えば、ｉ＝５であるとすると、対象となる領域は領域５となる。この領域５を含む元画像としては、画像Ａと画像Ｂとが存在する。画像Ｂは画像Ａよりも狭い撮像範囲で撮影されているので、例えば、最適な画像としては解像度が高い画像Ｂの方が選択されることになる。
【０１０１】
なお、撮影画像が時事刻々と変化する場合には、例えば、撮影時刻が目標の時刻により近い方を選択するようにしてもよい。
【０１０２】
また、元画像が存在しない領域（例えば、図１３の領域６）は、例えば、画像を表示しないようにするか、または、この部分だけパノラマ画像から取得するようにしてもよい。
【０１０３】
ステップＳ６３においては、ＣＰＵ５１は、ステップＳ６２において選択された元画像の付帯情報を参照して、この選択された画像が、生成しようとする目的画像と同一の倍率の画像となるように、選択された画像に対して拡大または縮小処理を行う。
【０１０４】
ステップＳ６４では、ＣＰＵ５１は、ステップＳ６２において選択された元画像が、生成しようとする目的画像の撮影条件と同一になるように、選択された元画像に対して所定の変換処理を施す。なお、この処理の詳細については後述する。
【０１０５】
ステップＳ６５では、ＣＰＵ５１は、変換処理が施された元画像をフレームメモリ５５の所定の領域に書き込むとともに、既にフレームメモリ５５上に格納されている他の元画像との境界面が自然に連接されるようにスムージング処理を施す。
【０１０６】
ステップＳ６６では、変数ｉの値が１だけインクリメントされ、ステップＳ６７において、変数ｉの値が分割された領域数Ｄよりも小さいか否かが判定され、その結果、ｉの値がＤの値よりも小さい（ＹＥＳ）と判定された場合には、ステップＳ６２に戻り、前述の場合と同様の処理が繰り返される。また、ｉの値がＤの値以上である（ＮＯ）と判定された場合には、ステップＳ４４の処理に復帰（リターン）する。
【０１０７】
図１４は、ステップＳ６４において実行される変換処理の詳細をブロック図として示したものである。この図では、図の左端から元画像が入力され、種々の変換が施された後、図の右端から変換後の画像（目的画像）が出力される。なお、図１４の上部に示されているシグナルフローは、図の下部に示されているブロック図の概要を説明している。
【０１０８】
以下では、図１４の上部に示されているシグナルフローについて説明した後、図の下部に示されているブロック図を参照して変換処理について詳述する。
【０１０９】
この図において、入力された元画像の画素値５００は、変換部５０１に供給される。一方、元画像の撮影条件５０３は、比較部５０４に入力される。また、この比較部５０４には目的画像の撮影条件５０５も入力されている。比較部５０４は、元画像の撮影条件５０３と目的画像の撮影条件５０５とを比較し、その比較結果を変換部５０１に対して供給する。
【０１１０】
変換部５０１は、目的画像の撮影条件と同一になるように、入力された元画像の画素値５００に対して変換処理を施す。そして、得られた画素値を目的画像の画素値５０２として出力する。以上の処理の結果、入力された元画像の画素値５００は、目的画像と同一の撮影条件の画像に変換されて出力される。従って、全ての領域（図１３では領域１乃至１０）の画素値に対して同様の処理を繰り返すことにより、異なる撮影条件において撮影された画像から、同一の撮影条件において撮影された１枚の画像を近似的に合成することが可能となる。
【０１１１】
次に、図１４の下部に示す図について説明する。
【０１１２】
Ｒ，Ｇ，Ｂの三原色から構成される元画像の画素値４００（元画像の画素値５００に対応する）は、デガンマ処理部３００−１乃至３００−３にそれぞれ供給される。デガンマ処理部３００−１乃至３００−３は、ガンマ補正が施されている画素値に対して逆ガンマ処理を施し、輝度に比例した値を有する画素値に変換する。
【０１１３】
乗算部３０１−１乃至３０１−３は、デガンマ処理部３００−１乃至３００−３から出力された画素値に対して露出値較正処理部３０８の出力を乗算し、得られた画素値を出力する。露出値較正処理部３０８は、元画像の露出値３０７と目的画像の露出値３１１とを比較し、例えば、ＡＧＣ（Auto Gain Control）と絞りが固定であるならば、電子シャッタの時間の比を乗算部３０１−１乃至３０１−３に出力する。その結果、乗算部３０１−１乃至３０１−３から出力される画素値は、目的画像と同一の露出値により撮影された場合の想定値に変換される。
【０１１４】
飽和処理部３０２−１乃至３０２−３は、ＣＣＤの各色の画素の飽和特性を考慮した変換を施す。即ち、ＣＣＤは所定以上の強度の光が入射されると出力が飽和するので、乗算部３０１−１乃至３０１−３から出力された画素値が同様の特性を有するようにクリッピング処理を施す。
【０１１５】
色温度デコード処理部３０９は、元画像のホワイトバランス値３０６と目的画像のホワイトバランス値３１０とを比較し、各色毎の補正量を算出し、算出された補正量を乗算部３０３−１乃至３０３−３に対して出力する。乗算部３０３−１乃至３０３−３は、飽和処理部３０２−１乃至３０２−３から出力される画素値に対して色温度デコード処理部３０９から出力される補正量を乗算して出力する。
【０１１６】
色消し処理部３０４は、画素値が高輝度または低輝度の範囲であることに起因して色の再現が困難である場合には、色を消す処理を行い、得られた画素値を出力する。ガンマ処理部３０５−１乃至３０５−３は、色消し処理が施された画素値に対してガンマ処理を施し、Ｒ’，Ｇ’，Ｂ’の画素値（目的画像の画素値）として出力する。
【０１１７】
このような処理により、目的画像の撮影条件と元画像の撮影条件に応じて元画像の画素値が変換されて出力されることになる。即ち、以上の処理を要約すると、ビデオカメラ１の内部で行われる信号処理をクライアント側（パーソナルコンピュータ５側）で再度実行し、目的画像の撮影条件と同一の条件で撮影された場合に得られると想定される画像を生成する。従って、以上のような実施の形態によれば撮影条件の異なる複数の元画像から、所定の撮影条件下において撮影されたのと同等の画像（目的画像）に変換することが可能となる。
【０１１８】
以上の実施の形態によれば、ビデオカメラ１とパーソナルコンピュータ５が通信回線などにより接続されている場合、操作者側に存在しているパノラマ画像や既に伝送されている画像を用いて操作の結果を予測して表示するようにしたので、所望の画像を得るための試行錯誤が操作者付近ですべて行われることになり、制御を迅速に行うことが可能となる。また、確定された制御信号のみが伝送されることになるので、ビデオカメラ１に余計な負担がかかることを防止することも可能となる。
【０１１９】
なお、以上の実施の形態においては、画像データの変換処理と合成処理をパーソナルコンピュータ５において行うようにしたが、例えば、同様の処理をワークステーション３において実行することも可能である。その場合、ワークステーション３のハードディスクドライブ３３に格納されている画像から合成処理を行うことから、パーソナルコンピュータ５側に画像が多数伝送されていない場合においても、上述のような処理を実行することができる。
【０１２０】
また、以上の実施の形態においては、パーソナルコンピュータ５によりビデオカメラ１を制御するようにしたが、ワークステーション３を画像データベースと見なし、所望の画像データを検索する際に、以上の実施の形態を適用するようにしてもよい。そのような実施の形態によれば、過去に遡って画像を検索したり、実際には撮像していない方向または倍率の画像を生成したり、撮像条件を変えた画像を生成することも可能である。
【０１２１】
なお、明細書中において、伝送媒体は、ＦＤ，ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、ディジタル衛星などのネットワーク伝送媒体も含まれる。
【０１２２】
【発明の効果】
請求項１に記載の制御装置および請求項５に記載の制御方法によれば、撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像が記録され、撮像装置を設定するための設定情報が入力され、入力された設定情報に応じて撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、記録されたパノラマ画像を参照して予測し、予測ステップにより得られた画像を１つの表示装置に出力し、表示装置に表示されている画像を参照して、入力された設定情報に対応する制御を実行するか否かを決定し、制御を実行することが決定された場合には、入力された設定情報に対応する制御信号を伝送媒体を介して撮像装置に送信し、撮像装置は、少なくともパン機能、チルト機能及びズーム機能をさらに備え、撮像範囲予測手段は、入力されたパン量、チルト量及びズーム量より再設定された撮像範囲の画像を予測するようにしたので、不要な制御コマンドが撮像装置に伝送されることを防止することが可能となり、その結果、撮像装置を円滑に制御することが可能となる。
【０１２３】
請求項６に記載の受信装置によれば、少なくともパン機能、チルト機能及びズーム機能を備える撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像が記録され、制御装置から伝送媒体を介して伝送されてきた撮影装置を設定するための設定情報を受信し、設定情報として受信された、パン量、チルト量及びズーム量により撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、記録されたパノラマ画像を参照して予測し、予測された画像を制御装置に送信し、制御装置から設定情報に応じて撮像装置を設定する制御命令を受信した場合には、設定情報に応じて撮像装置を設定するようにしたので、設定情報に応じて撮像装置が再設定された場合に得られる画像を予測して供給するようにしたので、予測された画像を参照して、目的の画像が得られるように迅速に制御を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の構成例を示す図である。
【図２】図１に示すワークステーション３の詳細な構成例を示すブロック図である。
【図３】図１に示すパーソナルコンピュータ５の詳細な構成例を示すブロック図である。
【図４】図１に示すパーソナルコンピュータ５において実行される処理の一例を説明するフローチャートである。
【図５】図４に示す処理が実行された場合において、ＣＲＴモニタ６に表示される画像の表示例を示す図である。
【図６】図４に示す処理が実行された場合において、ＣＲＴモニタ６に表示される枠１０２の一例を示す図である。
【図７】図４に示す処理が実行された場合において、枠１０１と枠１０２の一部が重なった場合には撮影画像を用いるようにしたときの表示例である。
【図８】図４に示す処理が実行された場合において、撮影画像から予測画像を予測するときの表示例を示す図である。
【図９】撮影条件が異なる複数の画像から予測画像を生成する場合の予測画像と元画像との関係を示す図である。
【図１０】撮影条件が異なる複数の画像から予測画像を生成する場合の処理の一例を説明するフローチャートである。
【図１１】図９に示す合成処理の詳細を説明するフローチャートである。
【図１２】撮影条件を入力するための画面の表示例を示す図である。
【図１３】画像の分割の一例を説明する図である。
【図１４】撮影条件の変換処理の一例を示すシグナルフロー図である。
【符号の説明】
７マウス（入力手段），３０インタフェース（設定手段），３１ＣＰＵ（予測手段、設定手段、合成手段），３３ハードディスクドライブ（第１の記憶手段、第２の記憶手段），３７ネットワークインタフェース（受信手段、送信手段），５０ネットワークインタフェース（送信手段），５１ＣＰＵ（予測手段、決定手段、選択手段、検索手段、変換手段、合成手段），５５フレームメモリ（出力手段），５６ハードディスクドライブ（第１の記憶手段、第２の記憶手段）

Claims

伝送媒体を介して接続されている撮像装置の撮像範囲を制御する制御装置において、
前記撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像を記録する記録手段と、
前記撮像装置を設定するための設定情報が入力される入力手段と、
前記入力手段から入力された設定情報に応じて前記撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、前記記録手段に記録されたパノラマ画像を参照して予測する撮像範囲予測手段と、
前記撮像範囲予測手段により得られた画像を１つの表示装置に出力する出力手段と、
前記表示装置に表示されている画像を参照して、前記入力手段より入力された設定情報に対応する制御を実行するか否かを決定する決定手段と、
前記決定手段によって制御を実行することが決定された場合には、前記入力手段より入力された設定情報に対応する制御信号を前記伝送媒体を介して前記撮像装置に送信する送信手段とを備え、
前記撮像装置は、少なくともパン機能、チルト機能及びズーム機能をさらに備え、
前記撮像範囲予測手段は、前記入力手段より入力されたパン量、チルト量及びズーム量より再設定された撮像範囲の画像を予測する
ことを特徴とする制御装置。
前記設定情報は、前記撮像装置の撮像条件であり、
前記撮像範囲予測手段は、前記撮像条件が変更された場合に得られる被写体の画像を予測する
ことを特徴とする請求項１に記載の制御装置。
前記設定情報は、前記撮像装置の撮像方向または撮像画角であり、
前記撮像範囲予測手段は、前記撮像装置の撮像方向または撮像画角が変更された場合に得られる被写体の画像を予測する
ことを特徴とする請求項１に記載の制御装置。
前記撮像手段より伝送されてくる画像を記憶する第１の記憶手段と、
前記撮像装置より伝送されている画像が撮影された場合の前記設定情報を記憶する第２の記憶手段と、
前記第１の記憶手段に記憶された複数の画像の中から所定の画像を選択する選択手段とを更に備え、
前記撮像範囲予測手段は、前記第１の記憶手段に記憶されている画像の中から、所定の画像を前記選択手段により選択し、第２の記憶手段に記憶されている前記設定情報と選択された画像とを元にして前記被写体の画像を予測する
ことを特徴とする請求項１に記載の制御装置。
伝送媒体を介して接続されている、少なくともパン機能、チルト機能及びズーム機能を備える撮像装置の撮像範囲を制御する制御方法において、
前記撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像を記録する記録ステップと、
前記撮像装置を設定するための設定情報が入力される入力ステップと、
前記設定情報として前記入力ステップから入力されたパン量、チルト量及びズーム量により前記撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、前記記録ステップで記録されたパノラマ画像を参照して予測する撮像範囲予測ステップと、
前記撮像範囲予測ステップにより得られた画像を表示装置に出力する出力ステップと、
前記表示装置に表示されている画像を参照して、前記入力ステップより入力された設定情報に対応する制御を実行するか否かを決定する決定ステップと、
前記決定ステップによって制御を実行することが決定された場合には、前記入力ステップより入力された設定情報に対応する制御信号を前記伝送媒体を介して前記撮像装置に送信する送信ステップと
を備えることを特徴とする制御方法。
制御装置から伝送媒体を介して伝送されてきた制御信号を受信し、少なくともパン機能、チルト機能及びズーム機能を備える撮像装置を制御する受信装置において、
前記撮像装置によって予め撮像された撮影可能な範囲のパノラマ画像を記録する記録手段と、
前記制御装置から前記伝送媒体を介して伝送されてきた前記撮像装置の設定情報を受信する受信手段と、
前記設定情報として前記受信手段により受信された、パン量、チルト量及びズーム量により前記撮像装置の撮像範囲が再設定された場合に得られる被写体の画像を、前記記録手段に記録されたパノラマ画像を参照して予測する撮像範囲予測手段と、
前記撮像範囲予測手段により得られた画像を前記制御装置に送信する送信手段と、
前記制御装置から前記設定情報に応じて前記撮像装置を設定する制御命令を受信した場合には、前記設定情報に応じて前記撮像装置を設定する設定手段と
を備えることを特徴とする受信装置。