JP4281011B2 - 制御装置および制御方法 - Google Patents

Description

本発明は、制御装置および制御方法に関し、特に、撮像装置を制御する制御装置および制御方法に関する。

ビデオカメラなどの撮像装置を遠隔操作して監視などを行う場合は、操作者側の制御装置と撮像装置を通信回線で結び、伝送されて来る画像を見ながら所望の画像が得られるように操作者が制御装置を制御していた。

また、撮像装置が記録装置を有している場合には、撮像装置によって記録された静止画像または動画像は、フィルムや磁気テープなどの記録媒体に記録された後に通信回線を介して操作者側に伝送されるようになっていた。

ところで、従来の技術においては、通信回線としては、アナログ回線やＩＳＤＮなどが使用されることが多いが、これらの回線は、画像に対する伝送速度は充分に速くないので、所望の画像が得られたか否かを確認するために多大な時間が必要になるという課題があった。

また、通信回線の遅れや伝送速度が必ずしも一定でない場合があり、そのような場合には、操作者を含むフィードバックループが不安定になり、思うような制御が困難になるという課題があった。

更に、前述のような理由により、意図した結果を実現するための操作を見つけるまでに試行錯誤を繰り返すことになるので、無駄な通信や撮像装置の動作が発生するという課題もあった。

また、記録装置に記録された静止画像や動画像の中から、所望のシーンを検索しようとする場合、前述のように記録媒体はフィルムや磁気テープであるので、ランダムアクセスが困難であり、その結果、所望のシーンに到達するまでに多大の時間を要するという課題があった。

本発明は、以上のような状況に鑑みてなされたものであり、通信回線を介して撮像装置を制御する場合において、円滑な制御を行うことを可能とするものである。

請求項１に記載の制御装置は、ビデオカメラの撮像方向を変更する撮像方向変更手段と、ビデオカメラの画角を変更する画角変更手段と、撮像方向変更手段及び画角変更手段を操作するための指示が入力される操作指示入力手段と、ビデオカメラにより撮像された画像を表示する表示手段とを備え、撮像可能な方向の範囲の全部または一部を分けて撮像した画像群を連結して広い範囲を見渡せるパノラマ画像と、画角及び撮像方向でビデオカメラにより現在撮像されている撮像中の画像と、撮像方向変更手段及び画角変更手段に対する操作により得られると予測されるプレビュー画像とが、撮像中の画像およびプレビュー画像がパノラマ画像の対応箇所より拡大されて、表示手段の一画面上で、それぞれ別領域に表示され、操作指示入力手段には、撮像方向変更手段及び画角変更手段の操作を決定する指示が入力されることを特徴とする。

請求項６に記載の制御方法は、制御装置は、ビデオカメラの撮像方向を変更する撮像方向変更手段と、ビデオカメラの画角を変更する画角変更手段と、撮像方向変更手段及び画角変更手段を操作するための指示が入力される操作指示入力手段と、ビデオカメラにより撮像された画像を表示する表示手段とを備え、撮像可能な方向の範囲の全部または一部を分けて撮像した画像群を連結して広い範囲を見渡せるパノラマ画像と、画角及び撮像方向でビデオカメラにより現在撮像されている撮像中の画像と、撮像方向変更手段及び画角変更手段に対する操作により得られると予測されるプレビュー画像とを、撮像中の画像およびプレビュー画像がパノラマ画像の対応箇所より拡大させて、表示手段の一画面上で、それぞれ別領域に表示させ、操作指示入力手段に、撮像方向変更手段及び画角変更手段の操作を決定する指示を入力させるステップを含むことを特徴とする。

請求項１に記載の制御装置、および請求項６に記載の制御方法においては、制御装置には、ビデオカメラの撮像方向を変更する撮像方向変更手段と、ビデオカメラの画角を変更する画角変更手段と、撮像方向変更手段及び画角変更手段を操作するための指示が入力される操作指示入力手段と、ビデオカメラにより撮像された画像を表示する表示手段とが備えられている。そして、撮像可能な方向の範囲の全部または一部を分けて撮像した画像群を連結して広い範囲を見渡せるパノラマ画像と、画角及び撮像方向でビデオカメラにより現在撮像されている撮像中の画像と、撮像方向変更手段及び画角変更手段に対する操作により得られると予測されるプレビュー画像とが、撮像中の画像およびプレビュー画像がパノラマ画像の対応箇所より拡大されて、表示手段の一画面上で、それぞれ別領域に表示され、操作指示入力手段に、撮像方向変更手段及び画角変更手段の操作を決定する指示を入力される。

請求項１に記載の制御装置、および請求項６に記載の制御方法によれば、撮像装置を円滑に制御することが可能となる。

図１は、本発明の実施の形態の構成例を示すブロック図である。

この図において、テレビカメラ１は、被写体の光画像を対応する電気信号（例えば、ＮＴＳＣ信号）に光電変換し、得られたビデオ信号を出力するようになされている。また、テレビカメラ１は、ワークステーション３からＲＳ２３２Ｃ端子を介して伝送されてきた制御信号に応じて、ズーム、フォーカス、露出、ホワイトバランスなどを適宜設定することが可能とされている。

パンチルタ２は、ビデオカメラ１の光軸を左右方向にパンニング（左右移動）させるとともに、上下方向にチルティング（上下移動）させるようになされている。

ワークステーション３は、パーソナルコンピュータ５から伝送されてきた制御コマンドに基づいてビデオカメラ１およびパンチルタ２を制御するとともに、ビデオカメラ１から出力されたビデオ信号を記録する。また、ワークステーション３は、インターネット４を介して、ビデオ信号や制御コマンドなどをパーソナルコンピュータ５との間で授受するようになされている。

パーソナルコンピュータ５は、ビデオカメラ１により撮像され、ワークステーション３およびインターネット４を介して伝送されてきた画像データをＣＲＴモニタ６に表示するとともに、マウス７（入力手段）などの入力装置から入力された情報に対応する制御コマンドを、インターネット４を介してワークステーション３に伝送するようになされている。

図２は、図１に示すワークステーション３の詳細な構成例を示すブロック図である。

この図において、インタフェース３０（設定手段）は、パンチルタ２に対して制御信号を出力してビデオカメラ１をパンニングまたはチルティングさせるとともに、現在のパンチルタ２の状態（パンニングおよびチルティングの状態）を取得するようになされている。ＣＰＵ３１（予測手段、設定手段、検索手段、変換手段、合成手段）は、装置の各部を制御するとともに、各種演算処理を実行するようになされている。

ビデオキャプチャ３２は、ビデオカメラ１から出力されるＮＴＳＣ規格に準拠したビデオ信号をディジタル信号（画像データ）に変換するようになされている。ハードディスクドライブ３３（第１の記憶手段、第２の記憶手段）は、ビデオキャプチャ３２より入力された画像データを必要に応じて記録するとともに、各種プログラムなどを記録するようになされている。

ＲＯＭ３４は、例えば、ＩＰＬ（Initial Program Loader）などの基本的なプログラムや各種データなどを格納している。ＲＡＭ３６は、例えば、ＣＰＵ３１が所定の処理を実行する際に、演算途中のデータやプログラム等を格納するようになされている。

ネットワークインターフェース３７（受信手段、送信手段）は、ワークステーション３の内部形式のデータをインターネットプロトコルに準じたデータ変換して出力するとともに、インターネット４を介して伝送されてきたデータを、ワークステーション３の内部形式のデータに変換するようになされている。

なお、ワークステーション３は、正確には、イーサネット(登録商標)を介してインターネット４に接続されている。以下では、このワークステーション３を、適宜、サーバと呼ぶことにする。

図３は、図１に示すパーソナルコンピュータ５の詳細な構成例を示すブロック図である。

この図において、ネットワークインタフェース５０（送信手段）は、インターネット４を介して伝送されてきたデータをパーソナルコンピュータ５の内部形式のデータに変換するとともに、パーソナルコンピュータ５の内部形式のデータをインターネットプロトコルに準じたデータに変換し、インターネット４に出力するようになされている。

ＣＰＵ５１（予測手段、決定手段、選択手段）は、装置の各部を制御するとともに、各種演算処理を実行するようになされている。ＲＯＭ５２は、例えば、ＩＰＬなどの基本的なソフトウエアやデータなどを格納するようになされている。

フレームメモリ５５（出力手段）は、ハードディスクドライブ５６（第１の記憶手段、第２の記憶手段）に記録されている画像データや、インターネット４を介して伝送されてきた画像データが書き込まれると、これをＲＧＢ信号に変換してＣＲＴモニタ６に出力するようになされている。

ＲＡＭ５４は、ＣＰＵ５１が種々の演算を行う際の途中経過のデータやプログラムなどを格納するようになされている。ハードディスクドライブ５６は、インターネット４を介して伝送されてきた画像データや各種プログラムなどを記録するようになされている。

インタフェース５７は、マウス７などの入力装置から出力されるデータを受信し、ＣＰＵ５１に対して供給するようになされている。

なお、パーソナルコンピュータ５は、ブラウザソフト並びにサーバから送られてくるJAVA(登録商標)言語で記述されたソフトウエアにより、画像表示、操作入力の受け付け、記録または再生、および、通信などの処理を行うようになされている。

次に、以上の実施の形態の動作について、図４に示すフローチャートを参照して説明する。

図４は、図３に示すパーソナルコンピュータ５において実行される処理の一例を説明するフローチャートである。

この処理が実行されると、パーソナルコンピュータ５のＣＰＵ５１は、ステップＳ１において、初期化処理を行う。即ち、ＣＰＵ５１は、例えば、公衆回線などを介してインターネット４と接続してワークステーション（サーバ）３との間で情報の授受を開始する。

続くステップＳ２では、ＣＰＵ５１は、カメラ１が撮影可能な範囲の画像（以下、パノラマ画像と言う）を伝送するように、ワークステーション３に対して要求を行う。その結果、ワークステーション３のＣＰＵ３１は、ビデオカメラ１によって予め撮像されてハードディスクドライブ３３に格納されているパノラマ画像を読み出して、ネットワークインタフェース３７を介して送信する。パーソナルコンピュータ５のＣＰＵ５１は、ワークステーション３から送信されたパノラマ画像をネットワークインタフェース５０により受信して、ハードディスクドライブ５６に記録させるとともに、ＣＲＴモニタ６に表示させる。

図５は、このとき、ＣＲＴモニタ６に表示される画像の表示例である。この表示例では、パノラマ画像１００が表示され、その中央にビデオカメラ１により現在撮影されている画像が枠１０１で囲繞されて示されている。この枠１０１は、ＣＲＴモニタ６の画面と同一のアスペクト比となるようにされている。また、枠１０１内部の画像は、画面の右上部に拡大されて、現在撮影中の画像１０２として表示される。操作実行前のプレビュー画像（以下、適宜プレビュー画像という）１０４および枠１０２に関しては後述する。

なお、長方形の枠を表示する代わりに、枠内部の領域の色調を他の部分とは異なるようにし、この領域が目立つようにしてもよい。

ステップＳ３において、ＣＰＵ５１は、イベント待ち状態となる。即ち、ＣＰＵ５１は、例えば、マウス７が移動されたり、ボタンが操作されるなどのイベントが発生するまで待機する。そして、イベントが発生した場合には、ステップＳ４に進む。

ステップＳ４では、ＣＰＵ５１は、マウス７のボタンが押された（プレスされた）か否かを判定する。その結果、ボタンが押された（ＹＥＳ）と判定した場合には、ステップＳ５に進む。また、ボタンが押されていない（ＮＯ）と判定した場合は、ステップＳ１２に進む。

ステップＳ４において、マウス７のボタンが押された（ＹＥＳ）と判定された場合には、ステップＳ５に進む。ステップＳ５では、マウス７の画面上における位置が取得され、ステップＳ６に進む。

ステップＳ６では、ＣＰＵ５１は、マウス７のボタンが押された位置が図４に示す枠１０１の上（または、枠の近傍）であるか否かを判定する。その結果、マウス７のボタンが押された位置が枠１０１の上ではない（ＮＯ）と判定した場合には、ステップＳ７に進む。また、枠１０１の上である（ＹＥＳ）と判定した場合には、ステップＳ１０に進む。

ステップＳ１０では、画角変更のためのドラッグ処理が開始される。即ち、ＣＰＵ５１は、図６に示すように、マウス７の移動距離に応じて枠１０１を拡大または縮小して新たな枠１０２として表示する。このとき、枠１０２は、枠１０１と同一の中心点とされるとともに、元の枠１０１と相似形になるように描画される。そして、ステップＳ９に進む。

ステップＳ６において、枠１０１の上ではない（ＮＯ）と判定された場合には、ステップＳ７に進み、枠１０１の内部でマウス７のボタンが押されたか否かを判定する。その結果、枠１０１の内部ではない（ＮＯ）と判定された場合には、ステップＳ８に進む。また、枠１０１の内部である（ＹＥＳ）と判定した場合には、ステップＳ１１に進み、画角を一定に保ったままのドラッグが開始される。即ち、ＣＰＵ５１は、マウス７の移動に応じて、同じ大きさの枠１０２を新たに描画するとともに、以前の枠１０２を消去する。その結果、枠１０２は、マウス７に追従するように移動されることになる。そして、ステップＳ９に進む。

ステップＳ７において、枠１０１の内部ではない（ＮＯ）と判定された場合には、ステップＳ８に進む。ステップＳ８においては、ＣＰＵ５１は、マウス７のボタンが押された位置を中心として新たな枠１０２を表示する。そして、マウス７が移動されている場合には、新たに表示された枠１０２の移動を開始する。即ち、枠１０１の位置とは無関係に枠１０２（枠１０１と同サイズの枠）が描画される。

続くステップＳ９においては、ＣＰＵ５１は、ハードディスクドライブ５６に格納されているパノラマ画像から、枠１０２により囲繞されている領域に対応する画像データを読み出し、拡大または縮小などの処理を施した後、図５に示すように、画面の左上部に操作実行前のプレビュー画像１０４として表示する。そして、ステップＳ３に戻り、前述の場合と同様の処理を繰り返すことになる。

また、ステップＳ４において、マウス７のボタンが押されていない（ＮＯ）とＣＰＵ５１が判定した場合には、ステップＳ１２に進む。ステップＳ１２では、マウス７のボタンがリリースされた（離された）か否かを判定する。その結果、マウス７のボタンがリリースされた（ＹＥＳ）と判定した場合にはステップＳ１３に進み、また、ボタンがリリースされていない（ＮＯ）と判定した場合には、ステップＳ１７に進む。なお、以下では、ステップＳ１８乃至ステップＳ２１の処理をステップＳ１３乃至ステップＳ１６の処理に優先して説明する。

ステップＳ１７では、ＣＰＵ５１は、マウス７が移動されているか否かを判定する。その結果、マウス７が移動されていない（ＮＯ）と判定した場合には、ステップＳ２３に進む。また、マウス７が移動されている（ＹＥＳ）と判定した場合には、ステップＳ１８に進む。

ステップＳ１８では、ＣＰＵ５１は、マウス７がドラッグ中（ボタンが押されたまま移動されている状態）であるか否かを判定する。その結果、マウス７がドラッグ中ではない（ＮＯ）と判定した場合には、ステップＳ３の処理に戻り、前述の場合と同様の処理を繰り返す。また、ドラッグ中である（ＹＥＳ）と判定した場合にはステップＳ１９に進む。

ステップＳ１９では、画角の変更処理を現在実行中であるか否かが判定される。即ち、ＣＰＵ５１は、前回の処理のステップＳ６において、枠１０１の上でマウス７のボタンが押されたと判定した場合には、ＹＥＳと判定して、ステップＳ２２に進む。また、その他の場合には、ステップＳ２０に進む。

ステップＳ２０では、ＣＰＵ５１は、マウス７の移動方向に対応して大きさの等しい新たな枠１０２を描画するとともに、以前の枠１０２を消去する。その結果、枠１０２がマウス７に追従して移動することになる。

また、ステップＳ１９において、ＮＯと判定された場合には、ステップＳ２２に進み、ＣＰＵ５１は、マウス７のボタンが押された時点における枠１０２（または枠１０１）の大きさを基準とし、マウス７の移動距離に応じて、枠１０２を縮小または拡大して描画する。そして、ステップＳ２１に進む。

ステップＳ２１では、ＣＰＵ５１は、ステップＳ２０またはステップＳ２２において描画された新たな枠１０２によって囲繞される領域に対応する画像データを、ハードディスクドライブ５６から読み出して、フレームメモリ５５の所定の領域に書き込む。その結果、枠１０２によって指定される領域の画像が、プレビュー画像１０４として表示されることになる。そして、ステップＳ３に戻り、前述の場合と同様の処理が繰り返される。

ところで、ステップＳ１２において、マウス７のボタンがリリースされた（ＹＥＳ）と判定された場合には、ステップＳ１３に進むことになる。

ステップＳ１３では、ＣＰＵ５１は、ドラッグ処理を終了する。即ち、新たな枠１０２の描画処理とプレビュー画像１０４の表示処理とを中断する。その結果、枠１０２はパノラマ画像１００の所定の位置に表示されたままの状態となり、また、プレビュー画像１０４としては、枠１０２により囲繞された領域の画像が表示された状態となる。

続くステップＳ１４では、ＣＰＵ５１は、枠１０２の位置および大きさから、パンチルタ２の移動させるべき方向と画角をそれぞれ算出する。即ち、枠１０２の中心位置を算出し、その方向にビデオカメラ１の光軸が向くように、パンチルタ２のパン量とチルト量とを算出する。また、枠１０２の大きさを元にして、ビデオカメラ１のズーム量を算出する。そして、ステップＳ１５に進む。

ステップＳ１５では、ＣＰＵ５１は、ステップＳ１４において算出したパン量、チルト量、および、ズーム量をネットワークインタフェース３７に供給し、インターネット４を介してワークステーション３に伝送させる。

その結果、ワークステーション３では、ネットワークインタフェース３７により伝送されてきたデータを受信する。そして、ＣＰＵ３１は、受信したパン量とチルト量とをインタフェース３０を介して、パンチルタ２に供給する。その結果、パンチルタ２は、パン量に応じた角度だけビデオカメラ１を左右方向に移動させるとともに、チルト量に応じた角度だけ上下方向にビデオカメラ１を上下方向に移動させる。

更に、ＣＰＵ３１は、ズーム量をインターフェース３０を介してビデオカメラ１に対して出力する。その結果、ビデオカメラ１の光学系が制御されて、ズーム量に対応した分だけズーミングが行われることになる。

ビデオカメラ１およびパンチルタ２の設定が終了すると、ＣＰＵ３１は、ビデオカメラ１から出力される画像をビデオキャプチャ３２によりディジタルデータ（画像データ）に変換し、ネットワークインタフェース３７を介して、パーソナルコンピュータ５に対して送信する。このようにして送信された画像データは、ステップＳ２３以降の処理により受信されて表示されることになる。なお、その詳細については後述する。

図４に戻って、ステップＳ１６では、枠１０２およびプレビュー画像１０４が画面上から消去される。即ち、現在撮影されている画像のみが画面上に表示されることになる。そして、ステップＳ３の処理に戻り、前述の場合と同様の処理を繰り返すことになる。

ところで、ステップＳ１７において、マウス７が移動されていない（ＮＯ）と判定された場合には、ステップＳ２３に進むことになる。

ステップＳ２３では、ＣＰＵ５１は、ワークステーション３から伝送されてきた画像データを受信したか否かを判定する。その結果、画像データを受信していない（ＮＯ）と判定した場合には、ステップＳ２６に進み、エラーが生じたことを示すメッセージ（例えば、「通信エラーが発生しました。」）をＣＲＴモニタ６に表示し（イベントが発生している場合に、ステップＳ４，Ｓ１２，Ｓ１７，Ｓ２３の全てにおいてＮＯと判定されることはあり得ないので）、ステップＳ３に戻って、前述の場合と同様の処理を繰り返す。また、ステップＳ２３において、画像データを受信した（ＹＥＳ）と判定した場合にはステップＳ２４に進む。

ステップＳ２４においては、ＣＰＵ５１は、ネットワークインタフェース５０により受信した画像データを、現在撮影中の画像１０２として、ＣＲＴモニタ６に表示する。そして、ステップＳ２５に進み、ＣＰＵ５１は、次の画像の送信を要求するコマンドを、ネットワークインタフェース５０を介して、ワークステーション３に対して送出する。そして、ステップＳ３に戻り、前述の場合と同様の処理を繰り返すことになる。

次に、以上の処理を更に具体的に説明する。

いま、パーソナルコンピュータ５の電源が投入されたとすると、ステップＳ１において、初期化が実行されるとともに、ワークステーション３との間に回線が閉結される。そして、ステップＳ２において、パーソナルコンピュータ５は、ワークステーション３に対してパノラマ画像を伝送するように要求するコマンドを送信し、その結果として受信されたパノラマ画像をＣＲＴモニタ６に表示する（図５参照）とともに、ハードディスクドライブ５６に格納する。

ステップＳ３では、イベント待ちの状態となり、マウスが操作されたり、画像データが受信されるまで待機状態となる。

いま、例えば、図５に示す画面（正確には、プレビュー画像１０４と枠１０２とが表示されていない画面）において、枠１０１の上においてマウス７のボタンが押されたとすると、ステップＳ３からステップＳ４に進み、そこでＹＥＳと判定されて、ステップＳ５に進む。

ステップＳ５では、マウス７の位置が取得され、ステップＳ６では、この取得された位置により、マウスカーソルが枠１０１の上に存在しているか否かが判定される。いま、枠１０１の上に存在しているので、ＹＥＳと判定されてステップＳ１０に進む。

ステップＳ１０では、枠１０２が画面上に新たに表示され（枠１０１と同じ位置に表示され）、マウス７の動きに応じて枠１０２の画角（大きさ）が適宜変更される処理が開始されることになる。

また、枠１０１の枠内にマウスカーソルがある場合に、マウス７のボタンが押されたときには、ステップＳ７においてＹＥＳと判定され、ステップＳ１１に進む。ステップＳ１１では、枠１０２が新たに表示され（枠１０１と同じ位置に表示され）、画角が一定に保たれたままで、枠１０２がマウス７に追従して移動される処理が開始されることになる。

更に、枠１０１とは異なる領域においてマウス７のボタンが押された場合には、ボタンが押された場合のカーソルの位置を中心として、枠１０１と同様の大きさの枠１０２が表示される。そして、ステップＳ９では、プレビュー画像１０４が生成され、ＣＲＴモニタ６の画面上に表示されることになる。

そして、新たな枠１０２が表示された状態において、マウス７がドラッグされると、ボタンはリリースされていないので、ステップＳ１２ではＮＯと判定され、ステップＳ１７に進み、そこで、ＹＥＳと判定され、ステップＳ１８に進む。

ステップＳ１８では、ドラッグ中であるのでＹＥＳと判定され、ステップＳ１９に進む。ステップＳ１９では、画角を変更する処理が行われているか否かが判定され、画角を変更する処理を実行中である場合（ドラッグの開始点が枠１０１の上であった場合）には、ステップＳ２２に進み、枠１０２の大きさがマウス７移動距離に応じて変更される。また、その他の場合（ドラッグの開始点が枠１０２の内部または外部である場合）は、枠１０２をマウス７に応じて移動させる。そして、ステップＳ２１において、プレビュー画像１０４が画面上に表示されることになる。

従って、マウス７がドラッグされている際には、枠１０２により囲繞されている領域に対応する画像が、プレビュー画像１０４として画面上に次々と表示されるので、操作者は、この画像を参照しながら、実際に見たい部分を検索することが可能となる。

そして、実際に見たい部分が決定した場合には、マウス７のドラッグが中止されて、ボタンがリリースされるので、ステップＳ１２においてＹＥＳと判定され、ステップＳ１４において、現在の枠１０２の大きさと位置からズーム量、パン量、および、チルト量が算出され、ワークステーション３に対して送信される。その結果、ビデオカメラ１の光軸の方向が制御されるとともに、ズーミングが行われ、得られた画像データがインターネット４を介して伝送されてくる。

画像データを受信したパーソナルコンピュータ５は、ステップＳ２３において、画像を受信した（ＹＥＳ）と判定し、ステップＳ２４に進み、受信した画像をＣＲＴモニタ６に表示する。そして、ステップＳ２５に進み、次の画像の送信を要求する。以下、同様の処理が繰り返され、ビデオカメラ１により撮像された画像が次々と伝送され、ＣＲＴ６の画面に現在撮影中の画像１０２として表示されることになる。

なお、図７に示すように、枠１０１と枠１０２の一部が重なっている場合には、重なっている部分の領域の画像は、ビデオカメラ１により現在撮影されて伝送されてきている画像を表示し、また、それ以外の領域は、パノラマ画像から抽出して表示するようにしてもよい。そのような方法によれば、枠１０２と枠１０１の領域が重なっている場合には、一部動画を表示することが可能となる。

更に、図８に示すように、現在撮影中の画像の一部の領域を拡大（ズーミング）する場合には、パノラマ画像を用いずに、ビデオカメラ１により撮像されて伝送されて来ている画像データを拡大して表示するようにしてもよい。その場合、元の画像を構成している各画素を所定倍数の画素により表現する処理（アップコンバート処理）を行うようにすれば、画像を動画として表示することも可能である。

更にまた、図９に示すように、ワークステーション３側から複数の画像が既に伝送されきている場合には、パノラマ画像を用いる代わりに、これらの画像を用いてプレビュー画像１０４を表示させることも可能である。

即ち、パーソナルコンピュータ５において、何回かの操作（ビデオカメラ１を制御する操作）が実行され、ワークステーション３から異なる複数の画像が伝送された場合には、ハードディスクドライブ５６には、例えば、図９に示すように画像Ａ乃至Ｌが格納されている。そのような場合には、パノラマ画像の代わりに最新の画像である画像Ａ乃至Ｌを用いることができる。

そのような場合の動作について、図１０および図１１のフローチャートを参照して説明する。

なお、以下の実施の形態においては、ワークステーション３から伝送されてくる画像データには、その画像データの撮影情報を示す付帯情報が付加されおり、パーソナルコンピュータ５のＣＰＵ５１は、付帯情報が付加された画像データを受信して、ハードディスクドライブ５６に格納する。付加情報は、パンチルタの制御量（パン量およびチルト量）、ホワイトバランス値、露出値、ズーム値、フォーカス値、および、撮影がなされた日時などから構成される情報である。

図１０に示す処理は、図４に示すステップＳ９およびステップＳ２１に該当する処理であり、これらの処理を以下に示す処理により置換することにより、パノラマ画像の代わりに最新の画像を用いてプレビュー画像を表示することが可能となる。

図１０に示す処理が実行されると、ステップＳ４０において、パーソナルコンピュータ５のＣＰＵ５１は、生成しようとするプレビュー画像（以下、適宜目的画像と記述する）の設定情報を取得する。即ち、図４のステップＳ８，Ｓ１９，Ｓ２２において取得された枠１０２の画角および位置を取得する。また、生成しようとする目的画像の撮像条件（例えば、ホワイトバランス値、露出値、ズーム値など）を、例えば、図１２に示すような設定画面において入力する。

図１２に示す設定画面では、ホワイトバランス値、露出値、および、ズーム値がそれぞれ対応するスライダを適宜上下することにより入力されるようになされている。例えば、画面左端のホワイトバランスでは、スライダ２００を上端まで移動させた場合には、ホワイトバランス値は６０００゜Ｋに設定される。また、スライダ２００を下端まで移動させた場合には、ホワイトバランス値は、３０００゜Ｋに設定される。

図１０に戻って、ステップＳ４１では、ＣＰＵ５１は、ハードディスクドライブ５６に格納されている付帯情報を参照し、目的画像を生成する際に必要な画角を含んでいる画像データ（以下、適宜、元画像と記述する）を検索する。即ち、図１３に示すように、太枠で示す目的画像を生成する場合には、画像Ａ乃至Ｄが検索されることになる。

続くステップＳ４２においては、生成しようとする目的画像を、同一の元画像から生成することができる領域に分割する。即ち、図１３に示すように、目的画像に対応する領域を領域１乃至領域１０に分割する。そして、ステップＳ４３に進む。

ステップＳ４３では、領域１乃至１０のそれぞれの領域において最適な元画像を選択し、選択した元画像に対して所定の変換処理を施して合成する。なお、この処理の詳細については図１１を参照して後述する。

ステップＳ４４においては、ステップＳ４３において合成された画像がＣＲＴモニタ６に表示されることになる。

次に、図１１を参照してステップＳ４３の処理の詳細について説明する。

この処理が実行されるとステップＳ６０において、ＣＰＵ５１は、変数Ｄに対して分割された領域の数（図１３の例では値“１０”）を代入する。そして、ステップＳ６１に進む。

ステップＳ６１では、ＣＰＵ５１は、処理回数を格納する変数ｉを値０に初期設定する。

続くステップＳ６２においては、ＣＰＵ５１は、第ｉ番目の領域において、最適な元画像を選択する。例えば、ｉ＝５であるとすると、対象となる領域は領域５となる。この領域５を含む元画像としては、画像Ａと画像Ｂとが存在する。画像Ｂは画像Ａよりも狭い撮像範囲で撮影されているので、例えば、最適な画像としては解像度が高い画像Ｂの方が選択されることになる。

なお、撮影画像が時事刻々と変化する場合には、例えば、撮影時刻が目標の時刻により近い方を選択するようにしてもよい。

また、元画像が存在しない領域（例えば、図１３の領域６）は、例えば、画像を表示しないようにするか、または、この部分だけパノラマ画像から取得するようにしてもよい。

ステップＳ６３においては、ＣＰＵ５１は、ステップＳ６２において選択された元画像の付帯情報を参照して、この選択された画像が、生成しようとする目的画像と同一の倍率の画像となるように、選択された画像に対して拡大または縮小処理を行う。

ステップＳ６４では、ＣＰＵ５１は、ステップＳ６２において選択された元画像が、生成しようとする目的画像の撮影条件と同一になるように、選択された元画像に対して所定の変換処理を施す。なお、この処理の詳細については後述する。

ステップＳ６５では、ＣＰＵ５１は、変換処理が施された元画像をフレームメモリ５５の所定の領域に書き込むとともに、既にフレームメモリ５５上に格納されている他の元画像との境界面が自然に連接されるようにスムージング処理を施す。

ステップＳ６６では、変数ｉの値が１だけインクリメントされ、ステップＳ６７において、変数ｉの値が分割された領域数Ｄよりも小さいか否かが判定され、その結果、ｉの値がＤの値よりも小さい（ＹＥＳ）と判定された場合には、ステップＳ６２に戻り、前述の場合と同様の処理が繰り返される。また、ｉの値がＤの値以上である（ＮＯ）と判定された場合には、ステップＳ４４の処理に復帰（リターン）する。

図１４は、ステップＳ６４において実行される変換処理の詳細をブロック図として示したものである。この図では、図の左端から元画像が入力され、種々の変換が施された後、図の右端から変換後の画像（目的画像）が出力される。なお、図１４の上部に示されているシグナルフローは、図の下部に示されているブロック図の概要を説明している。

以下では、図１４の上部に示されているシグナルフローについて説明した後、図の下部に示されているブロック図を参照して変換処理について詳述する。

この図において、入力された元画像の画素値５００は、変換部５０１に供給される。一方、元画像の撮影条件５０３は、比較部５０４に入力される。また、この比較部５０４には目的画像の撮影条件５０５も入力されている。比較部５０４は、元画像の撮影条件５０３と目的画像の撮影条件５０５とを比較し、その比較結果を変換部５０１に対して供給する。

変換部５０１は、目的画像の撮影条件と同一になるように、入力された元画像の画素値５００に対して変換処理を施す。そして、得られた画素値を目的画像の画素値５０２として出力する。以上の処理の結果、入力された元画像の画素値５００は、目的画像と同一の撮影条件の画像に変換されて出力される。従って、全ての領域（図１３では領域１乃至１０）の画素値に対して同様の処理を繰り返すことにより、異なる撮影条件において撮影された画像から、同一の撮影条件において撮影された１枚の画像を近似的に合成することが可能となる。

次に、図１４の下部に示す図について説明する。

Ｒ，Ｇ，Ｂの三原色から構成される元画像の画素値４００（元画像の画素値５００に対応する）は、デガンマ処理部３００−１乃至３００−３にそれぞれ供給される。デガンマ処理部３００−１乃至３００−３は、ガンマ補正が施されている画素値に対して逆ガンマ処理を施し、輝度に比例した値を有する画素値に変換する。

乗算部３０１−１乃至３０１−３は、デガンマ処理部３００−１乃至３００−３から出力された画素値に対して露出値較正処理部３０８の出力を乗算し、得られた画素値を出力する。露出値較正処理部３０８は、元画像の露出値３０７と目的画像の露出値３１１とを比較し、例えば、ＡＧＣ（Auto Gain Control）と絞りが固定であるならば、電子シャッタの時間の比を乗算部３０１−１乃至３０１−３に出力する。その結果、乗算部３０１−１乃至３０１−３から出力される画素値は、目的画像と同一の露出値により撮影された場合の想定値に変換される。

飽和処理部３０２−１乃至３０２−３は、ＣＣＤの各色の画素の飽和特性を考慮した変換を施す。即ち、ＣＣＤは所定以上の強度の光が入射されると出力が飽和するので、乗算部３０１−１乃至３０１−３から出力された画素値が同様の特性を有するようにクリッピング処理を施す。

色温度デコード処理部３０９は、元画像のホワイトバランス値３０６と目的画像のホワイトバランス値３１０とを比較し、各色毎の補正量を算出し、算出された補正量を乗算部３０３−１乃至３０３−３に対して出力する。乗算部３０３−１乃至３０３−３は、飽和処理部３０２−１乃至３０２−３から出力される画素値に対して色温度デコード処理部３０９から出力される補正量を乗算して出力する。

色消し処理部３０４は、画素値が高輝度または低輝度の範囲であることに起因して色の再現が困難である場合には、色を消す処理を行い、得られた画素値を出力する。ガンマ処理部３０５−１乃至３０５−３は、色消し処理が施された画素値に対してガンマ処理を施し、Ｒ’，Ｇ’，Ｂ’の画素値（目的画像の画素値）として出力する。

このような処理により、目的画像の撮影条件と元画像の撮影条件に応じて元画像の画素値が変換されて出力されることになる。即ち、以上の処理を要約すると、ビデオカメラ１の内部で行われる信号処理をクライアント側（パーソナルコンピュータ５側）で再度実行し、目的画像の撮影条件と同一の条件で撮影された場合に得られると想定される画像を生成する。従って、以上のような実施の形態によれば撮影条件の異なる複数の元画像から、所定の撮影条件下において撮影されたのと同等の画像（目的画像）に変換することが可能となる。

以上の実施の形態によれば、ビデオカメラ１とパーソナルコンピュータ５が通信回線などにより接続されている場合、操作者側に存在しているパノラマ画像や既に伝送されている画像を用いて操作の結果を予測して表示するようにしたので、所望の画像を得るための試行錯誤が操作者付近ですべて行われることになり、制御を迅速に行うことが可能となる。また、確定された制御信号のみが伝送されることになるので、ビデオカメラ１に余計な負担がかかることを防止することも可能となる。

なお、以上の実施の形態においては、画像データの変換処理と合成処理をパーソナルコンピュータ５において行うようにしたが、例えば、同様の処理をワークステーション３において実行することも可能である。その場合、ワークステーション３のハードディスクドライブ３３に格納されている画像から合成処理を行うことから、パーソナルコンピュータ５側に画像が多数伝送されていない場合においても、上述のような処理を実行することができる。

また、以上の実施の形態においては、パーソナルコンピュータ５によりビデオカメラ１を制御するようにしたが、ワークステーション３を画像データベースと見なし、所望の画像データを検索する際に、以上の実施の形態を適用するようにしてもよい。そのような実施の形態によれば、過去に遡って画像を検索したり、実際には撮像していない方向または倍率の画像を生成したり、撮像条件を変えた画像を生成することも可能である。

なお、明細書中において、伝送媒体は、ＦＤ，ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、ディジタル衛星などのネットワーク伝送媒体も含まれる。

本発明の実施の形態の構成例を示す図である。 図１に示すワークステーション３の詳細な構成例を示すブロック図である。 図１に示すパーソナルコンピュータ５の詳細な構成例を示すブロック図である。 図１に示すパーソナルコンピュータ５において実行される処理の一例を説明するフローチャートである。 図４に示す処理が実行された場合において、ＣＲＴモニタ６に表示される画像の表示例を示す図である。 図４に示す処理が実行された場合において、ＣＲＴモニタ６に表示される枠１０２の一例を示す図である。 図４に示す処理が実行された場合において、枠１０１と枠１０２の一部が重なった場合には撮影画像を用いるようにしたときの表示例である。 図４に示す処理が実行された場合において、撮影画像から予測画像を予測するときの表示例を示す図である。 撮影条件が異なる複数の画像から予測画像を生成する場合の予測画像と元画像との関係を示す図である。 撮影条件が異なる複数の画像から予測画像を生成する場合の処理の一例を説明するフローチャートである。 図９に示す合成処理の詳細を説明するフローチャートである。 撮影条件を入力するための画面の表示例を示す図である。 画像の分割の一例を説明する図である。 撮影条件の変換処理の一例を示すシグナルフロー図である。

符号の説明

７ マウス（入力手段）， ３０ インタフェース（設定手段）， ３１ ＣＰＵ（予測手段、設定手段、合成手段）， ３３ ハードディスクドライブ（第１の記憶手段、第２の記憶手段）， ３７ ネットワークインタフェース（受信手段、送信手段）， ５０ ネットワークインタフェース（送信手段）， ５１ ＣＰＵ（予測手段、決定手段、選択手段、検索手段、変換手段、合成手段）， ５５ フレームメモリ（出力手段）， ５６ ハードディスクドライブ（第１の記憶手段、第２の記憶手段）

Claims (6)

1. インターネット通信網を用いて、遠隔地に設置されたビデオカメラで撮像された画像を監視するユーザの操作に応じて、上記ビデオカメラの遠隔制御を行う制御装置において、
   上記ビデオカメラの撮像方向を変更する撮像方向変更手段と、
   上記ビデオカメラの画角を変更する画角変更手段と、
   上記撮像方向変更手段及び上記画角変更手段を操作するための指示が入力される操作指示入力手段と、
   上記ビデオカメラにより撮像された画像を表示する表示手段と
   を備え、
   撮像可能な方向の範囲の全部または一部を分けて撮像した画像群を連結して広い範囲を見渡せるパノラマ画像と、
   上記画角及び上記撮像方向で上記ビデオカメラにより現在撮像されている撮像中の画像と、
   上記撮像方向変更手段及び上記画角変更手段に対する操作により得られると予測されるプレビュー画像とが、
   上記撮像中の画像および上記プレビュー画像が上記パノラマ画像の対応箇所より拡大されて、上記表示手段の一画面上で、それぞれ別領域に表示され、
   上記操作指示入力手段には、上記撮像方向変更手段及び上記画角変更手段の操作を決定する指示が入力される
   ことを特徴とする制御装置。
2. 上記表示手段は、上記画角及び上記撮像方向で上記ビデオカメラにより現在撮像されている画像に対応する領域を、上記パノラマ画像上に表示する
   ことを特徴とする請求項１に記載の制御装置。
3. 上記操作指示入力手段により入力された操作に基づく方向および画角となるように上記ビデオカメラを駆動させる駆動コマンドを送信したタイミングで、上記表示手段から、上記プレビュー画像と、上記現在撮像されている画像に対応する領域とが上記表示手段から消去される
   ことを特徴とする請求項２に記載の制御装置。
4. 上記表示手段は、上記ビデオカメラにより撮像可能な範囲において所定の撮影条件により撮像された基準画像を元にして行われる予測処理に基づく上記プレビュー画像を表示する
   ことを特徴とする請求項１に記載の制御装置。
5. 上記プレビュー画像は、上記ビデオカメラにより複数の画角で撮像された複数の画像を基に作成されている
   ことを特徴とする請求項１に記載の制御装置。
6. インターネット通信網を用いて、遠隔地に設置されたビデオカメラで撮像された画像を監視するユーザの操作に応じて、上記ビデオカメラの遠隔制御を行う制御装置の制御方法において、
   上記制御装置は、
   上記ビデオカメラの撮像方向を変更する撮像方向変更手段と、
   上記ビデオカメラの画角を変更する画角変更手段と、
   上記撮像方向変更手段及び上記画角変更手段を操作するための指示が入力される操作指示入力手段と、
   上記ビデオカメラにより撮像された画像を表示する表示手段と
   を備え、
   撮像可能な方向の範囲の全部または一部を分けて撮像した画像群を連結して広い範囲を見渡せるパノラマ画像と、
   上記画角及び上記撮像方向で上記ビデオカメラにより現在撮像されている撮像中の画像と、
   上記撮像方向変更手段及び上記画角変更手段に対する操作により得られると予測されるプレビュー画像とを、
   上記撮像中の画像および上記プレビュー画像が上記パノラマ画像の対応箇所より拡大させて、上記表示手段の一画面上で、それぞれ別領域に表示させ、
   上記操作指示入力手段に、上記撮像方向変更手段及び上記画角変更手段の操作を決定する指示を入力させる
   ステップを含むことを特徴とする制御方法。

Images