JP5100288B2 - 表示装置、ネットワークカメラシステム、及び表示方法 - Google Patents

Description

本発明は、遠隔地に離れたカメラをネットワークを通じて制御し、該カメラが撮影した画像を遠隔地において閲覧または蓄積するネットワークカメラシステムなどに関するものである。

従来より、遠隔地に設置されたカメラで撮影された動画をネットワークを通じて伝送し、パーソナルコンピュータ（ＰＣ）で上記動画を受信及び表示し、また遠隔地に設置されたカメラのズームやパン・チルト操作を行う技術が一般的に知られている。このような技術は、テレビ会議システムや監視カメラなどにおいて利用され、製品化されている。

ネットワークを通じて遠隔地に設置されたカメラの制御を行うには、制御命令をネットワークを経由してカメラに送信するため、この制御命令が転送されてくる画像に反映されるまでに遅延（ターンアラウンド）が生じる。この遅延を擬似的に回避する手法として、例えば特許文献１では、遅延時間の間、電子ズームを行い、制御命令が反映された画像が到着したら、電子ズームによる画像をカメラから送られてきた画像に置き換える技術が開示されている。

また特許文献２では、実際に遠隔撮影している主たる動画（ストリーム１）のほかに、パノラマ画像として、広角カメラで撮影した動画像を上記ストリーム１とは別にネットワークを通じてクライアントに伝送する技術が開示されている。

特開平１１−２０５６５３号公報 特開２００４−１８７０６８号公報

しかしながら、上述のようにカメラから離れた遠隔地に置かれたＰＣなどのクライアントからカメラのパン・チルトやズームのような制御を行う場合、クライアントにおいて操作を行ってから、ネットワークに制御命令（コマンド）が送信される。そして、カメラにおいてコマンドが解釈されて、メカ的な制御が行われる。そのため、コマンドがカメラにおいて反映されるまでの時間（ターンアラウンド時間）は長くかかってしまい、遠隔地からのカメラの操作性が良好とはいえない。

そこで本発明においては、上記ターンアラウンド時間がある上で、遠隔地にあるカメラから送られてくる画像の制御命令に対するレスポンスを改善して、操作性が向上したネットワークカメラシステムを提供することを目的とする。

本発明の表示装置は、撮像装置にネットワークを介して接続される表示装置であって、画像を表示させる表示手段と、前記撮像装置の撮像方向を変更させるための指示を入力する入力手段と、前記撮像装置の撮像方向を変更させるための指示の入力に応じて、前記撮像装置へ制御コマンドを送信する送信手段と、前記撮像装置により撮影された第１の画像と、前記第１の画像より撮影範囲が広く、前記第１の画像より解像度が低い第２の画像とを受信する受信手段と、前記受信手段により受信された第２の画像に対し画像の切り出し及び前記第１の画像の解像度に合わせるための解像度の変換を行い、前記第１の画像から切り出した画像に合成する合成手段とを有し、前記合成手段は、前記撮像装置の撮像方向を変更させるための指示に応じて移動した画像を前記表示手段に表示させるために、前記移動した画像に含まれる第１の領域の画像を前記第１の画像から切り出すとともに、前記第２の画像に対し、前記移動した画像に含まれる第２領域の画像の切り出し及び前記解像度の変換を行い、前記第１の領域の画像と前記第２の領域の画像を合成し、前記表示手段は、前記合成手段により合成された前記第１の領域の画像と前記第２の領域の画像の合成画像を表示することを特徴とする。

本発明によれば、表示装置において行った、遠隔地にある撮像装置に対する例えばパン・チルトなどの操作がすぐさま表示装置で表示される画像に反映されるため、快適な操作感を実現することができ、ネットワークカメラシステムの操作性を向上できる。

（第１の実施の形態）
以下、図１〜５に基づき、本発明によるネットワークカメラシステムの第１の実施の形態を説明する。

図１は、本実施の形態に係るネットワークカメラシステムの構成を示す図である。ネットワークカメラシステムには、撮像装置であるカメラ１００と表示装置であるビューワ１２０とが含まれており、これらはネットワークを介して接続する。ネットワークに接続することで、カメラ１００はネットワークに画像を送信可能であり、ビューワ１２０はカメラ１００からネットワークを通じて画像を受信可能である。

カメラ１００は、レンズ１０１、センサ１０２、画像処理部１０３、画像送信部１０４、制御命令受信部１０５、パン・チルト制御部１０６、及びモータ１０７（雲台モータ）を有する。

以上のようなカメラ１００において、センサ１０２は、ＣＣＤやＣＭＯＳなどでなるセンサであり、レンズ１０１を通った光を電気信号に変換する。画像処理部１０３は、センサ１０２からの電気信号を現像処理し、適切な解像度に変換したり、その他の画像処理を行ったりする。画像送信部１０４は、画像処理部１０３で処理された画像をネットワークに送出する。制御命令受信部１０５は、パン・チルト・ズームのような制御命令をネットワークを通じて受信する。パン・チルト制御部１０６は、制御命令受信部１０５が受信した制御命令に基き、カメラ１００を搭載する雲台に内蔵されたモータ１０７を制御する。なお、レンズ１０１及びセンサ１０２は本発明でいう撮影手段に対応し、制御命令受信部１０５は本発明でいう受信手段に対応し、パン・チルト制御部１０６は本発明でいう動作制御手段に対応する。

次にビューワ１２０は、画像受信部１２１、操作検出部１２２、カメラパン・チルト位置受信部１２３、パン・チルト差分検出部１２４、画像切出し部１２５、パン・チルト指示部１２６、画像記録部１２７、及び画像表示部１２８を有する。

以上のようなビューワ１２０において、画像受信部１２１は、画像を外部、即ちカメラ１００から受信する。操作検出部１２２は、パン・チルト・ズームのようなユーザがデジタルユーザインタフェースやキーボードなどを用いて行った操作を検出する。カメラパン・チルト位置受信部１２３は、カメラ１００のパン・チルト制御部１０６からカメラ１００の向き（移動量）などの情報を受信する。パン・チルト差分検出部１２４は、現在表示及び記録中の画像のパン状態とカメラ１００の実際のパン状態の差分を検出する。画像切出し部１２５は、パン・チルト差分検出部１２４が検出した差分を用いてカメラ１００から送られてきた画像から表示及び記録を行うための画像を切出す。パン・チルト指示部１２６は、カメラ１００のパン・チルトの操作指示を行う。画像記録部１２７は画像を記録し、画像表示部１２８は画像を表示する。なお、操作検出部１２２は本発明でいう操作検出手段及び移動量決定手段に対応し、パン・チルト指示部１２６は本発明でいう指示手段に対応し、画像切出し部１２５はパン・チルト差分検出部１２４と相まって、本発明でいう画像処理手段に対応する。

本実施の形態において、カメラ１００はビューワ１２０が表示及び記録する画像サイズより大きな画像を送信しており、ビューワ１２０はカメラ１００から受信した画像の一部を切出して表示及び記録する。ビューワ１２０は、パン・チルト操作をしないときは、カメラ１００から送信される画像の中央部に位置する所定領域を表示画像として切出す。

また、本実施の形態において、カメラ１００のパン・チルト量や、ビューワ１２０における操作によるパン・チルト量は、表示する画素を単位で演算されており、これによりパン・チルト差分検出部１２４での処理を軽微なものにしている。

また本実施の形態において操作検出部１２２は、画像表示部１２８の表面に手やペンが接触した場合にその座標を検出するデジタイザを有している。これにより、操作検出部１２２は、画像表示部１２８に表示されたユーザインターフェースが手やペンで操作された場合にデジタイザにより座標の遷移を検出し、操作状態を検出する。

図２はビューワ１２０上で表示される画面の一例を示す図である。図２に示す画面２００には、画像表示領域２０１、パン操作スクロールバー２０２、チルト操作スクロールバー２０３、及びズーム操作スクロールバー２０４が含まれる。

画像表示領域２０１には、カメラ１００からの画像から切出した表示画像が表示される。パン操作スクロールバー２０２は、パン操作する際に用いられ、スクロールサム２０２ａと、スクロールアロー２０２ｂ及び２０２ｃを含む。チルト操作スクロールバー２０３は、チルト操作する際に用いられ、スクロールサム２０３ａと、スクロールアロー２０３ｂ及び２０３ｃを含む。ズーム操作スクロールバー２０４は、ズーム操作する際に用いられる。

スクロールサム２０２ａ及び２０３ａを例えばペンなどを用いて操作（ドラッグ）した場合は、ドラッグした方向にカメラ１００の向きが移動する。またスクロールアロー２０２ｂ及び２０２ｃ、スクロールアロー２０３ｂ及び２０３ｃのいずれかを操作（ペンダウン）した場合は、左右上下のいずれかの方向へ一定速度でカメラ１００の向きが移動する。この場合には、カメラ１００からの画面がスクロールするように見える。

次に図３を用いて、カメラ１００のパン操作をビューワ１２０で行った場合に画像表示領域２０１に表示される画像ついて説明する。

図３（ａ）は、時間の進行（紙面下方向）とともにＸ軸の正方向（紙面右方向）にパン操作を行ったときのカメラ１００の撮影領域と、ビューワ１２０での表示記録領域とをあらわす図である。

パン操作を行っていない場合、ビューワ１２０は、フレーム１（３０１）に参照されるように、カメラ画像３０１ａで示されるカメラ１００からの画像領域の中央部から表示記録画像３０１ｂで示される領域を切出し、表示及び記録する。

ここでビューワ１２０において、スクロールアロー２０２ｃを押しつづけることにより、図３（ａ）に示すＸ方向にパン操作を継続的に行った場合、ビューワ１２０はカメラ１００に対してパン操作命令（制御命令）をネットワークを通じて送信する。このときにカメラ１００から送られてくる画像は、パン操作を加味しない、フレーム１（３０１）と等しいフレーム２（３０２）に参照される画像である。ここで、ビューワ１２０は、パン操作による移動量（パン操作量）に該当する画素数だけＸ方向にずれた領域を、フレーム２（３０２）に参照されるカメラ画像３０２ａから表示記録画像３０２ｂとして切出して、表示及び記録する。

図３（ｂ）は、フレーム２（３０２）の詳細を示す図である。図３（ｂ）において、パン操作量に該当する画素数は、本図において参照される「ｄ」である。フレーム２（３０２）においては、パン操作の開始直後における切出し位置より「ｄ」だけずらした位置から表示記録画像３０２ｂを切出している。

以上のように、パン操作を開始してからパン操作命令がカメラ１００に伝達され、カメラ１００のパンが開始されるまでは、同様にパン操作が開始された位置よりパン操作量だけずらした位置から画像を切出し、表示及び記録を行うことを繰り返す。フレーム３（３０３）は、フレーム２（３０２）の状態から更にパン操作された状態を示している。

次にカメラ１００自身がパン操作命令を受けてパン動作を始めた場合において、ビューワ１２０が切出す画像について説明する。フレーム４（３０４）のように、カメラ１００の撮影領域がＸ方向に「ｐ４」ピクセル分移動し、この時点でのパン操作量がフレーム１（３０１）に対して「ｄ４」だけ移動した場合、ビューワ１２０は、図３（ａ）に参照される「ｄ４'」を切出し位置とする。この切出し位置「ｄ４'」は、フレーム４（３０４）の中央部から「ｄ４−ｐ４」だけずれた位置になる。

このように、カメラ１００自身のパン動作が始まった場合、ビューワ１２０は、パン操作量からカメラ１００の移動量を差し引いた位置を切出し位置とする。なお、以上の説明において、ビューワ１２０におけるパン操作による移動量が本発明でいう第１の移動量に対応し、カメラ１００の実際の移動量が本発明でいう第２の移動量に対応する。

次にカメラ１００の撮影領域がパン操作により本来表示すべき位置まで移動した場合について説明する。この場合は、例えばフレーム６（３０６）に参照されるように、カメラ１００自身のパンにより、カメラ１００の撮影表示領域が本来表示すべき領域に相当する位置に合致するため、ビューワ１２０は切出し位置の調整を停止する。そして、パン操作に対してカメラ１００のパン動作が追従している間は、カメラ１００から送信されてくる画像の中央部から表示記録画像３０６ｂを切出し、そのまま表示及び記録する。

次に図４は、本実施の形態に係るネットワークカメラシステムにおける処理の流れを説明するフローチャートであり、具体的には図３を用いて説明した内容に係るものである。なお、図４（ａ）はビューワ１２０の処理を説明するフローチャートであり、図４（ｂ）はカメラ１００の処理を説明するフローチャートである。

まずビューワ１２０側の処理のステップＳ４０１において、ビューワ１２０は、パン・チルトなどの操作（操作更新）が行われたかどうかを判定する。操作が行われていたら、ステップＳ４０２において、ビューワ１２０は、理想的なカメラの撮影方向を決定する。次にステップＳ４０３において、ビューワ１２０は、ステップＳ４０２において決定した理想的なカメラの撮影方向と現在のカメラ１００の撮影方向とを比較して、理想的なカメラの撮影方向と現在の撮影方向との差分を抽出する。この差分は、図３（ｂ）のパン操作による移動量「ｄ」、或いは「ｄ４'」に相当する。

次にステップＳ４０４において、ビューワ１２０は、ステップＳ４０３で求めた差分、即ち「ｄ」或いは「ｄ４'」をカメラ１００に伝送する。次にステップＳ４０５においてステップＳ４０３で抽出された差分があると判断したら、ステップＳ４０６においてカメラ１００から受信した画像の中央部から差分、図３の例なら「ｄ」或いは「ｄ４'」だけずらした位置から画像を電子パン・チルトより切出す。そしてステップＳ４０７において、ビューワ１２０は、切出した画像を表示及び蓄積（記録）する。

なお、ステップＳ４０３においては、カメラ１００からの画像が到達する頻度に同期してカメラ１００の撮影方向を受信できるのが望ましい。従って例えば、カメラ１００の撮影方向をカメラ１００の画像のヘッダ情報に入れて送られてくる構成にしても良い。なお、ここでカメラ１００の撮影方向を送信する処理は、本発明でいう通知手段の一処理例に対応する。

一方、カメラ１００側の処理においては、まずステップＳ４１１において、カメラ１００は、ビューワ１２０から操作命令を受信（操作更新）したか否かを判断する。受信していたら、ステップＳ４１２において、カメラ１００は、カメラ方向を移動制御し、ステップＳ４１３においてカメラ１００の撮影方向をビューワ１２０に送信する。また、カメラ１００の方向を移動する（ステップＳ４１２）と同時に、定期的に画像を生成し（ステップＳ４１４：フレームキャプチャ）、ビューワ１２０に送信する。

次に図５を用いて、ユーザの操作、ビューワ１２０及びカメラ１００の動作の時間的な関係の一例を説明する。本図においては、紙面右方向に時間軸を示し、紙面下方向にユーザの操作、ビューワ１２０、カメラ１００の動作を時間軸に対応させて示している。

時間ｔ０から、カメラ１００は、画像を撮影し画像のストリームを生成し、ビューワ１２０に送信している。また、ビューワ１２０は、時間ｔ０から後述ｔ１までは、受信した画像の中央部から切出した画像を表示する。

時間ｔ１からｔ６において、ユーザはスクロールアロー２０２ｃを押下してパン操作を行う。この場合、時間ｔ１にビューワ１２０は、カメラ１００にパン操作命令を通知し、時間ｔ２に、カメラ１００にパン操作命令が到達する。そして時間ｔ３の、パン動作が反映された画像がビューワ１２０に到達する迄の間は、ビューワ１２０はパン操作による画面移動に相当する画素分だけ電子パンする。この電子パンが、図４におけるステップＳ４０６に該当する。

時間ｔ３においてカメラ１００から送られてくる画像にパン動作が反映されはじめたら、ビューワ１２０は、カメラ１００の移動量を加味（考慮）して電子パン画像を生成し、表示及び記録を行う。また、この間、ビューワ１２０から理想的なパンによる移動量を定期的にカメラ１００に通知し、カメラ１００も実際のパンによる移動量を画像データに同期してビューワ１２０に送信する。

時間ｔ５においてカメラ１００のパン動作が、ビューワ１２０の理想パン移動量に追従するようになったら、ビューワ１２０は、再び送られてくる画像の中央部から画像表示記録画像を切出して表示及び記録を行う。

時間ｔ６において、ユーザがビューワ１２０でスクロールアロー２０２ｃからペンを放してパン操作を停止すると、ビューワ１２０からのパン移動量の通知が停止し、時間ｔ７において、カメラ１００でのパン動作も停止する。これ以降、ビューワ１２０においてはカメラ１００から送られてくる画像の中央部から表示記録画像を切出して表示及び記録を行う。

以上、パン操作（横方向のカメラ移動）について説明してきたが、チルト操作（縦方向のカメラ移動）についても同様の処理が行なわれる。

なお、パン・チルト操作により画像周辺部はレンズの収差が大きくなることにより、歪も肥大するが、画像を切出しするときに、歪補正を行うことで、違和感のないパン・チルト画面を生成しても良い。

以上により、従来のカメラでパン・チルト操作を行った場合に生じていた問題、即ち、閲覧している画像に操作が反映されるまでのターンアラウンド時間がかかることにより、操作に対するレスポンスが悪かったという問題が解消される。つまり、本発明により、非常にレスポンス良く表示画像に制御命令を反映させることができ、ストレスなく、カメラの位置調整をリモート制御で行うことが可能となり、操作性が向上する。

(第２の実施の形態)
以下、図６〜９に基づき、本発明によるネットワークカメラシステムの第２の実施の形態を説明する。本実施の形態においては、パン・チルト動作を行わないときにビューワに表示する画像（メインストリーム）とメインストリームより広い領域を撮影した画像（サブストリーム）とを伝送して、パン・チルト動作に対する応答を高速に行う方法について説明する。

図６は、本実施の形態に係るネットワークカメラシステムの構成を示す図である。本実施の形態に係るネットワークカメラシステムには、カメラ１００とビューワ６２０とが含まれており、これらはネットワークを介して接続する。本実施の形態に係るネットワークカメラシステムの構成は、第１の実施の形態に係るネットワークカメラシステムと基本的に同様であるが、ビューワ６２０が図１で示した画像切出し部１２５の代わりに画像合成部６２５を有している点に相違がある。画像合成部６２５は、上述したメインストリームとサブストリームとから画像を切出して合成する処理を行う。なお、画像合成部６２５はパン・チルト差分検出部１２４と相まって、本発明でいう画像処理手段に対応する。

本実施の形態において、カメラ１００のパン操作をビューワ６２０で行った場合に画像表示領域２０１（第１の実施の形態と同様のもの）に表示される画像について図７を用いて説明する。

図７（ａ）は、時間の進行（紙面下方向）とともにＸ軸の正方向（紙面右方向）にパン操作を行ったときのカメラ１００の撮影領域と、ビューワ６２０での表示記録領域とをあらわす図である。

パン操作を行っていない場合、ビューワ６２０には、フレーム１（７０１）に参照されるように、メインストリーム７０１ｂであらわされる領域とサブストリーム７０１ａであらわされる領域の２つの動画ストリームがカメラ１００から送信される。この場合ビューワ６２０は、表示する領域と同一のサイズのメインストリーム７０１ｂを通常、表示及び記録している。サブストリーム７０１ａはメインストリーム７０１ｂより広い領域（広範囲）を撮影するものであるが、解像度はメインストリーム７０１ｂより低いものである。また、メインストリーム７０１ｂはサブストリーム７０１ａの撮影領域の中央部の所定領域に位置するのが理想である。

ここでビューワ６２０において、図７（ａ）のＸ方向にパン操作を継続的に行った場合、ビューワ６２０は、カメラ１００に対してパン操作命令をネットワークを通じて送信する。このときのメインストリームは、パン操作を加味しない、フレーム１（７０１）と等しいフレーム２（７０２）に参照される７０２ｂに示す領域である。ここで、ビューワ６２０は、フレーム２（７０２）に参照されるメインストリーム７０２ｂとサブストリーム７０２ａとからパン操作に該当する表示記録画像７０２ｃを生成する。

図７（ｂ）は、フレーム２（７０２）の詳細を示す図である。図７（ｂ）において、領域１（７２２）と領域２（７２１）が、メインストリーム７０２ｂで送られてきている画像領域である。ここでビューワ６２０は、パン操作を加味した、領域３（７２３）の分だけＸ方向にずれた画像を生成する。即ち、メインストリーム７０２ｂの画像からは、領域２（７２１）除外して領域１（７２２）に相当する「ｄ１」分の画像を切り出し、サブストリーム７０２ａからは、領域３に相当する「ｄ２」分の画像を切り出す。ここで切り出した領域１（７２２）と領域３（７２３）の画像は解像度が異なるものであるため、画素数も異なる。したがって、ビューワ６２０は、領域３（７２３）の分を領域１（７２２）の解像度にあわせるように、即ち領域３（７２３）を高解像度にするように領域３（７２３）を補間する。そして、領域１（７２２）と領域３（７２３）の解像度をあわせて、両者を合成して１つの表示記録画像７０２ｃとし表示及び記録する。

以上のようにして、パン操作があった場合には、メインストリームから所定の領域を切出し、サブストリームから所定の領域を切出して両者を合成する作業を、カメラ１００からのパン・チルト位置が変更になった通知を受信するまで繰り返す。フレーム３（７０３）は、フレーム２（７０２）の状態から更にパン操作された状態を示している。

次にカメラ１００自身がパン操作命令を受けてパン動作を始めた場合において、ビューワ６２０が合成する画像について説明する。ここでは、フレーム４（７０４）のように、メインストリーム７０４ａとサブストリーム７０４ｂの撮影領域がＸ方向に「ｐ４」ピクセル分移動し、パン操作量がフレーム１（７０１）に対して「ｄ４」だけ移動した場合に合成する表示記録画像７０４ｃを例に挙げる。

この場合、メインストリーム７０４ａとサブストリーム７０４ｂとから切り出す領域は、カメラ１００の撮影領域の移動分「ｐ４」ピクセル、及びパン操作量「ｄ４」とを加味したものとなる。図７（ｃ）を用いて説明すると、メインストリーム７０４ａから切出す幅は、メインストリーム７０４ｂのＸ方向の所定の幅から「ｄ４−ｐ４」、つまり図中「ｄ４'」を差し引いたものとなる。即ち、図中に参照される領域１'（７４２）が切出されることになる。また、サブストリーム７０４ａから切出す幅は、「ｄ４−ｐ４」、つまり図中「ｄ４'」となる。即ち、図中に参照される領域３'（７４３）が切出されることになる。

このように、カメラ１００自身のパン動作が始まった場合、ビューワ６２０は、パン操作量とカメラ１００の移動量とを加味した領域を、切出して合成する。

次に、カメラ１００の撮影領域がパン操作により本来表示すべき位置まで移動した場合について説明する。この場合は、例えばフレーム６（７０６）に参照されるように、カメラ１００自身のパンにより、メインストリーム７０６ｂの表示領域が本来表示すべき領域に合致するため、画像の合成を停止する。そして、メインストリームのみの表示に切り替え、パン操作に対してカメラのパン動作が追従している間は、メインストリームの画像をそのまま表示するようにする。

図８は、本実施の形態に係るネットワークカメラシステムにおける処理の流れを説明するフローチャートであり、具体的には図７を用いて説明した内容に係るものである。なお、図８（ａ）はビューワ６２０の処理を説明するフローチャートであり、図８（ｂ）はカメラ１００の処理を説明するフローチャートである。

図８（ａ）においては、図４のステップＳ４０６が、ステップＳ８０６におきかわっている。ステップＳ８０６では、ステップＳ４０３における実際のカメラ１００の撮影方向と理想となるカメラ１００の撮影方向の差分を用いて、メインストリームとサブストリームから、図７でいう領域１、領域３或いは領域１'、領域３'を抽出して合成する。その他の処理は、図４を用いて説明したものと同様であるため説明は省略する。

次に図９を用いて、ユーザの操作、ビューワ６２０及びカメラ１００の動作の時間的な関係の一例を説明する。本図においては、紙面右方向に時間軸を示し、紙面下方向にユーザの操作、ビューワ６２０、カメラ１００の動作を時間軸に対応させて示している。

時間ｔ０から、カメラ１００は、メインストリーム及びサブストリームを生成し、ビューワ６２０に送信している。また、ビューワ６２０は、時間ｔ０から後述ｔ１までは、メインストリームを表示する。

時間ｔ１からｔ４において、ユーザはスクロールバー２０２ｃを押下してパン操作を行う。この場合、時間ｔ１にビューワ６２０は、カメラ１００にパン操作命令を通知し、時間ｔ２に、カメラ１００にパン操作命令が到達する。そして、時間ｔ３の、パン動作が反映された画像がビューワ６２０に到達する迄の間は、ビューワ６２０はメインストリームとサブストリームからあたかもパン動作を行っているように画像を合成する。この画像の合成が、図８におけるステップＳ８０６に該当する。

時間ｔ３においてカメラ１００から送られてくる画像にパン動作が反映されはじめたら、ビューワ６２０は、カメラ１００の移動量を加味して合成画像を生成し、表示及び記録を行う。また、この間、ビューワ６２０からはパン移動量を定期的にカメラ１００に通知する。

時間ｔ４において、ユーザがビューワ６２０でスクロールアロー２０２ｃからペンを放してパン操作を停止すると、ビューワ６２０からのパン移動量の通知が停止し、時間ｔ５において、カメラ１００でのパン動作も停止する。これ以降、ビューワ６２０においてはメインストリームの表示及び記録のみを行う。

以上、パン操作（横方向のカメラ移動）について説明してきたが、チルト操作（縦方向のカメラ移動）についても同様の処理が行なわれる。

なお、パン・チルト操作により画像周辺部はレンズの収差が大きくなることにより、歪も肥大するが、画像を合成するときに、歪補正を行うことで、違和感のないパン・チルト画面を生成しても良い。

以上により、従来のカメラのパン・チルト操作を行った場合に生じていた問題、即ち、閲覧している画像に操作が反映されるまでのターンアラウンド時間がかかることにより、操作に対するレスポンスが悪かったという問題が解消される。つまり、本発明により、非常にレスポンス良く表示画面に制御命令を反映させることができ、ストレスなく、カメラの位置調整をリモート制御を行うことが可能となり、操作性が向上する。なお、以上の本実施の形態の説明において、メインストリームが本発明でいう第１の画像に対応し、サブストリームが本発明でいう第２の画像に対応する。

(第３の実施の形態）
以下、図１０に基づき、本発明によるネットワークカメラシステムの第３の実施の形態を説明する。

図１０は、本実施の形態に係るネットワークカメラシステムの構成を示す図である。本実施の形態に係るネットワークカメラシステムには、カメラ１００とビューワ１０２０とが含まれており、これらはネットワークを介して接続する。本実施の形態に係るネットワークカメラシステムの構成は、ビューワ１０２０において、ターンアラウンド時間検出部１０２９、画像サイズ決定部１０３０、及び画像サイズ指示部１０３１を有している点に第２の実施の形態と相違がある。第３の実施の形態では、このような構成により、カメラ１００において、制御命令受信部１０５により画像処理部１０３にフィードバックがかかるようにする。以下、詳細を説明する。

ターンアラウンド時間検出部１０２９は、ビューワ１０２０がネットワークを通じて制御命令受信部１０５に送信した制御命令が、カメラ１００を経由して、再度ビューワ１０２０に返ってくる時間までの応答時間（制御ターンアラウンド）を定期的に計測する。

画像サイズ決定部１０３０は、上記制御ターンアラウンドを用いて、第２の実施の形態で説明したサブストリームの解像度と画像のサイズを決定する。

例えば、制御ターンアラウンドが短い場合は、ネットワークが高速で，且つ帯域に余裕があると判断して、サブストリームの撮影範囲（ズーム）を、メインストリームより広い範囲で、小さめで且つ、解像度は高くするように決定する。一方、制御ターンアラウンドが長い場合は、ネットワークが低速で帯域に余裕がないと判断して、サブストリームの撮影範囲を広くし、解像度を低くするように決定する。

画像サイズ指示部１０３１は、画像サイズ決定部１０３０で決定されたサブストリームの解像度と画像サイズをネットワークを通じてカメラ１００の制御命令受信部１０５に送信し、画像処理部１０３に反映させる。

以上により、ネットワークの負荷の状況を定期的に監視することにより、サブストリームのネットワークを占有する帯域を増減させ、メインストリームの画質を確保した通信を実現することができる。

また、ターンアラウンド時間により、サブストリームの撮影範囲を変化させることで、制御ターンアラウンドが長い場合は、ユーザのパン・チルト操作に対するカメラの応答の遅さをカバーできるように、差分量（Ｓ８０３）を大きくとることが可能になる。

以上、本発明を上述の実施の形態により説明したが、本発明の技術的思想に基き、種々の変更が可能である。例えば、上述の実施の形態では、カメラのパン・チルト操作について説明したが、パン・チルトを組み合わせた斜め方向への操作にも対応可能である。また、ズーム操作についても応用可能である。

なお、本発明を実現するために、上述した実施の形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。

本発明の第１の実施の形態に係るネットワークカメラシステムの構成を示す図である。 本発明の実施の形態の係るビューワ上において表示される画面の一例を示す図である。 本発明の第１の実施の形態において、カメラのパン操作をビューワで行った場合に表示される画像ついて説明する図である。 本発明の第１の実施の形態に係るネットワークカメラシステムにおける処理の流れを説明するフローチャートである。 本発明の第１の実施の形態に係るネットワークカメラシステムにおける、ユーザの操作とビューワ、カメラの動作の時間的な関係を説明する図である。 本発明の第２の実施の形態に係るネットワークカメラシステムの構成を示す図である。 本発明の第２の実施の形態において、カメラのパン操作をビューワで行った場合に表示される画像ついて説明する図である。 本発明の第２の実施の形態に係るネットワークカメラシステムにおける処理の流れを説明するフローチャートである。 本発明の第２の実施の形態に係るネットワークカメラシステムにおける、ユーザの操作とビューワ、カメラの動作の時間的な関係を説明する図である。 本発明の第３の実施の形態に係るネットワークカメラシステムの構成を示す図である。

符号の説明

１００ カメラ
１２０、６２０、１０２０ ビューワ
１０１ レンズ
１０２ センサ
１０３ 画像処理部
１０４ 画像送信部
１０５ 制御命令受信部
１０６ パン・チルト制御部
１０７ モータ
１２０ ビューワ
１２１ 画像受信部
１２２ 操作検出部
１２３ カメラパン・チルト位置受信部
１２４ パン・チルト差分検出部
１２５ 画像切出し部
１２６ パン・チルト指示部
１２７ 画像記録部
１２８ 画像表示部
６２５ 画像合成部
１０２９ ターンアラウンド時間検出部
１０３０ 画像サイズ決定部
１０３１ 画像サイズ指示部

Claims (9)

1. 撮像装置にネットワークを介して接続される表示装置であって、
   画像を表示させる表示手段と、
   前記撮像装置の撮像方向を変更させるための指示を入力する入力手段と、
   前記撮像装置の撮像方向を変更させるための指示の入力に応じて、前記撮像装置へ制御コマンドを送信する送信手段と、
   前記撮像装置により撮影された第１の画像と、前記第１の画像より撮影範囲が広く、前記第１の画像より解像度が低い第２の画像とを受信する受信手段と、
   前記受信手段により受信された第２の画像に対し画像の切り出し及び前記第１の画像の解像度に合わせるための解像度の変換を行い、前記第１の画像から切り出した画像に合成する合成手段と
   を有し、
   前記合成手段は、前記撮像装置の撮像方向を変更させるための指示に応じて移動した画像を前記表示手段に表示させるために、前記移動した画像に含まれる第１の領域の画像を前記第１の画像から切り出すとともに、前記第２の画像に対し、前記移動した画像に含まれる第２領域の画像の切り出し及び前記解像度の変換を行い、前記第１の領域の画像と前記第２の領域の画像を合成し、
   前記表示手段は、前記合成手段により合成された前記第１の領域の画像と前記第２の領域の画像の合成画像を表示することを特徴とする表示装置。
2. 前記合成手段は、前記受信された前記第１及び第２の画像の撮像時の前記撮像装置の撮像方向と、前記入力に応じた制御後の撮像方向との差分に基づいて決定される第１及び第２の領域の画像を前記第１及び第２の画像から切り出すことを特徴とする請求項１に記載の表示装置。
3. 前記合成手段は、レンズの収差による歪を補正することを特徴とする請求項１又は２に記載の表示装置。
4. 撮像装置と表示装置とがネットワークを介して接続されるネットワークカメラシステムであって、
   前記撮像装置は、
   撮影手段と、
   前記撮像装置の撮像方向を変更させるための制御コマンドを前記表示装置から受信する受信手段と、
   前記受信された制御コマンドに応じて撮像方向を制御する制御手段と、
   前記撮影手段により撮影された第１の画像と、前記第１の画像より撮影範囲が広く、前記第１の画像より解像度が低い第２の画像とを前記表示装置へ送信する送信手段とを有し、
   前記表示装置は、
   画像を表示させる表示手段と、
   前記撮像装置の撮像方向を変更させるための指示を入力する入力手段と、
   前記撮像装置の撮像方向を変更させるための指示の入力に応じて、前記撮像装置へ制御コマンドを送信する送信手段と、
   前記撮像装置から前記第１の画像と前記第２の画像とを受信する受信手段と、
   前記受信手段により受信された第２の画像に対し画像の切り出し及び前記第１の画像の解像度に合わせるための解像度の変換を行い、前記第１の画像から切り出した画像に合成する合成手段と
   を有し、
   前記合成手段は、前記撮像装置の撮像方向を変更させるための指示に応じて移動した画像を前記表示手段に表示させるために、前記移動した画像に含まれる第１の領域の画像を前記第１の画像から切り出すとともに、前記第２の画像に対し、前記移動した画像に含まれる第２領域の画像の切り出し及び前記解像度の変換を行い、前記第１の領域の画像と前記第２の領域の画像を合成し、
   前記表示手段は、前記合成手段により合成された前記第１の領域の画像と前記第２の領域の画像の合成画像を表示することを特徴とするネットワークカメラシステム。
5. 前記合成手段は、前記受信された前記第１及び第２の画像の撮像時の前記撮像装置の撮像方向と、前記入力に応じた制御後の撮像方向との差分に基づいて決定される第１及び第２の領域の画像を前記第１及び第２の画像から切り出すことを特徴とする請求項４に記載のネットワークカメラシステム。
6. 撮像装置にネットワークを介して接続される表示装置が行う表示方法であって、
   画像を表示させる表示工程と、
   前記撮像装置の撮像方向を変更させるための指示を入力する入力工程と、
   前記撮像装置の撮像方向を変更させるための指示の入力に応じて、前記撮像装置へ制御コマンドを送信する送信工程と、
   前記撮像装置により撮影された第１の画像と、前記第１の画像より撮影範囲が広く、前記第１の画像より解像度が低い第２の画像とを受信する受信工程と、
   前記受信工程において受信された第２の画像に対し画像の切り出し及び前記第１の画像の解像度に合わせるための解像度の変換を行い、前記第１の画像から切り出した画像に合成する合成工程と
   を有し、
   前記合成工程において、前記撮像装置の撮像方向を変更させるための指示に応じて移動した画像を表示させるために、前記移動した画像に含まれる第１の領域の画像を前記第１の画像から切り出すとともに、前記第２の画像に対し、前記移動した画像に含まれる第２領域の画像の切り出し及び前記解像度の変換を行い、前記第１の領域の画像と前記第２の領域の画像を合成し、
   前記表示工程において、前記合成工程において合成された前記第１の領域の画像と前記第２の領域の画像の合成画像を表示することを特徴とする表示方法。
7. 前記合成工程において、前記受信された前記第１及び第２の画像の撮像時の前記撮像装置の撮像方向と、前記入力に応じた制御後の撮像方向との差分に基づいて決定される第１及び第２の領域の画像を前記第１及び第２の画像から切り出すことを特徴とする請求項６に記載の表示方法。
8. 撮像装置にネットワークを介して接続されるコンピュータに、
   画像を表示させる表示手順と、
   前記撮像装置の撮像方向を変更させるための指示を入力する入力手順と、
   前記撮像装置の撮像方向を変更させるための指示の入力に応じて、前記撮像装置へ制御コマンドを送信する送信手順と、
   前記撮像装置により撮影された第１の画像と、前記第１の画像より撮影範囲が広く、前記第１の画像より解像度が低い第２の画像とを受信する受信手順と、
   前記受信手順において受信された第２の画像に対し画像の切り出し及び前記第１の画像の解像度に合わせるための解像度の変換を行い、前記第１の画像から切り出した画像に合成する合成手順と
   を実行させ、
   前記合成手順において、前記撮像装置の撮像方向を変更させるための指示に応じて移動した画像を表示させるために、前記移動した画像に含まれる第１の領域の画像を前記第１の画像から切り出すとともに、前記第２の画像に対し、前記移動した画像に含まれる第２領域の画像の切り出し及び前記解像度の変換を行い、前記第１の領域の画像と前記第２の領域の画像を合成し、
   前記表示手順において、前記合成手順において合成された前記第１の領域の画像と前記第２の領域の画像の合成画像を表示することを特徴とするプログラム。
9. 前記合成手順において、前記受信された前記第１及び第２の画像の撮像時の前記撮像装置の撮像方向と、前記入力に応じた制御後の撮像方向との差分に基づいて決定される第１及び第２の領域の画像を前記第１及び第２の画像から切り出すことを特徴とする請求項８に記載のプログラム。

Images