JP4583717B2

JP4583717B2 - Imaging apparatus and method, image information providing system, program, and control apparatus

Info

Publication number: JP4583717B2
Application number: JP2003056245A
Authority: JP
Inventors: 雅晴鈴木; 伸俊小山; 真一森本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-03
Filing date: 2003-03-03
Publication date: 2010-11-17
Anticipated expiration: 2023-03-03
Also published as: JP2004266670A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する撮像装置及び方法、画像情報提供システム並びにプログラムに関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１０−１０８１６３号公報
【特許文献２】
特開２０００−２４３０６２号公報
【０００５】
【発明が解決しようとする課題】
撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に監視する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【０００６】
しかしながら、上述したモニタリングシステムや撮像装置は、あくまでユーザが単独で被写体を撮像してパノラマ画像を生成する際に好適なものであるため、複数のユーザによる被写体の同時撮影や、撮影内容の事後的な確認が困難であった。
【０００７】
また、上述したモニタリングシステムや撮像装置では、蓄積したパノラマ画像をデジタルズームにより拡大処理、単位画像を連結する処理や、ズーム値にあわせて画素を間引く処理等が必要となり、精細な画質を維持できず、特に単位画像の連結部を拡大する場合に境界が画面上に表示されてしまい、画質を悪化させる要因にもなっていた。
【０００８】
さらに、撮像した画像を動画表示するモードにおいて、ユーザが所望の画像領域を拡大して内容の確認を望む場合にも、高精細な拡大画像を提供することにより、上述した監視の精度を向上させる必要性もあった。
【０００９】
そこで本発明は上述した問題点に鑑みて案出されたものであり、精細な画質を維持しつつ、動画像から所望の画像領域につき拡大、縮小することができる撮像装置及び方法において、より高精細な拡大画像を生成する。
【００１０】
【課題を解決するための手段】
本発明者は、上述した問題点を解決するために、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また全体画像に基づき生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合に、その指定された画像領域に応じて記録媒体から単位画像を選択して拡大画像を生成し、これを表示することができる撮像装置及び方法、画像情報提供システム、プログラム並びに制御装置を発明した。
【００１１】
即ち、本発明を適用した撮像装置は、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成する撮像手段と、単位画像を撮影画角毎に階層化して記録媒体へ記録する記録手段と、全体画像に基づき動画像を生成する動画像生成手段と、動画像生成手段により生成された動画像を表示するための動画像表示手段と、単位画像を拡大した拡大画像を表示する拡大画像表示手段と、動画像表示手段に表示されている動画像において、ユーザが画像領域を指定するための指定手段と、指定手段により指定された画像領域に応じて、記録媒体から単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成し、これを拡大画像表示手段へ出力し、動画像と、拡大画像とを、それぞれ画面上の別領域に表示させるように動画像表示手段と拡大画像表示手段とを制御する制御手段とを備える。
【００１２】
本発明を適用した撮像方法は、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成し、単位画像を撮影画角毎に階層化して記録媒体へ記録し、全体画像に基づき動画像を生成し、生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合において、その指定された画像領域に応じて記録媒体から単位画像を選択し、当該選択した単位画像を拡大した拡大画像を生成して、これを動画像が表示されている画面上の別領域に表示する。
【００１３】
本発明を適用した画像情報提供システムは、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成する撮像装置と、撮像装置により撮像された単位画像を撮影画角毎に階層化してサーバへ記録し、また撮像装置により生成された全体画像に基づき動画像を生成する制御機器と、撮像装置から通信網を介して送信された動画像を表示するための表示手段と、表示手段に表示されている動画像においてユーザが画像領域を指定するための指定手段とを有し、指定手段により指定された画像領域に応じてサーバから単位画像を読み出し、その読み出した単位画像を拡大した拡大画像を生成して、これを表示手段において動画像が表示されている画面上の別領域へ表示させる端末装置とを備える。
【００１４】
また、本発明を適用したプログラムは、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成し、単位画像を撮影画角毎に階層化して記録媒体へ記録し、全体画像に基づき動画像を生成し、生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合において、その指定された画像領域に応じて記録媒体から単位画像を選択し、当該選択した単位画像を拡大した拡大画像を生成して、これを動画像が表示されている画面上の別領域へ表示することをコンピュータに実行させる。
また、本発明を適用した制御装置は、記録装置、表示装置及び制御装置を有する画像情報提供システムに利用される制御装置であって、記録装置に、第１の画角で撮影された複数の第１の単位画像から生成した全体画像と、第１の画角より小さい第２の画角で撮影された第２の単位画像を記録し、表示装置に、記録装置で記録された全体画像と、全体画像において指定された画像領域を拡大した拡大画像を表示し、全体画像を表示する全体画像表示領域と、拡大画像を表示する拡大画像表示領域と、を画面上の別領域となるよう制御し、全体画像において指定された画像領域に対応する第２の単位画像に基づいて、拡大画像領域に表示される画像を生成するよう制御する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した監視システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、音声信号を受信するマイク１２と、カメラユニット２より伝送された画像信号に所定の処理を施す画像入出力部１３と、マイク１２より伝送された音声信号に所定の処理を施す音声入出力部１４と、少なくとも画像入出力部１３及び音声入出力部１４に接続され、上記画像信号を処理するための演算処理部１５と、演算処理部１５に接続され、上記画像信号を記録するサーバ５３と、ユーザが本システム１を制御するための操作部１６と、演算処理部１５に接続され、各種情報を表示するためのディスプレイ６と、他のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、端末装置９に対して各種情報を送受信するためのネットワーク８とを備えている。
【００１６】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１７】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、演算処理部１５等による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、演算処理部１５等による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。
【００１８】
画像入出力部１３、音声入出力部１４、演算処理部１５、サーバ５３並びに操作部１６は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器１００により一体化して構成してもよい。この電子機器１００によれば、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの電子機器１００は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれをディスプレイ６に表示するように制御する。この電子機器１００は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像や音声を送信する。
【００１９】
ネットワーク８は、例えば電子機器１００と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク８は、静止画像に加えて動画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク８には、さらにネットワークサーバ１８を接続してもよい。このネットワークサーバ１８は、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２０】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して電子機器１００から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの監視システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、電子機器１００から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを電子機器１００に対して送信する。なお端末装置９のブロック構成については、後述する電子機器１００の構成を引用し、説明を省略する。
【００２１】
次に、本発明を適用した監視システム１におけるカメラユニット２,電子機器１００の構成について詳細に説明する。
【００２２】
図２は、カメラユニット２,電子機器１００の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに電子機器１００の各構成要素が接続されている。
【００２３】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するTilt部３ａ、Pan部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ(Institute of Electrical and Electronics Engineers)１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ(Global Positioning System)受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２４】
また画像入出力部１３は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２とを備えている。
【００２５】
また演算処理部１５は、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。
【００２６】
また操作部１６は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。
【００２７】
Tilt部３ａ並びにPan部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２８】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。
【００２９】
撮像部２４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００３０】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３１】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３２】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号を上述したネットワークサーバ１８に記録するように制御することにより、サーバ５３をネットワークサーバ１８に代替することも可能となる。
【００３３】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、撮像した画像に基づいて、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。
【００３４】
グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３５】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、電子機器１００内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３６】
音声入出力部１２は、マイク１２から入力された音声信号を符号化する。この音声入出力部１２により符号化された音声信号についても、上述の如く画像信号と同様にサーバ５３へ供給され、記録されることになる。
【００３７】
次に本発明を適用した監視システム１における撮像動作について説明をする。
【００３８】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。
仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３９】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Tilt部３ａ並びにPan部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００４０】
同様にＣＰＵ５６は、Tilt部３ａ並びにPan部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００４１】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。
【００４２】
ちなみに、この撮像された各単位画像は、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００４３】
図４は、撮像した３枚の単位画像を貼り合わせることにより合成した全体画像（パノラマ画像）に基づく動画像を、ディスプレイ６のＬＩＶＥ画像表示部７０に表示する例を示している。なお、この電子機器１００は、ＬＩＶＥ画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また電子機器１００は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、このＬＩＶＥ画像表示部７０に表示させてもよい。
【００４４】
即ち、ユーザは、このＬＩＶＥ画像表示部７０に表示されている動画像を視認することにより、撮影範囲全体の状況をリアルタイムに確認することが可能となる。
【００４５】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、撮影範囲全体を示す全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大した静止画像を表示する。
【００４６】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を拡大、縮小するためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、ＬＩＶＥ画像表示部７０に動画を表示させるためのＬＩＶＥボタン７４、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。
【００４７】
また、ユーザは、ＬＩＶＥ画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０,７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４８】
次に、本発明を適用した撮像装置において、異なる２以上の撮影画角で画像を撮像する場合につき説明をする。
【００４９】
カメラユニット２は、図５に示すように、黒枠で示される同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する。撮像により得られる単位画像を撮影画角毎に合成することにより、全体画像と同一内容の単位画像の集合を図５に示すように幾層にも亘って作成することができる。以下、各撮影画角に応じた単位画像の集合をLayerという。Layerの番号は、撮影画角の大きい順からｎ、ｎ＋１、ｎ＋２、・・、と増加するものとする。すなわち撮影画角の大きいLayerｎでは、撮影画角の小さいLayerｎ＋１と比較して、少ない単位画像数で全体画像を合成することができる。ちなみに、単位画像のサイズ、画素数は各Layer間において同等である。
【００５０】
図６は、Layerの倍率を順に１、２、４、８倍に設定して撮像する例を示している。図６は、図５で示すような各Layerを水平方向又は垂直方向から表示したものであり、倍率１倍のLayer１は、１枚の単位画像で構成され、倍率２倍のLayer２は、２×２枚の単位画像で構成され、また倍率４倍のLayer３は、４×４枚の単位画像で構成され、倍率８倍のLayer４は８×８枚の単位画像で構成される。
【００５１】
なおカメラ部４は、各Layerについて、図７に示すように互いに重複領域が生じるように撮影方向を制御することにより撮像を実行してもよい。即ち、互いに隣接する単位画像の画像中心の間隔を狭く設定することにより、拡大画像表示部７０に表示される拡大画像を細かいピッチでシフトさせることができる。
【００５２】
図８は、上述の撮影倍率からなる各Layerにつき、単位画像を撮像する手順を示している。先ずステップＳ１１において、ＣＰＵ５６は、レンズ制御部２３に対して駆動信号を送信することにより、カメラ部４の撮影画角を倍率１倍に相当するｕ１に調整し、撮影方向を撮影範囲の中心位置に合わせる。次にステップＳ１２へ移行し、カメラ部４は、かかる撮影画角ｕ１で、撮影範囲全体を表示することができる１枚の全体画像を撮像する。この撮像された全体画像に基づく画像信号は、Layer１として順次サーバ５３へ記録されることになる。
【００５３】
次にカメラ部４は、ＣＰＵ５６による制御に基づき、撮影画角を倍率２倍に相当するｕ２に調整する（ステップＳ１３）。またカメラ部４は、ステップＳ１４において、ＣＰＵ５６による制御に基づき、撮影方向を、撮影範囲左上に位置する座標（１，１）に合わせて撮像を実行する。カメラ部４は、撮影方向を順次１画枠分毎にシフトさせて、Layer２を構成する全ての単位画像につき撮像を実行する。撮像された単位画像に基づく画像信号は、Layer２として順次サーバ５３へ記録される。
【００５４】
同様にカメラ部４は、撮影画角を倍率４倍に相当するｕ３、また倍率８倍に相当するｕ４に調整して、撮影方向を順次シフトさせて撮像を実行する。得られた単位画像に基づく画像信号は、Layer３、Layer４として順次サーバ５３に記録され、最終的には、各Layerを構成する画像が全てサーバ５３に記録されている状態となる。
【００５５】
次に、このサーバ５３内に階層化して記録されている各画像信号のうち、Layer１を構成する全体画像に基づく画像信号が最初に読み出されて動画が生成され、グラフィックコントローラ５５を経てディスプレイ６等上のＬＩＶＥ画像表示部７０に表示される。ユーザは、このＬＩＶＥ画像表示部７０に表示されている全体画像の動画において、所望の画像領域につき拡大表示を望む場合には、上述の如くマウス６０等を用いて当該画像領域を指定することができる。
【００５６】
図９は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００５７】
先ずステップＳ２１においてユーザによる画像領域の指定を受けた場合には、ステップＳ２２へ移行し、ＣＰＵ５６は、例えば図１０に示すように、ユーザにより指定された画像領域３０のサイズｑと、Layer１における全体画像の画サイズｙとの比を求める。
【００５８】
次にステップＳ２３へ移行し、ＣＰＵ５６は、サーバ５３に階層化して記録されている各Layerから一のLayerを選択する。このステップＳ２３におけるLayerの選択は、ステップＳ２２において演算したサイズ比から倍率ｋを計算し、かかる倍率ｋに最も近い撮影倍率のLayerを選択する。例えば、ｑとｙとの比が、１：２．３である場合、倍率ｋは２．３となり、かかる倍率ｋに最も近い撮影倍率で撮像されたLayerは、Layer２であるため、これを選択することになる。すなわち、このステップＳ２３において、ＣＰＵ５６は、指定された画像領域３０のサイズに応じて最も適切なLayerを選択する。
【００５９】
次にステップＳ２４へ移行し、ＣＰＵ５６は、ユーザにより指定された画像領域に応じて、Layer２を構成する単位画像から最適なものを選択する。Layer２を構成する単位画像の座標は、図１０に示すように（１,１）、（２,１）、（１,２）、（２,２）の４つである。このうち、Layer１において指定された画像領域３０に示される画像は、このLayer２における画像領域３１に示される画像に相当する。このため、ＣＰＵ５６は、Layer２を構成する単位画像のうち、画像領域３１が存在する座標（１,２）に位置する単位画像を選択し、これをサーバ５３から読み出す。なおＣＰＵ５６は、ステップＳ２３を省略して、ステップＳ２２において求めたサイズ比から、最適な単位画像を直接選択してもよい。
【００６０】
次にステップＳ２５へ移行し、ＣＰＵ５６は、選択した座標（１,２）の単位画像につき、図１１に示すように画像領域３１を含む選択領域４２を抽出する。
またＣＰＵ５６は、この抽出した選択領域４２につき、拡大画像表示部７１のサイズに合うように例えばデジタルズームを利用して拡大処理を実行する。
【００６１】
以上の操作を実行することにより、ユーザから指定された画像領域を拡大画像表示部７１に拡大表示させることができる。
【００６２】
なお、図１０に示すようにLayer１を構成する全体画像と、倍率が２倍であるLayer２を構成する単位画像の画素数、サイズは同等であり、同じ画像領域を示している画像領域３０と画像領域３１では、画像領域３１の方が多くの画素により構成されている。このため、指定された画像領域３０のサイズに応じて、最適なLayerを選択し、かかるLayerにある一の単位画像から選択領域４２を抽出することにより、高画質な拡大画像を生成することができる。上述した例においても、Layer２に基づいて拡大処理を実行することにより、Layer１に基づいて拡大処理を実行する場合と比較して、ディジタルズームに依存せずにより高画質の拡大画像が生成されることになる。
【００６３】
ちなみに、Layer数を増やすことにより、隣接するLayerの倍率差を小さくすることができるため、ユーザにより指定される画像領域に対して、より適切な単位画像を選択することができ、拡大画像の鮮明度をさらに向上させることができる。
【００６４】
また本発明では、同一の撮影範囲を異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化してサーバ５３へ予め記録しておく。そして動画像化された全体画像につき指定された画像領域に応じてサーバ５３から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【００６５】
このため、本発明では、ＬＩＶＥ画像表示部７０において、Layer１を構成する１枚の拡大画像を動画表示すれば足り、また拡大画像表示部７１に表示される拡大画像は、あくまで一枚の単位画像を拡大、縮小して生成されるため、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなる。従って、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【００６６】
また、本発明では、ユーザから所望の画像領域が指定された場合に、既に記録してある単位画像を拡大すれば足りるため拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００６７】
さらに、本発明を適用した監視システム１を、撮像した画像を動画する監視システムとして適用する場合において、特にユーザが所望の画像領域を拡大して内容の確認を望む場合に、動画像をそのまま拡大することなく、別途サーバ５３に蓄積した単位画像に基づいて高精細な拡大画像を生成することができるため、監視の精度を向上させることができる。
【００６８】
特に、ユーザは、１台のカメラ部４並びに電子機器１００により、表示画面４５上においてＬＩＶＥ画像表示部７０を介して、リアルタイムに表示される動画像による臨場感を味わうことができ、また拡大画像表示部７１を介して、高精細な拡大画像に基づく高精度な監視を実現することができる。
【００６９】
また、ユーザがＬＩＶＥ画像表示部７０において人が大勢移動している画像を視認しながら、所望の被写体につき、より詳細な監視を行う場合には、この監視システム１では、当該被写体を撮像した撮影画角の小さい単位画像をサーバ５３から読み出して、これを拡大画像表示部７１へ表示することができる。これにより、ユーザは、かかる所望の被写体につき、より詳細かつ高精細な画像を介して監視を行うことができる。特にこの読み出した単位画像は、予めサーバ５３に記録されているため、移動する人が表示されていない場合もあり、被写体のみ表示されている拡大画像を得ることができる場合もある。このとき、高精細な拡大画像につき、プライバシーに関する部分等を遮蔽するようにしてもよい。
【００７０】
なお、この拡大画像を生成して閲覧させるまでの手順は、以下の図１２に示すフローチャートに基づいて実行してもよい。
【００７１】
ユーザにより撮像する画像の閲覧が実行された場合において、先ずステップＳ３１へ移行し、ＣＰＵ５６は、現在、ＬＩＶＥ画像表示部７０において動画像が表示されているか判別する。その結果、かかるＬＩＶＥ画像表示部７０に動画像が表示されている場合には、ステップＳ３２へ移行し、かかる動画像が表示されていない場合には、ステップＳ３３へ移行する。
【００７２】
ステップＳ３２において、ＣＰＵ５６は、画像圧縮部５４を制御することにより、撮像した全体画像に基づいて順次動画像を生成し、或いはこれを更新する。
そして、ＣＰＵ５６は、この生成した動画像を順次ディスプレイ６へ表示させた後、ステップＳ３４へ移行する。
【００７３】
ステップＳ３３へ移行した場合おいて、ＣＰＵ５６は、以前取得した単位画像又は全体画像をサーバ５３から読み出してディスプレイ６へ表示するように制御し、或いはそのサーバ５３から読み出した単位画像又は全体画像に基づき動画像を生成するように制御し、ステップＳ３４へ移行する。
【００７４】
ステップＳ３４において、ＣＰＵ５６は、ユーザよりＬＩＶＥ画像表示部７０において画像領域が指定されたか、或いは閲覧終了のコマンドが入力されたか識別する。その結果画像領域の指定がなされた場合には、ステップＳ３５へ移行し、閲覧処理を終了する。また、閲覧終了のコマンドが入力された場合には、ステップＳ３６へ移行する。また、画像領域の指定がなされず、かつ閲覧終了のコマンドが入力されなかった場合には、再びステップＳ３１へ移行し、現在におけるＬＩＶＥ画像表示部７０の表示状態を判別する。
【００７５】
ステップＳ３５へ移行した場合には、ＣＰＵ５６は、図９に示すように、指定された画像領域に基づいて拡大画像を生成し、これを拡大画像表示部７１へ表示するように制御し、ステップＳ３７へ移行する。
【００７６】
ステップＳ３７において、ＣＰＵ５６は、ユーザによりＬＩＶＥボタン７４が押圧入力されたか否か識別する。その結果、かかるＬＩＶＥボタン７４が押圧入力された場合には、ステップＳ３８へ移行する。一方、ＬＩＶＥボタン７４が押圧入力されなかった場合には、再びステップＳ３１へ移行し、現在におけるＬＩＶＥ画像表示部７０の表示状態を判別する。
【００７７】
ステップＳ３８に移行した場合には、全体画像表示部７０に表示される全体画像を動画像とするモードに切り替えた上で、再びステップＳ３１へ戻ることになる。
【００７８】
なお、本発明では、最も近い撮影倍率のLayerを選択する場合に限定されるものではなく、他のいかなる方法でLayerを選択してもよい。
【００７９】
本発明に係る監視システム１では、端末装置９のユーザに対して、全体画像を動画像化してこれを送信し、また指定された画像領域に応じて、端末装置９のユーザに拡大画像を送信することができる。即ち、本発明を適用した監視システム１では、電子機器１００を操作するユーザに加えて、ネットワーク８に接続されている端末装置９を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。また、ネットワーク８に対して複数の端末装置９を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。
【００８０】
なお、本発明は、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。
【００８１】
【発明の効果】
以上詳細に説明したように、本発明では、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また全体画像に基づき生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合に、その指定された画像領域に応じて記録媒体から単位画像を選択して拡大画像を生成し、これを動画像が表示されている画面上の別領域へ表示する。
【００８２】
これにより、本発明では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、表示されている動画像から所望の画像領域を拡大表示する場合においても、より高精細な拡大画像を生成することができる。
【図面の簡単な説明】
【図１】本発明を適用した監視システムの構成を示す図である。
【図２】カメラユニット,電子機器のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する例を示す図である。
【図６】 Layerの倍率を順に１、２、４、８倍に設定して撮像する例を示す図である。
【図７】互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する例を示す図である。
【図８】各Layerにつき、単位画像を撮像する手順を示すフローチャートである。
【図９】ユーザによる指定操作を受けて拡大画像を表示するまでの手順を示すフローチャートである。
【図１０】階層化して記録されている各Layerから一のLayerを選択する例を示す図である。
【図１１】抽出した選択領域につき拡大処理を実行する例を示す図である。
【図１２】拡大画像を生成して閲覧させるまでの手順を示すフローチャートである。
【符号の説明】
１監視システム、２カメラユニット、３パンチルタ部、４カメラ部、６ディスプレイ、８ネットワーク、９ユーザ端末、１０端末ディスプレイ、１１ネットワークサーバ、２１コントローラバス、２２レンズ部、２３レンズ制御部、２４撮像部、２５ＩＥＥＥ１３９４インターフェース、２８ＧＰＳ受信部、２９メタデータ生成部、５１バッファメモリ、５２エンコーダ、５３サーバ、５４画像圧縮部、５５グラフィックコントローラ、５６ＣＰＵ、５８Ｉ／Ｏポート、５９キーボード、６０マウス、６１メモリカード、６２時計、１００電子機器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and method, an image information providing system, and a program for monitoring a wide range of situations via a panoramic image obtained by sequentially changing imaging directions.
[0002]
[Prior art]
Conventionally, an electronic still camera that has been widely used converts the light that has passed through the lens by imaging a subject into an image signal from a solid-state imaging device such as a CCD, and records this on a recording medium. An image signal can be reproduced. Many electronic still cameras include a monitor that can display a captured still image, and a specific one of the still images recorded so far can be selected and displayed. In this electronic still camera, the image signal supplied to the monitor corresponds to the subject for each screen. For this reason, images displayed at the same time are in a narrow range, and a wide range of situations cannot be monitored simultaneously.
[0003]
For this reason, surveillance cameras that can monitor a wide range of situations by capturing a panoramic image composed of a plurality of unit images by capturing a subject while sequentially shifting the shooting direction of the camera are widely used. . In particular, in recent years, a technique has also been proposed in which a plurality of video signals are reduced / combined to form a video signal of one frame (see, for example, Patent Document 1), and surveillance video is obtained from a plurality of installed surveillance video cameras. There has also been proposed a centralized monitoring and recording system that can collect and record on a recording medium such as a video tape and perform monitoring (see, for example, Patent Document 2).
[0004]
[Patent Document 1]
JP-A-10-108163
[Patent Document 2]
JP 2000-243062 A
[0005]
[Problems to be solved by the invention]
In recent years, there has been a demand for a system in which a plurality of users as well as a single user can view a captured panoramic image simultaneously via a network. In particular, it is necessary for multiple users to monitor a wide range of situations such as department stores and other restricted areas, especially after the incident has occurred. You may want to check it.
[0006]
However, since the above-described monitoring system and imaging device are suitable only when a user shoots a subject alone to generate a panoramic image, the simultaneous shooting of subjects by a plurality of users and the a posteriori of shooting contents are performed. Confirmation was difficult.
[0007]
In addition, the above-described monitoring system and image pickup apparatus require processing for enlarging the accumulated panoramic image by digital zoom, processing for connecting unit images, processing for thinning out pixels in accordance with the zoom value, and so on, so that fine image quality cannot be maintained. In particular, the boundary is displayed on the screen when the connecting portion of unit images is enlarged, which has been a factor of deteriorating image quality.
[0008]
Furthermore, in the mode in which the captured image is displayed as a moving image, even when the user wants to confirm the contents by enlarging a desired image area, the above-described monitoring accuracy is improved by providing a high-definition enlarged image. There was also a need.
[0009]
Therefore, the present invention has been devised in view of the above-described problems, and in an imaging apparatus and method capable of enlarging or reducing a desired image area from a moving image while maintaining a fine image quality, A fine enlarged image is generated.
[0010]
[Means for Solving the Problems]
 In order to solve the above-described problems, the present inventor shows the entire imaging range including a plurality of unit images by imaging the imaging range by sequentially changing the imaging direction at two or more different imaging angles of view. An entire image is generated at a predetermined time interval, hierarchized for each shooting angle of view, recorded on a recording medium, a moving image generated based on the entire image is displayed, and an image area is displayed for the displayed moving image. An image pickup apparatus and method, and an image information providing system capable of generating a magnified image by selecting a unit image from a recording medium according to the designated image area and displaying the enlarged image,programAnd control deviceWas invented.
[0011]
 That is, the imaging apparatus to which the present invention is applied captures an entire imaging area that includes a plurality of unit images and displays the entire imaging area for a predetermined time by imaging the imaging area by sequentially changing the imaging direction at two or more different imaging angles. Generated by imaging means for generating at intervals, recording means for hierarchizing unit images for each shooting angle of view and recording them on a recording medium, moving image generating means for generating a moving image based on the entire image, and moving image generating means The user designates an image area in the moving image display means for displaying the moving image, the enlarged image display means for displaying the enlarged image obtained by enlarging the unit image, and the moving image displayed on the moving image display means. And a unit image selected from the recording medium in accordance with the image area designated by the designation unit, an enlarged image is generated based on the selected unit image, and this is sent to the enlarged image display unit The PowerThe moving image display means and the enlarged image display means are controlled so that the moving image and the enlarged image are respectively displayed in different areas on the screen.Control means.
[0012]
 In the imaging method to which the present invention is applied, an imaging range is sequentially changed at two or more different imaging angles of view to capture an imaging range, and an entire image including the entire imaging range is displayed at predetermined time intervals. Generate and layer unit images for each shooting angle of view, record them on a recording medium, generate a moving image based on the entire image, display the generated moving image, and specify an image area for the displayed moving image In this case, a unit image is selected from the recording medium according to the designated image area, and an enlarged image is generated by enlarging the selected unit image.In another area on the screen where moving images are displayedindicate.
[0013]
 An image information providing system to which the present invention is applied is configured to capture a shooting range by sequentially changing the shooting direction at two or more different shooting angles of view, and to display an entire image including a plurality of unit images for a predetermined time. An imaging device that generates at intervals, and a control device that tiers unit images captured by the imaging device for each shooting angle of view and records them in a server, and generates a moving image based on the entire image generated by the imaging device, ShootingA display unit for displaying a moving image transmitted from the image apparatus via a communication network, and a specifying unit for a user to specify an image area in the moving image displayed on the display unit. A unit image is read out from the server according to the image area specified by, and an enlarged image obtained by enlarging the read unit image is generated and displayed.Another area on the screen where a moving image is displayedAnd a terminal device to be displayed.
[0014]
 In addition, the program to which the present invention is applied is configured to capture a whole range of images including a plurality of unit images at predetermined time intervals by capturing a shooting range by sequentially changing the shooting direction at two or more different shooting angles of view. The unit image is layered for each shooting angle of view and recorded on a recording medium, a moving image is generated based on the entire image, the generated moving image is displayed, and an image area is designated for the displayed moving image The unit image is selected from the recording medium according to the designated image area, and an enlarged image is generated by enlarging the selected unit image.To another area on the screen where moving images are displayedLet the computer perform the display.
A control device to which the present invention is applied is a control device used in an image information providing system having a recording device, a display device, and a control device, and a plurality of images captured at a first angle of view on the recording device. An overall image generated from the first unit image and a second unit image captured at a second angle of view smaller than the first angle of view are recorded, and the entire image recorded by the recording device is recorded on the display device. An enlarged image obtained by enlarging an image area specified in the entire image is displayed, and the entire image display area for displaying the entire image and the enlarged image display area for displaying the enlarged image are controlled to be different areas on the screen. Then, control is performed so as to generate an image to be displayed in the enlarged image area based on the second unit image corresponding to the image area designated in the entire image.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. A monitoring system 1 to which the present invention is applied includes, for example, a camera unit 2 that captures an image of a subject and generates an image signal, a microphone 12 that receives an audio signal, and an image transmitted from the camera unit 2, as shown in FIG. The image input / output unit 13 that performs predetermined processing on the signal, the audio input / output unit 14 that performs predetermined processing on the audio signal transmitted from the microphone 12, and at least the image input / output unit 13 and the audio input / output unit 14 are connected. An arithmetic processing unit 15 for processing the image signal, a server 53 connected to the arithmetic processing unit 15 for recording the image signal, an operation unit 16 for the user to control the system 1, and an arithmetic processing. Connected to the unit 15, a display 6 for displaying various information, a terminal device 9 for other users to execute applications, and a terminal display connected to the terminal device 9 And b 10, and a network 8 to transmit and receive various information to the terminal device 9.
[0016]
The camera unit 2 includes a pantilter unit 3 and a camera unit 4 that are integrally formed. The pantilter unit 3 is configured as a turntable for freely changing the shooting direction with respect to, for example, two axes of pan and tilt.
[0017]
The camera unit 4 is disposed on a turntable that constitutes the pantilter unit 3 and images a subject while adjusting the shooting direction in the horizontal direction or the vertical direction according to control by the arithmetic processing unit 15 or the like. Further, the camera unit 4 captures an image of the subject by enlarging or reducing the imaging magnification by sequentially changing the imaging angle of view in accordance with control by the arithmetic processing unit 15 or the like.
[0018]
The image input / output unit 13, the audio input / output unit 14, the arithmetic processing unit 15, the server 53, and the operation unit 16 may be configured integrally with an electronic device 100 such as a personal computer (PC). According to the electronic apparatus 100, the image signal transmitted from the camera unit 2 is recorded, and the recorded image signal is displayed to the user via the display 6. In addition, when a desired image region or image position is designated by the user, the electronic device 100 performs control so that an optimum one is selected from the recorded image signals and displayed on the display 6. The electronic device 100 also serves as a so-called central control device for controlling the entire network 8, and transmits images and sounds in response to requests from other terminal devices 9.
[0019]
The network 8 includes, for example, an Internet network connected to the electronic device 100 via a telephone line, ISDN (Integrated Services Digital Network) / B (broadband) -ISDN connected to a TA / modem, and the like. It is a public communication network that enables bidirectional transmission and reception. Incidentally, when the monitoring system 1 is operated in a certain narrow area, the network 8 may be configured by a LAN (Local Area Network). Further, the network 8 may be capable of transmitting a moving image in addition to a still image. In such a case, based on the Internet protocol (IP), for example, moving pictures including MPEG (Moving Picture Experts Group) data are continuously transmitted from one channel, and still image data is transmitted from another channel for a certain period of time. Will be sent every time. A network server 18 may be further connected to the network 8. The network server 18 manages, for example, Internet information, receives a request from the terminal device 9, and transmits predetermined information stored in itself.
[0020]
The terminal device 9 is a PC for a user who stands by at each home or company to acquire an image from the electronic device 100 via the network 8 and execute a desired process. By connecting a plurality of terminal devices 9 to the network 8, it becomes possible to simultaneously provide the application of the monitoring system 1 to a plurality of users. The terminal device 9 displays an image acquired from the electronic device 100 on the terminal display 10. In addition, the terminal device 9 generates a request signal in response to a designation operation by the user and transmits it to the electronic device 100. In addition, about the block structure of the terminal device 9, the structure of the electronic device 100 mentioned later is quoted, and description is abbreviate | omitted.
[0021]
Next, the configuration of the camera unit 2 and the electronic device 100 in the monitoring system 1 to which the present invention is applied will be described in detail.
[0022]
FIG. 2 is a configuration diagram of the camera unit 2 and the electronic device 100. In FIG. 2, each component of the camera unit 2 and the electronic device 100 is connected to a common controller bus 21.
[0023]
The pantilter unit 3 constituting the camera unit 2 includes a tilt unit 3a and a pan unit 3b that control a turntable for changing the imaging direction. The camera unit 4 constituting the camera unit 2 includes a lens control unit 23 mainly for changing the angle of view of the lens unit 22, and an imaging unit 24 disposed at a position orthogonal to the optical axis of the lens unit 22. An IEEE (Institute of Electrical and Electronics Engineers) 1394 interface 25 for transmitting the image signal generated by the imaging unit 24 to the image input / output unit 13 and a GPS (Global Positioning) for detecting the current position of the camera unit 2 System) receiving unit 28 and metadata generating unit 29 attached to GPS receiving unit 28. Incidentally, the IEEE 1394 interface 25 may be replaced with Ethernet (registered trademark).
[0024]
The image input / output unit 13 includes a buffer memory 51 connected to the IEEE 1394 interface 25 and an encoder 52 connected to the buffer memory 51.
[0025]
The arithmetic processing unit 15 is also connected to the image compression unit 54 for compressing the image read from the server 53, and the graphic controller 55 that is connected to the server 53 and the image compression unit 54 and generates an image to be displayed on the display 6. A CPU 56 for controlling each unit via the controller bus 21, a memory card 61 and a clock 62 connected to the I / O port 58, respectively.
[0026]
The operation unit 16 includes a keyboard 59 and a mouse 60 for the user to specify a desired image area and image position from the image displayed on the display 6.
[0027]
The Tilt unit 3a and the Pan unit 3b rotate a stepping motor configured as a drive source for the turntable based on a drive signal from the CPU 56. Thereby, the photographing direction of the camera unit 4 placed on the turntable can be changed to the horizontal direction or the vertical direction.
[0028]
The lens control unit 23 performs an automatic aperture control operation and an automatic focus control operation on the lens unit 22 based on the drive signal from the CPU 56. The lens control unit 23 changes the shooting angle of view for the subject based on the drive signal. As a result, the camera unit 4 can also adjust the shooting magnification sequentially to capture the subject.
[0029]
The imaging unit 24 is configured by a solid-state imaging device such as a CCD (Charge Coupled Device), for example, forms an object image incident through the lens unit 22 on the imaging surface, generates an image signal by photoelectric conversion, This is transmitted to the IEEE 1394 interface 25.
[0030]
The GPS receiver 28 detects the installation location and shooting direction of the camera unit 2 based on a signal transmitted by the GPS system. By providing the GPS receiving unit 28, particularly when a plurality of camera units 2 are installed, it is possible to control both shooting directions in conjunction with each other. The output signal from the GPS receiving unit 28 is supplied to the metadata generating unit 29, and metadata including position information such as latitude, longitude, azimuth, altitude, time, various parameters, etc. is generated based on the positioning result by GPS. Is done. The metadata generation unit 29 supplies the generated position information and metadata to the encoder 52. In the present invention, the configuration of the GPS receiving unit 28 and the metadata generating unit 29 may be omitted.
[0031]
The buffer memory 51 temporarily stores an image signal supplied from the IEEE 1394 interface 25 based on a control signal from the CPU 56. The image signal temporarily stored in the buffer memory 51 is supplied to the encoder 52, and is compressed and encoded based on a standard such as JPEG (Joint Photographic Experts Group). Incidentally, the encoder 52 may add position information and metadata supplied from the metadata generation unit 29 to an image signal to be compressed and encoded. The encoder 52 outputs the compressed and encoded image signal to the server 53 or the image compression unit 54. Note that the processing in the encoder 52 is omitted when compression encoding is not performed on the supplied image signal.
[0032]
The server 53 sequentially records the image signal output from the encoder 52 in association with the position information and metadata. Incidentally, the server 53 may be replaced with, for example, a hard disk or a removable disk-shaped recording medium. The image signal recorded in the server 53 is read out to the image compression unit 54 and the graphic controller 55 based on control by the CPU 56. By controlling the image signal recorded in the server 53 to be recorded in the memory card 61, the user can also transfer the captured image to another PC. Further, the server 53 can be replaced with the network server 18 by controlling the image signal recorded in the server 53 to be recorded in the network server 18 described above.
[0033]
The image compression unit 54 generates a compressed image or a thumbnail image for each JPEG format image signal read from the server 53. Further, the image compression unit 54 generates a moving image based on the captured image in accordance with control by the CPU 56. Incidentally, as a compression method for generating this moving image, it may be executed based on, for example, MPEG, Motion-JPEG, Motion-JPEG2000 or the like.
[0034]
The graphic controller 55 executes a painting process on the display 6 based on the image signal read from the server 53 or the image signal output from the image compression unit 54. The graphic controller 55 controls contrast and luminance in the display 6 based on control by the CPU 56.
[0035]
The CPU 56 controls a drive signal for driving the pantilter unit 3 and the lens control unit 23 and each unit in the electronic device 100 when an image area and an image position are designated by the user via the keyboard 59 and the mouse 60. A control signal for transmitting is transmitted via the controller bus 21. The CPU 56 receives a predetermined request signal from the terminal device 9, selects an optimal still image, moving image, or various information recorded in the server 53, and transmits this to the terminal device 9. To control.
[0036]
The audio input / output unit 12 encodes the audio signal input from the microphone 12. The audio signal encoded by the audio input / output unit 12 is also supplied to the server 53 and recorded in the same manner as the image signal as described above.
[0037]
Next, an imaging operation in the monitoring system 1 to which the present invention is applied will be described.
[0038]
FIG. 3 shows a case where the camera unit 2 captures an image within a shooting range indicated by a black frame with a shooting angle of view u. In order to capture the entire imaging range with the imaging angle of view u, it is necessary to shift the imaging direction sequentially in the horizontal or vertical direction.
If the size of the shooting range can be expressed by i × j times the size of a frame (hereinafter referred to as a unit image) obtained by imaging at an arbitrary shooting angle of view u, at least i × j shooting directions are set. There is a need to. An entire image representing the entire imaging range can be synthesized by pasting i × j unit images captured at the imaging angle of view u.
[0039]
Here, the coordinates (M, N) of each unit image in the photographing range are 1, 2,..., M, i from the left end in the horizontal direction, and 1, 2,. .., J, the CPU 56 sends a drive signal to the Tilt unit 3a and the Pan unit 3b, so that the shooting direction of the camera unit 4 is first matched with the coordinates (1, 1) located at the upper left. Perform imaging. An image signal based on the unit image generated by imaging the coordinates (1, 1) is temporarily stored in the buffer memory 51, and is compressed and encoded by the encoder 52 based on the JPEG standard. This image signal is simultaneously recorded with position information and metadata indicating the shooting direction transmitted from the GPS 28 and recorded in the server 53.
[0040]
Similarly, the CPU 56 transmits a drive signal to the Tilt unit 3a and the Pan unit 3b, thereby shifting the shooting direction of the camera unit 4 to the right by one frame and taking an image in accordance with the coordinates (2, 1). Execute. An image signal generated by taking an image of the coordinates (2, 1) is also recorded in the server 53. Based on the control by the CPU 56, the camera unit 4 executes imaging by sequentially changing the imaging direction in the horizontal direction as coordinates (3, 1), (4, 1)... (I, 1).
[0041]
After the imaging of the first row is completed, the camera unit 4 adjusts the shooting direction to the coordinates (1, 2) of the second row based on the control by the CPU 56, executes the imaging, and then sequentially in the horizontal direction. Imaging is performed while shifting. When such an operation is repeated and imaging is finished up to the coordinates (i, j), the server 53 enters a state in which image signals based on i × j unit images taken for each coordinate are recorded.
[0042]
Incidentally, each captured unit image is reduced to fit the size of the display screen of the display 6. Each reduced unit image is displayed on the display 6 via the graphic controller 15. By displaying all the i × j unit images recorded in the server 53 on the display 6, one whole image is synthesized. By executing the above imaging operation at regular intervals, it is possible to acquire an entire image showing the latest situation of the imaging range.
[0043]
FIG. 4 shows an example in which a moving image based on an entire image (panoramic image) synthesized by pasting together three captured unit images is displayed on the LIVE image display unit 70 of the display 6. The electronic device 100 may display a boundary between the unit images constituting the entire image on the LIVE image display unit 70 or may display only a seamless entire image. In addition, the electronic device 100 may display, on the LIVE image display unit 70, one entire image captured at an imaging angle of view that can capture the entire imaging range as an alternative to the panoramic overall image.
[0044]
That is, the user can check the situation of the entire shooting range in real time by visually recognizing the moving image displayed on the LIVE image display unit 70.
[0045]
Incidentally, the display screen 45 is further provided with an enlarged image display unit 71 for displaying an enlarged image obtained by enlarging the unit image. The enlarged image display unit 71 displays a still image obtained by enlarging one unit image designated by the user among unit images constituting an entire image showing the entire photographing range.
[0046]
The display screen 45 also displays a ZOOM button 73 for enlarging or reducing the shooting magnification for the unit image displayed on the enlarged image display unit 71. The display screen 45 also includes a LIVE button 74 for displaying a moving image on the LIVE image display unit 70, settings for various modes, and settings for causing the server to record an image signal based on a unit image at a desired address. A button 76 and the like are also displayed.
[0047]
Further, the user can designate a desired image region and image position on the LIVE image display unit 70 and the enlarged image display unit 71 using the keyboard 59 and the mouse 60. The display units 70 and 71 may further display a line of sight and a pointer for executing the above-described designation operation in conjunction with the movement of the mouse 60 or the like.
[0048]
Next, the case where an image pickup apparatus to which the present invention is applied picks up images at two or more different shooting angles will be described.
[0049]
As shown in FIG. 5, the camera unit 2 performs imaging by controlling the shooting direction at two or more different shooting angles of view for the same shooting range indicated by a black frame. By synthesizing unit images obtained by imaging for each shooting angle of view, a set of unit images having the same contents as the whole image can be created over several layers as shown in FIG. Hereinafter, a set of unit images corresponding to each shooting angle of view is referred to as a layer. It is assumed that the layer number increases in the order from the largest shooting angle of view, such as n, n + 1, n + 2,. That is, in Layer n with a large shooting angle of view, the entire image can be synthesized with a smaller number of unit images than Layer n + 1 with a small shooting angle of view. Incidentally, the size of the unit image and the number of pixels are the same between the layers.
[0050]
FIG. 6 shows an example in which the layer magnification is set to 1, 2, 4, and 8 times in order. FIG. 6 shows each layer as shown in FIG. 5 displayed in the horizontal or vertical direction. Layer 1 with a magnification of 1 is composed of one unit image, and Layer 2 with a magnification of 2 is 2 ×. Layer 3 composed of two unit images and 4 × magnification is composed of 4 × 4 unit images, and Layer 4 of 8 × magnification is composed of 8 × 8 unit images.
[0051]
Note that the camera unit 4 may execute imaging for each layer by controlling the imaging direction so that overlapping areas are generated as shown in FIG. That is, the enlarged image displayed on the enlarged image display unit 70 can be shifted at a fine pitch by setting the interval between the image centers of adjacent unit images narrow.
[0052]
FIG. 8 shows a procedure for capturing a unit image for each layer having the above-described photographing magnification. First, in step S11, the CPU 56 transmits a drive signal to the lens control unit 23 to adjust the shooting angle of view of the camera unit 4 to u1 corresponding to 1 × magnification, and the shooting direction is the center position of the shooting range. To match. Next, the process proceeds to step S 12, and the camera unit 4 captures one entire image that can display the entire imaging range at the imaging angle of view u 1. The image signal based on the captured whole image is sequentially recorded in the server 53 as Layer1.
[0053]
Next, based on the control by the CPU 56, the camera unit 4 adjusts the shooting angle of view to u2 corresponding to double magnification (step S13). In step S 14, the camera unit 4 performs imaging in accordance with the shooting direction in accordance with the coordinates (1, 1) located at the upper left of the shooting range based on the control by the CPU 56. The camera unit 4 sequentially shifts the shooting direction for each image frame, and executes imaging for all unit images constituting the Layer 2. Image signals based on the captured unit images are sequentially recorded in the server 53 as Layer2.
[0054]
Similarly, the camera unit 4 adjusts the shooting angle of view to u3 corresponding to a magnification of 4 and u4 corresponding to a magnification of 8 times, and executes imaging by sequentially shifting the shooting direction. Image signals based on the obtained unit images are sequentially recorded on the server 53 as Layer 3 and Layer 4, and finally, all images constituting each Layer are recorded on the server 53.
[0055]
Next, among the image signals recorded hierarchically in the server 53, an image signal based on the entire image constituting Layer 1 is first read out to generate a moving image, and the display 6 is displayed via the graphic controller 55. It is displayed on the above-mentioned LIVE image display unit 70. When the user desires an enlarged display of a desired image area in the moving image of the entire image displayed on the LIVE image display unit 70, the user can designate the image area using the mouse 60 or the like as described above. it can.
[0056]
FIG. 9 shows a procedure until the enlarged image is displayed in response to the designation operation by the user.
[0057]
First, when the image area is designated by the user in step S21, the process proceeds to step S22, and the CPU 56, for example, as shown in FIG. 10, the size q of the image area 30 designated by the user and the entire layer 1 A ratio with the image size y of the image is obtained.
[0058]
Next, the process proceeds to step S 23, and the CPU 56 selects one layer from each layer recorded hierarchically in the server 53. In the selection of the layer in step S23, the magnification k is calculated from the size ratio calculated in step S22, and the layer having the imaging magnification closest to the magnification k is selected. For example, when the ratio of q to y is 1: 2.3, the magnification k is 2.3, and the layer captured at the photographing magnification closest to the magnification k is Layer 2, so this is selected. Will do. That is, in this step S23, the CPU 56 selects the most appropriate layer according to the size of the designated image area 30.
[0059]
Next, the process proceeds to step S24, where the CPU 56 selects an optimum one from the unit images constituting Layer 2 in accordance with the image area designated by the user. As shown in FIG. 10, there are four coordinates (1, 1), (2, 1), (1, 2), and (2, 2) of the unit image constituting Layer 2. Among these, the image shown in the image area 30 designated in Layer 1 corresponds to the image shown in the image area 31 in Layer 2. For this reason, the CPU 56 selects a unit image located at the coordinates (1, 2) where the image region 31 exists from the unit images constituting the Layer 2 and reads out the unit image from the server 53. The CPU 56 may omit step S23 and directly select an optimal unit image from the size ratio obtained in step S22.
[0060]
Next, the process proceeds to step S25, and the CPU 56 extracts the selection area 42 including the image area 31 as shown in FIG. 11 for the unit image of the selected coordinates (1, 2).
Further, the CPU 56 executes an enlargement process using the digital zoom, for example, so as to match the size of the enlarged image display unit 71 for the extracted selection area 42.
[0061]
By executing the above operations, the image area designated by the user can be enlarged and displayed on the enlarged image display unit 71.
[0062]
As shown in FIG. 10, the entire image constituting Layer 1 and the unit image constituting Layer 2 having a magnification of 2 have the same number of pixels and the same size, and the image area 30 and the image showing the same image area In the region 31, the image region 31 is composed of more pixels. For this reason, it is possible to generate a high-quality enlarged image by selecting an optimum layer according to the size of the designated image region 30 and extracting the selection region 42 from one unit image in the layer. it can. Also in the example described above, by executing the enlargement process based on Layer 2, a high-quality enlarged image can be generated without depending on the digital zoom as compared with the case of executing the enlargement process based on Layer 1. become.
[0063]
By the way, by increasing the number of layers, the difference in magnification between adjacent layers can be reduced, so that a more appropriate unit image can be selected for the image area specified by the user, and the enlarged image becomes clearer. The degree can be further improved.
[0064]
In the present invention, the same shooting range is captured by controlling the shooting direction at two or more different shooting angles of view to generate an image signal, and an entire image or a unit image is shot based on the generated image signal. Each field of view is hierarchized and recorded in the server 53 in advance. Then, an optimum unit image is selected from the server 53 in accordance with the designated image area for the whole image converted into a moving image, and an enlarged image is generated based on the selected unit image and displayed.
[0065]
For this reason, in the present invention, it is sufficient to display one enlarged image constituting Layer 1 as a moving image in the LIVE image display unit 70, and the enlarged image displayed on the enlarged image display unit 71 is only one unit image. Therefore, it is not necessary to combine unit images together to synthesize a panoramic enlarged image. Accordingly, the boundary generated by connecting the unit images is not displayed on the enlarged image display unit 71, and the sharpness of the enlarged image can be further improved. In addition, it is possible to omit complicated processing for generating a seamless enlarged image, and the memory required for synthesizing the entire panoramic image can be effectively used for other purposes. It is also possible to provide an excellent application.
[0066]
Further, according to the present invention, when a desired image area is designated by the user, it is sufficient to enlarge an already recorded unit image, so that an enlarged image can be quickly provided, and the camera unit 4 is controlled each time. Thus, it is not necessary to take an image, and labor can be reduced.
[0067]
Furthermore, when the monitoring system 1 to which the present invention is applied is applied as a monitoring system for moving a captured image, the moving image is enlarged as it is, particularly when the user wants to confirm the contents by enlarging a desired image area. Therefore, it is possible to generate a high-definition enlarged image based on the unit images separately stored in the server 53, so that the monitoring accuracy can be improved.
[0068]
In particular, the user can experience a sense of realism with a moving image displayed in real time on the display screen 45 via the LIVE image display unit 70 by using the single camera unit 4 and the electronic device 100, and an enlarged image. Through the display unit 71, high-precision monitoring based on a high-definition enlarged image can be realized.
[0069]
When the user performs more detailed monitoring on a desired subject while visually recognizing an image in which a large number of people are moving on the LIVE image display unit 70, the monitoring system 1 captures an image of the subject. A unit image having a small angle of view can be read from the server 53 and displayed on the enlarged image display unit 71. Thereby, the user can monitor the desired subject via a more detailed and high-definition image. In particular, since the read unit image is recorded in the server 53 in advance, a moving person may not be displayed, and an enlarged image in which only the subject is displayed may be obtained. At this time, a portion related to privacy or the like may be shielded for a high-definition enlarged image.
[0070]
In addition, you may perform the procedure until it produces | generates and browses this enlarged image based on the flowchart shown in the following FIG.
[0071]
When the user browses an image to be captured, the process first proceeds to step S31, and the CPU 56 determines whether a moving image is currently displayed on the LIVE image display unit 70. As a result, when the moving image is displayed on the LIVE image display unit 70, the process proceeds to step S32. When the moving image is not displayed, the process proceeds to step S33.
[0072]
In step S 32, the CPU 56 controls the image compression unit 54 to sequentially generate or update a moving image based on the entire captured image.
Then, the CPU 56 sequentially displays the generated moving images on the display 6, and then proceeds to step S34.
[0073]
In the case of proceeding to step S33, the CPU 56 controls to read the previously acquired unit image or whole image from the server 53 and display it on the display 6, or based on the unit image or whole image read from the server 53. Control is performed to generate a moving image, and the process proceeds to step S34.
[0074]
In step S 34, the CPU 56 identifies whether an image area is designated in the LIVE image display unit 70 by the user or whether a browsing end command is input. As a result, when the image area is designated, the process proceeds to step S35 and the browsing process is terminated. If a browsing end command is input, the process proceeds to step S36. If the image area is not specified and the browsing end command is not input, the process proceeds to step S31 again, and the current display state of the LIVE image display unit 70 is determined.
[0075]
When the process proceeds to step S35, as shown in FIG. 9, the CPU 56 generates an enlarged image based on the designated image area, and controls to display the enlarged image on the enlarged image display unit 71, step S37. Migrate to
[0076]
In step S37, the CPU 56 identifies whether or not the LIVE button 74 has been pressed and input by the user. As a result, when the LIVE button 74 is pressed and input, the process proceeds to step S38. On the other hand, if the LIVE button 74 has not been pressed, the process proceeds to step S31 again to determine the current display state of the LIVE image display unit 70.
[0077]
When the process proceeds to step S38, the mode is switched to the mode in which the entire image displayed on the entire image display unit 70 is a moving image, and then the process returns to step S31 again.
[0078]
In the present invention, the present invention is not limited to the selection of the layer with the closest shooting magnification, and the layer may be selected by any other method.
[0079]
In the monitoring system 1 according to the present invention, a whole image is converted into a moving image and transmitted to the user of the terminal device 9, and an enlarged image is transmitted to the user of the terminal device 9 according to the designated image area. can do. That is, in the monitoring system 1 to which the present invention is applied, in addition to a user who operates the electronic device 100, an appropriate unit image is selected for a user who operates the terminal device 9 connected to the network 8, This can be sent. In addition, by connecting a plurality of terminal devices 9 to the network 8, each unit image can be simultaneously transmitted to a plurality of users.
[0080]
Of course, the present invention may be applied to a program for causing a computer to execute the processing described above, or a recording medium on which such a program is recorded.
[0081]
【The invention's effect】
 As described above in detail, in the present invention, an entire image including a plurality of unit images and showing the entire imaging range is obtained by imaging the imaging range by sequentially changing the imaging direction at two or more different imaging angles of view. Generated at predetermined time intervals, layered for each shooting angle of view, recorded on a recording medium, displayed a moving image generated based on the entire image, and specified an image area for the displayed moving image The unit image is selected from the recording medium according to the designated image area, and an enlarged image is generated.To another area on the screen where moving images are displayedindicate.
[0082]
 ThisIn the present invention,Multiple users can enlarge or reduce the desired image area while maintaining fine image quality. Furthermore, even when the desired image area is enlarged and displayed from the displayed moving image, higher definition is achieved. An enlarged image can be generated.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a monitoring system to which the present invention is applied.
FIG. 2 is a block configuration diagram of a camera unit and an electronic device.
FIG. 3 is a diagram for describing a case where a camera unit captures an image within a shooting range indicated by a black frame at a shooting angle of view u.
FIG. 4 is a diagram illustrating a configuration example of a display screen on a display.
FIG. 5 is a diagram illustrating an example in which imaging is executed by controlling the shooting direction at two or more different shooting angles of view for the same shooting range.
FIG. 6 is a diagram illustrating an example in which imaging is performed by sequentially setting the layer magnification to 1, 2, 4, and 8 times.
FIG. 7 is a diagram illustrating an example in which imaging is performed by controlling the imaging direction so that overlapping areas are generated.
FIG. 8 is a flowchart showing a procedure for capturing a unit image for each layer.
FIG. 9 is a flowchart illustrating a procedure until a magnified image is displayed in response to a designation operation by a user.
FIG. 10 is a diagram illustrating an example of selecting one layer from each layer recorded in a layered manner.
FIG. 11 is a diagram illustrating an example in which an enlargement process is executed for an extracted selection region.
FIG. 12 is a flowchart showing a procedure until an enlarged image is generated and browsed.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Surveillance system, 2 Camera unit, 3 Pantilta part, 4 Camera part, 6 Display, 8 Network, 9 User terminal, 10 Terminal display, 11 Network server, 21 Controller bus, 22 Lens part, 23 Lens control part, 24 Imaging part , 25 IEEE 1394 interface, 28 GPS receiver, 29 metadata generator, 51 buffer memory, 52 encoder, 53 server, 54 image compressor, 55 graphic controller, 56 CPU, 58 I / O port, 59 keyboard, 60 mouse, 61 Memory card, 62 Clock, 100 Electronic equipment

Claims

An imaging unit that generates a whole image including a plurality of unit images at a predetermined time interval by imaging a shooting range by sequentially changing a shooting direction at two or more different shooting angles of view;
Recording means for layering the unit images for each shooting angle of view and recording them on a recording medium;
Moving image generating means for generating a moving image based on the whole image;
A moving image display means for displaying the moving image generated by the moving image generation means;
Enlarged image display means for displaying an enlarged image obtained by enlarging the unit image;
In the moving image displayed on the moving image display means, a specifying means for the user to specify an image area;
A unit image is selected from the recording medium in accordance with the image area specified by the specifying unit, the enlarged image is generated based on the selected unit image, and the enlarged image is output to the enlarged image display unit. An imaging apparatus comprising: the moving image display means and a control means for controlling the enlarged image display means so as to display an image and the enlarged image in different areas on the screen .

By capturing the shooting range by sequentially changing the shooting direction at two or more different shooting angles of view, an entire image including a plurality of unit images and showing the entire shooting range is generated at predetermined time intervals,
The unit image is layered for each shooting angle of view and recorded on a recording medium,
A moving image is generated based on the whole image,
Display the generated video above,
When an image area is designated for the displayed moving image, a unit image is selected from the recording medium according to the designated image area, an enlarged image is generated by enlarging the selected unit image, An imaging method for displaying this in another area on the screen on which the moving image is displayed .

An imaging device that generates a whole image at a predetermined time interval that includes a plurality of unit images and that shows the whole photographing range by photographing the photographing range by sequentially changing the photographing direction at two or more different photographing angles.
And a control device for the unit images captured by hierarchically for each of the photographing field angle is recorded to the server, generates the moving image on the basis of the entire image generated by the above SL imaging device by the imaging device,
A display means for displaying the moving image transmitted through the communication network from the imaging device, the user in the moving image displayed on the display means and designation means for designating an image area, A unit image is read from the server according to the image area specified by the specifying unit, an enlarged image is generated by enlarging the read unit image, and this is displayed on the screen on which the moving image is displayed on the display unit An image information providing system comprising: a terminal device that displays the image in another area .

The terminal device has instruction means for instructing display of a live image,
The control device is connected to a plurality of the terminal devices via a communication network, and when receiving an instruction to display a live image from the terminal device, the control device displays a live image in an area where a moving image is displayed on the display unit. The image information providing system according to claim 3, wherein the image information is controlled to be displayed.

The image information providing system according to claim 4, wherein the control device controls the imaging device so that the unit images constituting the enlarged image are photographed in an overlapping manner.

By capturing the shooting range by sequentially changing the shooting direction at two or more different shooting angles of view, an entire image including a plurality of unit images and showing the entire shooting range is generated at predetermined time intervals,
The unit image is layered for each shooting angle of view and recorded on a recording medium,
A moving image is generated based on the whole image,
Display the generated video above,
When an image area is designated for the displayed moving image, a unit image is selected from the recording medium according to the designated image area, an enlarged image is generated by enlarging the selected unit image, A program for causing a computer to display this in another area on the screen on which the moving image is displayed .

  A control device used in an image information providing system having a recording device, a display device, and a control device,
  An overall image generated from a plurality of first unit images captured at a first angle of view and a second unit image captured at a second angle of view smaller than the first angle of view on the recording device. Record
  On the display device, an entire image recorded by the recording device and an enlarged image obtained by enlarging an image area designated in the entire image are displayed.
  Controlling the entire image display area for displaying the entire image and the enlarged image display area for displaying the enlarged image to be different areas on the screen;
  A control device that controls to generate an image to be displayed in the enlarged image area based on the second unit image corresponding to the image area designated in the entire image.

The control device according to claim 7, wherein when receiving an instruction to display a live image, control is performed so that the live image is displayed in the entire image display area.

Connected to a plurality of the terminal devices via a communication network,
The control device according to claim 8, wherein the whole image and the second unit image are transmitted from the recording device to the terminal device in accordance with an instruction from the terminal device.