JP4211377B2 - 画像信号処理装置 - Google Patents
画像信号処理装置 Download PDFInfo
- Publication number
- JP4211377B2 JP4211377B2 JP2002361304A JP2002361304A JP4211377B2 JP 4211377 B2 JP4211377 B2 JP 4211377B2 JP 2002361304 A JP2002361304 A JP 2002361304A JP 2002361304 A JP2002361304 A JP 2002361304A JP 4211377 B2 JP4211377 B2 JP 4211377B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- enlarged
- recording medium
- overlapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、広範囲の状況を監視する監視システム等に適用される画像信号処理装置及び方法、撮像装置及び方法、画像情報提供システム並びにプログラムに関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮影し、これらを合成してパノラマ画像を得ることにより、広範囲の状況を監視することができるモニタリングシステムが普及しており、かかるパノラマ画像の合成精度を向上させることができる画像信号撮像装置も近年において提案されている（例えば、特許文献１参照）。
【０００４】
この画像信号撮像装置では、図１７(a)に示すように、カメラ一体型ディジタルＶＣＲに設けられたビューファインダの画面枠の中央に四角で示す固定マーク１３２、画面枠１３１の内側に点線で表示される目標枠１３３及び三角形状の可動マーク１３４が表示される。目標枠１３３が画面枠１３１内に収まり、かつ可動マーク１３４が固定マーク１３２に重なる場合に、ユーザにより１フレームの単位画像が撮影されると、次の単位画像の撮影を促すべく、図１７(b)に示すように、目標枠１３３および可動マーク１３４が水平方向に移動する。
【０００５】
ユーザは、ビューファインダを見ながらカメラ一体型ディジタルＶＣＲを移動させ、その画面枠１３１および固定マーク１３２に目標枠１３３および可動マーク１３４を近づける。そして、図１７(c)に示すように、目標枠１３３が画面枠１３１に収まり、且つ可動マーク１３４が固定マーク１３２に重なるときに、次の単位画像を撮影する。
【０００６】
このように、隣接する単位画像の位置に目標枠１３３および可動マーク１３４が表示されるので、ユーザは、パノラマ画像を合成するための単位画像を簡単に撮影することができ、さらには、互いに隣接する単位画像間の重複率等、予め設定されたパラメータが大きく異なることがなくなるため、パノラマ画像の合成精度を向上させることができる。
【０００７】
また従来において、撮影した単位画像に応じて継ぎ合わせる場所や幅を可変にすることにより、品質の高いパノラマ画像を作成することができるパノラマ画像作成方法も提案されている（例えば、特許文献２参照。）。
【０００８】
さらには、撮像した単位画像を仮想球面上に写像して連結することにより、連結部に歪みのないパノラマ画像を生成することができるパノラマ画像生成装置も提案されている（例えば、特許文献３参照。）。
【０００９】
また従来において、少ない操作で３６０°のパノラマ画像を得ることができるディジタル撮像装置も提案されている（例えば、特許文献４参照。）。このディジタル撮像装置では、２つの単位画像を連結するための境界処理につき、３６０°全て実行されていない場合には、撮像装置本体と協動してことによりパノラマ撮影を実現することができる。
【００１０】
【特許文献１】
特開２０００−１０１８９５号公報
【特許文献２】
特開平０６−３０３５６１号公報
【特許文献３】
特開平１１−００８８４５号公報
【特許文献４】
特開平１１−１２２５２１号公報
【００１１】
【発明が解決しようとする課題】
撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に管理する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【００１２】
しかしながら、上述したモニタリングシステムや撮像装置は、あくまでユーザが単独で被写体を撮像してパノラマ画像を生成する際に好適なものであるため、複数のユーザによる被写体の同時撮影や、撮影内容の事後的な確認が困難であった。
【００１３】
また、上述したモニタリングシステムや撮像装置等においても、単位画像同士を連結してパノラマ画像を生成することは可能であるが、その連結部に該当する単位画像間の境界が画面上に表示されてしまい、精細な画質を維持することができない。また、かかる単位画像間の境界の表示を抑制し、シームレスなパノラマ画像を生成するためには、煩雑な操作が必要となり、また大容量のメモリが必要となるためにコストパフォーマンスに優れたシステムを提供することができないという問題点もあった。
【００１４】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、複数のユーザに対して、シームレスなパノラマ画像を提供することができる画像信号処理装置及び方法、撮像装置及び方法、画像情報提供システム、並びにプログラムを提供することにある。
【００１５】
【課題を解決するための手段】
本発明を適用した画像信号処理装置は、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより得られた画像信号を処理する画像信号処理装置において、記録媒体と、上記画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、上記記録媒体へ記録するように制御する制御手段と、上記記録媒体に記録されている一の単位画像を拡大した拡大画像を表示する拡大画像表示手段と、少なくとも上記拡大画像表示手段に表示される拡大画像から、ユーザが画像位置を指定するための指定手段とを備え、上記制御手段は、上記指定手段により指定された拡大画像の画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段へ出力する。
【００１６】
本発明を適用した画像信号処理方法は、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより得られた画像信号を処理する画像信号処理方法において、上記画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、記録媒体へ記録し、上記記録媒体に記録されている一の単位画像を拡大した拡大画像を表示し、上記表示する拡大画像から指定された画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを表示する。
【００１７】
本発明を適用した撮像装置は、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像して画像信号を生成する撮像手段と、記録媒体と、上記生成された画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、上記記録媒体へ記録するように制御する制御手段と、上記記録媒体に記録されている一の単位画像を拡大した拡大画像を表示する拡大画像表示手段と、少なくとも上記拡大画像表示手段に表示される拡大画像から、ユーザが画像位置を指定するための指定手段とを備え、上記制御手段は、上記指定手段により指定された画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段へ出力する。
【００１８】
本発明を適用した撮像方法は、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像して画像信号を生成し、上記生成された画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、記録媒体へ記録し、上記記録媒体に記録されている一の単位画像につき拡大した拡大画像を表示し、上記表示する拡大画像から指定された画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを表示する。
【００１９】
本発明を適用した画像情報提供システムは、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を撮影範囲内で順次変化させることにより得られた画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて記録してなるサーバと、上記サーバから通信網を介して取得した一の単位画像から拡大画像を生成してこれを表示する拡大画像表示手段と、上記拡大画像表示手段に表示される拡大画像からユーザが画像位置を指定するための指定手段とを有し、上記指定手段により指定された画像位置を上記通信網を介して送信する端末装置と、上記端末装置から送信される上記拡大画像の画像位置に応じて上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記サーバから読み出して、これを上記端末装置における拡大画像表示手段へ送信するサーバ制御機器とを備える。
【００２０】
本発明を適用したプログラムは、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより得られた画像信号を処理する画像信号処理をコンピュータに実行させるためのプログラムにおいて、制御手段により、上記画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、記録媒体へ記録し、拡大画像表示手段により、上記記録媒体に記録されている一の単位画像につき拡大した拡大画像を表示し、指定手段により上記表示される拡大画像について所望の画像位置が指定された場合には、上記制御手段により、当該画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段により表示する処理をコンピュータに実行させる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した画像情報提供システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、カメラユニット２により生成された画像信号が伝送される画像信号処理装置５と、画像信号処理装置５に接続されるディスプレイ６と、複数のユーザがアプリケーションを実行するためのユーザ端末９と、画像信号処理装置５と各ユーザ端末９との間で情報を送受信するためのネットワーク８と、ユーザ端末９に接続される端末ディスプレイ１０と、ネットワーク８に接続されるネットワークサーバ１１とを備えている。
【００２２】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００２３】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、画像信号処理装置５による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、画像信号処理装置５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。このカメラ部４を一の画像信号処理装置５に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることが可能となる。
【００２４】
画像信号処理装置５は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器により構成され、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの画像信号処理装置５は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この画像信号処理装置５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他のユーザ端末９からの要求に応じて、画像を送信する。
【００２５】
ネットワーク８は、例えば画像信号処理装置５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの画像情報提供システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク８は、静止画像に加えてＭＰＥＧ画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、ＭＰＥＧデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。
【００２６】
ユーザ端末９は、ユーザが画像信号処理装置５から画像を取得し、所望の処理を実行するためのＰＣである。複数のユーザ端末９をネットワーク８に接続することにより、複数のユーザに対してこの画像情報提供システム１のアプリケーションを同時に提供することが可能となる。このユーザ端末９は、画像信号処理装置５から取得した画像を、端末ディスプレイ１０に対して表示する。またこのユーザ端末９は、ユーザによる指定操作に応じて要求信号を生成し、これを画像信号処理装置５に対して送信する。なおユーザ端末９のブロック構成については、後述する画像信号処理装置５の構成を引用し、説明を省略する。
【００２７】
ネットワークサーバ１１は、例えばインターネット情報を管理し、ユーザ端末９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２８】
次に、本発明を適用した画像情報提供システム１におけるカメラユニット２,画像信号処理装置５の構成について詳細に説明する。
【００２９】
図２は、カメラユニット２,画像信号処理装置５の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに画像信号処理装置５の各構成要素が接続されている。
【００３０】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するPan部３ａ、Tilt部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像信号処理装置５へ送信するためのＩＥＥＥ(Institute of Electrical and Electronics Engineers)インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ(Global Positioning System)受信部２８と、ＧＰＳ受信部に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００３１】
また画像信号処理装置５は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２と、エンコーダ５２から出力される画像を蓄積するサーバ５３と、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続され、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０と、さらにこのＩ／Ｏポート５８に接続されるメモリカード６１並びに時計６２とを備えている。
【００３２】
Pan部３ａ並びにTilt部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００３３】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することが可能となる。
【００３４】
撮像部２４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００３５】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３６】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３７】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号をネットワークサーバ１１に記録するように制御することにより、サーバ５３をネットワークサーバ１１に代替することも可能となる。
【００３８】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３９】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、画像信号処理装置５内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、ユーザ端末９から要求信号を受けて、サーバ５３に記録されている画像から最適なものを選択し、これを当該ユーザ端末９へ送信するように制御する。
【００４０】
次に本発明を適用した画像情報提供システム１における撮像動作について説明をする。
【００４１】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００４２】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊ としたとき、ＣＰＵ５６は、Pan部３ａ並びにTilt部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００４３】
同様にＣＰＵ５６は、Pan部３ａ並びにTilt部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００４４】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。
【００４５】
ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように圧縮される。この圧縮された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。
【００４６】
図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この画像信号処理装置５は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また画像信号処理装置５は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７１に表示させてもよい。
【００４７】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７２、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、操作モード、表示モードを設定するためのモード設定ボタン７６等も表示される。
【００４８】
ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、マウス５９やキーボード６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０,７１には、マウス５９等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４９】
次に、この表示画面４５において、ユーザにより指定された画像領域を拡大画像表示部７１において拡大表示する例につき説明をする。
【００５０】
ユーザによる画像領域の指定操作の前に、カメラユニット２並びに画像信号処理装置５は、以下に説明する処理を実行する。
【００５１】
カメラユニット２は、図５に示すように、黒枠で示される同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する。撮像により得られる単位画像を撮影画角毎に合成することにより、全体画像と同一内容の単位画像の集合を図５に示すように幾層にも亘って作成することができる。以下、各撮影画角に応じた単位画像の集合をLayerという。Layerの番号は、撮影画角の大きい順からｎ、ｎ＋１、ｎ＋２、・・、と増加するものとする。すなわち撮影画角の大きいLayerｎでは、撮影画角の小さいLayerｎ＋１と比較して、少ない単位画像数で全体画像を合成することができる。ちなみに、単位画像のサイズ、画素数は各Layer間において同等である。
【００５２】
図６は、Layerの倍率を順に１、２、４、８倍に設定して撮像する例を示している。図６は、図５で示すような各Layerを水平方向又は垂直方向から表示したものであり、倍率１倍のLayer１は、１枚の単位画像で構成され、倍率２倍のLayer２は、２×２枚の単位画像で構成され、また倍率４倍のLayer３は、４×４枚の単位画像で構成され、倍率８倍のLayer４は８×８枚の単位画像で構成される。
【００５３】
図７は、上述の撮影倍率からなる各Layerにつき、単位画像を撮像する手順を示している。先ずステップＳ１１において、ＣＰＵ５６は、レンズ制御部２３に対して駆動信号を送信することにより、カメラ部４の撮影画角を倍率１倍に相当するｕ１に調整し、撮影方向を撮影範囲の中心位置に合わせる。次にステップＳ１２へ移行し、カメラ部４は、かかる撮影画角ｕ１で、撮影範囲全体を表示することができる１枚の全体画像を撮像する。この撮像された全体画像に基づく画像信号は、Layer１として順次サーバ５３へ記録されることになる。
【００５４】
次にカメラ部４は、ＣＰＵ５６による制御に基づき、撮影画角を倍率２倍に相当するｕ２に調整する（ステップＳ１３）。またカメラ部４は、ステップＳ１４において、ＣＰＵ５６による制御に基づき、撮影方向を、撮影範囲左上に位置する座標（１，１）に合わせて撮像を実行する（ステップＳ１２）。カメラ部４は、撮影方向を順次１画枠分毎にシフトさせて、Layer２を構成する全ての単位画像につき撮像を実行する。撮像された単位画像に基づく画像信号は、Layer２として順次サーバ５３へ記録される。
【００５５】
同様にカメラ部４は、撮影画角を倍率４倍に相当するｕ３、また倍率８倍に相当するｕ４に調整して、撮影方向を順次シフトさせて撮像を実行する。得られた単位画像に基づく画像信号は、Layer３、Layer４として順次サーバ５３に記録され、最終的には、各Layerを構成する画像が全てサーバ５３に記録されている状態となる。
【００５６】
次に、このサーバ５３内に階層化して記録されている各画像信号のうち、Layer１を構成する全体画像に基づく画像信号が最初に読み出され、グラフィックコントローラ５５を経てディスプレイ６等上の全体画像表示部７０に表示される。ユーザは、この全体画像表示部７０に表示されている全体画像において、所望の画像領域につき拡大表示を望む場合には、上述の如くマウス６０等を用いて当該画像領域を指定することができる。
【００５７】
図８は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００５８】
先ずステップＳ２１においてユーザによる画像領域の指定を受けた場合には、ステップＳ２２へ移行し、ＣＰＵ５６は、例えば図９に示すように、ユーザにより指定された画像領域３０のサイズｑと、Layer１における全体画像の画サイズｙとの比を求める。
【００５９】
次にステップＳ２３へ移行し、ＣＰＵ５６は、サーバ５３に階層化して記録されている各Layerから一のLayerを選択する。このステップＳ２３におけるLayerの選択は、ステップＳ２２において演算したサイズ比から倍率ｋを計算し、かかる倍率ｋに最も近い撮影倍率のLayerを選択する。例えば、ｑとｙとの比が、１：２．３である場合、倍率ｋは２．３となり、かかる倍率ｋに最も近い撮影倍率で撮像されたLayerは、Layer２であるため、これを選択することになる。すなわち、このステップＳ２３において、ＣＰＵ５６は、指定された画像領域３０のサイズに応じて最も適切なLayerを選択する。
【００６０】
次にステップＳ２４へ移行し、ＣＰＵ５６は、ユーザにより指定された画像領域に応じて、Layer２を構成する単位画像から最適なものを選択する。Layer２を構成する単位画像の座標は、図９に示すように（１,１）、（２,１）、（１,２）、（２,２）の４つである。このうち、Layer１において指定された画像領域３０の内容は、このLayer２における画像領域３１に相当する。このため、ＣＰＵ５６は、Layer２を構成する単位画像のうち、画像領域３１が存在する座標（１,２）に位置する単位画像を選択し、これをサーバ５３から読み出す。なお、ＣＰＵ５６は、ステップＳ２３を省略して、ステップＳ２２において求めたサイズ比から、最適な単位画像を直接選択してもよい。
【００６１】
次にステップＳ２５へ移行し、ＣＰＵ５６は、選択した座標（１,２）の単位画像につき、図１０に示すように画像領域３１を含む選択領域４２を抽出する。またＣＰＵ５６は、この抽出した選択領域４２につき、拡大画像表示部７１のサイズに合うように例えばデジタルズームを利用して拡大処理を実行する。
【００６２】
以上の操作を実行することにより、ユーザから指定された画像領域を拡大画像表示部７１に拡大表示させることができる。
【００６３】
なお、図９に示すようにLayer１を構成する全体画像と、倍率が２倍であるLayer２を構成する単位画像の画素数、サイズは同等であり、同じ画像領域を示している画像領域３０と画像領域３１では、画像領域３１の方が多くの画素により構成されている。このため、指定された画像領域３０のサイズに応じて、最適なLayerを選択し、かかるLayerにある一の単位画像から選択領域４２を抽出することにより、高画質な拡大画像を生成することができる。上述した例においても、Layer２に基づいて拡大処理を実行することにより、Layer１に基づいて拡大処理を実行する場合と比較して、ディジタルズームに依存せずにより高画質の拡大画像が生成されることになる。
【００６４】
ちなみに、Layer数を増やすことにより、隣接するLayerの倍率差を小さくすることができるため、ユーザにより指定される画像領域に対して、より適切な単位画像を選択することができ、拡大画像の鮮明度をさらに向上させることができる。
【００６５】
また本発明では、同一の撮影範囲を異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化してサーバ５３へ予め記録しておく。そして全体画像において指定された画像領域に応じてサーバ５３から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【００６６】
このため、本発明では、全体画像表示部７０において、Layer１を構成する１枚の拡大画像を表示すれば足り、また拡大画像表示部７１に表示される拡大画像は、あくまで一枚の単位画像を拡大、縮小して生成されるため、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなる。従って、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【００６７】
また、本発明では、ユーザから所望の画像領域が指定された場合に、既に記録してある単位画像を拡大すれば足りるため拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００６８】
なお、本発明では、最も近い撮影倍率のLayerを選択する場合に限定されるものではなく、他のいかなる方法でLayerを選択してもよい。
【００６９】
本発明に係る画像情報提供システム１では、図１１に示す手順により、ユーザ端末９のユーザに対して拡大画像を提供することができる。
【００７０】
先ずステップＳ３１において、ユーザ端末９を操作する各ユーザは、ネットワーク８に接続されている画像信号処理装置５にアクセスする。
【００７１】
次にステップＳ３２に移行し、画像信号処理装置５は、自身のサーバ５３に記録されている全体画像のうち、ユーザに対して公開できるものについて、公開可能画像リストを作成し、これをユーザ端末９へ送信する。ちなみに、この公開可能画像リストには、各全体画像のファイル名やファイルサイズのみにならず、縮小された全体画像が貼り付けられる場合もある。この公開可能画像リストは、ネットワーク８、ユーザ端末９を介して、端末ディスプレイ１０上に表示される。
【００７２】
次にステップＳ３３へ移行し、ユーザは、公開可能画像リストから所望の全体画像を選択する。ユーザ端末９は、ユーザによる選択操作に応じて、全体画像送信要求を画像信号処理装置５へ送信する。
【００７３】
ステップＳ３４において、画像信号処理装置５は、かかる全体画像送信要求を受けて、ユーザにより選択された全体画像をLayer１から抽出し、これをユーザ端末９へ送信する。送信された拡大画像は、ネットワーク８、ユーザ端末９を介して、端末ディスプレイ１０に表示される。
【００７４】
次にステップＳ３５へ移行し、ユーザは、端末ディスプレイ１０に表示される全体画像につき、所望の画像位置をマウス６０等を用いてポイント指定し、或いは上述の如く所望の画像領域を指定する。ユーザ端末９は、かかるユーザの指定操作に応じて、単位画像送信要求を画像信号処理装置５へ送信する。
【００７５】
次にステップＳ３６へ移行し、画像信号処理装置５は、かかる単位画像送信要求を受けて、サーバ５３に記録されている単位画像から最適なものを選択し、これを読み出す。ユーザ端末９において画像領域が指定されている場合には、上述の如く倍率計算を実行して、最適なLayerから一の単位画像を選択する。またユーザ端末９において画像位置がポイント指定された場合には、全体画像より下の階層であるLayerｎから、かかる画像位置を含む単位画像を選択する。画像信号処理装置５は、サーバ５３から読み出した単位画像をパケット化し、ネットワーク８を介してユーザ端末９へ送信する。
【００７６】
次に、ステップＳ３７において、ユーザ端末９は、送信された単位画像に対して、上述したステップＳ２５と同様に、デジタルズームを利用した拡大処理を実行して、これを拡大画像表示部７１に表示する。このステップＳ３７において、拡大画像表示部７１に表示されている拡大画像につき、さらに倍率を拡大、縮小する旨の操作が実行された場合には、さらなる単位画像送信要求を画像信号処理装置５へ送信する。
【００７７】
次に、ステップＳ３８において、画像信号処理装置５は、かかる単位画像送信要求を受けてサーバ５３から最適な単位画像を選択する。このとき、倍率を拡大する旨が要求されている場合には、更に下の階層であるLayerｎ＋１から単位画像を選択する。画像信号処理装置５は、サーバ５３から選択した単位画像を、ネットワーク８を介してユーザ端末９へ送信する。
【００７８】
次に、ステップＳ３９において、ユーザは、ステップＳ３７と同様に所望の画像位置を指定し、又は拡大、縮小操作を繰り返し実行することができる。
【００７９】
以上説明した手順を実行することにより、本発明を適用した画像情報提供システム１では、画像信号処理装置５を操作するユーザに加えて、ネットワーク８に接続されているユーザ端末９を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。
【００８０】
また、単位画像を合成したパノラマ状の全体画像を送信する場合には、かかる全体画像を合成する全ての単位画像を送信しなければならないため、撮影画角が小さくなるにつれて、図１２に示すLayerｎ＋２のように、送信するファイルのサイズが大幅に増えてしまうが、本発明では、単位画像を互いに貼り合わせる必要性はなく、各ユーザ端末９に対して選択した一枚の単位画像のみ順次送信すれば足りる。このため、ユーザが仮にLayerｎの単位画像からLayerｎ＋２まで順次拡大操作を実行した場合であっても、Layer毎に表示する３枚の単位画像を選択すればよく、送信するファイルのサイズを大幅に削減することができる。これによりネットワーク８全体の負荷を軽減させることができ、また、ネットワーク８がＩＳＤＮやモデム等の低速回線で構成されている場合であっても、画質を劣化させることなく単位画像の送信を迅速に実現することができる。
【００８１】
また、ネットワーク８に対して複数のユーザ端末９を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。
【００８２】
次に、この表示画面４５における拡大画像表示部７１において、ユーザにより指定された画像位置へ拡大画像をシフトさせて表示する場合につき説明をする。
【００８３】
ユーザによる画像位置の指定前に、カメラユニット２並びに画像信号処理装置５は、以下に説明する処理を実行する。
【００８４】
カメラユニット２は、互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する。図１３に示すように、一画枠毎に撮像する単位画像１０１に加えて、水平方向に半画枠分シフトさせた単位画像１０２、垂直方向に半画枠分シフトさせた単位画像１０３、水平−垂直方向にそれぞれ半画枠分シフトさせた単位画像１０４をさらに撮像する。すなわち、カメラユニット２は、互いに撮影方向の異なる４種類の単位画像１０１,１０２,１０３,１０４を順次撮像する。
【００８５】
サーバ５３は、各単位画像１０１,１０２,１０３,１０４につき、隣接する他の単位画像と互いに連関させてこれを記録する。全体画像表示部７０には、サーバ５３に記録されている単位画像１０１等を合成した全体画像、又は撮影画角ｕ１により撮影した全体画像が表示される。拡大画像表示部７１には、このサーバ５３に記録されている一の単位画像が拡大されて表示される。
【００８６】
この拡大画像表示部７１に単位画像１０４が表示されている場合において、拡大画像表示部７１に表示されている画像は、図１４に示すように、隣接する他の単位画像１０１、１０２、１０３と一部重複した内容となる。ユーザは、この拡大画像表示部７１に表示されている単位画像１０４に基づく拡大画像につき、マウス６０等を用いて所望の画像位置を指定することができる。
【００８７】
図１５は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００８８】
先ずステップＳ４１において、ユーザから拡大画像表示部７１に示される単位画像１０４のうち所望の画像位置が指定された場合にはステップＳ４２へ移行し、ＣＰＵ５６は、拡大画像をシフトさせて表示する必要性につき判断する。このときＣＰＵ５６は、指定された画像位置に対して、最短の画像中心を有する単位画像が、現在拡大画像表示部７１に表示されている単位画像１０４であるか否かにつき先ず判断する。
【００８９】
図１６に示すように、水平方向の長さがｓであり、垂直方向の長さがｔである拡大画像表示部７１において、指定された画像位置に対して、単位画像１０４の画像中心が最短となる領域は、斜線で示される水平方向の長さがｓ／２であり、垂直の長さｔ／２である領域である。この領域の境界を以下、仮想境界という。
【００９０】
すなわち、指定された画像位置が仮想境界内である場合には、単位画像１０４の画像中心が最短となるため、拡大画像をシフトする必要はないものと判別する。一方、指定された画像位置が仮想境界の外側である場合には、隣接する他の単位画像の画像中心が最短となることを示唆しており、さらにステップＳ４３へ移行する。
【００９１】
ステップＳ４３において、ＣＰＵ５６は、指定された画像位置につき、最短の画像中心を有する単位画像を選択する。このとき図１６に示すように、指定された画像位置が領域Ａ、Ｃ、Ｆ、Ｈに含まれる場合には、それぞれ左上、右上、左下、右下に隣接する単位画像１０１の画像中心が最短となるため、これを選択する。また指定された画像位置が領域Ｂ、Ｇに含まれる場合には、それぞれ上、下に隣接する単位画像１０２の画像中心が最短となるため、これを選択する。さらに指定された画像位置が、領域Ｄ、Ｅに含まれる場合には、それぞれ左、右に隣接する単位画像１０３の画像中心が最短となるため、これを選択する。ＣＰＵ５６により選択された単位画像は、サーバ５３から読み出されて拡大画像として拡大画像表示部７１へ表示されることになる。ちなみに、これらの隣接する各単位画像１０１,１０２,１０３は、上述の如く、単位画像１０４に互いに連関されてサーバ５３に記録されているため、ＣＰＵ５６は、かかる隣接する各単位画像１０１,１０２,１０３を容易に参照し、また読み出すことができる。
【００９２】
このように本発明では、指定された画像位置に応じて、拡大画像表示部７１に表示されている単位画像と互いに重複画像領域を形成する他の単位画像のうち最適なものを選択し、当該選択した他の単位画像を拡大して表示することができる。
【００９３】
これにより、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることがなくなり、拡大画像の鮮明度をさらに向上させることができ、さらには単位画像を互いに貼り合わせることにより、シームレスな全体画像を生成するための煩雑な処理を一切省略することができる。
【００９４】
また隣接する単位画像１０１,１０２,１０３,１０４の画像中心の間隔を狭く設定することができるため、拡大画像表示部７０に表示される拡大画像を細かいピッチでシフトさせることができる。
【００９５】
また、ユーザから所望の画像位置が指定された場合に、既に記録してある単位画像を拡大することにより対処することができるため、拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００９６】
また画像情報提供システム１において、ネットワーク８を介して接続されているユーザ端末９により、画像位置が指定された場合にも、サーバ５３に記録されている最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを送信することにより、複数のユーザに対して所望の拡大画像を同時に提供することもできる。
【００９７】
ちなみに上述した例では、指定された画像位置に対して、最短の画像中心を有する単位画像を選択する場合に限定するものではなく、他のいかなる方法で単位画像を選択してもよい。
【００９８】
また、上述した例では、水平、垂直方向に半画枠分シフトさせて隣接する単位画像を撮像する場合について説明をしたが、かかる場合に限定されるものではない。隣接する単位画像間において互いに重複領域が生じるように撮影方向を制御すれば、いかなるものであってもよく、また一の単位画像に隣接する単位画像の数をさらに増加させてもよい。
【００９９】
ちなみに上述の構成からなる画像情報提供システム１は、以下に説明するアプリケーションに対しても適用することができる。
【０１００】
カメラユニット２並びに画像信号処理装置５は、ユーザから要求され得る撮影画角、撮影方向に応じて、上述の如く、全体画像、単位画像を撮像し、これを予めサーバ５３に記録しておく。また画像信号処理装置５は、ユーザ端末９による要求に応じて、サーバ５３から単位画像を読み出して、これを当該ユーザ端末９に対して送信する。
【０１０１】
ユーザ端末９を操作する各ユーザは、この端末ディスプレイ１０に表示される全体画像表示部７０を視認して、所望の画像位置を指定し、また、ＷＩＤＥボタン７２、ＺＯＯＭボタン７３を介して、撮影倍率の拡大、縮小、さらには、撮影方向指定部７５を介して撮影方向を指定する。ユーザ端末９はかかるユーザの指定操作に応じて、単位画像送信要求を画像信号処理装置５へ送信する。
【０１０２】
画像信号処理装置５は、ユーザ端末９から送信される単位画像送信要求に基づき、サーバ５３に記録されている単位画像を読み出す。例えば、撮影倍率を拡大する旨の要求信号が送信された場合には、撮影画角の大きい単位画像が記録されているLayerから読み出し処理を行い、これをユーザ端末９へ送信する。また撮影方向を水平方向に変更する旨の要求信号が表示された場合には、かかる水平方向にシフトさせた座標上の単位画像を読み出し、これをユーザ端末９に送信する。ユーザ端末９に送信された単位画像は、拡大画像表示部７１に表示される。
【０１０３】
ユーザは、送信された単位画像を視認した上で、さらに撮影倍率や撮影方向の変更を画像信号処理装置５に対して要求することができる。
【０１０４】
すなわち、このアプリケーションでは、ユーザから要求される可能性のある撮影画角、撮影方向毎に、単位画像を予めサーバ５３に記録しておき、ユーザからの要求に応じて、サーバ５３に記録されている最適な単位画像を順次読み出し、これを各ユーザ端末９に送信する。これにより本発明では、ユーザ端末９から送信される単位画像送信要求に基づき、その都度カメラ部４の撮影倍率、撮影方向を変更しなくても、ユーザに対して、あたかも自分自身でカメラ部４を制御している雰囲気を実感させることができる。
【０１０５】
なおカメラ部４は、所定の時間間隔で上述した撮像を実行することにより、サーバ５３には、撮像された斬新な画像が順次記録されることになる。このためユーザは、画像信号処理装置５にアクセスすることにより、カメラ部４で撮像された単位画像をリアルタイムに取得することができ、撮影チャンスを逃すこともなくなり、作業効率を向上させることができる。
【０１０６】
またカメラ部４は、隣接する単位画像間で互いに重複画像領域が生じるように撮像を実行し、サーバ５３は、かかる重複画像領域が形成される単位画像を互いに連関させて記録するようにしてもよい。これによりユーザは、ユーザ端末９に表示される単位画像につき、所望の撮影方向につき細かいピッチでシフトさせることができ、また拡大画像表示部７１を介してシームレスな拡大画像を視認することができる。
【０１０７】
なお、このネットワーク８に対して複数のユーザ端末９を接続することにより、１台のカメラユニット２を複数のユーザが擬似的に同時制御することができる。ちなみに、複数のユーザが同時に、同一の撮影倍率、撮影方向へ変更することを要求しても、サーバ５３に記録されている単位画像を複数のユーザ端末９へ送信することで対応することができる。
【０１０８】
またサーバ５３において、所定の時間間隔で順次記録される各単位画像を長年にわたり蓄積することにより、各ユーザは、過去に撮影した単位画像を取得することもできる。これにより、本発明に係る画像情報提供システム１では、カメラユニット２を百貨店の商品売り場等に設置しておくことで、過去に生じた盗難事件の捜査等についても適用することが可能となる。
【０１０９】
なお、本発明では、上述した拡大画像表示部７１を表示画面４５上において複数設けてもよい。ユーザにより複数の指定操作が実行された場合には、各指定操作に応じて、最適な単位画像を選択し、それぞれ拡大画像を生成する。当該生成された拡大画像は、上記複数の拡大画像表示部７０に対して出力されることになる。これにより、異なる複数の撮影画角、撮影方向で撮像した単位画像を同時に表示させることができるため、実質的に１つのカメラで２箇所を同時に撮像して表示することをも実現することができる。
【０１１０】
【発明の効果】
このように本発明では、指定された画像位置に応じて、拡大画像表示手段に表示されている単位画像と互いに重複画像領域を形成する他の単位画像のうち最適なものを選択し、当該選択した他の単位画像を拡大して表示することができる。
【０１１１】
これにより、単位画像同士を連結することにより生ずる境界が拡大画像表示部において表示されることがなくなり、拡大画像の鮮明度をさらに向上させることができ、さらには単位画像を互いに貼り合わせることにより、シームレスな全体画像を生成するための煩雑な処理を省略することができる。さらに、また大容量のメモリが必要となくなるため、コストパフォーマンスに優れたシステムを提供することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像情報提供システムの構成を示す図である。
【図２】カメラユニット,画像信号処理装置のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する例を示す図である。
【図６】 Layerの倍率を順に１、２、４、８倍に設定して撮像する例を示す図である。
【図７】各Layerにつき、単位画像を撮像する手順を示すフローチャートである。
【図８】ユーザによる指定操作を受けて拡大画像を表示するまでの手順を示すフローチャートである。
【図９】階層化して記録されている各Layerから一のLayerを選択する例を示す図である。
【図１０】抽出した選択領域につき拡大処理を実行する例を示す図である。
【図１１】ユーザ端末のユーザに対して拡大画像を提供する手順を示すフローチャートである。
【図１２】本発明を適用した画像情報提供システムにおいて、送信するファイルのサイズを大幅に削減することができる理由を説明するための図である。
【図１３】互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する例を示す図である。
【図１４】互いに重複領域が生じるように撮影方向を制御した場合において、拡大画像表示部に表示される拡大画像の例を示す図である。
【図１５】ユーザにより画像位置が指定された場合に、拡大画像を表示するまでの手順を示すフローチャートである。
【図１６】指定された画像位置につき、最短の画像中心を有する単位画像を選択する例につき説明するための図である。
【図１７】パノラマ画像の合成精度を向上させることができる従来の画像信号撮像装置について説明するための図である。
【符号の説明】
１ 画像情報提供システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、５ 画像信号処理装置、６ ディスプレイ、８ ネットワーク、９ ユーザ端末、１０ 端末ディスプレイ、１１ ネットワークサーバ、２１ コントローラバス、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス、６１ メモリカード、６２ 時計
【発明の属する技術分野】
本発明は、広範囲の状況を監視する監視システム等に適用される画像信号処理装置及び方法、撮像装置及び方法、画像情報提供システム並びにプログラムに関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮影し、これらを合成してパノラマ画像を得ることにより、広範囲の状況を監視することができるモニタリングシステムが普及しており、かかるパノラマ画像の合成精度を向上させることができる画像信号撮像装置も近年において提案されている（例えば、特許文献１参照）。
【０００４】
この画像信号撮像装置では、図１７(a)に示すように、カメラ一体型ディジタルＶＣＲに設けられたビューファインダの画面枠の中央に四角で示す固定マーク１３２、画面枠１３１の内側に点線で表示される目標枠１３３及び三角形状の可動マーク１３４が表示される。目標枠１３３が画面枠１３１内に収まり、かつ可動マーク１３４が固定マーク１３２に重なる場合に、ユーザにより１フレームの単位画像が撮影されると、次の単位画像の撮影を促すべく、図１７(b)に示すように、目標枠１３３および可動マーク１３４が水平方向に移動する。
【０００５】
ユーザは、ビューファインダを見ながらカメラ一体型ディジタルＶＣＲを移動させ、その画面枠１３１および固定マーク１３２に目標枠１３３および可動マーク１３４を近づける。そして、図１７(c)に示すように、目標枠１３３が画面枠１３１に収まり、且つ可動マーク１３４が固定マーク１３２に重なるときに、次の単位画像を撮影する。
【０００６】
このように、隣接する単位画像の位置に目標枠１３３および可動マーク１３４が表示されるので、ユーザは、パノラマ画像を合成するための単位画像を簡単に撮影することができ、さらには、互いに隣接する単位画像間の重複率等、予め設定されたパラメータが大きく異なることがなくなるため、パノラマ画像の合成精度を向上させることができる。
【０００７】
また従来において、撮影した単位画像に応じて継ぎ合わせる場所や幅を可変にすることにより、品質の高いパノラマ画像を作成することができるパノラマ画像作成方法も提案されている（例えば、特許文献２参照。）。
【０００８】
さらには、撮像した単位画像を仮想球面上に写像して連結することにより、連結部に歪みのないパノラマ画像を生成することができるパノラマ画像生成装置も提案されている（例えば、特許文献３参照。）。
【０００９】
また従来において、少ない操作で３６０°のパノラマ画像を得ることができるディジタル撮像装置も提案されている（例えば、特許文献４参照。）。このディジタル撮像装置では、２つの単位画像を連結するための境界処理につき、３６０°全て実行されていない場合には、撮像装置本体と協動してことによりパノラマ撮影を実現することができる。
【００１０】
【特許文献１】
特開２０００−１０１８９５号公報
【特許文献２】
特開平０６−３０３５６１号公報
【特許文献３】
特開平１１−００８８４５号公報
【特許文献４】
特開平１１−１２２５２１号公報
【００１１】
【発明が解決しようとする課題】
撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に管理する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【００１２】
しかしながら、上述したモニタリングシステムや撮像装置は、あくまでユーザが単独で被写体を撮像してパノラマ画像を生成する際に好適なものであるため、複数のユーザによる被写体の同時撮影や、撮影内容の事後的な確認が困難であった。
【００１３】
また、上述したモニタリングシステムや撮像装置等においても、単位画像同士を連結してパノラマ画像を生成することは可能であるが、その連結部に該当する単位画像間の境界が画面上に表示されてしまい、精細な画質を維持することができない。また、かかる単位画像間の境界の表示を抑制し、シームレスなパノラマ画像を生成するためには、煩雑な操作が必要となり、また大容量のメモリが必要となるためにコストパフォーマンスに優れたシステムを提供することができないという問題点もあった。
【００１４】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、複数のユーザに対して、シームレスなパノラマ画像を提供することができる画像信号処理装置及び方法、撮像装置及び方法、画像情報提供システム、並びにプログラムを提供することにある。
【００１５】
【課題を解決するための手段】
本発明を適用した画像信号処理装置は、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより得られた画像信号を処理する画像信号処理装置において、記録媒体と、上記画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、上記記録媒体へ記録するように制御する制御手段と、上記記録媒体に記録されている一の単位画像を拡大した拡大画像を表示する拡大画像表示手段と、少なくとも上記拡大画像表示手段に表示される拡大画像から、ユーザが画像位置を指定するための指定手段とを備え、上記制御手段は、上記指定手段により指定された拡大画像の画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段へ出力する。
【００１６】
本発明を適用した画像信号処理方法は、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより得られた画像信号を処理する画像信号処理方法において、上記画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、記録媒体へ記録し、上記記録媒体に記録されている一の単位画像を拡大した拡大画像を表示し、上記表示する拡大画像から指定された画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを表示する。
【００１７】
本発明を適用した撮像装置は、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像して画像信号を生成する撮像手段と、記録媒体と、上記生成された画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、上記記録媒体へ記録するように制御する制御手段と、上記記録媒体に記録されている一の単位画像を拡大した拡大画像を表示する拡大画像表示手段と、少なくとも上記拡大画像表示手段に表示される拡大画像から、ユーザが画像位置を指定するための指定手段とを備え、上記制御手段は、上記指定手段により指定された画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段へ出力する。
【００１８】
本発明を適用した撮像方法は、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像して画像信号を生成し、上記生成された画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、記録媒体へ記録し、上記記録媒体に記録されている一の単位画像につき拡大した拡大画像を表示し、上記表示する拡大画像から指定された画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを表示する。
【００１９】
本発明を適用した画像情報提供システムは、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を撮影範囲内で順次変化させることにより得られた画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて記録してなるサーバと、上記サーバから通信網を介して取得した一の単位画像から拡大画像を生成してこれを表示する拡大画像表示手段と、上記拡大画像表示手段に表示される拡大画像からユーザが画像位置を指定するための指定手段とを有し、上記指定手段により指定された画像位置を上記通信網を介して送信する端末装置と、上記端末装置から送信される上記拡大画像の画像位置に応じて上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記サーバから読み出して、これを上記端末装置における拡大画像表示手段へ送信するサーバ制御機器とを備える。
【００２０】
本発明を適用したプログラムは、上述した問題点を解決するために、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより得られた画像信号を処理する画像信号処理をコンピュータに実行させるためのプログラムにおいて、制御手段により、上記画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、記録媒体へ記録し、拡大画像表示手段により、上記記録媒体に記録されている一の単位画像につき拡大した拡大画像を表示し、指定手段により上記表示される拡大画像について所望の画像位置が指定された場合には、上記制御手段により、当該画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段により表示する処理をコンピュータに実行させる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した画像情報提供システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、カメラユニット２により生成された画像信号が伝送される画像信号処理装置５と、画像信号処理装置５に接続されるディスプレイ６と、複数のユーザがアプリケーションを実行するためのユーザ端末９と、画像信号処理装置５と各ユーザ端末９との間で情報を送受信するためのネットワーク８と、ユーザ端末９に接続される端末ディスプレイ１０と、ネットワーク８に接続されるネットワークサーバ１１とを備えている。
【００２２】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００２３】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、画像信号処理装置５による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、画像信号処理装置５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。このカメラ部４を一の画像信号処理装置５に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることが可能となる。
【００２４】
画像信号処理装置５は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器により構成され、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの画像信号処理装置５は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この画像信号処理装置５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他のユーザ端末９からの要求に応じて、画像を送信する。
【００２５】
ネットワーク８は、例えば画像信号処理装置５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの画像情報提供システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク８は、静止画像に加えてＭＰＥＧ画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、ＭＰＥＧデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。
【００２６】
ユーザ端末９は、ユーザが画像信号処理装置５から画像を取得し、所望の処理を実行するためのＰＣである。複数のユーザ端末９をネットワーク８に接続することにより、複数のユーザに対してこの画像情報提供システム１のアプリケーションを同時に提供することが可能となる。このユーザ端末９は、画像信号処理装置５から取得した画像を、端末ディスプレイ１０に対して表示する。またこのユーザ端末９は、ユーザによる指定操作に応じて要求信号を生成し、これを画像信号処理装置５に対して送信する。なおユーザ端末９のブロック構成については、後述する画像信号処理装置５の構成を引用し、説明を省略する。
【００２７】
ネットワークサーバ１１は、例えばインターネット情報を管理し、ユーザ端末９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２８】
次に、本発明を適用した画像情報提供システム１におけるカメラユニット２,画像信号処理装置５の構成について詳細に説明する。
【００２９】
図２は、カメラユニット２,画像信号処理装置５の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに画像信号処理装置５の各構成要素が接続されている。
【００３０】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するPan部３ａ、Tilt部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像信号処理装置５へ送信するためのＩＥＥＥ(Institute of Electrical and Electronics Engineers)インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ(Global Positioning System)受信部２８と、ＧＰＳ受信部に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００３１】
また画像信号処理装置５は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２と、エンコーダ５２から出力される画像を蓄積するサーバ５３と、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続され、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０と、さらにこのＩ／Ｏポート５８に接続されるメモリカード６１並びに時計６２とを備えている。
【００３２】
Pan部３ａ並びにTilt部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００３３】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することが可能となる。
【００３４】
撮像部２４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００３５】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３６】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３７】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号をネットワークサーバ１１に記録するように制御することにより、サーバ５３をネットワークサーバ１１に代替することも可能となる。
【００３８】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３９】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、画像信号処理装置５内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、ユーザ端末９から要求信号を受けて、サーバ５３に記録されている画像から最適なものを選択し、これを当該ユーザ端末９へ送信するように制御する。
【００４０】
次に本発明を適用した画像情報提供システム１における撮像動作について説明をする。
【００４１】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００４２】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊ としたとき、ＣＰＵ５６は、Pan部３ａ並びにTilt部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００４３】
同様にＣＰＵ５６は、Pan部３ａ並びにTilt部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００４４】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。
【００４５】
ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように圧縮される。この圧縮された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。
【００４６】
図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この画像信号処理装置５は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また画像信号処理装置５は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７１に表示させてもよい。
【００４７】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７２、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、操作モード、表示モードを設定するためのモード設定ボタン７６等も表示される。
【００４８】
ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、マウス５９やキーボード６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０,７１には、マウス５９等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４９】
次に、この表示画面４５において、ユーザにより指定された画像領域を拡大画像表示部７１において拡大表示する例につき説明をする。
【００５０】
ユーザによる画像領域の指定操作の前に、カメラユニット２並びに画像信号処理装置５は、以下に説明する処理を実行する。
【００５１】
カメラユニット２は、図５に示すように、黒枠で示される同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する。撮像により得られる単位画像を撮影画角毎に合成することにより、全体画像と同一内容の単位画像の集合を図５に示すように幾層にも亘って作成することができる。以下、各撮影画角に応じた単位画像の集合をLayerという。Layerの番号は、撮影画角の大きい順からｎ、ｎ＋１、ｎ＋２、・・、と増加するものとする。すなわち撮影画角の大きいLayerｎでは、撮影画角の小さいLayerｎ＋１と比較して、少ない単位画像数で全体画像を合成することができる。ちなみに、単位画像のサイズ、画素数は各Layer間において同等である。
【００５２】
図６は、Layerの倍率を順に１、２、４、８倍に設定して撮像する例を示している。図６は、図５で示すような各Layerを水平方向又は垂直方向から表示したものであり、倍率１倍のLayer１は、１枚の単位画像で構成され、倍率２倍のLayer２は、２×２枚の単位画像で構成され、また倍率４倍のLayer３は、４×４枚の単位画像で構成され、倍率８倍のLayer４は８×８枚の単位画像で構成される。
【００５３】
図７は、上述の撮影倍率からなる各Layerにつき、単位画像を撮像する手順を示している。先ずステップＳ１１において、ＣＰＵ５６は、レンズ制御部２３に対して駆動信号を送信することにより、カメラ部４の撮影画角を倍率１倍に相当するｕ１に調整し、撮影方向を撮影範囲の中心位置に合わせる。次にステップＳ１２へ移行し、カメラ部４は、かかる撮影画角ｕ１で、撮影範囲全体を表示することができる１枚の全体画像を撮像する。この撮像された全体画像に基づく画像信号は、Layer１として順次サーバ５３へ記録されることになる。
【００５４】
次にカメラ部４は、ＣＰＵ５６による制御に基づき、撮影画角を倍率２倍に相当するｕ２に調整する（ステップＳ１３）。またカメラ部４は、ステップＳ１４において、ＣＰＵ５６による制御に基づき、撮影方向を、撮影範囲左上に位置する座標（１，１）に合わせて撮像を実行する（ステップＳ１２）。カメラ部４は、撮影方向を順次１画枠分毎にシフトさせて、Layer２を構成する全ての単位画像につき撮像を実行する。撮像された単位画像に基づく画像信号は、Layer２として順次サーバ５３へ記録される。
【００５５】
同様にカメラ部４は、撮影画角を倍率４倍に相当するｕ３、また倍率８倍に相当するｕ４に調整して、撮影方向を順次シフトさせて撮像を実行する。得られた単位画像に基づく画像信号は、Layer３、Layer４として順次サーバ５３に記録され、最終的には、各Layerを構成する画像が全てサーバ５３に記録されている状態となる。
【００５６】
次に、このサーバ５３内に階層化して記録されている各画像信号のうち、Layer１を構成する全体画像に基づく画像信号が最初に読み出され、グラフィックコントローラ５５を経てディスプレイ６等上の全体画像表示部７０に表示される。ユーザは、この全体画像表示部７０に表示されている全体画像において、所望の画像領域につき拡大表示を望む場合には、上述の如くマウス６０等を用いて当該画像領域を指定することができる。
【００５７】
図８は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００５８】
先ずステップＳ２１においてユーザによる画像領域の指定を受けた場合には、ステップＳ２２へ移行し、ＣＰＵ５６は、例えば図９に示すように、ユーザにより指定された画像領域３０のサイズｑと、Layer１における全体画像の画サイズｙとの比を求める。
【００５９】
次にステップＳ２３へ移行し、ＣＰＵ５６は、サーバ５３に階層化して記録されている各Layerから一のLayerを選択する。このステップＳ２３におけるLayerの選択は、ステップＳ２２において演算したサイズ比から倍率ｋを計算し、かかる倍率ｋに最も近い撮影倍率のLayerを選択する。例えば、ｑとｙとの比が、１：２．３である場合、倍率ｋは２．３となり、かかる倍率ｋに最も近い撮影倍率で撮像されたLayerは、Layer２であるため、これを選択することになる。すなわち、このステップＳ２３において、ＣＰＵ５６は、指定された画像領域３０のサイズに応じて最も適切なLayerを選択する。
【００６０】
次にステップＳ２４へ移行し、ＣＰＵ５６は、ユーザにより指定された画像領域に応じて、Layer２を構成する単位画像から最適なものを選択する。Layer２を構成する単位画像の座標は、図９に示すように（１,１）、（２,１）、（１,２）、（２,２）の４つである。このうち、Layer１において指定された画像領域３０の内容は、このLayer２における画像領域３１に相当する。このため、ＣＰＵ５６は、Layer２を構成する単位画像のうち、画像領域３１が存在する座標（１,２）に位置する単位画像を選択し、これをサーバ５３から読み出す。なお、ＣＰＵ５６は、ステップＳ２３を省略して、ステップＳ２２において求めたサイズ比から、最適な単位画像を直接選択してもよい。
【００６１】
次にステップＳ２５へ移行し、ＣＰＵ５６は、選択した座標（１,２）の単位画像につき、図１０に示すように画像領域３１を含む選択領域４２を抽出する。またＣＰＵ５６は、この抽出した選択領域４２につき、拡大画像表示部７１のサイズに合うように例えばデジタルズームを利用して拡大処理を実行する。
【００６２】
以上の操作を実行することにより、ユーザから指定された画像領域を拡大画像表示部７１に拡大表示させることができる。
【００６３】
なお、図９に示すようにLayer１を構成する全体画像と、倍率が２倍であるLayer２を構成する単位画像の画素数、サイズは同等であり、同じ画像領域を示している画像領域３０と画像領域３１では、画像領域３１の方が多くの画素により構成されている。このため、指定された画像領域３０のサイズに応じて、最適なLayerを選択し、かかるLayerにある一の単位画像から選択領域４２を抽出することにより、高画質な拡大画像を生成することができる。上述した例においても、Layer２に基づいて拡大処理を実行することにより、Layer１に基づいて拡大処理を実行する場合と比較して、ディジタルズームに依存せずにより高画質の拡大画像が生成されることになる。
【００６４】
ちなみに、Layer数を増やすことにより、隣接するLayerの倍率差を小さくすることができるため、ユーザにより指定される画像領域に対して、より適切な単位画像を選択することができ、拡大画像の鮮明度をさらに向上させることができる。
【００６５】
また本発明では、同一の撮影範囲を異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化してサーバ５３へ予め記録しておく。そして全体画像において指定された画像領域に応じてサーバ５３から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【００６６】
このため、本発明では、全体画像表示部７０において、Layer１を構成する１枚の拡大画像を表示すれば足り、また拡大画像表示部７１に表示される拡大画像は、あくまで一枚の単位画像を拡大、縮小して生成されるため、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなる。従って、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【００６７】
また、本発明では、ユーザから所望の画像領域が指定された場合に、既に記録してある単位画像を拡大すれば足りるため拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００６８】
なお、本発明では、最も近い撮影倍率のLayerを選択する場合に限定されるものではなく、他のいかなる方法でLayerを選択してもよい。
【００６９】
本発明に係る画像情報提供システム１では、図１１に示す手順により、ユーザ端末９のユーザに対して拡大画像を提供することができる。
【００７０】
先ずステップＳ３１において、ユーザ端末９を操作する各ユーザは、ネットワーク８に接続されている画像信号処理装置５にアクセスする。
【００７１】
次にステップＳ３２に移行し、画像信号処理装置５は、自身のサーバ５３に記録されている全体画像のうち、ユーザに対して公開できるものについて、公開可能画像リストを作成し、これをユーザ端末９へ送信する。ちなみに、この公開可能画像リストには、各全体画像のファイル名やファイルサイズのみにならず、縮小された全体画像が貼り付けられる場合もある。この公開可能画像リストは、ネットワーク８、ユーザ端末９を介して、端末ディスプレイ１０上に表示される。
【００７２】
次にステップＳ３３へ移行し、ユーザは、公開可能画像リストから所望の全体画像を選択する。ユーザ端末９は、ユーザによる選択操作に応じて、全体画像送信要求を画像信号処理装置５へ送信する。
【００７３】
ステップＳ３４において、画像信号処理装置５は、かかる全体画像送信要求を受けて、ユーザにより選択された全体画像をLayer１から抽出し、これをユーザ端末９へ送信する。送信された拡大画像は、ネットワーク８、ユーザ端末９を介して、端末ディスプレイ１０に表示される。
【００７４】
次にステップＳ３５へ移行し、ユーザは、端末ディスプレイ１０に表示される全体画像につき、所望の画像位置をマウス６０等を用いてポイント指定し、或いは上述の如く所望の画像領域を指定する。ユーザ端末９は、かかるユーザの指定操作に応じて、単位画像送信要求を画像信号処理装置５へ送信する。
【００７５】
次にステップＳ３６へ移行し、画像信号処理装置５は、かかる単位画像送信要求を受けて、サーバ５３に記録されている単位画像から最適なものを選択し、これを読み出す。ユーザ端末９において画像領域が指定されている場合には、上述の如く倍率計算を実行して、最適なLayerから一の単位画像を選択する。またユーザ端末９において画像位置がポイント指定された場合には、全体画像より下の階層であるLayerｎから、かかる画像位置を含む単位画像を選択する。画像信号処理装置５は、サーバ５３から読み出した単位画像をパケット化し、ネットワーク８を介してユーザ端末９へ送信する。
【００７６】
次に、ステップＳ３７において、ユーザ端末９は、送信された単位画像に対して、上述したステップＳ２５と同様に、デジタルズームを利用した拡大処理を実行して、これを拡大画像表示部７１に表示する。このステップＳ３７において、拡大画像表示部７１に表示されている拡大画像につき、さらに倍率を拡大、縮小する旨の操作が実行された場合には、さらなる単位画像送信要求を画像信号処理装置５へ送信する。
【００７７】
次に、ステップＳ３８において、画像信号処理装置５は、かかる単位画像送信要求を受けてサーバ５３から最適な単位画像を選択する。このとき、倍率を拡大する旨が要求されている場合には、更に下の階層であるLayerｎ＋１から単位画像を選択する。画像信号処理装置５は、サーバ５３から選択した単位画像を、ネットワーク８を介してユーザ端末９へ送信する。
【００７８】
次に、ステップＳ３９において、ユーザは、ステップＳ３７と同様に所望の画像位置を指定し、又は拡大、縮小操作を繰り返し実行することができる。
【００７９】
以上説明した手順を実行することにより、本発明を適用した画像情報提供システム１では、画像信号処理装置５を操作するユーザに加えて、ネットワーク８に接続されているユーザ端末９を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。
【００８０】
また、単位画像を合成したパノラマ状の全体画像を送信する場合には、かかる全体画像を合成する全ての単位画像を送信しなければならないため、撮影画角が小さくなるにつれて、図１２に示すLayerｎ＋２のように、送信するファイルのサイズが大幅に増えてしまうが、本発明では、単位画像を互いに貼り合わせる必要性はなく、各ユーザ端末９に対して選択した一枚の単位画像のみ順次送信すれば足りる。このため、ユーザが仮にLayerｎの単位画像からLayerｎ＋２まで順次拡大操作を実行した場合であっても、Layer毎に表示する３枚の単位画像を選択すればよく、送信するファイルのサイズを大幅に削減することができる。これによりネットワーク８全体の負荷を軽減させることができ、また、ネットワーク８がＩＳＤＮやモデム等の低速回線で構成されている場合であっても、画質を劣化させることなく単位画像の送信を迅速に実現することができる。
【００８１】
また、ネットワーク８に対して複数のユーザ端末９を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。
【００８２】
次に、この表示画面４５における拡大画像表示部７１において、ユーザにより指定された画像位置へ拡大画像をシフトさせて表示する場合につき説明をする。
【００８３】
ユーザによる画像位置の指定前に、カメラユニット２並びに画像信号処理装置５は、以下に説明する処理を実行する。
【００８４】
カメラユニット２は、互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する。図１３に示すように、一画枠毎に撮像する単位画像１０１に加えて、水平方向に半画枠分シフトさせた単位画像１０２、垂直方向に半画枠分シフトさせた単位画像１０３、水平−垂直方向にそれぞれ半画枠分シフトさせた単位画像１０４をさらに撮像する。すなわち、カメラユニット２は、互いに撮影方向の異なる４種類の単位画像１０１,１０２,１０３,１０４を順次撮像する。
【００８５】
サーバ５３は、各単位画像１０１,１０２,１０３,１０４につき、隣接する他の単位画像と互いに連関させてこれを記録する。全体画像表示部７０には、サーバ５３に記録されている単位画像１０１等を合成した全体画像、又は撮影画角ｕ１により撮影した全体画像が表示される。拡大画像表示部７１には、このサーバ５３に記録されている一の単位画像が拡大されて表示される。
【００８６】
この拡大画像表示部７１に単位画像１０４が表示されている場合において、拡大画像表示部７１に表示されている画像は、図１４に示すように、隣接する他の単位画像１０１、１０２、１０３と一部重複した内容となる。ユーザは、この拡大画像表示部７１に表示されている単位画像１０４に基づく拡大画像につき、マウス６０等を用いて所望の画像位置を指定することができる。
【００８７】
図１５は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００８８】
先ずステップＳ４１において、ユーザから拡大画像表示部７１に示される単位画像１０４のうち所望の画像位置が指定された場合にはステップＳ４２へ移行し、ＣＰＵ５６は、拡大画像をシフトさせて表示する必要性につき判断する。このときＣＰＵ５６は、指定された画像位置に対して、最短の画像中心を有する単位画像が、現在拡大画像表示部７１に表示されている単位画像１０４であるか否かにつき先ず判断する。
【００８９】
図１６に示すように、水平方向の長さがｓであり、垂直方向の長さがｔである拡大画像表示部７１において、指定された画像位置に対して、単位画像１０４の画像中心が最短となる領域は、斜線で示される水平方向の長さがｓ／２であり、垂直の長さｔ／２である領域である。この領域の境界を以下、仮想境界という。
【００９０】
すなわち、指定された画像位置が仮想境界内である場合には、単位画像１０４の画像中心が最短となるため、拡大画像をシフトする必要はないものと判別する。一方、指定された画像位置が仮想境界の外側である場合には、隣接する他の単位画像の画像中心が最短となることを示唆しており、さらにステップＳ４３へ移行する。
【００９１】
ステップＳ４３において、ＣＰＵ５６は、指定された画像位置につき、最短の画像中心を有する単位画像を選択する。このとき図１６に示すように、指定された画像位置が領域Ａ、Ｃ、Ｆ、Ｈに含まれる場合には、それぞれ左上、右上、左下、右下に隣接する単位画像１０１の画像中心が最短となるため、これを選択する。また指定された画像位置が領域Ｂ、Ｇに含まれる場合には、それぞれ上、下に隣接する単位画像１０２の画像中心が最短となるため、これを選択する。さらに指定された画像位置が、領域Ｄ、Ｅに含まれる場合には、それぞれ左、右に隣接する単位画像１０３の画像中心が最短となるため、これを選択する。ＣＰＵ５６により選択された単位画像は、サーバ５３から読み出されて拡大画像として拡大画像表示部７１へ表示されることになる。ちなみに、これらの隣接する各単位画像１０１,１０２,１０３は、上述の如く、単位画像１０４に互いに連関されてサーバ５３に記録されているため、ＣＰＵ５６は、かかる隣接する各単位画像１０１,１０２,１０３を容易に参照し、また読み出すことができる。
【００９２】
このように本発明では、指定された画像位置に応じて、拡大画像表示部７１に表示されている単位画像と互いに重複画像領域を形成する他の単位画像のうち最適なものを選択し、当該選択した他の単位画像を拡大して表示することができる。
【００９３】
これにより、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることがなくなり、拡大画像の鮮明度をさらに向上させることができ、さらには単位画像を互いに貼り合わせることにより、シームレスな全体画像を生成するための煩雑な処理を一切省略することができる。
【００９４】
また隣接する単位画像１０１,１０２,１０３,１０４の画像中心の間隔を狭く設定することができるため、拡大画像表示部７０に表示される拡大画像を細かいピッチでシフトさせることができる。
【００９５】
また、ユーザから所望の画像位置が指定された場合に、既に記録してある単位画像を拡大することにより対処することができるため、拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００９６】
また画像情報提供システム１において、ネットワーク８を介して接続されているユーザ端末９により、画像位置が指定された場合にも、サーバ５３に記録されている最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを送信することにより、複数のユーザに対して所望の拡大画像を同時に提供することもできる。
【００９７】
ちなみに上述した例では、指定された画像位置に対して、最短の画像中心を有する単位画像を選択する場合に限定するものではなく、他のいかなる方法で単位画像を選択してもよい。
【００９８】
また、上述した例では、水平、垂直方向に半画枠分シフトさせて隣接する単位画像を撮像する場合について説明をしたが、かかる場合に限定されるものではない。隣接する単位画像間において互いに重複領域が生じるように撮影方向を制御すれば、いかなるものであってもよく、また一の単位画像に隣接する単位画像の数をさらに増加させてもよい。
【００９９】
ちなみに上述の構成からなる画像情報提供システム１は、以下に説明するアプリケーションに対しても適用することができる。
【０１００】
カメラユニット２並びに画像信号処理装置５は、ユーザから要求され得る撮影画角、撮影方向に応じて、上述の如く、全体画像、単位画像を撮像し、これを予めサーバ５３に記録しておく。また画像信号処理装置５は、ユーザ端末９による要求に応じて、サーバ５３から単位画像を読み出して、これを当該ユーザ端末９に対して送信する。
【０１０１】
ユーザ端末９を操作する各ユーザは、この端末ディスプレイ１０に表示される全体画像表示部７０を視認して、所望の画像位置を指定し、また、ＷＩＤＥボタン７２、ＺＯＯＭボタン７３を介して、撮影倍率の拡大、縮小、さらには、撮影方向指定部７５を介して撮影方向を指定する。ユーザ端末９はかかるユーザの指定操作に応じて、単位画像送信要求を画像信号処理装置５へ送信する。
【０１０２】
画像信号処理装置５は、ユーザ端末９から送信される単位画像送信要求に基づき、サーバ５３に記録されている単位画像を読み出す。例えば、撮影倍率を拡大する旨の要求信号が送信された場合には、撮影画角の大きい単位画像が記録されているLayerから読み出し処理を行い、これをユーザ端末９へ送信する。また撮影方向を水平方向に変更する旨の要求信号が表示された場合には、かかる水平方向にシフトさせた座標上の単位画像を読み出し、これをユーザ端末９に送信する。ユーザ端末９に送信された単位画像は、拡大画像表示部７１に表示される。
【０１０３】
ユーザは、送信された単位画像を視認した上で、さらに撮影倍率や撮影方向の変更を画像信号処理装置５に対して要求することができる。
【０１０４】
すなわち、このアプリケーションでは、ユーザから要求される可能性のある撮影画角、撮影方向毎に、単位画像を予めサーバ５３に記録しておき、ユーザからの要求に応じて、サーバ５３に記録されている最適な単位画像を順次読み出し、これを各ユーザ端末９に送信する。これにより本発明では、ユーザ端末９から送信される単位画像送信要求に基づき、その都度カメラ部４の撮影倍率、撮影方向を変更しなくても、ユーザに対して、あたかも自分自身でカメラ部４を制御している雰囲気を実感させることができる。
【０１０５】
なおカメラ部４は、所定の時間間隔で上述した撮像を実行することにより、サーバ５３には、撮像された斬新な画像が順次記録されることになる。このためユーザは、画像信号処理装置５にアクセスすることにより、カメラ部４で撮像された単位画像をリアルタイムに取得することができ、撮影チャンスを逃すこともなくなり、作業効率を向上させることができる。
【０１０６】
またカメラ部４は、隣接する単位画像間で互いに重複画像領域が生じるように撮像を実行し、サーバ５３は、かかる重複画像領域が形成される単位画像を互いに連関させて記録するようにしてもよい。これによりユーザは、ユーザ端末９に表示される単位画像につき、所望の撮影方向につき細かいピッチでシフトさせることができ、また拡大画像表示部７１を介してシームレスな拡大画像を視認することができる。
【０１０７】
なお、このネットワーク８に対して複数のユーザ端末９を接続することにより、１台のカメラユニット２を複数のユーザが擬似的に同時制御することができる。ちなみに、複数のユーザが同時に、同一の撮影倍率、撮影方向へ変更することを要求しても、サーバ５３に記録されている単位画像を複数のユーザ端末９へ送信することで対応することができる。
【０１０８】
またサーバ５３において、所定の時間間隔で順次記録される各単位画像を長年にわたり蓄積することにより、各ユーザは、過去に撮影した単位画像を取得することもできる。これにより、本発明に係る画像情報提供システム１では、カメラユニット２を百貨店の商品売り場等に設置しておくことで、過去に生じた盗難事件の捜査等についても適用することが可能となる。
【０１０９】
なお、本発明では、上述した拡大画像表示部７１を表示画面４５上において複数設けてもよい。ユーザにより複数の指定操作が実行された場合には、各指定操作に応じて、最適な単位画像を選択し、それぞれ拡大画像を生成する。当該生成された拡大画像は、上記複数の拡大画像表示部７０に対して出力されることになる。これにより、異なる複数の撮影画角、撮影方向で撮像した単位画像を同時に表示させることができるため、実質的に１つのカメラで２箇所を同時に撮像して表示することをも実現することができる。
【０１１０】
【発明の効果】
このように本発明では、指定された画像位置に応じて、拡大画像表示手段に表示されている単位画像と互いに重複画像領域を形成する他の単位画像のうち最適なものを選択し、当該選択した他の単位画像を拡大して表示することができる。
【０１１１】
これにより、単位画像同士を連結することにより生ずる境界が拡大画像表示部において表示されることがなくなり、拡大画像の鮮明度をさらに向上させることができ、さらには単位画像を互いに貼り合わせることにより、シームレスな全体画像を生成するための煩雑な処理を省略することができる。さらに、また大容量のメモリが必要となくなるため、コストパフォーマンスに優れたシステムを提供することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像情報提供システムの構成を示す図である。
【図２】カメラユニット,画像信号処理装置のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する例を示す図である。
【図６】 Layerの倍率を順に１、２、４、８倍に設定して撮像する例を示す図である。
【図７】各Layerにつき、単位画像を撮像する手順を示すフローチャートである。
【図８】ユーザによる指定操作を受けて拡大画像を表示するまでの手順を示すフローチャートである。
【図９】階層化して記録されている各Layerから一のLayerを選択する例を示す図である。
【図１０】抽出した選択領域につき拡大処理を実行する例を示す図である。
【図１１】ユーザ端末のユーザに対して拡大画像を提供する手順を示すフローチャートである。
【図１２】本発明を適用した画像情報提供システムにおいて、送信するファイルのサイズを大幅に削減することができる理由を説明するための図である。
【図１３】互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する例を示す図である。
【図１４】互いに重複領域が生じるように撮影方向を制御した場合において、拡大画像表示部に表示される拡大画像の例を示す図である。
【図１５】ユーザにより画像位置が指定された場合に、拡大画像を表示するまでの手順を示すフローチャートである。
【図１６】指定された画像位置につき、最短の画像中心を有する単位画像を選択する例につき説明するための図である。
【図１７】パノラマ画像の合成精度を向上させることができる従来の画像信号撮像装置について説明するための図である。
【符号の説明】
１ 画像情報提供システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、５ 画像信号処理装置、６ ディスプレイ、８ ネットワーク、９ ユーザ端末、１０ 端末ディスプレイ、１１ ネットワークサーバ、２１ コントローラバス、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス、６１ メモリカード、６２ 時計
Claims (31)
- 互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより得られた画像信号を処理する画像信号処理装置において、
記録媒体と、
上記画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、上記記録媒体へ記録するように制御する制御手段と、
上記記録媒体に記録されている一の単位画像を拡大した拡大画像を表示する拡大画像表示手段と、
少なくとも上記拡大画像表示手段に表示される拡大画像から、ユーザが画像位置を指定するための指定手段とを備え、
上記制御手段は、上記指定手段により指定された拡大画像の画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段へ出力することを特徴とする画像信号処理装置。 - 上記制御手段は、上記指定された拡大画像の画像位置に対して、最短の画像中心を有する他の単位画像を選択することを特徴とする請求項１記載の画像信号処理装置。
- 上記撮影範囲の全体画像を表示する全体画像表示手段を備え、
上記指定手段は、さらに上記全体画像表示手段に表示される全体画像から、ユーザにより画像位置が指定され、
上記制御手段は、上記指定された全体画像の画像位置に応じて上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成し、これを上記拡大画像表示手段へ出力することを特徴とする請求項１記載の画像信号処理装置。 - 上記拡大画像表示手段は、複数設けられてなり、
上記制御手段は、上記指定手段を介して複数の画像位置が指定された場合には、上記複数の拡大画像表示手段に対してそれぞれの拡大画像を出力することを特徴とする請求項１記載の画像信号処理装置。 - 上記制御手段は、上記画像信号に基づく単位画像を、上下方向、左右方向、或いは斜め方向において互いに重複画像領域を形成する他の単位画像と連関させることを特徴とする請求項１記載の画像信号処理装置。
- 互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより得られた画像信号を処理する画像信号処理方法において、
上記画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、記録媒体へ記録し、
上記記録媒体に記録されている一の単位画像を拡大した拡大画像を表示し、
上記表示する拡大画像から指定された画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを表示することを特徴とする画像信号処理方法。 - 上記指定された拡大画像の画像位置に対して、最短の画像中心を有する他の単位画像を選択することを特徴とする請求項６記載の画像信号処理方法。
- 上記撮影範囲の全体画像を表示し、
上記表示する全体画像から指定された画像位置に応じて上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成し、これを表示することを特徴とする請求項６記載の画像信号処理方法。 - 複数の画像位置が指定された場合には、それぞれ拡大した拡大画像を表示することを特徴とする請求項６記載の画像信号処理方法。
- 順次指定される画像信号に基づく単位画像を、上下方向、左右方向、或いは斜め方向において互いに重複画像領域を形成する他の単位画像と連関させることを特徴とする請求項６記載の画像信号処理方法。
- 互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像して画像信号を生成する撮像手段と、
記録媒体と、
上記生成された画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、上記記録媒体へ記録するように制御する制御手段と、
上記記録媒体に記録されている一の単位画像を拡大した拡大画像を表示する拡大画像表示手段と、
少なくとも上記拡大画像表示手段に表示される拡大画像から、ユーザが画像位置を指定するための指定手段とを備え、
上記制御手段は、上記指定手段により指定された画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段へ出力することを特徴とする撮像装置。 - 上記制御手段は、上記指定された拡大画像の画像位置に対して、最短の画像中心を有する他の単位画像を選択することを特徴とする請求項１１記載の撮像装置。
- 上記撮影範囲の全体画像を表示する全体画像表示手段を備え、
上記指定手段は、さらに上記全体画像表示手段に表示される全体画像から、ユーザにより画像位置が指定され、
上記制御手段は、上記指定された全体画像の画像位置に応じて上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成し、これを上記拡大画像表示手段へ出力することを特徴とする請求項１１記載の撮像装置。 - 上記拡大画像表示手段は、複数設けられてなり、
上記制御手段は、上記指定手段を介して複数の拡大画像の画像位置が指定された場合には、上記複数の拡大画像表示手段に対してそれぞれの拡大画像を出力することを特徴とする請求項１１記載の撮像装置。 - 上記制御手段は、上記画像信号に基づく単位画像を、上下方向、左右方向、或いは斜め方向において互いに重複画像領域を形成する他の単位画像と連関させることを特徴とする請求項１１記載の撮像装置。
- 互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像して画像信号を生成し、
上記生成された画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、記録媒体へ記録し、
上記記録媒体に記録されている一の単位画像につき拡大した拡大画像を表示し、
上記表示する拡大画像から指定された画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを表示することを特徴とする撮像方法。 - 上記指定された拡大画像の画像位置に対して、最短の画像中心を有する他の単位画像を選択することを特徴とする請求項１６記載の撮像方法。
- 上記撮影範囲の全体画像を表示し、
上記表示する全体画像から指定された画像位置に応じて上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成し、これを表示することを特徴とする請求項１６記載の撮像方法。 - 複数の拡大画像の画像位置が指定された場合には、それぞれ拡大した拡大画像を表示することを特徴とする請求項１６記載の撮像方法。
- 順次指定される画像信号に基づく単位画像を、上下方向、左右方向、或いは斜め方向において互いに重複画像領域を形成する他の単位画像と連関させることを特徴とする請求項１６記載の撮像方法。
- 互いに重複画像領域が生じるように撮影方向を撮影範囲内で順次変化させることにより得られた画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて記録してなるサーバと、
上記サーバから通信網を介して取得した一の単位画像から拡大画像を生成してこれを表示する拡大画像表示手段と、上記拡大画像表示手段に表示される拡大画像からユーザが画像位置を指定するための指定手段とを有し、上記指定手段により指定された画像位置を上記通信網を介して送信する端末装置と、
上記端末装置から送信される上記拡大画像の画像位置に応じて上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記サーバから読み出して、これを上記端末装置における拡大画像表示手段へ送信するサーバ制御機器とを備えることを特徴とする画像情報提供システム。 - 上記サーバ制御機器は、上記指定された拡大画像の画像位置に対して、最短の画像中心を有する他の単位画像を選択することを特徴とする請求項２１記載の画像情報提供システム。
- 上記端末装置は、上記撮影範囲の全体画像を表示する全体画像表示手段をさらに備え、
上記指定手段は、さらに上記全体画像表示手段に表示される全体画像から画像位置が指定され、
上記端末制御機器は、当該画像位置に応じて上記記録媒体から単位画像を読み出して、これを上記端末装置における拡大画像表示手段へ送信することを特徴とする請求項２１記載の画像情報提供システム。 - 上記端末装置は複数設けられてなることを特徴とする請求項２１記載の画像情報提供システム。
- 被写体を撮像することにより上記画像信号を生成し、これを上記サーバへ供給する撮像装置をさらに備えることを特徴とする請求項２１記載の画像情報提供システム。
- 上記端末装置は、上記指定手段による指定に応じて上記撮像装置における撮影画角及び／又は撮影方向を制御することを特徴とする請求項２１記載の画像情報提供システム。
- 互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより得られた画像信号を処理する画像信号処理をコンピュータに実行させるためのプログラムにおいて、
制御手段により、上記画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、記録媒体へ記録し、
拡大画像表示手段により、上記記録媒体に記録されている一の単位画像につき拡大した拡大画像を表示し、
指定手段により上記表示される拡大画像について所望の画像位置が指定された場合には、上記制御手段により、当該画像位置に応じて、上記一の単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段により表示する処理をコンピュータに実行させるためのプログラム。 - 上記指定された画像位置に基づく画像位置に対して、上記制御手段により最短の画像中心を有する他の単位画像を選択する処理をコンピュータに実行させる請求項２７記載のプログラム。
- 全体画像表示手段により、上記撮影範囲の全体画像を表示し、
上記指定手段により、上記全体画像につき所望の画像位置が指定された場合には、上記制御手段により、当該画像位置に応じて上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき、拡大画像を生成し、これを上記拡大画像表示手段により表示する処理をコンピュータに実行させる請求項２７記載のプログラム。 - 上記指定手段により複数の画像位置が指定された場合には、それぞれ拡大した拡大画像を上記拡大画像表示手段により表示する処理をコンピュータに実行させる請求項２７記載のプログラム。
- 上記制御手段により、上記画像信号に基づく単位画像を、上下方向、左右方向、或いは斜め方向において互いに重複画像領域を形成する他の単位画像と連関させる処理をコンピュータに実行させる請求項２７記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002361304A JP4211377B2 (ja) | 2002-12-12 | 2002-12-12 | 画像信号処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002361304A JP4211377B2 (ja) | 2002-12-12 | 2002-12-12 | 画像信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004194113A JP2004194113A (ja) | 2004-07-08 |
| JP4211377B2 true JP4211377B2 (ja) | 2009-01-21 |
Family
ID=32760108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002361304A Expired - Fee Related JP4211377B2 (ja) | 2002-12-12 | 2002-12-12 | 画像信号処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4211377B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7218749B2 (ja) | 2020-07-27 | 2023-02-07 | トヨタ自動車株式会社 | 架線システム |
-
2002
- 2002-12-12 JP JP2002361304A patent/JP4211377B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7218749B2 (ja) | 2020-07-27 | 2023-02-07 | トヨタ自動車株式会社 | 架線システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004194113A (ja) | 2004-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3849645B2 (ja) | 監視装置 | |
| US7459685B2 (en) | Imaging device and method, computer program product on computer-readable medium, and imaging system | |
| US7561187B2 (en) | Image distributing apparatus | |
| JP2006013923A (ja) | 監視装置 | |
| JP4736381B2 (ja) | 撮像装置及び方法、監視システム、プログラム並びに記録媒体 | |
| JP4583717B2 (ja) | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 | |
| JP2006238326A (ja) | カメラ装置システムおよび撮影動画像再生方法 | |
| JPH118845A (ja) | パノラマ画像生成装置および方法 | |
| JP3841033B2 (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
| JP3994469B2 (ja) | 撮像装置、表示装置及び記録装置 | |
| JP2004228711A (ja) | 監視装置及び方法、プログラム並びに監視システム | |
| JP4001233B2 (ja) | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 | |
| JP4211377B2 (ja) | 画像信号処理装置 | |
| JP4172352B2 (ja) | 撮像装置及び方法、撮像システム、プログラム | |
| JP4127080B2 (ja) | 撮像装置及び方法 | |
| JP2004194112A (ja) | 画像信号処理装置 | |
| JP2004194114A (ja) | 画像情報提供システム | |
| JPH10304227A (ja) | 電子スチルカメラ | |
| JP2004241834A (ja) | 動画像生成装置及び方法、動画像送信システム、プログラム並びに記録媒体 | |
| JP3991816B2 (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
| JP4333255B2 (ja) | 監視装置 | |
| JPH11122521A (ja) | ディジタル撮像装置および撮像方法 | |
| JP2003324723A (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
| JP4325108B2 (ja) | 撮像画像合成装置および方法 | |
| JP2004266669A (ja) | 監視カメラ並びに撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050714 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081020 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |