JP4356689B2 - カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム - Google Patents

カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム Download PDF

Info

Publication number
JP4356689B2
JP4356689B2 JP2005355250A JP2005355250A JP4356689B2 JP 4356689 B2 JP4356689 B2 JP 4356689B2 JP 2005355250 A JP2005355250 A JP 2005355250A JP 2005355250 A JP2005355250 A JP 2005355250A JP 4356689 B2 JP4356689 B2 JP 4356689B2
Authority
JP
Japan
Prior art keywords
image
photographing
images
panoramic image
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005355250A
Other languages
English (en)
Other versions
JP2007159047A (ja
Inventor
隆信 氏郷
秀樹 浜
博光 馬場
正昭 紅林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005355250A priority Critical patent/JP4356689B2/ja
Priority to US11/563,095 priority patent/US7848628B2/en
Priority to KR1020060122972A priority patent/KR20070061382A/ko
Priority to CN2006101641713A priority patent/CN1979335B/zh
Publication of JP2007159047A publication Critical patent/JP2007159047A/ja
Application granted granted Critical
Publication of JP4356689B2 publication Critical patent/JP4356689B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、複数の画像から構成するパノラマ画像（パノラマ画像ともいう。）の作成に係り、撮影した画像を貼り合わせてパノラマ画像を得るカメラシステム、カメラを制御するカメラ制御装置、パノラマ画像を作成するためのパノラマ画像作成方法、並びにコンピュータ・プログラムに関する。
従来、画像を貼り合わせて作成するパノラマ画像は、ズーム倍率が統一された複数のカメラやズーム倍率を固定にしたパン／チルト機能付きカメラを用いて撮影した画像を張り合わせて作成する手法が用いられている（例えば、特許文献１参照。）。
図１０及び図１１を参照して、従来のパノラマ画像について説明する。図１０は、従来のパノラマ画像の撮影処理の説明に供する図である。また図１１は、従来の完成されたパノラマ画像の例を示す図である。
カメラ１０１は例えばスチルカメラであって、ズーム倍率を固定して所望のパノラマ画像１１０を構成する複数の画像を撮像する。例えば、まずパノラマ画像１１０の左上部分を撮影開始位置として画像１１１を撮影し、次に画像１１１を撮影した撮影位置から図１０右方向へ所定のパン角分移動して画像１１２を撮影し、さらに所定のパン角分移動して画像１１３・・・と順次画像を撮像する。１段目の最後の画像１１１ｎを撮像後、カメラ１０１の撮影位置を２段目左端に設定し、同様に、画像１２２，１２３・・・と撮影していく。そして、最後の段の左端の画像１１１ｍから右端の画像１１１ｍｎまで撮影し、パノラマ画像１１０の作成に必要な全画像の撮影が終了したら、それらの画像を貼り合わせてパノラマ画像１１０を作成する。
図１１に示すように、完成後のパノラマ画像１１０は表示サイズが一様な複数の画像から構成される。
特開平１１−１８００３号公報
ところで、このように作成されたパノラマ画像を構成する複数の画像は、カメラと撮影対象物との距離に関係なく固定のズーム倍率で撮影されているため、人物１１５等精細さを必要としない近距離撮影においても遠距離と同じ精度で撮影が行われており、必要以上のデータを保持していた。
また、パノラマ画像の一部分を拡大させるような機能を実装する場合には、パノラマ画像を構成する画像自身を高精細(高倍率)で撮影する必要がある。しかし、従来方法ではズーム倍率の固定によって高倍率撮影がパノラマ画像の全範囲を対象とし、画像枚数、画像データが膨大になり、撮影、表示に多くの時間を要するという問題があった。
また、これらの問題を解決するために、パノラマ表示用データと高精細用(拡大用)のデータを別々に管理する手法もとられたが、結局のところ保持すべき画像枚数、画像データは増加し、さらにデータを二重に管理しなければならないという問題があった。
本発明は斯かる点に鑑みてなされたものであり、パノラマ画像の作成にあたり、必要以上のデータを保持することなく、かつパノラマ画像を構成する画像の総枚数、画像データを減少させることを目的とする。
上記課題を解決するため、本発明のカメラシステムの一側面は、被写体を撮影して画像信号を出力する撮影装置と、予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、この撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置とから構成される。
上記カメラ制御装置は、上記撮影装置のパン角及びチルト角と上記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、その撮影リストに基づいて撮影装置の撮影処理を制御する制御信号を出力するとともに、撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部とを備える。
上記カメラ制御装置の撮影リスト作成部は、上記撮影装置から被写体までの距離に応じて撮影リストのズーム倍率を設定し、撮影装置から被写体までが遠距離の部分はズーム倍率を上げ、撮影装置から被写体までが近距離の部分はズーム倍率を下げることを特徴とする。
上述の構成によれば、撮影処理時に、条件に応じてズーム倍率を変えて撮影するので、一度の撮影で済み、必要以上の画像データを撮影、保持しなくて済む。具体的には、パノラマ画像を構成するパノラマ構成画像の枚数が減り、パノラマ撮影時間、表示時間が短縮される。また、パノラマ画像のデータ量を少なくすることができる。
また、本発明のカメラシステムの他の側面は、被写体を撮影して画像信号を出力する撮影装置と、予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、この撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置とから構成される。
上記カメラ制御装置は、上記撮影装置のパン角及びチルト角と上記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、その撮影リストに基づいて撮影装置の撮影処理を制御する制御信号を出力するとともに、撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備える。
ここで、上記カメラ制御装置の撮影リスト作成部は、パノラマ画像を構成する画像のうち指定された画像について、当該画像をさらに複数の画像に分割し、分割数に応じて当該分割された画像のズーム倍率を高く設定することを特徴とする。
上記構成によれば、特定部分のみを高倍率(高精細)で撮影し、その他の撮影位置は低倍率で撮影することで、パノラマ画像全てを高精細で撮影する必要がなくなり、パノラマ総枚数を必要数の増加で抑え、データ量、撮影時間の増加を少なくできる。
また、本発明のカメラシステムの他の側面は、被写体を撮影して画像信号を出力する撮影装置と、予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、この撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置と、から構成される。
上記カメラ制御装置は、上記撮影装置のパン角及びチルト角と上記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、その撮影リストに基づいて撮影装置の撮影処理を制御する制御信号を出力するとともに、撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備える。
ここで、上記カメラ制御装置の撮影リスト作成部は、上記撮影装置から各構成画像に対応する被写体までの距離に応じて撮影リストのズーム倍率を設定し、上記撮影装置から構成画像に対応する被写体までが遠距離の部分はズーム倍率を上げ、上記撮影装置から構成画像に対応する被写体までが近距離の部分はズーム倍率を下げ、かつパノラマ画像を構成する画像のうち指定された構成画像について、当該画像をさらに複数の画像に分割し、分割数に応じて当該分割された画像のズーム倍率を設定することを特徴とする。
また、本発明のカメラシステムの他の側面は、被写体を撮影して画像信号を出力する撮影装置と、予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、この撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置と、から構成される。
上記カメラ制御装置は、上記撮影装置のパン角及びチルト角と上記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、その撮影リストに基づいて撮影装置の撮影処理を制御する制御信号を出力するとともに、撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備える。
ここで、パノラマ画像を構成する画像の表示位置を、前記パノラマ画像の特定頂点を原点とする二次元座標で表すとともに、基準ズーム倍率Ｚにおける画像を基準画像と定義し、当該基準画像の大きさ（横，縦）を（Ｗ，Ｈ）、基準画角（横，縦）を（Ｍ，Ｎ）とするとき、
任意の撮影位置における前記撮影装置のパン角をｐ、チルト角をｔ、撮影倍率をｚ、単位パン角当たりの表示移動量ＵをＷ／Ｍ、単位チルト角当たりの表示移動量ＶをＨ／Ｎとすると、
変換後の画像の大きさ（ｗ，ｈ）は、（Ｗ×Ｚ／ｚ，Ｈ×Ｚ／ｚ）であり、
表示位置（ｘ，ｙ）は、（Ｕ×ｐ−ｗ／２，Ｖ×ｔ−ｈ／２）
で表されることを特徴とする。
本発明によれば、パノラマ画像の作成にあたり、必要以上のデータを保持することなく、かつパノラマ画像を構成する画像の総枚数、画像データを減少させることができる。また、データの二重管理が不要となるので、利用者を煩わしい管理作業から解放できる。
以下、本発明の実施の形態例について、添付図面を参照しながら説明する。
まず、本発明の一実施の形態に係るカメラシステムの構成について説明する。図１は、本発明の一実施の形態に係るカメラシステムの概略構成図である。
本例のカメラシステムは、カメラ１とカメラ制御装置２から構成される。カメラ制御装置２は、画像入力装置３、画像撮影リスト作成装置４及び演算処理装置５から構成され、さらに画像表示装置６、入力装置７が接続されている。カメラ１と演算処理装置４は制御系と映像系のライン（信号線）が接続されており、演算処理装置６よりカメラ１の制御が可能である。このカメラシステムは、高台などに設置されたカメラ１で例えば１〜２ｋｍ先までを撮影して監視を行うような用途などに用いられる。勿論、この例に限るものではない。
なお、ここで言うシステムとは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。例えば、カメラ１とカメラ制御装置２が一体構成であってもよいし、あるいは通信回線等を利用してカメラ１を遠隔地のカメラ制御装置２から制御する構成としてもよい。
カメラ１は、スチルカメラ等撮影装置の一例である。図示しないがカメラ１は、被写体から到達する撮像光をレンズブロックのレンズ、絞りを通してＣＣＤ（Charge Coupled Devices）等の撮像素子上に結像させて視野映像を映像信号（以下、画像信号ともいう。）に変換した後、信号分離、自動利得調整を行う。カメラ１は静止画だけでなく動画も撮影することができる。
信号分離、自動利得調整の処理では、ＳＨ／ＡＧＣ（サンプルホールド／オート・ゲインコントロール）により、映像信号をサンプルホールドするとともに、オートアイリスの制御信号によって所定のゲインとなるように利得制御を行う。このようにして得られた画像信号をＡ／Ｄ（アナログ／デジタル変換装置）でデジタル信号に変換し、カメラ制御装置２に供給する。
また、カメラ１のレンズブロックは、変倍用レンズを駆動することによって焦点距離を変更し、撮像する画角すなわちズーム倍率を変化させることが可能なズームレンズである。図示しないカメラコントローラの駆動命令により、例えばステッピングモータ等を用いたズームモータ（図示略）を回転させ、変倍用レンズを駆動し、ズーム倍率を変化させる。このカメラコントローラは、カメラ制御装置２の演算処理装置４から供給される制御信号を受けてズームモータに駆動命令を出力する。
また、カメラコントローラは、カメラ１のフォーカス、ズーム等のレンズ制御、絞り、ゲイン、電子シャッタースピード等の露出制御、ホワイトバランス制御、画質制御等を常時行なうコントローラである。このカメラコントローラは、カメラ１又はカメラ制御装置２のいずれに設けてもよい。
さらに、カメラ１はパン、チルトといった２軸の回転方向に自由度を有する装置、例えば回転雲台の上に設置されていて、図示しないパンチルタコントローラの駆動命令により、ステッピングモータ等を用いたパンモータ（図示略）、及びチルトモータ（図示略）を回転させ、回転雲台が２つの軸方向に駆動される。このパンチルタコントローラは回転雲台のパン、チルトの各々の方向への駆動要求に対して、回転雲台が要求された位置に駆動されるように制御信号を各モータのドライバに出力するとともに、現在の回転雲台の位置を常時演算処理装置４に伝達する。このパンチルタコントローラは、カメラ制御装置２の演算処理装置４から供給される制御信号を受けてパンモータ、及びチルトモータに駆動命令を出力するものであり、カメラ１又はカメラ制御装置２のいずれに設けてもよい。
なお、カメラコントローラ及びパンチルタコントローラの機能を後述する演算処理装置４に持たせてもよい。
カメラ制御装置２の画像入力装置３は、上記カメラ１から供給される画像信号を受信し、受信した画像信号を輝度、色差、ビデオ信号等の信号に変換し、演算処理装置４に供給する。
演算処理装置４は、制御部の一例であり、ＭＰＵ（Microprocessor）等が適用できる。演算処理装置４は、図示しないＲＡＭ（Random Access Memory）をワークエリアとして、図示しないＲＯＭ（Read Only Memory）に記録されたコンピュータ・プログラムに従い、所定の演算、制御を行う。本発明のパノラマ画像（パノラマ画像）の作成をコンピュータ（演算制御装置４）に実現させるコンピュータ・プログラムは、このＲＯＭ上に記録されている。
この演算処理装置４は、回転雲台、カメラ１の設定状態、その他外部から入力される情報に従い、システムを制御する。また、演算処理装置４はカメラ１に対する絶対位置駆動要求を行い、回転雲台、レンズブロックの変倍用レンズを駆動するようカメラコントローラとパンチルタコントローラに指令を伝達し、一方、カメラコントローラとパンチルタコントローラから送られてくるカメラ１の現在の位置情報を取得する。
また、演算処理装置４は、カメラ１で得られた画像の表示や、その画像からパノラマ画像を作成し、画像表示装置６に表示するためのビデオキャプチャー機能を備えている。ビデオキャプチャー機能は、カメラ１より入力されてくる画像信号をそのまま又はパノラマ画像を形成して、任意の画質で画像表示装置６に表示することが可能であり、また、キャプチャー信号により任意の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、ＭＰＥＧ形式の動画等）に、任意の画質で取り込み、カメラ制御装置２内の記憶装置（図示略）に記憶することができる。
画像撮影リスト作成装置５は、パノラマ画像作成用のカメラ１の撮影手順を規定した撮影リストを作成するものである。撮影リストには、撮影するときのカメラ１の撮影位置すなわちパン角及びチルト角と、ズーム倍率（撮影倍率ともいう。）とが対応付けられて登録されている。撮影リストはチルト角を用いた撮影リストと、画面サイズを用いた撮影リストがあるが、それらの作成方法については、後に詳述する。
画像表示装置６は、液晶表示装置などが適用され、演算処理装置４から入力されるパノラマ画像を表示する。
入力装置７は、例えばキーボード、マウス等の入力操作手段である。操作のために演算処理装置４に接続された画像表示装置６のＧＵＩ（Graphical User Interface）を使用して、パノラマ画像を構成する各画像を撮影する際のズーム倍率の設定、あるいは高精細撮影を行いたいパノラマ画像の特定部分を選択する等の操作を行う。ここで入力されたパノラマ画像形成のための操作指令に基づいて演算処理装置４からカメラコントローラ及びパンチルタコントローラに伝達する各制御データ（制御信号）が決定される。
次に、カメラ制御装置２によるパノラマ（広視野）撮影制御及びパノラマ画像作成処理について、図２のフローチャートを参照して説明する。
図２において、まず演算処理装置４がＲＯＭからプログラムを読み出してプログラムを起動させ、画像撮影リスト作成装置５がパノラマ画像作成用の撮影リストを作成する（ステップＳ１）。このとき演算処理装置４は、画像表示装置６に撮影リスト作成用のメニューを表示させ、利用者による所定の撮影パラメータの入力を促す。
ここで、チルト角を用いた撮影リストの作成方法について説明する。
カメラ１の設置位置とチルト角によるズーム倍率変更の概略図を、図３〜図５に示す。図３はチルト角を利用した撮影リストに基づく撮影処理を示す図である。図４はチルト角を用いた撮影リストに基づくパノラマ画像の例（１）を示す図である。図５はカメラ設置位置とチルト角によるズーム倍率変更の概念を表す図である。
本明細書においてパン角及びチルト角をそれぞれ次のように定義する。カメラ１の画角端における主光線を延長して光軸と交わる点を視点中心とすると、パン角は視点中心を通る光軸の、撮影開始位置から水平方向への移動角度あるいはカメラ１がある撮影位置から次の撮影位置へ移動したときの水平方向の移動角度である。またチルト角は視点中心を通る光軸の水平面からの移動角度である。
この例では、図５に示すように基準面となる地面（０ｍ）からの高さが３０ｍ、つまり地上高３０ｍの位置にカメラ１を設置した。このカメラ１から水平方向に１５０ｍ先の位置をズーム倍率３０倍(縦画角５度)で撮影を開始し、カメラ１からの距離４０ｍ付近までのパノラマ画像を撮影する場合の撮影リストの各パラメータは以下となる。なお、本例では地面を基準面としたが、この基準面とはカメラ１の撮影位置の高さを測定するための基準となる面（位置）であればよく、地面に限るものではない。
パノラマ画像１段目（Ｌ１）の画像は縦画角５度(ズーム倍率３０倍)で、１５０ｍ先の位置を撮影する場合は以下の範囲が撮影可能となる。
地上高(P) : 30m
初期カメラチルト角 : 13.8度(atan（30m/150m）＋ 2.5度(縦画角1/2))
撮影範囲 : 30m/tan(13.8度-2.5度）〜30m/tan(13.8度+2.5度）
→ 約150m〜約100m
パノラマ画像２段目（Ｌ２）の画像は１００ｍ以下の撮影距離になるので、ズーム倍率を下げて撮影が可能となる。
ズーム倍率 : 30倍 x 100m / 150m → 20倍 (縦画角7.5度)
カメラチルト角 : 13.8度 + (5度/2) + (7.5度/2) → 20.05度
撮影範囲 : 30m/tan(20.05度-3.75度)〜30m/tan(20.05度+3.75度)
→ 約100m〜約65m
パノラマ画像３段目（Ｌ３）の画像は７０ｍ以下の撮影距離となるので、ズーム倍率を更に下げて撮影が可能となる。
ズーム倍率 : 20倍 x 65m / 100m → 約10倍 (縦画角15度)
カメラチルト角 : 20.05度 + (7.5度/2) + (15度/2) → 31.3度
撮影範囲 : 30m/tan(31.3度-7.5度)〜30m/tan(31.3度+7.5度)
→ 約65m〜約35m
以上のようにカメラ１と撮影対象物との撮影距離が近い程ズーム倍率を下げての撮影が可能になる。この撮影方式を用いた場合の撮影リスト作成を以下に示す。ここで、パノラマ画像のｎ段目（ｎ＝２，３，４，…）の画像を撮像する際のカメラ１の撮影開始位置における、カメラ１のズーム値により決まる撮影画角、カメラ１のチルト角、カメラ１の設置位置における地上からの高さ、カメラ１の撮影範囲の遠い側の撮影距離及び近い側の撮影距離を、それぞれ、
撮影画角(ズーム) : SRn
チルト角 : TRn
撮影地上高 : P
撮影距離(遠い側) : FDn
撮影距離(近い側) : NDn
とする。
１段目(L１):
カメラ設置位置における地上高Pと撮影開始位置を決め、撮影画角とカメラチルト角をそれぞれA,Bとすると、パノラマ画像の１段目を撮像するための撮影パラメータは以下のようになる。
SR1 = A
TR1 = B
FD1 = P / tan (B - A / 2)
ND1 = P / tan (B + A / 2)
２段目(L２)：
パノラマ画像の２段目を撮影するための撮影パラメータは以下となる。
SR2= SR 1 x FD1 / ND1
TR2= TR1 + SR1 / 2 + SR2 / 2
FD2= P / tan (TR1 - SR1 / 2)
ND2= P / tan (TR1 + SR1 / 2)
ｎ段目(Ｌｎ):
ｎ段目以降の撮影パラメータは以下の式で表される。
SRn= SRn-1 x FDn-1 / NDn-1
TRn= TRn-1 + SRn-1 / 2 + SRn / 2
FDn= P / tan (TRn-1 - SRn-1 / 2)
NDn= P / Tan (TRn-1 + SRn-1 / 2)
画像撮影リスト作成装置５は、撮影開始位置における初期値(撮影開始パラメータ)が決まると自動的にｎ段目までの全画像の撮影パラメータを算出し、撮影リストを生成する。
例えば図４の例におけるカメラ１の撮影順は、まずパノラマ画像１０の１段目左端部分を撮影開始位置としてズーム倍率約３０倍で画像１１を撮影し、次に画像１１を撮影した撮影位置から図３右方向へ所定のパン角分（当該ズーム倍率における横画角分）移動して同ズーム倍率で画像１２を撮影し、さらに所定のパン角分移動して同ズーム倍率で画像１３・・・と続き、順次画像が撮像される。１段目の右端の画像１１ｎを撮像後、カメラ１の撮影位置を２段目左端に設定し、ズーム倍率を約２０倍に変えて、同様に２段目の画像を撮影する。そして、２段目の右端の画像を撮像後、カメラ１の撮影位置を３段目左端に設定し、ズーム倍率を約１０倍に設定して、左端の画像２１から右端の画像まで撮影し、パノラマ画像１０を作成するのに必要な全パノラマ構成画像を撮影したら、撮影を終了する。
なお、撮影順はこの例に限るものではなく、例えば１段目の右端の画像を撮像し終えたら、その真下（２段目右端）にカメラ１を移動させたり、あるいはカメラ１をパン方向に移動させるのではなく、チルト方向に移動させて全パノラマ構成画像を作成するなど、種々の撮影順が考えられる。
上記方式により、図４に示すように、パノラマ画像の近距離部分を表示する当該パノラマ画像の下方部においてはズーム倍率の低い画像を撮像し、遠距離部分を表示する当該パノラマ画像の上方部はズーム倍率の高い画像を撮像する。この手法によれば、遠距離部分の高精細画像を維持しながらパノラマ画像を構成する画像枚数を減らすことができる。
例えば、人物１５はズーム倍率を下げて撮影しているので、データ量としては図１１の人物１１５より遥かに少ないピクセル量で撮影できる。
図２のフローチャートの説明に戻る。上述のようにして画像撮影リスト作成装置で作成された撮影リストを演算処理装置４上のプログラムが読み込む（ステップＳ２）。
そして、撮影リストに従い演算処理装置４がカメラ１に対してズーム倍率、パン角、チルト角を設定する（ステップＳ３）。
カメラ１が設定されたパン角及びチルト角だけ移動し、移動後の位置で上記設定ズーム倍率でパノラマ画像用の画像を撮影する。演算処理装置４は撮影された画像を取り込む（ステップＳ４）。撮影された画像は、画像表示装置６上にパノラマ画像として表示する際に必要なカメラ１のパン/チルト情報とズーム倍率の情報とともに管理される。
演算処理装置４は、撮影された画像をパノラマ表示サイズに変更し、所定のパノラマ画像構成位置に表示(貼り合わせを)する（ステップＳ５）。撮影されたパノラマ用の画像とその画像に付随するカメラ１のパン角、チルト角、ズーム倍率の情報を基にして画像表示装置６に画像を表示する。ズーム倍率が異なる画像はそれぞれ同じ解像度で撮影されているため、表示の際に撮影時のズーム倍率に応じて表示サイズを変更が必要となる。
ここで、画像表示サイズを変更する処理について説明する。
図６は、チルト角を用いた撮影リストに基づくパノラマ画像の例（２）を示す図である。パノラマ画像３０を構成する画像（パノラマ構成画像Ａ，Ｂ）に関する情報を下記とする。なお画像サイズとあるのは、表示サイズ変換前つまり撮像時点の画像（図３の画像２１ａ参照）の大きさを示す。
・パノラマ構成画像 A
パン角 : 2.5度
チルト角 : 1.875度
ズーム倍率 : 20 倍(撮影画角 横 5度,縦 3.75度)
画像サイズ(横x縦) : 1024 x 768ドット
・パノラマ構成画像 B
パン : 15度
チルト : 7.5度
ズーム倍率 : 10 倍(撮影画角 横 10度,縦 7.5度)
画像サイズ(横x縦) : 1024 x 768ドット
パノラマ構成画像の表示位置は当該画像の所定位置例えば左上頂点を画像表示装置６のＸ−Ｙ座標で表現する。この例ではパノラマ画像３０の左上頂点を原点（０，０）とする。一例として、ズーム倍率２０倍を基準倍率、画像表示装置６上のサイズ(横ｘ縦)２５６ｘ１９２ドットを基準表示サイズとした場合、図６に示したパノラマ画像１段目（Ｌ１）の左端の位置３１に表示されるパノラマ構成画像Ａ、パノラマ画像２段目の左から２番目の位置３２に表示されるパノラマ構成画像Ｂの表示サイズと表示位置はそれぞれ以下となる。
・パノラマ構成画像 A
表示サイズ : 256x192ドット、表示位置(x,y) : (0, 0)
・パノラマ構成画像 B
表示サイズ : 512x384ドット、表示位置(x,y) : (512,192)
そして、任意のパノラマ構成画像Ｘの表示サイズと表示位置は以下となる。
・パノラマ構成画像 X
基準表示サイズ(横,縦）: (W,H)
基準倍率 : Z (基準画角(横，縦) : (M,N))
パン角度 : p
チルト角度 : t
撮影倍率 : z
表示サイズ(w,h)
単位パン角度あたりの表示移動量 (U) : W/M
単位チルト角度あたりの表示移動量 (V) : H/N
とすると、
表示サイズ(w,h) : (W,H) x Z/z
表示位置(x,y) : (U x p - w / 2, V x t - h / 2)
で表される。
以上の方式により、ズーム倍率が異なる画像を正確に組み合わせてパノラマ画像を形成することが実現可能となる。
上記ステップＳ５における画像表示サイズの変更及び表示処理が終了後、撮影リストの全撮影処理が終了したかどうかを判定する（ステップＳ６）。全パノラマ構成画像の撮影が終了した場合には、一連の処理を終了する。
上記ステップＳ６の判断処理において撮影が終了していないと判断した場合、ステップＳ３の処理に戻り、次のパノラマ画像用撮影位置のカメラ設定を行い、パノラマ撮影完了までステップＳ３〜ステップＳ５の処理を繰り返す。
上述した実施の形態によれば、広範囲を表示するパノラマ画像を、遠距離部分と近距部分でズーム倍率を変更して撮像した画像を用いて構成した。近距離表示部分にはズーム倍率を下げて広角撮影した画像を用いることにより、パノラマ構成画像の枚数を減らしてパノラマ画像を表示することを可能にした。パノラマ画像を構成するパノラマ構成画像の枚数を減らすことで、パノラマ撮影時間、表示時間を短縮するとともに、パノラマ画像のデータ量を少なくすることができる。
また、パノラマ画像を利用した広域監視システムにおいて、監視対象物の大きさによる検知精度（監視対象物当たりのピクセルサイズ）を落とさずに撮影時間（パノラマ撮影間隔）を短縮した広域監視が可能になる。例えば飛行機などのように移動速度の速いものを監視しようとすると、十数秒の間にパノラマ画像の撮影領域の端から端へ移動しパノラマ画像に移り込まない可能性もある。しかし、撮影時間（パノラマ撮影間隔）を短縮することによって、移動速度の速い監視対象物も確実に監視することができるようになる。
次に、本発明の他の実施の形態として、パノラマ画像の特定部分のみ高精細画像を撮影する手法について説明する。
図７〜図９は、画面サイズを用いた撮影リストの作成方法の説明に供する図である。図７は画面サイズを利用した撮影リストに基づく撮影処理を示す図である。図８は図７の要部の拡大図である。図９は画面サイズを用いた撮影リストに基づくパノラマ画像の例を示す図である。
パノラマ画像の特定部分のズーム倍率の変更は、図１０に示したような基準画像（基準格子）で作成されたパノラマ画像を基に、撮影リスト作成ツールにより利用者が画面上で特定部分を指定し格子サイズを変更することで行われる。撮影リスト作成ツールによりパノラマ画像の特定部分の格子サイズを変更すると、画像撮影リスト作成装置５がズーム倍率を自動で計算し、変更した格子サイズの画像を含むパノラマ画像５０を撮影するための撮影リストを作成する。格子サイズ変更前後で縦横比は固定とする。
一例として、図７に示す画像５１（５２，５３・・・５１ｎ，６１，６２，…，５１ｍ，…，５１ｍｎ）を基準画像として、画像６２を分割して高精細で撮影する例を説明する。
図８は、画像６２が格子サイズの小さい画像６２ａ，６２ｂ，６２ｃ，６２ｄに分割された状態を示している。基準画像の格子サイズを１０２４ｘ７６８(横ｘ縦)ドット、ズーム倍率を５倍とすると、変更画像（画像６２ａ〜６２ｄ）の格子サイズとズーム倍率は以下のようになる。
基準画像 : 1024x768(横x縦) - ズーム倍率 - 5倍
変更画像 : 512x384(横x縦) - ズーム倍率 - 5倍 x (1024/512) → 10倍
計算の結果、変更画像のズーム倍率は１０倍になり、画像６２を構成する画像６２ａ〜６２ｄの撮影倍率は基準画像の２倍になる。
以上の方式を用いることで、画面上で特定部分の格子サイズを変更することにより、特定部分のみ高精細な画像で構成するパノラマ画像の撮影リストを作成することができる。
上記画面サイズに基づく撮影リストを作成後、図２に示したステップＳ２〜Ｓ６を同様に実行することでパノラマ画像が作成される。特定部分のみズーム倍率を上げて高精細に撮影して得られた画像の画像表示サイズの変更及び表示の処理も、図２のステップＳ５の処理で説明した方法をそのまま利用できる。
以上の方式を用いて作成された撮影リストを利用することにより、カメラ１に対して特定部分のみズーム倍率を上げて高精細に撮影させることができ、不要な部分の画像データを増やすことなく必要部分の高精細データを用いたパノラマ画像の作成が可能になる。
つまりパノラマ画像内の特定ポイントのみを高倍率(高精細)で撮影し、その他の撮影ポイントは低倍率で撮影することで、パノラマ画像全てを高精細で撮影する必要がないため、パノラマ総枚数を必要数の増加で抑え、データ量、撮影時間の増加を少なくすることができる。
また、上記手法を用いることにより、パノラマ画像を利用した広域監視システムにおいても、特定部分の高精細監視が可能である。
以上説明したように、本発明によれば、パノラマ撮影の時間、及びパノラマ画像表示時間を短縮することができる。またパノラマ画像のデータ量を削減することができる。またパノラマ画像を使った広域監視システムにおいて監視精度(物体認識精度)を落とすことなく、撮影間隔を短縮することができる。
また、パノラマ画像の特定部分を拡大する必要がある場合でも、データを２重管理することなく特定部分だけを高精細な画像にすることができる。またパノラマ画像を使った広域監視システムにおいて、特定部分の高精細監視を行うことができる。
なお、本発明は、上述した実施の形態の例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（又はＭＰＵ，ＣＰＵ等の演算処理装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の例の機能が実現される場合も含まれる。
また、上述した実施の形態の例では、本発明のカメラシステムの撮影装置としてスチルカメラを例に挙げて説明したが、勿論、撮影装置をビデオカメラに適用して撮影された複数の動画からパノラマ画像を作成することができる。
また、上述した実施の形態の例では、カメラ１の光軸は水平面より下側を向いていたが、反対に水平面より上側に向けてパノラマ画像の撮影を行ってもよいことは勿論である。
さらに、本発明は、上述した各実施の形態例に限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能であることは勿論である。
本発明の一実施の形態に係るカメラシステムの概略構成を示す図である。 本発明の一実施の形態に係るカメラ制御装置による処理を示すフローチャートである。 本発明の一実施の形態に係る、チルト角を利用した撮影リストに基づく撮影処理を示す図である。 本発明の一実施の形態に係る、チルト角を用いた撮影リストに基づくパノラマ画像の例（１）を示す図である。 本発明の一実施の形態に係る、カメラ設置位置とチルト角によるズーム倍率変更の概念を表す図である。 本発明の一実施の形態に係る、チルト角を用いた撮影リストに基づくパノラマ画像の例（２）を示す図である。 本発明の一実施の形態に係る、画サイズを利用した撮影リストに基づく撮影処理を示す図である。 図７の要部の拡大図である。 本発明の一実施の形態に係る、画サイズを利用した撮影リストに基づくパノラマ画像を示す図である。 を示す図である。 従来のパノラマ画像の撮影処理の説明に供する図である。 従来のパノラマ画像の例を示す図である。
符号の説明
１…カメラ、２…カメラ制御装置、３…画像入力装置、４…画像撮影リスト作成装置、５…演算処理装置、６…画像表示装置、７…入力装置、１０，３０…パノラマ画像、１１，１２，１３，１１ｍ，１１ｎ，２１，３１，３２，３３，３４，４１，４２…パノラマ構成画像、５０…パノラマ画像、５１，５２，５３，５１ｍ，５１ｎ，５１ｍｎ，６１，６２…パノラマ構成画像、６２ａ，６２ｂ，６２ｃ，６２ｄ…高精細画像（分割画像）

Claims (18)

  1. 被写体を撮影して画像信号を出力する撮影装置と、
    予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように前記撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置と、から構成され、
    前記カメラ制御装置は、
    前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、
    前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備え、
    前記撮影リスト作成部は、
    前記撮影装置から前記被写体までの距離に応じて前記撮影リストのズーム倍率を設定し、
    前記撮影装置から前記被写体までが遠距離の部分は前記ズーム倍率を上げ、前記撮影装置から前記被写体までが近距離の部分は前記ズーム倍率を下げる
    カメラシステム。
  2. 前記パノラマ画像をｎ段構成（ｎは２以上の自然数）で、かつ各段を複数の画像から構成する場合、
    前記パノラマ画像の１段目の画像を撮影する際の撮影開始位置における、前記撮影装置のズーム値により決まる撮影画角ＳＲ１をＡ、前記撮影装置のチルト角ＴＲ１をＢ、前記撮影装置の設置位置における地上からの高さをＰ、撮影範囲の遠い側の撮影距離ＦＤ１、撮影範囲の近い側の撮影距離ＮＤ１とするとき、
    前記撮影装置の１段目における撮影パラメータは、
    ＳＲ１＝Ａ
    ＴＲ１＝Ｂ
    ＦＤ１＝Ｐ／ｔａｎ（Ｂ−Ａ／２）
    ＮＤ１＝Ｐ／ｔａｎ（Ｂ＋Ａ／２）
    であり、
    前記パノラマ画像のｎ段目の画像を撮影する際の撮影開始位置における、前記撮影装置のズーム値により決まる撮影画角ＳＲｎ、前記撮影装置のチルト角ＴＲｎ、撮影範囲の遠い側の撮影距離ＦＤｎ、撮影範囲の近い側の撮影距離ＮＤｎとするとき、
    前記撮影装置のｎ段目における撮影パラメータは、
    ＳＲｎ＝ＳＲｎ−１×ＦＤｎ−１／ＮＤｎ−１
    ＴＲｎ＝ＴＲｎ−１×ＳＲｎ−１／２＋ＳＲｎ／２
    ＦＤｎ＝Ｐ／ｔａｎ（ＴＲｎ−１−ＳＲｎ−１／２）
    ＮＤｎ＝Ｐ／ｔａｎ（ＴＲｎ−１＋ＳＲｎ−１／２）
    で表せる
    請求項１に記載のカメラシステム。
  3. 被写体を撮影して画像信号を出力する撮影装置と、
    予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように前記撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置と、から構成され、
    前記カメラ制御装置は、
    前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、
    前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備え、
    前記撮影リスト作成部は、
    前記パノラマ画像を構成する画像のうち指定された画像について、当該画像をさらに複数の画像に分割し、分割数に応じて当該分割された画像のズーム倍率を高く設定する
    カメラシステム。
  4. 前記撮影リスト作成部は、
    前記パノラマ画像を構成する画像の中から基準画像を設定し、前記基準画像と前記分割後の画像の格子サイズとの比を計算し、前記基準画像の基準ズーム倍率に前記計算値を乗算して、前記分割された画像のズーム倍率を設定する
    請求項３に記載のカメラシステム。
  5. 被写体を撮影して画像信号を出力する撮影装置と、
    予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように前記撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置と、から構成され、
    前記カメラ制御装置は、
    前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、
    前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備え、
    前記撮影リスト作成部は、
    前記撮影装置から各構成画像に対応する前記被写体までの距離に応じて前記撮影リストのズーム倍率を設定し、前記撮影装置から前記構成画像に対応する前記被写体までが遠距離の部分は前記ズーム倍率を上げ、前記撮影装置から前記構成画像に対応する前記被写体までが近距離の部分は前記ズーム倍率を下げ、
    かつ前記パノラマ画像を構成する画像のうち指定された構成画像について、当該画像をさらに複数の画像に分割し、分割数に応じて当該分割された画像のズーム倍率を設定する
    カメラシステム。
  6. 被写体を撮影して画像信号を出力する撮影装置と、
    予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように前記撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置と、から構成され、
    前記カメラ制御装置は、
    前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、
    前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備え、
    パノラマ画像を構成する画像の表示位置を、前記パノラマ画像の特定頂点を原点とする二次元座標で表すとともに、基準ズーム倍率Ｚにおける画像を基準画像と定義し、
    当該基準画像の大きさ（横，縦）を（Ｗ，Ｈ）、基準画角（横，縦）を（Ｍ，Ｎ）とするとき、
    任意の撮影位置における前記撮影装置のパン角をｐ、チルト角をｔ、撮影倍率をｚ、単位パン角当たりの表示移動量ＵをＷ／Ｍ、単位チルト角当たりの表示移動量ＶをＨ／Ｎとすると、
    変換後の画像の大きさ（ｗ，ｈ）は、（Ｗ×Ｚ／ｚ，Ｈ×Ｚ／ｚ）であり、
    表示位置（ｘ，ｙ）は、（Ｕ×ｐ−ｗ／２，Ｖ×ｔ−ｈ／２）
    で表される
    カメラシステム。
  7. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置であって、
    前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、
    前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備え、
    前記撮影リスト作成部は、
    前記撮影装置から前記被写体までの距離に応じて前記撮影リストのズーム倍率を設定し、
    前記撮影装置から前記被写体までが遠距離の部分は前記ズーム倍率を上げ、前記撮影装置から前記被写体までが近距離の部分は前記ズーム倍率を下げる
    カメラ制御装置。
  8. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置であって、
    前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、
    前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備え、
    前記撮影リスト作成部は、
    前記パノラマ画像を構成する画像のうち指定された画像について、当該画像をさらに複数の画像に分割し、分割数に応じて当該分割された画像のズーム倍率を高く設定する
    カメラ制御装置。
  9. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置であって、
    前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、
    前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備え、
    前記撮影リスト作成部は、
    前記撮影装置から各構成画像に対応する前記被写体までの距離に応じて前記撮影リストのズーム倍率を設定し、前記撮影装置から前記構成画像に対応する前記被写体までが遠距離の部分は前記ズーム倍率を上げ、前記撮影装置から前記構成画像に対応する前記被写体までが近距離の部分は前記ズーム倍率を下げ、
    かつ前記パノラマ画像を構成する画像のうち指定された構成画像について、当該画像をさらに複数の画像に分割し、分割数に応じて当該分割された画像のズーム倍率を設定する
    カメラ制御装置。
  10. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置であって、
    前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する撮影リスト作成部と、
    前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する制御部と、を備え、
    パノラマ画像を構成する画像の表示位置を、前記パノラマ画像の特定頂点を原点とする二次元座標で表すとともに、基準ズーム倍率Ｚにおける画像を基準画像と定義し、
    当該基準画像の大きさ（横，縦）を（Ｗ，Ｈ）、基準画角（横，縦）を（Ｍ，Ｎ）とするとき、
    任意の撮影位置における前記撮影装置のパン角をｐ、チルト角をｔ、撮影倍率をｚ、単位パン角当たりの表示移動量ＵをＷ／Ｍ、単位チルト角当たりの表示移動量ＶをＨ／Ｎとすると、
    変換後の画像の大きさ（ｗ，ｈ）は、（Ｗ×Ｚ／ｚ，Ｈ×Ｚ／ｚ）であり、
    表示位置（ｘ，ｙ）は、（Ｕ×ｐ−ｗ／２，Ｖ×ｔ−ｈ／２）
    で表される
    カメラ制御装置。
  11. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置におけるパノラマ画像作成方法であって、
    前記カメラ制御装置により、前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する第１ステップと、
    前記カメラ制御装置により、前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する第２ステップと、を備え、
    前記第１ステップにおいて、前記撮影装置から前記被写体までの距離に応じて前記撮影リストのズーム倍率を設定し、前記撮影装置から前記被写体までが遠距離の部分は前記ズーム倍率を上げ、前記撮影装置から前記被写体までが近距離の部分は前記ズーム倍率を下げる
    パノラマ画像作成方法。
  12. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置におけるパノラマ画像作成方法であって、
    前記カメラ制御装置により、前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する第１ステップと、
    前記カメラ制御装置により、前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する第２ステップと、を備え、
    前記第１ステップにおいて、前記パノラマ画像を構成する画像のうち指定された画像について、当該画像をさらに複数の画像に分割し、分割数に応じて当該分割された画像のズーム倍率を高く設定する
    パノラマ画像作成方法。
  13. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置におけるパノラマ画像作成方法であって、
    前記カメラ制御装置により、前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する第１ステップと、
    前記カメラ制御装置により、前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する第２ステップと、を備え、
    前記第１ステップにおいて、前記撮影装置から各構成画像に対応する前記被写体までの距離に応じて前記撮影リストのズーム倍率を設定し、前記撮影装置から前記構成画像に対応する前記被写体までが遠距離の部分は前記ズーム倍率を上げ、前記撮影装置から前記構成画像に対応する前記被写体までが近距離の部分は前記ズーム倍率を下げ、
    かつ前記パノラマ画像を構成する画像のうち指定された構成画像について、当該画像をさらに複数の画像に分割し、分割数に応じて当該分割された画像のズーム倍率を設定する
    パノラマ画像作成方法。
  14. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成するカメラ制御装置におけるパノラマ画像作成方法であって、
    前記カメラ制御装置により、前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する第１ステップと、
    前記カメラ制御装置により、前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する第２ステップと、を備え、
    パノラマ画像を構成する画像の表示位置を、前記パノラマ画像の特定頂点を原点とする二次元座標で表すとともに、基準ズーム倍率Ｚにおける画像を基準画像と定義し、
    当該基準画像の大きさ（横，縦）を（Ｗ，Ｈ）、基準画角（横，縦）を（Ｍ，Ｎ）とするとき、
    任意の撮影位置における前記撮影装置のパン角をｐ、チルト角をｔ、撮影倍率をｚ、単位パン角当たりの表示移動量ＵをＷ／Ｍ、単位チルト角当たりの表示移動量ＶをＨ／Ｎとすると、
    変換後の画像の大きさ（ｗ，ｈ）は、（Ｗ×Ｚ／ｚ，Ｈ×Ｚ／ｚ）であり、
    表示位置（ｘ，ｙ）は、（Ｕ×ｐ−ｗ／２，Ｖ×ｔ−ｈ／２）
    で表される
    パノラマ画像作成方法。
  15. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成する処理をコンピュータに実行させるためのコンピュータ・プログラムであって、
    前記カメラ制御装置により、前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する第１ステップと、
    前記カメラ制御装置により、前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する第２ステップと、を備え、
    前記第１ステップでは、前記撮影装置から前記被写体までの距離に応じて前記撮影リストのズーム倍率を設定し、前記撮影装置から前記被写体までが遠距離の部分は前記ズーム倍率を上げ、前記撮影装置から前記被写体までが近距離の部分は前記ズーム倍率を下げる
    コンピュータ・プログラム。
  16. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成する処理をコンピュータに実行させるためのコンピュータ・プログラムであって、
    前記カメラ制御装置により、前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する第１ステップと、
    前記カメラ制御装置により、前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する第２ステップと、を備え、
    前記第１ステップでは、前記パノラマ画像を構成する画像のうち指定された画像について、当該画像をさらに複数の画像に分割し、分割数に応じて当該分割された画像のズーム倍率を高く設定する
    コンピュータ・プログラム。
  17. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成する処理をコンピュータに実行させるためのコンピュータ・プログラムであって、
    前記カメラ制御装置により、前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する第１ステップと、
    前記カメラ制御装置により、前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する第２ステップと、を備え、
    前記第１ステップにおいて、前記撮影装置から各構成画像に対応する前記被写体までの距離に応じて前記撮影リストのズーム倍率を設定し、前記撮影装置から前記構成画像に対応する前記被写体までが遠距離の部分は前記ズーム倍率を上げ、前記撮影装置から前記構成画像に対応する前記被写体までが近距離の部分は前記ズーム倍率を下げ、
    かつ前記パノラマ画像を構成する画像のうち指定された構成画像について、当該画像をさらに複数の画像に分割し、分割数に応じて当該分割された画像のズーム倍率を設定する
    コンピュータ・プログラム。
  18. 予め定められた設定に基づきズーム倍率を変えてパノラマ画像を構成する複数の画像を所定順に撮影するように撮影装置を制御し、前記撮影装置により撮影された異なるズーム倍率の複数の画像を接合してパノラマ画像を作成する処理をコンピュータに実行させるためのコンピュータ・プログラムであって、
    前記カメラ制御装置により、前記撮影装置のパン角及びチルト角と前記ズーム倍率とが対応付けられた撮影リストを作成する第１ステップと、
    前記カメラ制御装置により、前記撮影リストに基づいて前記撮影装置の撮影処理を制御する制御信号を出力するとともに、前記撮影装置により撮影された異なるズーム倍率の複数の画像のサイズを各々のズーム倍率に応じてパノラマ画像の表示に適応したサイズに変換し、該変換された複数の画像を接合してパノラマ画像を作成する第２ステップと、を備え、
    パノラマ画像を構成する画像の表示位置を、前記パノラマ画像の特定頂点を原点とする二次元座標で表すとともに、基準ズーム倍率Ｚにおける画像を基準画像と定義し、
    当該基準画像の大きさ（横，縦）を（Ｗ，Ｈ）、基準画角（横，縦）を（Ｍ，Ｎ）とするとき、
    任意の撮影位置における前記撮影装置のパン角をｐ、チルト角をｔ、撮影倍率をｚ、単位パン角当たりの表示移動量ＵをＷ／Ｍ、単位チルト角当たりの表示移動量ＶをＨ／Ｎとすると、
    変換後の画像の大きさ（ｗ，ｈ）は、（Ｗ×Ｚ／ｚ，Ｈ×Ｚ／ｚ）であり、
    表示位置（ｘ，ｙ）は、（Ｕ×ｐ−ｗ／２，Ｖ×ｔ−ｈ／２）
    で表される
    コンピュータ・プログラム。
JP2005355250A 2005-12-08 2005-12-08 カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム Expired - Fee Related JP4356689B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005355250A JP4356689B2 (ja) 2005-12-08 2005-12-08 カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム
US11/563,095 US7848628B2 (en) 2005-12-08 2006-11-24 Camera system, camera control apparatus, panorama image making method and computer program product
KR1020060122972A KR20070061382A (ko) 2005-12-08 2006-12-06 카메라 시스템, 카메라 제어 장치, 파노라마 화상 작성방법 및 컴퓨터 프로그램
CN2006101641713A CN1979335B (zh) 2005-12-08 2006-12-08 照相机系统、照相机控制装置、全景图像形成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005355250A JP4356689B2 (ja) 2005-12-08 2005-12-08 カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2007159047A JP2007159047A (ja) 2007-06-21
JP4356689B2 true JP4356689B2 (ja) 2009-11-04

Family

ID=38130535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005355250A Expired - Fee Related JP4356689B2 (ja) 2005-12-08 2005-12-08 カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム

Country Status (4)

Country Link
US (1) US7848628B2 (ja)
JP (1) JP4356689B2 (ja)
KR (1) KR20070061382A (ja)
CN (1) CN1979335B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4914171B2 (ja) * 2006-10-16 2012-04-11 キヤノン株式会社 撮像装置の制御方法及びカメラシステム
JP4970296B2 (ja) * 2008-01-21 2012-07-04 株式会社パスコ オルソフォト画像の生成方法、および撮影装置
TWI386755B (zh) * 2008-03-25 2013-02-21 Ultrachip Inc 全景模式的影像攝取裝置
US20090315990A1 (en) * 2008-06-19 2009-12-24 Honeywell International Inc. Apparatus for surveillance camera system
US8134589B2 (en) * 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
JP2011147109A (ja) * 2009-12-16 2011-07-28 Canon Inc 撮像装置及び画像処理装置
JP5504915B2 (ja) * 2010-01-26 2014-05-28 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
JP2011155361A (ja) 2010-01-26 2011-08-11 Sony Corp 撮像装置、撮像制御方法、プログラム
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
CN102013094B (zh) * 2010-11-25 2013-01-02 上海合合信息科技发展有限公司 提高文本图像清晰度的方法及系统
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5909889B2 (ja) 2011-06-17 2016-04-27 ソニー株式会社 撮像制御装置、及び、撮像制御方法
JP5020398B1 (ja) * 2011-06-29 2012-09-05 パナソニック株式会社 画像変換装置、カメラ、画像変換方法およびプログラム
US10791257B2 (en) 2011-11-14 2020-09-29 Gopro, Inc. Positioning apparatus for photographic and video imaging and recording and system utilizing the same
CN102645836A (zh) * 2012-04-20 2012-08-22 中兴通讯股份有限公司 一种照片拍摄方法及电子设备
US10681304B2 (en) * 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
JP5854951B2 (ja) * 2012-08-10 2016-02-09 Kddi株式会社 パノラマ画像生成装置
US20140300691A1 (en) * 2013-04-04 2014-10-09 Panasonic Corporation Imaging system
JP6930541B2 (ja) * 2016-08-19 2021-09-01 ソニーグループ株式会社 画像処理装置および画像処理方法
WO2020037615A1 (zh) * 2018-08-23 2020-02-27 深圳市大疆创新科技有限公司 云台系统及其图像处理方法、无人机
CN112106344B (zh) * 2019-08-29 2024-04-12 深圳市大疆创新科技有限公司 显示方法、拍照方法及相关装置
CN113301257A (zh) * 2021-05-25 2021-08-24 福建汇川物联网技术科技股份有限公司 一种基于全景图像的子图像采集方法及装置
DE102022001394B3 (de) 2022-04-23 2023-06-29 Rainer Püllen Bildaufzeichnungssystem mit mehreren Zoombereichen und Flüssigkeitsinjektionslinse

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3021556B2 (ja) * 1990-06-20 2000-03-15 ソニー株式会社 映像情報処理装置とその方法
JPH1118003A (ja) 1997-06-19 1999-01-22 Sony Corp パノラマ撮像装置
JP2000101991A (ja) 1998-09-22 2000-04-07 Canon Inc 撮像装置の遠隔制御方法、遠隔制御装置、制御装置、および撮像システム
JP4346938B2 (ja) 2003-04-09 2009-10-21 キヤノン株式会社 画像処理装置、方法、プログラム及び記憶媒体
CN2632725Y (zh) * 2003-07-02 2004-08-11 马堃 一种具有全景拍摄功能的便携式拍照设备
CN100338631C (zh) * 2003-07-03 2007-09-19 马堃 数字成像设备现场全景成像的方法
JP2005123667A (ja) * 2003-10-14 2005-05-12 Seiko Epson Corp 複数の画像データからの静止画像データの生成

Also Published As

Publication number Publication date
KR20070061382A (ko) 2007-06-13
US7848628B2 (en) 2010-12-07
US20070189747A1 (en) 2007-08-16
CN1979335A (zh) 2007-06-13
CN1979335B (zh) 2010-05-19
JP2007159047A (ja) 2007-06-21

Similar Documents

Publication Publication Date Title
JP4356689B2 (ja) カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム
US6947074B2 (en) Image pickup apparatus
KR101899877B1 (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
CN110022431B (zh) 摄像装置、摄像方法、显示装置和显示方法
EP0940978A2 (en) High resolution camera
JP2016028539A (ja) 撮像装置
JP2006324834A (ja) 撮像装置及び撮像方法
JP2004266317A (ja) 監視装置
JP2007135133A (ja) 撮像装置
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
US8436919B2 (en) Photographing method of generating image of traced moving path and photographing apparatus using the photographing method
TWI693828B (zh) 顯示擷取裝置與其操作方法
JP6528773B2 (ja) ズーム制御装置、ズーム制御方法およびプログラム
JP2004252370A (ja) カメラシステム
JP4609315B2 (ja) 撮像装置、ズーム時の画角枠表示方法、およびプログラム
JP3994469B2 (ja) 撮像装置、表示装置及び記録装置
JP2006203732A (ja) デジタルカメラ、縦横撮影切替え方法、及びプログラム
JP3841033B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2004228711A (ja) 監視装置及び方法、プログラム並びに監視システム
JP4148251B2 (ja) 撮像装置及び表示装置
JP2008067136A (ja) 撮像装置及び撮像方法
JP4333255B2 (ja) 監視装置
JP2008048152A (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2005348449A5 (ja)
JP3991816B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090727

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees