JP4244973B2 - 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム - Google Patents

撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム Download PDF

Info

Publication number
JP4244973B2
JP4244973B2 JP2005225831A JP2005225831A JP4244973B2 JP 4244973 B2 JP4244973 B2 JP 4244973B2 JP 2005225831 A JP2005225831 A JP 2005225831A JP 2005225831 A JP2005225831 A JP 2005225831A JP 4244973 B2 JP4244973 B2 JP 4244973B2
Authority
JP
Japan
Prior art keywords
camera
image
panoramic image
imaging direction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005225831A
Other languages
English (en)
Other versions
JP2007043505A (ja
Inventor
真一 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005225831A priority Critical patent/JP4244973B2/ja
Priority to EP06015932.4A priority patent/EP1750431B1/en
Priority to US11/497,341 priority patent/US8314831B2/en
Priority to CNB2006101090975A priority patent/CN100474893C/zh
Publication of JP2007043505A publication Critical patent/JP2007043505A/ja
Application granted granted Critical
Publication of JP4244973B2 publication Critical patent/JP4244973B2/ja
Priority to US13/660,478 priority patent/US9609205B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Description

この発明は、撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラムに関する。詳しくは、カメラの撮像方向を示すカメラ位置情報に基づき、パノラマ画像上における撮像方向の位置を判別して、この判別された位置が画像の中央位置となるようにパノラマ画像の処理を行うことで、撮像方向が中心となるようにパノラマ画像を表示するものである。
従来、特許文献1の発明のように、パン・チルト制御が可能な撮像装置を用いて撮像を行い、パン動作やチルト動作を行って撮像できる撮像領域全体の画像をパノラマ画像として表示することが行われている。
ここで、パノラマ画像は、画像の中央位置が例えばパン動作可動範囲の中央方向と一致するように形成して、パノラマ画像上に撮像方向を示すカーソルを撮像方向に連動させて表示するものとすれば、撮像方向を容易に判別できる。また、パノラマ画像と表示されたカーソルの位置から、例えば所望の位置の撮像画像を表示するときには、撮像方向をどのように移動したらよいか容易に判別できる。
例えば、図7Aに示すように撮像装置80の画角が90度で、右方向パン動作範囲が図7Bに示すように中央位置Pcから「−120°」である位置Prmまで、左方向パン動作範囲が図7Cに示すように中央位置Pcから「+120°」である位置Plmまでとすると、パノラマ画像は、図7Dに示すように、+165°から−165°の範囲を示す画像GPrとなる。
このようなパノラマ画像上に、撮像装置の撮像方向を示すカーソルQTを表示すれば、例えば所望の位置の撮像画像を得る場合に、パノラマ画像上における所望の位置とカーソルの表示位置との関係から撮像装置のパン動作方向を容易に判別できる。
特開2001ー136431号公報
ところで、撮像装置では、例えばパン動作をエンドレスに行うことができる撮像装置が実用化されている。このような撮像装置を用いてパノラマ画像表示を行い、パノラマ画像上に撮像方向を示すカーソルを表示すると、この撮像方向を示すカーソルを利用したときに、撮像方向を速やかに所望方向に移動させることができない場合が生じてしまう。
例えば、撮像方向を、図8に示すパノラマ画像GPe上の位置PSaから位置PSbに移動する場合、パン動作をエンドレスに行うことができるときには、撮像方向を左方向に移動するよりも右方向に移動することで移動量が少なくなり、速やかに撮像方向を位置PSaから位置PSbに移動させることができる。しかし、パノラマ画像上に表示されたカーソルQTを利用すると、位置PSbはパノラマ画像上においてカーソルQTの位置PSaの左側に位置している。したがって、カーソルQTが破線で示すカーソルQT'の位置になるように撮像方向を移動するパン動作が行われてしまい、撮像方向を速やかに所望方向に移動させることができない場合が生じてしまう。
そこで、この発明では、撮像方向を速やかに所望の方向に移動させることが可能な撮像システムとカメラ制御装置とパノラマ画像表示方法およびプログラムを提供するものである。
この発明に係わる撮像システムは、パン動作および/またはチルト動作が可能なカメラ端末装置と、カメラ端末装置を制御するカメラ制御装置とを有する撮像システムにおいて、カメラ端末装置は、撮像を行うカメラ部と、カメラ部をエンドレスにパン動作する撮像方向調整部と、カメラ部により撮像された、画角が360度のパノラマ画像の生成を行う信号処理部と、生成されたパノラマ画像を記憶するパノラマ画記憶部と、撮像方向を示すカメラ位置情報を生成する撮像方向制御部を備え、カメラ制御装置は、カメラ位置情報に基づき、パノラマ画像上における撮像方向の位置を判別する位置判別処理部と、判別された位置が画像の中央位置となるようにパノラマ画像を処理するパノラマ画像処理部を備えるものである。
また、この発明に係わるカメラ制御装置は、エンドレスにパン動作するカメラの撮像方向を示すカメラ位置情報に基づき、画角が360度のパノラマ画像上における撮像方向の位置を判別する位置判別処理部と、判別された位置が画像の中央位置となるようにパノラマ画像を処理するパノラマ画像処理部を有するものである。このパノラマ画像処理部では、判別された位置とパノラマ画像の中心位置との差分量を判別して、判別された位置をパノラマ画像表示画枠の中央位置としたとき、パノラマ画像表示画枠から外れる差分量分の画像をパノラマ画像表示画枠内の画像の無い領域に貼り付けることで、判別された位置が画像の中央位置となるようにパノラマ画像が処理される。また、パノラマ画像処理部で処理されたパノラマ画像を表示する表示部と、パノラマ画像上にカメラの撮像方向を示すカーソルを表示させる表示処理部と、ユーザインタフェース部と、制御部を有するものとされて、制御部では、ユーザインタフェース部によってカーソルを移動する操作が行われたとき、カーソルの移動に応じたパン動作および/またはチルト動作を行わせる指示がなされる。
さらに、この発明に係わるパノラマ画像表示方法やプログラムでは、エンドレスにパン動作するカメラの撮像方向を示すカメラ位置情報の取得と、カメラ位置情報に基づいて、画角が360度のパノラマ画像上における撮像方向の位置を判別と、判別された位置とパノラマ画像の中心位置との差分量の判別と、差分量に基づいて、判別された位置を画像の中央位置とするパノラマ画像の処理が行われる。
この発明によれば、エンドレスにパン動作するカメラの撮像方向を示すカメラ位置情報に基づき、画角が360度のパノラマ画像上における撮像方向の位置が判別されて、この判別された位置が画像の中央位置となるようにパノラマ画像の処理が行われる。このため、処理後のパノラマ画像は、撮像方向が画像の中央位置とされているので、エンドレスにパン動作したとき、この処理後のパノラマ画像を用いることで、撮像方向を速やかに所望の方向に移動させることができる。また、現在の撮像方向の判別も容易に行うことができる。
以下、図を参照しながら、この発明の実施の一形態について説明する。図1は撮像システムの構成を示している。撮像システム10は、カメラ端末装置20とカメラ制御装置30を有しており、カメラ端末装置20とカメラ制御装置30は、ネットワーク40を介して接続されている。
カメラ端末装置20のカメラ部201は、後述する端末制御部210から供給された撮像制御信号CTaに基づいて撮像動作を行い、映像信号Dcamを生成する。また、生成した映像信号Dcamを、バス220を介して信号処理部202に供給する。なお、バス220には、メモリ部203、撮像方向制御部204、ネットワークインタフェース部206、パノラマ画記憶部207、端末制御部210も接続されている。
信号処理部202は、映像信号Dcamの圧縮処理を行い、得られた映像符号化信号DVをメモリ部203に記憶させる。また、カメラ部201の撮像方向を順次移動して得られた映像信号Dcamを用いてパノラマ画の映像信号(以下「パノラマ画信号」という)DPを生成して、パノラマ画記憶部207に記憶させる。なお、映像信号Dcamの圧縮処理やパノラマ画信号DPの生成は、後述する端末制御部210から供給された信号処理制御信号CTbに基づいて行う。
撮像方向制御部204は、カメラ部201の撮像方向を、後述する端末制御部210から供給された方向制御信号CTcによって指示された方向に移動させるため、撮像方向を移動する際の速度や加速度の計算を行う。また、計算結果に基づきパン動作を行うための駆動信号MDpやチルト動作を行うための駆動信号MDtを生成して、撮像方向調整部205に供給する。また、撮像方向制御部204は、カメラ部201の撮像方向がいずれの方向であるかを示すカメラ位置情報信号PMを生成して、端末制御部210に供給する。
撮像方向調整部205は、カメラ部201を左右方向に移動させるパン動作モータと、カメラ部201を上下方向に移動させるチルト動作モータを有しており、駆動信号MDpによってパン動作モータ、駆動信号MDtによってチルト動作モータをそれぞれ駆動して、カメラ部201の撮像方向を方向制御信号CTcによって指示された方向に調整する。また、撮像方向調整部205は、動作範囲が制限されることなくエンドレスにパン動作を行うものとする。
ネットワークインタフェース部206は、カメラ端末装置20とカメラ制御装置30とで、ネットワーク40を介して通信を行うためのインタフェースである。
端末制御部210は、撮像制御信号CTaによってカメラ部201、信号処理制御信号CTbによって信号処理部202、方向制御信号CTcによって撮像方向制御部204をそれぞれ制御して、撮像方向を順次移動しながら撮像を行い、得られた映像信号Dcamに基づいてパノラマ画信号DPを生成させてパノラマ画記憶部207に記憶させる。
ここで、撮像方向調整部205は、上述のようにエンドレスにパン動作を行うことができるように構成されている。したがって、パノラマ画記憶部207に記憶するパノラマ画像は、例えば図2に示すように、画像が重複しないように、一方の端部が基準方向から「+180°」の角度差、他方の端部が基準方向から「−180°」の角度差を有するものとする。また、パン動作の動作範囲が制限されないので、例えば動作範囲が制限されている場合のように、動作範囲の中央位置を基準方向とすることができない。したがって、基準方向を予め設定しておき、この基準方向がパノラマ画像の中央位置となるようにパノラマ画信号DPを生成する。また、撮像方向制御部204は、カメラ位置情報信号PMとして、予め設定された基準方向に対する撮像方向の例えば角度差を示す信号を生成する。
このように基準方向を予め設定しておくものとすれば、パノラマ画像がいずれの方向を基準とした撮像動作によって生成された画像であるかを判別する必要がない。また、カメラ位置情報信号PMによって、基準方向に対する撮像方向の角度差を示すものとすれば、パノラマ画像上におけるカメラ位置情報信号PMに基づく撮像方向の位置を容易に判別できる。
端末制御部210は、ネットワークインタフェース部206を介してカメラ制御装置30から供給されたコマンド信号CMを解析して、撮像制御信号CTaや信号処理制御信号CTb,方向制御信号CTcの生成を行う。また、メモリ部203に記憶されている映像符号化信号DVや、パノラマ画記憶部207に記憶されているパノラマ画信号DP、および撮像方向制御部204から供給されたカメラ位置情報信号PMをカメラ制御装置30に送出する処理等を行う。
カメラ制御装置30のネットワークインタフェース部301は、カメラ端末装置20とカメラ制御装置30とで、ネットワーク40を介して通信を行うためのインタフェースである。ネットワークインタフェース部301は、カメラ端末装置20から供給された映像符号化信号DVを伸長処理部302に供給する。また、カメラ位置情報信号PMを位置判別処理部303、パノラマ画信号DPをパノラマ画像処理部304に供給する。
伸長処理部302は、映像符号化信号DVの伸長処理を行い、得られた映像信号Dcamを表示処理部305に供給する。
位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向がパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPをパノラマ画像処理部304に供給する。ここで、カメラ位置情報信号PMは、上述のように予め設定した基準方向がパノラマ画像の中央位置となるようにパノラマ画信号DPを生成し、カメラ位置情報信号PMは基準方向と現在の撮像方向の角度差を示すものとすれば、カメラ位置情報信号PMに基づき、現在の撮像方向がパノラマ画像のいずれの位置に対応するか容易に判別できる。
パノラマ画像処理部304は、位置判別結果KPに基づいてパノラマ画像処理を行い、判別された位置が中央位置とされたパノラマ画像のパノラマ画信号DPCを生成する。このパノラマ画像処理部304では、判別された位置とパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるようにパノラマ画像を処理する。すなわち、判別された位置を中央位置として「±180°」のパノラマ画像表示画枠を設定して、パノラマ画像表示画枠から外れる差分量分の領域のパノラマ画像を、画像の無い領域に貼り付けることで、判別された位置を中央位置としたパノラマ画像のパノラマ画信号DPCを生成する。さらに、パノラマ画像処理部304は、パノラマ画像処理を行うことにより生成したパノラマ画信号DPCを表示処理部305に供給する。
表示処理部305は、伸長処理部302から供給された映像信号Dcamや、パノラマ画像処理部304から供給されたパノラマ画信号DPC、および後述する制御部310から供給されたGUI表示制御信号CTgに基づいて生成したGUI用映像信号を用いて、表示駆動信号HDを生成して表示部306に供給する。
表示部306は、表示駆動信号HDに基づいて、表示素子例えば液晶表示素子やプラズマ表示素子あるいは陰極線管等を駆動して、撮像方向を中央位置としたパノラマ画像やカメラ部201の撮像画像、GUI画像等を画面上に表示する。
ユーザインタフェース部315は、GUIが用いられており、表示部306を用いてユーザに対する情報の提示を行い、提示された情報に基づき操作入力手段であるポインティングデバイスやキーボード等でユーザ操作が行われたとき、ユーザ操作に応じた操作信号USを制御部310に供給して所望の動作等を行わせる。
制御部310は、操作信号USと表示部306の表示状態に基づき、ユーザがどのような処理の選択やどのような処理の実行を要求したか判別して、判別結果に基づき制御信号CTmを生成して各部に供給し、カメラ制御装置30の動作を制御する。また、判別結果に基づきコマンド信号CMを生成して、ネットワークインタフェース部301を介してカメラ端末装置20に供給し、カメラ端末装置20の動作を制御する。さらに、制御部310は、GUI表示制御信号CTgを生成して表示処理部305に供給する。
次に、パノラマ画像表示動作について説明する。制御部310は、動作開始時に、カメラ端末装置20に対して、パノラマ画信号DPとカメラ位置情報信号PMおよび映像符号化信号DVを要求するコマンド信号CMを送信する。カメラ端末装置20は、パノラマ画記憶部207にパノラマ画信号DPを記憶しているとき、このパノラマ画信号DPを読み出してカメラ制御装置30に送信する。また、パノラマ画記憶部207にパノラマ画信号DPが記憶されていないとき、カメラ部201や信号処理部202および撮像方向制御部204を制御して、撮像方向を移動しながら撮像動作を行いパノラマ画信号DPを生成してカメラ制御装置30に送信する。なお、生成したパノラマ画信号DPは、パノラマ画記憶部207に記憶させる。
カメラ端末装置20は、撮像方向制御部204で生成したカメラ位置情報信号PMをカメラ制御装置30に供給する。また、カメラ端末装置20は、カメラ部201の撮像動作を開始して、得られた映像信号Dcamを信号処理部202で圧縮し映像符号化信号DVをメモリ部203に記憶させる。さらに、メモリ部203に記憶されている映像符号化信号DVをカメラ制御装置30に供給する。
カメラ制御装置30の位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向がパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPをパノラマ画像処理部304に供給する。ここで、例えばカメラ位置情報信号PMで示す角度差が「0°」であるとき、撮像方向は基準方向に設定されていることから、撮像方向の位置はパノラマ画像の中央位置となっている。
パノラマ画像処理部304は、位置判別結果KPに基づいてパノラマ画像処理を行う。ここで、位置判別結果KPによって、撮像方向の位置がパノラマ画像の中央位置であることが示されたときは、撮像方向の画像がパノラマ画像の中央となっていることから、パノラマ画像処理を行うことなく、パノラマ画信号DPをパノラマ画信号DPCとして表示処理部305に供給する。
伸長処理部302は、映像符号化信号DVを伸長して、得られた映像信号Dcamを表示処理部305に供給する。また、制御部310は、GUI表示を行うためのGUI表示制御信号CTgを表示処理部305に供給する。
このため、表示処理部305からの表示駆動信号HDによって駆動される表示部306の画面上には、カメラ部201で撮影された撮像画像と、基準方向が中央位置とされているパノラマ画像、およびGUIに関する画像が表示される。
図3は、表示部の画面表示を例示したものであり、表示領域AR1にはカメラ部201で撮影された撮像画像、表示領域AR2にはパノラマ画像が表示される。また、表示領域AR3には、撮像方向を調整するためのGUI画像、表示領域AR4には、ネットワーク40を介してカメラ端末装置20を複数接続したとき、画像表示を行うカメラ端末装置を選択するためのGUI画像、表示領域AR5には、表示領域AR1に表示される撮像画像のズームイン/ズームアウト動作を行わせるためのGUI画像が表示される。さらに、表示領域AR2のパノラマ画像に対して、撮像方向を示すGUI画像(以下「撮像方向カーソル」という)QSが表示される。
次に、ユーザインタフェース部315によって、撮像方向カーソルQSをパノラマ画像上の所望の位置、例えばパノラマ画像の中央位置と右端の中間位置(パノラマ画像の右端から1/4の位置)に移動する操作が行われたとき、制御部310は、パノラマ画像上における移動後の撮像方向カーソルQSの位置から撮像方向を判別する。さらに、判別した撮像方向すなわち基準方向から右方向に「90°」の角度差を有した方向に、カメラ部201の撮像方向をパン動作させるコマンド信号CMを生成して、このコマンド信号CMをカメラ端末装置20に供給する。
コマンド信号CMを受信したカメラ端末装置20の端末制御部210は、コマンド信号CMに基づき方向制御信号CTcを生成して撮像方向制御部204に供給する。撮像方向制御部204は、方向制御信号CTcに基づき駆動信号MDp,MDtを生成して撮像方向調整部205に供給する。このように、コマンド信号CMに応じて撮像方向調整部205を駆動することで、カメラ部201の撮像方向を、撮像方向カーソルQSが示す方向に移動させることができる。また、撮像方向制御部204は、カメラ位置情報信号PMを生成してカメラ制御装置30に供給する。
カメラ制御装置30の位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向がパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPをパノラマ画像処理部304に供給する。パノラマ画像処理部304は、位置判別結果KPに基づいてパノラマ画像処理を行い、判別された位置を中央位置としたパノラマ画信号DPCを生成する。
ここで、カメラ部201の撮像方向を基準方向から右方向に「90°」移動させるパン動作が行われたとき、位置判別処理部303では、カメラ位置情報信号PMに基づき、撮像方向の位置がパノラマ画像の中央位置と右端との中間位置であると判別される。このため、パノラマ画像処理部304は、図4Aに示すように、基準方向から右方向に「90°」移動された位置PSpをパノラマ画像表示画枠FRの中央位置とする。
また、このパノラマ画像表示画枠FRから外れる領域、すなわち撮像方向の位置PSpとパノラマ画像の中央位置PScとのパン方向に対する差が画素数「n」(パノラマ画像の90°に相当)であるとき、図4Bに示すように、パノラマ画像の左端から画素数「n」の領域の画像を切り取る。さらに、切り取った画像をパノラマ画像表示画枠FRの画像の無い領域、すなわち、図4Cに示すようにパノラマ画像の右端の右側に貼り付けることで、判別された位置PSpを中央位置としたパノラマ画像のパノラマ画信号DPCを生成する。
このように、判別された位置をパノラマ画像表示画枠の中央位置としたとき、パノラマ画像表示画枠から外れる画像をパノラマ画像表示画枠内の画像の無い領域に貼り付けるだけで、判別された位置すなわち現在の撮像方向を中央位置としたパノラマ画像のパノラマ画信号DPCを生成できるので、複雑な演算処理等を行う必要がなく、パノラマ画像処理部304の構成および処理動作を簡単とすることができる。
このようにしてパノラマ画信号DPCの生成が行われると、図5に示すように、表示部306の画面表示の表示領域AR2には、基準方向に変えて撮像方向を中央位置としたパノラマ画像が表示されることになる。また、表示領域AR1には、撮像方向を移動したカメラ部201で撮影された撮像画像が表示されることになる。
また、撮像方向制御部204は、カメラ部201のパン動作中にカメラ位置情報信号PMを繰り返し生成してカメラ制御装置30に供給すれば、カメラ部201の撮像方向の移動に合わせて、パノラマ画像を撮像方向の移動方向とは逆方向に移動させることができる。なお、撮像方向カーソルQSは、基準方向から右方向に「90°」の角度差を有した方向にパン動作させるコマンド信号CMを出力したのち、パノラマ画像表示画枠の中央に表示する。また、カメラ位置情報信号PMを利用して撮像方向の位置に、撮像方向カーソルQSを表示するものとしてもよい。この場合にも、撮像方向カーソルQSはパノラマ画像表示画枠の中央に表示されることになる。
ところで、撮像方向に応じてパノラマ画像を移動して表示する動作は、ソフトウェア処理で行うこともできる。この場合、プロクラムを予めメモリに記憶させておき、あるいは記録媒体に予めプログラムを記録しておき、この記録されたプログラムをメモリに読み出すものとし、またはネットワークを介してプログラムの配信を行い、配信されたプログラムをメモリに記憶させるものとして、メモリに記憶されたプログラムをCPU(Central Processing Unit)が読み出して実行する。
図6は、ソフトウェア処理で行う場合のフローチャートを示している。
ステップST1でCPUは、カメラ部の撮像方向を示すカメラ位置情報を取得する。
ステップST2でCPUは、カメラ位置情報から撮像方向がパノラマ画像のいずれの位置に対応するか位置判別処理を行う。
ステップST3でCPUは、位置判別の結果とパノラマ画像の中心位置との差分量を判別する。
ステップST4でCPUは、差分量に基づいてパノラマ画像処理を行い、撮像方向を画像の中央位置とするパノラマ画像を生成する。
このように撮像方向を画像の中央位置とするパノラマ画像を生成して、生成したパノラマ画像のパノラマ画信号DPCに基づき画像表示を行うものとすれば、ソフトウェア処理によっても、撮像方向に応じてパノラマ画像を移動して表示させることができる。
なお、上述の形態では、撮像方向をパン動作する場合について説明したが、チルト動作を含めてパノラマ画像の生成を行い、パン・チルト動作後の撮像方向に基づいてパノラマ画像処理を行うものとしてもよい。
また、上述の説明では、中央位置が基準方向となるようにパノラマ画像を生成するものとしたが、パノラマ画像は中央位置が基準方向となるように生成する場合に限られるものではない。パノラマ画像の中央位置が基準方向と異なるときには、パノラマ画像の撮像範囲を検出することにより、パノラマ画像の中央位置と基準方向の角度差を判別することができる。したがって、パノラマ画像の中央位置が基準方向と異なる場合であっても、この判別した角度差とカメラ位置情報信号PMに基づき、撮像方向の位置がパノラマ画像上のいずれの位置であるかを判別することができる。
以上のように、パノラマ画像の中央位置が撮像方向となるようにパノラマ画像が表示されるので、表示されたパノラマ画像を利用して、撮像方向を速やかに所望の方向に移動させることができる。例えば、エンドレスなパン動作が可能で、撮像方向を所望の位置に移動させる場合、パン動作が逆方向に行われて、撮像方向を速やかに所望方向に移動させることができなくなってしまうことを防止できる。また、パノラマ画像の中央位置が撮像方向となっているので、現在の撮像方向の判別も容易となる。
撮像システムの構成を示す図である。 パン動作をエンドレスに行うことができるときのパノラマ画像を説明するための図である。 表示部の表示画面を示す図である。 パノラマ画像処理を説明するための図である。 パン動作後の表示画面を示す図である。 パノラマ画像表示処理を示すフローチャートである。 パン動作とパノラマ画像の関係を説明するための図である。 パン動作をエンドレスに行うことができるときの撮像方向移動操作を説明するための図である。
符号の説明
10・・・撮像システム、20・・・カメラ端末装置、30・・・カメラ制御装置、40・・・ネットワーク、80・・・撮像装置、201・・・カメラ部、202・・・信号処理部、203・・・メモリ部、204・・・撮像方向制御部、205・・・撮像方向調整部、206,301・・・ネットワークインタフェース部、207・・・パノラマ画記憶部、210・・・端末制御部、220・・・バス、302・・・伸長処理部、303・・・位置判別処理部、304・・・パノラマ画像処理部、305・・・表示処理部、306・・・表示部、310・・・制御部、315・・・ユーザインタフェース部

Claims (7)

  1. パン動作および/またはチルト動作が可能なカメラ端末装置と、前記カメラ端末装置を制御するカメラ制御装置とを有する撮像システムにおいて、
    前記カメラ端末装置は、
    撮像を行うカメラ部と、
    前記カメラ部をエンドレスにパン動作する撮像方向調整部と、
    前記カメラ部により撮像された、画角が360度のパノラマ画像の生成を行う信号処理部と、
    前記生成されたパノラマ画像を記憶するパノラマ画記憶部と、
    撮像方向を示すカメラ位置情報を生成する撮像方向制御部を備え、
    前記カメラ制御装置は、
    前記カメラ位置情報に基づき、前記パノラマ画像上における撮像方向の位置を判別する位置判別処理部と、
    前記判別された位置が画像の中央位置となるように前記パノラマ画像を処理するパノラマ画像処理部を備える撮像システム。
  2. エンドレスにパン動作するカメラの撮像方向を示すカメラ位置情報に基づき、画角が360度のパノラマ画像上における前記撮像方向の位置を判別する位置判別処理部と、
    前記判別された位置が画像の中央位置となるように前記パノラマ画像を処理するパノラマ画像処理部を有するカメラ制御装置。
  3. 前記パノラマ画像処理部は、前記判別された位置と前記パノラマ画像の中心位置との差分量を判別して、該差分量に基づいて、前記判別された位置が画像の中央位置となるように前記パノラマ画像を処理する請求項2のカメラ制御装置。
  4. 前記パノラマ画像処理部は、前記判別された位置をパノラマ画像表示画枠の中央位置としたとき、前記パノラマ画像表示画枠から外れる前記差分量分の画像を前記パノラマ画像表示画枠内の画像の無い領域に貼り付ける請求項3に記載のカメラ制御装置。
  5. 前記パノラマ画像処理部で処理されたパノラマ画像を表示する表示部と、
    前記パノラマ画像上に前記カメラの撮像方向を示すカーソルを表示させる表示処理部と、
    ユーザインタフェース部と、
    前記ユーザインタフェース部によって前記カーソルを移動する操作が行われたとき、該カーソルの移動に応じたパン動作および/またはチルト動作を行わせる指示を行う制御部を備える請求項2に記載のカメラ制御装置。
  6. エンドレスにパン動作するカメラの撮像方向を示すカメラ位置情報を取得する工程と、
    前記カメラ位置情報に基づいて、画角が360度のパノラマ画像上における前記撮像方向の位置を判別する工程と、
    前記判別された位置と前記パノラマ画像の中心位置との差分量を判別する工程と、
    前記差分量に基づいて、前記判別された位置が画像の中央位置となるように前記パノラマ画像を処理する工程と、
    前記処理されたパノラマ画像を表示する工程とを有するパノラマ画像表示方法。
  7. コンピュータに、
    エンドレスにパン動作するカメラの撮像方向を示すカメラ位置情報を取得する工程と、
    前記カメラ位置情報に基づいて、画角が360度のパノラマ画像上における前記撮像方向の位置を判別する工程と、
    前記判別された位置と前記パノラマ画像の中心位置との差分量を判別する工程と、
    前記差分量に基づいて、前記判別された位置が画像の中央位置となるように前記パノラマ画像を処理する工程を実行させるプログラム。
JP2005225831A 2005-08-03 2005-08-03 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム Expired - Fee Related JP4244973B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005225831A JP4244973B2 (ja) 2005-08-03 2005-08-03 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
EP06015932.4A EP1750431B1 (en) 2005-08-03 2006-07-31 Imaging system, camera control apparatus, panorama image generation method and program therefor
US11/497,341 US8314831B2 (en) 2005-08-03 2006-08-02 Imaging system, camera control apparatus, panorama image generation method and program therefor
CNB2006101090975A CN100474893C (zh) 2005-08-03 2006-08-03 成像系统、照相机控制装置及全景图像生成方法
US13/660,478 US9609205B2 (en) 2005-08-03 2012-10-25 Imaging system, camera control apparatus, panorama image generation method and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005225831A JP4244973B2 (ja) 2005-08-03 2005-08-03 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム

Publications (2)

Publication Number Publication Date
JP2007043505A JP2007043505A (ja) 2007-02-15
JP4244973B2 true JP4244973B2 (ja) 2009-03-25

Family

ID=37400937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005225831A Expired - Fee Related JP4244973B2 (ja) 2005-08-03 2005-08-03 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム

Country Status (4)

Country Link
US (2) US8314831B2 (ja)
EP (1) EP1750431B1 (ja)
JP (1) JP4244973B2 (ja)
CN (1) CN100474893C (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101264804B1 (ko) * 2006-08-16 2013-05-15 삼성전자주식회사 최적의 촬영위치를 알릴 수 있는 파노라마 촬영 방법 및장치
JP4942185B2 (ja) * 2007-04-06 2012-05-30 キヤノン株式会社 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体
JP4935632B2 (ja) 2007-11-07 2012-05-23 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
TWI386755B (zh) * 2008-03-25 2013-02-21 Ultrachip Inc 全景模式的影像攝取裝置
DE102008049872A1 (de) * 2008-10-01 2010-04-29 Mobotix Ag Verstellsicherung für Überwachungskameras
JP5262546B2 (ja) 2008-10-08 2013-08-14 ソニー株式会社 映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法
US9621768B1 (en) * 2008-12-08 2017-04-11 Tata Communications (America) Inc. Multi-view media display
JP5338498B2 (ja) 2009-06-09 2013-11-13 ソニー株式会社 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
JP5471224B2 (ja) 2009-09-15 2014-04-16 ソニー株式会社 撮像システム、撮像装置、情報処理装置及び撮像方法
JP5163676B2 (ja) * 2010-03-19 2013-03-13 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP2011205573A (ja) * 2010-03-26 2011-10-13 Sony Corp 制御装置、カメラシステム及びプログラム
JP5005080B2 (ja) * 2010-09-06 2012-08-22 キヤノン株式会社 パノラマ画像の生成方法
JP2012075018A (ja) * 2010-09-29 2012-04-12 Casio Comput Co Ltd 再生装置及び方法、並びにプログラム
JP5776466B2 (ja) * 2010-09-29 2015-09-09 ブラザー工業株式会社 携帯装置のプログラム、携帯装置および携帯装置の制御方法
JP5817196B2 (ja) 2010-09-29 2015-11-18 ブラザー工業株式会社 携帯装置のプログラムおよび携帯装置の制御方法
JP5853359B2 (ja) 2010-11-11 2016-02-09 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP5652142B2 (ja) * 2010-11-11 2015-01-14 ソニー株式会社 撮像装置、表示制御方法およびプログラム
JP5578442B2 (ja) * 2011-04-07 2014-08-27 カシオ計算機株式会社 撮像装置、画像合成方法、及びプログラム
US20120268554A1 (en) * 2011-04-22 2012-10-25 Research In Motion Limited Apparatus, and associated method, for forming panoramic image
JP5778469B2 (ja) * 2011-04-28 2015-09-16 日本アビオニクス株式会社 撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステム
KR101784176B1 (ko) 2011-05-25 2017-10-12 삼성전자주식회사 영상 촬영 장치 및 그 제어방법
JP2013034081A (ja) 2011-08-02 2013-02-14 Sony Corp 画像処理装置、その制御方法およびプログラム
KR101867051B1 (ko) * 2011-12-16 2018-06-14 삼성전자주식회사 촬상장치, 촬상 구도 제공 방법 및 컴퓨터 판독가능 기록매체
JP2013218432A (ja) * 2012-04-05 2013-10-24 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体
US20140358759A1 (en) * 2013-05-28 2014-12-04 Rivada Networks, Llc Interfacing between a Dynamic Spectrum Policy Controller and a Dynamic Spectrum Controller
JP6071866B2 (ja) * 2013-12-18 2017-02-01 キヤノン株式会社 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
JP6381265B2 (ja) 2014-04-14 2018-08-29 キヤノン株式会社 情報処理装置、表示方法、及びプログラム
JP6504793B2 (ja) * 2014-11-14 2019-04-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6584093B2 (ja) * 2015-02-26 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6633862B2 (ja) * 2015-08-04 2020-01-22 キヤノン株式会社 情報処理装置およびその制御方法
JP6745682B2 (ja) * 2016-08-30 2020-08-26 キヤノン株式会社 撮像装置、制御方法、プログラム、及び記憶媒体
US10163008B2 (en) * 2016-10-04 2018-12-25 Rovi Guides, Inc. Systems and methods for recreating a reference image from a media asset
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
JP6399120B2 (ja) * 2017-02-16 2018-10-03 株式会社ニコン 撮像装置
WO2019061118A1 (zh) * 2017-09-28 2019-04-04 深圳传音制造有限公司 全景拍摄方法及终端
JP7013210B2 (ja) 2017-11-10 2022-01-31 キヤノン株式会社 撮像装置、撮像方法、表示装置および表示方法
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
US10666863B2 (en) * 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
JP6642661B2 (ja) * 2018-09-05 2020-02-12 株式会社ニコン 撮像装置
US11699001B2 (en) * 2020-10-13 2023-07-11 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3035434B2 (ja) * 1993-10-13 2000-04-24 キヤノン株式会社 複眼撮像装置
JPH07135594A (ja) * 1993-11-11 1995-05-23 Canon Inc 撮像制御装置
DE69424134T2 (de) * 1993-12-03 2000-09-21 Terumo Corp Stereoskopisches Bildanzeigesystem
US6256058B1 (en) * 1996-06-06 2001-07-03 Compaq Computer Corporation Method for simultaneously compositing a panoramic image and determining camera focal length
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6304284B1 (en) * 1998-03-31 2001-10-16 Intel Corporation Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
JP2000341574A (ja) * 1999-05-28 2000-12-08 Canon Inc カメラ装置及びカメラ制御システム
JP4146938B2 (ja) * 1998-09-08 2008-09-10 オリンパス株式会社 パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
US6891561B1 (en) * 1999-03-31 2005-05-10 Vulcan Patents Llc Providing visual context for a mobile active visual display of a panoramic region
JP2001136431A (ja) 1999-11-05 2001-05-18 Canon Inc カメラ制御装置及びカメラ制御方法及び記憶媒体
US6930703B1 (en) * 2000-04-29 2005-08-16 Hewlett-Packard Development Company, L.P. Method and apparatus for automatically capturing a plurality of images during a pan
EP1359553B1 (en) * 2002-05-02 2012-10-10 Sony Corporation Monitoring system, monitoring method, computer program and storage medium
JP4864295B2 (ja) * 2003-06-02 2012-02-01 富士フイルム株式会社 画像表示システム、画像表示装置およびプログラム
CN1605933A (zh) * 2003-10-10 2005-04-13 百呈科技股份有限公司 坐标映对方法及应用该方法的影像监视辅助装置
JP4317440B2 (ja) * 2003-12-19 2009-08-19 パナソニック株式会社 画像撮影装置および画像撮影方法
JP4539108B2 (ja) 2004-02-16 2010-09-08 Dic株式会社 重合性化合物、及び重合性組成物
US20050222801A1 (en) * 2004-04-06 2005-10-06 Thomas Wulff System and method for monitoring a mobile computing product/arrangement
CN102566751B (zh) * 2004-04-30 2016-08-03 希尔克瑞斯特实验室公司 自由空间定位装置和方法
EP1834312A2 (en) * 2005-01-03 2007-09-19 Vumii, Inc. Systems and methods for night time surveillance

Also Published As

Publication number Publication date
US8314831B2 (en) 2012-11-20
US9609205B2 (en) 2017-03-28
EP1750431A2 (en) 2007-02-07
US20130050406A1 (en) 2013-02-28
CN100474893C (zh) 2009-04-01
JP2007043505A (ja) 2007-02-15
US20070030341A1 (en) 2007-02-08
EP1750431A3 (en) 2011-05-11
EP1750431B1 (en) 2014-04-02
CN1909602A (zh) 2007-02-07

Similar Documents

Publication Publication Date Title
JP4244973B2 (ja) 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
KR101662074B1 (ko) 제어 장치, 카메라 시스템 및 기록 매체
JP5347890B2 (ja) 画像処理装置および方法、並びにプログラム
JP7013210B2 (ja) 撮像装置、撮像方法、表示装置および表示方法
JP5880210B2 (ja) 通信装置、撮像装置、撮像システム及びプログラム
JP3934521B2 (ja) 映像遠隔制御装置,映像遠隔制御方法,映像遠隔制御プログラムおよび映像遠隔制御プログラムを記録した記録媒体
US20150271414A1 (en) Display apparatus and display method
JP4924228B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20150071660A (ko) 제어장치, 촬상 시스템, 제어방법, 및 기록 매체
JP6721084B2 (ja) ズーム制御装置、ズーム制御方法およびプログラム
TWI429280B (zh) 影像捕捉系統、影像捕捉裝置、資訊處理裝置、及影像捕捉方法
JP2008306324A (ja) 撮像装置
KR101995258B1 (ko) 카메라를 구비하는 휴대단말기의 동영상 촬영장치 및 방법
JP2016096482A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015012550A (ja) 撮像装置および撮像システム
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
JP2005109557A (ja) 監視装置および監視方法
JP5765279B2 (ja) カメラ制御装置、カメラ制御方法及びカメラ制御プログラム
JP4742368B2 (ja) 撮像装置及びこの制御方法
JP3608288B2 (ja) 監視カメラシステム
JP2010045539A (ja) 情報処理装置及びその制御方法
JP5747850B2 (ja) カメラ制御装置、カメラ制御方法及びカメラ制御プログラム
JP2023058322A (ja) 映像処理装置及びその制御方法及びプログラム
JP4628350B2 (ja) カメラ制御装置、カメラ制御方法およびカメラ制御プログラム
JP2009089171A (ja) ネットワークカメラシステム、その制御方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081229

R151 Written notification of patent or utility model registration

Ref document number: 4244973

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees