JP6065195B2 - 表示映像形成装置及び表示映像形成方法 - Google Patents

表示映像形成装置及び表示映像形成方法 Download PDF

Info

Publication number
JP6065195B2
JP6065195B2 JP2012106735A JP2012106735A JP6065195B2 JP 6065195 B2 JP6065195 B2 JP 6065195B2 JP 2012106735 A JP2012106735 A JP 2012106735A JP 2012106735 A JP2012106735 A JP 2012106735A JP 6065195 B2 JP6065195 B2 JP 6065195B2
Authority
JP
Japan
Prior art keywords
camera
image
display image
cut
omnidirectional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012106735A
Other languages
English (en)
Other versions
JP2013236215A (ja
Inventor
藤松 健
健 藤松
三輪 道雄
道雄 三輪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2012106735A priority Critical patent/JP6065195B2/ja
Priority to CN201380023164.XA priority patent/CN104272726B/zh
Priority to US14/395,910 priority patent/US10051244B2/en
Priority to PCT/JP2013/002777 priority patent/WO2013168387A1/ja
Priority to EP13786989.7A priority patent/EP2849439B1/en
Publication of JP2013236215A publication Critical patent/JP2013236215A/ja
Application granted granted Critical
Publication of JP6065195B2 publication Critical patent/JP6065195B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19689Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、全周囲カメラにより得られた映像を表示させるための、表示映像形成装置及び表示映像形成方法に関する。
全周囲カメラ(全方位カメラと言ってもよい)は、1台のカメラで広い視野範囲の画像を得ることができるため、種々の分野で広く用いられている。全周囲カメラは、例えば監視システム等に用いられている。全周囲カメラは、魚眼レンズのような全方位レンズ光学系や、球面ミラーのような全方位ミラー光学系を用いることで、全周囲画像を得るようになっている。
全周囲カメラによって得られた全周囲画像の表示形態として、例えば、全周囲画像をパノラマ画像に展開して表示する形態や、全周囲画像から注目物体を含む領域を切り出して表示する形態、などがある。全周囲画像から注目物体を含む領域を切り出して表示する形態では、ユーザーが全周囲画像から切出し位置を指定し、指定された位置の画像が歪補正処理されてモニターに表示される。なお、全周囲画像を表示する場合には、一般に歪補正が行われる。
ここで、特許文献1には、全周囲カメラによって得られた画像から、ユーザーが直感的に所望の切出し位置を指定することができる表示方法及び装置が開示されている。具体的には、現実の平面上で直交するx軸とy軸(全周囲画像中ではこのx軸とy軸が直交しない状態となっている)が、表示モニター上でも直交するように、全周囲画像を座標変換してモニターに表示する。実際には、現実のx軸とy軸が直交する平面マップを設定しておき、その平面マップ上の各位置に対応するように、全周囲画像の画素を座標変換して平面マップ上に表示する(以下、このように平面マップの座標に座標変換して表示する画像を「マップ画像」と呼ぶことにする)。
このようにすれば、平面マップ上に、位置関係の分かり易い全周囲画像を表示することができ、切出し位置も直感的に選択できるようになる。
特開2005−192057号公報
ところで、特許文献1では、1つのカメラにより得られた全周囲画像から、ユーザーによって指定された領域を切り出して表示すことが前提となっている。
一方で、ある範囲を複数の全周囲カメラで撮像し、ユーザーによって指定された領域を切り出して表示するようなシステムも考えられる。しかしながら、従来は、このような複数の全周囲カメラで撮像された複数の全周囲画像が存在する場合に、ユーザーの見たい領域をどのように指定し表示するかについては、十分な検討がなされていなかった。
本発明は、以上の点を考慮してなされたものであり、複数の全周囲カメラにより得られた複数の全周囲画像が存在する場合に、ユーザーが見たい場所を直感的に指定することができ、かつ、指定された箇所の映像を好ましい状態で表示させることができる表示映像形成装置及び表示映像形成方法を提供することを目的とする。
本発明の表示映像形成装置の一つの態様は、平面マップ上での指定位置と複数の全周囲カメラの位置との位置関係に基づいて、前記複数の全周囲カメラの中から1つの全周囲カメラを選択するカメラ選択部と、前記カメラ選択部によって選択された全周囲カメラの撮像画像から切り出す切出し画像領域を、前記平面マップ上での指定位置に基づいて決定する、切出し領域決定部と、切り出された切出し画像が前記平面マップ上に配置された表示映像を形成する、描画部と、を具備する。
本発明によれば、ユーザーが見たい場所を直感的に指定することができ、かつ、指定された箇所の映像を好ましい状態で表示させることができるようになる。
実施の形態の要部構成を示すブロック図 全周囲カメラの配置例を示す図 処理例1の流れを示す図 処理例2の流れを示す図 処理例3の流れを示す図 画角を制御した場合に、どの範囲の画像がモニター表示されるかを、平面マップ上に示した図 処理例4の流れを示す図 処理例4の流れを示す図 処理例4の流れを示す図 処理例4の流れを示す図
以下、本発明の実施の形態について図面を参照して詳細に説明する。
<構成>
図1は、実施の形態の表示映像形成装置10及び全周囲カメラ20の要部構成を示す。表示映像形成装置10と複数の全周囲カメラ20は、有線又は無線にて接続されている。
表示映像形成装置10は、複数の全周囲カメラ20により得られた複数の全周囲画像から、モニター30に表示する映像を形成する。図2は、本実施の形態による全周囲カメラの実際のオフィスにおける配置例を示す。本実施の形態の例では、2台の全周囲カメラ(カメラ1、2)でオフィス内が撮像される。カメラ1、2は、例えばオフィスの天井に斜め下向きに設置されている。
表示映像形成装置10は、位置指定部11にユーザーによって指定された位置情報が入力される。ここで、表示映像形成装置10の平面マップ格納部16には、図2に示したような平面マップが保持されている。平面マップは描画部15によって描画され、平面マップ格納部16に格納されると共にモニター30にも表示される。
位置指定部11に入力される位置情報は、ユーザーが、モニター30に表示された図2に示したような平面マップを見ながら指定した、平面マップ上の座標情報である。具体的には、位置指定部11は、マウスやタッチパネル等の操作入力部に接続されており、ユーザーが操作入力部を操作することで得られる位置情報が位置指定部11に入力される。なお、位置指定部11それ自体がマウスやタッチパネル等の操作入力部であってもよい。位置指定部11は、指定された位置情報をカメラ選択部12及び座標変換部13に出力する。
平面マップ格納部16には、図2で示した、平面マップと、平面マップ上での全周囲カメラの位置情報とが格納されている。カメラ選択部12は、平面マップ上での指定位置と複数の全周囲カメラの位置との位置関係に基づいて、複数の全周囲カメラ20の中から撮像画像が用いられる全周囲カメラ20を選択する。カメラ選択部12は、選択した全周囲カメラ20を示す情報を切出しパラメータ決定部14に出力する。
座標変換部13は、平面マップ座標系で表されている指定位置情報を、カメラ座標系に変換し、変換後の指定位置情報を切出しパラメータ決定部14に出力する。
切出しパラメータ決定部14は、撮像画像上の指定位置に基づいて切出し画像の画角及び解像度を切出しパラメータとして決定し、それを全周囲カメラ20に出力する。切出しパラメータ決定部14は、カメラ選択部12によって選択された全周囲カメラの撮像画像から切り出す切出し画像領域を決定する切出し領域決定部として機能する。
描画部15は、切り出された切出し画像が平面マップ上に配置された、表示映像を形成し、この表示映像をモニター30に出力する。また、描画部15は、全周囲カメラ20から入力される情報に基づいて、例えば人物の移動軌跡を示す動線を平面マップ上に描画する。
次に、全周囲カメラ20の構成について説明する。なお、図1では、全周囲カメラの光学系等の構成は省略されている。全周囲カメラ20は、図示しない全周囲光学系によって得られた撮像画像を画像入力部21を介して、切出し画像生成部22及び物体位置検出部23に入力する。
切出し画像生成部22は、切出しパラメータ決定部14から入力した切出しパラメータに基づく、画角及び解像度で全周囲画像から画像を切り出す。加えて、切出し画像生成部22は、切出し画像に対して歪み補正処理を施し、歪み補正後の切出し画像を画像送信部24を介して描画部15に送信する。
物体位置検出部23は、全周囲画像から人物等の特定の物体を検出し、検出結果をメタデータ送信部25に出力する。メタデータ送信部25は、人物を囲む人物枠の情報、人物が着ている服の色の情報、人物の形状の情報、顔の特徴量情報などを、メタデータとして描画部15に送信する。
なお、図1の構成では、切出し画像生成部22は全周囲カメラ20に設けられているが、切出し画像生成部22は表示映像形成装置10に設けられていてもよい。
<処理例1>
次に、図1の構成によって行われる本実施の形態の処理について説明する。
図3は、本実施の形態の処理例1の流れを示す。モニター30には、先ず、図3Aに示すようなオフィスの平面マップ画像と、表示位置を指定するためのアイコンと、が表示され、ユーザーは、マウス操作等によってアイコンを動かしながら表示したい位置を指定する。このように、カメラの設置場所を模した平面マップ画像上で表示位置(切出し位置)を指定するようにしたことにより、全周囲画像上で表示位置(切出し位置)を指定する場合と比較して、ユーザーが見たい切出し位置を直感的に指定することができるようになる。
次に、表示映像形成装置10のカメラ選択部12が、マップ上の指定位置からマップ上の各カメラの位置までの距離Diを算出し、この距離が最も小さい全周囲カメラ(以下、全周囲カメラを単にカメラと略記することもある)を選択する。図3Bは、カメラ1までの距離がカメラ2までの距離よりも小さいので、カメラ1が選択されたことを表したものである。
次に、表示映像形成装置10の切出しパラメータ決定部14が、切出しパラメータとして、画像の解像度を決定する。解像度は、座標変換部13によってカメラ画像座標系に変換された指定位置が、カメラ画像座標系における画像中心からどれだけの距離dにあるかに基づいて決定する。具体的には、図3Cに示したように、画像中心から指定位置(図中の丸印は指定位置を示す)までの距離dが大きいほど解像度を下げる。実際上、全周囲カメラにより撮像された全周囲画像は、同一の物体であれば、画像中心ほど大きく映り、画像中心から離れるほど小さく映る。これを考慮して、本実施の形態では、指定位置が画像中心に近いほど切出しサイズを大きくし、画像中心から離れるほど切出しサイズを小さくする。そして、切出しサイズが小さい切出し画像ほど、画素補間などを行うことで画像を引き延ばして表示画像を形成することで、表示画像のサイズ合わせを行う。結果として、指定位置が画像中心から離れるほど、表示画像の解像度は低くされる。つまり、本実施の形態では、全周囲カメラの撮像中心から切出し画像領域までの距離に応じて、表示される切出し画像の解像度を変えるようになっている。
なお、同様に、カメラからの距離が遠い位置が指定されるほど、表示される切出し画像の解像度を低くしてもよい。つまり、全周囲カメラの配置位置から、切出し画像領域に対応する撮影対象領域までの距離に応じて、表示される切出し画像の解像度を変えるようにしてもよい。さらには、人物などの注目すべき物体が映っている領域は表示される切出し画像の解像度高くするようにしてもよい。
カメラ1(全周囲カメラ20)の切出し画像生成部22は、図3Dに示したように、全周囲画像のうち、指定された位置に対応する領域の画像を、画像中心からの距離に応じたサイズで切出し、それに対して歪補正や画素補間を行うことで、画像中心からの距離に応じた解像度の歪補正画像を生成する。
次に、表示映像形成装置10の描画部15が、図3Eに示したように、平面マップ上に、歪補正画像とカメラアイコン41とを配置した画像を形成し、この画像をモニター30に表示させる。
<処理例2>
図4は、本実施の形態の処理例2の流れを示す。モニター30には、先ず、図4Aに示すようなオフィスの平面マップ画像と、表示位置を指定するためのカメラアイコン41と、が表示され、ユーザーは、マウス操作等によってカメラアイコン41をドラッグしながら表示したい位置を指定する。なお、図4A及び図4Eで示されているカメラアイコン41は、カメラが設置された位置を示すものではなく、映像が切り出される位置を示すものである。
次に、表示映像形成装置10のカメラ選択部12が、マップ上のドラッグ位置からマップ上の各カメラの位置までの距離Diを算出し、この距離が最も小さいカメラを選択する。図4Bは、カメラ1までの距離がカメラ2までの距離よりも小さいので、カメラ1が選択されたことを表したものである。
但し、カメラ選択部12は、ドラッグが行われている間はカメラの切替位置でもカメラが切り替わらないようにする。つまり、ドラッグの開始位置ではカメラ2までの距離がカメラ1までの距離よりも小さく、ドラッグの途中で、カメラ2まで距離よりもカメラ1までの距離の方が小さくなったとしても、ドラッグの途中ではカメラ2からカメラ1への切替は行わない。
次に、表示映像形成装置10の切出しパラメータ決定部14が、図4Cに示したように、画像中心から指定位置までの距離dに基づいて解像度を決定する。次に、カメラ1(全周囲カメラ20)の切出し画像生成部22が、図4Dに示したように、全周囲画像のうち、指定された位置に対応する領域の画像を、決定された解像度で切出し、それを歪補正することで、歪補正画像を生成する。
次に、表示映像形成装置10の描画部15が、図4Eに示したように、平面マップ上に、歪補正画像とカメラアイコン41とを配置した画像を形成し、この画像をモニター30に表示させる。
ここで、ドラッグされている間はカメラ切替は行わずに、ドラッグ終了後にカメラ切替を行うようにしたことにより、ドラッグの途中で視点が変わらずに済み、ユーザーにとって違和感の少ない画像を表示させることができる。
因みに、ドラッグされている間は、ドラッグ開始時に選択されたカメラの画像であり、かつドラッグ位置に対応する切出し画像が表示される。
なお、この例では、カメラアイコン41をドラッグすることで表示位置を指定する場合について述べたが、指定の方法はドラッグに限らない。例えば、始点と終点のみを指定してもよい。
<処理例3>
図5は、本実施の形態の処理例3の流れを示す。モニター30には、先ず、図5Aに示すようなオフィスの平面マップ画像と、表示位置を指定するためのカメラアイコン41と、が表示され、ユーザーは、マウス操作等によってカメラアイコン41をドラッグしながら表示したい位置を指定する。なお、図5A及び図5Eで示されているカメラアイコン41は、カメラが設置された位置を示すものではなく、映像が切り出される位置を示すものである。
次に、表示映像形成装置10のカメラ選択部12が、マップ上のドラッグ位置からマップ上の各カメラの位置までの距離Diを算出し、この距離が最も小さいカメラを選択する。図5Bは、カメラ1までの距離がカメラ2までの距離よりも小さいので、カメラ1が選択されたことを表したものである。
次に、表示映像形成装置10の切出しパラメータ決定部14が、切出しパラメータとして、カメラの画角を決定する。画角は、カメラ切り替えの前後で切出し領域の画角が広角になるように決定される。具体的には、図5Cに示したように、カメラの切替わり地点から一定距離離れた位置(d1)から徐々に画角が広角(Zw)にされる。カメラ切替り位置(d2)を過ぎた後は、一定距離離れた位置(d3)まで徐々に元の画角(Zn)に戻される。図5Dは、切出し画像の画角の変化の様子を示すものである。
次に、カメラ1(全周囲カメラ20)の切出し画像生成部22が、選択されたカメラの全周囲画像のうち、指定された位置に対応する領域の画像を、決定された画角で切出し、それを歪補正することで、歪補正画像を生成する。
次に、表示映像形成装置10の描画部15が、図5Eに示したように、平面マップ上に、歪補正画像とカメラアイコン41とを配置した画像を形成し、この画像をモニター30に表示させる。
ここで、図5C及び図5Dに示したように、カメラ切り替えの前後で切出し領域の画角を広角したことにより、換言すれば、一度広角にした後にカメラを切り替えたことにより、カメラが切り替わる際に共通する物体が表示される確率が高くなるので、ユーザーはカメラが切り替わっても画像の位置関係を把握し易くなる。
図6は、図5C及び図5Dのように画角を制御した場合に、実際にどの範囲の画像がモニター30に表示されるかを、平面マップ上に示したものである。ここで、図6のような、平面マップ上に表示範囲(視野範囲)を示した画像を、切出し画像と同時にモニター30に表示してもよい。このようにすれば、ユーザーはカメラが切り替わるときの、画像の位置関係をより認識し易くなる。
さらに、カメラ切替時の画角の変化のさせ方としては、カメラ間で共通する物体を探索し、共通する物体がある場合には、その物体が画角に入るように、画角を設定すると好適である。このようにすれば、カメラ切替時に共通する物体が映し出されるので、ユーザーはカメラ切替時でもどの場所が映されているかを認識し易くなり、自然なカメラ切替が可能になる。共通する物体とは、例えば柱や窓等のユーザーが基準にし易い物体とすることが好ましい。
<処理例4>
この処理例では、ユーザーが見たい映像をカメラアイコンによって容易に指定して表示できる方法を提示する。
(1)方向の指定
図7に示した手順で、カメラの方向が指定される。ここで、カメラの方向とは、視線方向を意味する。
図7は、モニター30に表示される画像を示したものであり、ユーザーは図7に示すような表示画像を見ながらカメラの方向を指定する。つまり、指定した位置をどの方向から見たいかを指定する。
先ず、図7Aに示すように、ユーザーによって表示位置Pが指定される。
次に、表示映像形成装置10は、図7Bに示すように、指定された表示位置Pに最も近いカメラ1の位置Pc1と表示位置Pを結ぶ直線の向きをカメラの方向として設定し、その方向に回転したカメラアイコン41を表示する。カメラアイコン41の表示位置は指定された表示位置Pがアイコンの中心となるように設定される。このような処理は、カメラ選択部12及び描画部15によって行うようにすればよい。ユーザーは、図7Bに示したカメラアイコン41の向きに基づいて、現在の切出し画像がどの方向から見た映像であるかを認識できるようになる。
次に、図7Cに示すように、ユーザーによってカメラアイコン41の端がドラッグされることで、カメラアイコン41が映像を見たい方向に回転される。
すると、表示映像形成装置10は、図7Cに示すように、各カメラ位置Pc1、Pc2と表示位置Pからカメラ方向候補direct−1、direct−2を求め、このカメラ方向候補のうち、ユーザーによって操作された上記映像を見たい方向(つまり図7Cのカメラアイコン41の向いている方向)に最も近い角度のカメラ(図7Cの例ではdirect−2、つまりカメラ2)を選択する。このような処理は、カメラ選択部12で行うようにすればよい。
そして、表示映像形成装置10は、図7Dに示すように、その方向候補に対応するカメラ(実施例ではカメラ2)の映像を表示し、かつ、カメラアイコン41の向きもカメラ2の視線方向に変更する。この処理は、カメラ選択部12及び描画部15によって行うようにすればよい。
(2)画角の指定1
図8に示した手順で、表示画像の画角が指定される。ここで、画角はズーム倍率と一対一の関係にあり、画角が大きいことはズーム倍率が小さいことを意味する。また、画角は表示される画像の視野角と言い換えてもよい。
図8A及び図8Bの手順は、図7A及び図7Bで説明した手順と同様である。つまり、先ず、図8Aに示すように、ユーザーによって表示位置Pが指定される。次に、表示映像形成装置10は、図8Bに示すように、指定された表示位置Pに最も近いカメラ1の位置Pc1と表示位置Pを結ぶ直線の向きをカメラの方向として設定し、その方向に回転したカメラアイコン41を表示する。
次に、図8Cに示すように、ユーザーによってカメラアイコン41のレンズ部分がドラッグされることで、レンズ部分が伸ばされる。
表示映像形成装置10は、カメラアイコン41のレンズ部分の伸縮に対して、どの程度画角を大きくする又は小さくするかが予め設定されており、ユーザーにより操作されたレンズ部分の伸縮度に基づいて画角を調整して映像を表示する。このような処理は、切出しパラメータ決定部14によって行うことができる。
(3)画角の指定2
図9は、画角の指定方法の第2の例を説明するための図である。
先ず、図9Aに示すように、ユーザーによって表示位置Pが指定される。次に、表示映像形成装置10は、図9Bに示すように、指定された表示位置Pに最も近いカメラ1の位置Pc1と表示位置Pを結ぶ直線の向きをカメラの方向として設定し、その方向に回転したカメラアイコン41を表示する。
また、デフォルトの画角から算出した視野を表示する。この視野の表示位置は、指定された表示位置Pが視野の中心となるようにする。なお、カメラアイコン41の表示位置は、指定された表示位置Pがカメラアイコン41の中心となるようにしてもよい。このような視野の表示は、カメラ選択部12、切出しパラメータ決定部14及び描画部15が連携することで行うことができる。
次に、図9Cに示すように、ユーザーによって視野の端がドラッグされると、見たい視野に変更される。
すると、表示映像形成装置10は、図9Dに示すように、指定された画角(視野)で映像を表示する。このような処理は、切出しパラメータ決定部14によって行うことができる。
本例のように、切出しパラメータ決定部14によって決定された切出し画像と同一画面に、その切出し画像の視野を平面マップ上に表示することにより、ユーザーは画角の指定などをより直感的にできるようになる。
(4)時刻の指定
図10に示した手順で、どの時刻の画像を表示するかが指定される。
図10A及び図10Bの手順は、図7A及び図7Bで説明した手順と同様である。つまり、先ず、図10Aに示すように、ユーザーによって表示位置Pが指定される。次に、表示映像形成装置10は、図10Bに示すように、指定された表示位置Pに最も近いカメラ1の位置Pc1と表示位置Pを結ぶ直線の向きをカメラの方向として設定し、その方向に回転したカメラアイコン41を表示する。
次に、図10Cに示すように、ユーザーによってスクロールバー51が移動される。ここで、スクロールバー51を右側に移動させるほど、現時点に近い画像が指定される。
ユーザーによってスクロールバー51が移動操作されると、表示映像形成装置10は、図10Dに示すように、スクロールバー51の指定位置に基づいて、表示する時刻の映像を決定し、その時刻の映像が蓄積されている場所(カメラあるいはサーバー)を探索し、それを表示する。本実施例ではカメラ内の映像が指定され、カメラ内の映像が表示される。このような処理は、切出しパラメータ決定部14によって行うことができる。
なお、指定された時刻に応じて、カメラアイコン41の彩度を変更すると、どの時刻の映像が表示されているかをユーザーが把握し易くなる。例えば、現在に近い映像ほど彩度を高めるとよい。
また、本例では、切出しパラメータ決定部14によって決定された切出し画像と同一画面に、スクロールバー51を表示することで、切出し画像の時刻を指定する場合について述べたが、スクロールバー51に限らず、要は、切出し画像の時刻を指定するための画像を表示すればよい。
なお、上述の実施の形態の表示映像形成装置10は、メモリ・CPUを含むパソコン等のコンピュータによって構成することができる。そして、表示映像形成装置10を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをCPUが読み出して実行処理することで実現できる。
本発明は、例えば、ある領域を複数の全周囲カメラで撮像し、ユーザーがその領域の中から見たい箇所を指定するようなシステム、に適用して好適である。
10 表示映像形成装置
11 位置指定部
12 カメラ選択部
13 座標変換部
14 切出しパラメータ決定部
15 描画部
20 全周囲カメラ
22 切出し画像生成部

Claims (10)

  1. 平面マップ上での指定位置と複数の全周囲カメラの位置との位置関係に基づいて、前記複数の全周囲カメラの中から1つの全周囲カメラを選択するカメラ選択部と、
    前記カメラ選択部によって選択された全周囲カメラの撮像画像から切り出す切出し画像領域を、前記平面マップ上での指定位置に基づいて決定する、切出し領域決定部と、
    切り出された切出し画像が前記平面マップ上に配置された表示映像を形成する、描画部と、
    を具備する表示映像形成装置。
  2. 前記選択された全周囲カメラの撮像中心から、前記決定された切出し画像領域までの距離に応じて、表示される切出し画像の解像度を変える、
    請求項1に記載の表示映像形成装置。
  3. 前記選択された全周囲カメラの配置位置から、前記決定された切出し画像領域に対応する撮影対象領域までの距離に応じて、表示される切出し画像の解像度を変える、
    請求項1に記載の表示映像形成装置。
  4. 前記カメラ選択部は、前記指定位置がドラッグされている間は、選択する全周囲カメラを変更しない、
    請求項1に記載の表示映像形成装置。
  5. 前記切出し領域決定部は、前記カメラ選択部によって選択される全周囲カメラが変更される場合には、変更の前後で前記切出し領域の画角を広角にする、
    請求項1に記載の表示映像形成装置。
  6. 前記カメラ選択部は、ユーザーにより指定された前記指定位置と、ユーザーにより指定された視線方向と、に基づいて、前記全周囲カメラを選択する、
    請求項1に記載の表示映像形成装置。
  7. 前記描画部は、前記視線方向を指定するためのカメラアイコンが前記平面マップ上に配置された表示映像を形成する、
    請求項6に記載の表示映像形成装置。
  8. 前記描画部は、前記切出し領域決定部によって決定された切出し画像と同一画面に、その切出し画像に相当する視野が配置された表示映像を形成する、
    請求項1に記載の表示映像形成装置。
  9. 前記描画部は、前記切出し領域決定部によって決定された切出し画像と同一画面に、その切出し画像の時刻を指定するための画像が配置された表示映像を形成する、
    請求項1に記載の表示映像形成装置。
  10. 平面マップ上での指定位置と複数の全周囲カメラの位置との位置関係に基づいて、前記複数の全周囲カメラの中から1つの全周囲カメラを選択するステップと、
    選択された全周囲カメラの撮像画像から切り出す切出し画像領域を、前記平面マップ上での指定位置に基づいて決定するステップと、
    切り出された切出し画像が前記平面マップ上に配置された表示映像を形成するステップと、
    を含む表示映像形成方法。
JP2012106735A 2012-05-08 2012-05-08 表示映像形成装置及び表示映像形成方法 Active JP6065195B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012106735A JP6065195B2 (ja) 2012-05-08 2012-05-08 表示映像形成装置及び表示映像形成方法
CN201380023164.XA CN104272726B (zh) 2012-05-08 2013-04-24 显示影像形成装置及显示影像形成方法
US14/395,910 US10051244B2 (en) 2012-05-08 2013-04-24 Display image formation device and display image formation method
PCT/JP2013/002777 WO2013168387A1 (ja) 2012-05-08 2013-04-24 表示映像形成装置及び表示映像形成方法
EP13786989.7A EP2849439B1 (en) 2012-05-08 2013-04-24 Display image formation device and display image formation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012106735A JP6065195B2 (ja) 2012-05-08 2012-05-08 表示映像形成装置及び表示映像形成方法

Publications (2)

Publication Number Publication Date
JP2013236215A JP2013236215A (ja) 2013-11-21
JP6065195B2 true JP6065195B2 (ja) 2017-01-25

Family

ID=49550455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012106735A Active JP6065195B2 (ja) 2012-05-08 2012-05-08 表示映像形成装置及び表示映像形成方法

Country Status (5)

Country Link
US (1) US10051244B2 (ja)
EP (1) EP2849439B1 (ja)
JP (1) JP6065195B2 (ja)
CN (1) CN104272726B (ja)
WO (1) WO2013168387A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2654598T3 (es) * 2013-12-23 2018-02-14 Coherent Synchro, S.L. Sistema para generar una imagen de video compuesta y procedimiento para obtener una imagen de video compuesta
KR20160059765A (ko) * 2014-11-19 2016-05-27 삼성전자주식회사 전자 장치의 디스플레이 방법 및 장치
JP6568374B2 (ja) * 2015-03-27 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017208658A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102518855B1 (ko) 2016-06-08 2023-04-06 한화비전 주식회사 모니터링 장치 및 모니터링 시스템
KR102518863B1 (ko) * 2016-07-29 2023-04-06 한화비전 주식회사 뷰 모드를 추천하는 모니터링 시스템
WO2018025825A1 (ja) * 2016-08-02 2018-02-08 ナーブ株式会社 撮像システム
KR102676278B1 (ko) 2017-02-20 2024-06-19 삼성전자주식회사 전자 장치 및 전자 장치에서 360도 영상 디스플레이 방법
GB2561882A (en) * 2017-04-27 2018-10-31 Nokia Technologies Oy Virtual reality viewport adaption
JP7073120B2 (ja) * 2018-01-26 2022-05-23 キヤノン株式会社 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム
US11966568B2 (en) * 2018-10-22 2024-04-23 Tableau Software, Inc. Generating data visualizations according to an object model of selected data sources
JP6802864B2 (ja) * 2019-01-30 2020-12-23 パナソニックi−PROセンシングソリューションズ株式会社 監視装置、監視方法、及び、コンピュータプログラム
JP7307887B2 (ja) * 2020-01-31 2023-07-13 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
JP7533061B2 (ja) 2020-09-18 2024-08-14 株式会社リコー 通信端末、画像通信システム、画像表示方法およびプログラム
JP2022057800A (ja) * 2020-09-30 2022-04-11 株式会社リコー 画像通信システム、通信管理装置、通信管理方法及びプログラム
JP2022182840A (ja) * 2021-05-28 2022-12-08 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3513233B2 (ja) * 1994-11-28 2004-03-31 キヤノン株式会社 カメラ操作装置
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
US20030202101A1 (en) * 2002-04-29 2003-10-30 Monroe David A. Method for accessing and controlling a remote camera in a networked system with multiple user support capability and integration to other sensor systems
JP4209535B2 (ja) * 1999-04-16 2009-01-14 パナソニック株式会社 カメラ制御装置
US7839926B1 (en) * 2000-11-17 2010-11-23 Metzger Raymond R Bandwidth management and control
US20110058036A1 (en) * 2000-11-17 2011-03-10 E-Watch, Inc. Bandwidth management and control
JP2004153492A (ja) * 2002-10-30 2004-05-27 Ryuzo Kugimoto 広範囲撮像装置を用いた施設内の監視装置および監視システム
JP2005123750A (ja) * 2003-10-14 2005-05-12 Tsukuba Multimedia:Kk 映像・地図連動システム及びその連動方法
JP2005192057A (ja) * 2003-12-26 2005-07-14 D Link Corp 空間画像の切出し表示方法及び装置
JP4583258B2 (ja) * 2004-07-12 2010-11-17 パナソニック株式会社 カメラ制御装置
US20100171826A1 (en) * 2006-04-12 2010-07-08 Store Eyes, Inc. Method for measuring retail display and compliance
US8456526B2 (en) * 2006-08-25 2013-06-04 Sportvision, Inc. Video effect using movement within an image
US8274564B2 (en) * 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
US8443284B2 (en) * 2007-07-19 2013-05-14 Apple Inc. Script-integrated storyboards
US8270767B2 (en) * 2008-04-16 2012-09-18 Johnson Controls Technology Company Systems and methods for providing immersive displays of video camera information from a plurality of cameras
US8073657B2 (en) * 2009-03-03 2011-12-06 Igt 3-D casino gaming floor visualization utilizing real-time and batch data
JP2010272958A (ja) 2009-05-19 2010-12-02 Duse Technologies Co Ltd 監視装置、監視システム、および監視プログラム
CN101616310B (zh) * 2009-07-17 2011-05-11 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
US20110087988A1 (en) * 2009-10-12 2011-04-14 Johnson Controls Technology Company Graphical control elements for building management systems
US20110137561A1 (en) * 2009-12-04 2011-06-09 Nokia Corporation Method and apparatus for measuring geographic coordinates of a point of interest in an image
US20110291831A1 (en) * 2010-05-26 2011-12-01 Honeywell International Inc. Time based visual review of multi-polar incidents
US8193909B1 (en) * 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system
JP5767816B2 (ja) * 2011-01-20 2015-08-19 ルネサスエレクトロニクス株式会社 記録装置に搭載可能な半導体集積回路およびその動作方法
US8934017B2 (en) * 2011-06-01 2015-01-13 Honeywell International Inc. System and method for automatic camera placement
US8825392B2 (en) * 2011-06-30 2014-09-02 Navteq B.V. Map view

Also Published As

Publication number Publication date
EP2849439B1 (en) 2019-02-27
EP2849439A1 (en) 2015-03-18
CN104272726B (zh) 2017-10-24
CN104272726A (zh) 2015-01-07
EP2849439A4 (en) 2015-05-06
US20150109452A1 (en) 2015-04-23
WO2013168387A1 (ja) 2013-11-14
JP2013236215A (ja) 2013-11-21
US10051244B2 (en) 2018-08-14

Similar Documents

Publication Publication Date Title
JP6065195B2 (ja) 表示映像形成装置及び表示映像形成方法
US10366477B2 (en) Image processing apparatus and image processing method
JP5569329B2 (ja) 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
JP6786378B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3367662B1 (en) Control device, camera system, and program
JP5810296B2 (ja) 画像表示装置及び画像表示方法
JP5233926B2 (ja) 魚眼監視システム
US20120098854A1 (en) Display control apparatus and display control method
JP2011205573A (ja) 制御装置、カメラシステム及びプログラム
RU2664770C1 (ru) Устройство управления, способ управления этим устройством и программа
JP4802012B2 (ja) カメラ制御装置およびカメラ制御方法
US10771693B2 (en) Imaging apparatus, control method for imaging apparatus, and storage medium
JP2016096481A (ja) 制御装置、撮像システム、制御方法、及び、プログラム
CN112954195A (zh) 对焦方法、装置、电子设备及介质
CN112805995A (zh) 信息处理装置
JP2013239986A (ja) 補助情報生成装置、撮影画像表示システム、補助情報生成方法、撮影画像表示方法、及びコンピュータプログラム
JP6543108B2 (ja) 情報処理装置およびその制御方法、並びにプログラム
JPWO2014034137A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014165866A (ja) 画像処理装置及びその制御方法、プログラム
KR20120125037A (ko) 감시 시스템 제어 방법
JP6443505B2 (ja) プログラム、表示制御装置及び表示制御方法
KR100829540B1 (ko) 폐쇄회로 텔레비전 정밀 제어 시스템 및 방법
JP5397245B2 (ja) 情報処理装置および情報処理方法
JP6239959B2 (ja) 画像処理装置及びその制御方法、プログラム
JP2020071614A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141003

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161207

R151 Written notification of patent or utility model registration

Ref document number: 6065195

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151