JP6824681B2 - Information processing equipment, information processing methods and programs - Google Patents

Information processing equipment, information processing methods and programs Download PDF

Info

Publication number
JP6824681B2
JP6824681B2 JP2016197369A JP2016197369A JP6824681B2 JP 6824681 B2 JP6824681 B2 JP 6824681B2 JP 2016197369 A JP2016197369 A JP 2016197369A JP 2016197369 A JP2016197369 A JP 2016197369A JP 6824681 B2 JP6824681 B2 JP 6824681B2
Authority
JP
Japan
Prior art keywords
image
image pickup
pickup device
angle
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016197369A
Other languages
Japanese (ja)
Other versions
JP2018061134A (en
Inventor
寛一 吉野
寛一 吉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016197369A priority Critical patent/JP6824681B2/en
Publication of JP2018061134A publication Critical patent/JP2018061134A/en
Application granted granted Critical
Publication of JP6824681B2 publication Critical patent/JP6824681B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method and a program.

従来、１つ又は複数の撮像装置を用いて所定のエリアを監視する映像監視システムを構築する際に設置者を支援する装置として、特許文献１に開示されているものがある。特許文献１の技術は、複数の撮像装置と、それらを包括的に撮像する撮像部があり、その撮像部において撮像された画像に対して、撮像装置の画角を重畳させ表示するものである。 Conventionally, there is one disclosed in Patent Document 1 as a device that assists an installer when constructing a video surveillance system that monitors a predetermined area using one or a plurality of imaging devices. The technique of Patent Document 1 includes a plurality of imaging devices and an imaging unit that comprehensively captures the images, and displays the image captured by the imaging unit by superimposing the angle of view of the imaging device on the image. ..

特開２００９−１０７２８号公報JP-A-2009-10728

しかしながら、特許文献１の技術では、ユーザが撮像装置の撮像情報を視覚的に確認することで、撮像装置の画角を把握することができる。しかし、３次元の情報が２次元上に描写されることになるため、ユーザは、奥行き方向の感覚が掴みにくく、撮像装置の画角を適切に把握できないという問題があった。
本発明の目的は、ユーザが撮像装置の画角をより適切に把握できるようにすることを目的とする。 However, in the technique of Patent Document 1, the user can visually check the imaging information of the imaging device to grasp the angle of view of the imaging device. However, since three-dimensional information is depicted in two dimensions, there is a problem that the user cannot easily grasp the sense in the depth direction and cannot properly grasp the angle of view of the imaging device.
An object of the present invention is to enable a user to more appropriately grasp the angle of view of an imaging device.

本発明の情報処理装置は、第１の撮像装置により撮影された第２の撮像装置を含む画像を取得する取得手段と、前記第１の撮像装置の位置及び姿勢に関する位置姿勢情報と、前記第２の撮像装置の位置及び姿勢に関する位置姿勢情報とに基づいて、前記取得手段により取得された前記画像における前記第２の撮像装置の撮影方向を特定する特定手段と、前記特定手段により特定された前記第２の撮像装置の撮影方向に基づいて、前記第１の撮像装置からの距離に応じた濃度で、同一色で着色された前記第２の撮像装置の画角を示すオブジェクトを前記画像に重畳して表示する表示制御手段と、を有する。 The information processing device of the present invention includes an acquisition means for acquiring an image including a second image pickup device taken by the first image pickup device, position / orientation information regarding the position and orientation of the first image pickup device, and the first. Based on the position and orientation information regarding the position and orientation of the image pickup device of 2, the specific means for specifying the shooting direction of the second image pickup device in the image acquired by the acquisition means and the specific means specified by the specific means. Based on the shooting direction of the second imaging device, an object showing the angle of view of the second imaging device colored in the same color at a density corresponding to the distance from the first imaging device is shown in the image. It has a display control means for displaying in superposition.

本発明によれば、ユーザが撮像装置の画角をより適切に把握できるようにすることができる。 According to the present invention, the user can more appropriately grasp the angle of view of the image pickup apparatus.

映像監視システムのシステム構成等の一例を示す図である。It is a figure which shows an example of the system configuration of a video surveillance system. クライアント装置のハードウェア構成等の一例を示す図である。It is a figure which shows an example of the hardware configuration of a client apparatus. カメラの画角の一例を説明する図である。It is a figure explaining an example of the angle of view of a camera. 撮像装置同士の位置関係の一例を示す図である。It is a figure which shows an example of the positional relationship between image pickup apparatus. カメラの画角を示すオブジェクトの一例を示す図である。It is a figure which shows an example of the object which shows the angle of view of a camera. カメラの画角を示すオブジェクトの一例を示す図である。It is a figure which shows an example of the object which shows the angle of view of a camera. クライアント装置の処理の一例を示すフローチャートである。It is a flowchart which shows an example of the processing of a client apparatus. クライアント装置の処理の一例を示すフローチャートである。It is a flowchart which shows an example of the processing of a client apparatus. クライアント装置の処理の一例を示すフローチャートである。It is a flowchart which shows an example of the processing of a client apparatus.

以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜実施形態１＞
図１は、映像監視システムのシステム構成等の一例を示す図である。映像監視システムは、映像監視システムの構築を支援するシステムであり、撮像装置１０００、１１００ａ〜ｂ、１２００、クライアント装置２０００を含む。
撮像装置１０００は、撮像装置１１００ａ〜ｂ、１２００を包括的に撮影する監視カメラ、ネットワークカメラ、撮像部や表示部を備えた携帯端末等の撮像装置である。撮像装置１１００ａ〜ｂ、１２００は、構築される映像監視システムにおいて所定のエリアの監視に利用される監視カメラ、ネットワークカメラ等の撮像装置である。なお、本実施形態における撮像装置１１００ａ〜ｂ、１２００は、所定の画角を有し、設置者により所望のエリアや被写体を撮像する撮像装置の一例であり、例えば動画像を撮影する撮像装置である。撮像装置１１００ａ〜ｂ、１２００は、クライアント装置２０００からの制御コマンドにより、画角を変更することができる。また、撮像装置１２００は、クライアント装置２０００からの制御コマンドにより、さらに水平方向、垂直方向に撮影方向を変更する機能を有する。クライアント装置２０００は、パーソナルコンピュータ（ＰＣ）やタブレット装置等の情報処理装置である。
撮像装置１０００、１１００ａ〜ｂ、１２００、クライアント装置２０００は、ネットワーク１５００を介してネットワーク経由で相互に通信可能に接続されている。クライアント装置２０００は、撮像装置１０００、１１００ａ〜ｂ、１２００に対して、各種制御コマンドを送信する。クライアント装置２０００から送信される制御コマンドには、例えば、撮像の開始・停止、画角や撮影方向の変更等を行うためのコマンドが含まれる。また、クライアント装置２０００から送信される各制御コマンドを受信した撮像装置１０００、１２００は、受信した制御コマンドに対するレスポンスをクライアント装置２０００に送信することができる。 <Embodiment 1>
FIG. 1 is a diagram showing an example of a system configuration of a video surveillance system. The video surveillance system is a system that supports the construction of a video surveillance system, and includes image pickup devices 1000, 1100 a to 1200, and a client device 2000.
The image pickup device 1000 is an image pickup device such as a surveillance camera, a network camera, and a mobile terminal provided with an image pickup unit and a display unit that comprehensively photograph the image pickup devices 1100a to 1200. The image pickup devices 1100a to 1100a to 1200 are image pickup devices such as a surveillance camera and a network camera used for monitoring a predetermined area in the constructed video surveillance system. The imaging devices 1100a to 1200b in the present embodiment are examples of imaging devices having a predetermined angle of view and capturing a desired area or subject by the installer, for example, an imaging device that captures a moving image. is there. The angle of view of the imaging devices 1100a to 1100a to 1200 can be changed by a control command from the client device 2000. Further, the image pickup device 1200 has a function of further changing the shooting direction in the horizontal direction and the vertical direction by a control command from the client device 2000. The client device 2000 is an information processing device such as a personal computer (PC) or a tablet device.
The imaging devices 1000, 1100a to 1200, and the client device 2000 are connected to each other via a network 1500 so as to be able to communicate with each other. The client device 2000 transmits various control commands to the image pickup devices 1000, 1100a to 1200. The control command transmitted from the client device 2000 includes, for example, a command for starting / stopping imaging, changing the angle of view and the shooting direction, and the like. Further, the imaging devices 1000 and 1200 that have received each control command transmitted from the client device 2000 can transmit a response to the received control command to the client device 2000.

ネットワーク１５００は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されるネットワークである。しかしながら、本実施形態においては、ネットワーク１５００は、撮像装置１０００と撮像装置１１００ａ〜ｂ、１２００とクライアント装置２０００との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。
例えば、ネットワーク１５００は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されていてもよい。本実施形態における撮像装置１０００や撮像装置１１００ａ〜ｂ、１２００は、例えば、ＰｏＥ（Ｐｏｗｅｒ Ｏｖｅｒ Ｅｔｈｅｒｎｅｔ）に対応していてもよく、ＬＡＮケーブルを介して電力を供給されてもよい。 The network 1500 is a network composed of a plurality of routers, switches, cables, etc. that satisfy communication standards such as Ethernet (registered trademark). However, in the present embodiment, the network 1500 has the communication standard, scale, and configuration as long as it can communicate between the image pickup device 1000, the image pickup devices 1100a to 1200, and the client device 2000. It doesn't matter.
For example, the network 1500 may be configured by the Internet, a wired LAN (Local Area Network), a wireless LAN (Wireless LAN), a WAN (Wide Area Network), or the like. The image pickup apparatus 1000 and the image pickup apparatus 1100a to 1200 in the present embodiment may correspond to, for example, PoE (Power Over Ethernet), or may be supplied with electric power via a LAN cable.

図２（ａ）は、クライアント装置２０００のハードウェア構成の一例を示す図である。
クライアント装置２０００は、ＣＰＵ２００、主記憶装置２０１、補助記憶装置２０２、ネットワークＩ／Ｆ２０３を含む。ＣＰＵ２００、主記憶装置２０１、補助記憶装置２０２、ネットワークＩ／Ｆ２０３は、システムバス２０４を介して、相互に接続されている。
ＣＰＵ２００は、クライアント装置２０００の処理を制御する中央演算装置である。主記憶装置２０１は、ＣＰＵ２００のワークエリアやデータの一時的な記憶場所として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置である。補助記憶装置２０２は、各種プログラム、各種設定データ、撮像装置１０００、１１００ａ〜ｂ、１２００等により撮影された画像のデータ等を記憶するハードディスクドライブ（ＨＤＤ）等の記憶装置である。ネットワークＩ／Ｆ２０３は、撮像装置１０００、１１００ａ〜ｂ、１２００等の外部の装置との間での、ネットワーク１５００を介した通信に利用されるインターフェースである。
ＣＰＵ２００が、補助記憶装置２０２等に記憶されたプログラムを実行することで、図２（ｂ）で後述する機能、及び図７、８で後述するフローチャートの処理等が実現される。 FIG. 2A is a diagram showing an example of the hardware configuration of the client device 2000.
The client device 2000 includes a CPU 200, a main storage device 201, an auxiliary storage device 202, and a network I / F 203. The CPU 200, the main storage device 201, the auxiliary storage device 202, and the network I / F 203 are connected to each other via the system bus 204.
The CPU 200 is a central processing unit that controls the processing of the client device 2000. The main storage device 201 is a storage device such as a RAM (Random Access Memory) that functions as a work area of the CPU 200 or a temporary storage place for data. The auxiliary storage device 202 is a storage device such as a hard disk drive (HDD) that stores various programs, various setting data, image data captured by the image pickup devices 1000, 1100a to 1200, etc. The network I / F 203 is an interface used for communication via the network 1500 with external devices such as image pickup devices 1000, 1100a to 1200, and the like.
When the CPU 200 executes the program stored in the auxiliary storage device 202 or the like, the function described later in FIG. 2B and the processing of the flowchart described later in FIGS. 7 and 8 are realized.

図２（ｂ）は、クライアント装置２０００の機能構成等の一例を示す図である。クライアント装置２０００は、通信部２１１、取得部２１２、記録部２１３、設置情報登録部２１４、装置登録部２１５、生成部２１６、処理部２１７、合成部２１８、表示部２１９を含む。
通信部２１１は、外部の装置と通信を行う。取得部２１２は、通信部２１１を介して撮像装置１１００ａ〜ｂ、撮像装置１２００の動作情報を取得する。動作情報とは、撮像装置１１００ａ〜ｂ、１２００が送信する自己の属性（例えば、撮像装置の向き、ズーム設定、画角等）の変更等を示す情報である。記録部２１３は、取得部２１２により取得された動作情報を、補助記憶装置２０２等に記憶する。
設置情報登録部２１４は、撮像装置１０００、１１００ａ〜ｂ、１２００の初期の設置場所、設置角度等の位置姿勢情報を管理する。撮像装置の設置場所、設置角度の情報は、撮像装置の位置や姿勢に関する情報である位置姿勢情報の一例である。装置登録部２１５は、撮像装置１０００、１１００ａ〜ｂ、１２００の属性情報を管理する。装置登録部２１５が管理する撮像装置１０００、１１００ａ〜ｂ、１２００の属性情報は、例えば、画角、ズーム範囲、水平、垂直の可動範囲等の情報が含まれる。 FIG. 2B is a diagram showing an example of a functional configuration of the client device 2000 and the like. The client device 2000 includes a communication unit 211, an acquisition unit 212, a recording unit 213, an installation information registration unit 214, a device registration unit 215, a generation unit 216, a processing unit 217, a synthesis unit 218, and a display unit 219.
The communication unit 211 communicates with an external device. The acquisition unit 212 acquires the operation information of the image pickup devices 1100a to 1b and the image pickup device 1200 via the communication unit 211. The operation information is information indicating changes in own attributes (for example, orientation of the image pickup device, zoom setting, angle of view, etc.) transmitted by the image pickup devices 1100a to 1b and 1200. The recording unit 213 stores the operation information acquired by the acquisition unit 212 in the auxiliary storage device 202 or the like.
The installation information registration unit 214 manages position / orientation information such as the initial installation location and installation angle of the imaging devices 1000, 1100a to 1200. The information on the installation location and installation angle of the image pickup device is an example of position / orientation information which is information on the position and posture of the image pickup device. The device registration unit 215 manages the attribute information of the image pickup devices 1000, 1100a to 1,200. The attribute information of the imaging devices 1000, 1100a to 1200, which is managed by the device registration unit 215, includes information such as an angle of view, a zoom range, a horizontal and vertical movable range, and the like.

生成部２１６は、設置情報登録部２１４と装置登録部２１５とにより管理される情報に基づいて、各撮像装置の画角を算出することで、画角データを生成する。
通信部２１１は、撮像装置１０００から撮像装置１１００ａ〜ｂ、１２００が包括的に撮影された画像データを取得する。処理部２１７は、通信部２１１により取得された画像データに対して所定の処理を行う。処理部２１７は、例えば、画像データに対して、画像の伸長処理等の処理を行う。
合成部２１８は、生成部２１６に生成された各撮像装置の画角データを示すオブジェクトと、処理部２１７により処理された画像データと、を合成する。より具体的には、合成部２１８は、処理部２１７により処理された画像データに、生成部２１６に生成された画角データを示すオブジェクトを重畳した画像を生成することで、合成する。表示部２１９は、合成部２１８により合成された画像を、クライアント装置２０００の不図示の表示装置等に表示する。 The generation unit 216 generates the angle of view data by calculating the angle of view of each imaging device based on the information managed by the installation information registration unit 214 and the device registration unit 215.
The communication unit 211 acquires image data comprehensively captured by the image pickup devices 1100a to 1200 from the image pickup device 1000. The processing unit 217 performs a predetermined process on the image data acquired by the communication unit 211. The processing unit 217 performs processing such as image stretching processing on the image data, for example.
The compositing unit 218 synthesizes an object indicating the angle of view data of each imaging device generated by the generating unit 216 and the image data processed by the processing unit 217. More specifically, the compositing unit 218 synthesizes the image data processed by the processing unit 217 by generating an image in which an object showing the angle of view data generated by the generating unit 216 is superimposed. The display unit 219 displays the image synthesized by the composition unit 218 on a display device (not shown) of the client device 2000 or the like.

図３は、カメラの画角の一例を説明する図である。図３の画像は、撮像装置１０００により撮影された画像で、表示部２１９により表示される画像の一例を示す。
画像１３００内には、予め設置された撮像装置１１００ａ〜ｂ、１２００が撮像されている。また、撮像装置１１００ａ〜ｂ、１２００のそれぞれには、生成部２１６で生成された画角データを示すオブジェクト（点線の三角図形）が重畳して表示されている。このように、各撮像装置の画角を示すオブジェクトが画像に重畳される事で、映像監視システムの設置者は、各撮像装置の画角を視覚的に把握できる。
図４は、撮像装置１０００と撮像装置１２００との位置関係の一例を示す図である。図４中の点線の矢印は、撮像装置１０００による撮影の際の奥行き方向を示す矢印である。図４中の点線の矢印が示す撮像装置１０００による撮影の際の奥行き方向は、撮像装置１０００の撮影方向である。撮像装置の撮影方向とは、撮像装置の撮影の際に奥行の方向となる方向である。
撮像装置１２００は、クライアント装置２０００を介したユーザからの指示に基づいて、撮影方向を変更することが可能であるため、初期の設置の際とは撮影方向が異なる場合がある。 FIG. 3 is a diagram illustrating an example of the angle of view of the camera. The image of FIG. 3 is an image taken by the image pickup apparatus 1000 and shows an example of the image displayed by the display unit 219.
In the image 1300, pre-installed image pickup devices 1100a to 1200 are imaged. In addition, objects (dotted triangular figures) indicating the angle of view data generated by the generation unit 216 are superimposed and displayed on each of the imaging devices 1100a to 1b and 1200. By superimposing the object indicating the angle of view of each imaging device on the image in this way, the installer of the video surveillance system can visually grasp the angle of view of each imaging device.
FIG. 4 is a diagram showing an example of the positional relationship between the image pickup device 1000 and the image pickup device 1200. The dotted line arrow in FIG. 4 is an arrow indicating the depth direction at the time of photographing by the image pickup apparatus 1000. The depth direction at the time of photographing by the image pickup apparatus 1000 indicated by the dotted arrow in FIG. 4 is the imaging direction of the image pickup apparatus 1000. The photographing direction of the image pickup apparatus is a direction that is the direction of the depth when the image pickup apparatus is photographed.
Since the imaging device 1200 can change the shooting direction based on an instruction from the user via the client device 2000, the shooting direction may be different from that at the time of initial installation.

図５は、撮像装置１１００ａ〜ｂ、１２００の向きと、画角を示すオブジェクトとの関係の一例を示す図である。
図５の例では、撮像装置１０００の撮影方向と反対の方向が奥行となるように撮像装置１１００ａ〜ｂ、１２００が撮影している場合が示されている（図５の下の方の撮像装置の例）。また、図５の例では、撮像装置１０００の撮影方向と同じ方向が奥行となるように撮像装置１１００ａ〜ｂ、１２００が撮影している場合が示されている（図５の上の方の撮像装置の例）。
生成部２１６は、例えば、設置情報登録部２１４により管理される各撮像装置の設置場所、設置角度の情報に基づいて、各撮像装置の位置及び向きを特定する。また、生成部２１６は、例えば、装置登録部２１５により管理される各撮像装置の画角の情報に基づいて、各撮像装置の画角を特定する。そして、生成部２１６は、特定した各撮像装置の位置・姿勢、及び画角に基づいて、撮像装置１０００により撮影された画像における各撮像装置の画角データを生成する。重畳させるための、各撮像装置の画角を示すオブジェクトを生成する。本実施形態では、生成部２１６により生成される各撮像装置の画角データは、撮像装置を頂点の１つとした三角形の領域を示す。 FIG. 5 is a diagram showing an example of the relationship between the orientations of the imaging devices 1100a to 1200 and the object indicating the angle of view.
In the example of FIG. 5, a case is shown in which the image pickup devices 1100a to 1200 are taking pictures so that the direction opposite to the shooting direction of the image pickup device 1000 is the depth (the lower image pickup device of FIG. 5). Example). Further, in the example of FIG. 5, a case is shown in which the image pickup devices 1100a to 1200 are taking pictures so that the depth is the same as the shooting direction of the image pickup device 1000 (imaging of the upper part of FIG. 5). Example of device).
The generation unit 216 specifies, for example, the position and orientation of each image pickup device based on information on the installation location and installation angle of each image pickup device managed by the installation information registration unit 214. Further, the generation unit 216 specifies the angle of view of each imaging device based on, for example, the angle of view information of each imaging device managed by the device registration unit 215. Then, the generation unit 216 generates the angle-of-view data of each image pickup device in the image captured by the image pickup device 1000 based on the specified position / orientation of each image pickup device and the angle of view. An object indicating the angle of view of each imaging device is generated for superimposition. In the present embodiment, the angle of view data of each imaging device generated by the generation unit 216 indicates a triangular region having the imaging device as one of the vertices.

合成部２１８は、生成部２１６により生成された画角データを示すオブジェクトを、撮像装置１０００により撮影された画像と合成する。そして、表示部２１９は、合成部２１８により合成された画像中の画角データを示す三角形のオブジェクトの内部を、以下の表示態様で表示する。即ち、表示部２１９は、画角データが示す画角が画像の手前方向を向いている場合、画角データを示すオブジェクトを、画角データに対応する撮像装置からから遠い程、色が濃くなるように同一色で着色する。また、表示部２１９は、画角データが示す画角が画像の奥方向を向いている場合、画角データを示すオブジェクトを、画角データに対応する撮像装置に近い程、色が濃くなるように同一色で着色する。
そして、表示部２１９は、画角データが示すオブジェクトを着色した画像を、クライアント装置２０００の表示装置に表示する。これにより、ユーザは、各撮像装置の画角を示すオブジェクトの色を見て、奥行き方向についても、各撮像装置の画角がどちらに広がっているかを把握できるようになり、より適切に撮像装置の画角を把握できる。 The compositing unit 218 synthesizes an object showing the angle of view data generated by the generating unit 216 with an image taken by the image pickup apparatus 1000. Then, the display unit 219 displays the inside of the triangular object showing the angle of view data in the image synthesized by the composition unit 218 in the following display mode. That is, when the angle of view indicated by the angle of view data is directed toward the front of the image, the display unit 219 darkens the object indicating the angle of view data as the distance from the image pickup device corresponding to the angle of view data increases. Color with the same color as in. Further, when the angle of view indicated by the angle of view data is directed toward the back of the image, the display unit 219 displays the object indicating the angle of view data so that the color becomes darker as it is closer to the image pickup device corresponding to the angle of view data. Color with the same color.
Then, the display unit 219 displays a colored image of the object indicated by the angle of view data on the display device of the client device 2000. As a result, the user can see the color of the object indicating the angle of view of each image pickup device and can grasp in which direction the angle of view of each image pickup device is widened even in the depth direction, and the image pickup device can be more appropriately used. You can grasp the angle of view of.

以上のように本実施形態では、表示部２１９は、生成された画角データを示すオブジェクトを、同一色で、撮像装置１０００からの距離が大きい程、濃度が高くなるように着色している。しかし、表示部２１９は、画角データを示すオブジェクトを、撮像装置１０００に近い程、濃度が高くなるように着色してもよい。
また、表示部２１９は、画角データを示すオブジェクトを、同一色で着色せずに、図６に示すように、撮像装置１０００からの距離が大きい程、暖色となり、撮像装置１０００に近い程、寒色となるように着色してもよい。 As described above, in the present embodiment, the display unit 219 colors the object indicating the generated angle of view data in the same color so that the larger the distance from the image pickup apparatus 1000, the higher the density. However, the display unit 219 may color the object showing the angle of view data so that the closer to the image pickup apparatus 1000, the higher the density.
Further, the display unit 219 does not color the object showing the angle of view data with the same color, and as shown in FIG. 6, the larger the distance from the image pickup device 1000, the warmer the color, and the closer to the image pickup device 1000, the warmer the color. It may be colored so that it becomes cold.

本実施形態では、表示部２１９は、画角データを示すオブジェクトの内部を着色することとしている。しかし、表示部２１９は、画角データを示すオブジェクトを以下のような表示態様で表示することとしてもよい。
即ち、表示部２１９は、画角データを示すオブジェクトの内部を着色せずに、オブジェクトの輪郭線を、同一色で、撮像装置１０００からの距離が大きい程（又は小さい程）、濃度が高くなるように着色し、表示することとしてもよい。
また、表示部２１９は、画角データを示すオブジェクトを着色せずに、オブジェクトの内部に、撮像装置１０００からの距離が大きい程（又は小さい程）、濃度が高くなるように点状や斜線上の背景模様を付け、表示することとしてもよい。 In the present embodiment, the display unit 219 colors the inside of the object showing the angle of view data. However, the display unit 219 may display the object showing the angle of view data in the following display mode.
That is, the display unit 219 does not color the inside of the object showing the angle of view data, and the contour line of the object is the same color, and the density increases as the distance from the image pickup apparatus 1000 increases (or decreases). It may be colored and displayed as follows.
Further, the display unit 219 does not color the object showing the angle of view data, and is on a dot or diagonal line inside the object so that the larger the distance (or smaller) from the image pickup apparatus 1000, the higher the density. The background pattern may be added and displayed.

（初期動作）
図７は、本実施形態のクライアント装置２０００の処理の一例を示すフローチャートである。図７の処理の前に、通信部２１１は、撮像装置１０００から撮像装置１１００ａ〜ｂ、１２００が包括的に撮影された画像データを取得しているものとする。この画像データは、撮像装置が複数存在する画像の画像データの一例である。
Ｓ７０１において、設置情報登録部２１４は、管理している撮像装置１０００、１１００ａ〜ｂ、１２００の設置位置、設置角度の情報を補助記憶装置２０２等から取得する。
Ｓ７０２にいて、装置登録部２１５は、管理している撮像装置１０００、１１００ａ〜ｂ、１２００の属性情報を補助記憶装置２０２等から取得する。
Ｓ７０３において、生成部２１６及び合成部２１８は、Ｓ７０１で取得された撮像装置１１００ａ〜ｂ、１２００の設置位置、設置角度の情報と、Ｓ７０２で取得された撮像装置１１００ａ〜ｂ、１２００の属性情報とに基づいて、以下の処理を行う。即ち、生成部２１６は、撮像装置１０００により撮影された画像内における撮像装置１１００ａ〜ｂ、１２００の画角の情報である画角データを生成する。そして、合成部２１８は、Ｓ７０３で生成された画角データを示すオブジェクトと、撮像装置１０００により撮影された画像と、を合成する。 (Initial operation)
FIG. 7 is a flowchart showing an example of processing of the client device 2000 of the present embodiment. Prior to the process of FIG. 7, it is assumed that the communication unit 211 has acquired the image data comprehensively photographed by the image pickup devices 1100a to 1200 from the image pickup device 1000. This image data is an example of image data of an image in which a plurality of imaging devices exist.
In S701, the installation information registration unit 214 acquires information on the installation positions and installation angles of the image pickup devices 1000, 1100a to 1200, which are managed, from the auxiliary storage device 202 and the like.
In S702, the device registration unit 215 acquires the attribute information of the image pickup devices 1000, 1100a to 1200b, which are managed, from the auxiliary storage device 202 and the like.
In S703, the generation unit 216 and the synthesis unit 218 include information on the installation positions and installation angles of the image pickup devices 1100a to 1200 acquired in S701, and attribute information of the image pickup devices 1100a to b1200 acquired in S702. The following processing is performed based on. That is, the generation unit 216 generates angle-of-view data which is information on the angles of view of the image pickup devices 1100a to 1200 in the image captured by the image pickup apparatus 1000. Then, the synthesizing unit 218 synthesizes the object showing the angle of view data generated in S703 and the image taken by the image pickup apparatus 1000.

Ｓ７０４において、生成部２１６は、Ｓ７０１で取得した情報に基づいて、撮像装置１０００の撮影方向を特定する。また、生成部２１６は、Ｓ７０１で取得した情報に基づいて、撮像装置１１００ａ〜ｂ、１２００それぞれの撮影方向を特定する。
クライアント装置２０００は、撮像装置１１００ａ〜ｂ、１２００それぞれについて、Ｓ７０５〜Ｓ７０７の処理を行う。
Ｓ７０５において、生成部２１６は、Ｓ７０４で特定された撮像装置１０００の撮影方向と、撮像装置１１００ａ〜ｂ、１２００の何れかの撮影方向と、に基づいて、以下の処理を行う。即ち、生成部２１６は、撮像装置１１００ａ〜ｂ、１２００の中から１つの撮像装置を選択する。そして、選択した撮像装置の撮影方向が、撮像装置１０００により撮影された画像の手前を向いているか、奥を向いているかを判定する。例えば、生成部２１６は、撮像装置１０００の撮影方向を示すベクトルと、選択した撮像装置の撮影方向を示すベクトルと、の内積が正の値であれば、選択した撮像装置は撮像装置１０００により撮影された画像の奥を向いていると判定する。また、生成部２１６は、撮像装置１０００の撮影方向を示すベクトルと、選択した撮像装置の撮影方向を示すベクトルと、の内積が０以下の値であれば、選択した撮像装置は撮像装置１０００により撮影された画像の手前を向いていると判定する。
生成部２１６は、選択した撮像装置の撮影方向が撮像装置１０００により撮影された画像の奥を向いていると判定した場合、Ｓ７０６の処理に進む。一方、生成部２１６は、選択した撮像装置の撮影方向が撮像装置１０００により撮影された画像の手前を向いていると判定した場合、Ｓ７０７の処理に進む。 In S704, the generation unit 216 specifies the shooting direction of the image pickup apparatus 1000 based on the information acquired in S701. Further, the generation unit 216 specifies the shooting direction of each of the imaging devices 1100a to 1b and 1200 based on the information acquired in S701.
The client device 2000 performs the processes of S705 to S707 for each of the image pickup devices 1100a to 1200.
In S705, the generation unit 216 performs the following processing based on the imaging direction of the imaging device 1000 specified in S704 and the imaging direction of any of the imaging devices 1100a to 1b and 1200. That is, the generation unit 216 selects one imaging device from the imaging devices 1100a to 1b and 1200. Then, it is determined whether the shooting direction of the selected image pickup device is facing the front side or the back side of the image taken by the image pickup device 1000. For example, if the internal product of the vector indicating the shooting direction of the image pickup device 1000 and the vector indicating the shooting direction of the selected image pickup device is a positive value, the generation unit 216 takes a picture of the selected image pickup device by the image pickup device 1000. It is determined that the image is facing the back of the image. Further, if the internal product of the vector indicating the shooting direction of the imaging device 1000 and the vector indicating the shooting direction of the selected imaging device is 0 or less, the generation unit 216 uses the imaging device 1000 to select the imaging device. It is determined that the image is facing the front of the captured image.
When the generation unit 216 determines that the shooting direction of the selected imaging device is toward the back of the image captured by the imaging device 1000, the generation unit 216 proceeds to the process of S706. On the other hand, when the generation unit 216 determines that the imaging direction of the selected imaging device is facing the front of the image captured by the imaging device 1000, the generation unit 216 proceeds to the process of S707.

Ｓ７０６において、表示部２１９は、Ｓ７０３で生成された画角データを示すオブジェクトを、同一色で、その画角データに対応する撮像装置に近い方から遠くなる程、色の濃度が高くなるように着色する。
Ｓ７０７において、表示部２１９は、Ｓ７０３で生成された画角データを示すオブジェクトを、同一色で、その画角データに対応する撮像装置に近い方から遠くなる程、色が淡くなるように着色する。
Ｓ７０８において、生成部２１６は、撮像装置１０００により撮影された画像に含まれる撮像装置１１００ａ〜ｂ、１２００の全てについて、Ｓ７０６又はＳ７０７の処理を行ったか否かを判定する。Ｓ７０６又はＳ７０７の処理を行っていない撮像装置があると生成部２１６が判定した場合は、Ｓ７０５の処理に戻り、次の撮像装置を選択して同様の処理を繰り返す。一方、撮像装置１１００ａ〜ｂ、１２００の全てについて、Ｓ７０６又はＳ７０７の処理を行った場合、Ｓ７０９に進む。そして、Ｓ７０９において、表示部２１９は、合成部２１８により合成された画像をクライアント装置２０００の表示装置に表示する。
前述したように、表示部２１９は、Ｓ７０６、Ｓ７０７において、オブジェクトへの着色方法を逆にしてもよい。また、生成部２１６は、図６に示すように同一色の濃度の変更ではなく寒色、暖色等の異なる色の使い分けで、オブジェクトを着色してもよい。 In S706, the display unit 219 displays the object showing the angle of view data generated in S703 in the same color so that the color density increases as the distance from the imager closer to the image pickup device corresponding to the angle of view data increases. Color.
In S707, the display unit 219 colors the object showing the angle of view data generated in S703 with the same color so that the color becomes lighter as the distance from the imager closer to the image pickup device corresponding to the angle of view data increases. ..
In S708, the generation unit 216 determines whether or not the processing of S706 or S707 has been performed on all of the imaging devices 1100a to 1200 included in the image captured by the imaging device 1000. When the generation unit 216 determines that there is an image pickup apparatus that has not been subjected to the processing of S706 or S707, the process returns to the processing of S705, the next imaging apparatus is selected, and the same processing is repeated. On the other hand, when the processing of S706 or S707 is performed on all of the imaging devices 1100a to 1b and 1200, the process proceeds to S709. Then, in S709, the display unit 219 displays the image synthesized by the synthesis unit 218 on the display device of the client device 2000.
As described above, the display unit 219 may reverse the method of coloring the object in S706 and S707. Further, as shown in FIG. 6, the generation unit 216 may color the object by using different colors such as cold colors and warm colors instead of changing the density of the same color.

以上、表示部２１９は、奥行方向に異なる着色がされた各撮像装置の画角を示すオブジェクトを、表示できる。これにより、ユーザは、２次元上の画像である表示部２１９により表示された画像を視認することで、撮像装置１１００ａ〜ｂ、１２００の画角の奥行方向の位置を把握でき、より適切に撮像装置１１００ａ〜ｂ、１２００の画角を把握できる。以上の表示部２１９による処理は、各撮像装置の画角を示すオブジェクトを撮像装置１０００により撮影された画像と重畳して、表示する表示制御処理の一例である。 As described above, the display unit 219 can display an object indicating the angle of view of each imaging device colored differently in the depth direction. As a result, the user can grasp the position in the depth direction of the angle of view of the imaging devices 1100a to 1200 by visually recognizing the image displayed by the display unit 219, which is a two-dimensional image, and images the image more appropriately. The angles of view of the devices 1100a to 1b and 1200 can be grasped. The above processing by the display unit 219 is an example of display control processing in which an object indicating the angle of view of each imaging device is superimposed on an image captured by the imaging device 1000 and displayed.

（カメラ操作時の変更動作）
次に、オブジェクトが重畳された合成画像が表示されている時にカメラが操作された場合の、クライアント装置２０００による画角を示すオブジェクトの表示態様の変更処理を説明する。
本実施形態では、撮像装置１２００は、例えば、クライアント装置２０００等から制御コマンドを受信すると、受信した制御コマンドに応じた処理（例えば、撮像装置の向きを変更する処理等）を行う。そして、撮像装置１２００は、クライアント装置２０００から受信した制御コマンドに応じた処理を行ったら、制御コマンドに応じた処理を行ったことを示す信号を、クライアント装置２０００に送信する。即ち、撮像装置１２００は、自己の属性（例えば、撮像装置の向き、ズーム設定、画角等）を変更した場合、クライアント装置２０００にその旨を示す動作情報を送信することになる。以下、撮像装置１２００の向き（撮影方向）に変更があった場合の処理手順について、図８のフローチャートを参照しながら説明する。
Ｓ８０１において、取得部２１２は、撮像装置１２００から動作情報の送信を待機する。 (Change operation when operating the camera)
Next, the process of changing the display mode of the object indicating the angle of view by the client device 2000 when the camera is operated while the composite image on which the objects are superimposed is displayed will be described.
In the present embodiment, when the image pickup apparatus 1200 receives a control command from, for example, the client apparatus 2000 or the like, the image pickup apparatus 1200 performs a process (for example, a process of changing the orientation of the image pickup apparatus) according to the received control command. Then, when the image pickup apparatus 1200 performs the processing according to the control command received from the client apparatus 2000, the imaging apparatus 1200 transmits a signal indicating that the processing according to the control command has been performed to the client apparatus 2000. That is, when the imaging device 1200 changes its own attributes (for example, the orientation of the imaging device, the zoom setting, the angle of view, etc.), the imaging device 1200 transmits operation information indicating that fact to the client device 2000. Hereinafter, the processing procedure when the orientation (shooting direction) of the image pickup apparatus 1200 is changed will be described with reference to the flowchart of FIG.
In S801, the acquisition unit 212 waits for the transmission of the operation information from the image pickup apparatus 1200.

Ｓ８０２において、取得部２１２は、制御コマンドに対するレスポンスとして、撮像装置１２００から動作情報を受信したか否かを判定する。取得部２１２は、撮像装置１２００から動作情報を受信したと判定した場合、Ｓ８０３の処理に進む。取得部２１２は、撮像装置１２００から動作情報を受信していないと判定した場合、Ｓ８０１の処理に進む。
Ｓ８０３において、取得部２１２は、撮像装置１２００から受信した動作情報の内容を確認する。
Ｓ８０４において、取得部２１２は、Ｓ８０３の確認処理の結果、撮像装置１２００から受信した動作情報が、設置角度（撮影方向）が変更されたことを示す情報であることが確認されたか否かを判定する。取得部２１２は、撮像装置１１００ａ〜ｂ、１２００の何れかから受信した動作情報が、設置角度（撮影方向）が変更されたことを示す情報であることが確認されたと判定した場合、Ｓ８０５の処理に進む。取得部２１２は、撮像装置１２００から受信した動作情報が、設置角度（撮影方向）が変更されたことを示す情報であることが確認されなかったと判定した場合、Ｓ８０１の処理に進む。 In S802, the acquisition unit 212 determines whether or not the operation information has been received from the image pickup apparatus 1200 as a response to the control command. When the acquisition unit 212 determines that the operation information has been received from the image pickup apparatus 1200, the acquisition unit 212 proceeds to the process of S803. When the acquisition unit 212 determines that the operation information has not been received from the image pickup apparatus 1200, the acquisition unit 212 proceeds to the process of S801.
In S803, the acquisition unit 212 confirms the content of the operation information received from the image pickup apparatus 1200.
In S804, the acquisition unit 212 determines, as a result of the confirmation process of S803, whether or not it is confirmed that the operation information received from the image pickup apparatus 1200 is information indicating that the installation angle (shooting direction) has been changed. To do. When the acquisition unit 212 determines that the operation information received from any of the imaging devices 1100a to 1b and 1200 is information indicating that the installation angle (shooting direction) has been changed, the processing of S805 is performed. Proceed to. When the acquisition unit 212 determines that the operation information received from the image pickup apparatus 1200 is not confirmed to be information indicating that the installation angle (shooting direction) has been changed, the acquisition unit 212 proceeds to the process of S801.

Ｓ８０５において、記録部２１３は、取得部２１２により取得された新たな動作情報を、補助記憶装置２０２等に記憶する。そして、生成部２１６は、撮像装置１２００の変更後の設置角度の情報に基づいて、撮像装置１２００の撮影方向を特定する。
Ｓ８０６において、設置情報登録部２１４は、変更前の設置角度の情報を補助記憶装置２０２等から取得し、生成部２１６は、Ｓ８０５で特定された撮影方向が、手前向きから奥向き（又は奥向きから手前向き）に変化したか否かを判定する。
生成部２１６は、撮像装置１２００の撮影方向が、撮像装置１０００により撮影された画像の手前向きから奥向き（又は奥向きから手前向き）に変化した場合、Ｓ８０７の処理に進む。また、生成部２１６は、撮像装置１２００の撮影方向が変化していない場合、Ｓ８０１の処理に進む。
Ｓ８０７において、表示部２１９は、撮像装置１０００により撮影された画像に重畳する、撮像装置１２００の画角を示すオブジェクトの表示態様を、変更する。変更方法については、前述した手順で新たに合成画像を生成し、表示する画像を更新する。また、このとき、設置情報登録部２１４は、変更後の設置角度の情報を更新する。 In S805, the recording unit 213 stores the new operation information acquired by the acquisition unit 212 in the auxiliary storage device 202 or the like. Then, the generation unit 216 specifies the shooting direction of the image pickup device 1200 based on the information of the installation angle after the change of the image pickup device 1200.
In S806, the installation information registration unit 214 acquires the information of the installation angle before the change from the auxiliary storage device 202 or the like, and the generation unit 216 changes the shooting direction specified in S805 from the front to the back (or back). Judges whether or not the change has changed from to forward).
When the photographing direction of the image pickup apparatus 1200 changes from the frontward direction to the backward direction (or from the backward direction to the frontward direction) of the image captured by the image pickup apparatus 1000, the generation unit 216 proceeds to the process of S807. Further, when the photographing direction of the image pickup apparatus 1200 has not changed, the generation unit 216 proceeds to the process of S801.
In S807, the display unit 219 changes the display mode of the object indicating the angle of view of the image pickup apparatus 1200, which is superimposed on the image captured by the image pickup apparatus 1000. As for the change method, a new composite image is generated by the procedure described above, and the displayed image is updated. At this time, the installation information registration unit 214 updates the information on the changed installation angle.

図８の処理では、撮影方向が変化した場合の例を示したが、画角が変化した場合も同様の処理を行う。この場合、Ｓ８０４においては、取得部２１２は、撮像装置１２００から受信した動作情報が、画角が変更されたことを示す情報であることが確認されたか否かを判定する。Ｓ８０５においては、生成部２１６は、撮像装置１２００の変更後の属性情報に基づいて、撮像装置１２００の画角を特定する。そして、Ｓ８０６では、装置登録部２１５は、変更前の属性情報を取得し、生成部２１６は、変更前後の属性情報を比較することにより画角が変更されたか否かを判定する。画角が変更された場合は、生成部２１６は新たな画角データを生成する。そして、前述した手順で新たに合成画像を生成し、表示する画像を更新する。 In the process of FIG. 8, an example is shown when the shooting direction changes, but the same process is performed when the angle of view changes. In this case, in S804, the acquisition unit 212 determines whether or not it is confirmed that the operation information received from the image pickup apparatus 1200 is information indicating that the angle of view has been changed. In S805, the generation unit 216 specifies the angle of view of the image pickup apparatus 1200 based on the changed attribute information of the image pickup apparatus 1200. Then, in S806, the device registration unit 215 acquires the attribute information before the change, and the generation unit 216 determines whether or not the angle of view has been changed by comparing the attribute information before and after the change. When the angle of view is changed, the generation unit 216 generates new angle of view data. Then, a new composite image is generated by the procedure described above, and the displayed image is updated.

（定期的な更新処理）
図８に示した例は、撮像装置１２００の撮影方向などが変化した場合に、レスポンスとして動作情報を受信してオブジェクトの表示方向を変更した。一方、クライアント装置２０００が定期的に撮像装置１１００ａ〜ｂ、１２００の動作情報を取得するようにしてもよい。以下、図９を参照しながら、定期的に動作情報を取得する場合の処理手順について説明する。
図９は、クライアント装置２０００の処理の一例を示すフローチャートである。図９を用いて、クライアント装置２０００が定期的に撮像装置１１００ａ〜ｂ、１２００の動作情報を取得して、撮像装置１１００ａ〜ｂ、１２００の画角を示すオブジェクトの表示を更新する方法を説明する。
Ｓ９０１において、取得部２１２は、通信部２１１を介して撮像装置１１００ａ〜ｂ、１２００から動作情報を取得し、記録部２１３は、動作情報を、補助記憶装置２０２等に記憶する。
Ｓ９０２において、生成部２１６は、Ｓ９０１で記憶された動作情報と、設置情報登録部２１４及び装置登録部２１５により管理されている情報とに基づいて、撮像装置１１００ａ〜ｂ、１２００のすべての位置姿勢情報及び属性情報における変更の有無を確認する。 (Regular update process)
In the example shown in FIG. 8, when the shooting direction of the image pickup apparatus 1200 changes, the operation information is received as a response and the display direction of the object is changed. On the other hand, the client device 2000 may periodically acquire the operation information of the image pickup devices 1100a to 1200. Hereinafter, the processing procedure in the case of periodically acquiring the operation information will be described with reference to FIG.
FIG. 9 is a flowchart showing an example of processing of the client device 2000. A method in which the client device 2000 periodically acquires the operation information of the image pickup devices 1100a to 1200 and updates the display of the object indicating the angle of view of the image pickup devices 1100a to b1200 will be described with reference to FIG. ..
In S901, the acquisition unit 212 acquires operation information from the imaging devices 1100a to 1200 via the communication unit 211, and the recording unit 213 stores the operation information in the auxiliary storage device 202 or the like.
In S902, the generation unit 216 is based on the operation information stored in S901 and the information managed by the installation information registration unit 214 and the device registration unit 215, and all the positions and orientations of the image pickup devices 1100a to 1b and 1200. Check if there is any change in the information and attribute information.

Ｓ９０３において、生成部２１６は、Ｓ９０２の処理の結果、撮像装置１１００ａ〜ｂ、１２００の何れかの位置姿勢情報又は属性情報に変更があったか否かを判定する。生成部２１６は、Ｓ９０２の処理の結果、撮像装置１１００ａ〜ｂ、１２００の何れかの位置姿勢情報又は属性情報に変更があったと判定した場合、Ｓ９０４の処理に進む。また、生成部２１６は、Ｓ９０２の処理の結果、撮像装置１１００ａ〜ｂ、１２００の何れも位置姿勢情報及び属性情報に変更がなかったと判定した場合、Ｓ９１０の処理に進む。
Ｓ９０４において、生成部２１６は、Ｓ９０１で記憶された動作情報の内容の確認を行う。
Ｓ９０５において、生成部２１６は、Ｓ９０４で確認した結果に基づいて、位置姿勢情報又は属性情報の変更があったすべての撮像装置について、撮影範囲の変更があるか否かを判定する。生成部２１６は、例えば、変更された情報が設置角度（撮影方向）や画角等の撮影範囲に関する情報である場合、撮影範囲の変更があったと判定する。生成部２１６は、位置姿勢情報又は属性情報の変更があった撮像装置について、撮影範囲の変更があると判定した場合、Ｓ９０６の処理に進む。また、生成部２１６は、位置姿勢情報又は属性情報の変更があった撮像装置について、撮影範囲の変更がなかったと判定した場合、Ｓ９１０の処理に進む。なお、撮影範囲の変更には、設置者が手動で撮像装置１１００ａ、ｂの向きを変更した場合も含まれる。 In S903, the generation unit 216 determines whether or not the position / orientation information or attribute information of any of the image pickup devices 1100a to 1200 has been changed as a result of the processing of S902. When the generation unit 216 determines that the position / orientation information or the attribute information of any of the image pickup devices 1100a to 1200 has changed as a result of the processing of S902, the generation unit 216 proceeds to the processing of S904. Further, when the generation unit 216 determines as a result of the processing of S902 that none of the image pickup devices 1100a to 1b and 1200 has changed the position / orientation information and the attribute information, the generation unit 216 proceeds to the processing of S910.
In S904, the generation unit 216 confirms the content of the operation information stored in S901.
In S905, the generation unit 216 determines whether or not there is a change in the shooting range for all the imaging devices in which the position / orientation information or the attribute information has been changed, based on the result confirmed in S904. For example, when the changed information is information related to a shooting range such as an installation angle (shooting direction) and an angle of view, the generation unit 216 determines that the shooting range has been changed. When the generation unit 216 determines that there is a change in the shooting range of the image pickup device whose position / orientation information or attribute information has been changed, the generation unit 216 proceeds to the process of S906. Further, when the generation unit 216 determines that the imaging device whose position / orientation information or attribute information has been changed has not changed the photographing range, the generation unit 216 proceeds to the process of S910. The change in the shooting range includes the case where the installer manually changes the orientations of the imaging devices 1100a and 1b.

Ｓ９０６において、生成部２１６は、位置姿勢情報又は属性情報の変更があった撮像装置について、取得した動作情報に基づき、撮像装置１０００により撮影された画像内における画角データを新たに生成し、撮影方向を特定する。
Ｓ９０７において、生成部２１６は、位置姿勢情報又は属性情報に変更があった撮像装置の少なくとも１つの撮影方向が、撮像装置１０００により撮影された画像の手前向きから奥向き、又は奥向きから手前向き、に変化したか否かを判定する。位置姿勢情報又は属性情報に変更があった撮像装置の少なくとも１つの撮影方向が、撮像装置１０００により撮影された画像の手前向きから奥向き、又は奥向きから手前向き、に変化した場合、Ｓ９０９の処理に進む。また、生成部２１６は、位置姿勢情報又は属性情報に変更があった撮像装置の少なくとも１つの撮影方向が変化していない場合、Ｓ９０８の処理に進む。
Ｓ９０８において、表示部２１９は、位置姿勢情報又は属性情報に変更があった撮像装置の撮影方向が撮像装置１０００により撮影された画像の奥向きであるか手前向きであるかに変更がない場合、以下の処理を行う。即ち、合成部２１８は、位置姿勢情報又は属性情報に変更がない撮像装置の動作情報を取得する前の画角データおよびＳ９０６で生成された画角データを撮像装置１０００により撮影された画像に重畳する。そして、表示部２１９は、前述した手順により変更前のグラディエーションでオブジェクトを着色して合成画像を表示する。 In S906, the generation unit 216 newly generates the angle of view data in the image captured by the image pickup device 1000 based on the acquired operation information of the image pickup device whose position / orientation information or attribute information has been changed, and takes a picture. Specify the direction.
In S907, in the generation unit 216, at least one shooting direction of the image pickup device whose position / orientation information or attribute information has been changed is from front to back or from back to front of the image taken by the image pickup device 1000. Judge whether or not it has changed to. When at least one shooting direction of the image pickup device whose position / orientation information or attribute information has been changed changes from front to back or from back to front of the image taken by the image pickup device 1000, S909 Proceed to processing. Further, the generation unit 216 proceeds to the process of S908 when at least one shooting direction of the imaging device whose position / orientation information or attribute information has been changed has not changed.
In S908, when the display unit 219 does not change whether the shooting direction of the image pickup device whose position / orientation information or attribute information has been changed is the back direction or the front direction of the image taken by the image pickup device 1000. Perform the following processing. That is, the compositing unit 218 superimposes the angle of view data before acquiring the operation information of the image pickup device whose position / orientation information or attribute information is unchanged and the angle of view data generated in S906 on the image taken by the image pickup device 1000. To do. Then, the display unit 219 colors the object in the gradation before the change according to the procedure described above, and displays the composite image.

Ｓ９０９において、合成部２１８は、位置姿勢情報又は属性情報に変更がない撮像装置の動作情報を取得する前の画角データおよびＳ９０６で生成された画角データを撮像装置１０００により撮影された画像に重畳する。そして、表示部２１９は、Ｓ９０６で生成した画角データを示すオブジェクトの表示態様を変更して（例えば、グラディエーションを変更して）、合成画像を表示する。
Ｓ９１０において、取得部２１２は、設定された期間待機し、Ｓ９０１の処理に進む。
以上、図９の処理により、例えば、他のクライアント装置からのコマンドにより各撮像装置の位置姿勢情報又は属性情報が変更された等の場合でも、クライアント装置２０００は、以下の処理を行うことができる。即ち、クライアント装置２０００は、位置姿勢情報又は属性情報が変更された場合でも、撮像装置１１００ａ〜ｂ、１２００の画角および撮影方向を、撮像装置１０００により撮影された画像に重畳して適切に表示できる。 In S909, the compositing unit 218 converts the angle-of-view data before acquiring the operation information of the imaging device whose position / orientation information or attribute information is unchanged and the angle-of-view data generated in S906 into the image taken by the imaging device 1000. Superimpose. Then, the display unit 219 changes the display mode of the object showing the angle of view data generated in S906 (for example, by changing the graduation), and displays the composite image.
In S910, the acquisition unit 212 waits for a set period and proceeds to the process of S901.
As described above, the client device 2000 can perform the following processing even when the position / orientation information or the attribute information of each imaging device is changed by a command from another client device, for example, by the processing of FIG. .. That is, the client device 2000 appropriately displays the angle of view and the shooting direction of the imaging devices 1100a to 1200 on the image captured by the imaging device 1000 even when the position / orientation information or the attribute information is changed. it can.

以上、本実施形態の処理により、映像監視システムは、撮像装置１１００ａ〜ｂ、１２００の画角を示すオブジェクトを、画角が画像の奥向きか手前向きかに応じた表示態様で、表示することとした。これにより、ユーザは、各撮像装置の画角の奥行き方向の把握が容易になり、より適切に各撮像装置の画角を把握できる。
また、映像監視システムは、映像監視システムにおいて監視に利用される複数の撮像装置について、画角を示すオブジェクトを、画角が画像の奥向きか手前向きかに応じた表示態様で表示している。これにより、ユーザは、監視に利用される複数の撮像装置の撮影範囲の分布を容易に把握できる。ユーザは、複数の撮像装置の撮影範囲の分布に基づいて、把握した例えば、監視したいエリアを隙間なく監視するためには、各撮像装置の画角をどのようにすべきかを判断できる。 As described above, by the processing of the present embodiment, the video surveillance system displays the objects showing the angles of view of the imaging devices 1100a to 1200 in a display mode depending on whether the angle of view is toward the back or the front of the image. And said. As a result, the user can easily grasp the angle of view of each imaging device in the depth direction, and can more appropriately grasp the angle of view of each imaging device.
Further, the video surveillance system displays an object indicating the angle of view of a plurality of imaging devices used for monitoring in the video surveillance system in a display mode depending on whether the angle of view is facing the back or the front of the image. .. As a result, the user can easily grasp the distribution of the imaging range of the plurality of imaging devices used for monitoring. Based on the distribution of the shooting ranges of a plurality of imaging devices, the user can determine what the angle of view of each imaging device should be in order to monitor the grasped area, for example, without a gap.

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した映像監視システムの機能構成の一部又は全てをハードウェアとしてクライアント装置２０００に実装してもよい。 <Other Embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment.
For example, a part or all of the functional configuration of the video surveillance system described above may be implemented in the client device 2000 as hardware.

２００ ＣＰＵ
１０００ 撮像装置
２０００ クライアント装置 200 CPU
1000 Imaging device 2000 Client device

Claims (6)

第１の撮像装置により撮影された第２の撮像装置を含む画像を取得する取得手段と、
前記第１の撮像装置の位置及び姿勢に関する位置姿勢情報と、前記第２の撮像装置の位置及び姿勢に関する位置姿勢情報とに基づいて、前記取得手段により取得された前記画像における前記第２の撮像装置の撮影方向を特定する特定手段と、
前記特定手段により特定された前記第２の撮像装置の撮影方向に基づいて、前記第１の撮像装置からの距離に応じた濃度で、同一色で着色された前記第２の撮像装置の画角を示すオブジェクトを前記画像に重畳して表示する表示制御手段と、
を有する情報処理装置。 An acquisition means for acquiring an image including a second image pickup device taken by the first image pickup device, and
The second imaging in the image acquired by the acquisition means based on the position / orientation information regarding the position and orientation of the first imaging device and the position / attitude information regarding the position and orientation of the second imaging device. Specific means for specifying the shooting direction of the device and
The angle of view of the second imaging device colored in the same color at a density corresponding to the distance from the first imaging device based on the photographing direction of the second imaging device specified by the specific means. A display control means for displaying an object indicating the above image by superimposing it on the image.
Information processing device with. 第１の撮像装置により撮影された第２の撮像装置を含む画像を取得する取得手段と、
前記第１の撮像装置の位置及び姿勢に関する位置姿勢情報と、前記第２の撮像装置の位置及び姿勢に関する位置姿勢情報とに基づいて、前記取得手段により取得された前記画像における前記第２の撮像装置の撮影方向を特定する特定手段と、
前記特定手段により特定された前記第２の撮像装置の撮影方向に基づいて、前記第１の撮像装置からの距離に応じた色で着色された前記第２の撮像装置の画角を示すオブジェクトを前記画像に重畳して表示する表示制御手段と、
を有する情報処理装置。 An acquisition means for acquiring an image including a second image pickup device taken by the first image pickup device, and
The second imaging in the image acquired by the acquisition means based on the position / orientation information regarding the position and orientation of the first imaging device and the position / attitude information regarding the position and orientation of the second imaging device. Specific means for specifying the shooting direction of the device and
An object showing the angle of view of the second image pickup device colored with a color corresponding to the distance from the first image pickup device based on the shooting direction of the second image pickup device specified by the specific means. A display control means for displaying the image superimposed on the image,
Information processing device with. 前記表示制御手段は、前記特定手段により特定された前記画像における前記第２の撮像装置の撮影方向が前記画像の奥を向いている場合、第１の表示態様で、前記取得手段により取得された前記画像における前記第２の撮像装置の画角を示すオブジェクトを前記画像に重畳して表示し、前記特定手段により特定された前記画像における前記第２の撮像装置の撮影方向が前記画像の手前を向いている場合、前記第１の表示態様と異なる第２の表示態様で、前記取得手段により取得された前記画像における前記第２の撮像装置の画角を示すオブジェクトを前記画像に重畳して表示する請求項１または２に記載の情報処理装置。 Before Symbol display control means may control, when the photographing direction of the second imaging device in the identified said image by said specifying means is oriented back of the image, in a first display form, obtained by the obtaining means An object showing the angle of view of the second image pickup device in the image is superimposed on the image and displayed, and the shooting direction of the second image pickup device in the image specified by the specific means is in front of the image. In a second display mode different from the first display mode, an object showing the angle of view of the second image pickup device in the image acquired by the acquisition means is superimposed on the image. The information processing apparatus according to claim 1 or 2 to be displayed. 前記取得手段は、前記第２の撮像装置が複数存在する画像を取得し、
前記特定手段は、前記第２の撮像装置のそれぞれについて、前記第１の撮像装置の位置姿勢情報と、前記第２の撮像装置の位置姿勢情報と、に基づいて、前記取得手段により取得された前記画像における前記第２の撮像装置の撮影方向をそれぞれ特定し、
前記表示制御手段は、前記特定手段により特定された前記画像における前記第２の撮像装置それぞれの撮影方向に応じた表示態様で、前記取得手段により取得された前記画像における前記第２の撮像装置それぞれの画角を示すオブジェクトを前記画像に重畳して表示する請求項１乃至３のいずれか１項に記載の情報処理装置。 The acquisition means acquires an image in which a plurality of the second imaging devices are present, and obtains an image.
The specific means was acquired by the acquisition means based on the position / orientation information of the first imaging device and the position / orientation information of the second imaging device for each of the second imaging devices. Each of the shooting directions of the second imaging device in the image is specified,
The display control means is a display mode according to the shooting direction of each of the second image pickup devices in the image specified by the specific means, and each of the second image pickup devices in the image acquired by the acquisition means. The information processing apparatus according to any one of claims 1 to 3 , wherein an object showing the angle of view of is superimposed on the image and displayed. 情報処理装置が実行する情報処理方法であって、
第１の撮像装置により撮影された第２の撮像装置を含む画像を取得する取得ステップと、
前記第１の撮像装置の位置及び姿勢に関する位置姿勢情報と、前記第２の撮像装置の位置及び姿勢に関する位置姿勢情報と、に基づいて、前記取得ステップにより取得された前記画像における前記第２の撮像装置の撮影方向を特定する特定ステップと、
前記特定ステップにより特定された前記第２の撮像装置の撮影方向に基づいて、前記第１の撮像装置からの距離に応じた濃度で、同一色で着色された前記第２の撮像装置の画角を示すオブジェクトを前記画像に重畳して表示する表示制御ステップと、
を含む情報処理方法。 It is an information processing method executed by an information processing device.
The acquisition step of acquiring an image including the second image pickup device taken by the first image pickup device, and
The second image in the image acquired by the acquisition step based on the position / orientation information regarding the position and orientation of the first imaging device and the position / attitude information regarding the position and orientation of the second imaging device. A specific step to specify the shooting direction of the image pickup device and
The angle of view of the second image pickup device colored in the same color at a density corresponding to the distance from the first image pickup device based on the shooting direction of the second image pickup device specified by the specific step. A display control step that superimposes and displays an object indicating
Information processing methods including. コンピュータに、
第１の撮像装置により撮影された第２の撮像装置を含む画像を取得する取得ステップと、
前記第１の撮像装置の位置及び姿勢に関する位置姿勢情報と、前記第２の撮像装置の位置及び姿勢に関する位置姿勢情報と、に基づいて、前記取得ステップにより取得された前記画像における前記第２の撮像装置の撮影方向を特定する特定ステップと、
前記特定ステップにより特定された前記第２の撮像装置の撮影方向に基づいて、前記第１の撮像装置からの距離に応じた濃度で、同一色で着色された前記第２の撮像装置の画角を示すオブジェクトを前記画像に重畳して表示する表示制御ステップと、
を実行させるためのプログラム。 On the computer
The acquisition step of acquiring an image including the second image pickup device taken by the first image pickup device, and
The second image in the image acquired by the acquisition step based on the position / orientation information regarding the position and orientation of the first imaging device and the position / attitude information regarding the position and orientation of the second imaging device. A specific step to specify the shooting direction of the image pickup device and
The angle of view of the second image pickup device colored in the same color at a density corresponding to the distance from the first image pickup device based on the shooting direction of the second image pickup device specified by the specific step. A display control step that superimposes and displays an object indicating
A program to execute.
JP2016197369A 2016-10-05 2016-10-05 Information processing equipment, information processing methods and programs Active JP6824681B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016197369A JP6824681B2 (en) 2016-10-05 2016-10-05 Information processing equipment, information processing methods and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016197369A JP6824681B2 (en) 2016-10-05 2016-10-05 Information processing equipment, information processing methods and programs

Publications (2)

Publication Number Publication Date
JP2018061134A JP2018061134A (en) 2018-04-12
JP6824681B2 true JP6824681B2 (en) 2021-02-03

Family

ID=61908954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016197369A Active JP6824681B2 (en) 2016-10-05 2016-10-05 Information processing equipment, information processing methods and programs

Country Status (1)

Country Link
JP (1) JP6824681B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115006A (en) * 2004-10-12 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> Individual video image photographing and distributing apparatus, and individual video image photographing and distributing method and program
JP2009010728A (en) * 2007-06-28 2009-01-15 Olympus Corp Camera setting support device
JP4975673B2 (en) * 2008-03-28 2012-07-11 ティーオーエー株式会社 Camera installation simulator program
JP5178553B2 (en) * 2009-01-27 2013-04-10 オリンパス株式会社 Imaging device
JP6314427B2 (en) * 2013-10-31 2018-04-25 キヤノンマーケティングジャパン株式会社 Imaging apparatus, information processing apparatus, control method, and program

Also Published As

Publication number Publication date
JP2018061134A (en) 2018-04-12

Similar Documents

Publication Publication Date Title
JP6924079B2 (en) Information processing equipment and methods and programs
JP6918455B2 (en) Image processing equipment, image processing methods and programs
CN106454065B (en) Information processing apparatus and control method thereof
JP6659187B2 (en) Image processing apparatus, image processing method, and program
EP3179338B1 (en) Hybrid reality based object interaction and control
US10297005B2 (en) Method for generating panoramic image
JP6226539B2 (en) Information processing apparatus, information processing apparatus control method, and program
JP2006333133A (en) Imaging apparatus and method, program, program recording medium and imaging system
KR20150067197A (en) Method and apparatus for changing a perspective of a video
JP2016178534A (en) Image processing device and method thereof, and image processing system
US12075167B2 (en) Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller
US20220103751A1 (en) Communication management apparatus, image communication system, communication management method, and recording medium
US9848168B2 (en) Method, synthesizing device, and system for implementing video conference
JP2019211337A (en) Information processor, system, method for processing information, and program
JP6812181B2 (en) Image processing device, image processing method, and program
JP6011567B2 (en) Information processing apparatus, control method thereof, and program
JP6824681B2 (en) Information processing equipment, information processing methods and programs
JP2006318015A (en) Image processing device, image processing method, image display system, and program
JP6004978B2 (en) Subject image extraction device and subject image extraction / synthesis device
CN110087023B (en) Video image transmission device, information processing device, system, method, and medium
JP2014236313A (en) Display controller, display control system, program
JP6335668B2 (en) Imaging apparatus, control method therefor, imaging system, and program
EP3182367A1 (en) Apparatus and method for generating and visualizing a 3d model of an object
JP2019125058A (en) Image processing apparatus, imaging apparatus, image processing method and program
JP2019139697A (en) Display device, video display system, and video display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210113

R151 Written notification of patent or utility model registration

Ref document number: 6824681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151