JP6630096B2 - Display control device, control method thereof, and computer program - Google Patents

Display control device, control method thereof, and computer program Download PDF

Info

Publication number
JP6630096B2
JP6630096B2 JP2015187443A JP2015187443A JP6630096B2 JP 6630096 B2 JP6630096 B2 JP 6630096B2 JP 2015187443 A JP2015187443 A JP 2015187443A JP 2015187443 A JP2015187443 A JP 2015187443A JP 6630096 B2 JP6630096 B2 JP 6630096B2
Authority
JP
Japan
Prior art keywords
photographing
display control
display
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015187443A
Other languages
Japanese (ja)
Other versions
JP2017062350A (en
Inventor
太一 松井
太一 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015187443A priority Critical patent/JP6630096B2/en
Publication of JP2017062350A publication Critical patent/JP2017062350A/en
Application granted granted Critical
Publication of JP6630096B2 publication Critical patent/JP6630096B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は表示制御装置及びその制御方法、表示装置、コンピュータプログラムに関し、特に複数の映像の表示技術に関する。 The present invention relates to a display control device and a control method thereof, a display device, and a computer program, and more particularly to a technique for displaying a plurality of videos.

ネットワークに接続して、撮影した映像の通信パケットをネットワークに流して出力するネットワークカメラが知られている。また、ネットワークに接続し、ネットワークカメラの映像を表示するビューワーも知られている。複数のネットワークカメラの映像を一つの画面に表示する場合には、複数の映像ウィンドウを並べて表示する必要がある。複数の映像を並べて表示する場合、監視者にとって、各映像がどこのカメラで撮影されているものか分かりやすいことが求められる。   2. Description of the Related Art There is known a network camera which connects to a network and outputs a communication packet of a captured video to the network. Also, a viewer that connects to a network and displays an image of a network camera is known. When displaying images from a plurality of network cameras on one screen, it is necessary to display a plurality of video windows side by side. When a plurality of videos are displayed side by side, it is necessary for the observer to easily understand which camera has captured each video.

特許文献1には、監視者が使い易いように遠隔地からの画像をモニタ上にドラッグ&ドロップ操作で自在に選択配置することが可能な装置が記載されている。特許文献2には、ネットワークに接続された複数の制御可能なカメラの中から一つを地図上において選択し、映像の表示およびカメラの制御を可能とするシステムが記載されている。   Patent Literature 1 describes a device that can freely select and arrange an image from a remote place on a monitor by a drag-and-drop operation so that a monitor can easily use the image. Patent Literature 2 describes a system that allows one of a plurality of controllable cameras connected to a network to be selected on a map to display an image and control the camera.

特開平9−289634号公報JP-A-9-289634 特開平9−289607号公報JP-A-9-289607

しかしながら、上述の従来の構成では、監視者が自分で映像レイアウトを作成しなくてはならなかったり、カメラを地図から選択する必要があったりと、監視者は何らかの行為をする必要があった。   However, in the above-described conventional configuration, the observer has to perform some action, such as the observer having to create the video layout himself or selecting the camera from the map.

そこで、本発明の目的は、複数の撮影装置により撮影された複数の画像を、対応する撮影装置が分かりやすいレイアウトで表示する技術を提供することである。   Therefore, an object of the present invention is to provide a technique for displaying a plurality of images photographed by a plurality of photographing devices in a layout that is easily understood by the corresponding photographing device.

上記目的を達成するため、本発明による表示制御装置は以下の構成を備える。即ち、
複数の撮影装置で撮影された複数の画像を取得する画像取得手段と、
前記複数の撮影装置の中からいずれかの撮影装置の選択を受け付ける受付手段と、
前記複数の撮影装置の位置を示す位置情報を取得する位置取得手段と、
前記位置取得手段によって取得された位置情報に基づいて、前記複数の画像を配列して表示手段に表示させる表示制御手段と
を有し、
前記位置取得手段は、前記位置情報として、前記受付手段において選択された撮影装置の撮影方向と当該撮影方向に直交する方向とに基づく直交座標系における座標値を取得し、
前記表示制御手段は、座標値の第一要素がより大きい撮影装置によって撮影された画像をより右方に配列し、座標値の第二要素がより大きい撮影装置によって撮影された画像をより上方に配列して表示させる
In order to achieve the above object, a display control device according to the present invention has the following configuration. That is,
Image acquisition means for acquiring a plurality of images photographed by a plurality of photographing devices,
Receiving means for receiving a selection of any one of the plurality of imaging devices,
Position acquisition means for acquiring position information indicating the positions of the plurality of imaging devices,
Display control means for arranging the plurality of images and displaying the images on a display means based on the position information acquired by the position acquisition means ,
Has,
The position acquiring unit acquires, as the position information, a coordinate value in an orthogonal coordinate system based on a photographing direction of the photographing device selected by the accepting unit and a direction orthogonal to the photographing direction,
The display control means arranges an image photographed by the photographing device having the first coordinate value larger than that of the photographing device, and an image photographed by the photographing device having the larger coordinate value second element more upwardly. Arrange and display .

本発明によれば、複数の撮影装置により撮影された複数の画像を、対応する撮影装置が分かりやすいレイアウトで表示する技術を提供することができる。   According to the present invention, it is possible to provide a technique for displaying a plurality of images photographed by a plurality of photographing devices in a layout that is easily understood by the corresponding photographing device.

ネットワークカメラシステムの構成を示す図Diagram showing the configuration of the network camera system 撮影装置及び表示装置の機能構成を示すブロック図FIG. 2 is a block diagram illustrating a functional configuration of a photographing device and a display device. 撮影装置及び表示装置のハードウェア構成を示すブロック図FIG. 2 is a block diagram illustrating a hardware configuration of an imaging device and a display device. 各撮影装置の地図上の配置の例を示す図Diagram showing an example of the arrangement of each imaging device on a map 各撮影装置の撮影対象を示す図Diagram showing the shooting target of each shooting device 表示装置が表示する映像ウィンドウのレイアウトを示す図Diagram showing a layout of a video window displayed by the display device 表示装置が表示する映像ウィンドウのレイアウトを示す図Diagram showing a layout of a video window displayed by the display device 表示装置が実行する処理の処理手順を示すフローチャート4 is a flowchart illustrating a processing procedure of processing performed by the display device. 各撮影装置の地図上の配置の例を示す図Diagram showing an example of the arrangement of each imaging device on a map 表示装置が表示する映像ウィンドウのレイアウトを示す図Diagram showing a layout of a video window displayed by the display device 表示装置が表示する映像ウィンドウのレイアウトを示す図Diagram showing a layout of a video window displayed by the display device 各撮影装置の撮影対象を示す図Diagram showing the shooting target of each shooting device 表示装置が表示する映像ウィンドウのレイアウトを示す図Diagram showing a layout of a video window displayed by the display device 表示装置における処理の処理手順を示すフローチャートFlowchart showing the processing procedure of processing in the display device 表示装置における処理の処理手順を示すフローチャートFlowchart showing the processing procedure of processing in the display device 表示装置における処理の処理手順を示すフローチャートFlowchart showing the processing procedure of processing in the display device

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

<<実施形態1>>
(ネットワークカメラシステム)
図1は、本発明の第一の実施形態(実施形態1)にかかわるネットワークカメラシステム(以下、「カメラシステム」と称する)の構成例を示す図である。本実施形態のカメラシステムは、ネットワーク101と、ネットワーク101に接続された複数の撮影装置102及び表示装置103を備えている。図1では3つの撮影装置102がネットワーク101に接続されている例を示しているが、撮影装置102の個数はいくつでもよい。撮影装置102は、ネットワーク101に向けて撮影した映像を配信する。表示装置103は、ネットワーク101に流れている撮影装置102が配信した映像を受信して表示する。ネットワーク101は有線/無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。
<< First Embodiment >>
(Network camera system)
FIG. 1 is a diagram illustrating a configuration example of a network camera system (hereinafter, referred to as a “camera system”) according to a first embodiment (Embodiment 1) of the present invention. The camera system according to the present embodiment includes a network 101, a plurality of image capturing apparatuses 102 and a display apparatus 103 connected to the network 101. FIG. 1 shows an example in which three photographing devices 102 are connected to the network 101, but the number of photographing devices 102 may be any number. The photographing device 102 distributes the photographed video to the network 101. The display device 103 receives and displays an image distributed by the imaging device 102 flowing on the network 101. Regardless of the wired / wireless form of the network 101, a necessary form of communication line is mounted according to the application and purpose.

(撮影装置及び表示装置の機能構成)
次に、撮影装置102及び表示装置103の詳細について、図2を参照して説明する。図2は、撮影装置102及び表示装置103の機能構成を示すブロック図である。
(Functional configuration of imaging device and display device)
Next, details of the imaging device 102 and the display device 103 will be described with reference to FIG. FIG. 2 is a block diagram illustrating a functional configuration of the imaging device 102 and the display device 103.

●撮影装置
撮影装置102は、撮影部111、制御部112、及び、通信部113を備えている。撮影部111は、撮影装置102に接続されるカメラ等の撮影デバイスによってライブ映像を取得する。撮影部111は、例えば、1秒間に30フレーム分の画像を取得して、30fpsの動画像を取得することが可能である。本実施形態では、撮影部111は、撮影デバイスから取得したビデオ画像をH264等のネットワーク配信可能なデジタル画像データに変換する(エンコードする)機能も提供する。以降の説明において、「ライブ映像」あるいは「画像データ」は、撮影部111によって生成されたデジタル画像データであるとして説明する。なお、本実施形態では、映像(動画像)を撮影して表示する場合の例を説明するが、表示対象は静止画像でもよい。
Image capturing device The image capturing device 102 includes an image capturing unit 111, a control unit 112, and a communication unit 113. The imaging unit 111 acquires a live video using an imaging device such as a camera connected to the imaging device 102. The photographing unit 111 can acquire, for example, an image for 30 frames per second to acquire a moving image at 30 fps. In the present embodiment, the imaging unit 111 also provides a function of converting (encoding) a video image acquired from an imaging device into digital image data such as H264 that can be distributed over a network. In the following description, “live video” or “image data” will be described as digital image data generated by the imaging unit 111. In the present embodiment, an example in which a video (moving image) is captured and displayed will be described. However, a display target may be a still image.

制御部112は、ユーザーの指示に応じて、撮影装置102の画角や撮影方向、1秒あたりのフレーム数、取得する画像の種類等の撮影条件を調整する。ユーザーの指示は、ネットワーク101を介して表示装置103から行ってもよいし、直接、撮影装置102に接続したコンソール端末によって行ってもよい。また、制御部112による撮影条件の調整は、撮影装置102に予め記憶された設定値に応じて行うこともできる。制御部112は、表示装置103から送信される命令に応じて、画像データ生成開始/終了などの撮影部111の制御を行う。   The control unit 112 adjusts shooting conditions such as the angle of view and shooting direction of the shooting device 102, the number of frames per second, and the type of image to be obtained, in accordance with a user's instruction. The user's instruction may be given from the display device 103 via the network 101 or may be given directly from a console terminal connected to the imaging device 102. Further, the adjustment of the photographing conditions by the control unit 112 can be performed according to the set values stored in the photographing device 102 in advance. The control unit 112 controls the imaging unit 111 such as start / end of image data generation according to a command transmitted from the display device 103.

通信部113は、撮影部111が取得した画像データをネットワーク101経由で外部の情報処理装置(例えば、表示装置103等)へ送信する。また、通信部113は、外部の情報処理装置において設定された、撮影部111を制御するための設定情報や命令を受信し、制御部112はその設定情報や命令に従って撮影装置102の動作を制御する。   The communication unit 113 transmits the image data acquired by the imaging unit 111 to an external information processing device (for example, the display device 103) via the network 101. The communication unit 113 receives setting information and a command for controlling the photographing unit 111 set in the external information processing apparatus, and the control unit 112 controls the operation of the photographing device 102 according to the setting information and the command. I do.

●表示装置
表示装置103は、通信部121、表示部122、入力部123、表示制御部124、及び、撮影制御部125を備えている。通信部121は、撮影装置102から送信される画像データを受信する。また、通信部121は、ユーザーが表示装置103を使用して設定した設定情報や制御情報、配信命令を撮影装置102へ送信する。
Display Device The display device 103 includes a communication unit 121, a display unit 122, an input unit 123, a display control unit 124, and a shooting control unit 125. The communication unit 121 receives image data transmitted from the imaging device 102. In addition, the communication unit 121 transmits setting information, control information, and a distribution command set by the user using the display device 103 to the imaging device 102.

表示部122は、撮影装置102から配信された画像データ等を表示する。入力部123は、撮影装置102の設定を変更するための設定情報等の指示をユーザーから入力する。複数台の撮影装置102をネットワーク101に接続する場合には、入力部123は、1画面で複数台分の撮影画像を表示部122に表示するための指示を入力することができる。   The display unit 122 displays image data and the like distributed from the imaging device 102. The input unit 123 inputs an instruction such as setting information for changing the setting of the imaging device 102 from a user. When a plurality of photographing devices 102 are connected to the network 101, the input unit 123 can input an instruction to display the photographed images of the plurality of devices on the display unit 122 on one screen.

表示制御部124は、撮影装置102から送信された画像や、設定画面等を表示部122に表示する制御を行う。また、表示制御部124は、複数の撮影装置102から送信される映像を所定間隔で順次切り換えて表示する制御を行うこともできる。また、圧縮された画像データをデコードすることもできる。   The display control unit 124 performs control to display the image transmitted from the imaging device 102, the setting screen, and the like on the display unit 122. Further, the display control unit 124 can also perform control of sequentially switching and displaying images transmitted from the plurality of imaging devices 102 at predetermined intervals. Further, it is also possible to decode the compressed image data.

撮影制御部125は、入力部123で設定された設定情報に応じて、撮影装置102の撮影方向や画角を含む撮影条件を算出して、撮影装置102の撮影を制御する。また、撮影制御部125は、撮影装置102の画像のエンコード方式や毎秒あたりのフレーム数、通信等の各種制御パラメータ、画像配信制御命令についても指示することができる。   The imaging control unit 125 calculates imaging conditions including an imaging direction and an angle of view of the imaging device 102 according to the setting information set by the input unit 123, and controls the imaging of the imaging device 102. Further, the image capturing control unit 125 can also instruct an image encoding method of the image capturing apparatus 102, the number of frames per second, various control parameters such as communication, and an image distribution control command.

(撮影装置及び表示装置のハードウェア構成)
図3は、撮影装置102及び表示装置103のハードウェア構成を示すブロック図である。
(Hardware configuration of imaging device and display device)
FIG. 3 is a block diagram illustrating a hardware configuration of the imaging device 102 and the display device 103.

●撮影装置
撮影装置102において、CPU(中央演算処理装置)201は、撮影装置102を統括制御する制御装置である。ROM(読出し専用メモリ)202は、CPU201が撮影装置102を制御するためのコンピュータプログラムを記憶する。ここでは、ROM202に代えて、2次記憶装置を有する構成であっても差し支えない。RAM(書込み可能メモリ)203は、ROM202から読み出したプログラムを展開し、処理を実行するためのメモリである。また、RAM203は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。
Image capturing device In the image capturing device 102, a CPU (Central Processing Unit) 201 is a control device that performs overall control of the image capturing device 102. A ROM (read-only memory) 202 stores a computer program for the CPU 201 to control the imaging device 102. Here, a configuration having a secondary storage device instead of the ROM 202 may be used. A RAM (writable memory) 203 is a memory for expanding a program read from the ROM 202 and executing processing. The RAM 203 is also used as a temporary storage memory as a storage area for temporarily storing data to be subjected to various processes.

ネットワークインタフェース204は、ネットワーク101を介して通信を行う回路である。ネットワークインタフェース204は、例えば、表示装置103への画像データや設定情報、エラー情報の送信、及び表示装置103からの設定情報、画像配信制御命令の受信のために使用される。撮影デバイス205は、ライブ画像を動画及び静止画として撮影する画像センサを有するデバイスである。撮影デバイス205は、画角や撮影方向等の撮影条件を自動調整することもできる。また、撮影デバイス205は、パン、チルト及びズーム機構を有し、CPU201の制御によって、パン、チルト及びズーム(望遠制御/広角制御)動作を実行する。   The network interface 204 is a circuit that performs communication via the network 101. The network interface 204 is used, for example, to transmit image data, setting information, and error information to the display device 103, and to receive setting information and an image distribution control command from the display device 103. The imaging device 205 is a device having an image sensor that captures a live image as a moving image and a still image. The photographing device 205 can also automatically adjust photographing conditions such as an angle of view and a photographing direction. Further, the imaging device 205 has a pan, tilt, and zoom mechanism, and executes pan, tilt, and zoom (telephoto control / wide-angle control) operations under the control of the CPU 201.

撮影装置102は、一般的にネットワークカメラが使用できる。また、アナログカメラの場合には、エンコードやネットワーク接続をするための機器を接続して使用することがきできる。   Generally, a network camera can be used as the image capturing device 102. In the case of an analog camera, a device for encoding or network connection can be used.

●表示装置
表示装置103において、CPU210は、表示装置103を統括制御する制御装置である。2次記憶装置211は、CPU210が表示装置103を制御するためのプログラムを記憶する。RAM212は、2次記憶装置211から読み出したプログラムを展開し、処理を実行するためのメモリである。また、RAM212は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。
Display Device In the display device 103, the CPU 210 is a control device that controls the display device 103. The secondary storage device 211 stores a program for the CPU 210 to control the display device 103. The RAM 212 is a memory for expanding a program read from the secondary storage device 211 and executing processing. The RAM 212 is also used as a temporary storage memory as a storage area for temporarily storing data to be subjected to various processes.

ネットワークインタフェース213は、ネットワーク101を介して通信を行う回路である。ネットワークインタフェース213は、例えば、撮影装置102からの画像データや設定情報の受信、及び撮影装置102への設定情報の送信のために使用される。表示デバイス214は、画像データや表示枠を表示するディスプレイ等のデバイスである。入力装置215は、数値入力用のキーボード及び表示デバイス214の表示領域の特定の表示位置を指示するための装置であり、ポインティングデバイスやタッチパネル等が用いられる。   The network interface 213 is a circuit that performs communication via the network 101. The network interface 213 is used, for example, for receiving image data and setting information from the imaging device 102 and transmitting setting information to the imaging device 102. The display device 214 is a device such as a display that displays image data and a display frame. The input device 215 is a device for instructing a specific display position in a display area of the display device 214 with a keyboard for inputting numerical values, and uses a pointing device, a touch panel, or the like.

以上のように、表示装置103のハードウェア構成は、一般的なPC(パーソナルコンピュータ)やタブレット端末等の汎用的な情報処理装置に搭載されるハードウェア構成要素と同様のハードウェア構成要素を有している。そのため、表示装置103で実現される各種機能を、一般的なPC等上で動作するソフトウェアとして実装することが可能である。   As described above, the hardware configuration of the display device 103 has the same hardware components as those mounted on general-purpose information processing devices such as a general PC (personal computer) and tablet terminal. are doing. Therefore, various functions realized by the display device 103 can be implemented as software that operates on a general PC or the like.

(撮影装置の位置関係)
図4は各撮影装置の地図上の位置を説明する図である。図4(a)は、4箇所に設置した撮影装置102の場所をアイコンで地図上にあらわしている。撮影装置102が設置された場所に対応する地図上の位置に、撮影装置A401、撮影装置B402、撮影装置C403および撮影装置D404の場所を示すアイコンが置かれている。撮影装置A401、撮影装置B402、撮影装置C403および撮影装置D404は、撮影装置102と同様の構成をしていて、同様にネットワーク101に接続されている。
(Position relation of photographing device)
FIG. 4 is a diagram for explaining the position of each photographing device on the map. In FIG. 4A, the locations of the imaging devices 102 installed at four locations are represented on the map by icons. Icons indicating the locations of the imaging devices A401, B402, C403, and D404 are placed at positions on the map corresponding to the locations where the imaging devices 102 are installed. The photographing device A401, the photographing device B402, the photographing device C403, and the photographing device D404 have the same configuration as the photographing device 102, and are similarly connected to the network 101.

図4(b)は、4つの撮影装置アイコンが指す撮影装置102のそれぞれの位置座標を表している。地図上の東方向を座標の第一要素、北方向を座標の第二要素とすると、撮影装置A401は座標(80,60)、撮影装置B402は座標(120,90)、撮影装置C403は座標(40,40)そして撮影装置D404は座標(20,100)に位置する。   FIG. 4B illustrates the position coordinates of each of the imaging devices 102 indicated by the four imaging device icons. Assuming that the east direction on the map is the first element of the coordinates and the north direction is the second element of the coordinates, the imaging device A401 has the coordinates (80, 60), the imaging device B402 has the coordinates (120, 90), and the imaging device C403 has the coordinates. (40, 40) And the imaging device D404 is located at the coordinates (20, 100).

(各撮影装置の映像)
図5は図4で説明した4つの撮影装置102が撮影している映像を表している。図5の例では、撮影装置A401は道路を撮影し、撮影装置B402は川を撮影し、撮影装置C403は自転車を撮影し、そして撮影装置D404は山を撮影している。
(Video of each shooting device)
FIG. 5 illustrates images captured by the four image capturing apparatuses 102 described with reference to FIG. In the example of FIG. 5, the photographing device A401 photographs a road, the photographing device B402 photographs a river, the photographing device C403 photographs a bicycle, and the photographing device D404 photographs a mountain.

(映像ウィンドウ)
図6は表示装置103が表示する映像ウィンドウを説明する図である。図6(a)の4つの長方形は表示装置103が表示している映像ウィンドウをあらわしている。ウィンドウの中の数字は映像を撮影している各撮影装置の記号をあらわしている。左上のウィンドウには撮影装置A401の映像、右上には撮影装置B402の映像、左下には撮影装置C403の映像、そして右下には撮影装置D404の映像が表示される。
(Video window)
FIG. 6 is a diagram illustrating a video window displayed by the display device 103. The four rectangles in FIG. 6A represent a video window displayed on the display device 103. The numbers in the window represent the symbols of each photographing device that is photographing the video. The upper left window displays an image of the imaging device A401, the upper right displays an image of the imaging device B402, the lower left displays an image of the imaging device C403, and the lower right displays an image of the imaging device D404.

実際には、図6(b)のように各ウィンドウには撮影された映像が実際に表示される。図6(b)の例では、左上のウィンドウには道路、右上には川、左下には自転車、そして右下には山が表示されている。   Actually, the captured video is actually displayed in each window as shown in FIG. In the example of FIG. 6B, a road is displayed in the upper left window, a river is displayed in the upper right, a bicycle is displayed in the lower left, and a mountain is displayed in the lower right.

図6の映像レイアウト表示手法は、撮影装置A、撮影装置B、撮影装置C、そして撮影装置Dの記号順に左上のウィンドウから右方向そして一段下げて、また、左下のウィンドウから右方向に並べたものである。この配置は撮影装置102の配置場所と関係なく並べたものなので、映像全体を見たときにユーザーは一つ一つの映像がどこの撮影装置102によって撮影されたものか位置関係を把握しにくい。   In the video layout display method of FIG. 6, the symbols of the photographing apparatus A, the photographing apparatus B, the photographing apparatus C, and the photographing apparatus D are arranged rightward and down by one step from the upper left window, and arranged rightward from the lower left window. Things. Since this arrangement is arranged irrespective of the arrangement position of the photographing device 102, it is difficult for the user to grasp the positional relationship of each photographing device 102 when viewing the entire image.

図7は撮影装置の座標値を基準にして映像レイアウトを作成した映像ウィンドウを説明する図である。図7(a)は図6(a)と同様に、長方形は表示装置103が表示している映像ウィンドウをあらわし、ウィンドウの中の数字は映像を撮影している各撮影装置の記号をあらわしている。   FIG. 7 is a diagram illustrating a video window in which a video layout has been created based on the coordinate values of the photographing device. In FIG. 7A, similarly to FIG. 6A, a rectangle represents a video window displayed on the display device 103, and a number in the window represents a symbol of each photographing device that is capturing a video. I have.

図4を使って説明した各撮影装置の座標値を基準にして、ウィンドウの右方向を座標値の第一要素のプラス方向に、ウィンドウの上方向を座標値の第二要素のプラス方向に対応させる。座標値の第二要素を用いて、上の段に2つの映像、下の段に残りの2つの映像というように分ける。まず第二要素の上位2つを選択すると撮影装置B402(第二要素:90)と撮影装置D404(第二要素:100)になり、この二つが上の段での表示対象となる。残りの2つの撮影装置A401(第二要素:60)と撮影装置C403(第二要素:40)が下の段になる。   Based on the coordinate values of each photographing device described with reference to FIG. 4, the right direction of the window corresponds to the positive direction of the first element of the coordinate value, and the upward direction of the window corresponds to the positive direction of the second element of the coordinate value. Let it. Using the second element of the coordinate values, the upper image is divided into two images and the lower image is divided into the remaining two images. First, when the top two of the second elements are selected, the image capturing apparatus B402 (second element: 90) and the image capturing apparatus D404 (second element: 100) are displayed, and these two are to be displayed in the upper row. The remaining two photographing devices A401 (second element: 60) and photographing device C403 (second element: 40) are in the lower row.

次に座標値の第一要素の比較を行う。上の段においては第一要素が小さい撮影装置D404(第一要素:20)が左のウィンドウ、撮影装置B402(第一要素:90)が右のウィンドウになる。下の段においては第一要素が小さい撮影装置C403(第一要素:40)が左のウィンドウ、撮影装置A401(第一要素:80)が右のウィンドウになる。この配置によって撮影装置の配置に合わせた映像ウィンドウを作成することができ、ユーザーに撮影装置の位置関係が分かりやすい配置になる。   Next, the first element of the coordinate value is compared. In the upper row, the imaging device D404 (first element: 20) having a small first element is the left window, and the imaging device B402 (first element: 90) is the right window. In the lower row, the imaging device C 403 (first element: 40) having a small first element is the left window, and the imaging device A 401 (first element: 80) is the right window. With this arrangement, it is possible to create a video window in accordance with the arrangement of the photographing devices, and the arrangement makes it easy for the user to understand the positional relationship of the photographing devices.

(処理手順)
次に、表示装置103が実行する処理の処理手順について、図8を参照して説明する。図8は、表示装置103の動作の処理手順を示すフローチャートである。図8の各ステップは、表示装置103のCPU210の制御に基づき実行される。
(Processing procedure)
Next, a processing procedure of processing executed by the display device 103 will be described with reference to FIG. FIG. 8 is a flowchart illustrating a processing procedure of the operation of the display device 103. Each step in FIG. 8 is executed under the control of the CPU 210 of the display device 103.

まずS101において、表示装置103は、複数の撮影装置102の各々から配信された複数の映像データ(画像)をネットワーク101を介して受信して取得する画像取得処理を行う。   First, in step S101, the display device 103 performs image acquisition processing of receiving and acquiring a plurality of video data (images) distributed from each of the plurality of imaging devices 102 via the network 101.

次に、S102において、表示装置103は、各撮影装置102の位置情報を取得する位置取得を行う。位置情報としては、例えば、前述のように二次元の座標値を取得することができる。一例として、表示装置103は、通信部121によって、位置情報を取得する。   Next, in S102, the display device 103 performs position acquisition for acquiring position information of each imaging device 102. As the position information, for example, a two-dimensional coordinate value can be acquired as described above. As an example, the display device 103 acquires the position information by the communication unit 121.

次に、S103において、表示装置103は、取得された位置情報に基づいて、複数の映像データの表示位置を決定する。そして、S104において、表示装置は、S103で決定した表示位置に従い、複数の映像データを配列して表示部122に表示させる表示制御を行う。   Next, in S103, the display device 103 determines display positions of a plurality of pieces of video data based on the acquired position information. Then, in S104, the display device performs display control for arranging a plurality of video data and displaying the video data on the display unit 122 according to the display position determined in S103.

前述のように、例えば、第1の座標値がより大きい撮影装置によって撮影された画像をより右方に配列し、第2の座標値がより大きい撮影装置によって撮影された画像をより上方に配列して表示させることができる。これにより、表示装置103のユーザは、各映像データに対応する撮影装置の位置を直感的に把握することができる。   As described above, for example, an image captured by an imaging device having a larger first coordinate value is arranged to the right, and an image captured by an imaging device having a larger second coordinate value is arranged further upward. Can be displayed. Thereby, the user of the display device 103 can intuitively grasp the position of the imaging device corresponding to each piece of video data.

また、図7のように、複数の映像データをマトリクス状に配列して表示させることで、一般に矩形の形状を有する映像データを矩形の表示デバイス214に効率的に配列することができる。その際、図7を参照して説明したように、以下の条件を満たすように配列することができる。
・マトリクスのある行に属する画像を撮影した撮影装置の第2の座標値はその行よりも下方の行に属する画像を撮影した撮影装置の第2の座標値のいずれの値よりも大きい。
・マトリクスの各行において、第1の座標値がより大きい撮影装置によって撮影された画像はより右方に配列される。
このように配置することで、ユーザは、映像データの配置から、その映像データを撮影した撮影装置の位置関係を容易に認識することができる。例えば、図4のように、撮影装置の位置情報として、東方向と北方向に基づく二次元の座標値を取得するようにした場合、映像データの配置と、映像データを撮影した撮影装置の地図上の位置とが概ね対応している。このため、ユーザは、各映像データを撮影した撮影装置の位置関係を直感的に把握することができる。
In addition, by arranging a plurality of pieces of video data in a matrix as shown in FIG. 7, video data having a generally rectangular shape can be efficiently arranged on the rectangular display device 214. At this time, as described with reference to FIG. 7, the arrays can be arranged so as to satisfy the following conditions.
The second coordinate value of the image capturing apparatus that has captured an image belonging to a certain row of the matrix is larger than any of the second coordinate values of the image capturing apparatus that has captured an image belonging to a row below that row.
In each row of the matrix, the images captured by the imaging device having the larger first coordinate value are arranged to the right.
By arranging in this way, the user can easily recognize the positional relationship of the imaging device that has captured the video data from the layout of the video data. For example, as shown in FIG. 4, when two-dimensional coordinate values based on the east direction and the north direction are acquired as the position information of the imaging device, the arrangement of the video data and the map of the imaging device that captured the video data The upper position generally corresponds. For this reason, the user can intuitively grasp the positional relationship of the photographing device that has photographed each video data.

以上のように複数の撮影装置の映像を表示する表示装置において、撮影装置の位置を基準に映像のレイアウトを作成することで、ユーザーにとって撮影装置の位置関係を把握しやすい映像ウィンドウ配置を実現することができる。   As described above, in a display device that displays images of a plurality of imaging devices, a video layout is created based on the positions of the imaging devices, thereby realizing a video window arrangement that allows a user to easily grasp the positional relationship of the imaging devices. be able to.

なお、本実施形態では、撮影装置の位置情報に基づいて、複数の映像データをマトリクス状に配列して表示する例を中心に説明したが、画像の配列はマトリクス状のものに限られない。例えば、図4(a)の401〜404に対応する位置にそれぞれ重ならない大きさの映像データを配置して表示するようにしてもよい。あるいは、四角形以外の多角形(例えば、三角形や六角形)を単位としてメッシュ状に配置してもよい。   In the present embodiment, an example in which a plurality of pieces of video data are arranged in a matrix and displayed based on the position information of the imaging device has been mainly described, but the arrangement of images is not limited to a matrix. For example, video data having a size that does not overlap each other may be arranged and displayed at positions corresponding to 401 to 404 in FIG. Alternatively, a polygon other than a quadrangle (for example, a triangle or a hexagon) may be arranged in a mesh unit.

また、本実施形態では、撮影装置の位置情報として二次元座標値を取得する場合の例を説明したが、この位置情報は二次元座標値以外の値でもよい。例えば、撮影装置が直線的に配置されているようなシステムにおいては、一次元座標値により撮影装置の位置を表すことができる。あるいは、例えば、一定の構内や建物に複数の撮影装置が配置されているようなシステムにおいては、高さを考慮した3次元座標値により撮影装置の位置を表してもよい。また、撮影装置の位置情報は、撮影装置間の相対的な位置がわかる情報であればよい。   Further, in the present embodiment, an example has been described in which two-dimensional coordinate values are acquired as position information of the imaging device. However, the position information may be a value other than the two-dimensional coordinate values. For example, in a system in which the imaging devices are linearly arranged, the position of the imaging device can be represented by one-dimensional coordinate values. Alternatively, for example, in a system in which a plurality of photographing devices are arranged in a certain campus or building, the position of the photographing device may be represented by three-dimensional coordinate values considering height. Further, the position information of the photographing device may be any information as long as the relative position between the photographing devices can be known.

また、複数の映像データをマトリクス状に配列して表示させる場合、以下の条件を満たすように配列してもよい。
・マトリクスのある列に属する画像を撮影した撮影装置の第1の座標値はその列よりも左方の列に属する画像を撮影した撮影装置の第1の座標値のいずれの値よりも大きい。
・マトリクスの各列において、第2の座標値がより大きい撮影装置によって撮影された画像はより上方に配列される。
When a plurality of video data are arranged and displayed in a matrix, they may be arranged so as to satisfy the following conditions.
The first coordinate value of the image capturing device that has captured an image belonging to a certain column of the matrix is larger than any of the first coordinate values of the image capturing device that has captured an image belonging to a column to the left of that column.
In each column of the matrix, the images captured by the imaging device having the larger second coordinate value are arranged higher.

<<実施形態2>>
実施形態1では、より北方に位置する撮影装置により撮影された映像データはより上方に、より東方に位置する撮影装置により撮影された映像データはより右方に配置する例を説明した。本発明の第二の実施形態(実施形態2)では、撮影装置の向きを基準に映像レイアウトを作成する例を説明する。
<< Embodiment 2 >>
In the first embodiment, an example has been described in which video data captured by an imaging device located further north is disposed above and video data captured by an imaging device located further east is disposed further to the right. In a second embodiment (Embodiment 2) of the present invention, an example will be described in which a video layout is created based on the orientation of a shooting device.

本実施形態におけるカメラシステムは、実施形態1と同様に図1により示される。本実施形態における撮影装置102及び表示装置103の構成も、実施形態1と同様に、図2、図3により示される。また、本実施形態における表示装置103による処理手順も、実施形態1と同様に、図8により示される。   The camera system according to the present embodiment is shown in FIG. The configurations of the imaging device 102 and the display device 103 in the present embodiment are also shown in FIGS. 2 and 3 as in the first embodiment. Further, the processing procedure by the display device 103 in the present embodiment is also shown in FIG. 8 as in the first embodiment.

(撮影装置の位置関係)
図9は各撮影装置102の地図上の位置を説明する図である。図9(a)は4箇所に設置した撮影装置102の場所をアイコンで地図上にあらわしている。撮影装置102が設置された対応する地図上に撮影装置A401、撮影装置B402、撮影装置C403および撮影装置D404の場所を示すアイコンが置かれている。撮影装置A401、撮影装置B402、撮影装置C403および撮影装置D404は、撮影装置102と同様の構成をしていて、同様にネットワーク101に接続されている。
(Position relation of photographing device)
FIG. 9 is a diagram for explaining the position of each photographing device 102 on the map. FIG. 9A shows the locations of the imaging devices 102 installed at four locations on the map by icons. Icons indicating the locations of the imaging devices A401, B402, C403, and D404 are placed on the corresponding map on which the imaging device 102 is installed. The photographing device A401, the photographing device B402, the photographing device C403, and the photographing device D404 have the same configuration as the photographing device 102, and are similarly connected to the network 101.

図9(b)は撮影装置D404を基準にした各撮影装置アイコンが指す相対位置座標をあらわしている。撮影装置D404の撮影方向の水平成分をY軸方向とし、それと直交して水平面上にあり、上空から見て右回り(時計回り)に90度回転した方向をX軸方向とする。そのような座標系の元で座標の第一要素をX成分、座標の第二要素をY成分とする。撮影装置A401は座標(20,80)、撮影装置B402は座標(−30、100)、撮影装置C403は座標(60,20)そして撮影装置D404は座標(0、0)に位置する。   FIG. 9B shows the relative position coordinates indicated by each photographing device icon with respect to the photographing device D404. The horizontal component of the photographing direction of the photographing device D404 is defined as the Y-axis direction, and the direction orthogonal to the horizontal component on the horizontal plane and rotated clockwise (clockwise) by 90 degrees as viewed from above is defined as the X-axis direction. Under such a coordinate system, the first element of the coordinates is an X component, and the second element of the coordinates is a Y component. The imaging device A 401 is located at coordinates (20, 80), the imaging device B 402 is located at coordinates (−30, 100), the imaging device C 403 is located at coordinates (60, 20), and the imaging device D 404 is located at coordinates (0, 0).

(各撮影装置の映像)
図9を参照して説明した4つの撮影装置が撮影している映像は、実施形態1と同様に図5により表される。すなわち、撮影装置A401は道路を撮影し、撮影装置B402は川を撮影し、撮影装置C403は自転車を撮影し、そして撮影装置D404は山を撮影している。
(Video of each shooting device)
The images captured by the four image capturing apparatuses described with reference to FIG. 9 are represented by FIG. 5 similarly to the first embodiment. That is, the photographing device A401 photographs a road, the photographing device B402 photographs a river, the photographing device C403 photographs a bicycle, and the photographing device D404 photographs a mountain.

(映像ウィンドウ)
実施形態1において説明したように、図6のように各撮影装置102の映像ウィンドウを記号順に配置すると、映像全体を見たときにユーザーは一つ一つの映像がどこの撮影装置102によって撮影されたものか把握しにくい。
(Video window)
As described in the first embodiment, by arranging the video windows of each imaging device 102 in symbol order as shown in FIG. 6, when viewing the entire video, the user can view each video by which imaging device 102 It is difficult to grasp whether it is.

図10は撮影装置の位置と撮影方向を基準にして映像レイアウトを作成した映像ウィンドウを説明する図である。図10(a)は図6(a)と同様に、長方形は表示装置103が表示している映像ウィンドウをあらわし、ウィンドウの中の数字は映像を撮影している各撮影装置の記号をあらわしている。   FIG. 10 is a diagram illustrating a video window in which a video layout has been created based on the position of the photographing device and the photographing direction. In FIG. 10A, as in FIG. 6A, a rectangle represents a video window displayed on the display device 103, and a number in the window represents a symbol of each imaging device that is capturing an image. I have.

図9を使って説明した各撮影装置の座標値を基準にして、ウィンドウの右方向を座標値の第一要素のプラス方向に、ウィンドウの上方向を座標値の第二要素のプラス方向に対応させる。座標値の第二要素を用いて、上の段に2つの映像、下の段に残りの2つの映像という風に分ける。まず第二要素の上位2つを選択すると撮影装置A401(第二要素:80)と撮影装置B402(第二要素:100)になり、この二つが上の段での表示対象となる。残りの2つの撮影装置C403(第二要素:20)と撮影装置D404(第二要素:0)が下の段になる。   Based on the coordinate values of each photographing device described with reference to FIG. 9, the right direction of the window corresponds to the positive direction of the first element of the coordinate value, and the upward direction of the window corresponds to the positive direction of the second element of the coordinate value. Let it. Using the second element of the coordinate values, the upper image is divided into two images, and the lower image is divided into the remaining two images. First, when the top two of the second elements are selected, the image capturing apparatus A 401 (second element: 80) and the image capturing apparatus B 402 (second element: 100) are displayed, and these two are to be displayed in the upper row. The remaining two photographing devices C403 (second element: 20) and photographing device D404 (second element: 0) are in the lower row.

次に座標値の第一要素の比較を行う。上の段においては第一要素が小さい撮影装置B402(第一要素:−30)が左のウィンドウ、撮影装置A401(第一要素:20)が右のウィンドウになる。下の段においては第一要素が小さい撮影装置D404(第一要素:0)が左のウィンドウ、撮影装置C403(第一要素:60)が右のウィンドウになる。   Next, the first element of the coordinate value is compared. In the upper row, the imaging device B402 (first element: -30) having a small first element is the left window, and the imaging device A401 (first element: 20) is the right window. In the lower row, the imaging device D404 (first element: 0) having a small first element is the left window, and the imaging device C403 (first element: 60) is the right window.

以上のように本実施形態では、複数の撮影装置の映像を表示する表示装置において、
撮影装置の位置情報として、ユーザにより設定された座標系に基づく二次元の座標値を取得し、この座標値に基づき映像データを配置して表示する。具体的には、基準となるカメラの撮影方向を基準方向として、相対的な撮影装置の配置関係を用いて映像レイアウトを作成する。このため、ユーザーにとって撮影装置の位置関係を把握しやすい映像ウィンドウ配置を実現することができる。
As described above, in the present embodiment, in a display device that displays images of a plurality of imaging devices,
A two-dimensional coordinate value based on a coordinate system set by a user is acquired as position information of the imaging device, and video data is arranged and displayed based on the coordinate values. More specifically, a video layout is created using the relative arrangement relationship of the photographing devices with the photographing direction of the reference camera as the reference direction. For this reason, it is possible to realize a video window arrangement that makes it easy for the user to grasp the positional relationship of the imaging devices.

(パン回転)
次に撮影装置D404のパン(水平)回転させた場合について説明する。表示装置103の入力部123を使用してユーザーが撮影装置D404をパン回転する命令を入力する。入力された命令は撮影制御部125に伝わり、そこからさらに通信部121に伝わる。通信部121は撮影装置D404が解釈することができる形に命令を変換してネットワーク101に向けて命令を送信する。撮影装置D404の通信部113は、ネットワーク101に流れた命令を受信する。通信部113は制御部112に命令を伝え、そして制御部112は受信した命令に従って撮影部111のパン回転を行う。
(Pan rotation)
Next, a case where the imaging device D404 is rotated by pan (horizontal) will be described. Using the input unit 123 of the display device 103, the user inputs a command to pan the imaging device D404. The input command is transmitted to the photographing control unit 125, and further transmitted to the communication unit 121. The communication unit 121 converts the command into a format that can be interpreted by the imaging device D404 and transmits the command to the network 101. The communication unit 113 of the photographing device D404 receives the command sent to the network 101. The communication unit 113 transmits a command to the control unit 112, and the control unit 112 performs pan rotation of the imaging unit 111 according to the received command.

図11はパン回転した後の撮影装置102の地図上の位置を説明する図である。図11(a)は4箇所に設置した撮影装置102の場所をアイコンで地図上にあらわしている。各アイコン位置は撮影装置102の位置が変わっていないのでパン回転する前と同様である。しかし撮影装置D404の撮影方向が変わっている。   FIG. 11 is a diagram illustrating the position on the map of the photographing device 102 after the pan rotation. In FIG. 11A, the locations of the imaging devices 102 installed at four locations are represented on the map by icons. Each icon position is the same as before panning because the position of the imaging device 102 has not changed. However, the imaging direction of the imaging device D404 has changed.

図11(b)は撮影装置D404を基準にした各撮影装置アイコンが指す相対位置座標をあらわしている。撮影装置D404の撮影方向の水平成分をY軸方向とし、それと直交して水平面上にあり、上空から見て右回りに90度回転した方向をX軸方向とする。パン回転する前と軸の方向が変化している。変化した座標系の元で座標の第一要素をX成分、座標の第二要素をY成分とする。撮影装置A401は座標(20,−80)、撮影装置B402は座標(70、−70)、撮影装置C403は座標(−20,−60)そして撮影装置D404は座標(0、0)に位置する。   FIG. 11B shows the relative position coordinates indicated by each photographing device icon based on the photographing device D404. The horizontal component of the imaging direction of the imaging device D404 is the Y-axis direction, and the direction orthogonal to the horizontal component on the horizontal plane and rotated clockwise by 90 degrees clockwise from the sky is the X-axis direction. The axis direction has changed before panning. Under the changed coordinate system, the first element of the coordinates is an X component, and the second element of the coordinates is a Y component. The imaging device A401 is located at coordinates (20, -80), the imaging device B402 is located at coordinates (70, -70), the imaging device C403 is located at coordinates (-20, -60), and the imaging device D404 is located at coordinates (0, 0). .

図12はパン回転した後の4つの撮影装置102が撮影している映像を表している。撮影装置A401は道路を撮影し、撮影装置B402は川を撮影し、撮影装置C403は自転車を撮影し、そして撮影装置D404はパン回転したことによって撮影対象が山から犬に変わっている。   FIG. 12 shows images captured by the four imaging devices 102 after the pan rotation. The photographing device A401 photographs a road, the photographing device B402 photographs a river, the photographing device C403 photographs a bicycle, and the photographing device D404 changes a panning target from a mountain to a dog by panning.

図13はパン回転後の撮影装置102の位置と撮影方向を基準にして映像レイアウトを作成した映像ウィンドウを説明する図である。図13(a)は図10(a)と同様に、長方形は表示装置103が表示している映像ウィンドウをあらわし、ウィンドウの中の数字は映像を撮影している各撮影装置102の記号をあらわしている。図11を使って説明した各撮影装置102の座標値を基準にして、ウィンドウの右方向を座標値の第一要素のプラス方向に、ウィンドウの上方向を座標値の第二要素のプラス方向に設定する。座標値の第二要素を用いて、上の段に2つの映像、下の段に残りの2つの映像という風に分ける。まず第二要素の上位2つを選択すると撮影装置C403(第二要素:−60)と撮影装置D404(第二要素:0)になり、この二つが上の段の表示対象になる。残りの2つの撮影装置A401(第二要素:−80)と撮影装置B402(第二要素:−70)が下の段になる。   FIG. 13 is a diagram illustrating a video window in which a video layout has been created based on the position and the shooting direction of the shooting device 102 after panning. In FIG. 13A, similarly to FIG. 10A, a rectangle indicates a video window displayed on the display device 103, and a number in the window indicates a symbol of each photographing device 102 which is capturing a video. ing. With reference to the coordinate value of each photographing device 102 described with reference to FIG. 11, the right direction of the window is the plus direction of the first element of the coordinate value, and the upward direction of the window is the plus direction of the second element of the coordinate value. Set. Using the second element of the coordinate values, the upper image is divided into two images, and the lower image is divided into the remaining two images. First, when the top two of the second elements are selected, the image capturing apparatus C403 (second element: -60) and the image capturing apparatus D404 (second element: 0) are displayed, and these two are to be displayed in the upper row. The remaining two photographing devices A401 (second element: -80) and photographing device B402 (second element: -70) are in the lower row.

次に座標値の第一要素の比較を行う。上の段においては第一要素が小さい撮影装置C403(第一要素:−20)が左のウィンドウ、撮影装置D404(第一要素:0)が右のウィンドウになる。下の段においては第一要素が小さい撮影装置A401(第一要素:20)が左のウィンドウ、撮影装置B402(第一要素:70)が右のウィンドウになる。 以上のように、本実施形態では、ユーザにより新たな座標系が設定された場合、当該新たな座標系に基づく二次元の座標値を取得し、この新たな座標系に基づく二次元の座標値に基づいて、複数の画像の配列を更新して表示させる。このため、ユーザが事後的に座標系を変更した場合においても、新たな座標系に合わせて映像データの配置を更新し、映像データに対応する撮影装置の配置を容易に把握可能とすることができる。例えば、パン回転することによって、基準となるカメラの撮影方向が変わるとそれに応じて映像レイアウトを変更することができる。ただしユーザーは変更後のレイアウトが使いやすければ、変更することもできるし、変更しないほうがよれればそのまま以前のレイアウトを使うこともできる。   Next, the first element of the coordinate value is compared. In the upper row, the imaging device C403 (first element: -20) having a small first element is the left window, and the imaging device D404 (first element: 0) is the right window. In the lower row, the imaging device A401 (first element: 20) having the smaller first element is the left window, and the imaging device B402 (first element: 70) is the right window. As described above, in the present embodiment, when a new coordinate system is set by the user, two-dimensional coordinate values based on the new coordinate system are obtained, and two-dimensional coordinate values based on the new coordinate system are obtained. , An array of a plurality of images is updated and displayed. For this reason, even when the user changes the coordinate system afterwards, the arrangement of the video data can be updated in accordance with the new coordinate system, and the arrangement of the imaging device corresponding to the video data can be easily grasped. it can. For example, by rotating the pan, if the shooting direction of the reference camera changes, the video layout can be changed accordingly. However, users can change the layout if it is easy to use, or they can use the previous layout if they prefer not to change it.

また、パン回転によって基準方向が変わるが、それによって映像レイアウトを変更するかどうかは、一定の閾値を使用して、閾値を超えるパン回転が起きた時にだけ変更するかどうかを選択できるようにしてもよい。また、上記の説明は水平面とパン回転に関して行ったが、それを垂直面とチルト回転に置き換えてもかまわない。また、任意の面と任意の回転で行ってもかまわない。   In addition, although the reference direction changes according to the pan rotation, whether or not to change the image layout by using a certain threshold value can be selected whether to change only when a pan rotation exceeding the threshold occurs. Is also good. Although the above description has been made with respect to the horizontal plane and the pan rotation, it may be replaced with the vertical plane and the tilt rotation. Further, the rotation may be performed with an arbitrary surface and an arbitrary rotation.

また、本実施形態では、複数の撮影装置の中からいずれかの撮影装置の選択を受け付ける受付処理を行い、この撮影装置の位置情報として、ユーザにより選択された撮影装置の撮影方向と、当該撮影方向に直交する方向とに基づく二次元の座標値を取得する。このため、ユーザは、映像データの配置の基となる座標系を容易に設定することが可能である。   Further, in the present embodiment, a reception process for receiving a selection of any one of the plurality of imaging devices is performed, and the imaging direction of the imaging device selected by the user and the imaging A two-dimensional coordinate value based on the direction orthogonal to the direction is obtained. For this reason, the user can easily set the coordinate system on which the arrangement of the video data is based.

以上説明したように基準となるカメラの撮影方向に応じて表示装置103の映像レイアウトを作成することで、ユーザーは映像を撮影している撮影装置の位置関係を容易に把握することができる。   As described above, by creating the video layout of the display device 103 in accordance with the shooting direction of the camera serving as the reference, the user can easily grasp the positional relationship of the shooting device that is shooting the video.

<<実施形態3>>
本発明の第三の実施形態(実施形態3)におけるカメラシステム、撮影装置102及び表示装置103の構成は実施形態1と同様である。本実施形態では、表示装置103が映像レイアウトを作成した後に次の処理を行う。
<< Embodiment 3 >>
The configurations of the camera system, the imaging device 102, and the display device 103 in the third embodiment (Embodiment 3) of the present invention are the same as those in Embodiment 1. In the present embodiment, the following processing is performed after the display device 103 creates the video layout.

表示装置103は撮影装置102の映像レイアウトを表示すると同時に図4(a)の地図を表示する。そして映像ウィンドウと撮影装置102の関係が分かるように次の処理を行う。
・映像と対応する撮影装置のアイコンを線で結んで表示する。
・映像と対応する撮影装置のアイコンを同色の枠で囲んで表示する。
・映像と対応する撮影装置のアイコンに同一の番号もしくは記号を付して表示する。
The display device 103 displays the video layout of the photographing device 102 and at the same time displays the map of FIG. Then, the following processing is performed so that the relationship between the video window and the imaging device 102 can be understood.
-The image and the icon of the corresponding photographing device are connected by a line and displayed.
-The icon of the imaging device corresponding to the video is displayed with a frame of the same color.
-The same number or symbol is attached to the icon of the imaging device corresponding to the video and displayed.

このように、本実施形態では、複数の撮影装置の配置を示す配置図を表示部122にさらに表示させ、配置図により示される撮影装置と、当該撮影装置により撮影された画像との対応関係を示して、複数の画像を表示させる。このため、ユーザは、画像とその画像を撮影した撮影装置との対応関係をより一層分かりやすくすることができる。   As described above, in the present embodiment, an arrangement diagram indicating the arrangement of a plurality of imaging devices is further displayed on the display unit 122, and the correspondence between the imaging device indicated by the arrangement diagram and the image captured by the imaging device is displayed. To display a plurality of images. For this reason, the user can further easily understand the correspondence between the image and the photographing device that has photographed the image.

<<実施形態4>>
本発明の第四の実施形態(実施形態4)におけるカメラシステム、撮影装置102及び表示装置103の構成は実施形態2と同様である。本実施形態では、映像レイアウトの作成を、地図上で対象の撮影装置102を選択した後に行う。その処理の流れをフローチャートを使って説明する。
<< Embodiment 4 >>
The configurations of the camera system, the image capturing device 102, and the display device 103 in the fourth embodiment (Embodiment 4) of the present invention are the same as those in Embodiment 2. In the present embodiment, the creation of the video layout is performed after the target imaging device 102 is selected on the map. The flow of the processing will be described using a flowchart.

図14は地図上から1つの撮影装置アイコンを選択した場合に表示装置103において行われる動作の手順を示すフローチャートである。   FIG. 14 is a flowchart illustrating a procedure of an operation performed on the display device 103 when one photographing device icon is selected from the map.

まずS1001で、ユーザは、表示装置103に表示されている図9(a)のマップから撮影装置アイコンを1つ選択する。次にS1002で、選択されたアイコンが指す撮影装置を基準の撮影装置として設定する。   First, in S1001, the user selects one photographing device icon from the map shown in FIG. 9A displayed on the display device 103. Next, in step S1002, the photographing device indicated by the selected icon is set as a reference photographing device.

次にS1003で地図上の全てのアイコンが指す撮影装置を映像表示対象とし、S1002で設定された基準撮影装置を基準として各撮影装置の座標値を計算する。次にS1004で各撮影装置の座標値に基づいた映像レイアウトを作成する。   Next, in step S1003, image capturing apparatuses indicated by all icons on the map are set as image display targets, and the coordinate values of each image capturing apparatus are calculated based on the reference image capturing apparatus set in step S1002. Next, in step S1004, a video layout is created based on the coordinate values of each imaging device.

図15は地図上から複数の撮影装置アイコンを選択した場合に表示装置103において行われる動作の手順を示すフローチャートである。   FIG. 15 is a flowchart illustrating a procedure of an operation performed on the display device 103 when a plurality of photographing device icons are selected on the map.

まずS1101で、ユーザは、表示装置103に表示されている図9(a)のマップから撮影装置アイコンを複数選択する。次にS1002で、最初に選択された撮影装置を基準の撮影装置として設定する。   First, in S1101, the user selects a plurality of photographing device icons from the map of FIG. 9A displayed on the display device 103. Next, in S1002, the first selected photographing device is set as a reference photographing device.

次にS1003で、選択されたアイコンが指す撮影装置を映像表示対象とし、S1102で設定された基準の撮影装置を基準として各撮影装置の座標値を計算する。次にS1004で、各撮影装置の座標値に基づいた映像レイアウトを作成する。   Next, in step S1003, the image capturing apparatus indicated by the selected icon is set as an image display target, and the coordinate value of each image capturing apparatus is calculated based on the reference image capturing apparatus set in step S1102. Next, in step S1004, a video layout is created based on the coordinate values of each imaging device.

図16はユーザーが基準となる向きを指定して、地図上から複数の撮影装置アイコンを選択した場合に表示装置103において行われる動作の手順を示すフローチャートである。   FIG. 16 is a flowchart showing a procedure of an operation performed on the display device 103 when the user designates a reference direction and selects a plurality of photographing device icons on the map.

まずS1201で、ユーザは、表示装置103に表示されている図9(a)のマップから基準となる向きを選択する。基準となる向きの選択は、ポインティングデバイスの移動やボタンの選択等により行われる。次にS1202でユーザは、撮影装置アイコンを複数選択する。   First, in S1201, the user selects a reference direction from the map of FIG. 9A displayed on the display device 103. The selection of the reference direction is performed by moving the pointing device, selecting a button, or the like. Next, in S1202, the user selects a plurality of photographing device icons.

次にS1203で、選択されたアイコンが指す撮影装置を映像表示対象として、選択された向きを基準として各撮影装置の座標値を計算する。次にS1204で、各撮影装置の座標値に基づいた映像レイアウトを作成する。   Next, in step S1203, the image capturing apparatus indicated by the selected icon is set as a video display target, and the coordinate value of each image capturing apparatus is calculated based on the selected orientation. Next, in step S1204, a video layout based on the coordinate values of each imaging device is created.

以上のように、本実施形態では、ユーザの操作に応じて映像を表示する撮影装置や映像配置の基準となる座標の向きを設定可能とする。このため、ユーザーが地図上から映像を表示する撮影装置102を選択したり、基準となる向きを選択することで、ユーザーが任意に撮影装置102を選択できたり、映像レイアウトの基準となる向きを選択して映像レイアウトを作成することができる。   As described above, in the present embodiment, it is possible to set the image capturing apparatus that displays an image and the direction of the coordinates serving as the reference of the image arrangement according to the operation of the user. For this reason, the user can select the imaging device 102 that displays the video from the map or select the reference orientation, so that the user can arbitrarily select the imaging device 102 or change the reference orientation of the video layout. You can select and create a video layout.

本発明の各実施形態によれば複数の映像を表示できる表示装置において、ユーザーに映像を撮影している撮影装置の位置が分かりやすい映像レイアウトを作成し提供することができる。   According to each embodiment of the present invention, in a display device capable of displaying a plurality of videos, it is possible to create and provide a video layout in which a user can easily understand the position of a photographing device that is capturing a video.

<<その他の実施形態>>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。例えば、上述の各フローチャートは、CPUがメモリに読み込まれたプログラムに基づく処理を行うことで実行可能である。
<< Other embodiments >>
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. It can also be realized by the following processing. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions. For example, each of the above-described flowcharts can be executed by the CPU performing a process based on a program read into the memory.

101:ネットワーク、102:撮影装置、103:表示装置、121:通信部、122:表示部、123:入力部、124:表示制御部、125:撮影制御部 Reference numeral 101: network, 102: imaging device, 103: display device, 121: communication unit, 122: display unit, 123: input unit, 124: display control unit, 125: imaging control unit

Claims (9)

複数の撮影装置で撮影された複数の画像を取得する画像取得手段と、
前記複数の撮影装置の中からいずれかの撮影装置の選択を受け付ける受付手段と、
前記複数の撮影装置の位置を示す位置情報を取得する位置取得手段と、
前記位置取得手段によって取得された位置情報に基づいて、前記複数の画像を配列して表示手段に表示させる表示制御手段と
を有し、
前記位置取得手段は、前記位置情報として、前記受付手段において選択された撮影装置の撮影方向と当該撮影方向に直交する方向とに基づく直交座標系における座標値を取得し、
前記表示制御手段は、座標値の第一要素がより大きい撮影装置によって撮影された画像をより右方に配列し、座標値の第二要素がより大きい撮影装置によって撮影された画像をより上方に配列して表示させる
ことを特徴とする表示制御装置。
Image acquisition means for acquiring a plurality of images photographed by a plurality of photographing devices,
Receiving means for receiving a selection of any one of the plurality of imaging devices,
Position acquisition means for acquiring position information indicating the positions of the plurality of imaging devices,
Display control means for arranging the plurality of images and displaying the images on a display means based on the position information acquired by the position acquisition means ,
Has,
The position acquiring unit acquires, as the position information, a coordinate value in an orthogonal coordinate system based on a photographing direction of the photographing device selected by the accepting unit and a direction orthogonal to the photographing direction,
The display control means arranges an image photographed by the photographing device having the first coordinate value larger than that of the photographing device, and an image photographed by the photographing device having the larger coordinate value second element more upwardly. A display control device, which is arranged and displayed .
前記表示制御手段は、前記複数の画像の各々を複数の矩形領域に分割された前記表示手段の表示領域の何れかの矩形領域に配列して表示させる
ことを特徴とする請求項に記載の表示制御装置。
Wherein the display control unit, according to claim 1, characterized in that display arranged in one of the rectangular regions of a display area of said display means, each divided into a plurality of rectangular regions of the plurality of images Display control device.
前記表示制御手段は、前記複数の撮影装置の配置を示す配置図を前記表示手段にさらに表示させる
ことを特徴とする請求項1又は2に記載の表示制御装置。
Wherein the display control unit, the display control device according to arrangement diagram showing an arrangement of the plurality of imaging devices according to claim 1 or 2, characterized in that to further displayed on the display means.
前記表示制御手段は、前記配置図により示される撮影装置と、当該撮影装置により撮影された画像との対応関係を示して、前記複数の画像を表示させる
ことを特徴とする請求項に記載の表示制御装置。
It said display control means, a photographing apparatus shown by the layout view, shows the correspondence between the image taken by the shooting device, according to claim 3, characterized in that to display a plurality of images Display control device.
前記表示制御手段は、前記配置図により示される撮影装置と、当該撮影装置により撮影された画像とを結ぶ線をさらに表示させる
ことを特徴とする請求項に記載の表示制御装置。
The display control device according to claim 4 , wherein the display control unit further displays a line connecting the photographing device indicated by the layout drawing and an image photographed by the photographing device.
前記表示制御手段は、前記配置図により示される撮影装置と、当該撮影装置により撮影された画像とを同色の枠で囲んで表示させる
ことを特徴とする請求項に記載の表示制御装置。
Wherein the display control unit, the display control device according to claim 4, characterized in that to display surrounding the imaging apparatus shown by the layout view, and an image taken by the imaging device in the same color of the frame.
前記表示制御手段は、前記配置図により示される撮影装置と、当該撮影装置により撮影された画像とを同一の記号を付して表示させる
ことを特徴とする請求項に記載の表示制御装置。
Wherein the display control unit, the display control device according to claim 4, characterized in that to display the imaging apparatus shown by the layout view, and an image taken by the imaging device are denoted by the same symbols.
画像取得手段が、複数の撮影装置で撮影された複数の画像を取得する画像取得工程と、
受付手段が、前記複数の撮影装置の中からいずれかの撮影装置の選択を受け付ける受付工程と、
位置取得手段が、前記複数の撮影装置の位置を示す位置情報を取得する位置取得工程と、
表示制御手段が、前記位置取得工程によって取得された位置情報に基づいて、前記複数の画像を配列して表示手段に表示させる表示制御工程と
を含み、
前記位置取得手段は、前記位置情報として、前記受付工程において選択された撮影装置の撮影方向と当該撮影方向に直交する方向とに基づく直交座標系における座標値を取得し、
前記表示制御手段は、座標値の第一要素がより大きい撮影装置によって撮影された画像をより右方に配列し、座標値の第二要素がより大きい撮影装置によって撮影された画像をより上方に配列して表示させる
ことを特徴とする表示制御装置の制御方法。
An image acquisition step of acquiring a plurality of images photographed by a plurality of photographing devices,
Receiving means for receiving a selection of any one of the plurality of imaging devices from the plurality of imaging devices,
Position acquiring means for acquiring position information indicating positions of the plurality of photographing devices,
Display control means for displaying the plurality of images on a display means based on the position information acquired by the position acquisition step ,
Including
The position acquisition unit acquires, as the position information, a coordinate value in an orthogonal coordinate system based on an imaging direction of the imaging device selected in the reception step and a direction orthogonal to the imaging direction,
The display control means arranges an image photographed by the photographing device having the first coordinate value larger than that of the photographing device, and an image photographed by the photographing device having the larger coordinate value second element more upwardly. A method for controlling a display control device, wherein the display is arranged and displayed .
コンピュータを請求項1からのいずれか1項に記載の表示制御装置が備える各手段として機能させるためのコンピュータプログラム。 Computer program for causing to function as each unit included in the display control device according to any one of the computer of claims 1 to 7.
JP2015187443A 2015-09-24 2015-09-24 Display control device, control method thereof, and computer program Active JP6630096B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015187443A JP6630096B2 (en) 2015-09-24 2015-09-24 Display control device, control method thereof, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015187443A JP6630096B2 (en) 2015-09-24 2015-09-24 Display control device, control method thereof, and computer program

Publications (2)

Publication Number Publication Date
JP2017062350A JP2017062350A (en) 2017-03-30
JP6630096B2 true JP6630096B2 (en) 2020-01-15

Family

ID=58429622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015187443A Active JP6630096B2 (en) 2015-09-24 2015-09-24 Display control device, control method thereof, and computer program

Country Status (1)

Country Link
JP (1) JP6630096B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7125615B2 (en) * 2019-12-23 2022-08-25 キヤノンマーケティングジャパン株式会社 Information processing system, information processing system control method, and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4281483B2 (en) * 2003-09-10 2009-06-17 セイコーエプソン株式会社 Electrophotographic album creation support apparatus and method
JP3898212B2 (en) * 2005-05-30 2007-03-28 財団法人砂防フロンティア整備推進機構 Position providing photo providing system and program thereof
JP4796435B2 (en) * 2006-04-28 2011-10-19 富士フイルム株式会社 Image viewer
JP5386946B2 (en) * 2008-11-26 2014-01-15 ソニー株式会社 Image processing apparatus, image processing method, image processing program, and image processing system
JP5471123B2 (en) * 2009-07-29 2014-04-16 カシオ計算機株式会社 Image monitoring system, program, and image display method
JP2012227717A (en) * 2011-04-19 2012-11-15 Olympus Imaging Corp Display device, display program, and display method
JP5978610B2 (en) * 2011-12-09 2016-08-24 ソニー株式会社 Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
JP2017062350A (en) 2017-03-30

Similar Documents

Publication Publication Date Title
RU2643445C2 (en) Display control device and computer-readable recording medium
US9532008B2 (en) Display control apparatus and display control method
JP6065195B2 (en) Display image forming apparatus and display image forming method
RU2528566C2 (en) Control device, camera system and programme
JP6312046B2 (en) Image processing system, image processing method, and program
JP6618644B2 (en) Control device, control method, and program
KR20110108265A (en) Control device, camera system and program
CN102348063B (en) Camera device, camera system, control device
KR101778744B1 (en) Monitoring system through synthesis of multiple camera inputs
US11184549B2 (en) Image-capturing system, information processing apparatus, control method of information processing apparatus, and storage medium
KR101297294B1 (en) Map gui system for camera control
JP6630096B2 (en) Display control device, control method thereof, and computer program
JP2016096482A (en) Image processing apparatus, image processing method, and program
KR20120125037A (en) Method for controlling surveillance system
KR20170055455A (en) Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it
JP5726779B2 (en) Video viewing system and video viewing system control method
WO2015163251A1 (en) Image-outputting device, image-outputting method, and recording medium
JP2020202503A (en) Imaging device, computer program, and recording medium
JP2012244311A (en) Camera remote controller and camera remote control method
JP6137009B2 (en) Image processing apparatus, image processing method, program, and camera
US11516404B2 (en) Control apparatus and control method
JP5115018B2 (en) Monitoring system
JP2018164220A (en) Photographing control apparatus and program
JP4507665B2 (en) How to register phone location information
KR200481796Y1 (en) Pan-Tilt-Zoom Camera Controller

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191206

R151 Written notification of patent or utility model registration

Ref document number: 6630096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151