JP7140472B2 - Imaging device installation method and control means - Google Patents

Imaging device installation method and control means Download PDF

Info

Publication number
JP7140472B2
JP7140472B2 JP2017113891A JP2017113891A JP7140472B2 JP 7140472 B2 JP7140472 B2 JP 7140472B2 JP 2017113891 A JP2017113891 A JP 2017113891A JP 2017113891 A JP2017113891 A JP 2017113891A JP 7140472 B2 JP7140472 B2 JP 7140472B2
Authority
JP
Japan
Prior art keywords
imaging
area
imaging devices
acquired
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017113891A
Other languages
Japanese (ja)
Other versions
JP2018207430A5 (en
JP2018207430A (en
Inventor
賢史 夏目
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017113891A priority Critical patent/JP7140472B2/en
Publication of JP2018207430A publication Critical patent/JP2018207430A/en
Publication of JP2018207430A5 publication Critical patent/JP2018207430A5/ja
Application granted granted Critical
Publication of JP7140472B2 publication Critical patent/JP7140472B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Description

本発明は、複数の撮像装置で撮影する映像を所定の画質で合成する際の、所定画質を持つ領域算出方法、並びに設置調整作業を効率化する撮像装置に関する。 The present invention relates to a method for calculating an area having a predetermined image quality when synthesizing images captured by a plurality of image capturing apparatuses, and an image capturing apparatus for improving the efficiency of installation adjustment work.

グランドや体育館等を用い競技するスポーツにおいて、その競技エリアを1つのカメラで撮影できる範囲を超えて、複数のカメラで分割して撮影し、その複数の撮影映像を1つの映像に合成し、TV放送コンテンツとして使用する場合がある。 In sports where competitions are held using grounds, gymnasiums, etc., the competition area is divided into multiple cameras beyond the range that can be captured by one camera, and the multiple captured images are combined into one image, which is displayed on TV. May be used as broadcast content.

特許文献1は、複数の視点位置から撮像した映像を用いてパノラマ映像を合成する際に、カメラの個体差によって生じる合成映像の色ずれを抑制し、ユーザ視点から見て違和感のない映像を合成するための色補正装置、色補正方法および色補正プログラムを提供している。これは撮影された映像を接合する際に、各映像間の色味を補正し、色調合わせる方法のみの記載である。 Japanese Patent Laid-Open No. 2004-101000 suppresses color deviation of the synthesized video due to individual differences of cameras when synthesizing a panoramic video using videos captured from a plurality of viewpoint positions, and synthesizes a video that does not give a sense of incongruity when viewed from the user's viewpoint. A color correction device, a color correction method, and a color correction program are provided. This is only a description of the method of correcting the color tone between each image and matching the color tone when joining the shot images.

また、特許文献2は、広視野映像を撮影するためには、1台で撮影する場合には解像度の限界があるため、広視野撮影カメラと撮影範囲の一部分を拡大撮影する複数のマルチカメラの映像を用い、マルチカメラの映像を広視野撮影カメラに重ね合わせ合成する手法を提案している。この提案では、マルチカメラの映像を透視射影画像に変換し、2つの画像の位置関係、サイズ合わせを行っている。そして、広視野カメラとマルチカメラの視点位置の違いによるずれを公知のパターンマッチング手法を用い補正し、マルチカメラの画像を変形させ、マッチングさせることで広域の合成映像を生成させる方法を提案している。 In addition, Patent Document 2 discloses that there is a limit to the resolution of a single camera in order to shoot a wide-field image, so a wide-field shooting camera and a plurality of multi-cameras that enlarge and shoot a part of the shooting range are used. We are proposing a method of superimposing and synthesizing multi-camera images onto a wide-field camera. In this proposal, multi-camera images are converted into perspective projected images, and the positional relationship and size of the two images are adjusted. Then, we proposed a method of generating a wide-area synthetic image by correcting the deviation due to the difference in the viewpoint position of the wide-field camera and the multi-camera using a known pattern matching method, deforming the multi-camera image, and matching it. there is

特許第5588394号公報Japanese Patent No. 5588394 特開2004-135019号公報JP 2004-135019 A

しかしながら、上記従来例では、複数の合成する映像間の色合いやサイズ、そして視野のずれ(ゆがみ)を合わせるのみであるため、使用するカメラやレンズについての言及がなく、以下のような問題点があった。 However, in the above-described conventional example, since the colors and sizes of multiple images to be synthesized and the misalignment (distortion) of the field of view are only matched, there is no mention of the cameras and lenses used, and the following problems arise. there were.

広範囲の撮影エリアを複数のカメラ装置で撮影し、合成映像を生成する場合、使用可能なカメラ、レンズによっては、多くのカメラを必要とする場合がある。このような場合、全て同じ性能のカメラ、レンズであれば良いが、カメラのセンサやレンズが異なるために解像度や光学性能の異なるカメラ装置が混在し設置する場合もある。 When shooting a wide range of shooting areas with a plurality of camera devices and generating a composite image, many cameras may be required depending on the cameras and lenses that can be used. In such a case, cameras and lenses with the same performance may be used, but camera devices with different resolutions and optical performances may be installed together because the sensors and lenses of the cameras are different.

現在、このような撮影条件において、特性の異なる複数カメラにて撮影した映像を合成する場合、色味・画角・フォーカスが合うよう、従来例に示された方法や、モニター映像などを見ながら目視にて調整することは可能である。 Currently, when synthesizing images shot with multiple cameras with different characteristics under such shooting conditions, we use the methods shown in conventional examples and monitor images to match the colors, angle of view, and focus. Visual adjustment is possible.

しかし、解像感(分解能やMTF)、収差等のその他の多くの要因を考慮し、見た目の画質までも複数カメラ間でそろえて映像を合成する事は困難であり、また示されていない。そのため、複数カメラ間で画質の差異が生じ、合成境界が視聴者に認識されてしまうと言う課題が発生する。 However, considering many other factors such as resolution (resolution and MTF), aberration, etc., it is difficult to synthesize images by aligning even the apparent image quality between multiple cameras, and it is not shown. As a result, there arises a problem that the difference in image quality occurs among the plurality of cameras, and the synthesized boundary is recognized by the viewer.

本発明の目的は、複数のカメラの効率的な設置方法を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide an efficient installation method for a plurality of cameras.

上記の目的を達成するため、本発明に係る配置決定装置は、複数の撮像装置の配置を決定する配置決定装置であって、前記複数の撮像装置による撮像の対象となる撮像対象領域を取得する第1の取得手段と、前記複数の撮像装置それぞれに対して、撮像装置の撮像により取得される画像のうち所定の画質を満たす範囲に対応する特定領域を取得する第2の取得手段と、前記第1の取得手段により取得された撮像対象領域と、前記第2の取得手段により取得された前記複数の撮像装置のそれぞれにおける特定領域とに基づいて、前記複数の撮像装置の配置を決定する配置決定手段と、前記第2の取得手段により取得された、前記複数の撮像装置のうちの第1の撮像装置における第1の特定領域と、前記第2の取得手段により取得された、前記複数の撮像装置のうちの第2の撮像装置における第2の特定領域とを、同一画面において前記第1の特定領域と前記第2の特定領域それぞれの位置関係に応じた位置で表示させる表示制御手段と、を有し、前記配置決定手段は、前記第1の取得手段により取得された前記撮像対象領域と、前記第2の取得手段により取得された前記撮像装置のそれぞれにおける前記特定領域とに基づいて、前記撮像装置のそれぞれにおける前記特定領域により前記撮像対象領域の全域が隙間なく覆われるように、前記複数の撮像装置の配置を決定することを特徴とする。 In order to achieve the above object, a layout determination device according to the present invention is a layout determination device that determines layout of a plurality of imaging devices, and acquires an imaging target area to be imaged by the plurality of imaging devices. a first acquisition means for each of the plurality of imaging devices; Arrangement for determining the arrangement of the plurality of imaging devices based on the imaging target region acquired by the first acquisition means and the specific region of each of the plurality of imaging devices acquired by the second acquisition means. determining means; a first specific region in a first imaging device among the plurality of imaging devices acquired by the second acquisition means; and the plurality of the display control means for displaying a second specific region of a second image pickup device among the image pickup devices at a position corresponding to a positional relationship between the first specific region and the second specific region on the same screen; , wherein the arrangement determining means is based on the imaging target area acquired by the first acquiring means and the specific area in each of the imaging devices acquired by the second acquiring means and determining the arrangement of the plurality of imaging devices so that the entire imaging target region is covered by the specific region of each of the imaging devices without gaps .

本発明によれば、複数のカメラの効率的な設置方法を提供することができる。 According to the present invention, it is possible to provide an efficient installation method for a plurality of cameras .

実施例1の撮像装置の機能ブロック図FIG. 2 is a functional block diagram of the image pickup apparatus according to the first embodiment; 実施例1の機能ブロック接続図Functional block connection diagram of embodiment 1 実施例1の機能ブロック図の制御のフローチャートFlowchart of control in the functional block diagram of the first embodiment 実施例1の領域の算出方法のフローチャートFlowchart of the area calculation method of the first embodiment 実施例1の撮像装置のグラウンドや競技場で撮影時の設置状態を説明するイメージ図FIG. 2 is an image diagram for explaining the installation state of the imaging apparatus according to the first embodiment when shooting on a ground or in a stadium. 実施例1の撮像装置のグラウンドや競技場で撮影時の設置状態を説明するイメージ図FIG. 2 is an image diagram for explaining the installation state of the imaging apparatus according to the first embodiment when shooting on a ground or in a stadium. 実施例1の撮像装置の設置位置座標の算出方法を示す説明図FIG. 4 is an explanatory diagram showing a method of calculating installation position coordinates of the imaging device according to the first embodiment; 実施例1の画角の算出領域を示すイメージ図An image diagram showing a calculation area of an angle of view in Example 1. 実施例1の被写界深度の算出領域を示すイメージ図FIG. 2 is an image diagram showing a calculation area for depth of field in Example 1. FIG. 実施例1の分解能の算出領域を示すイメージ図Image diagram showing a calculation area of resolution in Example 1 実施例1のMTFの算出領域を示すイメージ図Image diagram showing the calculation area of MTF in Example 1 実施例1の画角、被写界深度、分解能、МTFの算出領域より、求められた共通領域を示すイメージ図An image diagram showing a common area obtained from the angle of view, depth of field, resolution, and МTF calculation areas in Example 1. 実施例1のUI多重表示手段に表示されるカメラAの共通領域のイメージ図4 is an image diagram of a common area of camera A displayed on the UI multiple display means of the first embodiment; FIG. 実施例1の共通領域の位置情報(座標データ)の定義方法の説明図Explanatory diagram of a method of defining position information (coordinate data) of a common area in the first embodiment 実施例1の共通領域の位置情報(座標データ)の定義方法の説明図Explanatory diagram of a method of defining position information (coordinate data) of a common area in the first embodiment 実施例1の表示された共通領域を確認しながらのカメラ設置位置変更方法の説明図Explanatory drawing of the camera installation position changing method while confirming the displayed common area of the first embodiment. 実施例1のカメラAに隣接設置するカメラB、Cの配置イメージ図Layout image of cameras B and C installed adjacent to camera A in embodiment 1 実施例1のUI多重表示手段にカメラBの共通領域が重畳表示されることを示すイメージ図4 is an image diagram showing that the common area of camera B is superimposed and displayed on the UI multiplex display means of the first embodiment; FIG. 実施例1のUI多重表示手段にカメラB、カメラCの共通領域が重畳表示されることを示すイメージ図4 is an image diagram showing that the common area of camera B and camera C is superimposed and displayed on the UI multiplex display means of the first embodiment. FIG. 実施例1のカメラB、カメラCの設置位置の決定時に使用するUI多重表示手段に表示される共通領域のイメージ図4 is an image diagram of a common area displayed on the UI multiplex display means used when determining the installation positions of camera B and camera C in Embodiment 1. FIG. 実施例2の撮像装置の機能ブロック図A functional block diagram of an imaging apparatus according to a second embodiment. 実施例2の機能ブロック図の制御のフローチャートFlowchart of control in the functional block diagram of the second embodiment 実施例2の機能ブロック図の制御のフローチャートFlowchart of control in the functional block diagram of the second embodiment 実施例2の選択した撮影パラメータの表示パターンが表示されるUI多重表示手段のイメージ図FIG. 10 is an image diagram of UI multiplex display means for displaying display patterns of selected imaging parameters according to the second embodiment; 実施例2の選択した撮影パラメータの表示パターンが表示されるUI多重表示手段のイメージ図FIG. 10 is an image diagram of UI multiplex display means for displaying display patterns of selected imaging parameters according to the second embodiment; 実施例2の選択した撮影パラメータの表示パターンから算出された共通領域を示すUI多重表示手段のイメージ図FIG. 11 is an image diagram of UI multiplex display means showing a common area calculated from the display pattern of the selected imaging parameters in Example 2;

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図1は、本発明の実施形態にかかわる撮像装置の機能ブロック図であり、図2は、本発明の実施形態にかかわる機能ブロック図である。 Preferred embodiments of the present invention are described in detail below with reference to the accompanying drawings. FIG. 1 is a functional block diagram of an imaging device according to an embodiment of the invention, and FIG. 2 is a functional block diagram according to an embodiment of the invention.

<第1の実施形態>
図1において、撮像装置100はビデオカメラなどの撮影を行うことが可能な装置であり、撮像光学系200は撮像装置100に装着され、ズームレンズと、フォーカスレンズとアイリス機構とを有する。
<First embodiment>
In FIG. 1, an image pickup apparatus 100 is a device capable of photographing, such as a video camera. An image pickup optical system 200 is attached to the image pickup apparatus 100 and has a zoom lens, a focus lens, and an iris mechanism.

映像合成装置300は、複数の撮像装置が接続可能であり、それぞれの撮像装置で撮影された映像を取得し、撮影映像を合成し1つの映像とすることが可能な装置である。 The image synthesizing device 300 is a device to which a plurality of imaging devices can be connected, acquires images shot by the respective imaging devices, and synthesizes the shot images into one image.

次に、撮像装置100の構成について説明する。 Next, the configuration of the imaging device 100 will be described.

レンズ情報取得手段101は、撮像装置100に接続された撮像光学系200より、焦点距離、F値情報などを取得する。装置情報取得手段102は領域算出に必要なレンズ装置情報、撮像装置100の設置情報、センサ情報等の装置情報を収集する。 A lens information acquisition unit 101 acquires focal length, F-number information, and the like from an imaging optical system 200 connected to the imaging apparatus 100 . Device information acquisition means 102 collects device information such as lens device information, installation information of the imaging device 100, and sensor information necessary for area calculation.

画質設定手段103は、撮影領域を算出する際にその基準となる画質を設定する手段であり、撮影パラメータ選択手段104は領域算出に使用する撮影パラメータを選択する。 The image quality setting means 103 is means for setting image quality as a reference when calculating the imaging area, and the imaging parameter selection means 104 selects imaging parameters used for area calculation.

撮影領域算出手段105は、画質設定手段103で設定された基準となる画質と撮影パラメータ算出手段104で選択されたパラメータ、そして装置情報取得手段102より取得した装置情報より、各撮影パラメータごとに、画質を満足する領域を算出する。そして、複数の算出した領域を重ね合わせ、全てのパラメータにて画質を満足する領域を領域データとして求める。 Based on the image quality set by the image quality setting unit 103, the parameters selected by the imaging parameter calculation unit 104, and the device information acquired by the device information acquisition unit 102, the imaging region calculation unit 105 calculates, for each imaging parameter, A region that satisfies the image quality is calculated. Then, a plurality of calculated areas are superimposed, and an area that satisfies image quality with all parameters is obtained as area data.

領域パターン生成手段106は、撮影領域算出手段105にて算出した領域データを取得し、ビューア等の表示手段にて表示される撮影映像に、算出した領域データを合成可能とする領域パターンを生成する。 Area pattern generation means 106 acquires the area data calculated by the imaging area calculation means 105, and generates an area pattern that allows the calculated area data to be combined with the captured image displayed on display means such as a viewer. .

イメージセンサ107は、撮像光学系200から入った光を電気信号に変換する。 The image sensor 107 converts light entering from the imaging optical system 200 into an electrical signal.

画像処理手段108は、イメージセンサ107からの電気信号を受け取り、ビューア等の表示手段にて表示可能な映像信号に変換するための画像処理を行う。 The image processing means 108 receives the electrical signal from the image sensor 107 and performs image processing for converting it into a video signal that can be displayed on display means such as a viewer.

映像出力手段109は、画像処理手段108からの映像信号を取得し、UI多重表示手段110や撮影情報入出力手段112へ映像信号を選択、出力する。 A video output unit 109 acquires the video signal from the image processing unit 108 , selects and outputs the video signal to the UI multiple display unit 110 and the imaging information input/output unit 112 .

UI多重表示手段110は、映像出力手段109から取得した映像信号に、領域パターン生成手段106にて生成された領域パターンを合成し、表示可能な映像信号を出力する。 The UI multiple display unit 110 synthesizes the area pattern generated by the area pattern generation unit 106 with the image signal obtained from the image output unit 109, and outputs a displayable image signal.

撮像装置制御手段111は、イメージセンサ107や画像処理手段108を制御し、取得した電気信号より、レンズ装置制御手段205に制御信号を送出する。 The imaging device control means 111 controls the image sensor 107 and the image processing means 108, and sends a control signal to the lens device control means 205 from the acquired electric signal.

撮影情報入出力手段112は、外部に接続された映像合成装置との間にて、映像信号や指令信号、そして撮影領域情報等の入出力を司る。 A photographing information input/output unit 112 controls input/output of video signals, command signals, photographing area information, and the like to and from an externally connected image synthesizing device.

設置情報取得手段113は、撮像装置100の設置位置情報を外部より取得する。 The installation information acquisition unit 113 acquires installation position information of the imaging device 100 from the outside.

レンズ情報送手段201は、撮像装置100にレンズ情報、焦点距離、F値などを送出する。 A lens information sending unit 201 sends lens information, a focal length, an F number, and the like to the imaging apparatus 100 .

フォーカスレンズ202は、ピント調節を行い、ズームレンズ203は画角調節を行うレンズである。アイリス204は絞りを調整する装置である。 A focus lens 202 is for focus adjustment, and a zoom lens 203 is for angle of view adjustment. An iris 204 is a device for adjusting the diaphragm.

レンズ装置制御手段205は、撮像装置制御手段111からの制御信号に基づいて、駆動手段206に駆動制御信号を創出し、フォーカスレンズ202、ズームレンズ203、アイリス204を駆動、制御する。 Based on the control signal from the imaging device control means 111 , the lens device control means 205 creates a drive control signal for the drive means 206 to drive and control the focus lens 202 , the zoom lens 203 and the iris 204 .

続いて図2において、映像合成装置300は、接続される複数の撮像装置の設置位置情報を入力する手段を持ち、各撮像装置のイメージセンサや撮像光学系のスペック情報、設置位置情報を取得する。また、各撮像装置にて算出した領域データの情報(ピクセル)や算出時に選択された撮影パラメータの送受信が行われ、各撮像装置からのリクエストに応じた処理を行う。つまり、各撮像装置にて撮影された映像を取得し、映像の合成を行う装置である。 Next, in FIG. 2, the video synthesizing device 300 has means for inputting installation position information of a plurality of connected imaging devices, and acquires the specification information and installation position information of the image sensor and imaging optical system of each imaging device. . In addition, information (pixels) of area data calculated by each imaging device and imaging parameters selected at the time of calculation are transmitted and received, and processing is performed according to a request from each imaging device. In other words, it is a device that acquires images shot by each imaging device and synthesizes the images.

カメラA301、カメラB302、カメラC303は、映像合成装置300に接続され、グランドや被写体等を撮影し、図1の機能ブロック図で示す機能を有するカメラ装置である。 A camera A 301, a camera B 302, and a camera C 303 are camera devices that are connected to the image synthesizing device 300, photograph the ground, a subject, and the like, and have the functions shown in the functional block diagram of FIG.

次に、設置したい撮像装置において、その設置するための作業手法について、本実施例の一連の動作を元に、図3と図4の撮像装置100のフローチャートを用いて説明する。 Next, a work method for installing an image pickup apparatus to be installed will be described based on a series of operations of the present embodiment, using flowcharts of the image pickup apparatus 100 shown in FIGS. 3 and 4. FIG.

撮像装置100は処理ステップS400で処理を開始すると、まず処理ステップS401で、領域算出モードが選択されたかどうか確認する。領域算出モードとは、処理ステップS402にて詳細説明するが、カメラ(センサ)やレンズのスペック、撮像装置の設置位置の情報から、ある焦点距離における撮影範囲において、使用映像に必要な画質を満足する領域を算出するモードである。 When the imaging apparatus 100 starts processing in processing step S400, first, in processing step S401, it checks whether or not the region calculation mode has been selected. The area calculation mode, which will be described in detail in processing step S402, satisfies the image quality required for the image to be used in the shooting range at a certain focal length based on the specifications of the camera (sensor) and lens, and information on the installation position of the imaging device. This is the mode for calculating the area to be used.

処理ステップS401で領域算出モードが選択された場合、処理ステップS402に進み、領域算出SUBにて領域算出を行う。領域算出モードが選択されなかった場合、処理ステップS419に進み動作を終了する。 If the region calculation mode is selected in processing step S401, the process proceeds to processing step S402, and region calculation is performed in region calculation SUB. If the area calculation mode is not selected, the process proceeds to processing step S419 and the operation ends.

処理ステップS402における処理に関して、図4の領域算出サブルーチンのフローチャートを用いて説明する。 The processing in processing step S402 will be described with reference to the flowchart of the area calculation subroutine in FIG.

通常広いグラウンドや競技場にて、複数の撮像装置を用い、全体像を撮影をするような場合、スタンドの高いところや図5、図6のように、高いポールや櫓を準備し、その上からグラウンドを見下ろす形で設置されるのが一般的である。 In general, in a wide ground or stadium, when using multiple imaging devices to shoot the whole image, prepare a high stand or a high pole or tower as shown in Figures 5 and 6, and then It is common to be installed in a form overlooking the ground from.

設置したい撮像装置100(ここではカメラA301とする)において、処理ステップS500で処理を開始すると、処理ステップS501に進み、画質設定手段103にて、合成映像を生成する際に、必要とされる画質条件を選定する。画質条件とは、撮影された映像範囲において、解像感(分解能やMTF)、収差等のその他の多くの要因を考慮し、その画質満足する範囲のレベルをあらわすものであり、HD(2K)、3K、4Kと言った表記を選択する形でも良いし、解像可能な被写体サイズであらわしても良い。 In the imaging device 100 (here, the camera A301) to be installed, when the process starts in processing step S500, the process proceeds to processing step S501, and the image quality setting unit 103 sets the required image quality when generating a composite image. Select conditions. The image quality condition represents the level of the image quality satisfaction range in consideration of many other factors such as resolution (resolution and MTF), aberration, etc. in the range of the image taken. , 3K, and 4K may be selected, or a resolvable object size may be used.

画質設定手段103にて、画質条件を選定した後、処理ステップS502に進み、選定された画質条件を満足する領域を算出するために必要な撮影パラメータ(被写界深度、画角、センサ分解能、MTF等)を撮像装置100に設けられている、UI多重表示手段110に表示し提示する。 After selecting the image quality condition by the image quality setting means 103, the process proceeds to processing step S502, and the shooting parameters (depth of field, angle of view, sensor resolution, MTF, etc.) is displayed and presented on the UI multiple display means 110 provided in the imaging apparatus 100 .

そして、処理ステップS503に進み、撮影者が、処理ステップS502にて提示した撮影パラメータに対し、撮影パラメータを追加、削除するかどうかを確認を行う。追加削除する場合は、処理ステップS504に進み、撮影パラメータ選択手段104にて、撮影パラメータの追加・削除を行う。 Then, proceeding to processing step S503, the photographer confirms whether or not to add or delete shooting parameters from the shooting parameters presented in processing step S502. In the case of addition/deletion, the process proceeds to processing step S504, and addition/deletion of imaging parameters is performed by the imaging parameter selection unit 104. FIG.

以下に代表的な撮影パラメータを挙げる。これらに特定されるものではなく、その他の要素を撮影パラメータとして追加してもよい。 Typical imaging parameters are listed below. Other elements may be added as imaging parameters, not limited to these.

・合焦位置
・被写界深度
・画角
・センサ分解能(解像度)
・絞り値による解像度変化
・S/N比
・MTF
・収差
・明るさ
・色温度
処理ステップS505に進み、選択された撮影パラメータを取得する。
・Focus position ・Depth of field ・Angle of view ・Sensor resolution (resolution)
・Resolution change by aperture value ・S/N ratio ・MTF
• Aberration • Brightness • Color temperature The process advances to step S505 to acquire the selected shooting parameters.

そして処理ステップS506に進み、選択した撮影パラメータにて、領域算出を行うために、必要な情報を、装置情報取得手段102にて取得する。装置情報取得手段102は、撮像装置100に搭載されているイメージセンサ107よりカメラ情報を取得し、レンズ情報取得手段101から、撮像光学系200よりレンズ情報送信手段201を介して取得したレンズ情報を取得する。そして、撮像装置100に接続される映像合成装置300より、撮像装置100の設置位置情報を取得する。 Then, the process proceeds to processing step S506, and the device information acquisition unit 102 acquires information necessary for area calculation with the selected imaging parameters. Apparatus information acquiring means 102 acquires camera information from an image sensor 107 mounted on the imaging apparatus 100, and lens information acquired from the imaging optical system 200 via lens information transmitting means 201 from lens information acquiring means 101. get. Then, the installation position information of the imaging device 100 is acquired from the image synthesizing device 300 connected to the imaging device 100 .

取得するカメラ情報、レンズ情報、設置位置情報は以下の通りである。
カメラ情報・・・イメージセンササイズ(水平、垂直)、センサ画素ピッチ、センサ画素数、許容錯乱円
レンズ情報・・・F値、焦点距離、被写体距離(合焦距離)
設置位置情報・・設置高さ、基準点からの設置座標、設置角度、
である。
The camera information, lens information, and installation position information to be acquired are as follows.
Camera information: Image sensor size (horizontal, vertical), sensor pixel pitch, number of sensor pixels, permissible circle of confusion Lens information: F value, focal length, subject distance (focusing distance)
Installation position information: installation height, installation coordinates from the reference point, installation angle,
is.

設置位置情報として、基準点からの設置座標とあるが、これは設置する複数カメラの設置位置情報を映像合成装置300にて取得保存するものであり、映像合成装置300での映像合成時や、撮像装置からの自身の設置位置情報の取得や、隣接カメラの情報取得のリクエスト時に使用する。 The installation position information includes installation coordinates from a reference point. This information is acquired and stored by the image synthesizer 300 for the installation position information of a plurality of cameras to be installed. It is used when requesting acquisition of installation position information from the imaging device or information acquisition of adjacent cameras.

また、その設置座標のは、撮影するグランドや競技場などに図7のような基準Оr(0,0)を設け、その基準点からの設置距離から、設置座標Ca(x,y)を算出する。 Also, the installation coordinates are such that a reference Or (0, 0) as shown in FIG. do.

一例として図7の形の、設置座標の算出方法を示したが、基準点は任意の位置でよく、また、設置する複数の撮像装置の設置位置が判別できる手法であればよく、その手法は問わないでよい。 As an example, the method of calculating the installation coordinates in the form of FIG. 7 is shown, but the reference point may be any position, and any method may be used as long as the installation positions of the plurality of imaging devices to be installed can be determined. Don't ask.

上記撮影パラメータにおいて、領域算出の際に必要な情報の一部を示すと、表1となる。 Table 1 shows part of the information necessary for area calculation in the above imaging parameters.

Figure 0007140472000001
処理ステップS507に進み、取得したカメラ情報、レンズ情報、設置位置情報から、選択した各撮影パラメータの領域を撮影領域算出手段105にて算出する。本実施例では、一例として、処理ステップS505にて取得した撮影パラメータが、画角、被写界深度、分解能(解像度)、MTFとして、説明する。
Figure 0007140472000001
Proceeding to processing step S507, the shooting area calculation unit 105 calculates the area of each selected shooting parameter from the acquired camera information, lens information, and installation position information. In this embodiment, as an example, the shooting parameters acquired in processing step S505 are the angle of view, the depth of field, the resolution (resolution), and the MTF.

領域の算出の際、処理ステップS501にて、選定された画質条件から、画角、被写界深度、分解能(解像度)、MTFの各撮影パラメータのOK/NGを判断する基準を設け、その基準をもとにOK判断とされた領域が求める領域となる。 When calculating the area, in processing step S501, from the selected image quality conditions, criteria are provided for judging whether each shooting parameter of angle of view, depth of field, resolution (resolution), and MTF is OK/NG. The area determined as OK based on the above is the area to be obtained.

取得した各撮影パラメータ画角、被写界深度、分解能(解像度)、MTF、それぞれ個別に、選定した画質を満足する領域を算出する。 A region that satisfies the selected image quality is calculated individually for each of the acquired imaging parameters, the angle of view, the depth of field, the resolution, and the MTF.

まず、画角における領域を、取得した情報センササイズ、被写体距離、焦点距離、設置高さを用い、算出する。画角の算出領域は、図8のような点線の範囲となる。基本的には、撮影領域全体となるが、映像として使用可能領域を規定するため、算出する。 First, the area in the angle of view is calculated using the acquired information sensor size, subject distance, focal length, and installation height. The calculation area of the angle of view is the dotted line area as shown in FIG. Basically, it is the entire shooting area, but it is calculated in order to define the usable area as the image.

次に被写界深度における領域を、取得した情報 F値、被写体距離、焦点距離、設置高さ、許容錯乱円を用い、算出する。被写界深度の算出領域は、図9のような点線の範囲となる。ベストフォーカス位置に置かれた補被写体がレンズ位置に対して前後に移動しても、フォーカスの再調整することなく、所定の画質を維持できる範囲を表すものである。 Next, the area in the depth of field is calculated using the obtained information F value, subject distance, focal length, installation height, and permissible circle of confusion. The calculation area of the depth of field is the dotted line range as shown in FIG. It represents the range in which a predetermined image quality can be maintained without readjustment of the focus even if the complemented subject placed at the best focus position moves back and forth with respect to the lens position.

次に分解能(解像度)における領域を、取得した情報センササイズ、被写体距離、焦点距離、設置高さ、センサ画素数を用い、算出する。分解能(解像度)の算出領域は、図10のような点線の範囲となる。分解能とは「センサの1画素が被写体の何mmに相当するか」であり、選定した画質条件から、被写体の細部において、判別が必要なサイズを求め、その条件に満足する被写体距離の範囲を表すものである。 Next, the area in resolution (resolution) is calculated using the acquired information sensor size, subject distance, focal length, installation height, and number of sensor pixels. A resolution (resolution) calculation area is a dotted line range as shown in FIG. 10 . The resolution is "how many millimeters of the subject one pixel of the sensor corresponds to".From the selected image quality conditions, the size required to distinguish the details of the subject is obtained, and the range of subject distance that satisfies that condition is determined. It represents

次にMTFにおける領域を、取得した情報 F値、焦点距離と光軸中心からの像高を用い、算出する。MTFの算出領域は、図11のような点線の範囲となる。MTFとは、レンズの結像性能を表し、物体のコントラストをどの程度忠実に像として再現できるかを表したものであり、画像中心からの距離において、選定した画質を満足するレンズのコントラストや解像力の範囲を表すものである。取得した各撮影パラメータである画角、被写界深度、分解能(解像度)、MTFの領域の算出が終了したのち、処理ステップS508に進み、算出した各撮影パラメータの領域を重ね合わせ、全ての要素が満足する領域を算出する。 Next, the area in the MTF is calculated using the acquired information F value, focal length and image height from the optical axis center. The calculation area of the MTF is the dotted line range as shown in FIG. MTF indicates the imaging performance of a lens and indicates how faithfully the contrast of an object can be reproduced as an image.The contrast and resolution of the lens that satisfy the selected image quality at the distance from the image center. represents the range of After the calculation of the area of the angle of view, depth of field, resolution (resolution), and MTF, which are the acquired imaging parameters, is completed, the process proceeds to processing step S508, where the calculated areas of the imaging parameters are superimposed, and all the elements Calculate the region that satisfies

図12のように、画角、被写界深度、分解能、МTFの領域算出にて、算出されたエリア(範囲)を重ね合わせることで、全ての撮影パラメータが、選定した画質を満足する領域を求めることができる。本実施例ではこの算出された領域を共通領域と呼ぶこととする。 As shown in FIG. 12, by superimposing the calculated areas (ranges) in the calculation of the angle of view, depth of field, resolution, and МTF, all the shooting parameters satisfy the selected image quality. can ask. In this embodiment, this calculated area is called a common area.

処理ステップS508の処理が終了すると、領域算出サブルーチンの処理が終了し、処理ステップS403に進む。 When the processing of processing step S508 ends, the processing of the area calculation subroutine ends, and the process proceeds to processing step S403.

処理ステップ403では、領域算出サブルーチンで算出した各撮影パラメータの算出領域を保存する。そして処理ステップ404に進み、処理ステップS508で算出した 全ての撮影パラメータの算出領域を重ねあわせ算出した共通領域を保存する。 In processing step 403, the calculation area of each imaging parameter calculated by the area calculation subroutine is saved. Then, the process proceeds to processing step S404, and stores the common region calculated by superimposing the calculation regions of all the imaging parameters calculated in processing step S508.

次に、処理ステップS405に進む。処理ステップ405では、算出した共通領域を撮像装置100に設けられた表示手段であるUI多重表示手段110に表示するか確認する。撮像装置100に設けられたUI多重表示手段110では、撮像光学系200を通して、イメージセンサ107に結像した光が映像信号に変換され、映像出力手段109を介し、撮影映像として表示される。 Next, the process proceeds to processing step S405. In processing step 405 , it is confirmed whether the calculated common area is to be displayed on the UI multiple display means 110 that is the display means provided in the imaging apparatus 100 . In the UI multiplex display means 110 provided in the imaging device 100, the light imaged on the image sensor 107 through the imaging optical system 200 is converted into a video signal and displayed as a captured video via the video output means 109.

算出した共通領域をUI多重表示手段110に表示させる場合には、処理ステップ406に進み、領域パターン生成手段106にて、撮影領域算出手段105にて算出された共通領域を元に、UI多重表示手段110にて表示可能な表示パターンを生成する。 If the calculated common area is to be displayed on the UI multiple display means 110, the process proceeds to processing step 406, and the area pattern generation means 106 displays the UI multiplex based on the common area calculated by the imaging area calculation means 105. A display pattern that can be displayed by means 110 is generated.

処理ステップS407に進み、生成した表示パターンを元に図13のように、UI多重表示手段110の表示されている撮影映像に重ね合わせ、表示する。共通領域を表示する位置は、映像合成装置300から取得した撮像装置100の設置位置と撮影映像の表示範囲における算出した共通領域の位置から算出し表示する。つまり、算出した共通領域の位置情報を、図14のように、前述のフィールド上の基準点Or(0,0)からの撮像装置100が撮影し映し出す撮影映像範囲の頂点の座標情報C(x,y)を求め、基準点Orからの絶対位置を決定する。そして、撮影映像内のピクセル情報から共通領域が占めている範囲を図15のようにP1(Xa1,Y1)~Pzz(Xbzz,Yzz)の座標データとして定義する。 Proceeding to processing step S407, based on the generated display pattern, as shown in FIG. The position where the common area is displayed is calculated and displayed from the installation position of the imaging device 100 acquired from the video synthesizer 300 and the calculated position of the common area in the display range of the captured video. That is, the position information of the calculated common area is converted to the coordinate information C(x , y) to determine the absolute position from the reference point Or. Then, the range occupied by the common area is defined as coordinate data from P1 (Xa1, Y1) to Pzz (Xbzz, Yzz) as shown in FIG. 15 from the pixel information in the captured image.

次処理ステップS408に進み、表示された共通領域の表示パターンを確認し、カメラA301に設置位置を決定する。本実施例では設置方法の例を示し、発明の説明とする。設置する方法は任意で有り、この方法に限定されるものではない。 Proceeding to the next processing step S408, the display pattern of the displayed common area is confirmed, and the installation position of the camera A301 is determined. In this embodiment, an example of the installation method will be shown, and the invention will be explained. The installation method is arbitrary, and is not limited to this method.

まず図13のUI多重表示手段110に表示された共通領域がフィールドのどの部分を網羅しているが確認する。たとえばフィールドの競技を行うコート全体を複数のカメラで隙間なく撮影するためには、コートの端であるコーナーから順番に設置していく必要がある。そのため、表示されている領域を見ながら、図16に示すように共通領域がコーナーを覆うようにカメラA301の設置位置を変更する。設置位置の変更時、状況に応じて、再度共通領域の算出を行う(処理ステップS409)。 First, it is confirmed which part of the field the common area displayed on the UI multiple display means 110 of FIG. 13 covers. For example, in order to capture the entire field court with multiple cameras without any gaps, it is necessary to install the cameras in order from the corner, which is the edge of the court. Therefore, while looking at the displayed area, the installation position of the camera A301 is changed so that the common area covers the corner as shown in FIG. When the installation position is changed, the common area is calculated again according to the situation (processing step S409).

カメラA301の設置位置が決定した場合、処理ステップS410に進み、図17のようにカメラA301に隣接したカメラであるカメラB302やカメラC303のそれぞれの算出領域である共通領域を基準としているカメラA301のUI多重表示手段110に表示させるか確認する。 When the installation position of the camera A301 is determined, the process proceeds to processing step S410, and as shown in FIG. It is confirmed whether the UI multiplex display means 110 is to display.

現在、カメラA301である撮像装置100のUI多重表示手段110には、カメラA301にて、選定した画質を満足する共通領域が表示されているが、フィールド全体を隙間なく撮影するためには、隣接カメラであるカメラB302、カメラC303の設置位置を決める必要がある。そのため、処理ステップS410でカメラ設置を続ける場合は、処理ステップS411に進み、行わない場合には、処理ステップS420に進む。 Currently, the UI multiple display means 110 of the imaging apparatus 100, which is the camera A301, displays a common area that satisfies the image quality selected by the camera A301. It is necessary to determine the installation positions of the cameras B302 and C303. Therefore, if the camera installation is to be continued in processing step S410, the process proceeds to processing step S411, and if not, the processing proceeds to processing step S420.

処理ステップS411では、図1や図2にて示すように、撮像装置100であるカメラA301に接続されている映像合成装置300に対し、隣接カメラにて共通領域の算出をしてもらうために、領域算出を依頼する指定カメラの情報を撮影情報入出力手段112を介し、送信する。ここでは指定カメラをカメラB302、カメラC303とする。 In processing step S411, as shown in FIGS. 1 and 2, in order to have the video synthesizing device 300 connected to the camera A301, which is the imaging device 100, calculate a common area with adjacent cameras, The information of the specified camera for which the area calculation is requested is transmitted via the photographing information input/output means 112 . Here, the designated cameras are camera B302 and camera C303.

処理ステップS412に進み、映像合成装置300に対し、共通領域の算出をしてもらうために必要な指定撮影パラメータを送信する。この撮影パラメータは、カメラA301にて領域算出を行った際に選定、取得した撮影パラメータであり、カメラA301にて共通領域を算出した際に使用した撮影パラメータと同一のものである。 Proceeding to processing step S412, the specified photographing parameters necessary for calculating the common area are transmitted to the video synthesizing apparatus 300. FIG. These shooting parameters are the shooting parameters selected and obtained when the camera A301 calculates the area, and are the same as the shooting parameters used when the camera A301 calculates the common area.

処理ステップS413に進み、映像合成装置300にて、処理ステップS411にて指定されたカメラに対し、処理ステップS412にて取得した撮影パラメータでの領域算出を依頼する。依頼された撮像装置、例えばカメラB302とすると、カメラB302は、映像合成装置300より、指定された撮影パラメータを受け取る。この撮影パラメータは前述のカメラA301での領域算出の際に使用した撮影パラメータと同一の、画角、被写界深度、分解能(解像度)、MTFとなる。この撮影パラメータを受け取った、カメラB302は、処理ステップS402の領域算出サブルーチンと同様の処理を行い、カメラB302における共通領域を算出する。 Proceeding to processing step S413, the image synthesizing device 300 requests the camera specified in processing step S411 to calculate an area using the shooting parameters acquired in processing step S412. Assuming that the imaging device requested is the camera B302, for example, the camera B302 receives the designated imaging parameters from the video synthesizing device 300. FIG. These shooting parameters are the same angle of view, depth of field, resolving power (resolution), and MTF as the shooting parameters used for area calculation in the camera A301. The camera B302 that has received the shooting parameters performs the same processing as the area calculation subroutine in processing step S402 to calculate a common area for the camera B302.

そして、処理ステップS414にて、映像合成装置300は、指定カメラにて算出した領域情報を取得する。ここではカメラB302より、算出した共通領域の情報を取得する。ここで取得する情報は、前述の処理ステップS407にて説明した共通領域の位置情報である。 Then, in processing step S414, the image synthesizing device 300 acquires the area information calculated by the designated camera. Here, information on the calculated common area is acquired from the camera B302. The information acquired here is the position information of the common area described in the processing step S407.

映像合成装置300にて指定カメラの共通領域の位置情報を取得が完了したら、ステップS415に進み、映像合成装置300は、取得した指定カメラが算出した領域情報を依頼を受け取った撮像装置に対し、送信する。ここでは、カメラB302にて算出された共通領域の位置情報をカメラA301に送信する。 When the image synthesizer 300 completes acquiring the position information of the common area of the designated camera, the process advances to step S415, and the image synthesizer 300 sends the area information calculated by the acquired designated camera to the imaging apparatus that has received the request. Send. Here, the position information of the common area calculated by the camera B302 is transmitted to the camera A301.

処理ステップS416に進み、共通領域の位置情報を受け取った撮像装置100は、その情報を元に、UI多重表示手段110に表示可能な表示パターンを生成する。 Proceeding to processing step S416, the imaging device 100 that has received the positional information of the common area generates a display pattern that can be displayed on the UI multiple display means 110 based on the information.

そして処理ステップS417に進み、表示パターンをもとに、撮像装置100のUI多重表示手段110に、その表示パターンを表示する。つまり、図18のように、カメラB302にて、算出された共通領域が、カメラA301の表示装置に重畳表示可能な表示パターンに変換、生成され、カメラA301の表示装置上に重ねて表示されることになる。 Then, the process proceeds to processing step S417, and the display pattern is displayed on the UI multiple display means 110 of the imaging device 100 based on the display pattern. That is, as shown in FIG. 18, the common area calculated by the camera B302 is converted into a display pattern that can be superimposed and displayed on the display device of the camera A301. It will be.

次に、処理ステップS418に進み、他の隣接カメラの算出領域を追加表示をするか確認を行う。さらに追加で、隣接する撮像装置が算出する共通領域をUI多重表示手段110に重畳表示させたい場合は、処理ステップS411に戻り、再度、カメラを指定し、領域算出を映像合成装置300に依頼する。 Next, proceeding to processing step S418, it is confirmed whether or not to additionally display the calculation area of another adjacent camera. In addition, if it is desired to superimpose and display the common area calculated by the adjacent imaging devices on the UI multiplex display means 110, the processing returns to step S411, the camera is specified again, and the image synthesizing device 300 is requested to calculate the area. .

もう、追加表示の必要がない場合は、処理ステップS419にすすむ。ここでは、隣接するカメラC303が算出する共通領域の位置情報が必要であるため、処理ステップS411へ戻り、前述のカメラB302と同様の処理を行い、カメラC303にて算出された共通領域の位置情報を映像合成装置300から取得する。取得した情報を元に表示パターンを生成し、カメラA301のUI多重表示手段110に、その表示パターンを図19のように重畳表示する。 If there is no need for additional display, the process proceeds to processing step S419. Here, since the position information of the common area calculated by the adjacent camera C303 is required, the process returns to the processing step S411, the same processing as the camera B302 described above is performed, and the position information of the common area calculated by the camera C303 is is obtained from the video synthesizer 300 . A display pattern is generated based on the acquired information, and the display pattern is superimposed and displayed on the UI multiple display means 110 of the camera A301 as shown in FIG.

隣接するカメラがカメラB302、カメラC303の2台であるとしたので、処理ステップS418より、処理ステップS419に進む。処理ステップS419では、UI多重表示手段110に表示されたカメラA301、カメラB302、カメラC303の領域表示を確認しながら、各撮像装置であるカメラB302、カメラC303の設置位置を決定する。 Since it is assumed that the two adjacent cameras are camera B302 and camera C303, the process advances from processing step S418 to processing step S419. In processing step S419, while confirming the area displays of camera A301, camera B302, and camera C303 displayed on the UI multiplex display means 110, the installation positions of camera B302 and camera C303, which are respective imaging devices, are determined.

図20に示すように、設置位置を決めたカメラA301を基準に、カメラB302、カメラC303の共通領域の位置を確認しながら、各カメラの共通領域にてフィールドを隙間なくカバーできるよう、設置位置を決定する。カメラB302、カメラC303の設置位置変更時、状況に応じて、再度共通領域の算出をおこなう。 As shown in FIG. 20, while checking the position of the common area of cameras B 302 and C 303 based on camera A 301 whose installation position has been determined, the installation positions are changed so that the common area of each camera can cover the field without gaps. to decide. When the installation positions of camera B302 and camera C303 are changed, the common area is calculated again according to the situation.

各カメラの設置位置が決定したら、処理ステップS420に進み、表示手段であるUI多重表示手段110上での領域表示を終了するか確認する。そのまま表示をする場合、処理ステップS409に戻る。領域表示を終了する場合、処理ステップS421に進み、表示手段 であるUI多重表示手段110上での領域表示を終了する。 After the installation position of each camera is determined, the process proceeds to processing step S420, and it is confirmed whether or not the area display on the UI multiple display means 110, which is the display means, is finished. When displaying as it is, the process returns to the processing step S409. When the area display is finished, the process proceeds to processing step S421, and the area display on the UI multiple display means 110, which is the display means, is finished.

実施例1での説明では、カメラA301、カメラB302、カメラC303をピックアップをし、説明したが、算出した共通領域から、隣接するカメラの設置手法について説明した。 In the description of the first embodiment, the camera A301, the camera B302, and the camera C303 have been picked up and described, but a method of installing adjacent cameras based on the calculated common area has been described.

しかし、広いグラウンドや競技場を、さらに多くの複数カメラにて撮影し、フィールド全体を1つの映像として、選定した画質以上の合成映像として生成するためには、カメラB302、カメラC303に続くカメラも、同様の方法で設置位置を決定する必要がある。その場合は、処理ステップS411から、処理ステップS417を繰り返し行い、各カメラの共通領域を表示装置であるUI多重表示手段110上にて確認し、各カメラにて算出した共通領域でグラウンドや競技場全体をで隙間なくカバーしていく。そして、全体のカバーが完了したら、映像合成装置300にて、各カメラの設置位置情報、各カメラにて算出した共通領域の位置情報を元に、各カメラから取得した映像から、合成する映像範囲を切り出し、合成映像を生成することが可能となる。 However, in order to shoot a large ground or stadium with more cameras and generate a composite image with a selected image quality or higher, the entire field is taken as a single image. , the installation position must be determined in a similar way. In that case, the processing steps S411 to S417 are repeated, the common area of each camera is confirmed on the UI multiple display means 110 which is a display device, and the common area calculated by each camera is used for the ground or stadium. Cover the whole without any gaps. After the entire coverage is completed, the video synthesizing device 300 selects the video range to be synthesized from the video acquired from each camera based on the installation position information of each camera and the position information of the common area calculated by each camera. It is possible to cut out and generate a composite video.

<第2の実施形態>
図21に本発明のブロック図を示す。
<Second embodiment>
FIG. 21 shows a block diagram of the present invention.

本実施形態において、撮像装置100、撮像光学系200の基本的な構成は第1の実施形態と同様である。第1の実施形態と同等の部分については同じ番号を与え、説明は省略する。 In this embodiment, the basic configurations of an imaging device 100 and an imaging optical system 200 are the same as in the first embodiment. Parts equivalent to those in the first embodiment are assigned the same numbers, and descriptions thereof are omitted.

また、図22A、図22Bは、第2の実施形態に係るフローチャートである。本フローチャートにおいて、図3と同一又は同様の処理が行われるステップには同一の符号を付し、その説明を省略する。 22A and 22B are flowcharts according to the second embodiment. In this flow chart, steps in which the same or similar processing as in FIG. 3 is performed are denoted by the same reference numerals, and description thereof will be omitted.

本発明の特徴となるところは、共通領域の算出に使用される撮影パラメータの中から、表示装置に表示させたい撮影パラメータを個別に表示、非表示の選択ができ、多重表示が可能となるところにある。そして、選択した領域を重ね合わせ共通領域を算出し、その領域を重畳表示を可能にでき、撮影パラメータを取捨選択することによる共通領域範囲の差異を表示装置上で確認することができるところにある。 A feature of the present invention is that it is possible to individually display or hide the imaging parameters to be displayed on the display device from among the imaging parameters used for calculating the common area, and to enable multiple display. It is in. Then, the selected areas are superimposed to calculate a common area, the area can be superimposed and displayed, and the difference in the common area range can be confirmed on the display device by selecting the shooting parameters. .

処理ステップS601において、表示手段であるUI多重表示手段110に算出領域を表示させるか確認する。表示させない場合は、処理ステップS421に進み、処理を終了する。 In processing step S601, it is confirmed whether or not to display the calculation area on the UI multiple display means 110, which is the display means. If not, the process proceeds to processing step S421 and ends.

表示させる場合は、処理ステップS602に進み、撮影パラメータから算出された選定した画質を満足する領域の表示パターンを表示させるか?確認する。表示させない場合は、処理ステップS406に進み、共通領域の表示パターンを生成する。表示させる場合は、処理ステップS603に進み、各撮影パラメータの表示パターンを生成する。第1の実施形態を設定を引き継ぐと、選択された撮影パラメータのは、画角、被写界深度、分解能、МTFであり、その算出した領域の表示パターンを生成することとなる。 If it is to be displayed, proceed to processing step S602 to display the display pattern of the area that satisfies the selected image quality calculated from the imaging parameters? Confirm. If not, the flow advances to processing step S406 to generate a display pattern for the common area. If so, the process advances to step S603 to generate a display pattern for each imaging parameter. Continuing the settings of the first embodiment, the selected shooting parameters are the angle of view, depth of field, resolution, and МTF, and the display pattern of the calculated area is generated.

処理ステップS604に進み、表示パターン選択手段114にて、UI多重表示手段110上に表示パターンを表示する撮影パラメータを選択する。表示パターン選択手段114では、領域算出サブルーチン内の処理ステップS505にて取得された撮影パラメータから任意に取捨選択が可能となっている。 Proceeding to processing step S 604 , the display pattern selection means 114 selects a photographing parameter for displaying a display pattern on the UI multiple display means 110 . The display pattern selection means 114 can arbitrarily select from the imaging parameters acquired in the processing step S505 in the region calculation subroutine.

処理ステップS605に進み、選択した撮影パラメータの表示パターンを、表示手段であるUI多重表示手段110上に重畳表示させる。 Proceeding to processing step S605, the display pattern of the selected imaging parameter is superimposed and displayed on the UI multiple display means 110, which is the display means.

表示パターン選択手段114にて、画角、被写界深度、分解能、МTFの全てを選択した場合は、図23のように、P1:画角、P2:分解能、P3:MTF、P4:被写界深度の各撮影パラメータの算出された領域が表示される。 When all of the angle of view, depth of field, resolution, and МTF are selected by the display pattern selection means 114, P1: angle of view, P2: resolution, P3: MTF, P4: object A calculated region for each imaging parameter of the depth of field is displayed.

P2:分解能、P3:МTFだけを選択すると、図24のような表示となる。 If only P2: resolution and P3: МTF are selected, the display is as shown in FIG.

処理ステップS606に進み、表示パターン選択手段114にて選択した撮影パラメータの表示パターンより、重なり合う共通領域を算出する。そして処理ステップS607にて、算出した共通領域を、UI多重表示手段110上に重畳表示を行う。 Proceeding to processing step S<b>606 , the overlapping common area is calculated from the display pattern of the imaging parameters selected by the display pattern selection unit 114 . Then, in processing step S607, the calculated common area is superimposed and displayed on the UI multiple display means 110. FIG.

図23、図24にて撮影パラメータの領域表示されている、UI多重表示手段110上に、それぞれ図25のように共通領域を表示させることが可能である。 It is possible to display a common area as shown in FIG. 25 on the UI multiplex display means 110 where the imaging parameter areas are displayed in FIGS. 23 and 24, respectively.

処理ステップS608に進み、表示する撮影パラメータを再選択するか確認する。再選択する場合は、処理ステップS604に戻り、表示パターン選択手段114での撮影パラメータの選択処置に戻る。再選択しない場合には、処理ステップS408に進み、表示パターンを確認し、カメラA301の設置位置を決定する。 Proceeding to processing step S608, it is confirmed whether to reselect the imaging parameters to be displayed. In the case of reselection, the process returns to processing step S604 to return to the photographing parameter selection processing by the display pattern selection means 114 . If it is not selected again, the process proceeds to processing step S408, the display pattern is confirmed, and the installation position of the camera A301 is determined.

以上のように、第1の実施例では、選択した撮影パラメータから算出し得られた領域を全てを用いて、共通領域を算出し、カメラの設置位置の決定に使用する形である。 As described above, in the first embodiment, the common area is calculated using all the areas calculated from the selected photographing parameters and used to determine the installation position of the camera.

それに対し、第2の実施例では、選択した撮影パラメータから算出し得られた領域から、表示手段に表示可能な表示パターンを生成し、表示パターン選択手段で表示させたい撮影パラメータの取捨選択を可能としている。そして、選択した表示パターンを表示させ、その表示した領域の共通領域を算出をし、重畳表示させることで、撮影パラメータを選択しながら共通領域がどう変化するか確認しながら、設置作業が確認できるようになる。 On the other hand, in the second embodiment, a display pattern that can be displayed on the display means is generated from the area calculated from the selected imaging parameters, and it is possible to select the imaging parameters to be displayed by the display pattern selection means. and Then, by displaying the selected display pattern, calculating the common area of the displayed area, and superimposing the displayed area, it is possible to confirm the installation work while confirming how the common area changes while selecting the imaging parameters. become.

<その他の実施形態>
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
<Other embodiments>
Although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms without departing from the gist of the present invention can be applied to the present invention. included. Some of the above-described embodiments may be combined as appropriate.

100 撮像装置、
101 レンズ情報取得手段、102 装置情報取得手段、103 画質設定手段、
104 撮影パラメータ選択手段、105 撮影領域算出選択手段、
106 領域パターン生成手段、107 イメージセンサ、108 画像処理手段、
109 映像出力手段、110 UI多重表示手段、111 撮像装置制御手段、
112 撮影情報入出力手段、113 設置情報取得手段、
114 表示パターン選択手段、200 撮像光学系、
201 レンズ情報送信手段、202 フォーカスレンズ、
203 ズームレンズ、204 アイリス、205 レンズ装置制御手段、
206 駆動手段、300 映像合成装置、301 カメラA、
302 カメラB、303 カメラC
100 imaging device,
101 lens information acquisition means, 102 device information acquisition means, 103 image quality setting means,
104 imaging parameter selection means; 105 imaging area calculation selection means;
106 area pattern generating means, 107 image sensor, 108 image processing means,
109 video output means, 110 UI multiple display means, 111 imaging device control means,
112 photography information input/output means, 113 installation information acquisition means,
114 display pattern selection means, 200 imaging optical system,
201 lens information transmission means, 202 focus lens,
203 zoom lens, 204 iris, 205 lens device control means,
206 drive means, 300 video synthesizing device, 301 camera A,
302 camera B, 303 camera C

Claims (13)

複数の撮像装置の配置を決定する配置決定装置であって、
前記複数の撮像装置による撮像の対象となる撮像対象領域を取得する第1の取得手段と、
前記複数の撮像装置それぞれについて、撮像装置の撮像により取得される画像のうち所定の画質を満たす範囲に対応する特定領域を取得する第2の取得手段と、
前記第1の取得手段により取得された撮像対象領域と、前記第2の取得手段により取得された前記複数の撮像装置のそれぞれにおける特定領域とに基づいて、前記複数の撮像装置の配置を決定する配置決定手段と、
前記第2の取得手段により取得された、前記複数の撮像装置のうちの第1の撮像装置における第1の特定領域と、前記第2の取得手段により取得された、前記複数の撮像装置のうちの第2の撮像装置における第2の特定領域とを、同一画面において前記第1の特定領域と前記第2の特定領域それぞれの位置情報に応じた位置で表示させる表示制御手段と、を有し、
前記配置決定手段は、前記第1の取得手段により取得された前記撮像対象領域と、前記第2の取得手段により取得された前記撮像装置のそれぞれにおける前記特定領域とに基づいて、前記撮像装置のそれぞれにおける前記特定領域により前記撮像対象領域の全域が隙間なく覆われるように、前記複数の撮像装置の配置を決定することを特徴とする配置決定装置。
A placement determination device for determining placement of a plurality of imaging devices,
a first obtaining means for obtaining an imaging target area to be imaged by the plurality of imaging devices;
a second obtaining means for obtaining, for each of the plurality of imaging devices, a specific region corresponding to a range satisfying a predetermined image quality among images obtained by imaging by the imaging device;
determining the arrangement of the plurality of imaging devices based on the imaging target region acquired by the first acquisition means and the specific region of each of the plurality of imaging devices acquired by the second acquisition means; placement determining means;
A first specific region in a first imaging device among the plurality of imaging devices acquired by the second acquisition means, and among the plurality of imaging devices acquired by the second acquisition means and display control means for displaying the second specific area in the second imaging device in the same screen at a position corresponding to the position information of each of the first specific area and the second specific area. ,
The layout determining means determines the position of the imaging device based on the imaging target region acquired by the first acquisition means and the specific region of each of the imaging devices acquired by the second acquisition means. An arrangement determining apparatus that determines the arrangement of the plurality of imaging devices so that the entire area of the imaging target area is covered by the specific area of each without gaps .
前記画質とは、解像度で表されることを特徴とする請求項1に記載の配置決定装置。 2. The layout determining apparatus according to claim 1 , wherein said image quality is represented by resolution. 前記第2の取得手段は、複数の撮像パラメータに基づいて、前記複数の撮像装置のそれぞれにおける前記特定領域を取得することを特徴とする請求項1又は2に記載の配置決定装置。 3. The layout determining apparatus according to claim 1, wherein said second acquiring means acquires said specific region in each of said plurality of imaging devices based on a plurality of imaging parameters. 前記第2の取得手段は、前記複数の撮像装置のそれぞれに対して、前記複数の撮像パラメータのそれぞれについて所定の条件を満たす領域を特定し、前記複数の撮像パラメータのそれぞれについて特定した領域の共通の領域を特定領域として取得することを特徴とする請求項に記載の配置決定装置。 The second obtaining means specifies, for each of the plurality of imaging apparatuses, an area satisfying a predetermined condition for each of the plurality of imaging parameters, and common to the areas specified for each of the plurality of imaging parameters. 4. The layout determining apparatus according to claim 3 , wherein the area of is acquired as the specific area. 前記複数の撮像パラメータは、解像度を含むことを特徴とする請求項又はに記載の配置決定装置。 5. The arrangement determining apparatus according to claim 3 , wherein said plurality of imaging parameters include resolution. 前記複数の撮像パラメータは、被写界深度を含むことを特徴とする請求項乃至のいずれか1項に記載の配置決定装置。 6. The arrangement determining apparatus according to any one of claims 3 to 5 , wherein said plurality of imaging parameters include depth of field. 前記複数の撮像パラメータは、ユーザにより指定されうることを特徴とする請求項乃至のいずれか1項に記載の配置決定装置。 7. The layout determining apparatus according to any one of claims 3 to 6 , wherein said plurality of imaging parameters can be designated by a user. 前記所定の画質を設定する設定手段をさらに有することを特徴とする請求項1乃至のいずれか1項に記載の配置決定装置。 8. The layout determining apparatus according to claim 1 , further comprising setting means for setting said predetermined image quality. 前記所定の画質は、前記複数の撮像装置の撮像により取得される画像を用いて生成される画像の画質に基づくことを特徴とする請求項1乃至のいずれか1項に記載の配置決定装置。 9. The layout determining apparatus according to any one of claims 1 to 8 , wherein said predetermined image quality is based on image quality of an image generated using images acquired by said plurality of imaging devices. . 前記同一画面上に表示された特定領域の位置について変更を受け付ける受付手段と、をさらに有し、
前記配置決定手段は、前記受付手段による受け付けられた前記特定領域の位置の変更に基づいて、当該特定領域に対応する撮像装置の配置を決定することを特徴とする請求項1乃至のいずれか1項に記載の配置決定装置。
further comprising receiving means for receiving a change in the position of the specific area displayed on the same screen;
10. The layout determining unit determines the layout of the imaging devices corresponding to the specific area based on the change in the position of the specific area received by the receiving unit. The arrangement determination device according to item 1.
前記表示制御手段は、前記撮像対象領域の一部に対応する、前記複数の撮像装置のうちの一つの撮像装置の撮像により取得される画像に、前記第1の撮像装置における特定領域と前記第2の撮像装置における特定領域とを重畳させることを特徴とする請求項1乃至1のいずれか1項に記載の配置決定装置。 The display control means causes an image obtained by imaging by one of the plurality of imaging devices corresponding to a part of the imaging target region to be captured by the specific region of the first imaging device and the specific region of the first imaging device. 11. The layout determining apparatus according to any one of claims 1 to 10, wherein the specific area of the second imaging device is superimposed. 複数の撮像装置の配置を決定する配置決定方法であって、
前記複数の撮像装置による撮像の対象となる撮像対象領域を取得する第1の取得工程と、
前記複数の撮像装置それぞれに対して、撮像装置の撮像により取得される画像のうち所定の画質を満たす範囲に対応する特定領域を取得する第2の取得工程と、
前記第1の取得工程において取得された撮像対象領域と、前記第2の取得工程において取得された前記複数の撮像装置のそれぞれにおける特定領域とに基づいて、前記複数の撮像装置の配置を決定する決定工程と、
前記第2の取得工程により取得された、前記複数の撮像装置のうちの第1の撮像装置における第1の特定領域と、前記第2の取得工程により取得された、前記複数の撮像装置のうちの第2の撮像装置における第2の特定領域とを、同一画面において前記第1の特定領域と前記第2の特定領域それぞれの位置関係に応じた位置で表示させる表示工程と、を有し、
前記決定工程において、前記第1の取得工程により取得された前記撮像対象領域と、前記第2の取得工程により取得された前記撮像装置のそれぞれにおける前記特定領域とに基づいて、前記撮像装置のそれぞれにおける前記特定領域により前記撮像対象領域の全域が隙間なく覆われるように、前記複数の撮像装置の配置を決定することを特徴とする配置決定方法。
A placement determination method for determining placement of a plurality of imaging devices, comprising:
a first acquisition step of acquiring an imaging target region to be imaged by the plurality of imaging devices;
a second obtaining step of obtaining, for each of the plurality of imaging devices, a specific region corresponding to a range that satisfies a predetermined image quality among the images obtained by imaging by the imaging device;
determining the arrangement of the plurality of imaging devices based on the imaging target region obtained in the first obtaining step and the specific region of each of the plurality of imaging devices obtained in the second obtaining step; a decision process;
A first specific region in a first imaging device among the plurality of imaging devices acquired by the second acquisition step, and among the plurality of imaging devices acquired by the second acquisition step and a display step of displaying the second specific region in the second imaging device in the same screen at a position corresponding to the positional relationship between the first specific region and the second specific region ,
In the determination step, each of the imaging devices based on the imaging target region acquired in the first acquisition step and the specific region in each of the imaging devices acquired in the second acquisition step 3. An arrangement determination method , wherein the arrangement of the plurality of imaging devices is determined such that the entire area of the imaging target area is covered by the specific area in .
コンピュータを、請求項1乃至1のいずれか1項に記載の配置決定装置として機能させるためのプログラム。 A program for causing a computer to function as the placement determination device according to any one of claims 1 to 11.
JP2017113891A 2017-06-09 2017-06-09 Imaging device installation method and control means Active JP7140472B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017113891A JP7140472B2 (en) 2017-06-09 2017-06-09 Imaging device installation method and control means

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017113891A JP7140472B2 (en) 2017-06-09 2017-06-09 Imaging device installation method and control means

Publications (3)

Publication Number Publication Date
JP2018207430A JP2018207430A (en) 2018-12-27
JP2018207430A5 JP2018207430A5 (en) 2020-07-27
JP7140472B2 true JP7140472B2 (en) 2022-09-21

Family

ID=64957490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017113891A Active JP7140472B2 (en) 2017-06-09 2017-06-09 Imaging device installation method and control means

Country Status (1)

Country Link
JP (1) JP7140472B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204547A (en) 2001-10-15 2003-07-18 Matsushita Electric Ind Co Ltd Vehicle surrounding monitoring system and method for adjusting the same
JP2004272706A (en) 2003-03-10 2004-09-30 Minolta Co Ltd Camera
WO2006132029A1 (en) 2005-06-07 2006-12-14 Matsushita Electric Industrial Co., Ltd. Monitoring system, monitoring method, and camera terminal
WO2014087621A1 (en) 2012-12-06 2014-06-12 日本電気株式会社 Program, method, and system for displaying image recognition processing suitability
JP2014121064A (en) 2012-12-19 2014-06-30 Casio Comput Co Ltd Imaging device, imaging method, and program; and display device, display method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204547A (en) 2001-10-15 2003-07-18 Matsushita Electric Ind Co Ltd Vehicle surrounding monitoring system and method for adjusting the same
JP2004272706A (en) 2003-03-10 2004-09-30 Minolta Co Ltd Camera
WO2006132029A1 (en) 2005-06-07 2006-12-14 Matsushita Electric Industrial Co., Ltd. Monitoring system, monitoring method, and camera terminal
WO2014087621A1 (en) 2012-12-06 2014-06-12 日本電気株式会社 Program, method, and system for displaying image recognition processing suitability
JP2014121064A (en) 2012-12-19 2014-06-30 Casio Comput Co Ltd Imaging device, imaging method, and program; and display device, display method, and program

Also Published As

Publication number Publication date
JP2018207430A (en) 2018-12-27

Similar Documents

Publication Publication Date Title
US8879870B2 (en) Image creation with software controllable depth of field
US7848628B2 (en) Camera system, camera control apparatus, panorama image making method and computer program product
JP4932660B2 (en) Image recording apparatus and image recording method
EP3356887A1 (en) Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
JP5984493B2 (en) Image processing apparatus, image processing method, imaging apparatus, and program
JP2011139368A (en) Control apparatus and control method for capturing device
JP6361931B2 (en) Image processing apparatus, imaging system including the same, and image processing method
JP5735846B2 (en) Image processing apparatus and method
JP2012049773A (en) Imaging apparatus and method, and program
JPWO2019026746A1 (en) Image processing apparatus and method, imaging apparatus, and program
KR101465112B1 (en) camera system
JP2005184776A (en) Imaging device and its method, monitoring system, program and recording medium
JP2018186514A (en) Image processing device, imaging system having the same and image processing method
JP2011237713A (en) Imaging device and imaging method
JP2001036898A (en) Camera system for generating panoramic video
JP7140472B2 (en) Imaging device installation method and control means
JP2006157432A (en) Three-dimensional photographic apparatus and photographic method of three-dimensional image
JP5509986B2 (en) Image processing apparatus, image processing system, and image processing program
KR100579135B1 (en) Method for capturing convergent-type multi-view image
RU2716896C1 (en) Method for automatic adjustment of spaced-apart camera system for forming panoramic image
JP4614980B2 (en) Image projection position adjustment system, image projection position adjustment method, and image projection position adjustment program
JP2009169884A (en) Photographing device, control method of photographing device, and image reproduction device, method and program
JP2020160773A (en) Image processing device, imaging device, image processing method, and program
WO2012099174A1 (en) Autofocus system
KR20140045636A (en) Apparatus for generating layered panorama image

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220908

R151 Written notification of patent or utility model registration

Ref document number: 7140472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151