WO2018051491A1 - 多眼カメラ表示制御装置 - Google Patents

多眼カメラ表示制御装置 Download PDF

Info

Publication number
WO2018051491A1
WO2018051491A1 PCT/JP2016/077485 JP2016077485W WO2018051491A1 WO 2018051491 A1 WO2018051491 A1 WO 2018051491A1 JP 2016077485 W JP2016077485 W JP 2016077485W WO 2018051491 A1 WO2018051491 A1 WO 2018051491A1
Authority
WO
WIPO (PCT)
Prior art keywords
joint
camera
relative position
display control
cameras
Prior art date
Application number
PCT/JP2016/077485
Other languages
English (en)
French (fr)
Inventor
直樹 鶴
康祐 中島
卓見 秋山
義則 齊川
貴司 山内
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2016/077485 priority Critical patent/WO2018051491A1/ja
Priority to JP2018504959A priority patent/JP6328361B1/ja
Publication of WO2018051491A1 publication Critical patent/WO2018051491A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • the present invention relates to a multi-view camera display control device in a multi-view camera system in which three or more cameras are connected using a plurality of joints having an arbitrary shape.
  • a multi-view camera system is used to capture a stereoscopic image, a panoramic image, and a refocusable image whose focal length can be changed later.
  • a technique has been proposed in which three or more cameras are connected mechanically, electrically, or wirelessly so that a user can freely change the shooting direction.
  • a multi-lens camera system including a camera unit and a connection unit that connects them (see, for example, Patent Document 1).
  • this multi-lens camera system two cameras are connected by a connecting part, so that the cameras can be arranged in an arbitrary arrangement, and the user can easily change the arrangement.
  • the present invention has been made to solve such a problem, and is to obtain a multi-camera display control apparatus that can easily realize a multi-camera system having a high degree of freedom in selecting the layout and number of cameras. Objective.
  • the multi-lens camera display control device includes a joint-side connector at both ends, and obtains joint information indicating an arbitrary shape in a plurality of joints configured in an arbitrary shape, respectively,
  • a camera information acquisition unit that has a plurality of camera side connectors to which the joint side connectors are connected and acquires size information indicating the length between the camera side connectors in three or more cameras connected by a plurality of joints; and joint information
  • a relative position calculation unit for calculating relative positions of three or more cameras connected by a plurality of joints from the size information.
  • the multi-lens camera display control device provides the relative position of three or more cameras connected by a plurality of joints from joint information indicating the shape of the joint and size information indicating the length between the joints of the camera. It is to be calculated. Thereby, a multi-view camera system with a high degree of freedom in selecting the layout and number of cameras can be easily realized.
  • FIG. 1 is an explanatory diagram illustrating a relationship between a camera and a joint of a multi-view camera system to which the multi-view camera display control device of the present embodiment is applied.
  • the illustrated multi-lens camera system includes a plurality of joints (three joints 100 in FIG. 1) and three or more cameras (four cameras 200 in FIG. 1) connected by these joints 100.
  • Each joint 100 is provided with a joint-side connector 100a that is a male connector at both ends, and a camera-side connector that is a female connector of the camera 200 is connected to the joint-side connector 100a.
  • the camera side connector is not shown.
  • FIG. 2 is a perspective view showing a plurality of joint examples in the multi-view camera system.
  • the joint 100-1 is a linear joint having joint-side connectors at both ends.
  • the joint 100-2 is a joint that is provided with joint-side connectors at both ends and is bent in an L shape.
  • the joint 100-3 is an expandable / contractible joint having joint-side connectors at both ends.
  • the joint 100-4 is a joint that has joint-side connectors at both ends and can be bent at any angle in a three-dimensional direction.
  • the joint 100-5 is a hinge-type joint that has joint-side connectors at both ends and can be bent.
  • FIG. 3 is a configuration diagram illustrating the multi-camera display control device 10 and the display device 20 according to the present embodiment.
  • the multi-view camera display control device 10 includes a joint information acquisition unit 1, a joint relative position calculation unit 2, a camera information acquisition unit 3, and an overall relative position calculation unit 4.
  • the joint information acquisition unit 1 is a functional unit that acquires joint information indicating the shapes of a plurality of joints 100 (100-1 to 100-n) connected to three or more cameras 200. That is, each of the joints 100-1 to 100 shown in FIG. 2 is given an identifier indicating which joint 100, and this identifier is acquired as joint information, and the joints 100-3 to 100-5 As for the joint whose shape changes, information on the changed shape is acquired as joint information.
  • the joint 100-3 information on the expansion / contraction length is acquired in the form of information from a sensor that measures the resistance value of the movable part.
  • the joint 100-4 acquires three-dimensional shape information
  • the joint 100-5 acquires angle information as information from a sensor that can convert a rotational displacement amount into an electrical signal, such as a rotary encoder.
  • the joint information includes information indicating which camera 200 is connected to any camera 200 together with the identifier of the joint 100.
  • the joint relative position calculation unit 2 is a functional unit that calculates the relative positions of the plurality of joints 100 based on the plurality of joint information acquired by the joint information acquisition unit 1.
  • the camera information acquisition unit 3 has a length between camera-side connectors in three or more cameras 200 (200-1 to 200-n), that is, a length of the camera 200 sandwiched between the joints 100, for example, as shown in FIG.
  • the multi-lens camera system is a functional unit that acquires the width of each camera 200 as size information. As the size information, the height and depth values of each camera 200 are also acquired as size information.
  • the total relative position calculation unit 4 is a multi-view camera system based on the relative position of each joint 100 calculated by the joint relative position calculation unit 2 and the size information of each camera 200 acquired by the camera information acquisition unit 3. It is a functional unit that calculates the overall relative position.
  • the joint relative position calculation unit 2 and the overall relative position calculation unit 4 constitute a relative position calculation unit that calculates the relative positions of three or more cameras connected by a plurality of joints from joint information and size information. ing.
  • the display device 20 is a display device for displaying the relative position calculated by the multi-view camera display control device 10.
  • the multi-view camera display control device 10 may be provided in each camera 200, and the multi-view camera display control device 10 in each camera 200 may operate in cooperation, or one main camera. 200 may be provided. Furthermore, it may be provided outside the camera 200 independently. In any configuration, each joint 100 has a signal path for transmitting joint information of another joint 100 via the camera 200 therein. In addition, the display device 20 may be provided independently outside, or the display of one main camera 200 may be used as the display device 20.
  • FIG. 4 is a hardware configuration diagram of the multi-view camera display control device 10.
  • the multi-view camera display control device 10 includes a CPU 301, a memory 302, an input interface 303, and an output interface 304.
  • the CPU 301 is a processor for executing the program stored in the memory 302 and realizing the functions of the multi-view camera display control device 10.
  • the memory 302 stores a program corresponding to each function of the joint information acquisition unit 1 to the overall relative position calculation unit 4, constitutes a work area of the CPU 301, and includes a semiconductor memory for storing various data. It is a storage unit.
  • the input interface 303 is an interface for acquiring joint information and size information.
  • the output interface 304 is an interface for outputting the overall relative position calculated by the overall relative position calculation unit 4 as display data.
  • the joint information acquisition unit 1 and the camera information acquisition unit 3 illustrated in FIG. 3 include a CPU 301, a memory 302, and an input interface 303.
  • the joint relative position calculation unit 2 and the overall relative position calculation unit 4 include a CPU 301 and a memory 302. Has been.
  • the joint information acquisition unit 1 to the overall relative position calculation unit 4 are realized by the CPU 301 reading and executing the program stored in the memory 302.
  • the joint information acquisition unit 1 acquires which joint 100 is connected to which camera 200 as joint information (step ST1).
  • the joint relative position calculation unit 2 calculates the joint relative position using the joint information acquired by the joint information acquisition unit 1 (step ST2).
  • the camera information acquisition part 3 acquires size information (step ST3).
  • the overall relative position calculation unit 4 uses the joint relative position calculated by the joint relative position calculation unit 2 and the size information acquired by the camera information acquisition unit 3 to indicate which camera 200 is connected to which joint 100.
  • the relative position is calculated (step ST4).
  • the overall relative position calculated by the overall relative position calculation unit 4 is output as display data and displayed on the display device 20 (step ST5).
  • the camera information acquisition unit 3 acquires the size information in step ST3. Or it may be simultaneous.
  • FIG. 6 shows a display example of the overall relative position.
  • the illustrated example shows a multi-lens camera system in which three cameras 200 (200-1 to 200-3) are connected by two joints 100-2.
  • three cameras 200 200-1 to 200-3 are connected by two joints 100-2.
  • the joint 100 it is possible to display the overall relative position as a multi-lens camera system.
  • the overall relative position calculation unit 4 is configured to display an image corresponding to the rotation instruction when the rotation instruction is given to the display image shown in FIG. That is, the display image is rotated similarly to the rotation of the three-dimensional computer graphics.
  • joint information indicating a desired shape in a plurality of joints having a joint-side connector at both ends and configured in a desired shape is acquired.
  • the joint information acquisition unit and each has multiple camera-side connectors to which the joint-side connector is connected, and acquires size information indicating the length between the camera-side connectors in three or more cameras connected by multiple joints
  • Camera information acquisition unit, and a relative position calculation unit that calculates the relative position of three or more cameras connected by a plurality of joints from joint information and size information.
  • the relative position calculation unit outputs the calculated relative positions of the three or more cameras as display data.
  • the relative position can be displayed.
  • FIG. 7 is a configuration diagram illustrating the multi-view camera display control device 10a according to the second embodiment.
  • the multi-view camera display control device 10a according to the second embodiment includes a composite image generation unit 5 in addition to the joint information acquisition unit 1, the joint relative position calculation unit 2, the camera information acquisition unit 3, and the overall relative position calculation unit 4.
  • the joint information acquisition unit 1 to the overall relative position calculation unit 4 are the same as the joint information acquisition unit 1 to the overall relative position calculation unit 4 in the first embodiment, and thus the description thereof is omitted.
  • the composite image generation unit 5 is a functional unit that generates composite image display data for displaying the imaging data of each camera 200 as an image at the position of the corresponding camera 200.
  • step ST1 to step ST4 are the same as the operations of the first embodiment shown in FIG. 5, and therefore, the corresponding processes are denoted by the same reference numerals and the description thereof is omitted.
  • the composite image generation unit 5 acquires video data from each camera 200 (step ST11), and the camera at the overall relative position.
  • the composite image display data in which the video from the corresponding camera 200 is arranged at the position is generated (step ST12).
  • the generated composite image is sent to the display device 20 and displayed on the display device 20 (step ST13).
  • FIG. 9 is an example of a composite image display. This is an image displayed at the camera position of the overall relative position shown in FIG. 6 of the first embodiment. That is, the video 400-1 is the video of the camera 200-1, the video 400-2 is the video of the camera 200-2, and the video 400-3 is the video of the camera 200-3.
  • the composite image generation unit 5 is configured to display an image corresponding to the rotation instruction when the rotation instruction is given to the display image shown in FIG. That is, the display image is rotated similarly to the rotation of the three-dimensional computer graphics.
  • the image data from each camera 200 is video data, that is, moving image data has been described.
  • the present invention can also be applied to image data of still images as image data.
  • the composite image generation unit that generates display data for displaying the imaging data of three or more cameras at the corresponding camera positions. Since it is provided, data actually captured by the camera can be displayed, so that more information about the multi-camera system can be provided.
  • Embodiment 3 the movable range of the joint 100 is limited.
  • an image (layout) of an image desired to be obtained before shooting is designated as an image, and the movable range of the joint 100 that connects the cameras is limited so that the image can be obtained. The arrangement of can be easily determined.
  • FIG. 10 is a configuration diagram illustrating the multi-lens camera display control apparatus 10b according to the third embodiment.
  • the multi-lens camera display control device 10b according to the third embodiment includes a composite image image generation unit 6, A composite image selection unit 7 and a movable range determination unit 8 are provided.
  • the joint information acquisition unit 1 to the overall relative position calculation unit 4 is the same as the joint information acquisition unit 1 to the overall relative position calculation unit 4 in the first and second embodiments, description thereof is omitted.
  • the composite image image generation unit 6 is a functional unit that generates composite image image data for displaying an image image corresponding to the imaging data of the camera 200 at the position of the camera 200 in the overall relative position.
  • the image image is, for example, an image image corresponding to imaging data from the actual camera 200 such as a frame indicating a video image or a “gray square displayed as a video image and characters” as shown in FIG. Means.
  • the composite image selection unit 7 moves the image. It is a functional unit that acquires values of direction and amount of movement.
  • the movable range determination unit 8 is a functional unit that determines the movable range of the corresponding joint 100 based on the movement direction and the amount of movement acquired by the composite image selection unit 7.
  • step ST1 to step ST4 are the same as the operations of the first embodiment shown in FIG. 5, and therefore, the corresponding processes are denoted by the same reference numerals and the description thereof is omitted.
  • the composite image image generation unit 6 arranges the corresponding image image of the camera 200 at the camera position at the overall relative position.
  • Composite image image data is generated (step ST21). Then, the generated composite image data is sent to the display device 20 and displayed on the display device 20 (step ST22).
  • step ST23-Yes when there is an instruction to move to the arranged image (step ST23-Yes), for example, when the image is dragged with a mouse or the like, the composite image selection unit 7 issues the instruction to move. In response, the movement direction and movement amount are acquired (step ST24). On the other hand, if there is no movement instruction in step ST23 (step ST23-No), the apparatus waits for the movement instruction as it is.
  • the composite image selection unit 7 acquires the values of the movement direction and the movement amount
  • the movable range determination unit 8 determines the movable range of the corresponding joint 100 from these values (step ST25).
  • the joint 100-2 shown in FIG. 6 is movable like the joint 100-5 in FIG.
  • the movable range of the joint is 30 degrees counterclockwise.
  • the movable range determination unit 8 limits the movable range of the joint 100-5 to 30 degrees counterclockwise.
  • a gear is provided on the movable shaft of the joint 100-5, and the gear is locked using an electromagnet. When the movable shaft reaches a limited angle, the gear is electrically locked. This is done using such a mechanism.
  • the movable range of the joint 100-5 is limited, and the joint 100-5 cannot be rotated more than 30 degrees counterclockwise.
  • the movable range is limited to movable joints 100 such as joint 100-3 to joint 100-5.
  • the movement is restricted such that the movement instruction is not accepted.
  • the composite image generation unit that generates a plurality of image images corresponding to the respective imaging data in three or more cameras
  • a movable range determination unit is provided to determine the movable range of the corresponding joint in response to the amount of movement of the movement instruction.
  • the multi-view camera display control device is configured to determine the relative positions of three or more cameras in a multi-view camera system in which three or more cameras are connected using a plurality of arbitrary-shaped joints.
  • the present invention relates to a configuration to be calculated, and is suitable for use in a multi-eye camera system for photographing a stereoscopic image, a panoramic image, or a refocusable image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)

Abstract

ジョイント情報取得部（１）は、各ジョイントの形状を示すジョイント情報を取得する。カメラ情報取得部（３）は、カメラのジョイント間の長さを示すサイズ情報を取得する。ジョイント相対位置算出部（２）及びカメラ情報取得部（３）は、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する。

Description

多眼カメラ表示制御装置
　本発明は、複数の任意の形状のジョイントを用いて三台以上のカメラを接続した多眼カメラシステムにおける多眼カメラ表示制御装置に関するものである。
　立体画像やパノラマ画像、焦点距離を後から変更できるリフォーカサブル画像を撮影するために、多眼カメラシステムが利用される。
　従来の多眼カメラシステムにおいて、ユーザがその撮影方向を自由に変えられるものとして、三台以上のカメラを機械的、電気的または無線で接続して撮影を行う技術が提案されている。また、カメラ部とそれらを連結する接続部によって構成される多眼カメラシステムがあった（例えば、特許文献１参照）。この多眼カメラシステムは、二つのカメラ部を接続部によって連結することで、任意の配置でカメラを配置でき、かつ、ユーザがその配置を簡単に変えられるようにしたものである。
特開２０１２－２３７９３７号公報
　しかしながら、上記特許文献１に記載されたような従来の多眼カメラシステムでは、単に二つのカメラを接続部で接続して撮影するようにしただけであって、接続部も単にジョイントとしての機能を持つだけである。従って、多眼カメラシステムとしてのカメラのレイアウトや台数の選択の自由度が小さいという課題があった。
　この発明は、かかる問題を解決するためになされたもので、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することのできる多眼カメラ表示制御装置を得ることを目的とする。
　この発明に係る多眼カメラ表示制御装置は、両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける任意の形状を示すジョイント情報を取得するジョイント情報取得部と、それぞれが、ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、複数のジョイントで接続される三台以上のカメラにおけるカメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部とを備えたものである。
　この発明に係る多眼カメラ表示制御装置は、ジョイントの形状を示すジョイント情報と、カメラのジョイント間の長さを示すサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出するようにしたものである。これにより、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することができる。
この発明に係る多眼カメラ表示制御装置が適用される多眼カメラシステムのカメラとジョイントとの関係を示す説明図である。 この発明に係る多眼カメラ表示制御装置が適用される多眼カメラシステムの複数のジョイント例を示す斜視図である。 この発明の実施の形態１の多眼カメラ表示制御装置を示す構成図である。 この発明の実施の形態１の多眼カメラ表示制御装置のハードウェア構成図である。 この発明の実施の形態１の多眼カメラ表示制御装置の動作を示すフローチャートである。 この発明の実施の形態１の多眼カメラ表示制御装置の表示例を示す説明図である。 この発明の実施の形態２の多眼カメラ表示制御装置を示す構成図である。 この発明の実施の形態２の多眼カメラ表示制御装置の動作を示すフローチャートである。 この発明の実施の形態２の多眼カメラ表示制御装置の表示例を示す説明図である。 この発明の実施の形態３の多眼カメラ表示制御装置を示す構成図である。 この発明の実施の形態３の多眼カメラ表示制御装置の動作を示すフローチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、本実施の形態の多眼カメラ表示制御装置が適用される多眼カメラシステムのカメラとジョイントとの関係を示す説明図である。
　図示の多眼カメラシステムは、複数のジョイント（図１では三つのジョイント１００）とこれらジョイント１００によって接続される三台以上のカメラ（図１では四台のカメラ２００）から構成されている。それぞれのジョイント１００は、両端に雄コネクタであるジョイント側コネクタ１００ａが設けられ、これらジョイント側コネクタ１００ａによってカメラ２００の雌コネクタであるカメラ側コネクタを接続するよう構成されている。なお、カメラ側コネクタについては図示を省略している。
　図２は、多眼カメラシステムにおける複数のジョイント例を示す斜視図である。ジョイント１００－１は両端にジョイント側コネクタを備えた直線形状のジョイントである。ジョイント１００－２は両端にジョイント側コネクタを備え、Ｌ字形に曲がって形成されたジョイントである。ジョイント１００－３は両端にジョイント側コネクタを備えた伸縮可能なジョイントである。ジョイント１００－４は両端にジョイント側コネクタを備え、三次元方向に自由な角度に曲げることが可能なジョイントである。ジョイント１００－５は両端にジョイント側コネクタを備え、折り曲げることが可能な蝶番型のジョイントである。
　図３は、本実施の形態の多眼カメラ表示制御装置１０と表示装置２０を示す構成図である。多眼カメラ表示制御装置１０は、ジョイント情報取得部１、ジョイント相対位置算出部２、カメラ情報取得部３、全体相対位置算出部４を備える。ジョイント情報取得部１は、三台以上のカメラ２００に接続されている複数のジョイント１００（１００－１～１００－ｎ）の形状を示すジョイント情報を取得する機能部である。すなわち、図２で示したジョイント１００－１～５には、それぞれどのジョイント１００であるかを示す識別子が付与され、この識別子がジョイント情報として取得されると共に、ジョイント１００－３～１００－５のようにその形状が変化するジョイントは、その変化形状の情報がジョイント情報として取得される。例えば、ジョイント１００－３ではその伸縮長の情報が可動部の抵抗値を計測するセンサからの情報といった形で取得される。また、ジョイント１００－４では３次元の形状情報が、ジョイント１００－５では角度情報が、例えばロータリエンコーダのような回転変位量を電気信号に変換できるセンサからの情報として取得される。また、ジョイント情報としては、ジョイント１００の識別子と共に、いずれかのカメラ２００に接続された場合は、どのカメラ２００に接続されたかを示す情報も含んでいる。
　ジョイント相対位置算出部２は、ジョイント情報取得部１で取得された複数のジョイント情報に基づいて、複数のジョイント１００の相対位置を算出する機能部である。カメラ情報取得部３は、三台以上のカメラ２００（２００－１～２００－ｎ）におけるカメラ側コネクタ間の長さ、すなわち、各ジョイント１００で挟まれるカメラ２００の長さ、例えば図１に示される多眼カメラシステムでは各カメラ２００の横幅をサイズ情報として取得する機能部である。また、サイズ情報としては、各カメラ２００の高さと奥行の値もサイズ情報として取得される。全体相対位置算出部４は、ジョイント相対位置算出部２で算出された各ジョイント１００の相対位置と、カメラ情報取得部３で取得された各カメラ２００のサイズ情報に基づいて多眼カメラシステムとしての全体の相対位置を算出する機能部である。なお、ジョイント相対位置算出部２と全体相対位置算出部４とで、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部が構成されている。また、表示装置２０は、多眼カメラ表示制御装置１０で算出した相対位置を表示するための表示装置である。
　なお、多眼カメラ表示制御装置１０は、各カメラ２００内に設け、各カメラ２００内の多眼カメラ表示制御装置１０が協調して動作を行っても良く、また、１台のメインとなるカメラ２００内に設けてもよい。さらには、カメラ２００の外部に独立して設けてもよい。いずれの構成であっても、各ジョイント１００は、カメラ２００を介して他のジョイント１００のジョイント情報を伝送するための信号路を内部に有しているものとする。また、表示装置２０については、外部に独立して設けるか、１台のメインとなるカメラ２００のディスプレイを表示装置２０としてもよい。
　また、多眼カメラシステムとしての画像処理関係の構成については従来と同様であるため、画像処理に関する構成の図示やその動作についての説明は省略する。
　図４は、多眼カメラ表示制御装置１０のハードウェア構成図である。図示のように、多眼カメラ表示制御装置１０は、ＣＰＵ３０１、メモリ３０２、入力インタフェース３０３、出力インタフェース３０４を備える。ＣＰＵ３０１は、メモリ３０２に格納されたプログラムを実行して多眼カメラ表示制御装置１０の機能を実現するためのプロセッサである。メモリ３０２は、ジョイント情報取得部１～全体相対位置算出部４のそれぞれの機能に対応したプログラムを格納すると共に、ＣＰＵ３０１の作業領域を構成し、かつ、各種データを記憶するための半導体メモリからなる記憶部である。入力インタフェース３０３は、ジョイント情報やサイズ情報を取得するためのインタフェースである。出力インタフェース３０４は全体相対位置算出部４で算出された全体相対位置を表示データとして出力するためのインタフェースである。図３に示したジョイント情報取得部１及びカメラ情報取得部３は、ＣＰＵ３０１、メモリ３０２及び入力インタフェース３０３で構成され、ジョイント相対位置算出部２及び全体相対位置算出部４はＣＰＵ３０１及びメモリ３０２で構成されている。また、ジョイント情報取得部１～全体相対位置算出部４は、それぞれ、メモリ３０２に格納されたプログラムをＣＰＵ３０１が読み出して実行することで実現されている。
　次に、実施の形態１の多眼カメラ表示制御装置の動作を図５のフローチャートに沿って説明する。
　ジョイント情報取得部１は、どのジョイント１００がどのカメラ２００に接続されているかをジョイント情報として取得する（ステップＳＴ１）。次に、ジョイント相対位置算出部２は、ジョイント情報取得部１で取得したジョイント情報を用いてジョイント相対位置を算出する（ステップＳＴ２）。また、カメラ情報取得部３はサイズ情報を取得する（ステップＳＴ３）。全体相対位置算出部４は、ジョイント相対位置算出部２で算出したジョイント相対位置とカメラ情報取得部３で取得したサイズ情報を用いて、どのジョイント１００でどのカメラ２００が接続されているかを示す全体相対位置を算出する（ステップＳＴ４）。全体相対位置算出部４で算出された全体相対位置は表示データとして出力され、表示装置２０で表示される（ステップＳＴ５）。なお、図５のフローチャートでは、ステップＳＴ２でジョイント相対位置を算出した後に、ステップＳＴ３でカメラ情報取得部３がサイズ情報を取得するようにしたが、これらの順序はどちらが先であってもよく、あるいは同時であってもよい。
　図６は、全体相対位置の表示例を示す。
　図示例では、三台のカメラ２００（２００－１～２００－３）が二つのジョイント１００－２で接続された多眼カメラシステムを示している。このように、ジョイント１００をカメラ２００に接続することで、多眼カメラシステムとしての全体相対位置を表示させることができる。
　また、全体相対位置算出部４は、図６で示した表示画像に対して回転指示がなされた場合、その回転指示に対応した画像を表示させるよう構成されている。すなわち、３次元コンピュータグラフィックスの回転動作と同様に表示画像の回転動作を行う。
　以上説明したように、実施の形態１の多眼カメラ表示制御装置によれば、両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける任意の形状を示すジョイント情報を取得するジョイント情報取得部と、それぞれが、ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、複数のジョイントで接続される三台以上のカメラにおけるカメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部とを備えたので、多眼カメラシステムとしてカメラとジョイントの相対位置を把握することができるため、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することができる。
　また、実施の形態１の多眼カメラ表示制御装置によれば、相対位置算出部は、算出した三台以上のカメラの相対位置を表示データとして出力するようにしたので、三台以上のカメラの相対位置を表示することができる。
実施の形態２．
　実施の形態２は、全体相対位置におけるカメラ位置に実際のカメラからの映像を表示するようにしたものである。
　図７は、実施の形態２の多眼カメラ表示制御装置１０ａを示す構成図である。
　実施の形態２の多眼カメラ表示制御装置１０ａは、ジョイント情報取得部１、ジョイント相対位置算出部２、カメラ情報取得部３、全体相対位置算出部４に加えて合成画像生成部５を備える。ここで、ジョイント情報取得部１～全体相対位置算出部４は、実施の形態１におけるジョイント情報取得部１～全体相対位置算出部４と同様であるため、その説明は省略する。合成画像生成部５は、各カメラ２００の撮像データを、対応するカメラ２００の位置に映像として表示させる合成画像表示データを生成する機能部である。
　次に、実施の形態２の多眼カメラ表示制御装置の動作を図８のフローチャートに沿って説明する。ここで、ステップＳＴ１～ステップＳＴ４までの動作は、図５に示した実施の形態１の動作と同様であるため、対応する処理に同一符号を付してその説明を省略する。
　実施の形態２では、ステップＳＴ４において全体相対位置算出部４が全体相対位置を算出すると、合成画像生成部５は、各カメラ２００からの映像データを取得し（ステップＳＴ１１）、全体相対位置におけるカメラ位置に、対応するカメラ２００からの映像を配置させた合成画像表示データを生成する（ステップＳＴ１２）。そして、生成された合成画像は表示装置２０に送られ、表示装置２０で表示される（ステップＳＴ１３）。図９は、合成画像の表示の一例である。これは、実施の形態１の図６で示した全体相対位置のカメラ位置に映像を表示させたものである。すなわち、映像４００－１がカメラ２００－１の映像、映像４００－２がカメラ２００－２の映像、映像４００－３がカメラ２００－３の映像である。
　また、合成画像生成部５は、図９で示した表示画像に対して回転指示がなされた場合、その回転指示に対応した画像を表示させるよう構成されている。すなわち、３次元コンピュータグラフィックスの回転動作と同様に表示画像の回転動作を行う。
　なお、上記例では、各カメラ２００からの撮像データが映像データ、すなわち動画像データである場合を説明したが、撮像データとして静止画の画像データであっても同様に適用可能である。
　以上説明したように、実施の形態２の多眼カメラ表示制御装置によれば、三台以上のカメラの撮像データを、対応するカメラ位置に表示させるための表示データを生成する合成画像生成部を備えたので、実際にカメラで撮像されたデータを表示させることができるため、多眼カメラシステムに関してより多くの情報を提供することができる。
実施の形態３．
　実施の形態３は、ジョイント１００の可動範囲を制限させるようにしたものである。
　例えば複数のカメラ画像を連結して室内の俯瞰画像を作る場合、得たい俯瞰画像の形に合わせて、各カメラの映像を確認しながら微調整する必要がある。そこで、実施の形態３では、撮影前に得たい画像のイメージ（レイアウト）を画像として指定し、その画像が得られるように各カメラを接続するジョイント１００の可動範囲を制限することで、各カメラの配置を容易に確定できるようにしたものである。
　図１０は、実施の形態３の多眼カメラ表示制御装置１０ｂを示す構成図である。
　実施の形態３の多眼カメラ表示制御装置１０ｂは、ジョイント情報取得部１、ジョイント相対位置算出部２、カメラ情報取得部３、全体相対位置算出部４に加えて、合成画像イメージ生成部６、合成画像選択部７、可動範囲決定部８を備える。ここで、ジョイント情報取得部１～全体相対位置算出部４は、実施の形態１、２におけるジョイント情報取得部１～全体相対位置算出部４と同様であるため、その説明は省略する。
　合成画像イメージ生成部６は、全体相対位置におけるカメラ２００の位置に、そのカメラ２００の撮像データに対応する画像イメージを表示させる合成画像イメージデータを生成する機能部である。ここで、画像イメージとは、例えば、映像を示す枠か、図９に示しているような「映像と文字表示されたグレイの四角形」といった、実際のカメラ２００からの撮像データに相当する画像イメージを意味している。合成画像選択部７は、合成画像イメージ生成部６で生成された合成画像イメージを表示装置２０で表示している状態で、特定のカメラ２００の画像イメージへの移動指示があった場合、その移動方向と移動量の値を取得する機能部である。可動範囲決定部８は、合成画像選択部７で取得した移動方向と移動量の値に基づいて対応するジョイント１００の可動範囲を決定する機能部である。
　次に、実施の形態３の多眼カメラ表示制御装置の動作を図１１のフローチャートに沿って説明する。ここで、ステップＳＴ１～ステップＳＴ４までの動作は、図５に示した実施の形態１の動作と同様であるため、対応する処理に同一符号を付してその説明を省略する。
　実施の形態３では、ステップＳＴ４において全体相対位置算出部４が全体相対位置を算出すると、合成画像イメージ生成部６は、全体相対位置におけるカメラ位置に、対応するカメラ２００の画像イメージを配置させた合成画像イメージデータを生成する（ステップＳＴ２１）。そして、生成された合成画像イメージデータは表示装置２０に送られ、表示装置２０で表示される（ステップＳＴ２２）。この状態で、配置された画像への移動指示があった場合（ステップＳＴ２３－Ｙｅｓ）、例えば、マウス等で画像がドラッグされた等であった場合、合成画像選択部７は、その移動指示を受けて移動方向と移動量を取得する（ステップＳＴ２４）。一方、ステップＳＴ２３において、移動指示がなかった場合（ステップＳＴ２３－Ｎｏ）は、そのまま、移動指示待ちとなる。合成画像選択部７で、移動方向と移動量の値が取得された場合、可動範囲決定部８は、これらの値から、該当するジョイント１００の可動範囲を決定する（ステップＳＴ２５）。
　例えば、図９の映像４００－１の右側を軸に反時計回りに３０度回転させる指示があり、かつ、図６に示すジョイント１００－２が図２のジョイント１００－５のように可動するジョイントであった場合、ジョイントの可動範囲は反時計回りに３０度となる。これにより、可動範囲決定部８は、ジョイント１００－５の可動範囲を反時計回りに３０度と制限する。この制限方法としては、例えばジョイント１００－５の可動軸にギアが設けられており、このギアを電磁石を用いてロックする、といったように、可動軸が制限される角度になると電気的にロックされるような機構を用いて行う。これにより、ジョイント１００－５の可動範囲が制限され反時計回りに３０度以上回転させることができなくなる。なお、可動範囲を制限するのはジョイント１００－３～ジョイント１００－５のような可動するジョイント１００を対象とする。また、ジョイント１００の可動方向や可動域から外れるような移動指示に対しては、例えば、その移動指示を受け付けない、といった移動の制限を行う。
　以上説明したように、実施の形態３の多眼カメラ表示制御装置によれば、三台以上のカメラにおけるそれぞれの撮像データに相当する複数の画像イメージを生成する合成画像イメージ生成部と、複数の画像イメージのうち、少なくとも一つの画像イメージへの移動指示があった場合、移動指示の移動量を受けて、該当するジョイントの可動範囲を決定する可動範囲決定部を備えたので、画像イメージを操作することで容易に各カメラの配置を確定することができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　以上のように、この発明に係る多眼カメラ表示制御装置は、複数の任意の形状のジョイントを用いて三台以上のカメラを接続した多眼カメラシステムにおいて、三台以上のカメラの相対位置を算出する構成に関するものであり、立体画像やパノラマ画像またはリフォーカサブル画像を撮影するための多眼カメラシステムに用いるのに適している。
　１　ジョイント情報取得部、２　ジョイント相対位置算出部、３　カメラ情報取得部、４　全体相対位置算出部、５　合成画像生成部、６　合成画像イメージ生成部、７　合成画像選択部、８　可動範囲決定部、１０，１０ａ，１０ｂ　多眼カメラ表示制御装置、２０　表示装置、１００，１００－１～１００－５　ジョイント、１００ａ　ジョイント側コネクタ、２００　カメラ、４００－１　カメラ２００－１の映像、４００－２　カメラ２００－２の映像、４００－３　カメラ２００－３の映像。

Claims (4)

  1. 　両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける前記任意の形状を示すジョイント情報を取得するジョイント情報取得部と、
    　それぞれが、前記ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、前記複数のジョイントで接続される三台以上のカメラにおける前記カメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、
    　前記ジョイント情報と前記サイズ情報とから前記複数のジョイントで接続される前記三台以上のカメラの相対位置を算出する相対位置算出部とを備えた多眼カメラ表示制御装置。
  2. 　前記相対位置算出部は、前記算出した三台以上のカメラの相対位置を表示データとして出力することを特徴とする請求項１記載の多眼カメラ表示制御装置。
  3. 　前記三台以上のカメラの撮像データを、対応するカメラ位置に表示させるための表示データを生成する合成画像生成部を備えたことを特徴とする請求項２記載の多眼カメラ表示制御装置。
  4. 　前記三台以上のカメラにおけるそれぞれの撮像データに相当する複数の画像イメージを生成する合成画像イメージ生成部と、
    　前記複数の画像イメージのうち、少なくとも一つの画像イメージへの移動指示があった場合、当該移動指示の移動量を受けて、該当するジョイントの可動範囲を決定する可動範囲決定部を備えたことを特徴とする請求項２記載の多眼カメラ表示制御装置。
PCT/JP2016/077485 2016-09-16 2016-09-16 多眼カメラ表示制御装置 WO2018051491A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/077485 WO2018051491A1 (ja) 2016-09-16 2016-09-16 多眼カメラ表示制御装置
JP2018504959A JP6328361B1 (ja) 2016-09-16 2016-09-16 多眼カメラ表示制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/077485 WO2018051491A1 (ja) 2016-09-16 2016-09-16 多眼カメラ表示制御装置

Publications (1)

Publication Number Publication Date
WO2018051491A1 true WO2018051491A1 (ja) 2018-03-22

Family

ID=61618723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077485 WO2018051491A1 (ja) 2016-09-16 2016-09-16 多眼カメラ表示制御装置

Country Status (2)

Country Link
JP (1) JP6328361B1 (ja)
WO (1) WO2018051491A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264492A (ja) * 2003-02-28 2004-09-24 Sony Corp 撮影方法及び撮像装置
JP2011172178A (ja) * 2010-02-22 2011-09-01 Nikon Corp 撮像装置
JP2012248985A (ja) * 2011-05-26 2012-12-13 Sanyo Electric Co Ltd 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264492A (ja) * 2003-02-28 2004-09-24 Sony Corp 撮影方法及び撮像装置
JP2011172178A (ja) * 2010-02-22 2011-09-01 Nikon Corp 撮像装置
JP2012248985A (ja) * 2011-05-26 2012-12-13 Sanyo Electric Co Ltd 撮像装置

Also Published As

Publication number Publication date
JP6328361B1 (ja) 2018-05-23
JPWO2018051491A1 (ja) 2018-09-13

Similar Documents

Publication Publication Date Title
WO2016024555A1 (ja) マーカとマーカを用いた姿勢推定方法
JP6615545B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP2013214947A (ja) 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
EP3765815B1 (en) Imaging device, image processing apparatus, and image processing method
WO2013005265A1 (ja) 三次元座標計測装置及び三次元座標計測方法
US10992879B2 (en) Imaging system with multiple wide-angle optical elements arranged on a straight line and movable along the straight line
JP2016171463A (ja) 画像処理装置、画像処理方法およびプログラム
JP2008045983A (ja) ステレオカメラの調整装置
JP2012023561A (ja) ステレオ撮像装置の制御システム
JP2020129823A (ja) 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP6328361B1 (ja) 多眼カメラ表示制御装置
JP2007033087A (ja) キャリブレーション装置及び方法
JP2018195967A (ja) 撮影システム、画像合成装置、画像合成方法及び画像合成プログラム
JP2006017632A (ja) ３次元画像処理装置、光軸調整方法、光軸調整支援方法
KR102019879B1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
JP2005275789A (ja) 三次元構造抽出方法
JP6029459B2 (ja) 画像合成装置、および画像合成方法
JP6167135B2 (ja) 三次元位置計測方法、測量方法、三次元位置計測装置及び三次元位置計測プログラム
JP2005252482A (ja) 画像生成装置及び３次元距離情報取得装置
Castanheiro et al. Modeling hyperhemispherical points and calibrating a dual-fish-eye system for close-range applications
JP6545033B2 (ja) 三次元温度分布表示装置
Dasgupta et al. An augmented-reality-based real-time panoramic vision system for autonomous navigation
JP7548728B2 (ja) カメラ制御装置及びプログラム
WO2017057426A1 (ja) 投影装置、コンテンツ決定装置、投影方法、および、プログラム
JP2014021672A (ja) 三次元座標算出装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018504959

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16916272

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16916272

Country of ref document: EP

Kind code of ref document: A1