JP6055223B2 - Projection-converted video generation device and program thereof, and multi-view video expression device - Google Patents
Projection-converted video generation device and program thereof, and multi-view video expression device Download PDFInfo
- Publication number
- JP6055223B2 JP6055223B2 JP2012167035A JP2012167035A JP6055223B2 JP 6055223 B2 JP6055223 B2 JP 6055223B2 JP 2012167035 A JP2012167035 A JP 2012167035A JP 2012167035 A JP2012167035 A JP 2012167035A JP 6055223 B2 JP6055223 B2 JP 6055223B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- unit
- video
- axis
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims description 42
- 239000013598 vector Substances 0.000 claims description 76
- 238000006243 chemical reaction Methods 0.000 claims description 72
- 238000009434 installation Methods 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000017105 transposition Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 description 14
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical class C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
Description
本発明は、撮影した映像を撮影カメラの並びに沿って切替えることで、被写体を様々な視点から提示する多視点映像表現の技術に関する。 The present invention relates to a technique for expressing a multi-viewpoint video by presenting a subject from various viewpoints by switching a shot video along a sequence of shooting cameras.
従来から、被写体を取り囲むように撮影カメラを配置し、撮影した映像を撮影カメラの並びに沿って切替えることで、動きのある被写体のある瞬間を様々な視点から提示する多視点映像表現という映像表現が知られている。この多視点映像表現には、例えば、カーネギーメロン大学が開発した“Ｅｙｅ Ｖｉｓｉｏｎ（登録商標）”と呼ばれるシステムが用いられている（非特許文献１）。 Conventionally, a video camera called a multi-view video presentation that presents a moment with a moving subject from various viewpoints by arranging a camera to surround the subject and switching the shot video along the sequence of the camera. Are known. For example, a system called “Eye Vision (registered trademark)” developed by Carnegie Mellon University is used for this multi-view video expression (Non-patent Document 1).
この多視点映像表現システムは、複数のロボットカメラをそれぞれ電動雲台に乗せて配置し、機械的なパンやチルトの制御により、スポーツの試合のような被写体が動き回る場合においても、前記した多視点映像表現を準リアルタイムで実現するものである。具体的には、カメラマンが１台のマスターカメラを操作し、注視する被写体が常に撮影映像の中央に映るように撮影する。このとき、この多視点映像表現システムは、カメラマンのカメラワークに応じて、他の複数のスレーブカメラの視線が注視点で輻輳するように電動雲台を自動制御する。 This multi-viewpoint video expression system has a plurality of robot cameras placed on an electric pan head, and the multi-viewpoint described above is used even when a subject such as a sports game moves around by mechanical pan and tilt control. Realizes video expression in near real time. Specifically, the photographer operates one master camera and shoots so that the subject to be watched always appears in the center of the captured video. At this time, this multi-view video expression system automatically controls the electric pan head so that the line of sight of the other plurality of slave cameras is congested at the gazing point according to the camera work of the cameraman.
前記したように、従来の多視点映像表現システムでは、多視点映像表現を行うため、ロボットカメラで被写体を追随し、被写体を撮影映像の中央に捉える必要がある。しかし、従来の多視点映像表現システムでは、手動でロボットカメラを操作した場合、被写体への追随が遅れ、被写体を撮影映像の中央に捉えられず、多視点映像表現を行えないことがある。 As described above, in the conventional multi-view video expression system, in order to perform multi-view video expression, it is necessary to follow the subject with the robot camera and to catch the subject at the center of the captured video. However, in the conventional multi-view video expression system, when the robot camera is manually operated, the follow-up to the subject is delayed, and the subject cannot be captured at the center of the photographed video, and the multi-view video expression may not be performed.
そこで、本発明は、前記した問題を解決し、被写体が撮影映像の中央に捉えられていないときでも、多視点映像表現を可能とする射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置を提供することを課題とする。 Therefore, the present invention solves the above-described problem, and a projective conversion video generation apparatus and program for enabling multi-view video expression even when the subject is not captured at the center of the captured video, and multi-view video expression It is an object to provide an apparatus.
前記した課題に鑑みて、本願第１発明に係る射影変換映像生成装置は、同一の被写体を複数の撮影カメラで撮影した撮影映像を射影変換することで、画像中央に被写体が位置する射影変換映像を生成する多視点映像表現用の射影変換映像生成装置であって、弱校正カメラキャリブレーション部と、注視点指定部と、ロール軸算出部と、チルト軸算出部と、パン軸算出部と、射影変換部とを備えることを特徴とする。 In view of the above-described problems, the projected converted video generation apparatus according to the first invention of the present application performs a projective conversion on a shot video obtained by shooting the same subject with a plurality of shooting cameras so that the subject is located at the center of the image. Is a projective transformation video generation device for multi-viewpoint video expression that generates a weak calibration camera calibration unit, a gaze point designation unit, a roll axis calculation unit, a tilt axis calculation unit, a pan axis calculation unit, And a projective transformation unit.
かかる構成によれば、射影変換映像生成装置は、弱校正カメラキャリブレーション部によって、撮影映像が入力され、入力された撮影映像に弱校正カメラキャリブレーションを施すことで、撮影カメラ毎に、少なくとも撮影カメラの位置が含まれるカメラパラメータを算出する。 According to such a configuration, the projection conversion video generation device receives at least a photographic image for each photographic camera by inputting the photographic video by the weak calibration camera calibration unit and performing the weak calibration camera calibration on the inputted photographic video. A camera parameter including the camera position is calculated.
また、射影変換映像生成装置は、注視点指定部によって、注視点として、撮影映像における被写体の位置が予め指定される。そして、射影変換映像生成装置は、ロール軸算出部によって、撮影カメラ毎に、弱校正カメラキャリブレーション部で算出された撮影カメラの位置から前記注視点を向くロール軸単位ベクトルを、注視点に向いた撮影カメラのロール軸として算出する。 Further, in the projected converted video generation apparatus, the position of the subject in the captured video is designated in advance as the gaze point by the gaze point designation unit. Then, the projective transformation video generation device directs the roll axis unit vector that faces the gazing point from the position of the photographic camera calculated by the weak calibration camera calibration unit for each photographic camera by the roll axis calculation unit. This is calculated as the roll axis of the shooting camera.
また、射影変換映像生成装置は、チルト軸算出部によって、撮影カメラ毎に、ロール軸算出部で算出されたロール軸単位ベクトルと、撮影カメラの設置面に垂直な設置面法線単位ベクトルとの外積で表されるチルト軸単位ベクトルを、注視点に向いた撮影カメラのチルト軸として算出する。そして、射影変換映像生成装置は、パン軸算出部によって、撮影カメラ毎に、チルト軸算出部で算出されたチルト軸単位ベクトルと、ロール軸単位ベクトルとの外積で表されるパン軸単位ベクトルを、注視点に向いた撮影カメラのパン軸として算出する。 In addition, the projection conversion video generation device includes a roll axis unit vector calculated by the roll axis calculation unit and an installation plane normal unit vector perpendicular to the installation plane of the shooting camera for each shooting camera by the tilt axis calculation unit. The tilt axis unit vector represented by the outer product is calculated as the tilt axis of the photographing camera facing the gazing point. Then, the projective transformation video generation device generates a pan axis unit vector represented by an outer product of the tilt axis unit vector calculated by the tilt axis calculation unit and the roll axis unit vector for each shooting camera by the pan axis calculation unit. Calculated as the pan axis of the shooting camera facing the gazing point.
また、射影変換映像生成装置は、射影変換部によって、パン軸算出部で算出されたパン軸単位ベクトルとロール軸単位ベクトルとチルト軸単位ベクトルとの転置が要素として含まれる回転行列により、注視点が画像中央に位置するように撮影映像を射影変換することで、射影変換映像を生成する。すなわち、射影変換映像生成装置は、射影変換によって注視点を向くように撮影カメラを仮想的に方向制御して、被写体を画像中央に捉えることができる。 Further, the projective transformation video generation device uses the rotation matrix that includes transpositions of the pan axis unit vector, the roll axis unit vector, and the tilt axis unit vector calculated by the pan axis calculation unit by the projection conversion unit as a gaze point. Projective conversion video is generated by projective conversion of the captured video so that is located at the center of the image. In other words, the projection conversion video generation apparatus can virtually control the direction of the photographing camera so as to face the gazing point by projection conversion, and can capture the subject at the center of the image.
また、射影変換映像生成装置は、弱校正カメラキャリブレーション部が、さらに、カメラパラメータとして、弱校正カメラキャリブレーションを施したときの撮影カメラのチルト角を算出し、チルト軸算出部が、予め設定された２台の撮影カメラについて、弱校正カメラキャリブレーション部で算出したチルト軸単位ベクトルの外積により設置面法線単位ベクトルを算出する。 Moreover, the morphism shadow converted image generating apparatus, the weak calibration camera calibration unit is further a camera parameter, to calculate a tilt angle of the imaging camera when subjected to weak calibration camera calibration, the tilt axis calculation unit, advance for set two imaging cameras are, we calculate the installation surface normal unit vector by outer product of the tilt axis unit vector calculated in the weak calibration camera calibration unit.
かかる構成によれば、射影変換映像生成装置は、撮影カメラのチルト軸が三脚と垂直になり、かつ、この三脚が地面と垂直に設置される性質を利用するため、キャリブレーションパターンを用いた強校正カメラキャリブレーションを行わず、設置面法線単位ベクトルを算出することができる。 According to such a configuration, the projection conversion video generation apparatus uses the characteristic that the tilt axis of the photographing camera is perpendicular to the tripod and the tripod is installed perpendicular to the ground. The calibration plane normal unit vector can be calculated without performing calibration camera calibration.
また、前記した課題に鑑みて、本願第２発明に係る多視点映像表現装置は、複数の撮影カメラで同一の被写体が撮影された撮影映像である多視点映像を、生成する多視点映像生成部と、多視点映像を格納する多視点映像格納部と、本願第１発明に係る射影変換映像生成装置と、予め設定された切替規則に従って、射影変換部で生成された射影変換映像を切り替えて出力する射影変換映像切替部と、を備えることを特徴とする。 Further, in view of the above-described problems, the multi-view video expression device according to the second invention of the present application is a multi-view video generation unit that generates a multi-view video that is a shot video in which the same subject is shot by a plurality of shooting cameras. And a multi-view video storage unit for storing multi-view video, a projection conversion video generation device according to the first invention of the present application, and a projection conversion video generated by the projection conversion unit in accordance with a preset switching rule for output. And a projective conversion video switching unit.
かかる構成によれば、多視点映像表現装置は、射影変換によって、注視点を向くように撮影カメラを仮想的に方向制御して、被写体が画像中央に捉えられた射影変換映像を生成する。そして、多視点映像表現装置は、この射影変換映像を用いて、多視点映像表現を行う。 According to such a configuration, the multi-view video presentation device virtually controls the direction of the photographing camera so as to face the gazing point by projective transformation, and generates a projected transformed video in which the subject is captured at the center of the image. Then, the multi-view video expression device performs multi-view video expression using the projective conversion video.
なお、本願第１発明に係る射影変換映像生成装置は、ＣＰＵ、メモリ、ハードディスク等のハードウェア資源を備えるコンピュータを、前記した各手段として協調動作させる射影変換映像生成プログラムによって実現することもできる。この射影変換映像生成プログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。 Note that the projection conversion video generation apparatus according to the first invention of the present application can also be realized by a projection conversion video generation program that causes a computer including hardware resources such as a CPU, a memory, and a hard disk to operate cooperatively as the above-described means. The projection conversion video generation program may be distributed via a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.
本発明によれば、以下のような優れた効果を奏する。
本願第１，２発明によれば、注視点を向くように撮影カメラを仮想的に方向制御して、被写体が画像中央に捉えられた射影変換映像を生成する。このため、本願第１，２発明によれば、被写体が撮影映像の中央に捉えられていないときでも、多視点映像表現を可能とする。
According to the present invention, the following excellent effects can be obtained.
According to the first and second aspects of the present invention, the direction of the photographing camera is virtually controlled so as to face the gazing point, and a projective conversion video in which the subject is captured at the center of the image is generated. For this reason, according to the first and second inventions of the present application, even when the subject is not captured at the center of the captured video, multi-viewpoint video expression is possible.
本願第１，２発明によれば、撮影カメラのチルト軸が三脚と垂直になり、かつ、この三脚が地面と垂直に設置される性質を利用して、設置面法線単位ベクトルを算出する。このため、本願第１，２発明によれば、キャリブレーションパターンに必須となるキャリブレーションパターンの撮影を不要とし、多視点映像表現に要する作業時間を短縮することができる。 According to the first and second inventions of the present application, the installation surface normal unit vector is calculated by utilizing the property that the tilt axis of the photographing camera is perpendicular to the tripod and the tripod is perpendicular to the ground. For this reason, according to the first and second inventions of the present application, it is not necessary to shoot a calibration pattern that is essential for the calibration pattern, and the work time required for multi-viewpoint video expression can be shortened.
［多視点映像表現装置の構成］
図１を参照し、本発明の実施形態に係る多視点映像表現装置１の構成について、説明する。
図１に示すように、多視点映像表現装置１は、被写体のある瞬間を様々な視点から提示する多視点映像表現を行うものであり、多視点映像撮影部１０と、多視点映像格納部２０と、射影変換映像生成装置２と、射影変換映像切替部８０とを備える。
[Configuration of multi-view video presentation device]
With reference to FIG. 1, the structure of the multi-view video presentation apparatus 1 which concerns on embodiment of this invention is demonstrated.
As shown in FIG. 1, the multi-view video presentation device 1 performs multi-view video presentation that presents a certain moment of a subject from various viewpoints, and includes a multi-view video shooting unit 10 and a multi-view video storage unit 20. A projection conversion video generation device 2 and a projection conversion video switching unit 80.
多視点映像撮影部１０は、複数の撮影カメラで同一の被写体を撮影して、この被写体が様々な視点で撮影された撮影映像（多視点映像）を生成するものである。例えば、多視点映像撮影部１０は、図２に示すように、複数のロボットカメラ（撮影カメラ）Ｃと、操作部１１とを備える多視点ロボットカメラシステムである。 The multi-view video shooting unit 10 shoots the same subject using a plurality of shooting cameras, and generates a shot video (multi-view video) in which the subject is shot from various viewpoints. For example, the multi-view video shooting unit 10 is a multi-view robot camera system including a plurality of robot cameras (shooting cameras) C and an operation unit 11 as shown in FIG.
ロボットカメラＣは、三脚Ｃａに搭載されている。このロボットカメラＣは、三脚Ｃａの上方に設けた雲台Ｃｂによって、パン軸及びチルト軸の２軸方向に駆動されると共に、ズームイン及びズームアウトができるように設置されている。
操作部１１は、ロボットカメラＣの各種操作を行うものである。この操作部１１は、ロボットカメラＣの操作するためのハンドルが設けられると共に、ケーブルを介して、各ロボットカメラＣに接続されている。
The robot camera C is mounted on a tripod Ca. The robot camera C is installed so as to be zoomed in and out as well as being driven in two axial directions of a pan axis and a tilt axis by a pan head Cb provided above the tripod Ca.
The operation unit 11 performs various operations of the robot camera C. The operation unit 11 is provided with a handle for operating the robot camera C, and is connected to each robot camera C via a cable.
まず、カメラマン（２点鎖線で図示）は、操作部１１のハンドルを操作し、被写体を追随する。このとき、多視点映像撮影部１０では、操作部１１からの制御信号によって、全ロボットカメラＣが被写体を追随するように方向制御され、被写体を撮影する。そして、多視点映像撮影部１０は、被写体が撮影された撮影映像を生成し、多視点映像格納部２０に格納する。このように、多視点映像撮影部１０は、一人のカメラマンによる一台分のカメラ操作で、複数のロボットカメラＣを一斉に協調制御できるように構成されている。 First, a cameraman (illustrated by a two-dot chain line) operates the handle of the operation unit 11 to follow the subject. At this time, in the multi-view video shooting unit 10, the direction is controlled so that all the robot cameras C follow the subject by the control signal from the operation unit 11, and the subject is shot. Then, the multi-view video shooting unit 10 generates a shot video in which the subject is shot and stores it in the multi-view video storage unit 20. As described above, the multi-viewpoint image capturing unit 10 is configured to be able to cooperatively control a plurality of robot cameras C all at once by a single camera operation by a single cameraman.
図３（ａ）に示すように、多視点映像撮影部１０では、カメラマンの操作ミス、又は、雲台Ｃｂの制御誤差により、ロボットカメラＣの方向誤差が生じ、被写体Ｈが正確に撮影映像の中央に捉えられないことがある。このままでは、被写体Ｈが画像中央に位置しておらず、多視点映像表現が行えない場合がある。そこで、射影変換映像生成装置２は、図３（ｂ）に示すように、画像処理（射影変換）によって、ロボットカメラＣが被写体Ｈ（注視点Ｐ）に向くように仮想的な方向制御を行う。
以後、ロボットカメラＣ（Ｃ１，・・・，Ｃｌ，・・・，Ｃｍ）をｍ台として説明する（但し、１＜ｌ＜ｍを満たす）。
As shown in FIG. 3A, in the multi-viewpoint image capturing unit 10, a direction error of the robot camera C occurs due to an operation error of the cameraman or a control error of the camera platform Cb, and the subject H accurately captures the captured image. It may not be caught in the center. If this is the case, the subject H is not positioned at the center of the image, and there are cases where multi-viewpoint video expression cannot be performed. Therefore, as shown in FIG. 3B, the projective conversion video generation apparatus 2 performs virtual direction control so that the robot camera C faces the subject H (gaze point P) by image processing (projection conversion). .
In the following description, the robot camera C (C 1 ,..., C l ,..., C m ) is described as m units (however, 1 <l <m is satisfied).
図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
多視点映像格納部２０は、例えば、多視点映像撮影部１０が生成した撮影映像を格納するフレームメモリである。この多視点映像格納部２０に格納された撮影映像は、後記する射影変換映像生成装置２によって参照される。
Returning to FIG. 1, the description of the configuration of the multi-view video expression device 1 will be continued.
The multi-view video storage unit 20 is, for example, a frame memory that stores the shot video generated by the multi-view video shooting unit 10. The captured video stored in the multi-view video storage unit 20 is referred to by the projective conversion video generation device 2 described later.
射影変換映像生成装置２は、撮影映像を射影変換することで、画像中央に被写体が位置する射影変換映像を生成するものである。このため、射影変換映像生成装置２は、弱校正カメラキャリブレーション部３０と、射影変換映像生成部４０とを備える。 The projection conversion video generation device 2 generates a projection conversion video in which the subject is located at the center of the image by projective conversion of the captured video. For this reason, the projected converted video generation apparatus 2 includes a weak calibration camera calibration unit 30 and a projected converted video generation unit 40.
弱校正カメラキャリブレーション部３０は、多視点映像格納部２０に格納された撮影映像に、弱校正カメラキャリブレーションを施すことで、ロボットカメラＣ毎に、カメラパラメータを算出するものである。
なお、弱校正キャリブレーションとは、エピポーラ拘束条件により、ロボットカメラＣのうち、２台ずつカメラパラメータを求めることである。
The weak calibration camera calibration unit 30 calculates camera parameters for each robot camera C by performing weak calibration camera calibration on the captured video stored in the multi-view video storage unit 20.
Note that the weak calibration calibration is to obtain camera parameters for each of the two robot cameras C according to the epipolar constraint condition.
ここで、ロボットカメラＣが２軸方向に駆動するため、チェッカーボードパターン等のキャリブレーションパターンを用いて、強校正カメラキャリブレーションを行うことが困難である。そこで、弱校正カメラキャリブレーション部３０は、弱校正カメラキャリブレーションによって、ロボットカメラＣの姿勢及び位置（光学中心）を示すカメラパラメータを算出することとした。 Here, since the robot camera C is driven in the biaxial direction, it is difficult to perform strong calibration camera calibration using a calibration pattern such as a checkerboard pattern. Therefore, the weak calibration camera calibration unit 30 calculates camera parameters indicating the posture and position (optical center) of the robot camera C by weak calibration camera calibration.
本実施形態では、弱校正カメラキャリブレーション部３０は、弱校正カメラキャリブレーションとして、Ｂｕｎｄｌｅｒを用いる。この場合、弱校正カメラキャリブレーション部３０には、弱校正カメラキャリブレーションの初期値として、ロボットカメラＣのエンコーダ（不図示）で測定された焦点距離を入力する。 In the present embodiment, the weak calibration camera calibration unit 30 uses Bundler as weak calibration camera calibration. In this case, the focal length measured by the encoder (not shown) of the robot camera C is input to the weak calibration camera calibration unit 30 as the initial value of the weak calibration camera calibration.
このＢｕｎｄｌｅｒは、ＳＦＭ（Structure From Motion）の一つであり、視点を変えながら被写体を撮影した複数の画像から、カメラパラメータを求めるものである。具体的には、Ｂｕｎｄｌｅｒでは、同一被写体を異なる視点で撮影した複数の画像から、ＳＩＦＴ（Scale Invariant Feature Transform）等の特徴点を抽出する。そして、Ｂｕｎｄｌｅｒは、エピポーラ拘束のもと、画像間で特徴点の対応関係を求める。さらに、Ｂｕｎｄｌｅｒは、特徴点の対応関係を記述した行例を因数分解することで、カメラパラメータを算出する。
なお、Ｂｕｎｄｌｅｒの詳細は、ホームページ“http://phototour.cs.washington.edu/bundler/”に記載されている。
This Bundler is one of SFM (Structure From Motion) and obtains camera parameters from a plurality of images obtained by photographing a subject while changing the viewpoint. Specifically, Bundler extracts feature points such as SIFT (Scale Invariant Feature Transform) from a plurality of images obtained by photographing the same subject from different viewpoints. Bundler then obtains the correspondence between the feature points between the images under epipolar constraints. Further, Bundler calculates camera parameters by factoring line examples describing the correspondences between feature points.
The details of Bundler are described on the homepage “http://phototour.cs.washington.edu/bundler/”.
ここで、弱校正カメラキャリブレーション部３０は、異なるロボットカメラＣを２台ずつ組み合わせて、全てのロボットカメラＣのカメラパラメータを算出する。そして、弱校正カメラキャリブレーション部３０は、算出したカメラパラメータを、射影変換映像生成部４０に出力する。 Here, the weak calibration camera calibration unit 30 calculates the camera parameters of all the robot cameras C by combining two different robot cameras C. Then, the weak calibration camera calibration unit 30 outputs the calculated camera parameters to the projective transformation video generation unit 40.
前記したカメラパラメータには、各ロボットカメラＣの内部パラメータと、各ロボットカメラＣの位置（光学中心）及び姿勢を示す外部パラメータとが含まれている。この内部パラメータとは、後記する内部パラメータ行列Ａｍのことである。また、外部パラメータとは、後記する回転行列Ｒｍ及び平行移動ベクトルＴｍのことである。 The camera parameters described above include internal parameters of each robot camera C and external parameters indicating the position (optical center) and posture of each robot camera C. The internal parameter, is that the internal parameter matrix A m which will be described later. The external parameters are a rotation matrix R m and a translation vector T m described later.
図４を参照し、ロボットカメラＣの姿勢について、説明する。
図４では、ロボットカメラＣが設置された面（フロア面、地面）を設置面Ｇと図示した。また、図４では、ロボットカメラＣの光軸が設置面Ｇに平行であることとする。さらに、図４には、ロボットカメラＣのロール軸をＺ軸とし、チルト軸をＸ軸とし、パン軸をＹ軸と図示した（以後の図面も同様）。
The posture of the robot camera C will be described with reference to FIG.
In FIG. 4, the surface (floor surface, ground surface) on which the robot camera C is installed is illustrated as the installation surface G. In FIG. 4, the optical axis of the robot camera C is assumed to be parallel to the installation surface G. Further, FIG. 4 shows the roll axis of the robot camera C as the Z axis, the tilt axis as the X axis, and the pan axis as the Y axis (the same applies to the subsequent drawings).
ロボットカメラＣの姿勢は、図４に示すように、パン軸（Ｙ軸）、チルト軸（Ｘ軸）、及び、ロール軸（Ｚ軸）の３軸で表される。このパン軸は、ロボットカメラＣがパンするときの回転軸であり、ロボットカメラＣの上下に伸びている。従って、ロボットカメラＣの光軸が設置面Ｇに平行な場合、パン軸が、設置面Ｇの法線に一致する。 As shown in FIG. 4, the posture of the robot camera C is represented by three axes: a pan axis (Y axis), a tilt axis (X axis), and a roll axis (Z axis). The pan axis is a rotation axis when the robot camera C pans and extends up and down the robot camera C. Therefore, when the optical axis of the robot camera C is parallel to the installation surface G, the pan axis coincides with the normal line of the installation surface G.
チルト軸は、ロボットカメラＣがチルトするときの回転軸であり、ロボットカメラＣの左右に伸びている。さらに、ロール軸は、ロボットカメラＣがロールするときの回転軸であり、ロボットカメラＣの前後に伸びており、ロボットカメラＣの光軸に一致する。従って、ロボットカメラＣの光軸が設置面Ｇに平行な場合、チルト軸及びロール軸が、設置面Ｇに平行となり、かつ、互いに直交する。 The tilt axis is a rotation axis when the robot camera C is tilted, and extends to the left and right of the robot camera C. Further, the roll axis is a rotation axis when the robot camera C rolls, extends before and after the robot camera C, and coincides with the optical axis of the robot camera C. Therefore, when the optical axis of the robot camera C is parallel to the installation surface G, the tilt axis and the roll axis are parallel to the installation surface G and are orthogonal to each other.
図１に戻り、多視点映像表現装置１の説明を続ける。
射影変換映像生成部４０は、多視点映像格納部２０に格納された撮影映像を、被写体が画像中央に位置するように射影変換し、射影変換映像を生成するものである。このため、射影変換映像生成部４０は、注視点指定部５０と、カメラ姿勢算出部６０と、射影変換部７０とを備える。
Returning to FIG. 1, the description of the multi-view video expression device 1 will be continued.
The projection conversion video generation unit 40 performs projection conversion on the captured video stored in the multi-view video storage unit 20 so that the subject is located at the center of the image, and generates a projection conversion video. For this reason, the projected conversion video generation unit 40 includes a gazing point designation unit 50, a camera posture calculation unit 60, and a projection conversion unit 70.
注視点指定部５０は、注視点として、撮影映像に含まれる被写体の位置が予め指定されるものである。
例えば、注視点指定部５０は、多視点映像格納部２０に格納された撮影映像をディスプレイ（不図示）に表示させる。そして、注視点指定部５０は、マウス等の操作手段（不図示）をユーザに操作させて、撮影映像を構成するフレーム画像毎に、被写体の位置（注視点）を指定させる。このとき、注視点指定部５０は、被写体が画像中央から外れたフレーム画像のみ、被写体の位置を指定させればよい。
The gaze point designation unit 50 designates in advance the position of the subject included in the captured video as the gaze point.
For example, the gazing point designation unit 50 displays the captured video stored in the multi-view video storage unit 20 on a display (not shown). Then, the gazing point designating unit 50 causes the user to operate an operation means (not shown) such as a mouse and designates the position of the subject (gaze point) for each frame image constituting the captured video. At this time, the gazing point designating unit 50 may designate the position of the subject only for the frame image in which the subject deviates from the center of the image.
そして、注視点指定部５０は、注視点が撮影映像上（つまり、画像座標系）で指定されるため、以下のように、ユーザが指定した注視点を世界座標系に変換する。
なお、画像座標とは、画像中の位置を示す座標のことである。
また、世界座標とは、各ロボットカメラＣに共通する三次元座標のことである。
The gaze point designation unit 50 converts the gaze point designated by the user into the world coordinate system as follows because the gaze point is designated on the captured video (that is, the image coordinate system).
The image coordinates are coordinates indicating a position in the image.
The world coordinates are three-dimensional coordinates common to each robot camera C.
画像座標系（ｕ，ｖ）と世界座標系（Ｘ，Ｙ，Ｚ）との座標変換式は、ロボットカメラＣ毎に、下記の式（１）〜式（５）で定義される。つまり、注視点指定部５０は、式（１）〜式（５）を用いて、画像座標系（ｕ，ｖ）で指定された被写体の位置を、世界座標系（Ｘ，Ｙ，Ｚ）に変換する。 A coordinate conversion formula between the image coordinate system (u, v) and the world coordinate system (X, Y, Z) is defined for each robot camera C by the following formulas (1) to (5). That is, the gazing point designating unit 50 uses the expressions (1) to (5) to change the position of the subject designated in the image coordinate system (u, v) to the world coordinate system (X, Y, Z). Convert.
なお、式（１）〜式（５）では、ωが画像距離であり、ＡｍがロボットカメラＣｍの内部パラメータ行列であり、ａが撮影映像のアスペクト比であり、ＦｍがロボットカメラＣｍの焦点距離であり、γがスキューであり、（Ｃｘ，Ｃｙ）がロボットカメラＣｍの光軸と画像面との交点座標であり、ＲｍがロボットカメラＣｍの回転行列であり、ＴｍがロボットカメラＣｍの平行移動ベクトルである。 In formula (1) to (5), omega is an image distance, A m is an internal parameter matrix of the robot camera C m, an aspect ratio of a photographing image, F m is a robot camera C m is the focal length, γ is the skew, (C x , C y ) is the intersection coordinates of the optical axis of the robot camera C m and the image plane, and R m is the rotation matrix of the robot camera C m , T m are translation vectors of the robot camera C m .
カメラ姿勢算出部６０は、注視点を向くように仮想的にロボットカメラＣを方向制御したときの姿勢を算出するものであり、ロール軸算出部６１と、チルト軸算出部６３と、パン軸算出部６５とを備える。 The camera posture calculation unit 60 calculates the posture when the direction of the robot camera C is virtually controlled so as to face the gazing point, and includes a roll axis calculation unit 61, a tilt axis calculation unit 63, and a pan axis calculation. Part 65.
ロール軸算出部６１は、ロボットカメラＣ毎に、ロボットカメラＣの位置から注視点を向いたロール軸単位ベクトルｅｍｚを、注視点に向いたロボットカメラＣのロール軸として算出するものである。 The roll axis calculation unit 61 calculates, for each robot camera C, the roll axis unit vector emz that faces the gazing point from the position of the robot camera C as the roll axis of the robot camera C that faces the gazing point.
まず、ロール軸算出部６１は、カメラパラメータから、ロボットカメラＣの位置（光学中心）を抽出する。また、ロール軸算出部６１は、下記の式（６）に示すように、ｍ台目のロボットカメラＣについて、そのロボットカメラＣの光学中心の世界座標（Ｘｍ，Ｙｍ，Ｚｍ）から注視点の世界座標（Ｘｔ，Ｙｔ，Ｚｔ）を向くベクトルＥｍｚを算出する。 First, the roll axis calculation unit 61 extracts the position (optical center) of the robot camera C from the camera parameters. In addition, as shown in the following formula (6), the roll axis calculation unit 61 determines the mth robot camera C from the world coordinates (X m , Y m , Z m ) of the optical center of the robot camera C. A vector E mz that faces the world coordinates (X t , Y t , Z t ) of the gazing point is calculated.
次に、ロール軸算出部６１は、式（６）のベクトルＥｍｚが正規化されたロール軸単位ベクトルｅｍｚを算出する。つまり、このロール軸単位ベクトルｅｍｚが、注視点に向いたロボットカメラＣのロール軸を示す。
なお、本実施形態において、正規化とは、ベクトルの方向をそのままとし、大きさが‘１’の単位ベクトルに変換することである。
Next, the roll axis calculation unit 61 calculates a roll axis unit vector e mz in which the vector E mz in Expression (6) is normalized. That is, this roll axis unit vector emz indicates the roll axis of the robot camera C facing the gazing point.
In the present embodiment, normalization refers to conversion into a unit vector having a magnitude of “1” while keeping the vector direction as it is.
チルト軸算出部６３は、ロボットカメラＣ毎に、ロール軸算出部６１で算出されたロール軸単位ベクトルｅｍｚと、設置面Ｇに垂直な設置面法線単位ベクトルｖとの外積で表されるチルト軸単位ベクトルｅｍｘを、注視点に向いたロボットカメラＣのチルト軸として算出するものである。 For each robot camera C, the tilt axis calculation unit 63 is represented by the outer product of the roll axis unit vector emz calculated by the roll axis calculation unit 61 and the installation surface normal unit vector v perpendicular to the installation surface G. The tilt axis unit vector e mx is calculated as the tilt axis of the robot camera C facing the gazing point.
まず、チルト軸算出部６３は、カメラパラメータから、弱校正カメラキャリブレーションを施したときのロボットカメラＣのチルト軸を抽出する。このチルト軸とは、回転行列Ｒでチルト軸を示す要素のことであり、例えば、前記した式（４）の一行目の要素を指している。 First, the tilt axis calculation unit 63 extracts the tilt axis of the robot camera C when the weak calibration camera calibration is performed from the camera parameters. The tilt axis is an element indicating the tilt axis in the rotation matrix R, and, for example, indicates the element in the first row of the above-described equation (4).
次に、チルト軸算出部６３は、下記の式（７）に示すように、２台のロボットカメラＣのチルト軸ＲＡ ｔｉｌｔ，ＲＢ ｔｉｌｔの外積で表される設置面法線単位ベクトルｖを算出する。この式（７）は、図５に示すように、２軸駆動のロボットカメラＣにおいて、チルト軸（Ｘ軸）が三脚Ｃａに垂直になり、かつ、この三脚Ｃａが設置面Ｇに垂直になることから成立する。 Next, the tilt axis calculation unit 63 sets the installation surface normal unit vector v represented by the outer product of the tilt axes R A tilt and R B tilt of the two robot cameras C as shown in the following equation (7). Is calculated. As shown in FIG. 5, this equation (7) is a biaxially driven robot camera C in which the tilt axis (X axis) is perpendicular to the tripod Ca and the tripod Ca is perpendicular to the installation surface G. It is established from that.
なお、式（７）では、‘‖’がノルムを示す。また、式（７）では、Ａ，Ｂが、多視点映像撮影部１０を構成するロボットカメラＣのうち、異なる２台を表す。ここで、Ａ，Ｂに対応する２台のロボットカメラＣは、任意に設定することができる。さらに、Ａ，Ｂに対応するロボットカメラＣは、チルト軸の誤差を低減するため、最も遠くに離れた２台、つまり、光軸のなす角が最大となる２台を設定することが好ましい。 In Equation (7), “‖” represents a norm. In Expression (7), A and B represent two different cameras among the robot cameras C constituting the multi-viewpoint video capturing unit 10. Here, the two robot cameras C corresponding to A and B can be arbitrarily set. Further, in order to reduce the tilt axis error, it is preferable to set two robot cameras C that are the farthest away, that is, two cameras that have the maximum angle formed by the optical axis.
次に、チルト軸算出部６３は、式（８）に示すように、注視点に向いたロボットカメラＣのロール軸単位ベクトルｅｍｚと、設置面法線単位ベクトルｖとの外積の値を正規化して、チルト軸単位ベクトルｅｍｘを算出する。つまり、このチルト軸単位ベクトルｅｍｘが、注視点に向いたロボットカメラＣのチルト軸を示す。 Next, as shown in Expression (8), the tilt axis calculation unit 63 normalizes the outer product value of the roll axis unit vector emz of the robot camera C facing the gazing point and the installation surface normal unit vector v. To calculate a tilt axis unit vector e mx . That is, the tilt axis unit vector emx indicates the tilt axis of the robot camera C facing the gazing point.
ここで、図６に示すように、ロボットカメラＣの光軸（ロール軸＝Ｚ´軸）が設置面Ｇに平行にならない場合でも、設置面法線単位ベクトルｖが設置面Ｇに常に垂直になる。この性質を利用して、チルト軸算出部６３は、ロボットカメラＣのロール軸（Ｚ´軸）と設置面法線単位ベクトルｖとの外積により、ロボットカメラＣのチルト軸（Ｘ´軸）を求めることができる。
なお、図６では、注視点に向いたロボットカメラＣのロール軸をＺ´軸とし、チルト軸をＸ´軸とし、パン軸をＹ´軸と図示した（以後の図面も同様）。
Here, as shown in FIG. 6, even when the optical axis (roll axis = Z ′ axis) of the robot camera C is not parallel to the installation surface G, the installation surface normal unit vector v is always perpendicular to the installation surface G. Become. Using this property, the tilt axis calculation unit 63 determines the tilt axis (X ′ axis) of the robot camera C by the outer product of the roll axis (Z ′ axis) of the robot camera C and the installation surface normal unit vector v. Can be sought.
In FIG. 6, the roll axis of the robot camera C facing the gazing point is shown as the Z ′ axis, the tilt axis is shown as the X ′ axis, and the pan axis is shown as the Y ′ axis (the same applies to the subsequent drawings).
図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
パン軸算出部６５は、ロボットカメラＣ毎に、チルト軸算出部６３で算出されたチルト軸単位ベクトルｅｍｘと、ロール軸単位ベクトルｅｍｚとの外積で表されるパン軸単位ベクトルｅｍｙを、注視点に向いた撮影カメラのパン軸として算出するものである。
Returning to FIG. 1, the description of the configuration of the multi-view video expression device 1 will be continued.
Pan axis calculation unit 65, for each robot camera C, a tilt axis unit vector e mx calculated in the tilt axis calculation unit 63, a pan axis unit vector e my represented by the outer product of the roll axis unit vector e mz This is calculated as the pan axis of the shooting camera facing the gazing point.
つまり、パン軸算出部６５は、式（９）に示すように、注視点に向いたロボットカメラＣのロール軸単位ベクトルｅｍｚとチルト軸単位ベクトルｅｍｘとの外積の値を正規化して、パン軸単位ベクトルｅｍｙを算出する。つまり、このパン軸単位ベクトルｅｍｙが、注視点に向いたロボットカメラＣのパン軸を示す。 That is, the pan axis calculation unit 65, as shown in equation (9), by normalizing the value of the outer product of the gazing point in the roll axis unit vector e mz and the tilt axis unit vector e mx robot camera C facing, A pan axis unit vector e my is calculated. That is, the pan axis unit vector e my indicates the pan axis of the robot camera C facing the gazing point.
射影変換部７０は、パン軸算出部６５で算出されたパン軸単位ベクトルの転置ｅｍｙ Ｔとロール軸単位ベクトルの転置ｅｍｚ Ｔとチルト軸単位ベクトルの転置ｅＴ ｍｘとが要素として含まれる回転行列Ｒ´ｍにより、注視点が画像中央に位置するように撮影映像を射影変換することで、射影変換映像を生成するものである。 Projective transformation unit 70 is included as transposed e T mx and the elements of the transposed e mz T and the tilt axis unit vector transpose e my T and the roll axis unit vector pan axis unit vector calculated by the pan axis calculation unit 65 By using the rotation matrix R ′ m , projective transformation video is generated by projective transformation of the captured video so that the gazing point is located at the center of the image.
下記の式（１０）のように、前記した単位ベクトルｅｍｘ，ｅｍｙ，ｅｍｚを用いると、注視点を画像中央に合わせ、かつ、撮影映像の水平軸を世界座標系の垂直軸に直交させるための回転行列Ｒ´ｍを得ることができる。この式（１０）では、Ｔが転置を示す。 Using the above unit vectors e mx , e my , and e nz as shown in the following equation (10), the point of interest is aligned with the center of the image, and the horizontal axis of the captured image is orthogonal to the vertical axis of the world coordinate system Rotation matrix R ′ m can be obtained. In this formula (10), T represents transposition.
さらに、本実施形態では、各撮影映像における被写体のサイズを揃えることとした。このため、各ロボットカメラＣの焦点距離を、各ロボットカメラＣの光学中心から注視点までの距離に応じて、デジタルズームにより補正する。つまり、補正後の焦点距離Ｆ´ｍは、式（１１）に示すように、全てのロボットカメラＣの焦点距離の平均Ｆａｖｅに、全てのロボットカメラＣの光学中心から注視点までの距離平均ωａｖｅと、ロボットカメラＣｍの光学中心から注視点までの距離平均ωｍとの比を乗じた値とする。 Furthermore, in the present embodiment, the size of the subject in each captured video is made uniform. For this reason, the focal length of each robot camera C is corrected by digital zoom according to the distance from the optical center of each robot camera C to the gazing point. That is, the corrected focal length F ′ m is the average distance from the optical center of all the robot cameras C to the gazing point, as shown in the equation (11), as the average F ave of the focal lengths of all the robot cameras C. A value obtained by multiplying a ratio between ω ave and a distance average ω m from the optical center of the robot camera C m to the gazing point.
この式（１１）では、ｋが射影変化後のズーム率を示す係数であり、予め任意の値で設定される。つまり、この係数ｋの値を大きくする程、射影変換映像がデジタルズームによって拡大される。 In this equation (11), k is a coefficient indicating the zoom ratio after the change in projection, and is set in advance as an arbitrary value. That is, as the value of the coefficient k is increased, the projective conversion image is enlarged by digital zoom.
ここで、内部パラメータ行列Ａ´ｍは、補正後の焦点距離Ｆ´ｍを用いて、下記の式（１２）で定義される。従って、射影変換行列Ｈｍは、下記の式（１３）で表される。このため、撮影映像の画素座標（ｕｍ，ｖｍ）を下記の式（１４）の座標変換式により変換することで、射影変換後の画素座標（ｕ´ｍ，ｖ´ｍ）が求められる。 Here, the internal parameter matrix A'm, using the focal length F'm after the correction, is defined by the following equation (12). Therefore, the projective transformation matrix H m is expressed by the following equation (13). Therefore, by converting the pixel coordinates of the captured image (u m, v m) of the coordinate conversion formula of formula (14) below, the pixel coordinates (u'm, v 'm) after the projection conversion is obtained .
つまり、図７に示すように、射影変換部７０は、前記した式（１０）〜式（１４）を用いて、注視点Ｐが画像中央に位置するように撮影映像９０を射影変換し、射影変換映像９１を生成する。その後、射影変換部７０は、生成した射影変換映像９１を射影変換映像切替部８０に出力する。 That is, as shown in FIG. 7, the projective transformation unit 70 performs projective transformation on the captured video 90 so that the gazing point P is located at the center of the image, using the above-described formulas (10) to (14). A converted video 91 is generated. Thereafter, the projective conversion unit 70 outputs the generated projective conversion video 91 to the projective conversion video switching unit 80.
図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
射影変換映像切替部８０は、予め設定された切替規則に従って、射影変換部７０から入力された射影変換映像を切り替えて出力するものである。
この切替規則として、例えば、ロボットカメラＣの並びに沿って、射影変換映像を切り替える規則がある。そして、射影変換映像切替部８０は、ロボットカメラＣの並びに沿って射影変換映像を切り替えて、撮影映像に多視点映像表現が施された多視点表現映像を出力することができる。
Returning to FIG. 1, the description of the configuration of the multi-view video expression device 1 will be continued.
The projection conversion video switching unit 80 switches and outputs the projection conversion video input from the projection conversion unit 70 in accordance with a preset switching rule.
As this switching rule, for example, there is a rule for switching the projected conversion video along the sequence of the robot camera C. Then, the projected converted video switching unit 80 can switch the projected converted video along the sequence of the robot camera C, and output a multi-view expressed video in which the multi-view video expressed on the captured video.
［多視点映像表現装置の動作］
図８を参照し、図１の多視点映像表現装置１の動作について、説明する（適宜図１参照）。
多視点映像表現装置１は、多視点映像撮影部１０によって、多視点映像を生成する（ステップＳ１）。
多視点映像表現装置１は、多視点映像撮影部１０が生成した多視点映像を、多視点映像格納部２０に格納する（ステップＳ２）。
[Operation of multi-view video presentation device]
With reference to FIG. 8, the operation of the multi-viewpoint video presentation apparatus 1 in FIG. 1 will be described (see FIG. 1 as appropriate).
The multi-view video presentation device 1 generates a multi-view video by the multi-view video shooting unit 10 (step S1).
The multi-view video expression device 1 stores the multi-view video generated by the multi-view video shooting unit 10 in the multi-view video storage unit 20 (step S2).
多視点映像表現装置１は、弱校正カメラキャリブレーション部３０によって、弱校正カメラキャリブレーションによりカメラパラメータを算出する（ステップＳ３）。
多視点映像表現装置１は、注視点指定部５０によって、注視点として、撮影映像に含まれる被写体の位置が指定される（ステップＳ４）。
In the multi-view video presentation device 1, the weak calibration camera calibration unit 30 calculates camera parameters by weak calibration camera calibration (step S3).
In the multi-view video presentation apparatus 1, the position of the subject included in the captured video is designated as the gaze point by the gaze point designation unit 50 (step S4).
多視点映像表現装置１は、ロール軸算出部６１によって、ロボットカメラＣの位置から注視点を向いたロール軸単位ベクトルｅｍｚを、注視点へ向いたロボットカメラＣのロール軸として算出する（ステップＳ５）。
多視点映像表現装置１は、チルト軸算出部６３によって、ロール軸単位ベクトルｅｍｚと、設置面法線単位ベクトルｖとの外積で表されるチルト軸単位ベクトルｅｍｘを、注視点へ向いたロボットカメラＣのチルト軸として算出する（ステップＳ６）。
多視点映像表現装置１は、パン軸算出部６５によって、チルト軸単位ベクトルｅｍｘとロール軸単位ベクトルｅｍｚとの外積で表されるパン軸単位ベクトルｅｍｙを、注視点へ向いた撮影カメラのパン軸として算出する（ステップＳ７）。
The multi-view video presentation device 1 uses the roll axis calculation unit 61 to calculate the roll axis unit vector emz that faces the gazing point from the position of the robot camera C as the roll axis of the robot camera C that faces the gazing point (step) S5).
In the multi-view video presentation device 1, the tilt axis calculation unit 63 directs the tilt axis unit vector e mx represented by the outer product of the roll axis unit vector e mx and the installation surface normal unit vector v to the point of interest. Calculated as the tilt axis of the robot camera C (step S6).
Multi-view image representation apparatus 1, the pan axis calculation unit 65, a pan axis unit vector e my represented by the outer product of the tilt axis unit vector e mx and roll axis unit vector e mz, shot facing the fixation point camera Is calculated as a pan axis (step S7).
多視点映像表現装置１は、射影変換部７０によって、注視点が画像中央に位置するように撮影映像を射影変換することで、射影変換映像を生成する（ステップＳ８）。
多視点映像表現装置１は、射影変換映像切替部８０によって、切替規則に従って、射影変換映像を切り替えて出力する（ステップＳ９）。
The multi-view video representation device 1 generates a projective conversion video by projectively converting the captured video so that the gazing point is located at the center of the image by the projective conversion unit 70 (step S8).
The multi-view video representation device 1 switches and outputs the projection conversion video according to the switching rule by the projection conversion video switching unit 80 (step S9).
以上のように、本発明の実施形態に係る多視点映像表現装置１は、注視点を向くようにロボットカメラＣを仮想的に方向制御して、被写体が画像中央に捉えられた射影変換映像を生成する。このため、多視点映像表現装置１は、被写体が撮影映像の中央に捉えられていないときでも、多視点映像表現を行うことができる。 As described above, the multi-view video presentation device 1 according to the embodiment of the present invention virtually controls the direction of the robot camera C so as to face the gazing point, and generates a projective conversion video in which the subject is captured at the center of the image. Generate. For this reason, the multi-view video representation device 1 can perform multi-view video representation even when the subject is not captured at the center of the captured video.
さらに、多視点映像表現装置１は、強校正カメラキャリブレーションを行わずに設置面法線単位ベクトルｖを算出できる。このため、多視点映像表現装置１は、キャリブレーションパターンの撮影を不要とし、多視点映像表現に要する作業時間を短縮することができる。 Furthermore, the multi-view video representation device 1 can calculate the installation surface normal unit vector v without performing strong calibration camera calibration. For this reason, the multi-view video expression device 1 does not need to shoot a calibration pattern, and can shorten the work time required for multi-view video expression.
以下、本発明の実施例として、多視点映像表現装置１による多視点映像表現の実験結果について、説明する。
この実施例では、カメラマンが多視点ロボットカメラシステムを操作して、体操選手による鉄棒競技を撮影し、その撮影映像に多視点映像表現を施した。ここで、図９に示すように、鉄棒９２の側方から前方まで９台のロボットカメラＣ（Ｃ１〜Ｃ９）を配置した。このとき、各ロボットカメラＣから鉄棒９２までの距離を８メートル、ロボットカメラＣの間隔を１．５メートル、各ロボットカメラＣの焦点距離を約３０ミリメートルとした。
Hereinafter, as an embodiment of the present invention, an experiment result of multi-view video presentation by the multi-view video presentation device 1 will be described.
In this example, a cameraman operated a multi-view robot camera system to shoot a horizontal bar game by a gymnast, and applied the multi-view video expression to the captured video. Here, as shown in FIG. 9, nine robot cameras C (C 1 to C 9 ) were arranged from the side of the iron bar 92 to the front. At this time, the distance from each robot camera C to the iron bar 92 was 8 meters, the distance between the robot cameras C was 1.5 meters, and the focal length of each robot camera C was about 30 millimeters.
図１０を参照し、カメラマンによって撮影された撮影映像について、説明する。
この図１０では、ロボットカメラＣ１〜Ｃ９の撮影画像を１枚にまとめており、ロボットカメラＣ１〜Ｃ９に対応するチャンネル１〜９を各撮影画像の下部に表示した。
With reference to FIG. 10, a photographed image photographed by a cameraman will be described.
In FIG. 10, the captured image of the robot camera C 1 -C 9 are summarized in one, and displays the channel 1 to 9 corresponding to the robot camera C 1 -C 9 at the bottom of each captured image.
この実施例では、体操選手の動きが早く、多視点ロボットカメラで高速に上下にフォローする必要があった。このため、図１０に示すように、被写体（体操選手）が全ロボットカメラの撮影映像におさまっているものの、画像中央に捉えることができなかった。 In this embodiment, the gymnast's movement was fast and it was necessary to follow up and down at high speed with a multi-viewpoint robot camera. For this reason, as shown in FIG. 10, the subject (the gymnast) is not captured in the center of the image, although the subject is in the captured images of all the robot cameras.
図１１を参照し、多視点映像表現装置１での多視点映像表現について、説明する。
この図１１では、各映像を識別するために、右下に番号を付した。番号１〜５の映像は、ロボットカメラＣ１〜Ｃ９の中間に位置するロボットカメラＣ５の撮影画像を時系列順に並べたものである。また、番号６〜１０の映像は、多視点映像表現装置１を用いて、ロボットカメラＣ５〜Ｃ９の射影変換映像を順番に切り替えて、多視点映像表現を行ったものである。言い換えるなら、番号６〜１０の映像は、同一時刻における体操選手を別の視線で撮影した映像である。さらに、番号１１〜１５の映像は、ロボットカメラＣ５の撮影画像を時系列順に並べたものである。
With reference to FIG. 11, multi-view video representation in the multi-view video representation device 1 will be described.
In FIG. 11, a number is assigned to the lower right to identify each video. Picture number 1-5 is obtained by arranging the image captured by the robot camera C 5 is located between the robot camera C 1 -C 9 in chronological order. In addition, the images of numbers 6 to 10 are obtained by performing multi-view image expression by sequentially switching the projection conversion images of the robot cameras C 5 to C 9 using the multi-view image expression device 1. In other words, the images of numbers 6 to 10 are images obtained by photographing the gymnast at the same time with different lines of sight. Furthermore, the image of number 11 to 15 is obtained by arranging the image captured by the robot camera C 5 in chronological order.
図１１に示すように、番号６〜１０の映像では、体操選手が画像中央に正確に捉えられている。このため、多視点映像表現装置１は、視点を切り替えた前後でも体操選手の位置が変化せず、極めて自然な多視点映像表現を行えることがわかる。 As shown in FIG. 11, in the videos of numbers 6 to 10, the gymnast is accurately captured in the center of the image. For this reason, it can be seen that the multi-view video expression device 1 can perform a very natural multi-view video expression without changing the position of the gymnast before and after switching the viewpoint.
（変形例）
なお、本発明は、前記した実施形態に限定されず、本発明の趣旨を逸脱しない範囲で変形することができる。
多視点映像撮影部１０は、ロボットカメラＣの代わりに、固定カメラを備えてもよい。この場合、多視点映像表現装置１は、前記した実施形態と同様、キャリブレーションパターンの撮影を不要とし、多視点映像表現の作業時間を短縮することができる。
(Modification)
In addition, this invention is not limited to above-described embodiment, It can deform | transform in the range which does not deviate from the meaning of this invention.
The multi-viewpoint video capturing unit 10 may include a fixed camera instead of the robot camera C. In this case, similarly to the above-described embodiment, the multi-view video expression device 1 does not need to shoot a calibration pattern, and can reduce the work time for multi-view video expression.
射影変換映像生成装置２は、ＣＰＵ、メモリ、ハードディスク等のハードウェア資源を備えるコンピュータを、前記した弱校正カメラキャリブレーション部３０及び射影変換映像生成部４０として協調動作させる射影変換映像生成プログラムによって実現することもできる。さらに、射影変換映像生成プログラムは、射影変換映像切替部８０の機能を追加し、多視点映像表現を行ってもよい。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。 The projection conversion video generation apparatus 2 is realized by a projection conversion video generation program that causes a computer having hardware resources such as a CPU, a memory, and a hard disk to operate cooperatively as the weak calibration camera calibration unit 30 and the projection conversion video generation unit 40 described above. You can also Further, the projection conversion video generation program may add the function of the projection conversion video switching unit 80 to perform multi-viewpoint video expression. This program may be distributed through a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.
１ 多視点映像表現装置
２ 射影変換映像生成装置
１０ 多視点映像撮影部
２０ 多視点映像格納部
３０ 弱校正カメラキャリブレーション部
４０ 射影変換映像生成部
５０ 注視点指定部
６０ カメラ姿勢算出部
６１ ロール軸算出部
６３ チルト軸算出部
６５ パン軸算出部
７０ 射影変換部
８０ 射影変換映像切替部
DESCRIPTION OF SYMBOLS 1 Multiview video expression apparatus 2 Projection conversion video generation apparatus 10 Multiview video imaging part 20 Multiview video storage part 30 Weak calibration camera calibration part 40 Projection conversion video generation part 50 Gaze point designation part 60 Camera attitude calculation part 61 Roll axis Calculation unit 63 Tilt axis calculation unit 65 Pan axis calculation unit 70 Projection conversion unit 80 Projection conversion video switching unit
Claims (3)
前記撮影映像が入力され、入力された当該撮影映像に弱校正カメラキャリブレーションを施すことで、前記撮影カメラ毎に、少なくとも前記撮影カメラの位置が含まれるカメラパラメータを算出する弱校正カメラキャリブレーション部と、
注視点として、前記撮影映像における被写体の位置が予め指定される注視点指定部と、
前記撮影カメラ毎に、前記弱校正カメラキャリブレーション部で算出された撮影カメラの位置から前記注視点を向くロール軸単位ベクトルを、前記注視点に向いた撮影カメラのロール軸として算出するロール軸算出部と、
前記撮影カメラ毎に、前記ロール軸算出部で算出されたロール軸単位ベクトルと、前記撮影カメラの設置面に垂直な設置面法線単位ベクトルとの外積で表されるチルト軸単位ベクトルを、前記注視点に向いた撮影カメラのチルト軸として算出するチルト軸算出部と、
前記撮影カメラ毎に、前記チルト軸算出部で算出されたチルト軸単位ベクトルと、前記ロール軸単位ベクトルとの外積で表されるパン軸単位ベクトルを、前記注視点に向いた撮影カメラのパン軸として算出するパン軸算出部と、
前記パン軸算出部で算出されたパン軸単位ベクトルと前記ロール軸単位ベクトルと前記チルト軸単位ベクトルとの転置が要素として含まれる回転行列により、前記注視点が画像中央に位置するように前記撮影映像を射影変換することで、前記射影変換映像を生成する射影変換部と、
を備え、
前記弱校正カメラキャリブレーション部は、さらに、前記カメラパラメータとして、前記弱校正カメラキャリブレーションを施したときの撮影カメラのチルト角を算出し、
前記チルト軸算出部は、予め設定された２台の前記撮影カメラについて、当該弱校正カメラキャリブレーション部で算出したチルト軸単位ベクトルの外積により前記設置面法線単位ベクトルを算出することを特徴とする射影変換映像生成装置。 A projective conversion video generation device for multi-viewpoint video expression that generates a projective conversion video in which the subject is located in the center of an image by projective conversion of video shots of the same subject taken by a plurality of shooting cameras,
The weak calibrated camera calibration unit that calculates the camera parameter including at least the position of the photographic camera for each photographic camera by inputting the photographic video and performing weak calibration camera calibration on the input photographic video. When,
As a gazing point, a gazing point designating unit in which the position of the subject in the captured video is designated in advance;
Roll axis calculation that calculates a roll axis unit vector that faces the gazing point from the position of the photographic camera calculated by the weak calibration camera calibration unit for each photographic camera as a roll axis of the photographic camera that faces the gazing point And
The tilt axis unit vector represented by the outer product of the roll axis unit vector calculated by the roll axis calculation unit and the installation surface normal unit vector perpendicular to the installation surface of the imaging camera for each imaging camera, A tilt axis calculator that calculates the tilt axis of the camera facing the gazing point;
For each photographing camera, a pan axis unit vector represented by the outer product of the tilt axis unit vector calculated by the tilt axis calculation unit and the roll axis unit vector is the pan axis of the photographing camera facing the point of interest. A pan axis calculation unit for calculating as
The imaging is performed so that the gazing point is positioned at the center of the image by a rotation matrix including transpositions of the pan axis unit vector, the roll axis unit vector, and the tilt axis unit vector calculated by the pan axis calculation unit as elements. A projective transformation unit that generates the projective transformation video by projective transformation of the video;
Equipped with a,
The weak calibration camera calibration unit further calculates a tilt angle of the photographing camera when the weak calibration camera calibration is performed as the camera parameter,
The tilt axis calculation unit calculates the installation surface normal unit vector from the outer product of the tilt axis unit vectors calculated by the weak calibration camera calibration unit for the two preset shooting cameras. Projection conversion video generation device.
前記多視点映像を格納する多視点映像格納部と、
請求項１に記載の射影変換映像生成装置と、
予め設定された切替規則に従って、前記射影変換部で生成された射影変換映像を切り替えて出力する射影変換映像切替部と、
を備えることを特徴とする多視点映像表現装置。 A multi-view video generation unit that generates a multi-view video that is a video shot of the same subject shot by a plurality of shooting cameras;
A multi-view video storage unit for storing the multi-view video;
A projective transformation video generation device according to claim 1;
A projection conversion video switching unit for switching and outputting the projection conversion video generated by the projection conversion unit according to a preset switching rule;
A multi-view video expression device comprising:
前記撮影映像が入力され、入力された当該撮影映像に弱校正カメラキャリブレーションを施すことで、前記撮影カメラ毎に、少なくとも前記撮影カメラの位置が含まれるカメラパラメータを算出する弱校正カメラキャリブレーション部、
注視点として、前記撮影映像における被写体の位置が予め指定される注視点指定部と、
前記撮影カメラ毎に、前記弱校正カメラキャリブレーション部で算出された撮影カメラの位置から前記注視点を向くロール軸単位ベクトルを、前記注視点に向いた撮影カメラのロール軸として算出するロール軸算出部、
前記撮影カメラ毎に、前記ロール軸算出部で算出されたロール軸単位ベクトルと、前記撮影カメラの設置面に垂直な設置面法線単位ベクトルとの外積で表されるチルト軸単位ベクトルを、前記注視点に向いた撮影カメラのチルト軸として算出するチルト軸算出部、
前記撮影カメラ毎に、前記チルト軸算出部で算出されたチルト軸単位ベクトルと、前記ロール軸単位ベクトルとの外積で表されるパン軸単位ベクトルを、前記注視点に向いた撮影カメラのパン軸として算出するパン軸算出部、
前記パン軸算出部で算出されたパン軸単位ベクトルと前記ロール軸単位ベクトルと前記チルト軸単位ベクトルとの転置が要素として含まれる回転行列により、前記注視点が画像中央に位置するように前記撮影映像を射影変換することで、前記射影変換映像を生成する射影変換部、
として機能させ、
前記弱校正カメラキャリブレーション部は、さらに、前記カメラパラメータとして、前記弱校正カメラキャリブレーションを施したときの撮影カメラのチルト角を算出し、
前記チルト軸算出部は、予め設定された２台の前記撮影カメラについて、当該弱校正カメラキャリブレーション部で算出したチルト軸単位ベクトルの外積により前記設置面法線単位ベクトルを算出するための多視点映像表現用の射影変換映像生成プログラム。 In order to generate a projective conversion video in which the subject is located in the center of the image by projective conversion of the video shot of the same subject taken by a plurality of shooting cameras,
The weak calibrated camera calibration unit that calculates the camera parameter including at least the position of the photographic camera for each photographic camera by inputting the photographic video and performing weak calibration camera calibration on the input photographic video. ,
As a gazing point, a gazing point designating unit in which the position of the subject in the captured video is designated in advance;
Roll axis calculation that calculates a roll axis unit vector that faces the gazing point from the position of the photographic camera calculated by the weak calibration camera calibration unit for each photographic camera as a roll axis of the photographic camera that faces the gazing point Part,
The tilt axis unit vector represented by the outer product of the roll axis unit vector calculated by the roll axis calculation unit and the installation surface normal unit vector perpendicular to the installation surface of the imaging camera for each imaging camera, A tilt axis calculation unit for calculating as the tilt axis of the shooting camera facing the gazing point,
For each photographing camera, a pan axis unit vector represented by the outer product of the tilt axis unit vector calculated by the tilt axis calculation unit and the roll axis unit vector is the pan axis of the photographing camera facing the point of interest. Pan axis calculation unit to calculate as
The imaging is performed so that the gazing point is positioned at the center of the image by a rotation matrix including transpositions of the pan axis unit vector, the roll axis unit vector, and the tilt axis unit vector calculated by the pan axis calculation unit as elements. A projective conversion unit that generates the projective conversion video by projective conversion of the video,
To function as,
The weak calibration camera calibration unit further calculates a tilt angle of the photographing camera when the weak calibration camera calibration is performed as the camera parameter,
The tilt axis calculation unit is a multi-viewpoint for calculating the installation surface normal unit vector based on the outer product of the tilt axis unit vectors calculated by the weak calibration camera calibration unit for the two preset shooting cameras. Projection conversion video generation program for video expression.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012167035A JP6055223B2 (en) | 2012-07-27 | 2012-07-27 | Projection-converted video generation device and program thereof, and multi-view video expression device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012167035A JP6055223B2 (en) | 2012-07-27 | 2012-07-27 | Projection-converted video generation device and program thereof, and multi-view video expression device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014027528A JP2014027528A (en) | 2014-02-06 |
| JP6055223B2 true JP6055223B2 (en) | 2016-12-27 |
Family
ID=50200779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012167035A Active JP6055223B2 (en) | 2012-07-27 | 2012-07-27 | Projection-converted video generation device and program thereof, and multi-view video expression device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6055223B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6154759B2 (en) * | 2014-02-07 | 2017-06-28 | 日本電信電話株式会社 | Camera parameter estimation apparatus, camera parameter estimation method, and camera parameter estimation program |
| JP6336856B2 (en) * | 2014-08-26 | 2018-06-06 | 日本放送協会 | Multi-view video expression device and program thereof |
| JP6452429B2 (en) * | 2014-12-18 | 2019-01-16 | ヤフー株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP6609112B2 (en) * | 2015-05-19 | 2019-11-20 | 日本放送協会 | Multi-view video expression device and program thereof |
| JP6454238B2 (en) * | 2015-07-07 | 2019-01-16 | 日本電信電話株式会社 | Video editing apparatus, video editing method, and video editing program |
| JP7006912B2 (en) * | 2017-09-25 | 2022-01-24 | 国立大学法人 筑波大学 | Image processing device, image display device and image processing program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4700476B2 (en) * | 2005-11-10 | 2011-06-15 | 日本放送協会 | Multi-view video composition device and multi-view video composition system |
| JP2011146762A (en) * | 2010-01-12 | 2011-07-28 | Nippon Hoso Kyokai <Nhk> | Solid model generator |
| JP5509044B2 (en) * | 2010-11-22 | 2014-06-04 | 日本放送協会 | Multi-viewpoint robot camera system, multi-viewpoint robot camera control device and program |
-
2012
- 2012-07-27 JP JP2012167035A patent/JP6055223B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014027528A (en) | 2014-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6055223B2 (en) | Projection-converted video generation device and program thereof, and multi-view video expression device | |
| US11086395B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| KR102105189B1 (en) | Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object | |
| JP6849430B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP2017108387A (en) | Image calibrating, stitching and depth rebuilding method of panoramic fish-eye camera and system thereof | |
| US20150177062A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| CN105208247A (en) | Quaternion-based panoramic image stabilizing method | |
| JP6609112B2 (en) | Multi-view video expression device and program thereof | |
| WO2012050040A1 (en) | Stereoscopic image conversion device and stereoscopic image display device | |
| JP2012253444A (en) | Imaging apparatus, image processing system, and method thereof | |
| CN107578450B (en) | Method and system for calibrating assembly error of panoramic camera | |
| JP6057570B2 (en) | Apparatus and method for generating stereoscopic panoramic video | |
| JP6655379B2 (en) | Method and apparatus for generating an adaptive slice image from a focus stack | |
| JP2014203462A (en) | Apparatus and method for forming light field image | |
| JP6835080B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP2017216592A5 (en) | ||
| JP6700935B2 (en) | Imaging device, control method thereof, and control program | |
| EP3189493A1 (en) | Depth map based perspective correction in digital photos | |
| JP2019029721A (en) | Image processing apparatus, image processing method, and program | |
| JP6336856B2 (en) | Multi-view video expression device and program thereof | |
| JP2019121945A (en) | Imaging apparatus, control method of the same, and program | |
| JP2011146762A (en) | Solid model generator | |
| CN109961395B (en) | Method, device and system for generating and displaying depth image and readable medium | |
| JP2017021430A (en) | Panoramic video data processing device, processing method, and program | |
| KR102019879B1 (en) | Apparatus and method for acquiring 360 VR images in a game using a virtual camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150601 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6055223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |