JPH1139506A - Optional view point image generator - Google Patents
Optional view point image generatorInfo
- Publication number
- JPH1139506A JPH1139506A JP9191399A JP19139997A JPH1139506A JP H1139506 A JPH1139506 A JP H1139506A JP 9191399 A JP9191399 A JP 9191399A JP 19139997 A JP19139997 A JP 19139997A JP H1139506 A JPH1139506 A JP H1139506A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- coordinates
- affine
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】この発明は、任意の視点から
見た実空間の画像を生成するための装置に関し、特に、
ステレオ画像に基づいて、実空間の画像を実時間で容易
に生成できる任意視点画像生成装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for generating an image of a real space viewed from an arbitrary viewpoint,
The present invention relates to an arbitrary viewpoint image generation device that can easily generate a real space image in real time based on a stereo image.
【0002】[0002]
【従来の技術】近年、遠隔地間映通信の重要性が増加し
ている。しかし、現存するテレビ会議システムでは、ユ
ーザ間での距離の隔たりを意識させないような画像を提
供することは困難である。2. Description of the Related Art In recent years, the importance of remote area video communication has been increasing. However, it is difficult for an existing video conference system to provide an image that does not make the distance between users conscious.
【0003】この問題は、遠隔地間のユーザが一つの実
世界に共存しているように感じる環境を作り出すことで
解決できると考えられる。このためには、任意の視点か
ら見た実空間の視野画像を生成することが必要である。
しかもそうした生成を実時間で行なう必要がある。[0003] It is thought that this problem can be solved by creating an environment where users between remote locations feel as if they coexist in one real world. For this purpose, it is necessary to generate a visual field image of the real space viewed from an arbitrary viewpoint.
Moreover, such generation must be performed in real time.
【0004】そうした手法の一つに、ステレオ画像から
任意視野画像を生成するものがある。そうした従来の手
法は、ステレオ画像から3次元画像を再構築し、この3
次元画像から任意の視点の画像を生成するものが一般的
である。そのために、ある手法では、3次元再構築問題
を、強カメラキャリブレーションを用いて解決してい
る。また他の手法では、画像間の対応関係を3次元アフ
ィン変換または透視投影変換と仮定して3次元構築問題
を解決している。このようにして3次元座標系で表わさ
れたオブジェクトを新しい画像に投影することで、任意
視点から見た画像を生成する。One of such techniques is to generate an arbitrary visual field image from a stereo image. Such conventional methods reconstruct a three-dimensional image from a stereo image,
Generally, an image of an arbitrary viewpoint is generated from a dimensional image. Therefore, in one method, a three-dimensional reconstruction problem is solved using strong camera calibration. In another method, the three-dimensional construction problem is solved by assuming that the correspondence between images is three-dimensional affine transformation or perspective projection transformation. By projecting the object represented by the three-dimensional coordinate system onto a new image in this manner, an image viewed from an arbitrary viewpoint is generated.
【0005】シーンの再投影や新しい視野画像合成のた
めのより直接的なアプローチとしてエピポーラ交差法が
ある。また、最近では、2つの画像が与えられた場合、
いわゆるモーフィングを用いて、2つのカメラの光学中
心を結ぶ線上にある任意の位置からの画像を合成する手
法も提案されている。A more direct approach to scene reprojection and new view image synthesis is epipolar crossing. Also, recently, when two images are given,
A method of synthesizing an image from an arbitrary position on a line connecting the optical centers of two cameras using so-called morphing has also been proposed.
【0006】[0006]
【発明が解決しようとする課題】しかし、3次元構造再
構築をした後に新しい画像を投影する手法では、3次元
構造再構築の過程における画像の測定ミス、またはその
他のあらゆる要因に対して不安定要素があり、得られる
結果もまた不安定となる問題がある。またエピポーラ交
差法を用いた従来の方法では、カメラの強キャリブレー
ションを行なう必要があり、これを正確に行なうことは
困難である。さらに少なくとも3枚の画像間で8点の対
応点が必要であり、これら各点の座標の測定には誤差が
含まれるため、より少ない対応点を用いる場合と比較し
て再投影時により大きな座標誤差を招くという問題点が
ある。また、モーフィングを用いた手法では、ステレオ
マッチングという厄介な問題を避けることができる半
面、任意位置の仮想カメラからの画像合成へと拡張する
ことができない。すなわち、モーフィングを用いた手法
では、2つの実カメラのカメラ中心を結んだ直線上に仮
想カメラがある場合しか利用できないという問題点があ
る。However, the method of projecting a new image after reconstructing the three-dimensional structure is unstable with respect to a measurement error of the image in the process of reconstructing the three-dimensional structure or any other factors. There is a problem that there are factors and the obtained result is also unstable. Further, in the conventional method using the epipolar intersection method, it is necessary to perform strong calibration of the camera, and it is difficult to accurately perform the calibration. In addition, eight corresponding points are required between at least three images, and the measurement of the coordinates of these points includes an error. Therefore, larger coordinates are required at the time of reprojection than when fewer corresponding points are used. There is a problem that an error is caused. In addition, the technique using morphing can avoid the troublesome problem of stereo matching, but cannot be extended to image synthesis from a virtual camera at an arbitrary position. That is, the method using morphing has a problem that it can be used only when the virtual camera is on a straight line connecting the camera centers of the two real cameras.
【0007】それ故に、本発明の目的は、座標誤差が少
なく、空間のどの地点に視点があっても安定して画像を
生成することができる任意視点画像生成装置を提供する
ことである。SUMMARY OF THE INVENTION It is therefore an object of the present invention to provide an arbitrary viewpoint image generating apparatus which has a small coordinate error and can stably generate an image even at any point in space.
【0008】[0008]
【課題を解決するための手段】本願の請求項1に記載の
発明にかかる任意視点画像生成装置は、ステレオ画像を
取得するための画像取得手段と、画像取得手段により取
得されたステレオ画像に基づいて、所定のアフィン座標
系の基準ベクトルを作成するための手段と、画像取得手
段により取得されたステレオ画像に基づいて、画像取得
時の視点の相対的位置を弱キャリブレーションするため
の手段と、弱キャリブレーションの結果に基づいて、画
像取得手段により取得されたステレオ画像間の点の対応
をとるための手段と、基準ベクトルと対応をとるための
手段の出力とに基づいて、ステレオ画像の各点の座標を
アフィン座標系の座標に変換するための第1の変換手段
と、仮想視点位置データに基づいて、アフィン座標系の
座標を、ピンホール投影法を用いて仮想視点位置でのア
フィン座標に変換するための第2の変換手段と、第2の
変換手段の出力から、仮想視点位置における画像を生成
するための手段とを含む。According to a first aspect of the present invention, there is provided an arbitrary viewpoint image generating apparatus, comprising: an image obtaining unit for obtaining a stereo image; and a stereoscopic image obtained by the image obtaining unit. Means for creating a reference vector of a predetermined affine coordinate system, and means for weakly calibrating the relative position of the viewpoint at the time of image acquisition based on the stereo image acquired by the image acquisition means, On the basis of the result of the weak calibration, a means for associating points between the stereo images acquired by the image acquiring means, and each of the stereo images based on the output of the means for associating with the reference vector. First conversion means for converting the coordinates of the point into the coordinates of the affine coordinate system, and the coordinates of the affine coordinate system based on the virtual viewpoint position data. And second conversion means for converting the affine coordinates of the virtual viewpoint position by using the projection method, the output of the second conversion means, and means for generating an image in a virtual viewpoint position.
【0009】ステレオ画像からアフィン変換の基準ベク
トルを作成したのち、処理対象となるステレオ画像を取
得したときの視点の相対的位置を弱キャリブレーション
する。さらに、ステレオ画像間の点の対応をとり、既に
求められている基準ベクトルを用いて各点の座標をアフ
ィン変換したのち、ピンホール投影法を用いて仮想視点
位置でのアフィン座標に変換する。このようにして得ら
れたアフィン座標から、仮想視点位置における画像を生
成する。After the affine transformation reference vector is created from the stereo image, the relative position of the viewpoint when the stereo image to be processed is obtained is weakly calibrated. Further, the correspondence between points in the stereo images is obtained, and the coordinates of each point are affine-transformed using the reference vector already obtained, and then converted into affine coordinates at the virtual viewpoint position using the pinhole projection method. From the affine coordinates obtained in this way, an image at the virtual viewpoint position is generated.
【0010】弱キャリブレーションを用いているので、
3次元再構築法と比較してより直接的に画像を再投影で
き、必要な参照点の数も少なく測定誤差も少なくなるの
で、より安定した結果を得ることができる。また、この
処理においては視点の位置が限定されないので、視点が
空間中のどこにあっても画像の生成を行うことができ
る。Since weak calibration is used,
As compared with the three-dimensional reconstruction method, the image can be reprojected more directly, the number of necessary reference points is reduced, and the measurement error is reduced, so that a more stable result can be obtained. Further, since the position of the viewpoint is not limited in this processing, an image can be generated regardless of where the viewpoint is in the space.
【0011】[0011]
[本願発明の原理]まず、本願発明の任意視点画像生成
装置の原理について説明する。本願発明は、物体認識手
法として文献「D.W. Jacobs:"Space Efficient 3D Mode
l Indexing"(Proceedings of CVPR,pp. 439-444,1992)
」で提案された、非常に単純な原理に基づく。この文
献では、3次元剛体モデルを撮影することによって得ら
れる2次元画像のペアは、高次α−βアフィン空間上の
2本の直線として最適に表現できると述べられている。
また、この手法を採用したとして、カメラの投影モデル
として正射影を仮定することもできるが、その場合に
は、後述するように得られる画像の劣化が見られる。そ
こで本願発明では、再合成された画像の質を維持するた
めに、射影にピンホールカメラ形を採用している。[Principle of the Present Invention] First, the principle of the arbitrary viewpoint image generating apparatus of the present invention will be described. The present invention is based on the literature "DW Jacobs:" Space Efficient 3D Mode
l Indexing "(Proceedings of CVPR, pp. 439-444, 1992)
Based on a very simple principle proposed in This document states that a pair of two-dimensional images obtained by imaging a three-dimensional rigid body model can be optimally represented as two straight lines on a higher-order α-β affine space.
In addition, if this method is adopted, an orthographic projection can be assumed as a projection model of the camera, but in this case, deterioration of an obtained image is observed as described later. Therefore, in the present invention, in order to maintain the quality of the recombined image, a pinhole camera is used for projection.
【0012】発明者は、射影にピンホールカメラを採用
し、ステレオカメラから撮影された2枚の画像間で対応
する点におけるアフィン空間の特性を調べた。こうして
得られた特性を、新しい視野画像の合成等のアプリケー
ションのためにシーン再投影手法として用いている。The inventor employed a pinhole camera for projection, and examined the characteristics of the affine space at points corresponding to two images taken from a stereo camera. The characteristics thus obtained are used as a scene reprojection method for applications such as synthesis of a new visual field image.
【0013】[カメラキャリブレーションモデル]ここ
では、強カメラキャリブレーションと、本願発明で用い
る弱カメラキャリブレーションとについて簡単に解説す
る。[Camera Calibration Model] Here, the strong camera calibration and the weak camera calibration used in the present invention will be briefly described.
【0014】(1) 強カメラキャリブレーション 図1において強カメラキャリブレーションに基づき空間
中の点Pを画像平面中の点pに投影する場合には、3×
4の変換マトリクスCを計算する必要がある。点Pの同
次座標系での座標が[X Y Z 1]であり、点pの座標が(u,
v)であるならば、以下の式が成立する。 [tu tv 1]'=C[X Y Z 1]' …(1) ここでtはパラメータである。(1) Strong Camera Calibration In FIG. 1, when projecting a point P in space to a point p on an image plane based on strong camera calibration, 3 ×
4 need to be calculated. The coordinates of the point P in the homogeneous coordinate system are [XYZ 1], and the coordinates of the point p are (u,
If v), the following equation holds. [tu tv 1] '= C [XYZ 1]' (1) where t is a parameter.
【0015】変換マトリクスCの全体のスケーリングフ
ァクタは重要でないので、キャリブレーションでは変換
マトリクスCの11個の要素を推定することとなる。す
なわち、少なくとも6個の3次元座標中の点のマッピン
グ情報を知識として、強カメラキャリブレーションパラ
メータを推定することができる。Since the overall scaling factor of the transformation matrix C is not important, the calibration involves estimating the eleven elements of the transformation matrix C. That is, the strong camera calibration parameters can be estimated using the mapping information of at least six points in the three-dimensional coordinates as knowledge.
【0016】図2に示すステレオペアが与えられ、双方
のカメラでの強カメラキャリブレーションパラメータが
既知のものとするならば、第1の画像中のある点(u
1,v1) が第2の画像中の点(u2,v2) に対応する場合に
は、それらの点に対応する点Pの3次元座標を標準的な
三角測量法を使ってキャリブレーションパラメータから
推定することができる。これにより、この点Pを仮想カ
メラの投影行列を使って任意の画像中に再投影すること
ができる。しかし、カメラが適切にキャリブレーション
されていない場合には、キャリブレーション過程におい
て測定誤差を生じ、光学中心C1、C2に対して誤差を
含む光学中心C1’、C2’が設定されることになり、
3次元再構築の際には図2中点線で示す様に点Pの座標
を誤って点P’の座標のように推定してしまう。これは
新しい視点からの画像を生成する際の再投影処理の誤り
をも導く。Given the stereo pair shown in FIG. 2 and letting the strong camera calibration parameters for both cameras be known, a point (u) in the first image
If (1, v 1 ) corresponds to points (u 2, v 2 ) in the second image, the three-dimensional coordinates of point P corresponding to those points are calibrated using standard triangulation. Can be inferred from the parameters. Thereby, the point P can be re-projected into an arbitrary image using the projection matrix of the virtual camera. However, if the camera is not properly calibrated, a measurement error occurs during the calibration process, and the optical centers C1 ′ and C2 ′ including the error with respect to the optical centers C1 and C2 are set.
At the time of three-dimensional reconstruction, the coordinates of the point P are erroneously estimated as the coordinates of the point P 'as shown by a dotted line in FIG. This also leads to errors in the reprojection process when generating an image from a new viewpoint.
【0017】(2)弱カメラキャリブレーション これに対して、本願発明で用いる弱カメラキャリブレー
ションとは、2つのステレオ画像間でのエピポーラ位置
関係を求める手法である。すなわち弱キャリブレーショ
ンとは、画像取得時の視点の相対的位置をキャリブレー
ションすることをいう。図3に示すように、(u1 ,v
1 )が第1の画像中の点pの座標を表すとすると、3×
3の行列Fを用いて、第2の画像中のエピポーラライン
Lを計算することができる。点pに対応した第2の画像
中の点はこのエピポーラライン上に位置する。もし、エ
ピポーララインがl1u2+l2v2+l3=0で表されるなら
ば、その関係は以下の式で表される。 [l1 l2 l3]'=F[u1 v1 1]'… (2) スケーリングファクタまで含めてFを解くためには、2
枚の画像中で8点の対応関係が必要になる。この行列F
を用いて、画像間の点の対応を見つけるためのステレオ
マッチング問題を解くことができる。本手法では、エピ
ポーラライン上に探索範囲を限定した相関マッチングに
よって与えられた画像間の点の対応を得ている。また、
新しい視点からの画像を生成する際にもこの弱カメラキ
ャリブレーションの結果を用いている。(2) Weak Camera Calibration On the other hand, weak camera calibration used in the present invention is a method for finding an epipolar positional relationship between two stereo images. That is, weak calibration refers to calibration of the relative position of the viewpoint at the time of image acquisition. As shown in FIG. 3, (u 1 , v
If 1 ) represents the coordinates of point p in the first image, 3 ×
Using the matrix F of 3, the epipolar line L in the second image can be calculated. The point in the second image corresponding to point p is located on this epipolar line. If the epipolar line is represented by l 1 u 2 + l 2 v 2 + l 3 = 0, the relationship is represented by the following equation. [l 1 l 2 l 3 ] '= F [u 1 v 1 1]' ... (2) To solve F including the scaling factor, 2
Eight points of correspondence are required in one image. This matrix F
Can be used to solve the stereo matching problem for finding point correspondences between images. In this method, the correspondence of points between images given by correlation matching with a limited search range on an epipolar line is obtained. Also,
The result of this weak camera calibration is also used when generating an image from a new viewpoint.
【0018】後に述べるようにこの手法を使って算出し
た点の再投影後の座標値は、参照点の座標値測定時にお
ける誤差に対して、強カメラキャリブレーションに基づ
いた再投影法と比べ、より安定した性能を持っている。As will be described later, the coordinate values after reprojection of a point calculated using this method are compared with the reprojection method based on strong camera calibration with respect to the error in measuring the coordinate value of the reference point. Has more stable performance.
【0019】[アフィン座標の特性]本願発明では、ア
フィン変換を用いて各点の再投影を行なっている。ここ
ではアフィン座標に基づいた再投影の考え方を、平行投
影とピンホール射影との2つの場合に分けて検討する。
本願発明では、このうちピンホール射影の考え方を用い
ている。平行投影の場合、シーン中の点は何処にあって
も良く、カメラの投影法を正射影と仮定する。ピンホー
ル射影の場合、シーン中の点は何処にあっても良く、カ
メラの投影法をピンホール射影と仮定する。[Characteristics of Affine Coordinates] In the present invention, each point is re-projected using an affine transformation. Here, the concept of reprojection based on affine coordinates will be considered separately for two cases, parallel projection and pinhole projection.
In the present invention, the concept of pinhole projection is used. In the case of parallel projection, the point in the scene may be anywhere, and the projection method of the camera is assumed to be orthographic. In the case of pinhole projection, the point in the scene may be anywhere, and the projection method of the camera is assumed to be pinhole projection.
【0020】(1) 平行投影の場合 カメラ投影のモデルを平面への平行投影とそれに続くア
フィン変換とで単純化する手法が既に提案されている。
図4を参照して、点の組(P1 ,P2 ,...Pn )が
あったとして、3つの点P1 、P2 、P3 を通る仮想の
面(基準面)20を考える。点P4 から基準面20に下
ろした垂線の足を点p4'とする。点p4'の(P1 ,
P2 ,P3 )を基準としたアフィン座標は(a4 ,
b4 )である。同様に、i番目の点から基準面20へ下
ろした垂線の足をpi ’、そしてアフィン座標は
(ai ,bi )とする。更に、d4 とdi とをそれぞ
れ、点P4 ,Pi から基準面20までの距離とする。(1) In the case of parallel projection A method of simplifying a camera projection model by parallel projection onto a plane and subsequent affine transformation has already been proposed.
Referring to FIG. 4, assuming that a set of points (P 1 , P 2 ,... P n ) exists, a virtual plane (reference plane) 20 passing through three points P 1 , P 2 , and P 3 is defined. Think. The perpendicular foot drawn from the point P 4 to the reference plane 20 and the point p 4 '. (P 1 of the point p 4 ',
The affine coordinates based on (P 2 , P 3 ) are (a 4 ,
b 4 ). Similarly, let the leg of the perpendicular line lowered from the i-th point to the reference plane 20 be p i ′, and the affine coordinates are (a i , b i ). Further, each of the d 4 and d i, the distance from the point P 4, P i to the reference plane 20.
【0021】アフィン座標(α4 、β4 )とは、視点か
ら点P4 を見たときに基準面20に投影される点のアフ
ィン座標を示している。この(P1 ,P2 ,P3 )に対
してアフィン座標(α4 、β4 )を持つ点をpb4とす
る。点pb4と点P4 とを結ぶライン24が視線方向とな
る。この線は画像平面22(この面の法線は視線と平
行)と点q4 で交わる。したがって、点q4 は点P4 の
像となる。同様に(P1 ,P2 ,P3 )をそれぞれ画像
平面22の(q1 ,q2 ,q3 )に投影する。この点
(q1 ,q2 ,q3 )により定まる面を基準に選択した
場合、画像平面22に対して(平行移動、回転、拡大縮
小、などの)アフィン変換を施した場合にも点q4 はア
フィン座標(α4 、β4 )を持つ。The affine coordinates (α 4 , β 4 ) indicate the affine coordinates of a point projected on the reference plane 20 when the point P 4 is viewed from the viewpoint. A point having affine coordinates (α 4 , β 4 ) with respect to (P 1 , P 2 , P 3 ) is defined as p b4 . The line 24 connecting the point p b4 and the point P 4 is the viewing direction. This line image plane 22 (the normal of this plane sight parallel) intersect at a point q 4. Therefore, the point q 4 becomes an image of the point P 4 . Similarly projected to (P 1, P 2, P 3) of each image plane 22 (q 1, q 2, q 3). When a plane determined by these points (q 1 , q 2 , q 3 ) is selected as a reference, the point q is also obtained when an affine transformation (such as translation, rotation, enlargement / reduction, etc.) is performed on the image plane 22. 4 has affine coordinates (α 4 , β 4 ).
【0022】次に、残った投影点のアフィン座標
(αi ,βi )もこの与えられた視線方向24から(α
4 、β4 )と同様に計算する。pb i を基準面20とP
i を通る視線方向からの平行光線との交点とするなら
ば、qi はその画像平面22への写像となる。同様に、
点pbiと点qi とは、(P1 ,P2 ,P3 )、(q1 ,
q2 ,q3 )をそれぞれ基準としたときに、アフィン座
標(αi ,βi )を持つ。Next, the affine coordinates (α i , β i ) of the remaining projection points are also calculated from the given viewing direction 24 by (α
4 , β 4 ). p b i the reference plane 20 and the P
If it is an intersection with a parallel ray from the line of sight passing through i , q i will be mapped onto the image plane 22. Similarly,
The points p bi and q i are (P 1 , P 2 , P 3 ), (q 1 ,
q 2 , q 3 ) have affine coordinates (α i , β i ), respectively.
【0023】三角形P4 pb4p4'と三角形Pi p
bipi ’の三角形の相似を用いるならばその関係式は以
下のように表される。The triangle P 4 p b4 p 4 ′ and the triangle P i p
If the similarity of the triangle of bi p i ′ is used, the relational expression is expressed as follows.
【0024】[0024]
【数1】 (Equation 1)
【0025】これをアフィン座標で表すと、以下のよう
になる。When this is represented by affine coordinates, it is as follows.
【0026】[0026]
【数2】 (Equation 2)
【0027】αだけを考慮すれば、さらに以下のように
表せる。Considering only α, it can be further expressed as follows.
【0028】[0028]
【数3】 (Equation 3)
【0029】この式中の、ai ,a4 ,di ,d4 は画
像内の全ての点で同一の定数で、これらは与えられた3
次元上の点から生成できる。すなわち、(P1 ,...
Pn)から生成されるすべての可能な像において、α4
とαi とは直線にプロットされ、その傾きは図5の様に
di /d4 となる。この傾きは点Pi が基準面からどれ
だけ離れているかを示す。同様に、β4 、βi もαと同
じ傾きで直線となる。In this equation, a i , a 4 , d i , and d 4 are constants which are the same at all points in the image.
It can be generated from points on a dimension. That is, (P 1 ,.
P n ), α 4
And α i are plotted in a straight line, and the slope is d i / d 4 as shown in FIG. The slope indicates whether the point P i is how far away from the reference plane. Similarly, β 4 and β i are also straight lines with the same inclination as α.
【0030】(2) ピンホールの場合 ここでは、3次元上の点を平面上に投影するために標準
的なピンホールカメラの座標系を仮定する。その後これ
らの投影した点のアフィン変換を行う。図6を参照し
て、(P1 ,P2 ,P3 ,...,Pn )を3次元上の
点とし、点P1 ,P2 ,P3 を通る仮想平面(基準面)
20を図6の様に定義する。点P4 から基準面に下ろし
た垂線の足をp4'とし、その(P1 ,P2 ,P3 )を基
準としたアフィン座標を(a4 ,b4 )とする。同様に
点pi ’を作成する。(α4 、β4)は視点位置から基
準面20へ投影した点pb4に対して(P1 ,P2 ,
P3 )を基準としたアフィン座標である。点pb4と点p
4 とを通る直線の延長上にカメラの光学中心Cがある。
この位置は任意に定めたものである。視線24について
も任意に選んだ。直線P4 pb4は点q4 で画像平面22
と交わる。点q4 は点P4の像である。同様に、点
P1 ,P2 ,P3 を画像平面22にそれぞれ点q1 ,q
2 ,q3 として写像する。点q4 は、この(q1 ,
q2 ,q3 )を基準として、アフィン座標(α4 、
β4 )を持っている。(2) In the case of a pinhole Here, a standard three-dimensional point is projected on a plane.
The coordinate system of a typical pinhole camera is assumed. Then this
An affine transformation of these projected points is performed. Referring to FIG.
And (P1, PTwo, PThree,. . . , Pn) On three dimensions
Point P1, PTwo, PThreeVirtual plane (reference plane) passing through
20 is defined as shown in FIG. Point PFourTo the reference plane
PFour'And its (P1, PTwo, PThreeBased on
The standard affine coordinates are (aFour, BFour). Likewise
Point pi’. (ΑFour, ΒFour) Is based on the viewpoint position
Point p projected on the reference plane 20b4For (P1, PTwo,
PThree) As affine coordinates. Point pb4And point p
FourThe optical center C of the camera is on an extension of a straight line passing through the camera.
This position is arbitrarily determined. About line of sight 24
Also arbitrarily chosen. Straight line PFourpb4Is the point qFourAt image plane 22
Intersect with Point qFourIs the point PFourIt is an image of. Similarly, the point
P1, PTwo, PThreeTo the image plane 22 at points q1, Q
Two, QThreeIs mapped as Point qFourIs this (q1,
qTwo, QThree) To the affine coordinates (αFour,
βFour)have.
【0031】点Pi を画像平面22に投影した点をqi
とする。前述の通り、点Pbiと点q i とはそれぞれ、
(P1 ,P2 ,P3 ),(q1 ,q2 ,q3 )を基準と
した際に共にアフィン座標(αi 、βi )を持つ。ま
た、c’とdc とをそれぞれ、カメラ中心Cから基準面
20に垂直に下ろした点、およびそこからカメラ中心ま
での距離とする。三角形Cpbic'と三角形Pi p
bipi ’との2つの三角形の近似を用いて、以下の式が
成立する。Point PiAre projected onto the image plane 22 by qi
And As mentioned above, point PbiAnd point q iAnd
(P1, PTwo, PThree), (Q1, QTwo, QThree) Based on
Affine coordinates (αi, Βi)have. Ma
C 'and dcAnd from the camera center C to the reference plane
20 perpendicular to the camera and from there to the camera center
And the distance. Triangle Cpbic 'and triangle Pip
bipi′, Using the approximation of two triangles,
To establish.
【0032】[0032]
【数4】 (Equation 4)
【0033】同様に三角形Cpb4c'と三角形P4 pb4p
4 ’との近似を用いて、以下の式が成立する。Similarly, the triangle Cp b4 c 'and the triangle P 4 p b4 p
Using the approximation with 4 ', the following equation holds.
【0034】[0034]
【数5】 (Equation 5)
【0035】(6)と(7)式とから、次の式(8)が成立す
る。From the equations (6) and (7), the following equation (8) is established.
【0036】[0036]
【数6】 (Equation 6)
【0037】アフィン座標で上記の式を書き直せば、以
下のようになる。If the above equation is rewritten in affine coordinates, the following is obtained.
【0038】[0038]
【数7】 (Equation 7)
【0039】αだけを取り出すと、次のようになる。When only α is extracted, the following is obtained.
【0040】[0040]
【数8】 (Equation 8)
【0041】ここで、以下の式が成立する。Here, the following equation is established.
【0042】[0042]
【数9】 (Equation 9)
【0043】式(11)中、ai 、a4 、di そしてd4 は
生成可能なすべての画像に対して同じ値であり、ac は
カメラパラメータに依存する。つまり、ac とa4 とが
分かっていれば、与えられた画像に対して簡単にα4'を
計算することができる。すなわち、生成可能なすべての
画像に対して、α4'、αi は傾きdi /d4 の直線上に
プロットされる。この特性を、図7に示した。β空間に
描かれる直線もα空間に描かれる直線と同様の傾きであ
る。In equation (11), a i , a 4 , d i and d 4 have the same value for all images that can be generated, and a c depends on camera parameters. That is, if a c and a 4 are known, α 4 ′ can be easily calculated for a given image. That is, for all images that can be generated, α 4 ′ and α i are plotted on a straight line having a slope d i / d 4 . This characteristic is shown in FIG. The straight line drawn in the β space has the same inclination as the straight line drawn in the α space.
【0044】i番目の点に対応した直線の傾きはその点
から基準面までの距離に正比例している。The slope of the straight line corresponding to the i-th point is directly proportional to the distance from that point to the reference plane.
【0045】[新しい視野画像の合成と他のアプリケー
ション] 新しい視野画像の生成 このようにして得られたアフィン座標から、新しい視野
画像を生成することが最終的に必要である。ここでも、
平行投影と、ピンホール射影との2種類の考え方がある
が、本願発明ではピンホール射影を採用した。以下、平
行投影を用いた方法と、本願発明のようにピンホール射
影を採用した方法とを順次説明する。[Synthesis of New View Image and Other Applications] Generation of New View Image It is finally necessary to generate a new view image from the affine coordinates obtained in this manner. even here,
Although there are two types of concepts, parallel projection and pinhole projection, the present invention employs pinhole projection. Hereinafter, a method using parallel projection and a method using pinhole projection as in the present invention will be sequentially described.
【0046】(1) 平行投影の場合 2つの画像I1 、I2 が与えられたとする。新しい視野
画像の生成のためには、2つの画像の間の点の対応関係
を必要とする。そのため、画像I1 上の点pi 1 に対応
する画像I2 上の点をpi 2 と定義する。αやβ空間で
直線を生成するためには、4つの参照点が必要であるた
め、ここでは画像上で点p1',p2',p 3',p4'を定め
る。簡単にするために、線分P1 P2 と線分P1 P3 お
よび線分P1 P4 が直角で、かつ|P1 P2 |=|P1
P3 |=|P1 P4 |となるように点p1',p2',
p3',p4'を定めた。この構造をあらかじめ実験の前に
2台のカメラで撮影し、その投影後の点p1'、p2'、p
3'、p4'の座標値を記録しておく。画像I1 中の点p4'
と点pi ’とのアフィン座標はそれぞれ、(α4'、
β4')、(αi ' 、βi ' )である。α空間中の直線は
2つの画像に対応した点(α 4'、β4')と、(α4 2、β
i 2 )とを通る。(1) In the case of parallel projection Two images I1, ITwoIs given. New perspective
For image generation, point correspondence between two images
Need. Therefore, image I1Upper point pi 1Compatible with
Image ITwoP abovei TwoIs defined. In α and β space
To generate a straight line, four reference points were needed
Here, the point p1', PTwo', P Three', PFour'
You. For simplicity, the line segment P1PTwoAnd line segment P1PThreeYou
And line segment P1PFourIs a right angle and | P1PTwo| = | P1
PThree| = | P1PFourThe point p such that |1', PTwo',
pThree', PFour'Determined. Before this experiment,
A point p after shooting with two cameras and projecting1', PTwo', P
Three', PFourRecord the coordinates of '. Image I1Middle point pFour'
And point piAffine coordinates with (αFour',
βFour'), (Αi ', Βi '). The straight line in α space is
Points corresponding to two images (α Four', ΒFour') And (αFour Two, Β
i Two) And pass.
【0047】ここで点Pi ,P2 ,P3 ,P4 のワール
ド座標を(0,0,0),(0,0,0),(0,1,0),(0,0,1)とそれぞれ
仮定する。これらの点は仮想画像中の点p1 v ,
p2 v ,p3 v ,p4 v に3×3の仮想カメラの透視変
換行列をつかって投影される。(α4 v ,β4 v )は点
p4 v の(p1 v ,p2 v ,p3 v )を基準としたアフ
ィン座標である。次に、画像I1 中の点pi 1 を仮想画
像に再投影するためには仮想画像中のそのアフィン座標
を点pi 1 に対応するα空間上の直線から計算すればよ
い。直線の方程式がαi =κ0 α4 +κ1 ならば、αi
V =κ0 α4 v +κ1として求めることができる。同様
に、βi V についても計算する。画像中の点p i v の座
標は式(12)を使って求めることができる。Here, the point Pi, PTwo, PThree, PFourWhirl
Code coordinates (0,0,0), (0,0,0), (0,1,0), (0,0,1) respectively
Assume. These points are the points p in the virtual image1 v,
pTwo v, PThree v, PFour v3x3 virtual camera perspective change
It is projected using a permutation matrix. (ΑFour v, ΒFour v) Is a point
pFour v(P1 v, PTwo v, PThree vAf) based on
Coordinates. Next, image I1Middle point pi 1The virtual picture
The affine coordinates in the virtual image to reproject onto the image
To the point pi 1Can be calculated from the straight line in α space corresponding to
No. The equation of the straight line is αi= Κ0αFour+ Κ1Then αi
V= Κ0αFour v+ Κ1Can be obtained as As well
And βi VIs also calculated. Point p in the image i vSeat
The target can be obtained using equation (12).
【0048】[0048]
【数10】 (Equation 10)
【0049】ここで画像I1 中の複数の点が仮想画面上
の1点にマッピングされてしまうことに注意しなければ
ならない。この問題は、マッピングするべき点を選択す
る指標としてアフィン空間上の直線の傾きを利用するこ
とで解決できる。傾きの大きい直線上の点は、基準面か
らの距離が離れている、すなわち、仮想カメラが基準面
をのぞき込んでいる形になっているとすれば、仮想画面
との距離がより近いことになる。Here, it should be noted that a plurality of points in the image I 1 are mapped to one point on the virtual screen. This problem can be solved by using the inclination of a straight line in the affine space as an index for selecting a point to be mapped. A point on a straight line having a large inclination is farther from the reference plane, that is, if the virtual camera is looking into the reference plane, the distance to the virtual screen is closer. .
【0050】このようにして選択、再投影された画像に
は画素抜けが生じてしまう恐れがある。なぜならこの再
投影処理はすべての画素に画像I1 中の点がマッピング
されることを保証してはいないからである。ここではこ
れらの問題をコンピュータグラフィックスの技法である
Zバッファ、テクスチャマッピングを使って解決した。Pixels may be missing in the image thus selected and reprojected. Because the reprojection process because does not guarantee that the point of the image I in one to all of the pixels is mapped. Here, these problems were solved using the Z buffer and texture mapping, which are computer graphics techniques.
【0051】まず図8に示すように、画像I1 を一辺が
1ピクセル長の四角形に分割する。図中のPi 1 のx,
y座標は、それぞれPi v のx,y座標に投影される。
z座標の値はアフィン空間での直線の傾きの逆数とし、
テクスチャは画像I1 のものを使う。この処理を残った
四角形の3点Pi+1 1,Pi+2 1,Pi+3 1 およびグリッド
上のすべての点にも繰り返す。次にこのポリゴンにテク
スチャをマッピングする。この処理によって、新しく生
成された画像を滑らかに補間することができる。First, as shown in FIG. 8, the image I 1 is divided into rectangles each having a length of one pixel. X of P i 1 in the figure,
y coordinates, x each P i v, it is projected onto the y-coordinate.
The value of the z coordinate is the reciprocal of the slope of the straight line in the affine space,
Texture use the one of the image I 1. 3 points P i + 1 1 of the processing remaining rectangle is repeated P i + 2 1, P i + 3 to all the points on the first and the grid. Next, a texture is mapped to this polygon. By this processing, a newly generated image can be smoothly interpolated.
【0052】(2) ピンホールの場合 2つの画像I1 、I2 が与えられたとする。新しい視野
画像の生成のためには、2つの画像の間の点の対応関係
を必要とする。そこで、画像I1 上の点pi 1に対応す
る画像I2 上の点をpi 2 と定義する。αやβ空間で直
線を生成するためには、4つの参照点が必要である。こ
こでは、画像Ij (j=1,2)上で点p1 j ,
p2 j ,p3 j ,p4 j を定める。簡単にするために、
図9に示されるように線分P1 P2 と線分P1 P3 およ
び線分P1 P4 が直角で、かつ|P1 P 2 |=|P1 P
3 |=|P1 P4 |となるように定めた。この構造をあ
らかじめ実験の前に2台のカメラで撮影し、その投影後
の点p1 j ,p2 j ,p3 j ,p 4 j の座標値を記録し
ておく。画像Ij 中の点p4 j と点pi j とのアフィン
座標はそれぞれ(α4 j , β4 j )、(αi j ,
βi j )である。α空間中の直線は2つの画像に対応し
た点(α4 1',αi 1 )と(α4 2',αi 2 )とを通る。(2) In the case of a pinhole Two images I1, ITwoIs given. New perspective
For image generation, point correspondence between two images
Need. Then, image I1Upper point pi 1Corresponding to
Image ITwoP abovei TwoIs defined. Direct in α and β space
To create a line, four reference points are required. This
Here, image IjThe point p on (j = 1,2)1 j,
pTwo j, PThree j, PFour jIs determined. For simplicity,
As shown in FIG.1PTwoAnd line segment P1PThreeAnd
Line segment P1PFourIs a right angle and | P1P Two| = | P1P
Three| = | P1PFour| This structure
Before shooting, shoot with two cameras before the experiment and after projection
The point p1 j, PTwo j, PThree j, P Four jRecord the coordinates of
Keep it. Image IjMiddle point pFour jAnd point pi jAffine with
The coordinates are (αFour j, βFour j), (Αi j,
βi j). A straight line in α space corresponds to two images
Point (αFour 1', αi 1) And (αFour Two', αi Two) And pass.
【0053】j番目の画像において、式(11)を使ってα
4 j ’を計算するためには、aC jとa4 とを知ってい
る必要がある。選んだ点P1 ,...,P4 ではa4 の
値は0である。aC j を計算するためには、5番目の制
御点P5 が必要である。便宜上点P5 を線分P1 P4 の
延長上に選び、|P5 P1 |=k|P4 P1 |と定義し
た(図9)。点P5 のj番目のカメラへの写像は点p5
j であり、そのアフィン座標は(α5 j ,β5 j )であ
る。a5 =0であるから式(10)(11)を用いて、以下の式
を得ることができる。In the j-th image, using equation (11), α
In order to calculate 4 j ′, it is necessary to know a C j and a 4 . The selected points P 1 ,. . . , The value of the P 4 a 4 is 0. To calculate a C j , a fifth control point P 5 is required. For convenience select the point P 5 on the extension of the line segment P 1 P 4, | P 5 P 1 | = k | P 4 P 1 | defined (FIG. 9). The mapping of point P 5 to the j-th camera is point p 5
j and its affine coordinates are (α 5 j , β 5 j ). Since a 5 = 0, the following equation can be obtained using equations (10) and (11).
【0054】[0054]
【数11】 [Equation 11]
【0055】仮想画像を生成するために、点P1 ,
P2 ,P3 ,P4 ,P5 のワールド座標をそれぞれ(0,
0,0),(1,0,0),(0,1,0),(0,0,1),(0,0,k) と仮定する。
これらの点は仮想画像に3×4の仮想カメラの透視変換
行列を使ってそれぞれ(p1 v ,...,p5 v )へ投
影される。i番目の点pi 1 の再投影は(p1 v ,p2
v ,p3 v )を基準としたアフィン座標(αi V ,βi
V )を計算することで実現できる。α空間中の直線の方
程式がαi =κ0 α4'+κ1 とすると、(10)(11)式によ
り次のようになる。To generate a virtual image, the points P 1 ,
The world coordinates of P 2 , P 3 , P 4 , and P 5 are respectively (0,
Assume that (0,0), (1,0,0), (0,1,0), (0,0,1), (0,0, k).
These points are projected onto the virtual image using the perspective transformation matrix of a 3 × 4 virtual camera, respectively (p 1 v ,..., P 5 v ). The reprojection of the i-th point p i 1 is (p 1 v , p 2
v , p 3 v ) as the affine coordinates (α i V , β i
V ). Assuming that the equation of the straight line in the α space is α i = κ 0 α 4 ′ + κ 1 , the following equations are obtained from the equations (10) and (11).
【0056】[0056]
【数12】 (Equation 12)
【0057】ここで、α4 v とaC v とはそれぞれ点p
4 v のアフィン座標、および仮想カメラの中心の写像で
ある。同様に、βi V についても計算する。画像中の全
ての点は仮想画面上にこの手法を使って投影することが
できる。新しい画像中に発生する画素抜けや、Z値の問
題は、平行投影の場合で述べた方法で解決する。Here, α 4 v and a C v are points p
4 v affine coordinates, and a mapping of the center of the virtual camera. Similarly, β i V is calculated. All points in the image can be projected on this virtual screen using this technique. The problem of pixel omission and Z value occurring in a new image is solved by the method described in the case of parallel projection.
【0058】[装置の構成]図10に、本願発明を実施
するための装置の構成を示す。図10を参照して、この
装置は、RS232C端子40、42および映像出力端
子44を有するコンピュータ30と、それぞれRS23
2C端子40および42においてコンピュータ30に接
続された、シーンまたは物体38を撮影するためのデジ
タルカメラ32および34と、映像出力端子44におい
てコンピュータ30に接続されたモニタ36とを含む。
コンピュータ30は、周知の構成を備えており、内部で
任意視点画像生成のためのプログラムを実行することに
より、任意視点画像生成装置として機能する。なお、デ
ジタルカメラとして本例では2つのデジタルカメラを使
用しているが、ステレオ画像を撮影できるカメラであれ
ばどの様なものでもよく、また1つのカメラを用い、カ
メラ視点を移動させることでステレオ画像を撮影するも
のでもよい。なお、本例ではデジタルカメラを用いてい
るが、通常のビデオカメラを用いてもよい。その場合、
コンピュータ30は、映像入力端子を有し、ビデオ画像
をデジタル化する能力を有する必要がある。[Structure of Apparatus] FIG. 10 shows the structure of an apparatus for carrying out the present invention. Referring to FIG. 10, the apparatus includes a computer 30 having RS232C terminals 40 and 42 and a video output terminal 44, and an RS232C terminal.
It includes digital cameras 32 and 34 connected to the computer 30 at 2C terminals 40 and 42 for photographing a scene or an object 38, and a monitor 36 connected to the computer 30 at a video output terminal 44.
The computer 30 has a well-known configuration, and functions as an arbitrary viewpoint image generation device by executing a program for generating an arbitrary viewpoint image inside. In this example, two digital cameras are used as digital cameras, but any camera can be used as long as it can capture a stereo image. An image may be taken. Although a digital camera is used in this example, a normal video camera may be used. In that case,
The computer 30 must have a video input terminal and have the ability to digitize video images.
【0059】図11に、このコンピュータ30が実行す
る任意視点画像生成プログラムの処理の流れをブロック
図形式で示す。図11を参照して、まず制御点の撮影と
して、画像セットAの撮影を行なう(50)。この画像
セットAから、アフィン座標の基準ベクトルを作成する
(58)。次に、シーンの撮影として、画像セットBの
撮影を行なう。この画像セットBを使用して、カメラの
弱キャリブレーションを行なう(60)。FIG. 11 is a block diagram showing the flow of processing of an arbitrary viewpoint image generation program executed by the computer 30. Referring to FIG. 11, image set A is first photographed as control point photographing (50). From this image set A, a reference vector of affine coordinates is created (58). Next, image set B is photographed as a scene photograph. Using this image set B, weak calibration of the camera is performed (60).
【0060】さらに、任意視点画像を生成するためのシ
ーンの撮影を行なう。この時の画像セットを画像セット
Cとする。前述の画像セットBは、画像セットCと同一
のものであってもよい。画像セットCに対し、処理60
の結果を用いたステレオマッチングにより画像間の対応
を得る(62)。さらに、このように対応が得られた画
像に対して処理58で得られたアフィン座標の基準ベク
トルを用いてアフィン座標への変換を行なう(64)。Further, a scene for generating an arbitrary viewpoint image is photographed. The image set at this time is referred to as an image set C. The aforementioned image set B may be the same as the image set C. Processing 60 for image set C
The correspondence between images is obtained by stereo matching using the result of (62). Further, the image to which the correspondence has been obtained is converted into affine coordinates using the affine coordinate reference vector obtained in the processing 58 (64).
【0061】予め、仮想カメラの光学中心位置などを定
めた仮想カメラパラメータ56をメモリ等に記憶してお
き、処理64で得られたアフィン座標に対し、仮想カメ
ラ位置でのアフィン座標計算を行なう(66)。こうし
て得られた仮想カメラ位置でのアフィン座標をカメラビ
ューに変換し(68)、仮想カメラ位置を視点とする画
像を生成する。仮想カメラパラメータ56を任意に変化
させることにより、任意位置での画像をリアルタイムで
生成することができる。A virtual camera parameter 56 that defines the optical center position of the virtual camera is stored in a memory or the like in advance, and the affine coordinates calculated at the virtual camera position are calculated with respect to the affine coordinates obtained in the process 64 (FIG. 66). The affine coordinates at the virtual camera position thus obtained are converted into a camera view (68), and an image is generated with the virtual camera position as a viewpoint. By arbitrarily changing the virtual camera parameters 56, an image at an arbitrary position can be generated in real time.
【0062】[誤差に対する性能の実験的な比較]本願
発明による任意視点画像生成装置の効果を以下に示す。
まず、アフィン座標に基づく再投影アルゴリズムが3次
元再構築手法と比較してより安定していることを実験的
に検証する。このため、図12に示すようなチェック模
様の箱を含んだシーン(ステレオ画像)を考え、カメラ
のキャリブレーションのために箱から6点を選んだ。手
動で点の対応を取り、その点の3次元座標を計算し、新
しい画像へと投影した。そのカメラマトリクスは任意に
定めた。定めた6つの参照点それぞれのx座標値の測定
誤差が−1から1の間に均一に分布していると仮定し、
再投影後の点の座標値の分布をシミュレートした。[Experimental Comparison of Performance to Error] The effect of the arbitrary viewpoint image generating apparatus according to the present invention will be described below.
First, experimentally verify that the reprojection algorithm based on affine coordinates is more stable than the three-dimensional reconstruction method. Therefore, considering a scene (stereo image) including a box with a check pattern as shown in FIG. 12, six points were selected from the box for camera calibration. We manually matched the points, calculated the three-dimensional coordinates of the points, and projected them onto a new image. The camera matrix was arbitrarily determined. Assuming that the measurement errors of the x coordinate values of each of the six reference points are uniformly distributed between −1 and 1,
The distribution of the coordinate values of the points after reprojection was simulated.
【0063】5点の参照点をアフィン座標を基にした再
投影アルゴリズムのために選択し、測定誤差には同一の
性質を仮定し、再投影点の座標値に与える影響を調べ
た。3つの異なった点を任意の画像の組から選び、3次
元再構築手法と、アフィン座標を基にした手法との比較
結果を考察する。この3点(i)(ii)(iii)に対して、x,
y座標のヒストグラムを、3次元再構築手法(a)、ア
フィン再投影(b)それぞれについてプロットしたもの
を図13〜図18に示す。図13、図15、図17はx
座標についてのもの、図14、図16、図18がy座標
についてのものである。図13および図14が点(i) に
ついて、図15および図16が点(ii)について、図17
および図18が点(iii) についてのものである。図中、
3次元再構築手法によるものには「a」を、アフィン座
標変換を基にした本願発明の手法によるものには「b」
をそれぞれ付してある。Five reference points were selected for the reprojection algorithm based on affine coordinates, and the effect on the coordinate values of the reprojected points was examined, assuming the same properties for the measurement error. Three different points are selected from an arbitrary set of images, and the results of comparison between a three-dimensional reconstruction method and a method based on affine coordinates are considered. For these three points (i) (ii) (iii), x,
FIGS. 13 to 18 show histograms of the y-coordinate plotted for each of the three-dimensional reconstruction method (a) and the affine reprojection (b). 13, 15, and 17 show x
FIGS. 14, 16 and 18 are for the y coordinate. FIGS. 13 and 14 correspond to point (i), and FIGS. 15 and 16 correspond to point (ii).
And FIG. 18 is for point (iii). In the figure,
"A" is used for the three-dimensional reconstruction method, and "b" is used for the method of the present invention based on the affine coordinate transformation.
Is attached to each.
【0064】アフィン座標を元にした再投影法のx座標
のヒストグラムは、3点共に明確に鋭いピークを持って
おり、かつ分散も3次元再構築手法に比べて非常に小さ
いことが分かる。一方で、y座標については、点(i)(i
i)において3次元再構築手法の方により鋭いピークが表
れている。しかしこの場合でもヒストグラムを検討する
と、3次元再構築法ではアフィン座標を基にした手法に
比べて分散が大きいことが分かる。投影点の正確なx,
y座標という一つの根拠が欠如しているため、二つの手
法の正確さをどのように評価するかが問題となるが、手
法の正確さをピークの高さと対応するヒストグラムの広
がりで判定するとすれば、本願発明の直接的再投影手法
によって、3次元再構築による手法に比べてより安定し
た結果が得られ、より正確であると言うことができる。It can be seen that the histogram of the x coordinate of the reprojection method based on the affine coordinates has clearly sharp peaks at all three points, and that the variance is much smaller than that of the three-dimensional reconstruction method. On the other hand, for the y coordinate, the points (i) (i
In i), a sharper peak appears in the three-dimensional reconstruction method. However, examination of the histogram in this case also shows that the variance is larger in the three-dimensional reconstruction method than in the method based on affine coordinates. Exact x,
The lack of one basis, the y-coordinate, poses a question of how to evaluate the accuracy of the two approaches, but if the accuracy of the approaches is determined by the height of the peak and the corresponding histogram spread, For example, it can be said that the direct reprojection method of the present invention provides more stable results and is more accurate than the method based on three-dimensional reconstruction.
【0065】[アプリケーション]アフィン座標を用い
たシーン再投影の手法を検証するために、図10に示す
構成のコンピュータに接続されたデジタルカメラで、あ
るシーンの3枚の画像を撮影した。その画像を図19〜
図22に示す。(画像(c)と(d)とは同じもの)こ
れまでの説明では、3枚目の画像は常に仮想画像だった
が、3番目の画像が実画像の場合にも本願発明の手法は
利用できる。[Application] In order to verify the technique of scene reprojection using affine coordinates, three images of a certain scene were photographed by a digital camera connected to a computer having the configuration shown in FIG. The images are shown in FIGS.
As shown in FIG. (Images (c) and (d) are the same) In the description so far, the third image is always a virtual image, but the technique of the present invention is also used when the third image is a real image. it can.
【0066】図19を参照して、画像上のチェック状の
ブロックから、3枚の画像中の対応点5点を選び出し、
「x」でマークした。また、7つの対応点を最初の二つ
の画像から選び出し、図19および図20に黒いドット
で示した。図21および図22はそれぞれピンホールモ
デル、平行投影モデルによりこれらの点が3枚目の画像
にどのように投影されるかを示した図である。図21に
示すピンホールモデルの方が図22に示す平行投影モデ
ルに比べて「x」点のずれが少なく、良い再投影結果を
示していることが分かる。Referring to FIG. 19, five corresponding points in three images are selected from the check-like blocks on the image.
Marked with "x". In addition, seven corresponding points were selected from the first two images, and are indicated by black dots in FIGS. 19 and 20. FIG. 21 and FIG. 22 are diagrams showing how these points are projected on the third image by the pinhole model and the parallel projection model, respectively. It can be seen that the pinhole model shown in FIG. 21 has less deviation of the “x” point than the parallel projection model shown in FIG. 22 and shows a good reprojection result.
【0067】次に、図23に示すような2枚のステレオ
画像を基に新しい視野画像の合成を行う。新しい視野画
像の生成結果を図24および図25に示した。図24
は、左側の実カメラより更に左にある仮想カメラから生
成した画像を示す。図25は極端に左上にある仮想カメ
ラから生成した画像を示す。特にこのような例では前に
挙げた例に比べて、点の対応誤差が明白に再投影結果に
反映されてしまう。これは主に入力画像の質の悪さによ
るステレオマッチングの誤りに起因しているが、入力画
像の質を上げることにより改善される。この新しい視野
画像の生成アルゴリズムはコンピュータにおいてほぼリ
アルタイムに実行することができる。Next, a new visual field image is synthesized based on the two stereo images as shown in FIG. FIGS. 24 and 25 show the results of generating a new visual field image. FIG.
Indicates an image generated from the virtual camera further left than the real camera on the left. FIG. 25 shows an image generated from the virtual camera at the extreme upper left. In particular, in such an example, the corresponding error of the point is clearly reflected in the reprojection result as compared with the example described above. This is mainly caused by an error in stereo matching due to poor quality of the input image, but can be improved by increasing the quality of the input image. The algorithm for generating the new visual field image can be executed in a computer in almost real time.
【0068】[まとめ]以上のように本発明により、新
しい視野画像の生成のアプリケーションのための、ステ
レオ画像におけるアフィン座標の特徴を使った統一的な
考え方を使用した方法を実現することができる。シーン
再投影のための計算は(14)式に示されているとおり、非
常に単純であることが特徴である。このため、新しい視
野画像の合成は、グラフィックスコンピュータを使うこ
とによってほぼリアルタイムに実現できる。また本手法
は、標準的なアプローチに比較して、5点という少ない
対応点数で実現可能であり、ステレオマッチング時の誤
差の再投影画像への影響を最小限に抑えることができ
る。[Summary] As described above, according to the present invention, it is possible to realize a method using a unified concept using features of affine coordinates in a stereo image for an application of generating a new visual field image. The calculation for scene reprojection is characterized by being very simple, as shown in equation (14). For this reason, the synthesis of a new visual field image can be realized almost in real time by using a graphics computer. In addition, this method can be realized with a small number of corresponding points of five points as compared with the standard approach, and can minimize the influence of errors in stereo matching on the reprojected image.
【0069】本手法を動的なシーンに適用することも可
能と考えられる。その場合の最大の問題点は、フレーム
レートでのステレオマッチングである。本発明を動的な
シーンに適用するためには、標準的なステレオマッチン
グのアルゴリズムより効率的な手法と組み合わせること
が必要である。It is considered that the present method can be applied to a dynamic scene. The biggest problem in that case is stereo matching at the frame rate. In order to apply the invention to dynamic scenes, it is necessary to combine it with a more efficient approach than standard stereo matching algorithms.
【0070】[本手法と他の直接的な手法との比較]既
に述べたように、再投影手法の一つであるエピポーララ
イン交差法は強カメラキャリブレーションまたは3枚の
画像(2枚は実画像、1枚は新しい画像)中の8つの対
応点が必要である。強カメラキャリブレーションパラメ
ータを正確に推定することは困難であり、これは再投影
時の誤差に通じる。また3枚の画像中の8つの参照点座
標に含まれる測定誤差は、5点の参照点が必要なアフィ
ン座標に基づいた方法と比較して、再投影時のより大き
な座標誤差を導く。また、シーンの再投影は「希薄な」
画像を生成するだけである。本願発明のようにアフィン
座標を基にした方法では、アフィン空間中の直線の傾き
をそれに対応する平面との距離の指標として使い、「穴
埋め」が行える。エピポーラライン交差アルゴリズムで
は、再投影した点に対応する深さ(画像平面に対するz
値)は明示的には計算されず、ゆえに新しい視野の生成
へ拡張することは困難である。[Comparison between the present method and another direct method] As described above, the epipolar line intersection method, which is one of the reprojection methods, uses strong camera calibration or three images (two images are real images). (One image is a new image). It is difficult to accurately estimate the strong camera calibration parameters, which leads to errors in reprojection. Also, the measurement errors contained in the eight reference point coordinates in the three images lead to larger coordinate errors during reprojection as compared to methods based on affine coordinates that require five reference points. Also, the reprojection of the scene is "sparse"
It just generates an image. In the method based on affine coordinates as in the present invention, “filling in holes” can be performed using the inclination of a straight line in the affine space as an index of the distance from the corresponding plane. In the epipolar line intersection algorithm, the depth corresponding to the reprojected point (z
Value) is not calculated explicitly and is therefore difficult to extend to the generation of new fields of view.
【0071】既にのべたように、モーフィング手法は、
厄介なステレオマッチング問題を避けることができる反
面、2つの実カメラのカメラ中心を結んだ直線上に仮想
カメラがある場合にしか利用できない。これに対し本願
発明の手法では、まず点の対応問題を解く必要がある
が、仮想カメラは空間中の何処にあっても良いという利
点がある。As already mentioned, the morphing method is
While the troublesome stereo matching problem can be avoided, it can be used only when the virtual camera is on a straight line connecting the camera centers of the two real cameras. On the other hand, in the method of the present invention, it is necessary to first solve the point correspondence problem, but there is an advantage that the virtual camera may be located anywhere in the space.
【図1】 強カメラキャリブレーションを説明するため
の図である。FIG. 1 is a diagram for describing strong camera calibration.
【図2】 3次元再構築法の原理を説明するための図で
ある。FIG. 2 is a diagram for explaining the principle of a three-dimensional reconstruction method.
【図3】 エピポーララインを説明するための図であ
る。FIG. 3 is a diagram for explaining an epipolar line.
【図4】 平行投影の場合のアフィン変換の原理を説明
するための図である。FIG. 4 is a diagram for explaining the principle of affine transformation in the case of parallel projection.
【図5】 平行投影の場合のα4 とαi との関係を示す
図である。FIG. 5 is a diagram showing the relationship between α 4 and α i in the case of parallel projection.
【図6】 ピンホール射影系のアフィン座標を説明する
ための図である。FIG. 6 is a diagram for explaining affine coordinates of a pinhole projection system.
【図7】 ピンホール射影の場合のα4 ' とαi との関
係を示す図である。FIG. 7 is a diagram showing the relationship between α 4 ′ and α i in the case of pinhole projection.
【図8】 画素抜けを防止するための処理の原理を説明
するための図である。FIG. 8 is a diagram for explaining the principle of processing for preventing pixel omission;
【図9】 本願発明における5つの参照点の配置を示す
図である。FIG. 9 is a diagram showing an arrangement of five reference points in the present invention.
【図10】 本願発明の実施の形態の任意視点画像生成
装置の構成を示す図である。FIG. 10 is a diagram illustrating a configuration of an arbitrary viewpoint image generation device according to an embodiment of the present invention.
【図11】 本願発明の実施の形態の任意視点画像生成
装置において行なわれる処理の流れをブロック図形式で
示す図である。FIG. 11 is a diagram showing, in a block diagram form, a flow of processing performed in the arbitrary viewpoint image generating device according to the embodiment of the present invention;
【図12】 本願発明の実施の形態の装置の効果を検証
するための実験に用いたステレオ画像を示す図である。FIG. 12 is a diagram showing a stereo image used in an experiment for verifying the effect of the device according to the embodiment of the present invention.
【図13】 第1の点に対する、3次元再構築手法と本
願発明による手法との効果の違いを、x座標のヒストグ
ラム形式で示す図である。FIG. 13 is a diagram showing the difference between the effect of the three-dimensional reconstruction method and the method according to the present invention on the first point, in the form of a histogram of x coordinates.
【図14】 第1の点に対する、3次元再構築手法と本
願発明による手法との効果の違いを、y座標のヒストグ
ラム形式で示す図である。FIG. 14 is a diagram illustrating a difference between the effect of the three-dimensional reconstruction method and the method according to the present invention on the first point in the form of a histogram of y-coordinates.
【図15】 第2の点に対する、3次元再構築手法と本
願発明による手法との効果の違いを、x座標のヒストグ
ラム形式で示す図である。FIG. 15 is a diagram showing the difference between the effect of the three-dimensional reconstruction method and the method according to the present invention on the second point in the form of a histogram of x coordinates.
【図16】 第2の点に対する、3次元再構築手法と本
願発明による手法との効果の違いを、y座標のヒストグ
ラム形式で示す図である。FIG. 16 is a diagram showing the difference between the effect of the three-dimensional reconstruction method and the method according to the present invention on the second point in the form of a histogram of y-coordinates.
【図17】 第3の点に対する、3次元再構築手法と本
願発明による手法との効果の違いを、x座標のヒストグ
ラム形式で示す図である。FIG. 17 is a diagram showing the difference between the effect of the three-dimensional reconstruction method and the method according to the present invention on the third point, in the form of a histogram of x coordinates.
【図18】 第3の点に対する、3次元再構築手法と本
願発明による手法との効果の違いを、y座標のヒストグ
ラム形式で示す図である。FIG. 18 is a diagram showing the difference between the effect of the three-dimensional reconstruction method and the method according to the present invention on the third point in the form of a histogram of y-coordinates.
【図19】 本願発明によるシーン再投影の効果を検証
するための実験に用いられた画像を示す図である。FIG. 19 is a diagram showing an image used in an experiment for verifying the effect of scene reprojection according to the present invention.
【図20】 本願発明によるシーン再投影の効果を検証
するための実験に用いられた他の画像を示す図である。FIG. 20 is a diagram showing another image used in an experiment for verifying the effect of scene reprojection according to the present invention.
【図21】 本願発明によるシーン再投影の効果を検証
するための実験に用いられたさらに他の画像と、ピンホ
ールモデルによる投影結果とを示す図である。FIG. 21 is a diagram showing still another image used in an experiment for verifying the effect of scene reprojection according to the present invention, and a projection result by a pinhole model.
【図22】 本願発明によるシーン再投影の効果を検証
するための実験に用いられたさらに他の画像と、平行投
影モデルによる投影結果とを示す図である。FIG. 22 is a diagram showing still another image used in an experiment for verifying the effect of scene reprojection according to the present invention, and a projection result by a parallel projection model.
【図23】 本願発明によるシーン再投影の効果を検証
するための他の実験に用いられた画像を示す図である。FIG. 23 is a diagram showing an image used in another experiment for verifying the effect of scene reprojection according to the present invention.
【図24】 本願発明によるシーン再投影の効果を検証
するための実験における、ピンホールモデルによる投影
結果を示す図である。FIG. 24 is a diagram showing a projection result by a pinhole model in an experiment for verifying the effect of scene reprojection according to the present invention.
【図25】 本願発明によるシーン再投影の効果を検証
するための実験における、極端に左上のカメラ位置から
のピンホールモデルによる投影結果を示す図である。FIG. 25 is a diagram illustrating a projection result by a pinhole model from an extremely upper left camera position in an experiment for verifying the effect of scene reprojection according to the present invention.
20 基準面 22 画像平面 24 視線方向 30 コンピュータ 32、34 デジタルカメラ 36 モニタ Reference Signs List 20 Reference plane 22 Image plane 24 Viewing direction 30 Computer 32, 34 Digital camera 36 Monitor
───────────────────────────────────────────────────── フロントページの続き (72)発明者 坂口 竜己 京都府相楽郡精華町大字乾谷小字三平谷5 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷5 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 ──────────────────────────────────────────────────の Continuing on the front page (72) Inventor Tatsumi Sakaguchi 5th Sanraya, Inaya small character, Seika-cho, Soraku-gun, Kyoto Pref. 5 Shiraya, Seiya-cho, Seika-cho, Soraku-gun ATI Intelligent Motion Picture Communication Laboratory, Inc.
Claims (1)
手段と、 前記画像取得手段により取得されたステレオ画像に基づ
いて、所定のアフィン座標系の基準ベクトルを作成する
ための手段と、 前記画像取得手段により取得されたステレオ画像に基づ
いて、画像取得時の視点の相対的位置を弱キャリブレー
ションするための手段と、 前記弱キャリブレーションの結果に基づいて、前記画像
取得手段により取得されたステレオ画像間の点の対応を
とるための手段と、 前記基準ベクトルと前記対応をとるための手段の出力と
に基づいて、前記ステレオ画像の各点の座標を前記所定
のアフィン座標系の座標に変換するための第1の変換手
段と、 仮想視点位置データに基づいて、前記アフィン座標系の
座標を、ピンホール投影法を用いて仮想視点位置でのア
フィン座標に変換するための第2の変換手段と、 前記第2の変換手段の出力から、前記仮想視点位置にお
ける画像を生成するための手段とを含む、任意視点画像
生成装置。An image acquisition unit for acquiring a stereo image; a unit for creating a reference vector in a predetermined affine coordinate system based on the stereo image acquired by the image acquisition unit; A means for weakly calibrating the relative position of the viewpoint at the time of image acquisition based on the stereo image acquired by the means; and a stereo image acquired by the image acquisition means based on the result of the weak calibration. And converting the coordinates of each point of the stereo image into the coordinates of the predetermined affine coordinate system based on the means for establishing correspondence between the points and the output of the means for establishing the correspondence with the reference vector. The first affine coordinate system based on the virtual viewpoint position data and the virtual viewpoint position using a pinhole projection method. And second conversion means for converting the affine coordinates, from the output of said second converting means, and means for generating an image in the virtual viewpoint position, arbitrary viewpoint image generating device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09191399A JP3122629B2 (en) | 1997-07-16 | 1997-07-16 | Arbitrary viewpoint image generation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09191399A JP3122629B2 (en) | 1997-07-16 | 1997-07-16 | Arbitrary viewpoint image generation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1139506A true JPH1139506A (en) | 1999-02-12 |
JP3122629B2 JP3122629B2 (en) | 2001-01-09 |
Family
ID=16273964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09191399A Expired - Lifetime JP3122629B2 (en) | 1997-07-16 | 1997-07-16 | Arbitrary viewpoint image generation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3122629B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005241323A (en) * | 2004-02-25 | 2005-09-08 | Advanced Telecommunication Research Institute International | Imaging system and calibration method |
JP2009265783A (en) * | 2008-04-23 | 2009-11-12 | Sanyo Electric Co Ltd | Driving supporting system and vehicle |
JP2011002843A (en) * | 2010-08-11 | 2011-01-06 | Namco Bandai Games Inc | Image generating device for stereoscopic vision, stereoscopic vision video display device, and image generating method for stereoscopic vision |
JP2012048687A (en) * | 2010-08-30 | 2012-03-08 | Rakuten Inc | Image processing device, image processing method, program and information recording medium |
WO2013005244A1 (en) * | 2011-07-01 | 2013-01-10 | 株式会社ベイビッグ | Three-dimensional relative coordinate measuring device and method |
US11574446B2 (en) * | 2019-08-30 | 2023-02-07 | National Central University | Digital image reality aligning kit and method applied to mixed reality system for surgical navigation |
-
1997
- 1997-07-16 JP JP09191399A patent/JP3122629B2/en not_active Expired - Lifetime
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005241323A (en) * | 2004-02-25 | 2005-09-08 | Advanced Telecommunication Research Institute International | Imaging system and calibration method |
JP2009265783A (en) * | 2008-04-23 | 2009-11-12 | Sanyo Electric Co Ltd | Driving supporting system and vehicle |
JP2011002843A (en) * | 2010-08-11 | 2011-01-06 | Namco Bandai Games Inc | Image generating device for stereoscopic vision, stereoscopic vision video display device, and image generating method for stereoscopic vision |
JP2012048687A (en) * | 2010-08-30 | 2012-03-08 | Rakuten Inc | Image processing device, image processing method, program and information recording medium |
WO2013005244A1 (en) * | 2011-07-01 | 2013-01-10 | 株式会社ベイビッグ | Three-dimensional relative coordinate measuring device and method |
US11574446B2 (en) * | 2019-08-30 | 2023-02-07 | National Central University | Digital image reality aligning kit and method applied to mixed reality system for surgical navigation |
Also Published As
Publication number | Publication date |
---|---|
JP3122629B2 (en) | 2001-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10944960B2 (en) | Free-viewpoint video generating method and free-viewpoint video generating system | |
EP2328125B1 (en) | Image splicing method and device | |
JP5739409B2 (en) | Method for determining the relative position of a first image device and a second image device and these devices | |
US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
JP2000215311A (en) | Method and device for generating virtual viewpoint image | |
US20040257540A1 (en) | Single or multi-projector for arbitrary surfaces without calibration nor reconstruction | |
Chen et al. | New calibration-free approach for augmented reality based on parameterized cuboid structure | |
JP2010109783A (en) | Electronic camera | |
US11887256B2 (en) | Deferred neural rendering for view extrapolation | |
JP2016537901A (en) | Light field processing method | |
US10354399B2 (en) | Multi-view back-projection to a light-field | |
CN115035235A (en) | Three-dimensional reconstruction method and device | |
Mahdy et al. | Projector calibration using passive stereo and triangulation | |
CN115731336B (en) | Image rendering method, image rendering model generation method and related devices | |
WO2020184174A1 (en) | Image processing device and image processing method | |
JP3122629B2 (en) | Arbitrary viewpoint image generation device | |
Evers‐Senne et al. | Image based interactive rendering with view dependent geometry | |
JP4229398B2 (en) | Three-dimensional modeling program, three-dimensional modeling control program, three-dimensional modeling data transmission program, recording medium, and three-dimensional modeling method | |
JP2002032741A (en) | System and method for three-dimensional image generation and program providing medium | |
KR20200122870A (en) | Acquisition method for high quality 3-dimension spatial information using photogrammetry | |
JP3387856B2 (en) | Image processing method, image processing device, and storage medium | |
CN109379577B (en) | Video generation method, device and equipment of virtual viewpoint | |
KR102146839B1 (en) | System and method for building real-time virtual reality | |
Chang et al. | Arbitrary view generation for three-dimensional scenes from uncalibrated video cameras | |
KR102199071B1 (en) | Method and apparatus for reconstructing 4D image based on integrated image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20001003 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071020 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081020 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081020 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 13 |
|
EXPY | Cancellation because of completion of term |